JP2018163566A - Generation device and information processing system - Google Patents

Generation device and information processing system Download PDF

Info

Publication number
JP2018163566A
JP2018163566A JP2017061073A JP2017061073A JP2018163566A JP 2018163566 A JP2018163566 A JP 2018163566A JP 2017061073 A JP2017061073 A JP 2017061073A JP 2017061073 A JP2017061073 A JP 2017061073A JP 2018163566 A JP2018163566 A JP 2018163566A
Authority
JP
Japan
Prior art keywords
light emitting
light
information
emitting surface
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017061073A
Other languages
Japanese (ja)
Other versions
JP7141200B2 (en
Inventor
洋邦 東
Hirokuni Azuma
洋邦 東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Lighting and Technology Corp
Original Assignee
Toshiba Lighting and Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Lighting and Technology Corp filed Critical Toshiba Lighting and Technology Corp
Priority to JP2017061073A priority Critical patent/JP7141200B2/en
Publication of JP2018163566A publication Critical patent/JP2018163566A/en
Application granted granted Critical
Publication of JP7141200B2 publication Critical patent/JP7141200B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To make it possible to easily reproduce the state in which a light emission surface has been visually recognized.SOLUTION: A generation device includes a generation unit. In the light emission state of a light emission surface of a predetermined lighting device, the generation unit generates image information virtually indicating a light emission state of the light emission surface when the light emission surface is viewed from a predetermined viewpoint.SELECTED DRAWING: Figure 2

Description

本発明の実施形態は、生成装置及び情報処理システムに関する。   Embodiments described herein relate generally to a generation device and an information processing system.

従来、光の眩しさを評価するための種々の技術が提供されている。例えば、照明環境をカメラにて撮像し、撮像した画像を輝度情報に変換することにより、不快グレアを数値に変換する技術が提供されている。   Conventionally, various techniques for evaluating the glare of light have been provided. For example, there is provided a technique for converting unpleasant glare into a numerical value by capturing an illumination environment with a camera and converting the captured image into luminance information.

特開2017−40534号公報JP 2017-40534 A

しかしながら、上述のような技術においては、照明環境をカメラにて撮像することが必要となり、照明環境を再現するための作業が煩雑であるといった課題がある。例えば、照明環境をカメラにて撮像することが必要な場合、発光面を直視した状態等の種々の状態を再現する場合、その態様に応じて撮像を行う必要があるため、照明環境を再現するための作業が煩雑になる。   However, in the above-described technology, it is necessary to capture the illumination environment with a camera, and there is a problem that the work for reproducing the illumination environment is complicated. For example, when it is necessary to capture an illumination environment with a camera, when reproducing various states such as a state in which the light emitting surface is directly viewed, it is necessary to perform imaging according to the aspect, so the illumination environment is reproduced. Work becomes complicated.

本発明は、発光面を視認した状態を簡易に再現可能にすることができる生成装置及び情報処理システムを提供することを目的とする。   An object of this invention is to provide the production | generation apparatus and information processing system which can make the state which visually recognized the light emission surface easily reproducible.

本実施形態の生成装置は、生成部を具備する。生成部は、所定の照明装置の発光面の発光状態において、所定の視点から当該発光面を視認した場合の当該発光面の発光態様を仮想的に示す画像情報を生成する。   The generation apparatus according to the present embodiment includes a generation unit. The generation unit generates image information that virtually indicates a light emission mode of the light emitting surface when the light emitting surface is viewed from a predetermined viewpoint in a light emitting state of the light emitting surface of the predetermined lighting device.

本発明によれば、発光面を視認した状態を簡易に再現可能にすることができる。   According to the present invention, it is possible to easily reproduce the state in which the light emitting surface is visually recognized.

図1は、実施形態に係る画像情報の表示の一例を示す図である。FIG. 1 is a diagram illustrating an example of image information display according to the embodiment. 図2は、実施形態に係る情報処理システムの構成を示すブロック図である。FIG. 2 is a block diagram illustrating a configuration of the information processing system according to the embodiment. 図3は、実施形態に係る画像情報の表示の一例を示す図である。FIG. 3 is a diagram illustrating an example of image information display according to the embodiment. 図4は、実施形態に係る情報処理システムにおける生成処理のフローチャートを示す図である。FIG. 4 is a diagram illustrating a flowchart of generation processing in the information processing system according to the embodiment.

以下で説明する実施形態に係る生成装置100は、所定の照明装置の発光面の発光状態において、所定の視点から当該発光面を視認した場合の当該発光面の発光態様を仮想的に示す画像情報を生成する生成部132を具備する。   The generation apparatus 100 according to the embodiment described below virtually displays image information indicating a light emission mode of the light emitting surface when the light emitting surface is viewed from a predetermined viewpoint in a light emitting state of the light emitting surface of the predetermined lighting device. Is generated.

また、以下で説明する実施形態に係る生成装置100において、生成部132は、所定の視点から発光面を視認した場合の当該発光面の眩しさを仮想的に示す画像情報を生成する。   In the generation device 100 according to the embodiment described below, the generation unit 132 generates image information that virtually indicates the glare of the light emitting surface when the light emitting surface is viewed from a predetermined viewpoint.

また、以下で説明する実施形態に係る生成装置100は、発光面を視認する視点の変更に関する視点情報を取得する取得部131を具備する。また、生成部132は、取得部131により取得された視点情報に基づいて、視点を変更することにより、変更された視点から発光面を視認した場合の当該発光面の発光態様を仮想的に示す画像情報を生成する。   In addition, the generation device 100 according to the embodiment described below includes an acquisition unit 131 that acquires viewpoint information regarding a change in viewpoint for visually recognizing the light emitting surface. Further, the generation unit 132 virtually shows the light emission mode of the light emitting surface when the light emitting surface is viewed from the changed viewpoint by changing the viewpoint based on the viewpoint information acquired by the acquisition unit 131. Generate image information.

また、以下で説明する実施形態に係る生成装置100において、生成部132は、所定の表示装置10により表示された場合に、人が発光面を視認した際の眩しさに関する印象を仮想的に反映させた画像情報を生成する。   Further, in the generation device 100 according to the embodiment described below, the generation unit 132 virtually reflects an impression regarding glare when a person visually recognizes the light emitting surface when displayed by the predetermined display device 10. The generated image information is generated.

また、以下で説明する実施形態に係る生成装置100において、生成部132は、発光面の周辺の情報に応じて変動する前記画像情報を生成する。   In the generation device 100 according to the embodiment described below, the generation unit 132 generates the image information that varies according to information around the light emitting surface.

また、以下で説明する実施形態に係る生成装置100において、生成部132は、所定の照明装置の複数の発光面であって、各々の向きが異なる複数の発光面の発光状態において、所定の視点から各発光面を視認した場合の各発光面の発光態様を仮想的に示す画像情報を生成する。   Further, in the generation device 100 according to the embodiment described below, the generation unit 132 has a predetermined viewpoint in a light emission state of a plurality of light emission surfaces of a predetermined illumination device, each of which has a different orientation. The image information that virtually indicates the light emission mode of each light emitting surface when each light emitting surface is visually recognized is generated.

また、以下で説明する実施形態に係る情報処理システム1は、生成装置100と、1000cd/m(カンデラ毎平方メートル)以上の輝度の光を表現可能に前記画像情報を表示する表示装置10とを具備する。 In addition, the information processing system 1 according to the embodiment described below includes the generation device 100 and the display device 10 that displays the image information so that light having a luminance of 1000 cd / m 2 (candela per square meter) or more can be expressed. It has.

[実施形態]
まず、本発明の実施形態に係る情報処理システム1における画像情報の表示を図面に基づいて説明する。図1は、実施形態に係る画像情報の表示の一例を示す図である。図1の例では、生成装置100(図2参照)により生成された画像情報が、表示装置10の表示部11に表示された場合を示す。図1では、所定のユーザが手HDに持ったタブレット型の表示装置10に、照明装置IL11、IL12の発光面LF11、LF12の発光状態において、所定の視点から発光面LF11、LF12を視認した場合の発光面LF11、LF12の発光態様を仮想的に示す仮想再現画像IM11(以下、単に「画像情報IM11」ともいう)が表示される場合を示す。すなわち、図1中の画像情報IM11における照明装置IL11、IL12や発光面LF11、LF12は、仮想的に再現(描画)される。なお、照明装置IL11、IL12や発光面LF11、LF12は、対応する照明装置や発光面が現実(実空間)にあってもよいし、なくてもよい。
[Embodiment]
First, display of image information in the information processing system 1 according to the embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a diagram illustrating an example of image information display according to the embodiment. In the example of FIG. 1, the image information generated by the generation device 100 (see FIG. 2) is displayed on the display unit 11 of the display device 10. In FIG. 1, when a predetermined user visually recognizes the light emitting surfaces LF11 and LF12 from a predetermined viewpoint in the light emitting state of the light emitting surfaces LF11 and LF12 of the illumination devices IL11 and IL12 on the tablet display device 10 held in the hand HD. A case is shown in which a virtual reproduction image IM11 (hereinafter also simply referred to as “image information IM11”) that virtually shows the light emission mode of the light emission surfaces LF11 and LF12 is displayed. That is, the illumination devices IL11 and IL12 and the light emitting surfaces LF11 and LF12 in the image information IM11 in FIG. 1 are virtually reproduced (drawn). Note that the illumination devices IL11 and IL12 and the light emission surfaces LF11 and LF12 may or may not have corresponding illumination devices and light emission surfaces in the actual (real space).

例えば、発光面LF11の発光状態とは、発光面LF11に対応する光源(図示省略)が点灯した状態である。例えば、発光面LF11に対応する光源は、LED(Light Emitting Diode)等のように指向性の高い光源であってもよい。また、例えば、発光面LF12の発光状態とは、発光面LF12に対応する光源(図示省略)が点灯した状態である。例えば、発光面LF12に対応する光源は、LED等のように指向性の高い光源であってもよい。なお、図1の例では、照明装置IL11の発光面LF11は複数あるが、図1においては1つの発光面のみに符号「LF11」を付すものとする。また、図1の例では、照明装置IL12の発光面LF12は複数あるが、図1においては1つの発光面のみに符号「LF12」を付すものとする。例えば、照明装置IL11、IL12は、所定の閾値以上の輝度の光を放射する照明器具であってもよい。例えば、照明装置IL11、IL12は、高輝度の光を放射する大型の照明器具であってもよい。以下、発光面LF11に対応する光源及び発光面LF12に対応する光源は、LEDであるものとする。   For example, the light emitting state of the light emitting surface LF11 is a state where a light source (not shown) corresponding to the light emitting surface LF11 is turned on. For example, the light source corresponding to the light emitting surface LF11 may be a highly directional light source such as an LED (Light Emitting Diode). For example, the light emission state of the light emitting surface LF12 is a state in which a light source (not shown) corresponding to the light emitting surface LF12 is turned on. For example, the light source corresponding to the light emitting surface LF12 may be a highly directional light source such as an LED. In the example of FIG. 1, there are a plurality of light emitting surfaces LF11 of the illumination device IL11. However, in FIG. 1, only one light emitting surface is denoted by “LF11”. In the example of FIG. 1, there are a plurality of light emitting surfaces LF12 of the illumination device IL12. In FIG. 1, only one light emitting surface is denoted by “LF12”. For example, the illuminating devices IL11 and IL12 may be luminaires that emit light having a luminance equal to or higher than a predetermined threshold. For example, the illuminating devices IL11 and IL12 may be large luminaires that emit high-luminance light. Hereinafter, it is assumed that the light source corresponding to the light emitting surface LF11 and the light source corresponding to the light emitting surface LF12 are LEDs.

図1の例では、光環境評価に用いられる情報処理システム1は、タブレット型の表示装置10を用いて仮想現実的に照明装置IL11、IL12の発光面LF11、LF12の発光態様を表示する。なお、図1では、表示装置10がタブレット型である場合を示すが、表示装置10は、画像情報IM11を表示可能であれば、ノートパソコンやモバイルパソコン、スマートフォン、ヘッドマウントディスプレイ、大型スクリーン等の種々のデバイスであってもよい。   In the example of FIG. 1, the information processing system 1 used for the light environment evaluation displays the light emission modes of the light emitting surfaces LF11 and LF12 of the illumination devices IL11 and IL12 virtually using the tablet-type display device 10. 1 shows a case where the display device 10 is a tablet type, the display device 10 may be a notebook computer, a mobile personal computer, a smartphone, a head-mounted display, a large screen, or the like as long as the image information IM11 can be displayed. Various devices may be used.

なお、図1の例では、表示装置10は、少なくも1000cd/m(カンデラ毎平方メートル)以上の輝度を出力できるものとする。例えば、図1では、情報処理システム1は、表示装置10内に仮想的な光環境の空間を実現するために必要なデータ(以下、「光環境情報」ともいう)を有し、仮想的な光環境を表示装置10内で実現できるように構成されるものとする。ここでいう光環境情報には、例えば、照明装置の発光面の種々の光情報が含まれる。例えば、光環境情報には、照明装置の発光面の輝度、光度、配光、光束発散度、色度、演色性等の種々の情報が含まれる。また、例えば、光環境情報には、照明装置の発光面の相対・絶対分光分布から計算される情報全ての少なくもいずれか1つに関する情報や照明装置の構造に関するデータ(3次元CAD(Computer-Aided Design)データなど)の種々の情報が含まれる。た、例えば、光環境情報には、建物の設備や施設の構造に関するデータ(3次元CADデータなど)等の情報が含まれる。 In the example of FIG. 1, it is assumed that the display device 10 can output a luminance of 1000 cd / m 2 (candela per square meter) or more. For example, in FIG. 1, the information processing system 1 includes data (hereinafter, also referred to as “light environment information”) necessary for realizing a virtual light environment space in the display device 10, and is virtual. It is assumed that the light environment can be realized in the display device 10. The light environment information here includes, for example, various kinds of light information of the light emitting surface of the lighting device. For example, the light environment information includes various types of information such as the luminance, luminous intensity, light distribution, luminous flux divergence, chromaticity, and color rendering properties of the light emitting surface of the lighting device. In addition, for example, the light environment information includes information on at least one of all information calculated from the relative / absolute spectral distribution of the light emitting surface of the lighting device and data on the structure of the lighting device (three-dimensional CAD (Computer- Aided Design) data, etc.). Further, for example, the light environment information includes information such as data (three-dimensional CAD data, etc.) relating to building equipment and facility structure.

図1の例では、光環境情報には、照明装置IL11、IL12の各発光面LF11、LF12の種々の光情報が含まれる。例えば、光環境情報には照明装置IL11、IL12の各発光面LF11、LF12の輝度、光度、配光、光束発散度、色度、演色性等の種々の情報が含まれる。また、例えば、光環境情報には、照明装置IL11、IL12の各発光面LF11、LF12の相対・絶対分光分布から計算される情報全ての少なくもいずれか1つに関する情報や照明装置IL11、IL12の構造に関するデータ(3次元CADデータなど)の種々の情報が含まれる。また、図1の例では、光環境情報には、照明装置IL11、IL12が設置されたスタジアムの設備や施設の構造に関するデータ(3次元CADデータなど)等の情報が含まれる。なお、図1では、光環境を再現する対象として、スポーツ施設であるスタジアムを一例に説明するが、光環境を再現する対象はオフィスや店舗、道路、トンネル、倉庫、動物園、美術館、博物館など種々の対象(場所)であってもよい。   In the example of FIG. 1, the light environment information includes various kinds of light information of the light emitting surfaces LF11 and LF12 of the illumination devices IL11 and IL12. For example, the light environment information includes various types of information such as the luminance, luminous intensity, light distribution, luminous flux divergence, chromaticity, and color rendering properties of the light emitting surfaces LF11 and LF12 of the illumination devices IL11 and IL12. For example, the light environment information includes information on at least one of all information calculated from the relative / absolute spectral distributions of the light emitting surfaces LF11 and LF12 of the illumination devices IL11 and IL12, and information on the illumination devices IL11 and IL12. Various pieces of information on data related to the structure (such as three-dimensional CAD data) are included. Further, in the example of FIG. 1, the light environment information includes information such as stadium equipment in which the illumination devices IL <b> 11 and IL <b> 12 are installed and data on the structure of the facility (such as three-dimensional CAD data). In FIG. 1, a stadium, which is a sports facility, is described as an example of an object that reproduces the light environment, but the object that reproduces the light environment is various such as offices, stores, roads, tunnels, warehouses, zoos, museums, and museums It may be the target (location) of

例えば、生成装置100は、上述した種々の情報に基づいて画像情報IM11等を生成する。例えば、生成装置100は、種々の技術を適宜用いて、画像情報IM11等を生成してもよい。例えば、生成装置100は、3次元画像処理技術や描画技術等の技術を適宜用いて、画像情報IM11等を生成してもよい。例えば、生成装置100は、レンダリングに関する種々の技術を適宜用いて、画像情報IM11等を生成してもよい。例えば、生成装置100は、種々の視覚効果に関する技術を用いて、画像情報IM11等を生成してもよい。例えば、生成装置100は、レンズフレア等の現象に対応する描画を行うことにより、ユーザに眩しさの印象を与える画像情報IM11等を生成してもよい。   For example, the generation device 100 generates image information IM11 and the like based on the various information described above. For example, the generation apparatus 100 may generate the image information IM11 and the like using various techniques as appropriate. For example, the generation apparatus 100 may generate the image information IM11 or the like by appropriately using a technique such as a three-dimensional image processing technique or a drawing technique. For example, the generation apparatus 100 may generate the image information IM11 and the like by appropriately using various techniques related to rendering. For example, the generation device 100 may generate the image information IM11 and the like using techniques related to various visual effects. For example, the generation apparatus 100 may generate image information IM11 or the like that gives a user an impression of glare by performing drawing corresponding to a phenomenon such as lens flare.

図1の例では、照明装置IL11の発光面LF11が視点(ユーザ)に対向するように位置するため、画像情報IM11において、発光面LF11は、ユーザに眩しさを感じさせるような発光態様で表現される。なお、画像情報IM11において、発光面LF11の表現態様は、ユーザが実際に発光面LF11を対向方向から視認した場合にユーザに生じる印象をユーザに与えることができれば、どのような表現態様であってもよい。すなわち、生成装置100は、照明装置IL11の発光面LF11を所定の方向から直視した場合に、ユーザに生じる生理的状態をユーザに与えることができれば、どのような表現態様であってもよい。例えば、生成装置100は、照明装置IL11の発光面LF11が正面を向く場合、照明装置IL11の発光面LF11の直交方向から発光面LF11を視認したユーザに生じる眩しさをユーザに与えることができれば、どのような表現態様であってもよい。例えば、生成装置100は、発光面LF11の位置から所定の値以上の輝度の光が放射されるように画像情報IM11を生成してもよい。   In the example of FIG. 1, since the light emitting surface LF11 of the illumination device IL11 is positioned so as to face the viewpoint (user), in the image information IM11, the light emitting surface LF11 is expressed in a light emitting manner that makes the user feel dazzling. Is done. In the image information IM11, the expression form of the light emitting surface LF11 is any expression form as long as the user can give the user an impression when the user actually views the light emitting surface LF11 from the opposite direction. Also good. In other words, the generation device 100 may be in any expression form as long as it can give the user a physiological state that occurs when the light emitting surface LF11 of the illumination device IL11 is directly viewed from a predetermined direction. For example, when the light emitting surface LF11 of the illuminating device IL11 faces the front, the generating device 100 can give the user glare that occurs to the user who has viewed the light emitting surface LF11 from a direction orthogonal to the light emitting surface LF11 of the illuminating device IL11. Any expression may be used. For example, the generation apparatus 100 may generate the image information IM11 so that light having a luminance of a predetermined value or more is emitted from the position of the light emitting surface LF11.

図1の例では、照明装置IL12の発光面LF12が視点に対向しないように位置するため、画像情報IM12において、発光面LF12は、ユーザに眩しさを感じさせないような発光態様で表現される。例えば、生成装置100は、発光面LF12に対応する光源が点灯状態であることが視認できるように画像情報IM11を生成してもよい。   In the example of FIG. 1, since the light emitting surface LF12 of the illumination device IL12 is positioned so as not to face the viewpoint, in the image information IM12, the light emitting surface LF12 is expressed in a light emitting manner that does not make the user feel dazzling. For example, the generation device 100 may generate the image information IM11 so that the light source corresponding to the light emitting surface LF12 can be visually recognized.

図1の例では、上述した種々の情報に基づいて生成装置100により生成された画像情報IM11等を表示することにより、表示装置10内に、仮想的な光環境が構築可能である。そのため、例えば、ユーザが表示装置10を把持し、仮想現実(VR:Virtual Reality)による表示を開始する所定の操作を行うことにより、照明装置IL11、IL12の各発光面LF11、LF12の発光態様を仮想的に体験することが可能になる。例えば、表示装置10は、ユーザの所定の操作に応じて、所定のアプリケーションが起動されることにより、照明装置IL11、IL12の各発光面LF11、LF12の発光態様を仮想的に再現する画像情報IM11を表示してもよい。   In the example of FIG. 1, a virtual light environment can be constructed in the display device 10 by displaying the image information IM11 and the like generated by the generation device 100 based on the various information described above. Therefore, for example, when the user holds the display device 10 and performs a predetermined operation for starting display by virtual reality (VR), the light emission modes of the light emitting surfaces LF11 and LF12 of the illumination devices IL11 and IL12 are changed. It becomes possible to experience virtually. For example, the display device 10 has image information IM11 that virtually reproduces the light emission modes of the light emitting surfaces LF11 and LF12 of the illumination devices IL11 and IL12 when a predetermined application is activated in response to a user's predetermined operation. May be displayed.

これにより、情報処理システム1においては、発光面の光情報(例えば輝度や光色など)の印象が仮想的に体験できる。したがって、情報処理システム1においては、スタジアムに新しい投光器を導入したときの光環境の印象を、種々の表示装置10を用いて、仮想的に体験することが可能になる。   Thereby, in the information processing system 1, the impression of the light information (for example, brightness | luminance, light color, etc.) of a light emission surface can be experienced virtually. Therefore, in the information processing system 1, it is possible to virtually experience the impression of the light environment when a new projector is introduced into the stadium using various display devices 10.

また、表示装置10は、拡張現実(AR:Augmented Reality)による表示を行ってもよい。例えば、ユーザが、照明装置IL11、IL12が設置されたスタジアムに位置し、表示装置10を照明装置IL11、IL12等が設置された方向にかざすことにより、照明装置IL11、IL12の各発光面LF11、LF12の仮想的な発光態様を、現実の照明装置IL11、IL12に重畳させて表示してもよい。例えば、表示装置10の表示部11(表示面)の裏面側の設けられた撮像部(カメラ)を照明装置IL11、IL12等が設置された方向に向けることにより、撮像部により撮像された現実の照明装置IL11、IL12に、照明装置IL11、IL12の各発光面LF11、LF12の仮想的な発光態様を重畳させて表示してもよい。また、表示装置10は、所定の撮像装置から取得した現実の照明装置IL11、IL12を含む画像に、照明装置IL11、IL12の各発光面LF11、LF12の仮想的な発光態様を重畳させて表示してもよい。   Moreover, the display apparatus 10 may perform display by augmented reality (AR). For example, when the user is located in a stadium where the illumination devices IL11 and IL12 are installed and holds the display device 10 in the direction in which the illumination devices IL11 and IL12 are installed, the light emitting surfaces LF11 and LF11 of the illumination devices IL11 and IL12, The virtual light emission mode of the LF 12 may be displayed superimposed on the actual lighting devices IL11 and IL12. For example, by directing the imaging unit (camera) provided on the back side of the display unit 11 (display surface) of the display device 10 in the direction in which the illumination devices IL11 and IL12 are installed, the actual image captured by the imaging unit is obtained. The virtual light emission modes of the light emitting surfaces LF11 and LF12 of the illumination devices IL11 and IL12 may be superimposed and displayed on the illumination devices IL11 and IL12. In addition, the display device 10 displays the image including the actual illumination devices IL11 and IL12 acquired from the predetermined imaging device by superimposing the virtual light emission modes of the light emitting surfaces LF11 and LF12 of the illumination devices IL11 and IL12. May be.

また、視点は人を想定したものでなく、ドローンなどの小型飛行装置を想定してもよい。例えば、視点は地面より数メートルから数十メートルもしくは数百メートルの高さにあってもよい。また、照明装置を設置する施設が存在する場所は屋内屋外であってもよい。また、屋外の場合は、照明装置の発光面の光情報が、天候や時刻、緯度経度によって変更させてもよい。例えば、屋外の場合は、天候や時刻、緯度経度等の種々の情報に基づいて、生成装置100が画像情報を生成してもよい。このように、生成装置100は、発光面の周辺の情報に応じて変動する画像情報を生成してもよい。   Further, the viewpoint is not assumed to be a person, but a small flying device such as a drone may be assumed. For example, the viewpoint may be several meters to several tens of meters or hundreds of meters above the ground. Further, the place where the facility for installing the lighting device exists may be indoors and outdoors. In the case of outdoors, the light information on the light emitting surface of the lighting device may be changed according to the weather, time, and latitude and longitude. For example, in the case of outdoors, the generation apparatus 100 may generate image information based on various information such as weather, time, latitude and longitude. As described above, the generation apparatus 100 may generate image information that varies according to information around the light emitting surface.

また、例えば、生成装置100は、視対象物、照明装置を設置する設備装置、設備装置を設置する施設の少なくともいずれか一つが表示され、視点や光情報と共に変化する画像情報を生成してもよい。また、例えば、表示装置10は、視対象物、照明装置を設置する設備装置、設備装置を設置する施設の少なくともいずれか一つが表示され、視点や光情報と共に変化する画像情報を表示してもよい。例えば、視対象物は、スポーツ競技で使用するボールであってもよい。また、ここでいう競技とは、例えば、野球、テニス、ソフトテニス、ソフトボール、卓球、バドミントン、サッカー、バスケットボール、バレーボール、ラグビー、アメフト、ゴルフ、水球、ハンドボール、ホッケー等の種々の競技が含まれてもよい。   In addition, for example, the generation apparatus 100 displays at least one of the object to be viewed, the facility apparatus in which the lighting apparatus is installed, and the facility in which the installation apparatus is installed, and generates image information that changes together with the viewpoint and the light information. Good. In addition, for example, the display device 10 displays at least one of a visual object, a facility device in which a lighting device is installed, and a facility in which the facility device is installed, and displays image information that changes together with viewpoints and light information. Good. For example, the visual target may be a ball used in a sports competition. In addition, the term “competition” here includes various competitions such as baseball, tennis, soft tennis, softball, table tennis, badminton, soccer, basketball, volleyball, rugby, American football, golf, water polo, handball, and hockey. Also good.

また、表示装置10における照明装置の発光面の光情報(輝度情報)の表示は、少なくも1000cd/m以上としたが、望ましくは5000cd/m以上、さらに望ましくは10000cd/m以上である。 In addition, the display of optical information of the light-emitting surface of the lighting device in the display device 10 (luminance information), but the least 1000 cd / m 2 or more, preferably 5000 cd / m 2 or more, more preferably 10000 cd / m 2 or more is there.

[情報処理システムの構成例]
次に、図2を用いて、実施形態に係る情報処理システム1の構成について説明する。図2は、実施形態に係る情報処理システムの構成を示すブロック図である。
[Configuration example of information processing system]
Next, the configuration of the information processing system 1 according to the embodiment will be described with reference to FIG. FIG. 2 is a block diagram illustrating a configuration of the information processing system according to the embodiment.

実施形態に係る情報処理システム1は、生成装置100と、表示装置10とを具備する。例えば、生成装置100は、表示装置10と所定のネットワークNを介して通信可能に接続されている。図1に示した情報処理システム1には、複数台の表示装置10や、複数台の生成装置100が含まれてもよい。なお、生成装置100と表示装置10とは一体であってもよい。例えば、生成装置100は、表示装置10の機能を有してもよい。この場合、生成装置100は、表示装置10の表示部11と同様の構成を有してもよい。   The information processing system 1 according to the embodiment includes a generation device 100 and a display device 10. For example, the generation device 100 is connected to the display device 10 via a predetermined network N so as to be communicable. The information processing system 1 illustrated in FIG. 1 may include a plurality of display devices 10 and a plurality of generation devices 100. Note that the generation device 100 and the display device 10 may be integrated. For example, the generation device 100 may have the function of the display device 10. In this case, the generation device 100 may have the same configuration as the display unit 11 of the display device 10.

図1及び図2に示すように、表示装置10は、表示部11を有する。表示部11は、例えば、液晶ディスプレイ等であり、各種情報を表示する。例えば、表示部11は、画像情報を表示する。例えば、表示部11は、1000cd/m以上の輝度を再現可能である。また、例えば、表示部11は、5000cd/m以上の輝度を再現可能であってもよい。また、例えば、表示部11は、10000cd/m以上の輝度を再現可能であってもよい。 As shown in FIGS. 1 and 2, the display device 10 includes a display unit 11. The display unit 11 is, for example, a liquid crystal display and displays various information. For example, the display unit 11 displays image information. For example, the display unit 11 can reproduce a luminance of 1000 cd / m 2 or more. For example, the display unit 11 may be able to reproduce a luminance of 5000 cd / m 2 or more. For example, the display unit 11 may be capable of reproducing a luminance of 10,000 cd / m 2 or more.

次に、生成装置100の構成について説明する。図2に示すように、生成装置100は、通信部110と、記憶部120と、制御部130とを有する。なお、生成装置100は、生成装置100の管理者等から各種操作を受け付ける入力部(例えば、キーボードやマウス等)や、各種情報を表示するための表示部(例えば、液晶ディスプレイ等)を有してもよい。   Next, the configuration of the generation apparatus 100 will be described. As illustrated in FIG. 2, the generation apparatus 100 includes a communication unit 110, a storage unit 120, and a control unit 130. The generation device 100 includes an input unit (for example, a keyboard and a mouse) that receives various operations from an administrator of the generation device 100 and a display unit (for example, a liquid crystal display) for displaying various types of information. May be.

通信部110は、例えば、NIC(Network Interface Card)によって実現される。通信部110は、図示しない所定のネットワークと有線又は無線で接続される。そして、通信部110は、図示しない所定のネットワークを介して、表示装置10等との間で情報の送受信を行う。例えば、通信部110は、表示装置10との間で画像情報の通信を行う。   The communication unit 110 is realized by a NIC (Network Interface Card), for example. The communication unit 110 is connected to a predetermined network (not shown) by wire or wirelessly. The communication unit 110 transmits and receives information to and from the display device 10 and the like via a predetermined network (not shown). For example, the communication unit 110 communicates image information with the display device 10.

記憶部120は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。例えば、記憶部120には、画像情報を生成するための種々の情報が記憶される。   The storage unit 120 is realized by, for example, a semiconductor memory device such as a RAM or a flash memory, or a storage device such as a hard disk or an optical disk. For example, various information for generating image information is stored in the storage unit 120.

制御部130は、各種の処理手順などを規定したプログラム及び所要データを格納するための内部メモリを有し、これらによって種々の処理を実行するが、特に本発明に密接に関連するものとしては、取得部131、生成部132、及び送信部133を有する。   The control unit 130 has an internal memory for storing a program that defines various processing procedures and the necessary data, and executes various processes by using these programs. Particularly, as closely related to the present invention, An acquisition unit 131, a generation unit 132, and a transmission unit 133 are included.

取得部131は、各種情報を取得する。取得部131は、外部の情報処理装置から各種情報を取得する。また、取得部131は、記憶部120から各種情報を取得する。例えば、取得部131は、発光面を視認する視点の変更に関する視点情報を取得する。例えば、取得部131は、表示装置10から発光面を視認する視点の変更に関する視点情報を取得する。また、例えば、取得部131は、表示装置10を用いたユーザによる視点を変更する操作に応じて、表示装置10から発光面を視認する視点の変更に関する視点情報を取得する。   The acquisition unit 131 acquires various types of information. The acquisition unit 131 acquires various types of information from an external information processing apparatus. In addition, the acquisition unit 131 acquires various types of information from the storage unit 120. For example, the acquisition unit 131 acquires viewpoint information related to a change in viewpoint for visually recognizing the light emitting surface. For example, the acquisition unit 131 acquires viewpoint information regarding a change in viewpoint for visually recognizing the light emitting surface from the display device 10. In addition, for example, the acquisition unit 131 acquires viewpoint information related to a change of the viewpoint for visually recognizing the light emitting surface from the display device 10 in accordance with an operation of changing the viewpoint by the user using the display device 10.

生成部132は、各種情報を生成する。生成部132は、取得部131により外部の情報処理装置から取得された各種情報を用いて画像情報を生成する。また、生成部132は、記憶部120に記憶された各種情報を用いて画像情報を生成する。   The generation unit 132 generates various types of information. The generation unit 132 generates image information using various information acquired from an external information processing apparatus by the acquisition unit 131. In addition, the generation unit 132 generates image information using various types of information stored in the storage unit 120.

例えば、生成部132は、所定の照明装置の発光面の発光状態において、所定の視点から当該発光面を視認した場合の当該発光面の発光態様を仮想的に示す画像情報を生成する。例えば、生成部132は、所定の視点から発光面を視認した場合の当該発光面の眩しさを仮想的に示す画像情報を生成する。   For example, the generation unit 132 generates image information that virtually indicates a light emission mode of the light emitting surface when the light emitting surface is viewed from a predetermined viewpoint in a light emitting state of a light emitting surface of a predetermined lighting device. For example, the generation unit 132 generates image information that virtually indicates the glare of the light emitting surface when the light emitting surface is viewed from a predetermined viewpoint.

例えば、生成部132は、取得部131により取得された視点情報に基づいて、視点を変更することにより、変更された視点から発光面を視認した場合の当該発光面の発光態様を仮想的に示す画像情報を生成する。例えば、生成部132は、所定の表示装置により表示された場合に、人が発光面を視認した際の眩しさに関する印象を仮想的に反映させた画像情報を生成する。   For example, the generating unit 132 virtually indicates the light emission mode of the light emitting surface when the light emitting surface is viewed from the changed viewpoint by changing the viewpoint based on the viewpoint information acquired by the acquiring unit 131. Generate image information. For example, the generation unit 132 generates image information that virtually reflects an impression regarding glare when a person visually recognizes the light emitting surface when displayed on a predetermined display device.

例えば、生成部132は、発光面の周辺の情報に応じて変動する画像情報を生成する。例えば、生成部132は、所定の照明装置の複数の発光面であって、各々の向きが異なる複数の発光面の発光状態において、所定の視点から各発光面を視認した場合の各発光面の発光態様を仮想的に示す画像情報を生成する。   For example, the generation unit 132 generates image information that varies according to information around the light emitting surface. For example, the generation unit 132 has a plurality of light-emitting surfaces of a predetermined lighting device, and each light-emitting surface when the light-emitting surfaces are viewed from a predetermined viewpoint in a light-emitting state of the light-emitting surfaces having different directions. Image information that virtually indicates the light emission mode is generated.

送信部133は、各種情報を送信する。送信部133は、外部の情報処理装置へ各種情報を送信する。例えば、送信部133は、表示装置10へ各種情報を送信する。例えば、送信部133は、表示装置10へ生成部132により生成された画像情報を送信する。   The transmission unit 133 transmits various information. The transmission unit 133 transmits various types of information to an external information processing apparatus. For example, the transmission unit 133 transmits various types of information to the display device 10. For example, the transmission unit 133 transmits the image information generated by the generation unit 132 to the display device 10.

[視点の変更による表示]
以下、図3を用いて、表示装置10における画像情報の表示の一例を説明する。図3は、実施形態に係る画像情報の表示の一例を示す図である。図3では、表示装置10における表示内容の変更に応じて、表示装置10を表示装置10−1〜表示装置10−3として説明する。なお、表示装置10−1、表示装置10−2、表示装置10−3は同一の表示装置10である。また、以下では、表示装置10−1〜表示装置10−3について、特に区別なく説明する場合には、表示装置10と記載する。
[Display by changing viewpoint]
Hereinafter, an example of display of image information on the display device 10 will be described with reference to FIG. FIG. 3 is a diagram illustrating an example of image information display according to the embodiment. In FIG. 3, the display device 10 will be described as the display device 10-1 to the display device 10-3 according to the change of the display content on the display device 10. The display device 10-1, the display device 10-2, and the display device 10-3 are the same display device 10. Hereinafter, the display devices 10-1 to 10-3 will be referred to as the display device 10 when they are not particularly distinguished.

また、図3では、表示部11の表示の変更に応じて、表示部11を表示部11−1〜表示部11−3として説明する。なお、表示部11−1、表示部11−2、表示部11−3は同一の表示部11である。また、以下では、表示部11−1〜表示部11−3について、特に区別なく説明する場合には、表示部11と記載する。なお、図3に示す、ステップS21、S22は、中央方向の視点から左右の視点への変更を示すものであり、処理の順序を示すものではない。   Further, in FIG. 3, the display unit 11 will be described as the display unit 11-1 to the display unit 11-3 according to the change in the display of the display unit 11. The display unit 11-1, the display unit 11-2, and the display unit 11-3 are the same display unit 11. Hereinafter, the display unit 11-1 to the display unit 11-3 will be referred to as the display unit 11 when they are not particularly distinguished. Note that steps S21 and S22 shown in FIG. 3 indicate a change from the central viewpoint to the left and right viewpoints, and do not indicate the order of processing.

図3の例では、生成装置100(図2参照)により生成された画像情報が、表示装置10の表示部11に表示された場合を示す。図3では、表示装置10に、照明装置IL21の発光面LF21〜LF23の発光状態において、各視点から発光面LF21〜LF23を視認した場合の発光面LF21〜LF23の発光態様を仮想的に示す画像情報IM21〜IM23の各々が表示される場合を示す。具体的には、図3中の表示装置10−1は、照明装置21に対向する位置(以下、「中央」ともいう)にある場合に対応する画像情報IM21が表示された表示装置10を示す。また、図3中の表示装置10−2は、中央から照明装置21に対して左側に移動した位置にある場合に対応する画像情報IM22が表示された表示装置10を示す。また、図3中の表示装置10−3は、中央から照明装置21に対して右側に移動した位置にある場合に対応する画像情報IM23が表示された表示装置10を示す。   In the example of FIG. 3, the image information generated by the generation device 100 (see FIG. 2) is displayed on the display unit 11 of the display device 10. In FIG. 3, the display device 10 virtually shows the light emission modes of the light emitting surfaces LF21 to LF23 when the light emitting surfaces LF21 to LF23 are viewed from each viewpoint in the light emitting state of the light emitting surfaces LF21 to LF23 of the illumination device IL21. The case where each of information IM21-IM23 is displayed is shown. Specifically, the display device 10-1 in FIG. 3 shows the display device 10 on which the image information IM21 corresponding to the case where the display device 10-1 is located at a position facing the illumination device 21 (hereinafter also referred to as “center”). . Also, the display device 10-2 in FIG. 3 shows the display device 10 on which image information IM22 corresponding to the position moved to the left side with respect to the illumination device 21 from the center is displayed. Also, the display device 10-3 in FIG. 3 shows the display device 10 on which the image information IM23 corresponding to the case where the display device 10-3 is located on the right side of the lighting device 21 from the center is displayed.

照明装置IL21は、正面方向に向いた発光面LF21や発光面LF21よりも右側を向いた発光面LF22や発光面LF21よりも左側を向いた発光面LF23が含まれる。なお、図3の例では、照明装置IL21の正面方向に向いた発光面LF21は複数あるが、図3においては1つの発光面のみに符号「LF21」を付すものとする。また、図3の例では、照明装置IL21の右方向に向いた発光面LF22は複数あるが、図3においては1つの発光面のみに符号「LF22」を付すものとする。また、図3の例では、照明装置IL21の左方向に向いた発光面LF23は複数あるが、図3においては1つの発光面のみに符号「LF23」を付すものとする。   The illumination device IL21 includes a light emitting surface LF21 facing the front direction, a light emitting surface LF22 facing the right side with respect to the light emitting surface LF21, and a light emitting surface LF23 facing the left side with respect to the light emitting surface LF21. In the example of FIG. 3, there are a plurality of light emitting surfaces LF21 facing the front direction of the illumination device IL21. However, in FIG. 3, only one light emitting surface is denoted by “LF21”. Further, in the example of FIG. 3, there are a plurality of light emitting surfaces LF22 facing rightward of the illumination device IL21, but in FIG. 3, only one light emitting surface is denoted by “LF22”. Further, in the example of FIG. 3, there are a plurality of light emitting surfaces LF23 facing leftward of the illumination device IL21, but in FIG. 3, only one light emitting surface is denoted by “LF23”.

例えば、発光面LF21〜LF23の発光状態とは、発光面LF21〜LF23に対応する光源(図示省略)が点灯した状態である。例えば、発光面LF21〜LF23に対応する光源は、LED等のように指向性の高い光源であってもよい。また、図3中の画像情報IM21〜IM23における照明装置IL21や各発光面LF21〜LF23は、仮想的に再現(描画)される。なお、照明装置IL21や各発光面LF21〜LF23は、対応する照明装置や発光面が現実(実空間)にあってもよいし、なくてもよい。   For example, the light emission states of the light emitting surfaces LF21 to LF23 are states in which light sources (not shown) corresponding to the light emitting surfaces LF21 to LF23 are turned on. For example, the light sources corresponding to the light emitting surfaces LF21 to LF23 may be light sources with high directivities such as LEDs. Further, the illumination device IL21 and the light emitting surfaces LF21 to LF23 in the image information IM21 to IM23 in FIG. 3 are virtually reproduced (drawn). Note that the illumination device IL21 and the light emission surfaces LF21 to LF23 may or may not have corresponding illumination devices and light emission surfaces in the actual (real space).

図3の例では、光環境情報には、照明装置IL21の各発光面LF21〜LF23の種々の光情報が含まれる。例えば、光環境情報には照明装置IL21の各発光面LF21〜LF23の輝度、光度、配光、光束発散度、色度、演色性等の種々の情報が含まれる。また、例えば、光環境情報には、照明装置IL21の各発光面LF21〜LF23の相対・絶対分光分布から計算される情報全ての少なくもいずれか1つに関する情報や照明装置IL21の構造に関するデータ(3次元CADデータなど)の種々の情報が含まれる。また、図3の例では、光環境情報には、照明装置IL21が設置されたスタジアムの設備や施設の構造に関するデータ(3次元CADデータなど)等の情報が含まれる。   In the example of FIG. 3, the light environment information includes various kinds of light information of the light emitting surfaces LF21 to LF23 of the illumination device IL21. For example, the light environment information includes various types of information such as the luminance, luminous intensity, light distribution, luminous flux divergence, chromaticity, and color rendering properties of the light emitting surfaces LF21 to LF23 of the illumination device IL21. Further, for example, the light environment information includes information on at least one of all information calculated from the relative / absolute spectral distributions of the light emitting surfaces LF21 to LF23 of the illumination device IL21 and data on the structure of the illumination device IL21 ( Various information such as 3D CAD data) is included. Further, in the example of FIG. 3, the light environment information includes information such as data (three-dimensional CAD data, etc.) regarding the equipment of the stadium where the illumination device IL21 is installed and the structure of the facility.

例えば、生成装置100は、上述した種々の情報に基づいて画像情報IM21〜IM23等を生成する。例えば、生成装置100は、種々の技術を適宜用いて、画像情報IM21〜IM23等を生成してもよい。例えば、生成装置100は、3次元画像処理技術や描画技術等の技術を適宜用いて、画像情報IM21〜IM23等を生成してもよい。例えば、生成装置100は、レンダリングに関する種々の技術を適宜用いて、画像情報IM21〜IM23等を生成してもよい。   For example, the generation device 100 generates the image information IM21 to IM23 based on the various information described above. For example, the generation apparatus 100 may generate the image information IM21 to IM23 and the like using various techniques as appropriate. For example, the generation apparatus 100 may generate the image information IM21 to IM23 and the like using techniques such as a three-dimensional image processing technique and a drawing technique as appropriate. For example, the generation apparatus 100 may generate the image information IM21 to IM23 and the like by appropriately using various techniques related to rendering.

表示装置10−1の表示部11−1には、画像情報IM21が表示される。図3中の表示装置10−1においては、照明装置IL21の発光面LF21が視点に対向するように位置するため、画像情報IM21において、発光面LF21は、ユーザに眩しさを感じさせるような発光態様で表現される。すなわち、生成装置100は、照明装置IL21の中央部分に位置する発光面(発光面LF21)をユーザに眩しさを感じさせるような発光態様で仮想的に再現する画像情報IM21を生成する。   Image information IM21 is displayed on the display unit 11-1 of the display device 10-1. In the display device 10-1 in FIG. 3, the light emitting surface LF21 of the illumination device IL21 is positioned so as to face the viewpoint. Therefore, in the image information IM21, the light emitting surface LF21 emits light that makes the user feel dazzling. Expressed in a manner. In other words, the generation device 100 generates the image information IM21 that virtually reproduces the light emitting surface (light emitting surface LF21) located in the central portion of the illumination device IL21 in a light emitting manner that makes the user feel dazzling.

また、図3中の表示装置10−1においては、照明装置IL21の発光面LF22が視点に対向しないように位置するため、画像情報IM21において、発光面LF22は、ユーザに眩しさを感じさせないような発光態様で表現される。また、図3中の表示装置10−1においては、照明装置IL21の発光面LF23が視点に対向しないように位置するため、画像情報IM21において、発光面LF23は、ユーザに眩しさを感じさせないような発光態様で表現される。すなわち、生成装置100は、照明装置IL21の中央部分以外、すなわち左右部分に位置する発光面(発光面LF22、LF23)をユーザに眩しさを感じさせるような発光態様で仮想的に再現する画像情報IM21を生成する。   Further, in the display device 10-1 in FIG. 3, since the light emitting surface LF22 of the illumination device IL21 is positioned so as not to face the viewpoint, in the image information IM21, the light emitting surface LF22 does not make the user feel dazzling. It is expressed by various light emission modes. Further, in the display device 10-1 in FIG. 3, since the light emitting surface LF23 of the illumination device IL21 is positioned so as not to face the viewpoint, in the image information IM21, the light emitting surface LF23 does not make the user feel dazzling. It is expressed by various light emission modes. In other words, the generation apparatus 100 virtually reproduces image information in a light emitting manner that makes the user feel dazzling on the light emitting surfaces (light emitting surfaces LF22 and LF23) located on the left and right portions other than the central portion of the illumination device IL21. IM21 is generated.

また、照明装置IL21と正対した状態を示した表示装置10−1から視点を左方向へ変更した場合(ステップS21)、表示装置10の表示は、表示装置10−2に遷移する。そして、表示装置10−2の表示部11−2には、画像情報IM22が表示される。   Further, when the viewpoint is changed to the left from the display device 10-1 showing the state facing the illumination device IL21 (step S21), the display on the display device 10 transitions to the display device 10-2. Then, the image information IM22 is displayed on the display unit 11-2 of the display device 10-2.

図3中の表示装置10−2においては、照明装置IL21の発光面LF22が視点に対向するように位置するため、画像情報IM22において、発光面LF22は、ユーザに眩しさを感じさせるような発光態様で表現される。すなわち、生成装置100は、照明装置IL21の右部分に位置する発光面(発光面LF22)をユーザに眩しさを感じさせるような発光態様で仮想的に再現する画像情報IM22を生成する。   In the display device 10-2 in FIG. 3, the light emitting surface LF22 of the illumination device IL21 is positioned so as to face the viewpoint. Therefore, in the image information IM22, the light emitting surface LF22 emits light that makes the user feel dazzling. Expressed in a manner. That is, the generation device 100 generates the image information IM22 that virtually reproduces the light emitting surface (light emitting surface LF22) located in the right part of the illumination device IL21 in a light emitting manner that makes the user feel dazzling.

また、図3中の表示装置10−2においては、照明装置IL21の発光面LF21が視点に対向しないように位置するため、画像情報IM22において、発光面LF21は、ユーザに眩しさを感じさせないような発光態様で表現される。また、図3中の表示装置10−2においては、照明装置IL21の発光面LF23が視点に対向しないように位置するため、画像情報IM22において、発光面LF23は、ユーザに眩しさを感じさせないような発光態様で表現される。すなわち、生成装置100は、照明装置IL22の右部分以外、すなわち中央分及び左部分に位置する発光面(発光面LF21、LF23)をユーザに眩しさを感じさせるような発光態様で仮想的に再現する画像情報IM22を生成する。   Further, in the display device 10-2 in FIG. 3, since the light emitting surface LF21 of the illumination device IL21 is positioned so as not to face the viewpoint, in the image information IM22, the light emitting surface LF21 does not make the user feel dazzling. It is expressed by various light emission modes. Further, in the display device 10-2 in FIG. 3, since the light emitting surface LF23 of the illumination device IL21 is positioned so as not to face the viewpoint, in the image information IM22, the light emitting surface LF23 does not make the user feel dazzling. It is expressed by various light emission modes. In other words, the generation device 100 virtually reproduces the light emitting surfaces (light emitting surfaces LF21 and LF23) located in the central portion and the left portion other than the right portion of the illumination device IL22 in a light emitting manner that makes the user feel dazzling. The image information IM22 to be generated is generated.

また、照明装置IL21と正対した状態を示した表示装置10−1から視点を右方向へ変更した場合(ステップS22)、表示装置10の表示は、表示装置10−3に遷移する。そして、表示装置10−3の表示部11−3には、画像情報IM23が表示される。   Further, when the viewpoint is changed to the right from the display device 10-1 showing the state facing the illumination device IL21 (step S22), the display of the display device 10 transitions to the display device 10-3. Then, the image information IM23 is displayed on the display unit 11-3 of the display device 10-3.

図3中の表示装置10−3においては、照明装置IL21の発光面LF23が視点に対向するように位置するため、画像情報IM23において、発光面LF23は、ユーザに眩しさを感じさせるような発光態様で表現される。すなわち、生成装置100は、照明装置IL21の左部分に位置する発光面(発光面LF23)をユーザに眩しさを感じさせるような発光態様で仮想的に再現する画像情報IM23を生成する。   In the display device 10-3 in FIG. 3, the light emitting surface LF23 of the illumination device IL21 is positioned so as to face the viewpoint. Therefore, in the image information IM23, the light emitting surface LF23 emits light that makes the user feel dazzling. Expressed in a manner. In other words, the generation device 100 generates the image information IM23 that virtually reproduces the light emitting surface (light emitting surface LF23) located in the left portion of the illumination device IL21 in a light emitting manner that makes the user feel dazzling.

また、図3中の表示装置10−3においては、照明装置IL21の発光面LF21が視点に対向しないように位置するため、画像情報IM23において、発光面LF21は、ユーザに眩しさを感じさせないような発光態様で表現される。また、図3中の表示装置10−3においては、照明装置IL21の発光面LF22が視点に対向しないように位置するため、画像情報IM23において、発光面LF22は、ユーザに眩しさを感じさせないような発光態様で表現される。すなわち、生成装置100は、照明装置IL23の左部分以外、すなわち中央分及び右部分に位置する発光面(発光面LF21、LF22)をユーザに眩しさを感じさせるような発光態様で仮想的に再現する画像情報IM23を生成する。   Further, in the display device 10-3 in FIG. 3, since the light emitting surface LF21 of the illumination device IL21 is positioned so as not to face the viewpoint, in the image information IM23, the light emitting surface LF21 does not make the user feel dazzling. It is expressed by various light emission modes. Further, in the display device 10-3 in FIG. 3, since the light emitting surface LF22 of the illumination device IL21 is positioned so as not to face the viewpoint, in the image information IM23, the light emitting surface LF22 does not make the user feel dazzling. It is expressed by various light emission modes. In other words, the generation device 100 virtually reproduces the light emitting surfaces (light emitting surfaces LF21 and LF22) located in the central portion and the right portion other than the left portion of the illumination device IL23 in a light emitting manner that makes the user feel dazzling. The image information IM23 to be generated is generated.

図3の例では、上述した種々の情報に基づいて生成装置100により生成された画像情報IM21〜IM23等を表示することにより、表示装置10内に、仮想的な光環境が構築可能である。そのため、例えば、ユーザが表示装置10を把持し、仮想現実(VR)による表示を開始する所定の操作を行うことにより、照明装置IL21の各発光面LF21〜LF23の発光態様を仮想的に体験することが可能になる。例えば、表示装置10は、ユーザの所定の操作に応じて、所定のアプリケーションが起動されることにより、照明装置IL21の各発光面LF21〜LF23の発光態様を仮想的に再現する画像情報IM21〜IM23を表示してもよい。   In the example of FIG. 3, a virtual light environment can be constructed in the display device 10 by displaying the image information IM21 to IM23 and the like generated by the generation device 100 based on the various information described above. Therefore, for example, when the user holds the display device 10 and performs a predetermined operation of starting display in virtual reality (VR), the user can virtually experience the light emission modes of the light emitting surfaces LF21 to LF23 of the illumination device IL21. It becomes possible. For example, the display device 10 has image information IM21 to IM23 that virtually reproduces the light emission modes of the light emitting surfaces LF21 to LF23 of the illumination device IL21 when a predetermined application is activated in response to a user's predetermined operation. May be displayed.

なお、生成装置100は、予め画像情報IM21〜IM23を生成し、表示装置10へ送信してもよい。また、例えば、表示装置10は、所定の視点に対応する画像情報を表示し、その画像情報に対応する位置から視点を徐々に変更し、視点の変更に対応する画像情報IM21〜IM23を連続して表示してもよい。図3の例では、表示装置10は、右方向からの視点から中央方向からの視点、左方向からの視点と、視点を右から左へ変更する場合、画像情報IM23を最初に表示し、次に、画像情報IM21を表示し、その後、画像情報IM22を表示してもよい。   The generation apparatus 100 may generate the image information IM21 to IM23 in advance and transmit them to the display apparatus 10. In addition, for example, the display device 10 displays image information corresponding to a predetermined viewpoint, gradually changes the viewpoint from a position corresponding to the image information, and continues the image information IM21 to IM23 corresponding to the viewpoint change. May be displayed. In the example of FIG. 3, when changing the viewpoint from the right direction to the viewpoint from the center direction, the viewpoint from the left direction, and the viewpoint from right to left, the display device 10 first displays the image information IM23, and then Alternatively, the image information IM21 may be displayed, and then the image information IM22 may be displayed.

また、図3の例では、表示装置10は、左方向からの視点から中央方向からの視点、右方向からの視点と、視点を左から右へ変更する場合、画像情報IM22を最初に表示し、次に、画像情報IM21を表示し、その後、画像情報IM23を表示してもよい。   In the example of FIG. 3, the display device 10 first displays the image information IM22 when the viewpoint from the left direction is changed to the viewpoint from the central direction, the viewpoint from the right direction, and the viewpoint from left to right. Next, the image information IM21 may be displayed, and then the image information IM23 may be displayed.

例えば、情報処理システム1は、表示装置10を例えば、情報処理システム1は、ユーザが表示装置10を傾ける操作に応じて、視点の位置を変更してもよい。例えば、表示装置10は、自装置である表示装置10に関する物理的な状態を検知し、検知結果に応じて視点の位置を変更してもよい。例えば、表示装置10は、ジャイロセンサ(ジャイロスコープや角速度センサ等と呼ばれる場合もある)等によって、表示装置10における物理的な動きの変化を検知してもよい。   For example, the information processing system 1 may change the position of the viewpoint of the display device 10 according to the operation of the user tilting the display device 10. For example, the display device 10 may detect a physical state related to the display device 10 that is the device itself, and may change the position of the viewpoint according to the detection result. For example, the display device 10 may detect a change in physical movement in the display device 10 using a gyro sensor (sometimes called a gyroscope or an angular velocity sensor).

図3に示すように、情報処理システム1は、視点の変更に応じて変化する画像情報により輝度情報を表示しているため、動的に視点が移動したときの見え方の表現することができる。言い換えると、図3の例では、情報処理システム1は、視点の変更に応じて変化する画像情報を動画として表示するにより動的に視点が移動したときの見え方の表現することができる。また、情報処理システム1は、まぶしさのみに限らず、種々の光情報を表示することが可能となる。   As shown in FIG. 3, the information processing system 1 displays luminance information with image information that changes in accordance with a change in viewpoint, and thus can express how the viewpoint looks when it dynamically moves. . In other words, in the example of FIG. 3, the information processing system 1 can represent the appearance when the viewpoint is dynamically moved by displaying image information that changes according to the change of the viewpoint as a moving image. Moreover, the information processing system 1 can display not only glare but also various optical information.

このように、情報処理システム1は、照明装置の発光面の光情報を視点に応じて変化して表示する光環境評価システムであるため、視点が動的に変化する場合、発光面の見え方を評価することができる。また、情報処理システム1は、表示装置10と組み合わせた評価システムであるため、人がその光情報の見たときの印象に近い見え方を実現することが可能になる。また、情報処理システム1は、まぶしさに特化したものでなく、明るさ、ちらつき、色の見え方、輝度情報以外の光情報(光度、光束発散度、色度、演色性、そのほか相対・絶対分光分布から計算される情報全て)の表示も可能となる。このように、情報処理システム1は、照明装置の発光面の光情報を視点に応じて変化して表示する光環境評価システムであるため、従来技術よりもリアリティの高い見え方を観察者に提示することができる。   As described above, the information processing system 1 is an optical environment evaluation system that displays the light information of the light emitting surface of the lighting device in accordance with the viewpoint. Therefore, when the viewpoint changes dynamically, how the light emitting surface looks Can be evaluated. In addition, since the information processing system 1 is an evaluation system combined with the display device 10, it is possible to realize a view that is close to the impression that a person sees when viewing the optical information. In addition, the information processing system 1 is not specialized for glare. Light information other than brightness, flicker, color appearance, luminance information (luminance, luminous flux divergence, chromaticity, color rendering, other relative / All information calculated from the absolute spectral distribution) can also be displayed. As described above, the information processing system 1 is an optical environment evaluation system that displays the light information of the light emitting surface of the lighting device in accordance with the viewpoint, and thus presents the observer with a higher reality appearance than the conventional technology. can do.

[生成処理のフロー]
ここで、情報処理システム1における処理の流れを、図4を用いて説明する。図4は、実施形態に係る情報処理システムにおける生成処理のフローチャートを示す図である。なお、図4の例では、情報処理システム1において生成装置100が行う生成処理と表示装置10が行う表示処理とを含む処理のフローチャートを一例として説明する。
[Flow of generation processing]
Here, the flow of processing in the information processing system 1 will be described with reference to FIG. FIG. 4 is a diagram illustrating a flowchart of generation processing in the information processing system according to the embodiment. In the example of FIG. 4, a flowchart of processing including generation processing performed by the generation device 100 and display processing performed by the display device 10 in the information processing system 1 will be described as an example.

まず、情報処理システム1は、光環境情報を取得する(ステップS101)。例えば、生成装置100は、光環境情報を取得する。例えば、生成装置100は、記憶部120から光環境情報を取得する。例えば、生成装置100は、所定の外部装置から光環境情報を取得する。   First, the information processing system 1 acquires light environment information (step S101). For example, the generation device 100 acquires light environment information. For example, the generation apparatus 100 acquires light environment information from the storage unit 120. For example, the generation device 100 acquires light environment information from a predetermined external device.

そして、情報処理システム1は、所定の視点における光再現画像を生成する(ステップS102)。例えば、生成装置100は、所定の視点における光再現画像を、所定の視点から発光面を視認した場合の発光面の発光態様を仮想的に示す画像情報として生成する。   Then, the information processing system 1 generates a light reproduction image at a predetermined viewpoint (step S102). For example, the generation device 100 generates a light reproduction image at a predetermined viewpoint as image information that virtually indicates a light emission mode of the light emission surface when the light emission surface is viewed from the predetermined viewpoint.

そして、情報処理システム1は、生成された光再現画像を表示する(ステップS103)。例えば、表示装置10は、生成装置100により生成された光再現画像を表示する。この場合、生成装置100は、生成した光再現画像を表示装置10へ送信する。生成装置100が表示装置10の機能を有する場合、生成装置100は、生成した光再現画像を表示する。   Then, the information processing system 1 displays the generated light reproduction image (step S103). For example, the display device 10 displays the light reproduction image generated by the generation device 100. In this case, the generation device 100 transmits the generated light reproduction image to the display device 10. When the generation device 100 has the function of the display device 10, the generation device 100 displays the generated light reproduction image.

そして、情報処理システム1は、視点の変更が無い場合(ステップS104:No)、ステップS104の処理を繰り返す。   And when there is no change of a viewpoint (step S104: No), the information processing system 1 repeats the process of step S104.

一方、情報処理システム1は、視点の変更が有った場合(ステップS104:Yes)、変更された視点における光再現画像を生成する(ステップS105)。例えば、生成装置100は、変更された視点における光再現画像を、変更された視点から発光面を視認した場合の発光面の発光態様を仮想的に示す画像情報として生成する。   On the other hand, when there is a change in viewpoint (step S104: Yes), the information processing system 1 generates a light reproduction image at the changed viewpoint (step S105). For example, the generation device 100 generates a light reproduction image at the changed viewpoint as image information that virtually indicates the light emission mode of the light emission surface when the light emission surface is viewed from the changed viewpoint.

そして、情報処理システム1は、ステップS103に戻って処理を繰り返す。なお、情報処理システム1は、ユーザにより、光再現画像を表示が終了された場合、処理を終了してもよい。   Then, the information processing system 1 returns to step S103 and repeats the process. Note that the information processing system 1 may end the process when the user finishes displaying the light reproduction image.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。また、これらの実施形態やその変形は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。   Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. These embodiments and modifications thereof are included in the invention described in the claims and equivalents thereof as well as included in the scope and gist of the invention. In addition, these embodiments and their modifications can be combined as appropriate within a range that does not contradict the processing contents.

1 情報処理システム
10 表示装置
11 表示部
100 生成装置
110 通信部
120 記憶部
130 制御部
131 取得部
132 生成部
133 送信部
DESCRIPTION OF SYMBOLS 1 Information processing system 10 Display apparatus 11 Display part 100 Generation apparatus 110 Communication part 120 Storage part 130 Control part 131 Acquisition part 132 Generation part 133 Transmission part

Claims (7)

所定の照明装置の発光面の発光状態において、所定の視点から当該発光面を視認した場合の当該発光面の発光態様を仮想的に示す画像情報を生成する生成部;
を具備することを特徴とする生成装置。
A generating unit that generates image information that virtually indicates a light emission mode of the light emitting surface when the light emitting surface is viewed from a predetermined viewpoint in a light emitting state of the light emitting surface of the predetermined lighting device;
A generating apparatus comprising:
前記生成部は、前記所定の視点から前記発光面を視認した場合の当該発光面の眩しさを仮想的に示す画像情報を生成する
請求項1に記載の生成装置。
The generation device according to claim 1, wherein the generation unit generates image information that virtually indicates glare of the light emitting surface when the light emitting surface is viewed from the predetermined viewpoint.
前記発光面を視認する視点の変更に関する視点情報を取得する取得部;
をさらに具備し、
前記生成部は、前記取得部により取得された視点情報に基づいて、視点を変更することにより、変更された視点から前記発光面を視認した場合の当該発光面の発光態様を仮想的に示す画像情報を生成する
請求項1または請求項2に記載の生成装置。
An acquisition unit for acquiring viewpoint information regarding a change in viewpoint for visually recognizing the light emitting surface;
Further comprising
The generation unit virtually changes the viewpoint based on the viewpoint information acquired by the acquisition unit, thereby virtually showing the light emission aspect of the light emission surface when the light emission surface is viewed from the changed viewpoint. The generation device according to claim 1 or 2 which generates information.
前記生成部は、所定の表示装置により表示された場合に、人が前記発光面を視認した際の眩しさに関する印象を仮想的に反映させた前記画像情報を生成する
請求項1〜3のいずれか1項に記載の生成装置。
The said production | generation part produces | generates the said image information which reflected the impression regarding the glare when a person visually recognized the said light emission surface when it displayed by the predetermined | prescribed display apparatus. The generating device according to claim 1.
前記生成部は、前記発光面の周辺の情報に応じて変動する前記画像情報を生成する
請求項1〜4のいずれか1項に記載の生成装置。
The generation device according to claim 1, wherein the generation unit generates the image information that varies according to information around the light emitting surface.
前記生成部は、所定の照明装置の複数の発光面であって、各々の向きが異なる複数の発光面の発光状態において、前記所定の視点から各発光面を視認した場合の各発光面の発光態様を仮想的に示す画像情報を生成する
請求項1〜5のいずれか1項に記載の生成装置。
The generation unit emits light from each light-emitting surface when the light-emitting surfaces are viewed from the predetermined viewpoint in the light-emitting state of the plurality of light-emitting surfaces of the predetermined lighting device, each having a different direction. The generation apparatus according to claim 1, wherein image information that virtually indicates an aspect is generated.
請求項1〜6のいずれか1項に記載の生成装置と;
1000cd/m(カンデラ毎平方メートル)以上の輝度の光を表現可能に前記画像情報を表示する表示装置と;
を具備する情報処理システム。
A generator according to any one of claims 1 to 6;
A display device that displays the image information such that light having a luminance of 1000 cd / m 2 (candela per square meter) or more can be expressed;
An information processing system comprising:
JP2017061073A 2017-03-27 2017-03-27 Information processing system Active JP7141200B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017061073A JP7141200B2 (en) 2017-03-27 2017-03-27 Information processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017061073A JP7141200B2 (en) 2017-03-27 2017-03-27 Information processing system

Publications (2)

Publication Number Publication Date
JP2018163566A true JP2018163566A (en) 2018-10-18
JP7141200B2 JP7141200B2 (en) 2022-09-22

Family

ID=63860146

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017061073A Active JP7141200B2 (en) 2017-03-27 2017-03-27 Information processing system

Country Status (1)

Country Link
JP (1) JP7141200B2 (en)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10300568A (en) * 1997-04-30 1998-11-13 Toshiba Lighting & Technol Corp Device for evaluating uncomfortable glare
JP2001099704A (en) * 1999-03-31 2001-04-13 Toshiba Lighting & Technology Corp Discomfort glare evaluation device
JP2003099801A (en) * 2001-09-25 2003-04-04 Toyota Motor Corp Image display method of three-dimensional model, image display device, image display program and recording medium thereof
JP2005275796A (en) * 2004-03-24 2005-10-06 Namco Ltd Program, information storage medium, and image generation system
JP2005346429A (en) * 2004-06-03 2005-12-15 Sega Corp Image processing
JP2006323514A (en) * 2005-05-17 2006-11-30 Namco Bandai Games Inc Image forming system, program and information storage medium
JP2015526791A (en) * 2012-06-11 2015-09-10 コーニンクレッカ フィリップス エヌ ヴェ Method and apparatus for configuring a luminaire in a virtual environment
WO2016118395A1 (en) * 2015-01-19 2016-07-28 Dolby Laboratories Licensing Corporation Display management for high dynamic range video
JP2016537792A (en) * 2013-09-13 2016-12-01 フィリップス ライティング ホールディング ビー ヴィ System and method for supporting augmented reality
JP2018170156A (en) * 2017-03-29 2018-11-01 パナソニックIpマネジメント株式会社 Light environment presentation system
JP2019148966A (en) * 2018-02-27 2019-09-05 岩崎電気株式会社 Light environment evaluation device and program
JP2019211886A (en) * 2018-06-01 2019-12-12 岩崎電気株式会社 Image generation device, image generation method, and image generation program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4807263B2 (en) 2006-09-14 2011-11-02 トヨタ自動車株式会社 Vehicle display device
JP4900628B1 (en) 2011-04-13 2012-03-21 独立行政法人交通安全環境研究所 Headlamp system effect evaluation simulator

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10300568A (en) * 1997-04-30 1998-11-13 Toshiba Lighting & Technol Corp Device for evaluating uncomfortable glare
JP2001099704A (en) * 1999-03-31 2001-04-13 Toshiba Lighting & Technology Corp Discomfort glare evaluation device
JP2003099801A (en) * 2001-09-25 2003-04-04 Toyota Motor Corp Image display method of three-dimensional model, image display device, image display program and recording medium thereof
JP2005275796A (en) * 2004-03-24 2005-10-06 Namco Ltd Program, information storage medium, and image generation system
JP2005346429A (en) * 2004-06-03 2005-12-15 Sega Corp Image processing
JP2006323514A (en) * 2005-05-17 2006-11-30 Namco Bandai Games Inc Image forming system, program and information storage medium
JP2015526791A (en) * 2012-06-11 2015-09-10 コーニンクレッカ フィリップス エヌ ヴェ Method and apparatus for configuring a luminaire in a virtual environment
JP2016537792A (en) * 2013-09-13 2016-12-01 フィリップス ライティング ホールディング ビー ヴィ System and method for supporting augmented reality
WO2016118395A1 (en) * 2015-01-19 2016-07-28 Dolby Laboratories Licensing Corporation Display management for high dynamic range video
JP2018170156A (en) * 2017-03-29 2018-11-01 パナソニックIpマネジメント株式会社 Light environment presentation system
JP2019148966A (en) * 2018-02-27 2019-09-05 岩崎電気株式会社 Light environment evaluation device and program
JP2019211886A (en) * 2018-06-01 2019-12-12 岩崎電気株式会社 Image generation device, image generation method, and image generation program

Also Published As

Publication number Publication date
JP7141200B2 (en) 2022-09-22

Similar Documents

Publication Publication Date Title
US10004984B2 (en) Interactive in-room show and game system
US11514653B1 (en) Streaming mixed-reality environments between multiple devices
US10692288B1 (en) Compositing images for augmented reality
US8933965B2 (en) Method for calculating light source information and generating images combining real and virtual images
ES2271272T3 (en) INTERACTIVE VIDEO DISPLAY SYSTEM.
CN110476148B (en) Display system and method for providing multi-view content
CN106062862A (en) System and method for immersive and interactive multimedia generation
US20060072076A1 (en) Interactive projection system and method
US10755486B2 (en) Occlusion using pre-generated 3D models for augmented reality
CN108693967A (en) Transformation between virtual reality and real world
US20210038975A1 (en) Calibration to be used in an augmented reality method and system
CN110663013B (en) System and method for presenting virtual object
JP5123353B2 (en) A virtual flashlight that illuminates and discovers real-time scenes
EP4134917A1 (en) Imaging systems and methods for facilitating local lighting
CN108139876A (en) The system and method generated for immersion and interactive multimedia
Marner et al. Exploring interactivity and augmented reality in theater: A case study of Half Real
US20200257831A1 (en) Led lighting simulation system
JP6776560B2 (en) Lighting environment evaluation method
JP7141200B2 (en) Information processing system
CN114385289B (en) Rendering display method and device, computer equipment and storage medium
JP7328651B2 (en) Generation device, generation method and generation program
JP7179024B2 (en) Systems and methods for rendering virtual objects
JP6875029B1 (en) Method, program, information processing device
KR102041279B1 (en) system, method for providing user interface of virtual interactive contents and storage of computer program therefor
JP2016126968A (en) Light emission control system and method of using the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210216

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210616

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210616

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210628

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210701

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20210820

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20210826

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220203

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20220405

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220407

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220728

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220825

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220825

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220909

R150 Certificate of patent or registration of utility model

Ref document number: 7141200

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150