JP2014235907A - Lighting control system and lighting control terminal - Google Patents
Lighting control system and lighting control terminal Download PDFInfo
- Publication number
- JP2014235907A JP2014235907A JP2013117125A JP2013117125A JP2014235907A JP 2014235907 A JP2014235907 A JP 2014235907A JP 2013117125 A JP2013117125 A JP 2013117125A JP 2013117125 A JP2013117125 A JP 2013117125A JP 2014235907 A JP2014235907 A JP 2014235907A
- Authority
- JP
- Japan
- Prior art keywords
- illumination
- unit
- user
- lighting
- lighting fixture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、照明制御システム及び照明制御端末に関する。 The present invention relates to a lighting control system and a lighting control terminal.
照明光の配光を調整する技術としては、下記の特許文献1が知られている。この特許文献1には、器具本体に取り付けられるLED発光部と、略山形状に形成されてLED発光部からの光を反射させるための反射板と、反射板の前面に配置されるパネルカバーとを備え、反射板の表面に凹凸部を設ける照明器具が開示されている。
The following
しかしながら、特許文献1の照明器具はパネル面を均一に発光することはできるが、照明器具に対する所望の方向に照明することはできない。
However, although the lighting fixture of
そこで、本発明は、上述した実情に鑑みて提案されたものであり、照明器具から所望の方向に照明光を照射することができる照明制御システム及び照明制御端末を提供することを目的とする。 Then, this invention is proposed in view of the situation mentioned above, and it aims at providing the illumination control system and illumination control terminal which can irradiate illumination light to a desired direction from a lighting fixture.
本発明の第1の態様に係る照明制御システムは、照明光の照射方向が調整可能な照明器具と、前記照明器具と一体又は近傍に設けられた複数の目印部と、ユーザの操作に応じて前記目印部を撮像する撮像部と、前記撮像部により撮像した撮像画像に含まれる前記目印部の位置関係に基づいて前記照明器具に対するユーザの位置を算出する演算部と、前記演算部により算出された前記ユーザの位置に基づいて照明光の照明方向を調整する制御部とを備えることを特徴とする。 The lighting control system according to the first aspect of the present invention includes a lighting fixture capable of adjusting an irradiation direction of illumination light, a plurality of mark portions provided integrally with or in the vicinity of the lighting fixture, and a user operation. Calculated by the imaging unit that images the mark unit, a calculation unit that calculates the position of the user with respect to the lighting fixture based on the positional relationship of the mark unit included in the captured image captured by the imaging unit, and the calculation unit And a control unit that adjusts the illumination direction of the illumination light based on the position of the user.
本発明の第2の態様に係る照明制御システムは、上記第1の態様の照明制御システムであって、前記目印部は、前記撮像部が撮像可能な範囲に対して特定の目印部が他の目印部と区別可能に構成されていることを特徴とする。 An illumination control system according to a second aspect of the present invention is the illumination control system according to the first aspect, wherein the mark unit has a specific mark unit other than a range that can be imaged by the imaging unit. It is configured to be distinguishable from the mark portion.
本発明の第3の態様に係る照明制御システムは、上記第2の態様の照明制御システムであって、前記演算部は、前記撮像部により撮像した撮像画像に含まれる前記目印部の位置関係に基づいて前記撮像部の向きを推定し、当該撮像部の向きから前記ユーザの向きを推定し、前記制御部は、前記推定したユーザの向きにおける前方と後方とで照明状態を変化させることを特徴とする。 The illumination control system according to a third aspect of the present invention is the illumination control system according to the second aspect, wherein the calculation unit is in a positional relationship of the mark portion included in the captured image captured by the imaging unit. The direction of the imaging unit is estimated based on the direction of the imaging unit, and the direction of the user is estimated based on the direction of the imaging unit, and the control unit changes the illumination state between the front and the rear in the estimated user direction. And
本発明の第4の態様に係る照明制御システムは、上記第2又は第3の態様の照明制御システムであって、前記演算部は、前記撮像部により撮像した撮像画像に含まれる前記目印部の位置関係に基づいて前記照明器具と前記撮像部との距離を推定し、前記制御部は、前記推定された距離に基づいて前記照明光の配光角度を調整することを特徴とする。 An illumination control system according to a fourth aspect of the present invention is the illumination control system according to the second or third aspect, wherein the calculation unit includes the mark unit included in the captured image captured by the imaging unit. A distance between the lighting fixture and the imaging unit is estimated based on a positional relationship, and the control unit adjusts a light distribution angle of the illumination light based on the estimated distance.
本発明の第5の態様に係る照明制御システムは、上記第1乃至第4の態様の何れかの態様の照明制御システムであって、照度計測部を備え、前記制御部は、前記照度計測部により計測した照度が予め設定した照度となるように前記照明器具から照射する照明光の輝度を制御することを特徴とする。 An illumination control system according to a fifth aspect of the present invention is the illumination control system according to any one of the first to fourth aspects, and includes an illuminance measurement unit, and the control unit includes the illuminance measurement unit. The luminance of the illumination light emitted from the lighting fixture is controlled so that the illuminance measured by the above-mentioned illuminance becomes a preset illuminance.
本発明の第6の態様に係る照明制御システムは、上記第1乃至第5の態様の何れかの態様の照明制御システムであって、前記制御部は、前記演算部により算出されたユーザの位置周辺に照射する照明光と、当該ユーザの位置周辺以外に照射する照明光とで異なるものとすることを特徴とする。 An illumination control system according to a sixth aspect of the present invention is the illumination control system according to any one of the first to fifth aspects, wherein the control unit is a user position calculated by the calculation unit. The illumination light that irradiates the periphery differs from the illumination light that irradiates other than the periphery of the position of the user.
本発明の第7の態様に係る照明制御システムは、上記第1乃至第6の態様の何れかの態様の照明制御システムであって、前記照明器具を複数有し、前記制御部は、単一の照明器具から照射された照明光により調整された照射方向における照度が所定の照度より低い場合に、他の照明器具から照明光を照射させることを特徴とする。 A lighting control system according to a seventh aspect of the present invention is the lighting control system according to any one of the first to sixth aspects, comprising a plurality of the lighting fixtures, wherein the control unit is a single unit. When the illuminance in the irradiation direction adjusted by the illumination light emitted from the other illumination fixture is lower than the predetermined illumination intensity, the illumination light is emitted from another illumination fixture.
本発明の第8の態様に係る照明制御システムは、上記第7の態様の照明制御システムであって、前記複数の照明器具のそれぞれ特定する識別子を設け、それぞれの照明器具からユーザに向けて照明光を照射することを特徴とする。 An illumination control system according to an eighth aspect of the present invention is the illumination control system according to the seventh aspect, wherein an identifier that identifies each of the plurality of illumination fixtures is provided, and illumination is performed from each illumination fixture toward the user. It is characterized by irradiating light.
本発明の第9の態様に係る照明制御端末は、光源による照明光の照射方向が調整可能な照明器具を制御する照明制御端末であって、前記光源の近傍に設けられた複数の目印部を撮像する撮像部と、前記撮像部により撮像した撮像画像に含まれる前記目印部の位置関係に基づいて前記照明器具に対するユーザの位置を算出する演算部と、前記演算部により算出された前記ユーザの位置に基づいて、前記照明器具から照射される照明光の照明方向を調整する制御部とを備えることを特徴とする。 An illumination control terminal according to a ninth aspect of the present invention is an illumination control terminal that controls a luminaire that can adjust the irradiation direction of illumination light from a light source, and includes a plurality of mark portions provided in the vicinity of the light source. An imaging unit that captures an image, a calculation unit that calculates a position of the user with respect to the lighting fixture based on a positional relationship between the mark units included in the captured image captured by the imaging unit, and the user's calculated by the calculation unit And a control unit that adjusts an illumination direction of illumination light emitted from the illumination fixture based on a position.
本発明の第10の態様に係る照明制御端末は、上記第9の態様の照明制御システムであって、周囲の照度を計測する照度計測部を備え、前記照度計測部により計測された照度に基づいて、前記照明器具から照射される照明光の輝度を制御することを特徴とする。 An illumination control terminal according to a tenth aspect of the present invention is the illumination control system according to the ninth aspect, includes an illuminance measurement unit that measures ambient illuminance, and is based on the illuminance measured by the illuminance measurement unit. The brightness of the illumination light emitted from the lighting fixture is controlled.
本発明によれば、ユーザの位置を演算し、照明器具から所望の方向に照明光を照射することができる。 ADVANTAGE OF THE INVENTION According to this invention, a user's position can be calculated and illumination light can be irradiated to a desired direction from a lighting fixture.
以下、本発明の実施の形態について図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
本発明の実施形態として示す照明制御システムは、例えば図1に示すように構成される。この照明制御システムは、光源を含む照明器具1、目印部2a、2b、2c(以下、総称する場合には単に「目印部2」と呼ぶ。)、及び、照明制御端末10とを含む。
The illumination control system shown as an embodiment of the present invention is configured as shown in FIG. 1, for example. The lighting control system includes a
照明器具1は、照明光の照射方向が調整可能なものである。
The
目印部2a、2b、2cは、光源を含む照明器具1と一体又は照明器具1の近傍に設けられた複数の目印からなる。この目印部2a、2b、2cは、照明制御端末10に撮像される。目印部2a、2b、2cは、照明制御端末10により撮像された撮像画像内において認識可能な形態であればよい。目印部2a、2b、2cは、撮像画像内で識別可能な形状や色、材料で構成されていればよい。また、目印部2a、2b、2cは、所定の3つのLEDによって構成してもよい。これにより目印部2a、2b、2cは照明器具1と一体に構成できる。
The
照明制御端末10は、例えばユーザPに操作される情報携帯端末によって構成される。また、照明制御端末10は、ユーザPに操作される照明器具1のリモコンなどであってもよい。さらに、照明制御端末10は、図1に示すようにユーザPに保持されて操作される装置であればよい。
The
照明制御端末10は、例えば図2に示すように、ユーザPの手Hによって操作され、照明器具1の制御が可能なものである。照明制御端末10は、表示画面100にタッチパネル機構が内蔵されている。照明制御端末10は、表示画面100に照明器具1のオン/オフを選択する操作メッセージ100aを表示させる。照明制御端末10は、オン又はオフの表示箇所が押圧されることにより、ユーザPの操作を受け付ける。照明制御端末10は、ユーザPの操作を受け付けると、照明器具1に制御信号を出力する。
For example, as shown in FIG. 2, the
このような照明制御システムは、例えば図3に示すように、照明制御端末10及び照明器具1が構成される。
In such a lighting control system, as shown in FIG. 3, for example, a
照明制御端末10は、信号出力部21、位置演算部22、撮像部23、及び、操作入力部24を含む。
The
操作入力部24は、ユーザPの操作を受け付ける。操作入力部24は、上述したタッチパネル機構であってもよく、その他の機械的な操作を受け付ける構成であってもよい。操作入力部24は、画像を撮像する操作や、照明器具1を制御する操作を受け付ける。照明器具1の制御内容としては、照明器具1の点灯又は消灯、明るさ、色温度の調整が挙げられる。
The
撮像部23は、照明制御端末10に内蔵された小型カメラによって実現できる。撮像部23は、ユーザPの操作に応じて画像を撮像し、撮像画像を生成する。本実施形態において、撮像部23は、少なくとも目印部2を撮像し、撮像画像を生成する。
The
位置演算部22は、撮像部23により撮像した撮像画像に含まれる目印部2の位置関係に基づいて照明器具1に対する照明制御端末10の位置を算出する。位置演算部22は、算出した照明制御端末10の位置から、ユーザPの位置を算出する。なお、位置演算部22による照明制御端末10の位置の算出方法の詳細については後述する。
The
信号出力部21は、照明器具1を制御する制御信号を送出する。信号出力部21は、照明器具1の制御信号に、位置演算部22により演算されたユーザPの位置情報を含める。これにより、照明制御端末10は、照明器具1に制御信号及びユーザPの位置情報を受信させることができる。
The
照明器具1は、信号入力部11、照明制御部12、照明部13を有する。また、照明器具1は、図1に示したように、目印部2を備えている。
The
信号入力部11は、照明制御端末10から照明器具1の制御信号を入力する。信号入力部11は、照明制御端末10から送信された無線信号を受信すると、当該無線信号を制御信号に変換して照明制御部12に出力する。また、この制御信号には、ユーザPの位置情報が含められている。
The
照明部13は、例えば所定の配列に従って設置された複数のLEDからなる。照明部13は、光源としてのLEDによる照明光の照射方向が調整可能である。照明部13は、例えば、照射したい照射方向のLEDのみを点灯又は輝度を高くすることができる。照明部13は、照明制御部12から供給された調光信号に従って動作する。
The
照明制御部12は、信号入力部11から供給された制御信号に従って調光信号を生成する。照明制御部12は、調光信号を照明部13に供給する。これにより、照明制御部12は、照明部13による照明光の点灯又は消灯、明るさ、色温度を制御する。
The
また、照明制御部12は、制御信号に含まれている照明器具1を基準とするユーザPの位置に向けて照明光の照射方向を制御する。これにより、照明器具1は、ユーザPの位置に基づいて照明光の照射方向を調整できる。例えば、照明器具1は、図1に示すように、ユーザPが居る検出範囲Dの照度を高くする照明光L1を照射する。一方、照明器具1は、ユーザPがいないTVには照度を低くする照明光L2を照射する。
Moreover, the
これにより、照明制御システムは、照明制御部12によって、照明制御端末10により算出されたユーザPの位置に基づいてユーザPに向けて照明光の照明方向を調整できる(制御部)。
Thereby, the illumination control system can adjust the illumination direction of illumination light toward the user P based on the position of the user P calculated by the
具体的には、照明制御システムは、図4に示すような一連の処理をすることによって照明光の照射方向を制御する。 Specifically, the illumination control system controls the irradiation direction of the illumination light by performing a series of processes as shown in FIG.
先ずステップS1において、照明制御端末10は、ユーザPの操作に応じて操作入力部24により照明器具1を制御する制御信号を入力する。
First, in step S <b> 1, the
次のステップS2において、照明制御端末10は、撮像部23により目印部2を撮影する。このとき、照明制御端末10は、自動的に撮影してもよく、ユーザPの操作によって撮影してもよい。
In the next step S <b> 2, the
次のステップS3において、照明制御端末10は、位置演算部22によって、撮影した目印部2を含む撮像画像から、照明器具1を基準とする照明制御端末10の位置を算出する。
In the next step S <b> 3, the
次のステップS4において、照明制御端末10は、位置演算部22によって、ステップS3にて算出した照明制御端末10の位置から、ユーザPの位置を算出する。さらに、照明制御端末10は、照明器具1に対し、照明器具1の制御信号及びユーザPの位置情報を送信する。
In the next step S4, the
次のステップS5において、照明器具1は、照明制御端末10から送信された照明器具1の制御信号に従って照明器具1の点灯状態を制御する。また、照明器具1は、ユーザPの位置情報に基づいて照明光の照射方向を調整する。これにより、照明器具1は、ユーザPの位置に対して照明光を照射できる。
In the next step S <b> 5, the
以上のように、照明制御システムは、光源による照明光の照射方向が調整可能な照明部(1)と、光源の近傍に設けられた複数の目印部(2)とを備える。さらに照明制御システムは、ユーザの操作に応じて目印部(2)を撮像する撮像部(23)と、撮像部により撮像した撮像画像に含まれる目印部(2)の位置関係に基づいて照明器具(1)に対するユーザPの位置を算出する演算部(22)を有する。さらに、照明制御システムは、演算部(22)により算出されたユーザPの位置に基づいて照明光の照明方向を調整する制御部(12)を備える。 As described above, the illumination control system includes the illumination unit (1) capable of adjusting the irradiation direction of the illumination light from the light source and the plurality of mark units (2) provided in the vicinity of the light source. Furthermore, the illumination control system illuminates on the basis of the positional relationship between the imaging unit (23) that images the mark unit (2) in accordance with a user operation and the mark unit (2) included in the captured image captured by the imaging unit. It has the calculating part (22) which calculates the position of the user P with respect to (1). The illumination control system further includes a control unit (12) that adjusts the illumination direction of the illumination light based on the position of the user P calculated by the calculation unit (22).
これにより、照明制御システムは、照明器具1から所望の方向に照明光を照射することができる。また、この照明制御システムによれば、操作者を基準とした照明制御を行う場合に、操作者が自分の位置を入力する必要がない。
Thereby, the illumination control system can irradiate illumination light from the
上述した照明制御システムにおいて、目印部2は、撮像部23が撮像可能な範囲に対して特定の目印部が他の目印部と区別可能に構成されていることが望ましい。
In the illumination control system described above, it is desirable that the
例えば、図1等に示したように、3つのLEDを目印部2a、2b、2cによって構成した場合、図5に示すように、二等辺三角形のように、一点の目印部2aだけが他の2つの目印部2b、2cと異なるように配置する。これにより、撮像部23によって撮像された撮像画像において、位置演算部22は、目印部2a、2b、2c間の距離から、目印部2b、2cから離れた目印部2aを認識できる。そして、位置演算部22は、目印部2aと、他の目印部2b、2cとの位置関係から、照明制御端末10の位置を推定できる。
For example, as shown in FIG. 1 and the like, when three LEDs are configured by the
上述した照明制御システムにおいて、位置演算部22は、撮像部23の向きを推定して、ユーザPの向きを推定してもよい。位置演算部22は、撮像部23により撮像した撮像画像に含まれる目印部2の位置関係に基づいて撮像部23の向きを推定する。位置演算部22は、当該撮像部23の向きからユーザPの正面方向を推定する。
In the illumination control system described above, the
照明制御端末10は、照明器具1の制御信号、ユーザPの位置情報に加えて、ユーザPの向き情報を送信する。照明器具1は、ユーザPの向き情報を受信すると、照明制御部12によって照明部13の照明状態を制御する。照明制御部12は、照明制御部12は、推定したユーザの向きにおける前方と後方において照明状態を変化させる。
The
例えば、図6に示すように、ユーザP1の向きを演算していない状態では、ユーザP1の前方及び後方で一様な照明光L11を照射する。ここで、ユーザP1、P2が保持している照明制御端末10の表示画面10A、10Bが上方向となっている。この状況で、ユーザP1、P2に対する照明制御端末10が存在する方向が、ユーザP1、P2の前方であることが分かる。なお、図6では、照明制御端末10によって照明器具1周囲の画像101を表示させて撮影していることを示している。
For example, as shown in FIG. 6, in a state where the direction of the user P1 is not calculated, the illumination light L11 that is uniform is emitted in front and rear of the user P1. Here, the
したがって、照明制御システムは、ユーザPの位置情報のみならず、照明制御端末10の位置情報を照明制御端末10から照明器具1に送信することが望ましい。そして、照明制御部12は、ユーザPの位置に対して照明制御端末10が存在する方向をユーザPの前方であると判断できる。また、照明制御部12は、照明制御端末10が存在しない方向をユーザPの後方であると判断できる。
Therefore, it is desirable that the lighting control system transmits not only the position information of the user P but also the position information of the
これにより、照明器具1は、ユーザP2の正面方向から先方に明るい照明光L12を照射する。一方、ユーザP2の後方は、照明光L12’の照明量を減少させることができる。これにより、ユーザP2の後方の照度よりも、ユーザP2の前方における照度を高くすることができる。また、照明器具1は、照度のみならず、色温度などを変更してもよい。
Thereby, the
上述した照明制御システムにおいて、位置演算部22は、撮像部23により撮像した撮像画像に含まれる目印部2の位置関係に基づいて照明器具1(照明部13)と撮像部23との距離を推定してもよい。そして、照明制御部12は、推定された距離に基づいて照明光の照明方向を調整してもよい。
In the illumination control system described above, the
図7の(a)、(b)に示すように、照明器具1に対する照明制御端末10の距離がD1とD2のように異なる場合、同じ2メートルの範囲に照射するために必要な配光角度は、A1とA2のように異なる。そこで、位置演算部22は、撮像画像に含まれる目印部2の位置関係から、照明器具1と照明制御端末10との距離を演算する。さらに位置演算部22は、演算した照明器具1と照明制御端末10との距離から所定範囲に照射するための照明光の配光角度を演算する。
As shown in FIGS. 7A and 7B, when the distance of the
このような照明制御システムによれば、照明器具1から照明制御端末10までの距離を演算でき、当該距離から照明光の配光方向を制御できる。
According to such an illumination control system, the distance from the
上述した照明制御システムは、照度計測部を備えていてもよい。これにより、照明制御部12は、照度計測部により計測した照度が予め設定した照度となるように照明部13から照射する照明光の輝度を制御できる。
The illumination control system described above may include an illuminance measurement unit. Thereby, the
図8に示すように、照明制御端末10に照度計測部25を設けてもよく、照明器具1に照度計測部14を設けてもよい。
As shown in FIG. 8, the
照度計測部25は、照明制御端末10の周囲の照度を計測する。これにより、照度計測部25は、照明制御端末10がユーザPに把持された状況においてユーザPの周囲の照度を計測する。計測された照度は、位置演算部22により演算されたユーザPの位置情報と共に信号出力部21から照明器具1に送信される。
The
照度計測部14は、照明器具1による照明光の照射範囲における照度を計測する。照度計測部14は、信号入力部11から供給されたユーザPの位置情報から、ユーザPの周囲における照度を計測する。照度計測部14によって計測したユーザPの周囲の照度は、照明制御部12に供給される。
The
照明制御部12は、照明制御端末10から送信された又は照度計測部14により計測されたユーザPの周囲の照度を取得する。照明制御部12は、計測したユーザPの周囲の照度が予め設定した照度となるように照明部13から照射する照明光の輝度を制御する。
The
このような照明制御システムは、ユーザPの周囲を所望の照度となるよう照明光を照射できる。したがって、照明制御システムは、ユーザPによって照度を調整しなくても、自動的に所望の照度となるよう制御できる。 Such an illumination control system can irradiate illumination light around the user P so as to have a desired illuminance. Therefore, the illumination control system can automatically control to obtain a desired illuminance without adjusting the illuminance by the user P.
上述した照明制御システムにおいて、照明制御部12は、図9に示すように、位置演算部22により算出されたユーザPの位置周辺に照射する照明光Lbと、当該ユーザPの位置周辺以外に照射する照明光Laとで異なるものとしてもよい。
In the illumination control system described above, the
照明制御部12は、例えば、照明光Lの照射範囲と照明部13におけるLEDとの対応関係を記憶している。照明制御部12は、照明器具1から送信されたユーザPの位置情報から、ユーザP周囲以外に照明光Laを照射するLEDと、ユーザP周囲に照明光Lbを照射するLEDとを区別する。照明制御部12は、ユーザP周囲以外に対応したLEDから色温度が低い照明光Laを照射させるよう制御する。一方、照明制御部12は、ユーザP周囲に対応したLEDから色温度が高い照明光Lbを照射させるよう制御する。また、照明制御部12は、照明光La、Lbとで照明光の明るさを変化させてもよいことは勿論である。
For example, the
上述した照明制御システムにおいて、照明器具1を複数有していてもよい。そして、照明制御部12は、単一の照明器具1から照射された照明光により調整された照射方向における照度が所定の照度より低い場合に、他の照明器具1から照明光を照射させる。
In the lighting control system described above, a plurality of
例えば図10(a)に示すように、照明器具1Aから100%の輝度で照明光L21をユーザPに向けて照射する。その結果、所望とする照度100に対し、実際の照度は50となっている。これに対し、照明制御システムは、図10(b)に示すように、他の照明器具1BからユーザPに向けて照明光L22を照射する。これにより、ユーザPが存在する領域の照度を所望の照度の100にすることができる。
For example, as shown to Fig.10 (a), the illumination light L21 is irradiated toward the user P with the brightness | luminance of 100% from the
この照明制御システムにおいて、複数の照明器具1A、1Bは、図10(b)及び図11に示すように、通信線200で接続する。それぞれの照明器具1A、1Bは、図11に示すように、信号入力部11、照明制御部12、照明部13、及び、目印部2を有している。
In this lighting control system, a plurality of
この照明制御システムは、複数の照明器具1A,1Bのそれぞれを特定する識別子A,Bを設ける。各照明器具1は、例えば、他の照明器具1の識別子及び自身に対する方向を記憶しておく。照明器具1は、他の照明器具1からも照明光を照射させる場合、ユーザPが存在する方向に位置する他の照明器具1に制御信号及びユーザPの位置情報を送信する。
This lighting control system is provided with identifiers A and B for specifying each of the plurality of
ユーザPの位置情報が送信された照明器具1は、当該ユーザPの位置情報に向けて照明光を照射する。これにより、照明制御システムは、図10(b)に示したように、複数の照明器具1A,1BからユーザPに向けて照明光L21、照明光L22を照射できる。
The
つぎに、上述した環境判断システムにおいて、照明器具1による複数方向への照明方法について説明する。
Next, a lighting method in a plurality of directions by the
第1の照明方法は、照明器具1に複数の光源を設け、当該光源のオン又はオフを制御して、複数の方向に照明光を照射する。例えば、図12に示すように、4つの光源3a、3b、3c、3dにより構成される照明器具1において、それぞれの光源3a、3b、3c、3dのオンオフを制御する。これにより、照明器具1は、4方向に照明できる。
In the first illumination method, a plurality of light sources are provided in the
第2の照明方法は、照明器具1内にアクチュエータにより可動する光源部を備える。照明制御部12は、ユーザPの位置情報を取得して照明方向が決定された場合には、アクチュエータにより光源部を照明方向に向ける。これにより、照明器具1は、複数の方向に照明できる。
The second illumination method includes a light source unit that is movable by an actuator in the
第3の照明方法は、照明器具1内に可動するプリズムを備える。照明制御部12は、ユーザPの位置情報を取得して照明方向が決定された場合には、プリズムの向きを変化させ、光源部から照射される光を屈折させる。これにより、照明器具1は、複数の方向に照明できる。
The third illumination method includes a movable prism in the
つぎに、上述した照明制御システムにおいて、ユーザPの位置を推定する方法について説明する。 Next, a method for estimating the position of the user P in the above-described illumination control system will be described.
ユーザPの位置(照明器具1から見たユーザPの方向及び距離)を推定するためには、目印部2が撮影された画像から目印部2の3次元的な姿勢を推定する必要がある。一例として目印部2は3つの目印により構成される場合、目印部2の3次元的な姿勢を推定することは、3点の目印部2によりできる三角形の法線ベクトルを求めることに相当する。
In order to estimate the position of the user P (the direction and distance of the user P viewed from the lighting device 1), it is necessary to estimate the three-dimensional posture of the
以下の方法は、目印部2における1つの目印部を他の目印部と区別できる場合に、ユーザPの位置を求める方法である。
The following method is a method for obtaining the position of the user P when one mark portion in the
第1の目印部2の姿勢推定方法は、方向を推定できるものである。この姿勢推定方法は、3点の目印部2により形成される三角形の1辺の長さとその両端の内角の角度が既知であることを用いる。目印部2の姿勢は、撮像部23の光学中心から各目印部2までのベクトルの関係を表現した方程式を解くことで推定できる。なお、この方法では照明器具1から目印部2までの距離について不定性が残る。
The posture estimation method of the
第2の目印部2の姿勢推定方法は、おおよその方向及び距離を推定できるものである。この姿勢推定方法は、配置が既知である3点の目印部2によりできる三角形を用いて、事前に様々な回転と平行移動を加えて画像面に投影した画像と、その画像に対応する三角形の法線ベクトルを保存しておく。
The posture estimation method of the
実際に照明制御端末10により撮影された画像から三角形の法線ベクトルと距離を推定する場合には、保存した様々な画像と三角形の形状のマッチングを行う。これにより、一番見えの近い画像の法線ベクトルと距離を推定結果とする。なお、この姿勢推定方法は、事前に様々な画像を作る際に撮像部23の内部パラメータが未知であるため、正確な投影画像が作成でないことから正確な方向及び距離は推定できない。
When estimating the normal vector and distance of a triangle from an image actually captured by the
第3の目印部2の姿勢推定方法は、高精度に方向及び距離を推定できるものである。上記2つの姿勢推定方法において、事前にカメラキャリブレーションを行い撮像部23の内部パラメータ(レンズ中心・焦点距離)を求めておく。これにより、第3の姿勢推定方法は、目印部2の方向及び距離を高精度に推定することができる。
The posture estimation method of the
つぎに、上述した照明制御システムにおいて、目印部2の姿勢推定方法について説明する。
Next, a method for estimating the posture of the
3点の目印部2を撮像部23で撮影したときの画像平面と3次元空間中の目印部2との関係を考える。
Consider the relationship between the image plane when the three
図13(a)に示すように、光学中心Oから画像平面までの距離fを1として、光学中心Oから画像中の3点の目印座標(u1,v1)、(u2,v2)、(u3,v3)までのベクトルをそれぞれp1、p2、p3とする。ここで、上述の図5に示したように、他の目印部2と区別された目印部2aを基準目印とする。基準目印をp1とし、p1から反時計回りに他の目印部2b、2cをp2、p3とする。画像中の目印座標は、3次元空間に存在する3点の目印部2を画像平面に投影した点である。このため、光学中心Oから3次元空間中の3点の目印部2までのベクトルP1、P2、P3はp1,p2,p3の定数倍となる。この定数をα、β、γとするとそれぞれのベクトルの関係は下記の式1のように表される。
上記式1におけるp1、p2、p3は式2のようになる。上記式1におけるP1、P2、P3は式3のようになる。上記式2、3における(uc,vc)は撮像部23のレンズ中心であり、撮像部23の内部パラメータが未知の場合は画像の中心とする。
P1, p2, and p3 in
図13(b)に示すように、ベクトルP1、P2、P3により構成される三角形の3つの内角をθ1、θ2、θ3とすると、各内角を構成するベクトルと内角の関係はベクトルの内積により式4−1のように表される。また、P1−P2の辺の長さをl、P2−P3の辺の長さをm、P3−P1の辺の長さをnとすると各頂点と各辺の関係は式4−2のように表される。
p1、p2、p3とθ1、θ2、θ3及びl、m、nが既知であるため、式4−1及び式4−2の関係式からα、β、γを求めることで、目印部2の姿勢(目印部2によって構成される三角形の法線ベクトル)を推定することができる。 Since p1, p2, and p3 and θ1, θ2, θ3, and l, m, and n are known, α, β, and γ are obtained from the relational expressions of Equations 4-1 and 4-2, so that The posture (triangular normal vector formed by the mark portion 2) can be estimated.
推定するパラメータはα、β、γの3パラメータであるため、上記関係式内から3つの式を選択し、連立方程式を立てる必要がある。しかし、上記関係式から例えば式2−1の3つの式(a)、(b)、(c)を選んだ場合、この関係式は三角形の3つの角の角度の関係を示しており、この連立方程式では相似形の自由度を含むためパラメータを推定できない。そこで、三角形の合同定理に基づき3つの式を選択する。下記に三角形の合同条件及び式選択例を示す。 Since the parameters to be estimated are the three parameters α, β, and γ, it is necessary to select three equations from the above relational expressions and establish simultaneous equations. However, when, for example, three expressions (a), (b), and (c) of Expression 2-1 are selected from the above relational expression, this relational expression indicates the relationship between the angles of the three corners of the triangle. In simultaneous equations, parameters cannot be estimated because they include degrees of freedom of similar shapes. Therefore, three formulas are selected based on the triangle identification. The following is an example of triangular congruence conditions and formula selection.
合同条件1:3辺がそれぞれ等しい(式選択例:式4-2の(a)、(b)、(c))
合同条件2:2辺とその間の角がそれぞれ等しい(式選択例:式4-2の(a)、(b)、式4-1の(b))
合同条件3:1辺とその両端の角がそれぞれ等しい(式選択例:式4-2の(a)、式4-1の(a)、(b))
上記で選択された式は非線形の関係式であるため、線形最小二乗法ではパラメータを推定できない。そのため、以下で説明するニュートン法による非線形最小二乗法によりパラメータα、β、γを求める。ニュートン法はパラメータの初期値を与え、そのパラメータの微小変化量d*を推定し、微小変化量d*を用いてパラメータを更新することを繰り返すことで最適なパラメータを推定する手法である。
Joint condition 1: 3 sides are equal (formula selection example: (a), (b), (c) in formula 4-2)
Joint condition 2: The two sides and the angles between them are equal (formula selection example: formulas 4-2 (a) and (b), formula 4-1 (b))
Joint condition 3: The sides and the corners of both sides are equal (formula selection example: formula 4-2 (a), formula 4-1 (a), (b))
Since the formula selected above is a nonlinear relational expression, the parameter cannot be estimated by the linear least square method. Therefore, the parameters α, β, and γ are obtained by a nonlinear least square method based on the Newton method described below. The Newton method is a method for estimating an optimum parameter by giving an initial value of a parameter, estimating a minute change amount d * of the parameter, and updating the parameter using the minute change amount d *.
以下では三角形の合同条件3を例にしたパラメータ推定方法について述べる。 In the following, a parameter estimation method will be described using the triangular congruence condition 3 as an example.
まず、式4−1の(a)について目的関数を考える。図14のように、P1からP2へのベクトルをV1、P1からP3へのベクトルをV2として下記の式5のように定義する。
V1、V2の内積は2つのベクトルのなす角θ1を用いて下記の式6ように表すことができる。
上記式6を目的関数(誤差関数)δ1とし、推定するパラメータの関数g1として下記の式7のように定義する。
推定するパラメータにおける目的関数δ1はパラメータの微小変化量d*を用いて下記の式8のように表される。下記式8におけるα、β、γは初期値または前回計算されたパラメータである。
前回計算値(または初期値)が変化量d*に十分近い場合、上記式8の目的関数を1次のテーラー近似することができ、下記式9ように表される。
式9においてg1(α,β,γ)は初期値または前回計算値から計算される値であるため既知であり、式9で推定するパラメータはdα、dβ、dγである。 In Expression 9, g1 (α, β, γ) is known because it is an initial value or a value calculated from the previous calculation value, and parameters estimated by Expression 9 are dα, dβ, and dγ.
次に式4−1の(b)について目的関数を考える。式4−1の(a)の目的関数と同様に、図15に示すように、P1とP2により構成されるベクトルをV3、P3とP2により構成されるベクトルをV4とする。ベクトルV3、V4となす角θ2により定義される目的関数δ2は下記の式10−3のようになる。
最後に式4−2の(a)について目的関数を考える。式4−2の(a)は式11のように表すことができる。
式11を目的関数δ3とし、推定するパラメータの関数g3として下記の式12のように定義する。
δ1、δ2と同様にδ3を変化量d*を用いて表し、1次のテーラー近似することで、式13−1、13−2のように表される。
以上、求めた式9、式10−3、式9の目的関数は全て線形の方程式であるため、この3つの方程式から最小二乗法を用いて微小変化量d*を推定することができる。 As described above, since the objective functions of Equation 9, Equation 10-3, and Equation 9 are all linear equations, the minute change d * can be estimated from these three equations using the least square method.
つぎに、上述した3つの方程式を用いた最小二乗法によるパラメータ推定方法について述べる。 Next, a parameter estimation method by the least square method using the above three equations will be described.
目的関数δ1、δ2、δ3を用いた最小二乗法は、下記の式14の目的関数ベクトルΔの二乗であるΔTΔを最小とする問題である。式14における目的関数δ1、δ2、δ3は、それぞれ、式15−1,15−2,15−3のようになる。式14におけるAは式16のようになり、qは式17のようになり、Bは式18のようになる。
誤差の自乗和S=ΔTΔを最小とする解qは下記式20を満たす。
上記式20を満たす解qは下記式21により求めることができる。
上記式21により求まった微小変化量ベクトルqを用いて、α、γ、βを下記式22により更新する。ここで、添字がoldであるパラメータは前回計算値、newであるパラメータが今回推定されたパラメータである。
更新されたα、β、γを用いて上記の最小二乗法による微小変化量推定と更新を繰返し、微小変化量が閾値以下となったときの更新されたα、β、γを推定結果とする。 Using the updated α, β, and γ, the estimation and update of the minute change amount by the least square method is repeated, and the updated α, β, and γ when the minute change amount is equal to or less than the threshold value is used as the estimation result. .
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。 The above-described embodiment is an example of the present invention. For this reason, the present invention is not limited to the above-described embodiment, and various modifications can be made depending on the design and the like as long as the technical idea according to the present invention is not deviated from this embodiment. Of course, it is possible to change.
上述した実施形態では、演算部が照明制御端末10に設けられ、制御部が照明器具1に設けられた構成を説明したが、これに限るものではない。例えば、演算部を照明器具1に設け、照明制御端末10により撮像された撮像画像から照明器具1に対するユーザPの位置を演算してもよい。また、制御部を照明制御端末10に設けてもよい。この場合、照明制御端末10は、演算部によってユーザPの位置情報を演算すると共に照明器具1の制御信号も生成して、照明器具1に送信する。これにより、照明器具1は、制御信号に従って照明部13を動作させることができる。
In the above-described embodiment, the configuration in which the calculation unit is provided in the
1 照明器具
2 目印部
10 照明制御端末
12 照明制御部
13 照明部
14、25 照度計測部
22 位置演算部
23 撮像部
DESCRIPTION OF
Claims (10)
前記照明器具と一体又は近傍に設けられた複数の目印部と、
ユーザの操作に応じて前記目印部を撮像する撮像部と、
前記撮像部により撮像した撮像画像に含まれる前記目印部の位置関係に基づいて前記照明器具に対するユーザの位置を算出する演算部と、
前記演算部により算出された前記ユーザの位置に基づいて照明光の照明方向を調整する制御部と
を備えることを特徴とした照明制御システム。 A lighting fixture capable of adjusting the direction of illumination light, and
A plurality of mark portions provided integrally or in the vicinity of the lighting fixture;
An imaging unit that images the mark unit in accordance with a user operation;
A calculation unit that calculates a position of the user with respect to the lighting device based on a positional relationship of the mark unit included in the captured image captured by the imaging unit;
A control unit that adjusts an illumination direction of illumination light based on the position of the user calculated by the calculation unit.
前記制御部は、前記推定したユーザの向きにおける前方と後方とで照明状態を変化させることを特徴とする請求項2に記載の照明制御システム。 The calculation unit estimates a direction of the imaging unit based on a positional relationship of the mark unit included in a captured image captured by the imaging unit, estimates a direction of the user from a direction of the imaging unit,
The lighting control system according to claim 2, wherein the control unit changes a lighting state between the front and the rear in the estimated direction of the user.
前記制御部は、前記推定された距離に基づいて前記照明光の配光角度を調整することを特徴とする請求項2又は請求項3に記載の照明制御システム。 The calculation unit estimates a distance between the lighting fixture and the imaging unit based on a positional relationship of the mark unit included in the captured image captured by the imaging unit,
The illumination control system according to claim 2, wherein the control unit adjusts a light distribution angle of the illumination light based on the estimated distance.
前記制御部は、前記照度計測部により計測した照度が予め設定した照度となるように前記照明器具から照射する照明光の輝度を制御することを特徴とする請求項1乃至請求項4の何れか一項に記載の照明制御システム。 It has an illuminance measurement unit,
The said control part controls the brightness | luminance of the illumination light irradiated from the said lighting fixture so that the illumination intensity measured by the said illumination intensity measurement part may become preset illumination intensity, The any one of Claim 1 thru | or 4 characterized by the above-mentioned. The lighting control system according to one item.
前記制御部は、単一の照明器具から照射された照明光により調整された照射方向における照度が所定の照度より低い場合に、他の照明器具から照明光を照射させること
を特徴とする請求項1乃至請求項6の何れか一項に記載の照明制御システム。 Having a plurality of the lighting fixtures,
The said control part makes illumination light irradiate from another lighting fixture, when the illumination intensity in the irradiation direction adjusted with the illumination light irradiated from the single lighting fixture is lower than predetermined illumination intensity. The illumination control system according to any one of claims 1 to 6.
前記光源の近傍に設けられた複数の目印部を撮像する撮像部と、
前記撮像部により撮像した撮像画像に含まれる前記目印部の位置関係に基づいて前記照明器具に対するユーザの位置を算出する演算部と、
前記演算部により算出された前記ユーザの位置に基づいて、前記照明器具から照射される照明光の照明方向を調整する制御部と
を備えることを特徴とした照明制御端末。 A lighting control terminal that controls a lighting fixture that can adjust the irradiation direction of illumination light from a light source,
An imaging unit for imaging a plurality of landmarks provided in the vicinity of the light source;
A calculation unit that calculates a position of the user with respect to the lighting device based on a positional relationship of the mark unit included in the captured image captured by the imaging unit;
An illumination control terminal comprising: a control unit that adjusts an illumination direction of illumination light emitted from the lighting fixture based on the position of the user calculated by the arithmetic unit.
前記照度計測部により計測された照度に基づいて、前記照明器具から照射される照明光の輝度を制御すること
を特徴とする請求項9に記載の照明制御端末。 It has an illuminance measurement unit that measures ambient illuminance,
The illumination control terminal according to claim 9, wherein brightness of illumination light emitted from the lighting fixture is controlled based on illuminance measured by the illuminance measurement unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013117125A JP6074709B2 (en) | 2013-06-03 | 2013-06-03 | Lighting control system and lighting control terminal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013117125A JP6074709B2 (en) | 2013-06-03 | 2013-06-03 | Lighting control system and lighting control terminal |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014235907A true JP2014235907A (en) | 2014-12-15 |
JP6074709B2 JP6074709B2 (en) | 2017-02-08 |
Family
ID=52138459
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013117125A Active JP6074709B2 (en) | 2013-06-03 | 2013-06-03 | Lighting control system and lighting control terminal |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6074709B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170004159A (en) * | 2015-07-01 | 2017-01-11 | 빛기술 주식회사 | Led lamp for infant and wrist band linked the same |
JP2019185938A (en) * | 2018-04-05 | 2019-10-24 | ミネベアミツミ株式会社 | Control device, lighting system, control method, and program |
WO2020085242A1 (en) * | 2018-10-25 | 2020-04-30 | パナソニックIpマネジメント株式会社 | Lighting control device, lighting control system, and lighting control method |
US11835997B2 (en) | 2019-09-27 | 2023-12-05 | Electronic Theatre Controls, Inc. | Systems and methods for light fixture location determination |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08236276A (en) * | 1995-02-24 | 1996-09-13 | Mitsubishi Electric Corp | Illumination control device |
JPH1012005A (en) * | 1996-06-19 | 1998-01-16 | Matsushita Electric Works Ltd | Automatic tracking lighting system |
JPH10198506A (en) * | 1997-01-13 | 1998-07-31 | Osaka Gas Co Ltd | System for detecting coordinate |
JPH11345691A (en) * | 1998-06-04 | 1999-12-14 | Matsushita Electric Ind Co Ltd | Illumination environment adjusting method, illumination environment adjusting system and luminaire |
JP2010003469A (en) * | 2008-06-19 | 2010-01-07 | Nec Tokin Corp | Lighting control system |
JP2010530605A (en) * | 2007-06-18 | 2010-09-09 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Directionally controllable lighting unit |
JP2012104301A (en) * | 2010-11-09 | 2012-05-31 | Sharp Corp | Illumination system |
-
2013
- 2013-06-03 JP JP2013117125A patent/JP6074709B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08236276A (en) * | 1995-02-24 | 1996-09-13 | Mitsubishi Electric Corp | Illumination control device |
JPH1012005A (en) * | 1996-06-19 | 1998-01-16 | Matsushita Electric Works Ltd | Automatic tracking lighting system |
JPH10198506A (en) * | 1997-01-13 | 1998-07-31 | Osaka Gas Co Ltd | System for detecting coordinate |
JPH11345691A (en) * | 1998-06-04 | 1999-12-14 | Matsushita Electric Ind Co Ltd | Illumination environment adjusting method, illumination environment adjusting system and luminaire |
JP2010530605A (en) * | 2007-06-18 | 2010-09-09 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Directionally controllable lighting unit |
JP2010003469A (en) * | 2008-06-19 | 2010-01-07 | Nec Tokin Corp | Lighting control system |
JP2012104301A (en) * | 2010-11-09 | 2012-05-31 | Sharp Corp | Illumination system |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170004159A (en) * | 2015-07-01 | 2017-01-11 | 빛기술 주식회사 | Led lamp for infant and wrist band linked the same |
KR101701385B1 (en) | 2015-07-01 | 2017-02-01 | 빛기술 주식회사 | Led lamp for infant and wrist band linked the same |
JP2019185938A (en) * | 2018-04-05 | 2019-10-24 | ミネベアミツミ株式会社 | Control device, lighting system, control method, and program |
WO2020085242A1 (en) * | 2018-10-25 | 2020-04-30 | パナソニックIpマネジメント株式会社 | Lighting control device, lighting control system, and lighting control method |
CN112889351A (en) * | 2018-10-25 | 2021-06-01 | 松下知识产权经营株式会社 | Illumination control device, illumination control system, and illumination control method |
JPWO2020085242A1 (en) * | 2018-10-25 | 2021-09-16 | パナソニックIpマネジメント株式会社 | Lighting control device, lighting control system, and lighting control method |
US11706865B2 (en) | 2018-10-25 | 2023-07-18 | Panasonic Intellectual Property Management Co., Ltd. | Lighting control device, lighting control system, and lighting control method |
JP7386400B2 (en) | 2018-10-25 | 2023-11-27 | パナソニックIpマネジメント株式会社 | Lighting control device, lighting control system, and lighting control method |
US11835997B2 (en) | 2019-09-27 | 2023-12-05 | Electronic Theatre Controls, Inc. | Systems and methods for light fixture location determination |
Also Published As
Publication number | Publication date |
---|---|
JP6074709B2 (en) | 2017-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10039475B2 (en) | Intraoral three-dimensional measuring device, intraoral three-dimensional measuring method, and intraoral three-dimensional measurement result display method | |
US9560345B2 (en) | Camera calibration | |
JP4584213B2 (en) | Mobile robot positioning system and method using camera and sign | |
JP6074709B2 (en) | Lighting control system and lighting control terminal | |
US9341465B2 (en) | Dimension measuring apparatus, dimension measuring method, and program for dimension measuring apparatus | |
JP3906194B2 (en) | CALIBRATION METHOD, CALIBRATION SUPPORT DEVICE, CALIBRATION DEVICE, AND CAMERA SYSTEM MANUFACTURING METHOD | |
CN105874414B (en) | Position detecting device, position detecting system and method for detecting position | |
US20140232859A1 (en) | Measuring system and method for marking a known target point in a coordinate system | |
TW200908792A (en) | Computer-controlled lighting system | |
JP2009223331A (en) | Light projection device and illuminator | |
CN109644532B (en) | Light output positioning | |
JP2017113573A (en) | Eye-sight inspection device and inspection method of eye | |
US20220086991A1 (en) | Smart mirror, controlling method thereof, and system for purchasing a cosmetic | |
US20190361569A1 (en) | Interactive screen devices, systems, and methods | |
WO2019193859A1 (en) | Camera calibration method, camera calibration device, camera calibration system and camera calibration program | |
FI127833B (en) | Lighting arrangement | |
US10607368B1 (en) | Coded tracking for head-mounted displays | |
CN110174645B (en) | Relative position detection method and detection device | |
CN111780715A (en) | Visual ranging method | |
JP5308765B2 (en) | Lighting device | |
CN108141945B (en) | Lighting arrangement and system, computer readable storage medium and mobile communication device | |
KR20200072535A (en) | Multi-layer viewing system and method | |
JP2018147751A (en) | Illumination system | |
CN105612815A (en) | Luminaire system having touch input unit for control of light output angle | |
KR100958352B1 (en) | Monitoring method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20150312 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20150319 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160307 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161116 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161215 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6074709 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |