JP2021197214A - Lighting system - Google Patents
Lighting system Download PDFInfo
- Publication number
- JP2021197214A JP2021197214A JP2020100585A JP2020100585A JP2021197214A JP 2021197214 A JP2021197214 A JP 2021197214A JP 2020100585 A JP2020100585 A JP 2020100585A JP 2020100585 A JP2020100585 A JP 2020100585A JP 2021197214 A JP2021197214 A JP 2021197214A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- lighting
- attribute
- person
- detection data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 claims abstract description 5
- 238000005286 illumination Methods 0.000 claims description 13
- 241000282414 Homo sapiens Species 0.000 abstract description 6
- 238000001514 detection method Methods 0.000 description 126
- 230000033001 locomotion Effects 0.000 description 35
- 238000004891 communication Methods 0.000 description 21
- 239000011521 glass Substances 0.000 description 15
- 230000006870 function Effects 0.000 description 13
- 210000003128 head Anatomy 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000001681 protective effect Effects 0.000 description 4
- 230000001678 irradiating effect Effects 0.000 description 3
- 206010041349 Somnolence Diseases 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000003889 eye drop Substances 0.000 description 2
- 229940012356 eye drops Drugs 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Circuit Arrangement For Electric Light Sources In General (AREA)
Abstract
Description
本発明の実施形態は、照明システムに関する。 Embodiments of the present invention relate to lighting systems.
照明を照射する対象者(照射対象者)の集中度に応じて、照射する照明を制御する照明システムが知られている(例えば、特許文献1)。しかし、このような照明システムは、人の集中度という数値化しにくいパラメータを元に制御を行うため、集中度の推定が困難であったり、人によって差があったり、人に合った制御を適切に提供できない虞があった。また集中度の推定精度を向上するには、人が測定器(例えば、脈拍測定器や、集中度を測定するメガネ)を身に着け人に近い位置でデータを取得する必要があり、システムが煩雑になる虞があった。 There is known a lighting system that controls the lighting to be irradiated according to the concentration of the target person (irradiation target person) to be irradiated (for example, Patent Document 1). However, since such a lighting system controls based on a parameter that is difficult to quantify, such as the degree of concentration of a person, it is difficult to estimate the degree of concentration, there are differences depending on the person, and control suitable for the person is appropriate. There was a risk that it could not be provided to. Also, in order to improve the accuracy of concentration estimation, it is necessary for a person to wear a measuring device (for example, a pulse measuring device or glasses for measuring concentration) and acquire data at a position close to the person, and the system There was a risk of complication.
本発明が解決しようとする課題は、簡単な構成で、人に合った制御状態を提供できる照明システムを提供することである。 An object to be solved by the present invention is to provide a lighting system capable of providing a control state suitable for a person with a simple configuration.
実施形態の照明システムは、光を照射する照明部と、照明部の光照射範囲内に存在する人の情報を取得する取得部と、取得部で取得した情報から人の視覚的な特徴を含む属性を判断する判断部と、判断部で判断された属性に応じて照明部の照明態様を制御する制御部と、を備える。 The lighting system of the embodiment includes a lighting unit that irradiates light, an acquisition unit that acquires information on a person existing within the light irradiation range of the illumination unit, and a visual feature of a person from the information acquired by the acquisition unit. A determination unit for determining an attribute and a control unit for controlling the lighting mode of the illumination unit according to the attribute determined by the determination unit are provided.
実施形態によれば、簡単な構成で、人に合った制御状態を提供できる照明システムを提供することが期待できる。 According to the embodiment, it can be expected to provide a lighting system capable of providing a control state suitable for a person with a simple configuration.
以下、一実施形態を、図面を参照して説明する。 Hereinafter, one embodiment will be described with reference to the drawings.
図1に本実施形態の照明システム1を示す。本実施形態の照明システム1は、照明部2と、取得部3と、処理部4と、制御部5と、を備えている。照明システム1は、環境Aにいる対象Bとその近傍に光を照射(照明)する際に用いられる照明システムである。環境Aは、家庭、オフィス、店舗、工場など、一般的に照明を用いる環境である。また環境Aは、図1に示すように壁で囲まれた閉鎖された空間であって良いし、図1とは異なり少なくとも1方向には壁が存在せず開放された空間であっても良い。そして、対象Bは、例えば人間であり、衣服や眼鏡などを身に着けていたり、何らかの作業や動作を行っていたりする。
FIG. 1 shows the
照明部2は、環境Aに光を照射するように配設される照明装置である。そして、照明部2は、全般照明手段と、局所照明手段と、を備えている。全般照明手段とは、所謂、アンビエント照明を提供する手段であり、配光が広い光を照射する手段のことを言う。局所照明手段とは、所謂、タスク照明を提供する手段であり、配光が狭い光を照射する手段のことを言う。また環境Aにおいて、全般照明手段の光が照射される範囲かつ局所照明手段の光が照射される範囲の任意の1点の照度は、全般照明手段でのみ照射された際の照度を1とすると、局所照明手段でのみ照射された際の照度は1以上となることが好ましい。
The
図2に照明部2の一例を示す。図2の照明部2は、全般照明手段を備えた全般照明装置21と、局所照明手段を備えた局所照明装置22と、を備えている。本実施形態の全般照明装置21はベースライトであり、環境Aの天井A’に配設されている。また、本実施形態の局所照明装置22はダウンライトであり、環境Aの天井A’に埋め込まれるように配設されている。なお、照明部2の形態としては、図2に示す形態に限定されるものではない。照明部2は、環境Aに配設されていれば良く、環境Aの壁や、環境Aに置かれた机上などに配設されていても良い。また、全般照明装置21としてはシーリングライトなどの配光が広い照明装置を用いても良いし、局所照明装置22としては、スポットライトなどの配光が狭い照明装置を用いても良い。さらに、1つの照明装置が、全般照明手段と、局所照明手段と、の両方を備えていても良い。1つの照明装置が、全般照明手段と、局所照明手段と、の両方を備える方法としては、例えば、照明装置がレンズを備えており、レンズを自動で切り替えたりレンズを手動で付け替えたりすることで全般照明と局所照明を切り替えたり、照明装置が配光の異なる2種類以上の光源を備えており、それぞれの光源を点灯、消灯させることで全般照明と局所照明を切り替えたりする方法が考えられる。
FIG. 2 shows an example of the
また照明部2は、照度(明るさ)を調整できる調光機能や、色度を調整できる調色機能を備えていることが好ましい。調色機能としては、色度図上のある2点間や3点間で色度を調整するような色温度可変機能でも良いし、色度図上の広い範囲の色を再現することが可能なフルカラー機能であっても良い。
Further, it is preferable that the
取得部3を図3に示す。取得部3は、検知部31と、取得通信部32と、を備える。検知部31は、例えばCCD(Charge Coupled Device)素子やCMOS(Complementary Metal Oxide Semiconductor)素子等の固体撮像素子を備えたカメラや画像センサである。取得部3は、検知部31で環境Aの中の対象Bの状況を検知可能なように1つないし複数配設され、検知部31で、環境Aにいる対象Bの状況を検知し、対象Bの状況を画像や動画といった検知データの形で取得する。ここでの対象Bの状況とは、例えば、対象Bの服装や身に着けているものの状況であったり、対象Bの動作・作業の状況であったりする。そして、検知部31は取得した検知データを、取得通信部32へ渡す。取得部3は、環境Aの上方(例えば、環境Aの天井A’)に配設され、上方から下方に向かって検知することが好ましい。
The
取得通信部32は、少なくともデータや信号を送信する機能を備えており、検知部31で取得した検知データを後述する処理部4へ送信する。この送信は、無線通信で行われても、有線通信で行われても良い。そして、この取得通信部32から送信する動作は、検知部31から検知データを渡された段階で行われる。
The
検知部31で検知データを取得する動作は、一定間隔で行われても良い。例えば、照明部2の状況に関わらず24時間常に一定間隔で取得動作が行われても良いし、照明部2が点灯している間だけ一定間隔で取得動作が行われても良い。また、検知部31で検知データを取得する動作としては、外部からトリガーが入力された段階で行われても良い。例えば、取得通信部32が外部から信号を受信したことをトリガーとして、検知部31で検知データを取得する動作が行われても良い。
The operation of acquiring the detection data by the
さらに、取得通信部32から処理部4へ検知データを送信する動作は、検知データが変化した段階で送信されても良い。つまり、取得部3では検知データの変化を検知しており、検知データが変化した時に、変化が見られた検知データを処理部4へ送信する。この場合、変化が見られない検知データは処理部4へ送信されない。なお、検知データが変化するということは、対象Bの状況に何らかの変化があったことを示している。例えば、動作(業務)の状況が変化したり、身に着けているものが変化したり、ということが挙げられる。この場合、取得部3は、検知データを記憶する機能(検知記憶部)と、検知データの差分を算出する機能(検知差分算出部)と、を備えていることが望ましい。検知データが画像データの場合の例を挙げると、1つ前に検知部31で取得された検知データと、今回検知部31で取得された検知データと、の差分を算出し、その差分が閾値を超えている場合は、今回の検知データを処理部4へ送信する。検知データが動画データの場合は、検知データに含まれるフレーム(コマ)単位での比較を行う。例えば、1つ前に検知部31で取得された検知データの最初のフレームと、今回検知部31で取得された検知データの最初のフレームと、の差分を算出し、その差分が閾値を超えている場合は今回の検知データを処理部4へ送信する。また例えば、今回検知部31で取得された検知データの最初のフレームと、今回検知部31で取得された検知データの最後のフレームとの差分を算出し、その差分が閾値を超えている場合は今回の検知データを処理部4へ送信する。
Further, the operation of transmitting the detection data from the
なお取得部3は、検知部31で環境Aの中の対象Bの状況を検知可能、かつ、処理通信部32でのデータや信号の送信(構成によっては受信も)が可能なように配設されれば良いため、取得部3の全てが環境Aの中に配設されなくても良い。例えば、検知部31の撮影部(レンズ)だけが環境Aに配設され、後の部分は環境Aの外側に配設されても良い。
The
処理部4を図4に示す。処理部4は、処理通信部41と、判断部42と、記憶部43と、を備えている。処理部4は、取得部3で取得した検知データを受信して、検知データの特徴を抽出することで検知データの内容を判断し、その判断に応じた信号を出力する。処理部4から出力された信号は、後述する制御部5が受信する。そのため処理部4は、取得部3で取得した検知データを受信可能、処理部4から送信した信号を制御部5で受信可能であれば、どのような位置に配設されても良い。処理部4は、照明部2と同じく環境Aに配設されても良いし、環境Aの外に配設されても良いし、照明部2に組み込まれていても良い。さらに処理部4は、インターネット等を介してアクセス可能なクラウドサービスを提供するクラウドサーバ上に設けられてもよい。
The
処理通信部41は、データや信号を受信する受信機能と、データや信号を送信する送信機能と、を有している。この受信や送信は、無線通信で行われても、有線通信で行われても良い。
The
判断部42は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等のプロセッサを備えており、プロセッサが記憶部43に記憶されているプログラムを実行することにより、プログラムの機能を実現する。また判断部42は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現することができる。
The determination unit 42 includes, for example, a processor such as a CPU (Central Processing Unit) or an MPU (Micro Processing Unit), and the processor executes a program stored in the
記憶部43は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。そして、処理通信部41で受信した情報や信号、判断部42を動作させるプログラム、照明部2の種類や位置データ、取得部3の位置データ、判断部42で抽出された結果、判断結果などを記憶する。また詳細は後述するが、記憶部43は照明制御を決定する際に使用される照明態様テーブルを記憶していても良い。
The
制御部5は、データや信号を受信する受信機能と、データや信号を送信する送信機能と、を有している。この受信や送信は、無線通信で行われても、有線通信で行われても良い。そして、処理部4から送信された信号を受信し、その信号に基づいた制御信号を照明部2へ送信し、照明部2を制御する。制御部5は、照明部2や処理部4とは別体に配設されていても良いし、照明部2と一体に配設されていても良いし、処理部4と一体に配設されていても良い。また照明部2が複数の照明装置からなる場合は、制御部5も照明装置と同数分配設されても良い。
The
次に、図5を参照して照明システム1全体の動きについて説明する。照明システム1では、検知部3で取得された検知データを元に、照明部2の照明態様を変化させる制御が行われる。ここでの照明態様の変化とは、全般照明から局所照明への切り替え、局所照明から全体照明への切り替え、全般照明と局所照明の出力割合変更、明るさ変更(調光)、照射色の変更(調色)、さらにこれらの変更の組合せなどが挙げられる。
Next, the movement of the
まず、取得部3で環境Aの対象Bの状況を検知データとして取得し、その後検知データを処理部4へ送信する動作が行われる(ステップS1)。上述したように、取得部3の検知部31で検知データを取得し、その検知データを取得通信部32へ渡し、取得通信部32が処理部4へ検知データを送信する。ここでの検知データは、画像データであったり、動画データであったりする。
First, the
次に、取得部3から送信された検知データを処理部4が受信し、処理部4で検知データの属性を判断する動作が行われる(ステップS2)。上述したように、取得部3から送信された検知データは、処理部4の処理通信部41が受信し、処理通信部41から判断部42へ渡される。判断部42では、検知データの属性を判断する。ここでの検知データの属性とは、例えば、検知データに含まれる対象Bの人物属性であったり、検知データに含まれる対象B以外の部分の環境属性であったりするが、いずれも視覚的な特徴に基づいて判断される属性である。またここでの視覚的な特徴とは、目やカメラでとらえることが可能な特徴であり、人間の身体的な特徴であったり、人間が身に着けている被服の特徴であったり、環境Aに配置されている物の特徴であったりする。なお、処理部4で検知データの属性を判断できなかった場合は、ステップは終了する。ステップS2の詳細は後述する。
Next, the
その次のステップとしては、処理部4で判断された属性を元に照明態様を決定する動作が行われる(ステップS3)。この照明態様を決定する動作は、予め定められた照明態様テーブルに則って決定されても良いし、機械学習により生成された学習モデルを利用して決定されても良い。ステップS3の詳細も後述する。
As the next step, an operation of determining the lighting mode based on the attribute determined by the
さらに次のステップとしては、処理部4で決定された照明態様に基づく制御指令が処理部4から制御部5へ送信され(ステップS4)、制御部5が照明部2を制御する(ステップS5)。ステップS4での制御指令は、制御信号そのものであっても良いし、制御信号そのものではなく、制御の内容を示す情報であっても良い。制御の内容を示す情報を処理部4から制御部5へ送信する場合は、情報を受け取った制御部5で制御信号に変換し、その制御信号で照明部2を制御する。照明部2が複数の照明装置からなる場合や、制御部5が複数存在する場合は、処理部4から送信する制御指令に宛先情報を含むことが望ましい。例えば、照明装置2や制御部5に識別ナンバーが付与されており、その識別ナンバーを含む制御指令であることが望ましい。
Further, as a next step, a control command based on the lighting mode determined by the
このようなステップで、取得部3で取得された環境Aの対象Bの状況を示す検知データを元に照明制御が行われる。そのため、環境Aにいる対象Bはウェアラブル端末などを身に着けなくても照明制御を行うことができ、システムとして煩雑にならず、また対象Bもウェアラブル端末を着用することによる不快感を生じずに済む。
In such a step, lighting control is performed based on the detection data indicating the status of the target B of the environment A acquired by the
ステップS2、ステップS3の詳細を説明する。ステップS2、ステップS3は処理部4で実行されるステップである。また、上述したように検知データの属性は、検知データ内にいる人物属性や、検知データ内の環境属性などがあるが、以下では、検知データは環境Aにおける対象Bを含む画像(写真)として、画像から対象Bの人物属性を判断し、照明態様を決定するステップについて説明する。なお、対象Bの人物属性は、対象Bの身体属性と、対象Bの動作属性と、に分類される。言い換えれば、検知データから対象Bの身体属性と、対象Bの動作属性と、が特定されれば対象Bの人物属性を特定することができる。
The details of step S2 and step S3 will be described. Steps S2 and S3 are steps executed by the
まず人物属性について説明する。図6に人物属性を構成する属性の1つである身体属性の一例を、図7に人物属性を構成する属性の1つである動作属性の一例を示す。身体属性はさらに2つに分類され、一方は髪、顔、体などの身体的な特徴を示す体属性で、他方は身に着けている帽子、メガネ、衣服、アクセサリなどの特徴を示す被服属性である。動作属性は、体属性や被服属性の動き、変化などの特徴を示す属性である。これらの身体属性や動作属性は、取得部3が環境Aの上方(例えば、環境Aの天井A’)に配設され、上方から下方に向かって検知する場合に検知しやすい属性である。
First, the person attribute will be described. FIG. 6 shows an example of a physical attribute which is one of the attributes constituting a person attribute, and FIG. 7 shows an example of an operation attribute which is one of the attributes constituting a person attribute. Physical attributes are further classified into two types, one is a physical attribute that indicates physical characteristics such as hair, face, and body, and the other is a clothing attribute that indicates characteristics such as a hat, glasses, clothes, and accessories that are worn. Is. The motion attribute is an attribute showing characteristics such as movement and change of body attribute and clothing attribute. These physical attributes and motion attributes are attributes that are easy to detect when the
次に、図8を参照して処理部4で行われるステップS2の流れを説明する。
Next, the flow of step S2 performed by the
まず、検知部3から送信された検知データを受信した処理部4にて、検知データから体属性を抽出する(ステップS21)。体属性には、髪型や目などの場所、形状といった人の特徴と、目や口の開閉状態や、顔や体の位置・向きの状態といった人の状態と、が含まれる。そのため、検知データ内に複数の人が存在する場合でも、体属性を用いて一人一人を特定することができる。なお、髪型については帽子などを被っていると全体の抽出はできないが、帽子からはみ出している部分のみ(例えば、襟足、もみ上げなど)が抽出できれば良い。そして、体属性を抽出するステップS21では、人数判断ステップと、人物特定ステップと、が行われる。
First, the
人数判断ステップでは、検知データから体属性が抽出された位置から、検知データに含まれる人数と、人の位置と、を判断する。例えば、体属性の髪を検知データ内の3か所で抽出できた場合は、検知データ内に3人の人がいると判断できる。この時、1つの体属性の位置だけではなく複数の体属性(例えば、髪、頭、体、手など)の位置を複合して判断することで、人数判断の精度を高めることができる。この人数判断ステップで、検知データ内は0人であると判断された場合は、ステップS2は終了となる。この場合、0人という結果に対して照明制御を行っても良いし、0人という結果に伴なって照明システム1の全体ステップも終了となり照明制御は行われなくても良い。
In the number of people determination step, the number of people included in the detection data and the position of the person are determined from the position where the body attribute is extracted from the detection data. For example, if the hair of the body attribute can be extracted at three places in the detection data, it can be determined that there are three people in the detection data. At this time, the accuracy of determining the number of people can be improved by determining not only the position of one body attribute but also the positions of a plurality of body attributes (for example, hair, head, body, hands, etc.) in combination. If it is determined in this number determination step that there are no people in the detection data, step S2 ends. In this case, the lighting control may be performed for the result of 0 people, or the entire step of the
人物特定ステップは、検知データ内にいると判断された人物をラベリング(例えば、人物A、B、Cなど)して、各人物と抽出された体属性と関連付ける。この関連付けによって個人が特定される。なお人物特定ステップは、人物判断ステップの後に行われることが望ましい。 The person identification step labels (for example, persons A, B, C, etc.) the persons determined to be in the detection data, and associates each person with the extracted body attributes. This association identifies an individual. It is desirable that the person identification step is performed after the person determination step.
次に、検知データから被服属性を抽出する(ステップS22)。被服属性は、検知データ内にいると判断された人が身に着けている被服の属性である。ここでの被服とは身体に身に着けるものを指し、衣服、メガネ、帽子、アクセサリ、手袋、などを含む。そして被服属性とは、例えば、帽子を被っている人物であれば、その帽子が、ヘルメットなのか、キャップなのか、種類を抽出したり、帽子の色、帽子についている付属品(例えば、バッジ、ステッカーなど)を抽出したり、帽子の鍔の向きなどを抽出したりする。抽出された被服属性もステップS21でされたラベリングに関連付けられる。 Next, the clothing attribute is extracted from the detection data (step S22). The clothing attribute is an attribute of clothing worn by a person determined to be in the detection data. Clothing here refers to what is worn on the body and includes clothing, glasses, hats, accessories, gloves, and the like. And the clothing attribute is, for example, if the person is wearing a hat, whether the hat is a helmet or a cap, the type, the color of the hat, and the accessories attached to the hat (for example, a badge, etc.) (Stickers, etc.) are extracted, and the orientation of the collar of the hat is extracted. The extracted clothing attributes are also associated with the labeling done in step S21.
なお、このステップS22が完了した段階で、検知データと、抽出した体属性と、抽出した被服属性と、を処理部4の記憶部43に記憶しても良い。その場合、例えば、検知データを検知した日時や、検知データの取得ナンバー(連番)などと関連付けて記憶されることが望ましい。
When this step S22 is completed, the detection data, the extracted body attribute, and the extracted clothing attribute may be stored in the
次に、検知データから動作属性を抽出する(ステップS23)。この動作属性の抽出では、過去データとの比較を行う。つまり、ステップS22までで抽出してきた体属性や被服属性(以下、今回データと呼ぶ)と、処理部4の記憶部43に記憶された過去の検知データに関連付けて記憶されている体属性や被服属性、動作属性(以下、過去データと呼ぶ)と、を比較して動作属性を抽出する。例えば、過去データと今回データの2つのデータの体属性を比較することで、2つのデータ間で人物の体のどの部位がどの方向に動いたかを抽出することができる。また2つのデータの被服属性を比較することで、2つのデータ間での被服の着脱や変更を抽出することができる。なお、ここで比較される過去データは、今回データの1つ前に取得された過去データであることが好ましいが、2つ以上前に取得された過去データであっても良い。
Next, the operation attribute is extracted from the detection data (step S23). In the extraction of this operation attribute, comparison with past data is performed. That is, the body attributes and clothing that are stored in association with the body attributes and clothing attributes extracted up to step S22 (hereinafter referred to as data this time) and the past detection data stored in the
次に、検知データの人物属性を判断する(ステップS24)。この人物属性の判断においては、ステップS23で抽出された動作属性を用いて判断される。ステップS23で抽出された動作属性のみを用いてできる人物属性の判断としては、例えば、被服の状況や、作業の状況などである。被服に関する動作属性から、被服を着用していない状態から着用した人、被服を着用した状態から外した人、被服を変更した人(帽子の鍔の向き、メガネの種類、衣服の種類など)、という人物属性が判断できる。また、ヘルメットを被っている人は定常的に作業している人、という人物属性が判断できるが、ヘルメットに責任者のステッカーが貼られた人は巡視に来た人、という人物属性が判断できる。さらに、手に関する動作属性から、○○作業に着手した人、○○作業を中断(終了)した人、という作業状況に関する人物属性が判断できる。 Next, the person attribute of the detection data is determined (step S24). In the determination of the person attribute, the operation attribute extracted in step S23 is used for the determination. The determination of the person attribute that can be performed using only the motion attribute extracted in step S23 is, for example, the situation of clothing, the situation of work, and the like. From the movement attributes related to clothing, those who wore it from the state of not wearing clothing, those who took it off from the state of wearing clothing, those who changed clothing (direction of the brim of the hat, type of glasses, type of clothing, etc.), You can judge the person attribute. Also, the person attribute that the person wearing the helmet is a person who is working constantly can be judged, but the person attribute that the person with the sticker of the person in charge on the helmet is the person who came to the patrol can be judged. .. Furthermore, from the motion attributes related to the hand, it is possible to determine the person attributes related to the work situation, such as the person who started the XX work and the person who interrupted (finished) the XX work.
また人物属性の判断においては、ステップS23で抽出された動作属性と、過去データの動作属性と、を比較して判断しても良い。ステップS23で抽出された動作属性と、過去データの動作属性と、を比較して判断することで、ステップS23で抽出された動作属性が一時的なものか、継続的なものかを考慮して人物属性を判断することができる。例えば、ステップS23で頭が動かなかったという動作属性を抽出した場合を考えると、過去データでも頭が動かなかったという動作属性の場合は集中していると推定でき、集中して作業している人という人物属性が判断できる。また、例えば、ステップS23で頭が方向Aに移動したという動作属性を抽出した場合、過去データでは頭が方向Aに移動したという動作属性の場合は、継続的(断続的)に頭を動かす作業をしていると推定でき、○○作業中の人という人物属性が判断できる。また、過去データでは頭が方向Bに移動したという動作属性の場合は、頭がランダムに動いているという推定ができ、無関連動作をしている人という人物属性が判断できる。なお、無関連動作とは集中力を欠いた人が行うような不規則な動作や、現在行っている作業に直接関係のない動作のことをいう。例えば、ウトウトして頭や体を動かす動作や、ソワソワして頭や体を動かす動作は無関連動作に含まれる。 Further, in the determination of the person attribute, the operation attribute extracted in step S23 and the operation attribute of the past data may be compared and determined. By comparing and determining the operation attribute extracted in step S23 and the operation attribute of the past data, it is considered whether the operation attribute extracted in step S23 is temporary or continuous. It is possible to judge the person attribute. For example, considering the case where the motion attribute that the head did not move is extracted in step S23, it can be estimated that the motion attribute that the head did not move even in the past data is concentrated, and the work is concentrated. The person attribute of a person can be judged. Further, for example, when the motion attribute that the head moves in the direction A is extracted in step S23, in the case of the motion attribute that the head moves in the direction A in the past data, the work of moving the head continuously (intermittently). It can be presumed that the person is working, and the person attribute of the person who is working can be determined. Further, in the case of the motion attribute that the head moves in the direction B in the past data, it can be estimated that the head is moving randomly, and the person attribute of the person performing the unrelated motion can be determined. In addition, unrelated movements refer to irregular movements such as those performed by people who lack concentration, and movements that are not directly related to the work currently being performed. For example, the movements of moving the head and body by fluttering and the movements of moving the head and body by swaying are included in the unrelated movements.
このようにして、検知データから対象Bの人物属性が判断され、ステップS24が完了するとともにステップS2も完了する。上述したステップは検知データが環境Aにおける対象Bを含む画像(写真)の場合の紹介をしたが、検知データは動画であっても良い。検知データが動画である場合は、基本的には動画の最終フレームに対して上述したステップが行われる。また、過去データとの比較を行う場合は、同一動画データ内の過去フレームとの比較を行っても良く、異なる動画データのフレームとの比較を行っても良い。 In this way, the person attribute of the target B is determined from the detection data, and step S24 is completed and step S2 is also completed. The above-mentioned steps have introduced the case where the detection data is an image (photograph) including the target B in the environment A, but the detection data may be a moving image. When the detection data is a moving image, the above steps are basically performed for the final frame of the moving image. Further, when comparing with the past data, the comparison with the past frame in the same moving image data may be performed, or the comparison with the frame of different moving image data may be performed.
なお、ステップS2(ステップS24)が完了した段階で、抽出した人物属性の全てを処理部4の記憶部43に記録(保存)することが望ましい。例えば、ステップS22が完了した段階で、検知データと、体属性と、被服属性と、を記憶部43に記録している場合は、その記録に付け足す形で動作属性も記録しても良い。また、ステップS22が完了した段階で、検知データと、体属性と、被服属性と、を記憶部43に記録していない場合は、検知データと、体属性と、被服属性と、動作属性と、をまとめて記憶部43に記録しても良い。この場合も、検知データを検知した日時や、検知データの取得ナンバー(連番)などと関連付けて記憶されることが望ましい。
When step S2 (step S24) is completed, it is desirable to record (save) all the extracted person attributes in the
次に、ステップS3の照明態様を決定するステップについて詳細を説明する。ステップS3では、処理部4の判断部42にて、ステップS2で判断された検知データの属性に応じた照明態様を決定する。この照明態様の決定においては、予め記憶部43に記憶された照明態様テーブルに則って判断される。照明態様テーブルを図9に示す。なお、ステップS2にて検知データ内に0人という判断をした場合は、照明態様テーブルに則らず、照明を暗くする、または照明を消灯するという選択がされても良い。
Next, the step of determining the lighting mode of step S3 will be described in detail. In step S3, the determination unit 42 of the
照明態様テーブルは、検知データの属性と、その属性に対応する照明態様と、で構成されている。例えば、メガネを着用した人という人物属性に対しては、照度を上げるという照明態様が決定される。これはメガネを着用した場合、メガネによって光が吸収、反射することで目に入る光の量が低下してしまうためである。低下した光を補うために照度を上げる視認性を向上させるという照明態様が決定される。また、メガネを外した人という人物属性に対しては、照度を下げるという照明態様が決定される。これはメガネを外すことで目に入る光の量が増加するため、必要以上に光が供給されると、かえって視認性が低下してしまうためである。また、PC作業をしている人という人物属性に対しては、電球色で点灯するという照明態様が決定され、紙面作業をしている人という人物属性に対しては、昼白色で点灯するという照明態様が決定される。これは、PC画面や紙面を視認しやすい光色を供給する効果や、作業内容が変わったときに適切に照明の調光調色を行うことで、集中度向上や気分転換などの効果が得られるためである。さらに、作業に着手した人という人物属性に対しては、照度を上げるという照明態様が決定され、作業を中断(終了)した人という人物属性に対しては、照度を下げるという照明態様が決定される。これは、作業中の人に対しては照度を高くして作業効率を向上し、作業を中断(終了)した場合は照度を下げて省エネを図るという効果が得られるためである。また、集中して作業をしている人という人物属性に対しては、全般照明を点灯するという照明態様が決定され、無関連動作をしている人という人物属性に対しては、局所照明を点灯するという照明態様が決定される。これは、無関連動作は作業者の集中度の低下と共に現れるため、無関連動作をしている人に対しては局所照明により集中を促すという効果が得られる。局所照明により集中し、無関連動作が減少したり、一定時間が経過したりした後は集中して作業をしている人という人物属性に変わり、全般照明への切り替えが行われる。 The lighting mode table is composed of attributes of detection data and lighting modes corresponding to the attributes. For example, for the person attribute of a person wearing glasses, the lighting mode of increasing the illuminance is determined. This is because when wearing glasses, the amount of light that enters the eyes is reduced by the absorption and reflection of light by the glasses. An illumination mode is determined in which the visibility of increasing the illuminance is improved in order to compensate for the reduced light. In addition, for the person attribute of the person who has taken off the glasses, the lighting mode of lowering the illuminance is determined. This is because the amount of light that enters the eyes increases when the glasses are removed, and if more light is supplied than necessary, the visibility is rather reduced. In addition, the lighting mode is determined to light up in the color of a light bulb for the person attribute of a person working on a PC, and it is said to light up in neutral white for the person attribute of a person working on paper. The lighting mode is determined. This has the effect of supplying a light color that makes it easy to see the PC screen and the paper surface, and the effect of improving concentration and changing the mood by appropriately adjusting the dimming and toning of the lighting when the work content changes. This is because it is done. Furthermore, for the person attribute of the person who started the work, the lighting mode of increasing the illuminance is determined, and for the person attribute of the person who interrupted (finished) the work, the lighting mode of decreasing the illuminance is determined. To. This is because it is possible to obtain the effect of increasing the illuminance for the person who is working to improve the work efficiency, and reducing the illuminance when the work is interrupted (finished) to save energy. In addition, for the person attribute of a person who is working intensively, the lighting mode of turning on the general lighting is determined, and for the person attribute of a person who is performing unrelated movements, local lighting is used. The lighting mode of lighting is determined. This is because the unrelated movement appears as the concentration of the worker decreases, so that it is possible to obtain the effect of promoting the concentration by the local lighting for the person performing the unrelated movement. Local lighting concentrates, and after a certain period of time, unrelated movements decrease, or after a certain period of time, the person attribute changes to the person who concentrates and works, and switching to general lighting is performed.
また、図9に示した照明態様テーブルに記載されていない項目として、動作属性が前回から変わっていない場合は、現在の照明態様を維持するという決定がされても良い。また、例えば、帽子を着用している人という人物属性に対しては、照度を上げるという照明態様が決定され、帽子を外した人という人物属性に対しては、照度を下げるという照明態様が決定されても良い。これは、帽子によって遮光される光を補う方向に制御することを目的としている。同様に、帽子の鍔を顔側に動かした人という人物属性に対しては、照度を上げるという照明態様が決定され、帽子の鍔を後頭部側に動かした人という人物属性に対しては、照度を下げるという照明態様が決定されても良い。また、目薬を複数回さした人という人物属性に対しては、照度を上げたり、局所照明を点灯したりという照明態様が決定されても良い。目薬をさすケースの1つとしては眠気を感じたときが挙げられるため、眠気を解消させるための照明制御を目的とする。 Further, as an item not described in the lighting mode table shown in FIG. 9, if the operation attribute has not changed from the previous time, it may be decided to maintain the current lighting mode. Further, for example, for the person attribute of a person wearing a hat, the lighting mode of increasing the illuminance is determined, and for the person attribute of the person who has removed the hat, the lighting mode of decreasing the illuminance is determined. May be done. This is intended to be controlled in a direction that supplements the light blocked by the hat. Similarly, for the person attribute of the person who moved the collar of the hat to the face side, the lighting mode of increasing the illuminance was determined, and for the person attribute of the person who moved the collar of the hat to the back of the head side, the illuminance was determined. The lighting mode of lowering may be determined. Further, for the person attribute of a person who has applied eye drops a plurality of times, an illumination mode such as increasing the illuminance or turning on the local illumination may be determined. One of the cases of eye drops is when drowsiness is felt, so the purpose is to control lighting to eliminate drowsiness.
ステップS3の照明態様の決定については、図9に示したようなテーブルで決定しなくても良い。その場合、処理部4は、上述したような判断を学習した人工知能を備えており、この人工知能に取得部3で取得した検知データを入力し、人工知能が照明態様を出力しても良い。
The determination of the lighting mode in step S3 does not have to be determined by the table as shown in FIG. In that case, the
このようにして照明態様が決定されステップS3が完了する。その後、決定された照明態様を元に、処理部4から制御部5へ制御指令が出される(ステップS4)。このとき制御指令は、処理部4の記憶部43に記憶されている照明部2の種類や位置データ、取得部3の位置データ、などを用いて判断される。例えば、取得部3で取得される検知データの範囲と照明部2の位置関係から制御する照明を判断したり、照明部の種類として記憶されている制御可能範囲を参照して照明部2の出力を判断したりする。なお、照明態様の決定を図9に示したようなテーブルで決定している場合は、動作属性から照明態様は一意に決定されるため、決定した照明対象を処理部4の記憶部43に記憶部に記録する必要はない。しかし、人工知能を備えている場合は、決定した照明態様が記憶部43に記録することが好ましい。
In this way, the lighting mode is determined and step S3 is completed. After that, a control command is issued from the
次に図10を参照して本実施形態の照明システム1の動作例を示す。図10(a)は過去の状態を示しており、図10(b)は現在の状態を示している。過去の状態とは、過去に照明システム1が動作した、動作済みの状態を示している。現在の状態がこれから紹介する動作を示している。図10(a)、(b)の左側は、処理部4の記憶部43に記憶されている過去の検知データとほぼ一致する。ここでほぼ一致としているのは、説明のために図10には照明部2と取得部3を記しているためである。取得部3で取得される検知データには照明部2や取得部3は含まれなくても良い。また、10(a)、(b)の右側は、左側の検知データから判断された人物属性(身体属性、動作属性)の一例である。図10の例においては、環境Aは任意の部屋であり、環境Aには対象BとしてB1とB2の人物が存在している。B1は過去から現在までの間にメガネを着用しているが、B2には目立った動きはない状況である。そして、照明部2と取得部3が環境Aの天井に配設されており、1台の照明部2が全般照明手段と局所照明手段との両方を備えている。
Next, an operation example of the
図10(b)を参照する。まず、取得部3で取得された検知データ(図10左)が処理部4へ送信され、検知データの体属性を抽出する(ステップS21)。そして、髪型AがX地点で抽出され、目と口がX地点とY地点で抽出され、正面向きの体がX地点とY地点で抽出される。ここで、処理部4は検知データのX地点とY地点に一人ずつの人物が存在することを判断する。そして、その人物をラベリングする。今回は、X地点にいる人をB1、Y地点にいる人をB2とラベリングすることとする。詳細は割愛するが、この時点で、髪、顔、体の特徴から各個人が特定(判別)された状態となっている。
See FIG. 10 (b). First, the detection data (left in FIG. 10) acquired by the
次に、検知データの被服属性を抽出する(ステップS22)。ここでは、被服の種類、色、被服が抽出された位置から、B2が帽子を装着していること、B1が保護メガネを装着していること、B1とB2が作業着を装着していること、が判断される。なお、さらに詳細に色や付属品などの情報を付加して細分化しても良い。例えば、B1が青い作業着を装着していて、B2が黒い作業を装着しており、付属品として責任者バッジをつけている、といった判断でも良い。そして、被服属性を抽出した段階で、検知データ(図10左)と、抽出した身体属性(図10右)が処理部4の記憶部43に記録しても良い。
Next, the clothing attribute of the detection data is extracted (step S22). Here, from the type, color, and position where the clothes were extracted, B2 is wearing a hat, B1 is wearing protective goggles, and B1 and B2 are wearing work clothes. , Is judged. In addition, information such as colors and accessories may be added in more detail to subdivide. For example, it may be determined that B1 is wearing blue work clothes, B2 is wearing black work clothes, and a person in charge badge is attached as an accessory. Then, at the stage of extracting the clothing attribute, the detection data (FIG. 10 left) and the extracted body attribute (FIG. 10 right) may be recorded in the
次に、検知データの動作属性を抽出する(ステップS23)。ここで、現在の身体属性と、過去の身体属性との比較を行う。つまり、今回抽出した図10(b)右の身体属性と、過去に抽出され処理部4の記憶部43に記録されている図10(a)右の身体属性と、を比較して動作属性を抽出する。今回は、現在の身体属性と、過去の身体属性と、の差はB1が保護メガネを装着した点であるため、動作属性としてB1が(保護)メガネを装着したということが抽出される。
Next, the operation attribute of the detection data is extracted (step S23). Here, the current physical attributes and the past physical attributes are compared. That is, the physical attribute on the right of FIG. 10 (b) extracted this time is compared with the physical attribute on the right of FIG. 10 (a) extracted in the past and recorded in the
次に、検知データの人物属性を判断する(ステップS24)。人物属性は、現在の動作属性や過去の動作属性を用いて判断されるが、今回は動作属性としてB1が(保護)メガネを装着したということしか抽出されていないため、(保護)メガネを着用した人としてB1の人物属性が判断される。 Next, the person attribute of the detection data is determined (step S24). The person attribute is determined using the current motion attribute and the past motion attribute, but this time, only the fact that B1 wore (protection) glasses was extracted as the motion attribute, so wear (protection) glasses. The person attribute of B1 is determined as the person who did.
そして、判断された人物属性をもとに照明態様を決定する(ステップS3)。今回は(保護)メガネを着用した人という属性から、B1の周囲の照度を上げる照明態様が決定される。なお、メガネの種類によって決定される照明態様が変化する構成でも良い。 Then, the lighting mode is determined based on the determined person attribute (step S3). This time, the lighting mode that raises the illuminance around B1 is determined from the attribute of the person wearing (protective) glasses. It should be noted that the configuration may be such that the lighting mode determined by the type of glasses changes.
そして、処理部4から制御部5へB1の周囲の照度を上げる制御指令が出される。ここでは、処理部4の記憶部43に記憶されている照明部2の位置や制御可能範囲のデータからどのように制御するかの指令を出す。例えば、B1の直上の局所照明を点灯するという指令であっても良いし、環境A全体の照度を上げるような指令であっても良い。そしてこの指令を受け取った制御部5が照明部2を制御する。
Then, a control command for increasing the illuminance around B1 is issued from the
上述した例では、取得部3の検知部31がカメラや画像センサであり、検知データが画像もしくは動画の例を挙げてきたが、取得部3の検知部31は他のセンサであっても良い。例えば、検知部31は圧力センサやジャイロセンサであり、環境Aの対象Bが座る椅子の動きや圧力を感知しても良い。この場合、取得部3は椅子に配設される。例えば、圧力センサで椅子の圧力を検知した場合、検知データからは椅子に着席した人という人物属性が判断される。つまり、何らかの作業を開始することが推定されるため、作業をしやすいように照度を上げても良い。また例えば、ジャイロセンサで椅子の動きを検知した場合、検知データからは座っている向きを変えた人という人物属性が判断される。そして、その変えた向きに合わせて局所照明を点灯したりしても良い。また、座っている向きを変える
人いう人物属性が頻繁に判断される場合は、集中力を欠いていると判断できるため、集中を促すように局所照明を点灯したりしても良い。
In the above example, the
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.
1 照明システム
2 照明部
3 取得部
4 処理部
41 処理通信部
42 判断部
43 記憶部
5 制御部
1
Claims (2)
前記照明部の光照射範囲内に存在する人の情報を取得する取得部と;
前記取得部で取得した情報から前記人の視覚的な特徴を含む属性を判断する判断部と;
前記判断部で判断された属性に応じて、前記照明部の照明態様を制御する制御部と;
を備えることを特徴とする照明システム。 With the lighting unit that irradiates light;
With the acquisition unit that acquires information on people who are within the light irradiation range of the illumination unit;
A judgment unit that determines attributes including the visual characteristics of the person from the information acquired by the acquisition unit;
With a control unit that controls the lighting mode of the lighting unit according to the attribute determined by the determination unit;
A lighting system characterized by being equipped with.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020100585A JP7476681B2 (en) | 2020-06-10 | 2020-06-10 | Lighting System |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020100585A JP7476681B2 (en) | 2020-06-10 | 2020-06-10 | Lighting System |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021197214A true JP2021197214A (en) | 2021-12-27 |
JP7476681B2 JP7476681B2 (en) | 2024-05-01 |
Family
ID=79195732
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020100585A Active JP7476681B2 (en) | 2020-06-10 | 2020-06-10 | Lighting System |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7476681B2 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017182899A (en) | 2016-03-28 | 2017-10-05 | 大和ハウス工業株式会社 | Lighting system |
JP6811423B2 (en) | 2016-09-29 | 2021-01-13 | パナソニックIpマネジメント株式会社 | Lighting system and control method of lighting equipment |
JP6909575B2 (en) | 2016-11-30 | 2021-07-28 | マクセル株式会社 | Monitoring information collection system |
JP6794843B2 (en) | 2017-01-18 | 2020-12-02 | 東芝ライテック株式会社 | Notification device, notification system and notification method |
-
2020
- 2020-06-10 JP JP2020100585A patent/JP7476681B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP7476681B2 (en) | 2024-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210334526A1 (en) | Living body detection device, living body detection method, and recording medium | |
US9452705B2 (en) | LED lamp provided with a variable-geometry beam device | |
CN108811271A (en) | A kind of light adjusting method, device, intelligent desk lamp and storage medium | |
JP5726792B2 (en) | Information processing apparatus, image sensor apparatus, and program | |
US11071497B2 (en) | Wearable medical device | |
EP3192328B1 (en) | Method determining the suitable lighting for an activity. | |
US10532475B2 (en) | Grooming system with adaptive lighting and operating method | |
CN107006100B (en) | Control illumination dynamic | |
US9474131B2 (en) | Lighting device, lighting system and wearable device having image processor | |
JP2008016289A (en) | Lighting control system | |
CN103793045B (en) | Pupil tracing device | |
CN106716305A (en) | Control of lighting | |
US9655212B2 (en) | Lighting system having a plurality of lighting devices and an integrated control module | |
KR102518244B1 (en) | Apparatus for controling lighting using facial expression and method thereof | |
JP2021197214A (en) | Lighting system | |
KR20180000580A (en) | cost volume calculation apparatus stereo matching system having a illuminator and method therefor | |
CN112399677A (en) | Light adjusting method and intelligent device | |
WO2019008936A1 (en) | Image processing device, computer program, and image processing system | |
KR101729008B1 (en) | Lighting system and the operating method | |
CN108770146B (en) | Multi-scene-change intelligent control lighting device | |
JP6709954B2 (en) | Lighting control system | |
CN112804914A (en) | Mirror | |
Poland et al. | Human positioning and tracking in smart environments using colour pattern matching | |
TW201927072A (en) | System and method of adjusting lighting device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20220405 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20230220 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231024 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231027 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240401 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7476681 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |