JP2014154068A - Moving body detection device - Google Patents
Moving body detection device Download PDFInfo
- Publication number
- JP2014154068A JP2014154068A JP2013025259A JP2013025259A JP2014154068A JP 2014154068 A JP2014154068 A JP 2014154068A JP 2013025259 A JP2013025259 A JP 2013025259A JP 2013025259 A JP2013025259 A JP 2013025259A JP 2014154068 A JP2014154068 A JP 2014154068A
- Authority
- JP
- Japan
- Prior art keywords
- detection range
- detection
- setting
- moving object
- range information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Circuit Arrangement For Electric Light Sources In General (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、動体検知装置に関するものである。 The present invention relates to a moving object detection apparatus.
従来、CCDイメージセンサやCMOSイメージセンサなどの画像センサを用い、画像センサの視野内に人が進入したことを検知すると、照明器具を自動点灯させる照明制御システムが提案されている(例えば特許文献1参照)。 2. Description of the Related Art Conventionally, there has been proposed an illumination control system that uses an image sensor such as a CCD image sensor or a CMOS image sensor to automatically turn on a luminaire when it detects that a person has entered the visual field of the image sensor (for example, Patent Document 1). reference).
上述の照明制御システムにおいて、製造時や設置時の誤差によって画像センサの撮像範囲が設計段階で想定した範囲からずれると、画像センサの画像内に設定される検知範囲が、実空間において人の存否を検知させたい検知範囲からずれる可能性があった。検知範囲が所望の範囲からずれると、所望の検知範囲の外側ではあるが画像センサの撮像範囲に入っているために人体が検知されたり、所望の検知範囲に人体が存在するにも拘わらず、撮像範囲の外側に出ているために、人体が検出されない場合がある。 In the above-described lighting control system, if the imaging range of the image sensor deviates from the range assumed at the design stage due to errors during manufacturing or installation, the detection range set in the image of the image sensor may be the presence or absence of a person in real space. There was a possibility of deviating from the detection range to detect. When the detection range deviates from the desired range, the human body is detected because it is outside the desired detection range but is within the imaging range of the image sensor, or the human body exists in the desired detection range, Since it is outside the imaging range, the human body may not be detected.
画像センサの撮像範囲を調整するためには、画像センサによって撮像される画像を外部に設けられたモニタで確認しながら、画像センサの取付位置や角度を調整すればよい。しかしながら、画像センサの画像を外部のモニタで確認するためには、画像センサから外部に画像データを出力する機能や、出力された画像データを外部のモニタに伝送する機能が必要になり、コストアップになるという問題があった。 In order to adjust the imaging range of the image sensor, the attachment position and angle of the image sensor may be adjusted while confirming an image captured by the image sensor on a monitor provided outside. However, in order to check the image of the image sensor on an external monitor, a function for outputting image data from the image sensor to the outside and a function for transmitting the output image data to an external monitor are required, which increases costs. There was a problem of becoming.
本発明は上記課題に鑑みて為されたものであり、その目的とするところは、撮像部の画像を表示デバイスで確認しなくても、検知範囲を設定するための検知範囲情報を容易に設定できる動体検知装置を提供することにある。 The present invention has been made in view of the above problems, and the object of the present invention is to easily set detection range information for setting a detection range without checking the image of the imaging unit with a display device. It is in providing the moving body detection apparatus which can be performed.
本発明の動体検知装置は、カメラと、メモリと、判定部と、出力部と、設定部とを備える。カメラは検出対象の空間を撮像する。メモリは、カメラの撮像範囲のうち、動きのある物体の存否を検知する検知範囲をどの範囲とするかを設定するための検知範囲情報を記憶する。判定部は、検知範囲情報で設定される検知範囲において、カメラが異なる時刻に撮像した複数の画像を解析することによって検知範囲に動きのある物体が存在するか否かを判定する。出力部は、判定部の判定結果及び判定結果から導出した外部機器の制御情報のうち少なくとも何れか一方を外部に出力する。設定部は、検知範囲情報を設定する指示が外部から入力されると、カメラの画像から特定の時間的変化を検出し、特定の時間的変化が検出された位置をもとに検知範囲情報を決定してメモリに記憶させる。 The moving object detection device of the present invention includes a camera, a memory, a determination unit, an output unit, and a setting unit. The camera images the space to be detected. The memory stores detection range information for setting which range is the detection range for detecting the presence or absence of a moving object in the imaging range of the camera. The determination unit determines whether there is a moving object in the detection range by analyzing a plurality of images captured by the camera at different times in the detection range set by the detection range information. The output unit outputs at least one of the determination result of the determination unit and the control information of the external device derived from the determination result to the outside. When an instruction to set the detection range information is input from the outside, the setting unit detects a specific temporal change from the camera image, and detects the detection range information based on the position where the specific temporal change is detected. Determine and store in memory.
この動体検知装置において、特定の時間的変化とは周期的な明暗変化によって発生する画像の変化であることも好ましい。 In this moving body detection apparatus, the specific temporal change is preferably an image change caused by a periodic light-dark change.
この動体検知装置において、特定の時間的変化とは物体が行う所定の動作によって発生する画像の変化であることも好ましい。 In this moving object detection apparatus, the specific temporal change is preferably an image change generated by a predetermined operation performed by the object.
この動体検知装置において、設定部は、特定の時間的変化が検出された位置を検知範囲の中心に一致させるように検知範囲の位置を補正し、補正後の検知範囲を設定する検知範囲情報をメモリに記憶させることも好ましい。 In this moving body detection device, the setting unit corrects the position of the detection range so that the position where the specific temporal change is detected matches the center of the detection range, and sets detection range information for setting the corrected detection range. It is also preferable to store in a memory.
この動体検知装置において、設定部は、特定の時間的変化を一度検出して検知範囲情報を設定すると、その後は特定の時間的変化を検出する動作を停止することも好ましい。 In this moving body detection apparatus, it is preferable that the setting unit once detects a specific temporal change and sets the detection range information, and thereafter stops the operation of detecting the specific temporal change.
この動体検知装置において、カメラの撮像範囲は格子状の境界線によって複数の小領域に分割され、検知範囲情報によって、複数の小領域の各々が検知範囲に含まれるか否かが設定されている。そして、設定部が、特定の時間的変化が検出された位置に中心が最も近い小領域に対して、小領域を検知範囲に含めるか否かを示す検知範囲情報を決定し、メモリに記憶させることも好ましい。 In this moving body detection apparatus, the imaging range of the camera is divided into a plurality of small areas by a grid-like boundary line, and whether or not each of the plurality of small areas is included in the detection range is set by the detection range information. . And a setting part determines the detection range information which shows whether a small area is included in a detection range with respect to the small area where the center is the closest to the position where the specific temporal change was detected, and memorize | stores it in memory It is also preferable.
この動体検知装置において、設定部が、小領域を検知範囲に含めるか否かを示す検知範囲情報を変更した場合、検知範囲情報によって設定される検知範囲の設定状況を外部に出力することも好ましい。 In this moving body detection device, when the setting unit changes the detection range information indicating whether or not to include the small area in the detection range, it is also preferable to output the detection range setting status set by the detection range information to the outside. .
この動体検知装置において、特定の時間的変化とは物体が移動することによって発生する画像の変化であり、設定部は、検知範囲情報を設定する指示が入力されてから設定終了の指示を受けるまでに検出された物体の移動軌跡の内側を検知範囲とすることも好ましい。 In this moving object detection device, the specific temporal change is a change in an image caused by the movement of an object, and the setting unit receives a setting end instruction after receiving an instruction to set detection range information. It is also preferable to set the detection range inside the movement locus of the detected object.
本発明によれば、検知範囲情報を設定する際に、設定作業を行う人物が実空間において検知範囲の基準となる位置で特定の時間的変化を起こせば、設定部は、カメラの画像から特定の時間的変化を検出し、その位置をもとに検知範囲情報を設定する。したがって、カメラの画像を外部のモニタで確認しなくても検知範囲の位置を調整でき、カメラの画像を外部に出力する機能や、出力された画像データをモニタに送信する機能が不要になり、低コストの動体検知装置を実現することができる。 According to the present invention, when the detection range information is set, if the person who performs the setting operation causes a specific temporal change at a position serving as a reference of the detection range in the real space, the setting unit specifies from the image of the camera. Is detected, and detection range information is set based on the position. Therefore, the position of the detection range can be adjusted without checking the camera image on an external monitor, and the function of outputting the camera image to the outside and the function of transmitting the output image data to the monitor are no longer necessary. A low-cost moving object detection device can be realized.
以下では、本発明に係る動体検知装置を、照明器具の点灯/消灯を制御する照明制御システムに適用した実施形態について図1〜図9を参照して説明する。本実施形態の照明制御システムは、例えば事業所において事務所エリアの天井に設置された複数台の照明器具の点灯/消灯を制御するために用いられる。 Hereinafter, an embodiment in which the moving object detection device according to the present invention is applied to an illumination control system that controls lighting / extinction of a lighting fixture will be described with reference to FIGS. 1 to 9. The lighting control system according to the present embodiment is used, for example, to control lighting / extinguishing of a plurality of lighting fixtures installed on the ceiling of an office area in an office.
図1は照明制御システムの全体構成を示すブロック図であり、照明制御システムは、動体検知装置1と、照明制御装置2と、複数台の照明器具3とを備える。尚、照明器具3の台数及び配置は、照明対象の領域によって異なるので、適宜変更が可能である。
FIG. 1 is a block diagram illustrating the overall configuration of the illumination control system. The illumination control system includes a moving
複数台の照明器具3の各々は、光源として例えば蛍光灯やLEDを備えている。複数台の照明器具3は、事務所内の同じ作業領域を照明できるように、作業領域の上方の天井に設置されている。各照明器具3の点灯/消灯は照明制御装置2によって制御される。
Each of the plurality of
照明制御装置2は、動体検知装置1の判定結果に応じて、同じ作業領域を照明する複数台の照明器具の点灯/消灯を制御する。すなわち、動体検知装置1が動きのある物体(人体)を検知すると、照明制御装置2は、同じ作業領域を照明する複数台の照明器具3を全て点灯させる。一方、動体検知装置1が動きのある物体(人体など)を検知していなければ、照明制御装置2は、同じ作業領域を照明する複数台の照明器具3を全て消灯させる。
The
次に動体検知装置1について説明する。動体検知装置1は、イメージセンサ11と、画像処理回路12と、メモリ13と、通信回路14とを備える。
Next, the moving
イメージセンサ11は、例えばCCDイメージセンサからなり、複数台の照明器具3による照明範囲を含む撮像領域を定期的に撮像して、画像データを画像処理回路12に出力する。複数台の照明器具3による照明範囲がイメージセンサ11の撮像範囲に含まれるような位置に、動体検知装置1のイメージセンサ11は設置されている。尚、本実施形態ではカメラがCCDイメージセンサで構成されているが、カメラはCCDイメージセンサに限定されず、CMOSイメージセンサのような画像センサでもよい。
The
画像処理回路12は、例えば画像処理用のプロセッサを用いて構成され、イメージセンサ11が異なる時刻に撮像した複数の画像を解析することによって、所定の検知範囲に動きのある物体(人体など)が存在するか否かを判定する。尚、画像処理回路12は、背景差分法やフレーム間差分法などの従来周知の画像処理方法を用いて、動きのある物体を検出しており、その検出方法については説明を省略する。
The
メモリ13は、例えばEEPROMやフラッシュメモリなどの不揮発性メモリからなり、イメージセンサ11の撮像範囲のうち、動きのある物体の存否を検知する検知範囲をどの範囲とするかを設定するための検知範囲情報を記憶する。
The
通信回路14は照明制御装置2との間で通信線を介してデータ通信を行う。尚、通信回路14と照明制御装置2の間の通信は有線通信に限定されるものではなく、無線通信でもよい。
The
次に本システムの動作について説明する。 Next, the operation of this system will be described.
画像処理回路12及び照明制御装置2が動作を開始すると、先ず画像処理回路12が、メモリ13から読み込んだ検知範囲情報に基づいて、イメージセンサ11による撮像範囲のうち、動きのある物体の存否を検知する検知範囲をどの範囲とするかを設定する。
When the
動体検知装置1のイメージセンサ11は撮像範囲を定期的に撮像し、画像データを画像処理回路12に出力する。
The
イメージセンサ11が撮像領域を定期的に撮像して、画像データを画像処理回路12に出力すると、画像処理回路12は、異なる時刻に撮像された画像データを解析することで、上記の検知範囲において動きのある物体が存在するか否かを判定し、あらかじめ設定された大きさや速度の条件から検知すべき対象として適さないものを排除する。室内の照明制御では検知すべき対象は人物であり、着席などにより動きが停止しても、停止前との画像の相関を解析して、その人物が存在していると判定される。
When the
画像処理回路12は、人物が存在すると判定した場合、照明器具3を点灯させる点灯制御信号を通信回路14から照明制御装置2へ送信させる。照明制御装置2は、動体検知装置1から送信された点灯制御信号を受信すると、複数台の照明器具3を全て点灯させる。
When it is determined that there is a person, the
一方、画像処理回路12は、人物が存在しないと判定した場合、照明器具3を消灯させる消灯制御信号を通信回路14から照明制御装置2へ送信させる。照明制御装置2は、動体検知装置1から送信された点灯制御信号を受信すると、複数台の照明器具3を全て消灯させる。
On the other hand, when the
これにより、検知範囲において人物が検知されると、照明器具3が全て点灯し、検知範囲において人物が検知されなくなると、照明器具3が全て消灯する。尚、本実施形態では画像処理回路12と通信回路14とで出力部が構成される。画像処理回路12は、動きのある物体の存否を判定した結果から、外部機器である照明器具3の制御情報(点灯制御信号又は消灯制御信号)を作成して、この制御情報を通信回路14から出力させているが、物体の存否を判定した結果を出力してもよい。
Thereby, when a person is detected in the detection range, all the
次に、設定部たる画像処理回路12が、イメージセンサ11によって撮像された画像から特定の時間的変化を検出し、検出された特定の時間的変化をもとに、検知範囲情報を決定してメモリ13に記憶させる動作について説明する。
Next, the
図2は、動体検知装置1のイメージセンサ11によって撮像された画像P1を示している。イメージセンサ11による撮像範囲P1は光学系によって決まり、動きのある物体の存否を判定させたい検知範囲A3(図2において点線で囲まれた範囲)よりも広い範囲を撮像している。メモリ13には、イメージセンサ11の撮像範囲において検知範囲をどの範囲とするかを設定する検知範囲情報が記憶されており、撮像範囲の中心位置と検知範囲の中心位置とを一致させるような検知範囲情報が初期値として登録されている。
FIG. 2 shows an image P <b> 1 captured by the
ところで、動体検知装置1のケースにイメージセンサ11が組み込まれる際の誤差や、動体検知装置1が天井に設置される際の誤差によって、イメージセンサの光軸がずれると、イメージセンサ11の撮像範囲が設計時に予定していた範囲からずれる可能性がある。図3(a)はイメージセンサ11の撮像範囲を示し、イメージセンサ11の製作誤差や動体検知装置1の取付時の誤差によってイメージセンサ11の光軸が図中の軸L1から軸L2にずれると、イメージセンサ11の撮像範囲がずれ、それに応じて検知範囲もずれてしまう。図3(b)はイメージセンサ11の撮像範囲内に設定される検知範囲を示し、光軸が軸L1から軸L2にずれると、検知範囲の中心位置が点C1から点C2にずれ、検知範囲が点線で示す検知範囲A1から、実線で示す検知範囲A2にずれてしまう。
By the way, if the optical axis of the image sensor is shifted due to an error when the
このように、動体検知装置1が設置された状態で検知範囲を補正しなければ、動きのある物体を検知する検知範囲が、所望の範囲からずれる可能性がある。本実施形態では施工時に動体検知装置1と照明制御装置2とが通信線を介して接続され、動体検知装置1及び照明制御装置2に電源が投入されると、検知範囲情報を設定する指示(設定指令)が外部機器である照明制御装置2から動体検知装置1に送信される。この設定指令が動体検知装置1の通信回路14によって受信され、設定部たる画像処理回路12に出力されると、画像処理回路12は、メモリ13から検知範囲情報を読み込み、この検知範囲情報を補正する動作を開始する。
As described above, if the detection range is not corrected in a state where the moving
画像処理回路12は、イメージセンサ11が定期的に撮像した画像データを順次取り込み、異なる時刻に撮像された複数の画像を解析することによって、周期的な明暗変化によって発生する画像の変化を「特定の時間的変化」として検出する。
The
図4(a)は設定作業の概要を示し、設定作業を行う人物H1は、検知範囲として設定させたい範囲の中心位置に立って、光源4(例えばノートパソコンの画面など)を所定の周期又はパターンで明滅させる。イメージセンサ11が画像を取り込む周期は、人物H1が光源4を明滅させる周期(例えば0.5秒〜数秒程度)よりも短い周期に設定されている。したがって、画像処理回路12は、光源4の点灯中の画像と、光源4の消灯中の画像を取得することができ、イメージセンサ11で撮像された複数の画像を解析することにより、比較的短い周期(例えば数秒程度)で照度が変化する位置を検出することができる。
FIG. 4A shows an outline of the setting work, and the person H1 who performs the setting work stands at the center position of the range to be set as the detection range and turns the light source 4 (for example, the screen of a notebook computer) on a predetermined cycle or Flicker with a pattern. The period in which the
画像処理回路12は、特定の時間的変化として周期的な明暗変化を検出すると、周期的な明暗変化が検出された位置が検知範囲の中心位置となるように検知範囲を補正し、補正後の検知範囲を示す検知範囲情報をメモリ13に記憶させる。
When the
その後、画像処理回路12は、イメージセンサ11から定期的に画像を取り込み、異なる時刻に撮像された複数の画像を解析することによって、検知範囲に動きのある物体が存在するか否かを逐次判定し、判定結果に応じて照明制御装置2に制御指示を出力する。動きのある物体が検知範囲に存在すると画像処理回路12が判定した場合、画像処理回路12は点灯制御信号を照明制御装置2に出力し、照明制御装置2は全ての照明器具3を一括して点灯させる。一方、動きのある物体が検知範囲に存在しないと画像処理回路12が判定した場合、画像処理回路12は消灯制御信号を照明制御装置2に出力し、照明制御装置2は全ての照明器具3を一括して消灯させる。これにより、動体検知装置1が検知範囲において動きのある物体の存否を検知した結果に応じて、照明器具3の点灯/消灯が制御される。
Thereafter, the
以上説明したように本実施形態の動体検知装置1は、カメラ(イメージセンサ11)と、メモリ13と、判定部と、出力部と、設定部とを備える。尚、本実施形態では画像処理回路12によって判定部及び設定部が構成され、画像処理回路12と通信回路14とで出力部が構成される。
As described above, the moving
イメージセンサ11は検出対象の空間を撮像する。メモリ13は、イメージセンサ11の撮像画像のうち、動きのある物体の存否を検知する検知範囲をどの範囲とするかを設定するための検知範囲情報を記憶する。判定部としての画像処理回路12は、検知範囲情報で設定される検知範囲において、イメージセンサ11が異なる時刻に撮像した複数の画像を解析することによって検知範囲に動きのある物体が存在するか否かを判定する。出力部としての画像処理回路12は、動きのある物体が存在するか否かの判定結果、及び、この判定結果から導出した外部機器の制御情報のうち少なくとも何れか一方を、通信回路14から外部へ出力させる。設定部としての画像処理回路12は、検知範囲情報を設定する指示が外部から入力されると、イメージセンサ11の画像から特定の時間的変化を検出し、特定の時間的変化が検出された位置をもとに検知範囲情報を決定してメモリ13に記憶させる。
The
検知範囲情報の設定時に、設定作業を行う人物が、実空間において検知範囲の基準となる位置(例えば検知範囲の中心位置)で特定の時間的変化を起こせば、設定部たる画像処理回路12は、イメージセンサ11の画像から特定の時間的変化を検出し、その位置をもとに検知範囲情報を設定する。したがって、イメージセンサ11の画像を外部のモニタで確認しなくても、検知範囲を設定するための検知範囲情報を容易に設定でき、所望の検知範囲の外側にいる人物(動きのある物体)の誤検出や、検知範囲内にいる人物の検知漏れを低減できる。また、イメージセンサ11の画像データを外部に出力する機能や、出力された画像データを外部のモニタに送信する機能が不要であり、低コストでありながら、検知範囲情報の変更が容易な動体検知装置1を実現することができる。
When setting the detection range information, if the person who performs the setting operation causes a specific temporal change at a position (for example, the center position of the detection range) in the real space, the
また、設定部としての画像処理回路12は、特定の時間的変化が検出された位置を検知範囲の中心に一致させるように検知範囲の位置を補正し、補正後の検知範囲を設定する検知範囲情報をメモリ13に記憶させている。
Further, the
これにより、実空間において検知範囲の中心となる位置で、特定の時間的変化を発生させれば、画像上で検知範囲の中心となる位置が、実空間において検知範囲の中心となる位置に一致するので、検知範囲の中心を設定する作業を容易に行うことができる。 As a result, if a specific temporal change occurs at the position that becomes the center of the detection range in the real space, the position that becomes the center of the detection range on the image matches the position that becomes the center of the detection range in the real space. Therefore, the operation of setting the center of the detection range can be easily performed.
また、設定部としての画像処理回路12は、検知範囲情報の設定指令が外部から入力された後に、イメージセンサ11の画像から特定の時間的変化を一度検出して、検知範囲情報の設定を行うと、その後は特定の時間的変化を検出する動作を停止する。これにより、検知範囲情報の設定時に、イメージセンサ11の画像において特定の時間的変化が検出され、検知範囲情報が一旦設定された後は、イメージセンサ11の画像に特定の時間的変化が再び現れたとしても、検知範囲情報が誤って変更されることはない。
Further, the
尚、上述の実施形態では、図2に示す検知範囲A3の全体で動きのある物体の存否を検出しているが、領域A3が格子状の境界線L10によって複数の小領域SA1に分割され、複数の小領域SA1の各々が検知範囲に含まれるか否かが予め設定されていてもよい。そして、このように設定された検知範囲の中心位置を特定の時間的変化が検出された位置に一致させるように、画像処理回路12が検知範囲情報を設定し、この検知範囲情報をもとに検知範囲をセンタリングすればよい。
In the above-described embodiment, the presence or absence of a moving object is detected in the entire detection range A3 shown in FIG. 2, but the region A3 is divided into a plurality of small regions SA1 by a grid-like boundary line L10. Whether or not each of the plurality of small areas SA1 is included in the detection range may be set in advance. Then, the
また、上記の実施形態では、設定部としての画像処理回路12が、検知範囲情報を設定する際に特定の時間的変化として周期的な明暗変化によって発生する画像の変化を検出している。これにより、設定作業を行う人物は、検知範囲の中心となる位置に立ち、携帯端末(ノートパソコンやスマートホンやタブレット端末など)の画面を明滅させたり、携帯形の電灯を明滅させたりすることで、検知範囲の中心位置を容易に設定することができる。
In the above-described embodiment, the
尚、設定部としての画像処理回路12が、検知範囲情報を設定する際に検出する特定の時間的変化とは周期的な明暗変化によって発生する画像の変化に限らず、物体(例えば人物)が行う所定の動作によって発生する画像の変化を検出してもよい。物体(すなわち設定作業を行う人物)が行う所定の動作としては、単純でありながら、他の動作と識別できるような動作であることが好ましく、例えば図4(b)に示すように人物H1が円を描くように腕を回す動作を検出してもよい。この場合、外部機器から動体検知装置1に設定指令が与えられた後に、設定作業を行う人物H1が、実空間において検知範囲の中心となる位置で円を描くように腕を回す動作を行うと、この動作によってイメージセンサ11の画像に時間的変化が発生する。画像処理回路12は、イメージセンサ11が異なる時刻に撮影した複数の画像を解析することで、人物H1が腕を回すことによって画像に現れた時間的変化を検出する。そして、画像処理回路12は、イメージセンサ11の画像において特定の時間的変化が検出された位置を、検知範囲の中心位置とするように検知範囲の設定(すなわち検知範囲情報)を変更する。而して、イメージセンサ11の画像を表示モニタなどで確認しなくても、検知範囲を設定するための検知範囲情報を容易に設定できる。よって、所望の検知範囲の外側にいる人物(動きのある物体)の誤検出や、検知範囲内にいる人物の検知漏れを低減できる。また、イメージセンサ11の画像データを外部に出力する機能や、出力された画像データを外部のモニタに送信する機能が不要であり、低コストでありながら、検知範囲情報の変更が容易な動体検知装置1を実現することができる。
The specific temporal change detected when the
尚、設定部たる画像処理回路12が、特定の時間的変化として検出する動作は、円を描くように腕を回す動作に限定されるものではなく、例えば手などの体の一部を前後或いは左右に振る動作でもよい。
The operation detected by the
ところで、本実施形態では、照明制御装置2から動体検知装置1に検知範囲情報を設定する指示(設定指令)を与えているが、動体検知装置1との間でワイヤレス信号を送受信するリモコン端末が動体検知装置1に設定指令を与えるようにしてもよい。
By the way, in this embodiment, although the instruction | indication (setting command) which sets detection range information is given to the moving
図5はリモコン端末5を用いる場合のシステム構成図であり、動体検知装置1は、照明制御装置2との間で通信を行う第1通信回路14に加えて、リモコン端末5との間でワイヤレス信号(例えば電波信号)を送受信する第2通信回路15を備えている。第2通信回路15は小電力無線の通信モジュールであり、電波を媒体として通信信号を送受信する。尚、第2通信回路15が追加された点を除いては、図1で説明した動体検知装置1と同様であるので、共通する構成要素には同一の符号を付して、その説明は省略する。
FIG. 5 is a system configuration diagram in the case where the
リモコン端末5は、各種の操作を行うための複数の操作釦51を備え、操作釦51の操作に応じた信号をワイヤレス信号(例えば電波信号)で動体検知装置1に無線送信する。また、リモコン端末5は、例えば液晶ディスプレイからなる表示部52を備えている。
The
尚、動体検知装置1とリモコン端末5との間では電波を媒体とするワイヤレス通信を行っているが、赤外線などの光や超音波を媒体として無線通信を行ってもよい。
Although wireless communication using radio waves as a medium is performed between the moving
ここで、設定作業を行う人物が、リモコン端末5を用いて、検知範囲情報の設定を開始させるための操作を行うと、検知範囲情報を設定する指示(設定指令)がリモコン端末5から動体検知装置1にワイヤレス信号で送信される。
Here, when the person who performs the setting operation performs an operation for starting the setting of the detection range information using the
この時、リモコン端末5から送信された設定指令は第2通信回路15によって受信され、第2通信回路15から画像処理回路12に送られる。画像処理回路12は、第2通信回路15から設定指令が入力されると、検知範囲情報の設定を開始し、上述のようにイメージセンサ11で撮像された画像から特定の時間的変化を検出し、特定の時間的変化が検出された位置をもとに検知範囲情報の設定を行う。
At this time, the setting command transmitted from the
ここで、図6(a)に示すように、イメージセンサ11の撮像範囲P1が格子状の境界線L21によって複数の小領域SA1に分割され、複数ある小領域SA1の各々について検知範囲に含めるか否かを設定できる場合、以下のようにして検知範囲が設定される。
Here, as shown in FIG. 6A, the imaging range P1 of the
例えば、特定の時間的変化として明暗変化による画像の変化を検出する場合、設定作業を行う人物H1は、図6(a)に示すように検知範囲から外したい小領域SA1に移動し、その場所で光源4を明滅させる。画像処理回路12は、イメージセンサ11の画像から特定の時間的変化(明暗変化による画像の変化)を検出すると、特定の時間的変化が検出された位置に中心が最も近い小領域SA1を検知範囲に含めないように検知範囲情報を設定し、メモリ13に検知範囲情報を記憶させる。図6の例では撮像範囲P1の左上隅に位置する小領域SA1で人物H1が光源4を明滅させると、図6(b)に示すように明暗変化が検出された位置に中心が最も近い小領域SA1が検知範囲から外される。尚、図6(b)において斜線が引かれた小領域SA1は検知範囲に含まれない小領域を示している。
For example, when detecting a change in an image due to a change in brightness as a specific temporal change, the person H1 who performs the setting operation moves to a small area SA1 to be excluded from the detection range as shown in FIG. To blink the
そして、設定作業を行う人物が、検知範囲から外したい全ての小領域で光源を明滅させる動作を行った後、リモコン端末5を用いて、検知範囲情報の設定作業を終了させる操作を行うと、設定終了の指示がリモコン端末5から動体検知装置1へ送信される。リモコン端末5から送信された設定終了の指示は第2通信回路15で受信され、第2通信回路15から画像処理回路12に送られる。画像処理回路12は、設定終了の指示を受け取ると、検知範囲情報の設定作業を終了し、メモリ13に登録された検知範囲情報によって設定される検知範囲の設定状況を第2通信回路15からリモコン端末5へ送信する。リモコン端末5は、動体検知装置1から送信された検知範囲の設定状況を受信すると、図7に示すように検知範囲の設定状況を表示部52に表示させており、検知範囲の設定状況を視覚的に確認することができる。尚、図7に表示された検知範囲は一例であり、図7において斜線が引かれた小領域SA1は検知範囲から除かれている。
Then, after the person who performs the setting operation performs the operation of blinking the light source in all the small areas that are desired to be excluded from the detection range, the
ところで、画像処理回路12は、特定の時間的変化として明暗変化による画像の変化を検出しているが、物体(例えば人物)が行う所定の動作によって発生する画像の変化を検出してもよい。物体(設定作業を行う人物)が行う所定の動作としては、単純でありながら、他の動作と識別できるような動作であることが好ましく、例えば図8(a)に示すように人物H1が円を描くように腕を回す動作を検出してもよい。
Incidentally, the
設定作業を行う人物H1は、図8(a)に示すように検知範囲から外したい小領域SA1に移動し、その場所で腕を回す動作を行う。画像処理回路12は、イメージセンサ11の画像から、所定の動作が行われることによって発生する画像の変化を検出すると、その位置に中心が最も近い小領域SA1を検知範囲に含めないように検知範囲情報を設定し、メモリ13に検知範囲情報を記憶させる。図8(a)に示すように撮像範囲P1の左上隅に位置する小領域SA1で人物H1が腕を回す動作を行うと、図8(b)に示すように明暗変化が検出された位置に中心が最も近い小領域SA1が検知範囲から外される。尚、図8(b)において斜線が引かれた小領域SA1は検知範囲に含まれない小領域を示している。
The person H1 who performs the setting work moves to the small area SA1 to be removed from the detection range as shown in FIG. 8A, and performs an operation of turning his / her arm at the place. When the
そして、設定作業を行う人物が、検知範囲から外したい全ての小領域で腕を回す動作を行った後、リモコン端末5を用いて、検知範囲情報の設定作業を終了させる操作を行うと、設定終了の指示がリモコン端末5から動体検知装置1へ送信される。リモコン端末5から送信された設定終了の指示は第2通信回路15で受信され、第2通信回路15から画像処理回路12に送られる。画像処理回路12は、設定終了の指示を受け取ると、検知範囲情報の設定作業を終了し、メモリ13に登録された検知範囲情報によって設定される検知範囲の設定状況を第2通信回路15からリモコン端末5へ送信する。リモコン端末5は、動体検知装置1から送信された検知範囲の設定状況を受信すると、検知範囲の設定状況を表示部52に表示させており、検知範囲の設定状況を視覚的に確認することができる(図7参照)。
Then, after the person who performs the setting operation performs an operation of turning his arm in all the small areas to be removed from the detection range, and performs an operation to end the detection range information setting operation using the
尚、画像処理回路12は、特定の時間的変化が検出された位置に中心が最も近い小領域SA1を検知範囲から外しているが、特定の時間的変化が検出された位置に中心が最も近い小領域SA1を検知範囲に含めるように検知範囲情報を設定してもよい。
The
また、画像処理回路12が、特定の時間的変化として、物体が移動することによって発生する画像の変化を検出し、物体の移動軌跡の内側を検知範囲とするように検知範囲情報を設定してもよい。
In addition, the
設定作業を行う人物H1が、例えばリモコン端末5を用いて、検知範囲情報の設定を開始させるための操作を行うと、検知範囲情報を設定する指示(設定指令)がリモコン端末5から動体検知装置1にワイヤレス信号で送信される。
When the person H1 who performs the setting operation performs an operation for starting the setting of the detection range information using, for example, the
リモコン端末5から送信された設定指令が画像処理回路12に入力されると、画像処理回路12は、イメージセンサ11の画像から、物体の移動に応じて発生する画像の変化を検出し、物体の移動軌跡を求める。
When the setting command transmitted from the
設定作業を行う人物H1が、図9(a)に示すように検知領域に含めたい小領域と、検知領域から外したい小領域との境界部分に沿って移動すると、画像処理回路12は、イメージセンサ11の画像をもとに、人物H1が移動する移動軌跡R1を特定の時間的変化として検出する。ここで、設定作業を行う人物H1は、検知範囲に含めたい小領域の境界部分に沿って移動することにより、検知範囲に含めたい小領域を囲む閉じた移動軌跡R1が形成される。
When the person H1 who performs the setting operation moves along the boundary portion between the small area to be included in the detection area and the small area to be excluded from the detection area as shown in FIG. 9A, the
その後、設定作業を行う人物H1が、リモコン端末5を用いて設定作業を終了させる操作を行うと、設定終了の指示がリモコン端末5から動体検知装置1へ送信される。リモコン端末5から送信された設定終了の指示は第2通信回路15で受信され、第2通信回路15から画像処理回路12に送られる。画像処理回路12は、設定終了の指示を受け取ると、上述の処理で検出された移動軌跡R1の外側にある小領域SA1を検知範囲に含めないように検知範囲情報を設定し、メモリ13に記憶させる。また、画像処理回路12は、メモリ13に登録された検知範囲情報によって設定される検知範囲の設定状況を第2通信回路15からリモコン端末5へ送信する。リモコン端末5は、動体検知装置1から送信された検知範囲の設定状況を受信すると、検知範囲の設定状況を表示部52に表示させており、検知範囲の設定状況を視覚的に確認することができる。
Thereafter, when the person H1 who performs the setting work performs an operation to end the setting work using the
尚、図9(a)は移動軌跡R1の一例であり、図9(b)(c)に示すように設定作業を行う人物H1の移動軌跡に応じて所望の検知領域が設定される。 FIG. 9A is an example of the movement locus R1, and as shown in FIGS. 9B and 9C, a desired detection area is set according to the movement locus of the person H1 who performs the setting work.
以上のように、イメージセンサ11によって撮像される画像は格子状の境界線によって複数の小領域SA1に分割され、検知範囲情報によって、複数の小領域SA1の各々が検知範囲に含まれるか否かが設定される。そして、設定部たる画像処理回路12は、特定の時間的変化が検出された位置に中心が最も近い小領域SA1に対して、小領域SA1を検知範囲に含めるか否かを示す検知範囲情報を決定し、メモリ13に記憶させている。
As described above, the image captured by the
これにより、検知範囲情報を設定する際に、設定作業を行う人物が、設定対象の小領域で特定の時間的変化を起こせば、この小領域を検知範囲に含めるか否かが設定されるから、検知範囲をより細かく設定することができる。 Thereby, when setting the detection range information, if the person who performs the setting operation causes a specific temporal change in the small area to be set, whether or not to include this small area in the detection range is set. The detection range can be set more finely.
また、設定部たる画像処理回路12は、小領域を検知範囲に含めるか否かを示す検知範囲情報を変更した場合、検知範囲情報によって設定される検知範囲の設定状況を第2通信回路15から外部(リモコン端末5)に出力させている。
Further, when the
これにより、検知範囲の設定状況を外部で確認することができる。 Thereby, the setting status of the detection range can be confirmed externally.
また、設定部たる画像処理回路12は、特定の時間変化として、物体が移動することによって発生する画像の変化を検出している。そして、設定部たる画像処理回路12は、検知範囲情報を設定する指示が入力されてから設定終了の指示を受けるまでに検出された物体の移動軌跡の内側を検知範囲とするように検知範囲情報を設定する。
Further, the
これにより、設定作業を行う人物は、検知範囲に設定したい領域の周りを移動するだけで、所望の領域が検知範囲に設定されるから、検知範囲を簡単に設定することができる。 Thus, the person who performs the setting work can easily set the detection range because the desired region is set as the detection range simply by moving around the region to be set as the detection range.
以上は、動体検知装置1を照明制御システムに適用した実施形態であるが、検知エリア(室内)の状況把握という観点から他の用途にも適用が可能である。例えば動体検知装置1の検知結果を、室内の空調制御を行う空調制御システムや、夜間や外出時など警戒モードに設定された場合に侵入者を検知する防犯システムで利用することも考えられる。
The above is an embodiment in which the moving
図10(a)は、動体検知装置1の検知結果を照明制御システム、空調制御システム、防犯システムで利用する場合のシステム構成図である。動体検知装置1の通信回路14と、照明制御システムの照明制御装置2と、空調制御システムの空調制御装置6と、防犯システムの警戒装置8とが通信線W1にそれぞれ接続されている。動体検知装置1の通信回路14は、動体(人物)の存否を判定した結果を、通信線W1を介して、照明制御装置2と空調制御装置6と警戒装置8とに送信する。
FIG. 10A is a system configuration diagram when the detection result of the moving
空調制御装置6は、動体検知装置1から送信された判定結果に基づいて、室内の空調を行う複数台の空調機器7を制御する。動体検知装置1から空調制御装置6に対して検知エリア内にいる人物の数、場所、運動状態などの情報が入力される場合は、空調制御装置6が、各空調機器7の設定温度、風量、風向、換気量などを、人物の数、場所、運動状態などに応じて最適に制御してもよい。尚、動体検知装置1は、人物の存否を判定した結果から空調機器7の制御情報を導出し、この制御情報を通信回路14から空調制御装置6に送信してもよい。
The air
また警戒装置8は、夜間や外出時などに警戒モードに設定されている状態で、動体検知装置1から検知信号が入力されると、警報を発する。これにより、防犯システムが、動体検知装置1の検知範囲を撮像する専用の監視カメラを備えていなくても、動体検知装置1が検知範囲における人の存否を検知した結果に基づいて、警報を発することができる。
Moreover, the
尚、図10(a)のシステム構成図では、動体検知装置1の通信回路14に、通信線W1を介して照明制御装置2と空調制御装置6と警戒装置8とが接続されているが、図10(b)に示すように、通信回路14と照明制御装置2の間を通信線W1で接続し、照明制御装置2と空調制御装置6と警戒装置8とを通信線W2にそれぞれ接続してもよい。この場合、物体検知装置1の検知結果は、照明制御装置2を経由して空調制御装置6と警戒装置8とにそれぞれ送られ、空調制御装置6及び警戒装置8は物体検知装置1の検知結果に応じた動作を行う。
In the system configuration diagram of FIG. 10A, the
1 動体検知装置
2 照明制御装置
3 照明器具
11 イメージセンサ(カメラ)
12 画像処理回路(判定部、設定部、出力部)
13 メモリ
14 通信回路(出力部)
DESCRIPTION OF
12 Image processing circuit (determination unit, setting unit, output unit)
13
Claims (8)
前記カメラの撮像範囲のうち、動きのある物体の存否を検知する検知範囲をどの範囲とするかを設定するための検知範囲情報を記憶するメモリと、
前記検知範囲情報で設定される検知範囲において、前記カメラが異なる時刻に撮像した複数の画像を解析することによって前記検知範囲に動きのある物体が存在するか否かを判定する判定部と、
前記判定部の判定結果及び前記判定結果から導出した外部機器の制御情報のうち少なくとも何れか一方を外部に出力する出力部と、
前記検知範囲情報を設定する指示が外部から入力されると、前記カメラの画像から特定の時間的変化を検出し、前記特定の時間的変化が検出された位置をもとに前記検知範囲情報を決定して前記メモリに記憶させる設定部とを備えることを特徴とする動体検知装置。 A camera that images the space to be detected;
A memory that stores detection range information for setting which range is a detection range for detecting the presence or absence of a moving object in the imaging range of the camera;
In the detection range set by the detection range information, a determination unit that determines whether there is a moving object in the detection range by analyzing a plurality of images captured by the camera at different times;
An output unit that outputs at least one of the determination result of the determination unit and the control information of the external device derived from the determination result; and
When an instruction to set the detection range information is input from the outside, a specific temporal change is detected from the image of the camera, and the detection range information is determined based on a position where the specific temporal change is detected. A moving body detection apparatus comprising: a setting unit that determines and stores the determination in the memory.
前記設定部は、前記特定の時間的変化が検出された位置に中心が最も近い前記小領域に対して、前記小領域を前記検知範囲に含めるか否かを示す前記検知範囲情報を決定し、前記メモリに記憶させることを特徴とする請求項1乃至3の何れか1項に記載の動体検知装置。 The imaging range of the camera is divided into a plurality of small areas by a grid-like boundary line, and whether or not each of the plurality of small areas is included in the detection range is set by the detection range information,
The setting unit determines the detection range information indicating whether or not to include the small region in the detection range with respect to the small region whose center is closest to the position where the specific temporal change is detected, The moving object detection device according to claim 1, wherein the moving object detection device is stored in the memory.
前記設定部は、前記検知範囲情報を設定する指示が入力されてから設定終了の指示を受けるまでに検出された物体の移動軌跡の内側を前記検知範囲とすることを特徴とする請求項1記載の動体検知装置。 The specific temporal change is a change in an image caused by the movement of an object,
2. The detection unit according to claim 1, wherein the setting unit sets an inner side of a movement trajectory of an object detected from an input of an instruction to set the detection range information to reception of a setting end instruction as the detection range. Motion detection device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013025259A JP6233737B2 (en) | 2013-02-13 | 2013-02-13 | Motion detection device and control system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013025259A JP6233737B2 (en) | 2013-02-13 | 2013-02-13 | Motion detection device and control system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014154068A true JP2014154068A (en) | 2014-08-25 |
JP6233737B2 JP6233737B2 (en) | 2017-11-22 |
Family
ID=51575847
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013025259A Active JP6233737B2 (en) | 2013-02-13 | 2013-02-13 | Motion detection device and control system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6233737B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016197504A (en) * | 2015-04-02 | 2016-11-24 | 三菱電機株式会社 | Luminaire |
JP2019117812A (en) * | 2019-04-26 | 2019-07-18 | 三菱電機株式会社 | Image sensor, illumination system |
JP2020057231A (en) * | 2018-10-02 | 2020-04-09 | パナソニックIpマネジメント株式会社 | Information output device, detection system, control method, and program |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007088835A (en) * | 2005-09-22 | 2007-04-05 | Victor Co Of Japan Ltd | Apparatus control unit |
JP2007088837A (en) * | 2005-09-22 | 2007-04-05 | Victor Co Of Japan Ltd | Apparatus control unit |
JP2009238399A (en) * | 2008-03-26 | 2009-10-15 | Panasonic Electric Works Co Ltd | Illumination system |
JP2011097284A (en) * | 2009-10-28 | 2011-05-12 | Panasonic Corp | Monitoring device |
JP2011108417A (en) * | 2009-11-13 | 2011-06-02 | Panasonic Electric Works Co Ltd | Lighting control system |
-
2013
- 2013-02-13 JP JP2013025259A patent/JP6233737B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007088835A (en) * | 2005-09-22 | 2007-04-05 | Victor Co Of Japan Ltd | Apparatus control unit |
JP2007088837A (en) * | 2005-09-22 | 2007-04-05 | Victor Co Of Japan Ltd | Apparatus control unit |
JP2009238399A (en) * | 2008-03-26 | 2009-10-15 | Panasonic Electric Works Co Ltd | Illumination system |
JP2011097284A (en) * | 2009-10-28 | 2011-05-12 | Panasonic Corp | Monitoring device |
JP2011108417A (en) * | 2009-11-13 | 2011-06-02 | Panasonic Electric Works Co Ltd | Lighting control system |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016197504A (en) * | 2015-04-02 | 2016-11-24 | 三菱電機株式会社 | Luminaire |
JP2020057231A (en) * | 2018-10-02 | 2020-04-09 | パナソニックIpマネジメント株式会社 | Information output device, detection system, control method, and program |
JP7357194B2 (en) | 2018-10-02 | 2023-10-06 | パナソニックIpマネジメント株式会社 | Information output device, detection system, control method, and program |
JP2019117812A (en) * | 2019-04-26 | 2019-07-18 | 三菱電機株式会社 | Image sensor, illumination system |
Also Published As
Publication number | Publication date |
---|---|
JP6233737B2 (en) | 2017-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
ES2837126T3 (en) | System and method to have location-based custom UI updates in mobile apps for connected users in security, video, and home automation apps | |
KR101637007B1 (en) | System for viewer emergency situation monitoring | |
US10194081B2 (en) | Camera device, compartment-interior imaging system, and compartment-interior-information acquisition device | |
JP2006279927A (en) | Supervisory and control apparatus, monitoring system, monitoring method, program and recording medium | |
JP2007179555A (en) | Monitoring system | |
CN105844209B (en) | visitor identification based on infrared radiation detection | |
KR101173542B1 (en) | All-in Sensor Lamp and CCTV camera system | |
EP2546813A1 (en) | Home surveillance device | |
US20130021473A1 (en) | Home Surveillance Device | |
JP2006279926A (en) | Wireless communication apparatus, wireless communication system, wireless communication method, program, and recording medium with the program recorded thereon | |
JP6233737B2 (en) | Motion detection device and control system | |
JP2017038894A (en) | Cleaning robot | |
CN103517516B (en) | Illuminator | |
JP6708766B2 (en) | Camera device, indoor imaging system, indoor information acquisition device | |
KR20160094733A (en) | Ceiling type system air conditioner having image monitoring and storing function | |
JP2011175336A (en) | Device position specifying device | |
KR101622313B1 (en) | Integration control illuminator and the system including thereof | |
JP2008164179A (en) | Air conditioner | |
KR101321562B1 (en) | Surveillance cameras intergrated light switch | |
JP2016018644A (en) | Illumination control system | |
WO2019049270A1 (en) | Position measurement device and indoor positioning system | |
KR101622107B1 (en) | Security light and security light system having the same | |
US20140192189A1 (en) | Automatic sensing lamp capable of network transmission and long-distance surveillance/remote-control audio-video operations | |
JP2005027023A (en) | Camera system and monitoring method | |
KR101702165B1 (en) | Dome Type Laser Camera Capable Of Confirming the Position of Camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20150312 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161220 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20170215 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20170220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170418 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171013 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6233737 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |