JP2014002861A - 照明制御システム - Google Patents

照明制御システム Download PDF

Info

Publication number
JP2014002861A
JP2014002861A JP2012135959A JP2012135959A JP2014002861A JP 2014002861 A JP2014002861 A JP 2014002861A JP 2012135959 A JP2012135959 A JP 2012135959A JP 2012135959 A JP2012135959 A JP 2012135959A JP 2014002861 A JP2014002861 A JP 2014002861A
Authority
JP
Japan
Prior art keywords
monitoring
image
unit
control system
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012135959A
Other languages
English (en)
Other versions
JP5904026B2 (ja
Inventor
Yukio Ishida
幸男 石田
Yasushi Morimoto
康司 森本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Lighting and Technology Corp
Original Assignee
Toshiba Lighting and Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Lighting and Technology Corp filed Critical Toshiba Lighting and Technology Corp
Priority to JP2012135959A priority Critical patent/JP5904026B2/ja
Priority to US13/618,930 priority patent/US20130335574A1/en
Priority to EP12184612.5A priority patent/EP2699062A2/en
Priority to CN201210365331.6A priority patent/CN103517507B/zh
Publication of JP2014002861A publication Critical patent/JP2014002861A/ja
Application granted granted Critical
Publication of JP5904026B2 publication Critical patent/JP5904026B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/105Controlling the light source in response to determined parameters
    • H05B47/115Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/125Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/105Controlling the light source in response to determined parameters
    • H05B47/11Controlling the light source in response to determined parameters by determining the brightness or colour temperature of ambient light
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/105Controlling the light source in response to determined parameters
    • H05B47/115Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/10Controlling the intensity of the light
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

【課題】監視部分を適切に設定すること。
【解決手段】照明制御システムは、1つの実施形態において、照明器具と、複数ある監視カメラと、中央制御装置とを有する。また、中央制御装置は、複数ある監視カメラ各々により撮影された監視画像各々を受信し、受信した監視カメラごとの監視画像各々を統合して1つの統合画像を生成する。また、中央制御装置は、統合画像に対して監視部分を設定する。また、中央制御装置は、統合画像に設定された監視部分を、監視カメラごとの監視画像各々に重複しないように割り当てることで、監視画像ごとに監視部分を設定する。また、中央制御装置は、監視画像ごとに設定された監視部分における検出処理の結果に基づいて、照明器具を制御する。
【選択図】図2

Description

本発明の実施形態は、照明制御システムに関する。
従来、照度センサを用いて、机の上や床の照度を一定に制御する照明制御システムがある。また、照明制御システムには、人の有無を検知する人感センサを有するシステムもある。人感センサを有する照明制御システムでは、例えば、人感センサと照明器具とが予め紐付けられ、人感センサにより人ありと検知された場合に、人ありと検知された人感センサに紐付けられた照明器具を点灯させる。
ここで、人感センサとして監視カメラを用いる技術が知られている(特許文献1参照)。この監視カメラを用いる技術では、監視カメラにより撮影される監視画像のうち、人の存否を検出する検出処理の対象となる監視部分が明るさ分布に基づいて設定される。
特開2002−289377号公報
しかしながら、監視カメラが複数ある場合には監視部分を適切に設定できないという問題がある。
本発明が解決しようとする課題は、上述の従来技術の問題に鑑み、監視部分を適切に設定可能となる照明制御システムを提供することを目的とする。
実施形態の一例に係る照明制御システムは、照明器具を備える。また、実施形態の一例に係る照明制御システムは、複数ある監視カメラを備える。また、実施形態の一例に係る照明制御システムは、複数ある前記監視カメラ各々により撮影された監視画像各々を受信する受信部と、前記受信部により受信された前記監視カメラごとの監視画像各々を統合して1つの統合画像を生成する生成部と、前記生成部により生成された統合画像に対して、人の存否を検出する検出処理の対象となる画像部分である監視部分を設定する第1の設定部と、前記第1の設定部により前記統合画像に設定された監視部分を、前記監視カメラごとの監視画像各々に重複しないように割り当てることで、前記監視画像ごとに監視部分を設定する第2の設定部と、前記第2の設定部により前記監視画像ごとに設定された監視部分における前記検出処理の結果に基づいて、前記照明器具を制御する照明制御部と;を有する中央制御装置を備える。
実施形態の一例に係る照明制御システムは、監視部分を適切に設定可能であるという有利な効果を奏する。
図1は、第1の実施形態に係る照明制御システムの全体構成の一例を示すブロック図である。 図2は、第1の実施形態に係る中央制御装置の構成の一例を示すブロック図である。 図3は、第1の実施形態における第1記憶テーブルに記憶された情報の一例を示す図である。 図4は、第1の実施形態における第2記憶テーブルに記憶された情報の一例を示す図である。 図5は、第1の実施形態における人感センサと監視画像との関係の一例を示す図である。 図6−1は、第1の実施形態における受信部が、図5に示す場合において受信する監視画像の一例を示す図である。 図6−2は、第1の実施形態における受信部が、図5に示す場合において受信する監視画像の一例を示す図である。 図6−3は、第1の実施形態における受信部が、図5に示す場合において受信する監視画像の一例を示す図である。 図7は、第1の実施形態における生成部により生成される統合画像の一例を示す図である。 図8は、第1の実施形態における第1の設定部により設定される監視部分の一例を示す図である。 図9は、第1の実施形態における第2の設定部により監視画像各々に設定される監視部分の一例を示す図である。 図10は、第1の実施形態における識別部と修正部とについて示すための図である。 図11は、第1の実施形態に係る中央制御装置による監視部分の設定処理の流れの一例を示すフローチャートである。 図12は、第1の実施形態に係る中央制御装置による監視部分の修正処理の流れの一例を示すフローチャートである。 図13は、監視部分の設定処理を行わず、監視部分の修正処理を行う中央制御装置の構成の一例を示すブロック図である。
以下に説明する実施形態に係る照明制御システムは、1つの実施形態において、照明器具と、複数ある監視カメラと、中央制御装置とを有する。また、中央制御装置は、複数ある監視カメラ各々により撮影された監視画像各々を受信する受信部を有する。また、中央制御装置は、受信部により受信された監視カメラごとの監視画像各々を統合して1つの統合画像を生成する生成部と、生成部により生成された統合画像に対して、人の存否を検出する検出処理の対象となる画像部分である監視部分を設定する第1の設定部を有する。また、中央制御装置は、第1の設定部により統合画像に設定された監視部分を、監視カメラごとの監視画像各々に重複しないように割り当てることで、監視画像ごとに監視部分を設定する第2の設定部を有する。また、中央制御装置は、第2の設定部により監視画像ごとに設定された監視部分における検出処理の結果に基づいて、照明器具を制御する照明制御部を有する。
また、実施形態に係る照明制御システムでは、1つの実施形態において、第1の設定部は、検出処理の対象とはならない画像部分の設定をユーザから受け付けると、受け付けた画像部分以外の部分を監視画像に設定する。
また、実施形態に係る照明制御システムでは、1つの実施形態において、第2の設定部は、統合画像のうち複数の監視画像が重複する部分に対して境界を設定し、統合画像に設定された監視部分を設定した境界に基づいて監視画像各々に割り当てることで、重複しないように割り当てる。
また、実施形態に係る照明制御システムでは、1つの実施形態において、第2の設定部は、複数ある監視画像ごとに監視部分を設定し、統合画像に設定された監視部分のうち複数ある監視画像のいずれかに設定済みの部分について、再度監視部分として設定しないことで、重複しないように割り当てる。
また、実施形態に係る照明制御システムでは、1つの実施形態において、監視画像各々の重複部分の歪みを補正した後に統合することで、統合画像を生成する。
また、実施形態に係る照明制御システムでは、1つの実施形態において、中央制御装置は、監視画像に設定された監視部分を識別する第1の位置情報を監視画像ごとに記憶する第1記憶部を有する。また、中央制御装置は、監視画像の任意の部分の部分画像と部分画像を識別する第2の位置情報とを対応付けて監視画像ごとに記憶する第2記憶部と、受信部により受信された監視画像から部分画像を識別する識別部を有する。また、中央制御装置は、第1記憶部から読み出した第1の位置情報と、識別部により識別された部分画像の位置との間にずれがある場合に、第2記憶部に記憶されている第2の位置情報により識別される監視部分の位置をずれに相当する分修正する修正部を有する。
以下、図面を参照して、実施形態に係る照明制御システムについて説明する。実施形態において同一の機能を有する構成には同一の符号を付し、重複する説明は省略する。なお、以下の実施形態で説明する照明制御システムは、一例を示すに過ぎず、本発明を限定するものではない。また、以下の実施形態は、矛盾しない範囲内で適宜組みあわせても良い。
(第1の実施形態)
(第1の実施形態に係る照明制御システムの全体構成の一例)
図1は、第1の実施形態に係る照明制御システムの全体構成の一例を示すブロック図である。図1に示す例では、照明制御システム10は、中央制御装置100と、2線伝送線(「伝送ライン」とも称する)2と、壁スイッチ3と、h個の制御端末器4と、照明器具5と、光センサ6と、ワイヤレス送信器7と、ワイヤレス受信器8と、n個の人感センサ9とを有する。照明制御システム10の各装置は、伝送ライン2を介して相互に接続される。なお、図1に示す例では、人感センサ9がn個あり、制御端末器4がh個ある場合を例に説明するが、これに限定されるものではなく、人感センサ9と制御端末器4とは、任意の数あって良い。
中央制御装置100は、オフィスや各種施設などの照明エリアごとに設置される照明器具5を遠隔制御する。また、中央制御装置100は、複数ある人感センサ9各々に、人の存否を検出する検出処理の対象となる画像部分である監視部分を設定する。中央制御装置100の詳細については、後述するため説明を省略する。
壁スイッチ3は、照明器具に対する操作をユーザから受け付け、受け付けた操作内容を中央制御装置100に伝送ライン2を介して出力する。例えば、壁スイッチ3は、照明器具を消灯する操作や点灯する操作、明るさを変更する操作などを受け付け、受け付けた操作を中央制御装置100に出力する。
制御端末器4は、照明器具5と接続される。図1に示す例では、制御端末器4−1〜制御端末器4−hが、それぞれ、4回路の照明器具5と接続可能な場合を例に示した。ただし、これに限定されるものでなく、任意の数の照明器具5を接続可能であって良い。照明器具5は、例えば、光源として発光ダイオード(LED、Light Emitting Diodes)を有する。
光センサ6は、明暗度を検出する。光センサ6は、例えば、特定の照明器具5の照明エリア内に配置される。この結果、光センサ6により検出された明暗度は、特定の照明器具5により照明された照明エリア内の実際の照度と相関関係を有する。光センサ6は、例えば、机上に設けられたり、床面に設けられたり、天井に設けられたりする。
ワイヤレス送信器7は、照明器具5に対するユーザの操作を受け付け、受け付けた操作内容を無線通信でワイヤレス受信器8に送信する。例えば、ワイヤレス送信器7は、赤外線を用いて送信する。ワイヤレス受信器8は、ワイヤレス送信器7から送信されたユーザによる操作内容を受信し、受信した操作内容を伝送ライン2を介して中央制御装置100に出力する。
人感センサ9は、人の存在を検知する。以下では、人感センサ9が、監視カメラである場合を例に説明し、人感センサ9を「監視カメラ」とも称する。複数ある人感センサ9は、それぞれ、監視画像を撮影し、撮影した監視画像を伝送ライン2を介して中央制御装置100に出力する。
(第1の実施形態に係る中央制御装置の構成の一例)
図2は、第1の実施形態に係る中央制御装置の構成の一例を示すブロック図である。図2に示す例では、中央制御装置100は、入出力インタフェース101と、記憶部110と、制御部120とを有する。以下に詳細に説明するように、中央制御装置100は、監視画像ごとに監視部分を設定する。
入出力インタフェース101は、制御部120と接続される。入出力インタフェース101は、伝送ライン2を介して照明制御システム10の各装置と情報の入出力を行う。
記憶部110は、制御部120と接続される。記憶部110は、制御部120による各種処理に用いるデータを記憶する。記憶部110は、例えば、RAM(Random Access Memory)やROM(Read Only Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子、又は、ハードディスクや光ディスクなどである。図2に示す例では、記憶部110は、第1記憶テーブル111と第2記憶テーブル112とを有する。なお、第1記憶テーブル111と第2記憶テーブル112とは、それぞれ、「第1記憶部」「第2記憶部」とも称する。
第1記憶テーブル111は、監視画像に設定された監視部分を識別する第1の位置情報を監視画像ごとに記憶する。図3は、第1の実施形態における第1記憶テーブルに記憶された情報の一例を示す図である。図3に示すように、第1記憶テーブル111は、複数ある監視カメラのうち任意の監視カメラを識別する「監視カメラID」と、第1の位置情報とを記憶する。図3に示す例では、第1記憶テーブル111は、監視カメラID「1」に対応付けて第1の位置情報「A1」を記憶する。すなわち、図3に示す例では、第1記憶テーブル111は、監視カメラID「1」により撮影される監視画像のうち、第1の位置情報「A1」により識別される画像部分が監視部分として設定されていることを記憶する。
なお、図3に示す例では、説明の便宜上、監視部分を識別する第1の位置情報として「A1」や「A2」、「A3」などを記憶する場合を例に示した。ここで、第1の位置情報は、監視部分を識別可能な情報であれば任意の情報であれば良く、例えば、監視部分の輪郭を示す座標情報であっても良く、監視部分が長方形である場合には頂点の座標各々であっても良い。
第2記憶テーブル112は、監視画像の任意の部分の部分画像と、部分画像を識別する第2の位置情報とを対応付けて、監視画像ごとに記憶する。図4は、第1の実施形態における第2記憶テーブルに記憶された情報の一例を示す図である。図4に示すように、第2記憶テーブル112は、監視カメラIDと、部分画像と、第2の位置情報とを対応付けて記憶する。図4に示す例では、第2記憶テーブル112は、監視カメラID「1」と部分画像「X」と第2の位置情報「x1,y1」とを記憶する。すなわち、図4に示す例では、第2記憶テーブル112は、監視カメラID「1」により撮影される監視画像のうち、第2の位置情報「x1,y1」により識別される部分に、部分画像「X」があることを記憶する。
なお、図4に示す例では、説明の便宜上、第2の位置情報として座標情報を用いる場合を例に示したが、これに限定されるものではなく、部分画像の位置を識別できる情報であれば任意の情報を用いて良い。また、図4に示す例では、記載の便宜上、部分画像として「X」「Y」「Z」などを記載したが、実際には、画像そのものを記憶しているものとして説明する。例えば、いすの画像や、机の画像など、監視画像のうち特徴的なマーキングとして用いることが可能と考えられる部分画像を記憶する。
また、第2記憶テーブル112に記憶される情報は、監視部分が設定された状態における監視画像から生成される。言い換えると、監視部分が設定された状態における監視画像と比較して、撮影される範囲が変わっていない監視画像から、監視カメラIDと部分画像と第2の位置情報との対応付けが制御部120により生成され、第2記憶テーブル112に格納される。監視カメラによる撮影画像が撮影される範囲は、監視カメラのカメラ位置が振動などにより変化すると、併せて変化する場合がある。このことを踏まえ、第2記憶テーブル112に格納される対応付けは、監視部分が設定された監視画像と同一の監視画像、又は、同一の範囲を撮影した監視画像から生成されて第2記憶テーブル112に格納される。
制御部120は、入出力インタフェース101と記憶部110と接続される。制御部120は、各種の処理手順などを規定したプログラムを記憶する内部メモリを有し、種々の処理を制御する。制御部120は、例えば、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、CPU(Central Processing Unit)、MPU(Micro Processing Unit)などである。図2に示す例では、制御部120は、受信部121と、生成部122と、第1の設定部123と、第2の設定部124と、照明制御部125と、識別部126と、修正部127とを有する。
受信部121は、複数ある監視カメラ各々により撮影された監視画像各々を受信する。図5は、第1の実施形態における人感センサと監視画像との関係の一例を示す図である。図5に示す例では、3つの人感センサ9−1〜人感センサ9−3が、部屋201に設けられる。図5に示す例では、人感センサ9−1〜人感センサ9−3は、それぞれ、監視画像202−監視画像204を撮影する。図5に示す例では、部屋201には、各種の物205〜208が設置されている。
図6−1〜図6−3は、第1の実施形態における受信部が、図5に示す場合において受信する監視画像の一例を示す図である。なお、以下では、受信部121が、3つの人感センサ9から監視画像各々を受信する場合を例に説明するが、これに限定されるものではなく、任意の数の人感センサ9から監視画像各々を受信して良い。
生成部122は、受信部121により受信された監視カメラごとの監視画像各々を統合して1つの統合画像を生成する。図7は、第1の実施形態における生成部により生成される統合画像の一例を示す図である。図7に示す例では、生成部122は、監視画像202〜監視画像204のうち、重複する部分211及び部分212を重ねることで、統合画像210を生成する。
また、生成部122は、監視カメラが魚眼レンズである場合に、監視画像各々の歪みを補正した後に統合することで、統合画像を生成する。生成部122は、公知の任意の手法を用いて、統合画像を生成して良い。
第1の設定部123は、生成部122により生成された統合画像に対して、人の存否を検出する検出処理の対象となる画像部分である監視部分を設定する。例えば、第1の設定部123は、検出処理の対象とはならない画像部分の設定をユーザから受け付けると、受け付けた画像部分以外の部分を監視画像に設定する。また、例えば、第1の設定部123は、統合画像における監視部分の設定をユーザから受け付けると、受け付けた部分を監視部分として設定する。
より詳細な一例をあげて説明する。第1の設定部123は、例えば、統合画像をユーザに表示し、表示された統合画像において、ユーザから部分の指定を受け付ける。例えば、統合画像を形成するピクセルがXY座標系にて表現される場合に、X座標の値が「P1」から「P2」までの範囲に含まれてY座標の値が「P3」から「P4」までの範囲に含まれるピクセル各々がユーザによって指定されると、第1の設定部123は、指定された範囲のピクセル各々を統合画像における監視部分として設定する。なお、「P1」〜「P4」は、任意の値である。また、上記の例では、ユーザにより設定された監視部分が長方形となるが、これに限定されるものではなく、任意の形状であって良い。また、ユーザによる監視部分の指定は、XY座標を用いて指定する場合に限定されるものではなく、任意の手法を用いて良い。
図8は、第1の実施形態における第1の設定部により設定される監視部分の一例を示す図である。図8に示す例では、第1の設定部123が、統合画像210内において、監視部分220と監視部分221とに監視部分を設定した場合を例に示した。ここで、図8に示すように監視部分220は、人感センサ9−1により得られる監視画像202と、人感センサ9−2により得られる監視画像203とが重複する部分211にも設定されている場合を例に示した。
第2の設定部124は、第1の設定部123により統合画像に設定された監視部分を、監視カメラごとの監視画像各々に重複しないように割り当てることで、監視画像ごとに監視部分を設定する。具体的には、人感センサ9各々に対応する監視画像が重複する部分に監視部分が設定された場合に、設定された部分が、重複する監視画像のうちいずれか1つの監視画像に割り当てられるように設定する。なお、その際には、第2の設定部124は、人感センサ9各々に対応する監視画像が重複する部分に設定された監視部分を分割し、分割した部分各々を別の監視画像に割り当てても良い。
例えば、第2の設定部124は、統合画像のうち複数の監視画像が重複する部分に対して境界を設定し、統合画像に設定された監視部分を設定した境界に基づいて監視画像各々に割り当てることで、重複しないように割り当てる。言い換えると、統合画像のうち複数の監視画像が重複する部分について、監視部分を割り当てる際に割当先となる監視画像を一意に決定するための境界を設定する。図9は、第1の実施形態における第2の設定部により監視画像各々に設定される監視部分の一例を示す図である。図9の(1)に示すように、第2の設定部124は、統合画像210のうち、人感センサ9に対応する監視画像各々が重複する部分に対して境界225及び境界226を設定する。そして、図9の(2)に示すように、第2の設定部124は、監視画像が重複する部分にも設定されている監視部分220を境界225を境に監視部分220−1と監視部分220−2とに分割し、監視部分220−1を監視画像202に割り当て、監視部分220−2を監視画像203に割り当てる。また、第2の設定部124は、監視部分221を監視画像204に割り当てる。この結果、監視画像に監視部分が設定される。例えば、監視画像のうち、X座標の値が「P5」から「P6」までの範囲に含まれてY座標の値が「P7」から「P8」までの範囲に含まれるピクセル各々が監視部分として設定される。なお、「P5」〜「P8」は、任意の値である。また、上記の例では、監視画像に設定される監視部分が長方形となるが、これに限定されるものではなく、任意の形状であって良い。
また、第2の設定部124は、監視画像ごとに設定した監視部分を識別する第2の位置情報を、設定先となる監視画像の監視カメラIDに対応付けて、第1記憶テーブル111に格納する。例えば、第2の設定部124は、監視画像202に対応付けられる監視カメラID「1」であり、監視部分220−1を識別する第1の位置情報が「A1」である場合に、第2の設定部124は、監視カメラID「1」と第1の位置情報「A1」とを対応付けて第1記憶テーブル111に格納する。
なお、上述した例では、第2の設定部124が、境界を設定し、設定した境界に基づいて監視部分を監視画像に重複しないように割り当てる場合について説明したが、これに限定されるものではなく、任意の手法を用いて良い。例えば、第2の設定部124は、複数ある監視画像ごとに監視部分を設定し、統合画像に設定された監視部分のうち複数ある監視画像のいずれかに設定済みの部分について、再度監視部分として設定しないことで、重複しないように割り当てても良い。
照明制御部125は、第2の設定部124により監視画像ごとに設定された監視部分における検出処理の結果に基づいて、照明器具5を制御する。例えば、照明制御部125は、監視部分に人ありとの検出結果が検出処理にて得られた場合に、照明器具5を点灯するための指示を制御端末器4に出力する。また、例えば、照明制御部125は、監視部分に人なしとの検出結果が検出処理にて得られた場合に、照明器具5を消灯するための指示を制御端末器4に出力する。
識別部126は、任意の処理タイミングとなると、第2の設定部124によって監視画像ごとに監視部分が設定されると、監視部分が設定された監視画像において、任意の部分画像を抽出し、抽出した部分画像と、部分画像を抽出した位置を識別する第2の位置情報と、部分画像を抽出した監視画像の監視カメラIDとを対応付けて第2記憶テーブル112に格納する。例えば、識別部126は、位置「x1,y2」にあった部分画像「X」を監視画像202から抽出した場合には、監視カメラID「1」と部分画像「X」と第2の位置情報「x1,y2」とを対応付けて記憶する。
また、識別部126は、受信部121により受信された監視画像から部分画像を識別する。具体的には、識別部126は、任意の処理タイミングとなると、第2記憶テーブル112から監視カメラIDと部分画像と取得し、取得した監視カメラIDにより識別される監視カメラの監視画像から、取得した部分画像を識別する。例えば、図6−1において、物205の部分画像が第2記憶テーブル112に記憶されている場合には、物205と一致する部分画像を監視画像から識別する。識別部126による識別処理は、任意の画像認識処理を用いて良い。ここで、任意の処理タイミングとは、例えば、監視画像を受信するごとであっても良く、所定の間隔が経過した時点であっても良く、ユーザにより指定された時点であっても良く、ユーザからの指示を受け付けた時点であっても良く、任意のタイミングであって良い。
修正部127は、第2記憶テーブル112から読み出した第2の位置情報と、識別部126により識別された部分画像の位置との間にずれがある場合に、第1記憶テーブル111に記憶されている第1の位置情報により識別される監視部分の位置をずれに相当する分修正する。
具体的には、修正部127は、第2記憶テーブル112から監視カメラIDと第2の位置情報との対応付けを取得し、監視カメラIDにより識別される監視画像ごとに、識別部126により識別された部分画像の位置と、取得した第2の位置情報により示される位置との間にずれがあるかを判定する。そして、修正部127は、ずれがあると判定した場合には、監視部分の位置を修正する。例えば、修正部127は、第2記憶テーブル112から処理対象となっている監視カメラIDに対応付けられた第1の位置情報を取得し、取得した第1の位置情報をずれの分修正する。言い換えると、修正部127は、ずれがあると判定された監視画像において、監視部分の位置がずれに相当する分移動させる。一方、修正部127は、ずれがないと判定した場合には、修正することなく、そのまま処理を終了する。
図10は、第1の実施形態における識別部と修正部とについて示すための図である。図10では、監視画像250を処理対象となる場合を例に説明する。監視画像255には、部分画像として抽出された物251及び物252とが写っており、監視部分254が設定されている。また、図10の(1)に示す例では、部分画像が抽出された段階では、物251と物252とが、それぞれ、部分253と部分254とに位置していたものとして説明する。言い換えると、監視画像250では、監視部分が設定された時点と比較して、物251と物252とが写っている位置にずれが発生している場合を例に説明する。
修正部127は、任意の処理タイミングとなると、図10に示す監視画像250において、部分画像となる物251と物252とを識別する。そして、修正部127は、識別部126により識別された部分画像の位置と、取得した第2の位置情報により示される位置との間にずれがあるかを判定する。言い換えると、部分253と部分254と、監視画像250における物251の位置と物252の位置との間にずれがあるかを判定する。ここで、図10に示す例では、ずれが発生しており、修正部127は、第2記憶テーブル112に記憶されている監視部分254の位置を識別する第1の位置情報を取得し、取得した第1の位置情報をずれの分修正する。例えば、取得した第1の位置情報がXY座標系における座標値で表現されており、監視画像202において、物251と物252とが、X座標系においてマイナス方向に「α」だけ移動していた場合を例に説明する。この場合、修正部127は、第1の位置情報A1のX軸における値をそれぞれ「α」だけマイナス方向に変更することで、監視部分255の位置を修正する。この結果、図10の(2)に示す例では、もともと監視部分254が設定されていた部分256から、監視部分254の位置がずれの分だけ修正される。言い換えると、監視部分254に写っている範囲は、ずれが発生する前に部分256に写っていた範囲と同一となる。
(第1の実施形態に係る中央制御装置による処理の一例)
図11及び図12を用いて、第1の実施形態に係る中央制御装置による処理の一例を示す。具体的には、監視部分の設定処理の流れの一例と、監視部分の修正処理の流れの一例とを順に説明する。
(第1の実施形態に係る中央制御装置による監視部分の設定処理の流れの一例)
図11は、第1の実施形態に係る中央制御装置による監視部分の設定処理の流れの一例を示すフローチャートである。
図11に示すように、中央制御装置100では、受信部121が複数ある監視カメラ各々により撮影された監視画像各々を受信すると(ステップS101肯定)、生成部122が、監視画像各々を統合して1つの統合画像を生成する(ステップS102)。例えば、複数の監視画像のうち重複する部分を重ねることで、統合画像を生成する。
そして、第1の設定部123は、統合画像に対して、人の存否を検出する検出処理の対象となる画像部分である監視部分を設定する(ステップS103)。例えば、第1の設定部123は、統合画像をユーザに表示し、表示された統合画像において、ユーザから部分の指定を受け付ける。そして、第1の設定部123は、ユーザにより指定された部分を監視部分として設定する。
そして、第2の設定部124は、統合画像に設定された監視部分を、監視カメラごとの監視画像各々に重複しないように割り当てることで、監視画像ごとに監視部分を設定する(ステップS104)。例えば、第2の設定部124は、統合画像のうち複数の監視画像が重複する部分に対して境界を設定し、統合画像に設定された監視部分を設定した境界に基づいて監視画像各々に割り当てることで、重複しないように割り当てる。
(第1の実施形態に係る中央制御装置による監視部分の修正処理の流れの一例)
図12は、第1の実施形態に係る中央制御装置による監視部分の修正処理の流れの一例を示すフローチャートである。
図12に示すように、中央制御装置100では、任意の処理タイミングとなると(ステップS201肯定)、監視画像から取得した部分画像を識別する(ステップS202)。例えば、識別部126は、第2記憶テーブル112から監視カメラIDと部分画像と取得し、取得した監視カメラIDにより識別される監視カメラの監視画像から、取得した部分画像を識別する。
修正部127は、識別部126により識別された部分画像の位置と、取得した第2の位置情報により示される位置と間にずれがあるかを判定する(ステップS203)。例えば、修正部127は、第2記憶テーブル112から監視カメラIDと第2の位置情報との対応付けを取得し、監視カメラIDにより識別される監視画像ごとに、識別部126により識別された部分画像の位置と、取得した第2の位置情報により示される位置と間にずれがあるかを判定する。
ここで、修正部127は、ずれがあると判定した場合には(ステップS204肯定)、監視部分の位置を修正する(ステップS205)。例えば、修正部127は、第2記憶テーブル112から処理対象となっている監視カメラIDに対応付けられた第1の位置情報を取得し、取得した第1の位置情報をずれの分修正する。言い換えると、修正部127は、ずれがあると判定された監視画像において、監視部分の位置がずれに相当する分移動させる。一方、修正部127は、ずれがないと判定した場合には(ステップS204否定)、修正することなく(ステップS206)、そのまま処理を終了する。
(第1の実施形態に係る照明制御システムによる効果)
上述したように、第1の実施形態における照明制御システム10は、照明器具5と、複数ある監視カメラと、中央制御装置100とを有する。また、中央制御装置100は、複数ある監視カメラ各々により撮影された監視画像各々を受信し、受信した監視カメラごとの監視画像各々を統合して1つの統合画像を生成する。また、中央制御装置100は、統合画像に対して監視部分を設定する。また、中央制御装置100は、統合画像に設定された監視部分を、監視カメラごとの監視画像各々に重複しないように割り当てることで、監視画像ごとに監視部分を設定する。また、中央制御装置100は、監視画像ごとに設定された監視部分における検出処理の結果に基づいて、照明器具5を制御する。この結果、監視部分を適切に設定可能となる。
例えば、複数の監視カメラがあり、監視カメラにより撮影される監視画像の一部が重複する場合に、同一の地点が異なる監視カメラによる監視部分に含まれることがあると考えられる。この場合、複数の監視カメラにより監視される地点を照らす照明について、いずれの監視カメラに設定された監視部分に紐付けて制御するかが不明確となることが考えられる。実施形態に係る照明制御システムによれば、監視部分の重複がなく、照明器具と監視部分との紐付けを簡単かつ確実に行うことが可能となる。また、例えば、監視領域を監視カメラごとにユーザが個別に設定する手法と比較して、同じ空間に存在する画像は1つの画像として合成し、その合成画面上で領域設定を行うことで、各カメラ間の境界のずれを気にすることなく設定可能となる。また、監視カメラごとの監視画像ごとに設定する手法と比較して、実際の状況と乖離して監視画像各々に監視部分が設定されることを防止可能となる。また、例えば、監視部分の設定を1つの統合画像においてユーザが行うことが可能となり、その後中央制御装置100が監視カメラごとの監視部分に分解される結果、監視カメラ各々に設定される監視部分の境界のずれがなく、誤検知防止が可能となる。
また、第1の実施形態における照明制御システム10によれば、検出処理の対象とはならない画像部分の設定をユーザから受け付けると、受け付けた画像部分以外の部分を監視画像に設定する。この結果、統合画像において監視部分の設定をユーザから受け付けることで、複数の監視カメラによる監視画像各々に対してユーザが簡単に監視領域を設定可能となる。
また、第1の実施形態における照明制御システム10によれば、統合画像のうち複数の監視画像が重複する部分に対して境界を設定し、統合画像に設定された監視部分を設定した境界に基づいて監視画像各々に割り当てることで、重複しないように割り当てる。この結果、確実に重複なく割り当て可能となる。
また、第1の実施形態における照明制御システム10によれば、複数ある監視画像ごとに監視部分を設定し、統合画像に設定された監視部分のうち複数ある監視画像のいずれかに設定済みの部分について、再度監視部分として設定しないことで、重複しないように割り当てる。この結果、確実に重複なく割り当て可能となる。
また、第1の実施形態における照明制御システム10によれば、監視画像各々の重複部分の歪みを補正した後に統合することで、統合画像を生成する。この結果、統合画像を適切に生成可能となる。監視カメラに使用するレンズの画角が大きくなると監視カメラで得られる監視画像は歪みが発生する。例えば、魚眼レンズまたは広角レンズ等、あるいは画角が180°以上のレンズを使用した場合には、特に歪みが発生するが、歪みを補正した上で統合することで、領域の直線性が保たれた統合画像において、監視画像を設定することが可能となる。監視画像同士の重複部分すなわち各監視画像の周辺領域においては、各々の歪む方向や歪む量が互いに異なっており統合する際に領域の直線性を保つことが難しくなる。そこで、予め重複部分の歪みを補正した上で統合することによって統合画像における領域の直線性を保つことができる。なお、歪みの補正は少なくとも監視画像各々の重複部分の歪みを補正するものであればよいが、他の領域の歪みを補正することでさらに良好な統合画像を得ることができる。
また、第1の実施形態における照明制御システム10によれば、監視画像に設定された監視部分を識別する第1の位置情報を監視画像ごとに記憶し、監視画像の任意の部分の部分画像と部分画像を識別する第2の位置情報とを対応付けて監視画像ごとに記憶する。また、照明制御システム10によれば、監視画像から部分画像を識別し、第2の位置情報と、識別した部分画像の位置との間にずれがある場合に、第1の位置情報により識別される監視部分の位置をずれに相当する分修正する。この結果、設定された監視部分にて確実に検出処理を実行可能となる。
すなわち、振動や揺れ、回転により監視カメラのカメラ位置が変化すると、監視カメラにより撮影される監視画像の位置も変化する。ここで、監視部分は、監視画像のピクセル位置で設定されることがあり、カメラ位置が変化すると、監視部分の位置が変化することが考えられる。実施形態に係る照明制御システムによれば、カメラ位置が変化したとしても、監視部分の位置を修正するので、カメラ位置に変動があったとしても設定された監視部分を監視可能となる。言い換えると、自動で調整しずれを補正することで、設定された監視部分を監視可能となる。すなわち、実際の映像から特徴的な映像をマーキングとして記憶し、センサ検知領域で保存している映像とのマッチング比較結果からセンサ検知領域を実画像に合わせて補正を行うことで、誤検知を防止可能となる。また、この結果、カメラ位置の変動に備えてメンテナンスを行うことなく、設定された監視部分にて検出処理を確実に実行可能となり、メンテナンス性を向上したシステムを提供可能となる。
(第2の実施形態)
さて、これまで第1の実施形態について説明したが、これに限定されるものではなく、その他の実施形態にて実施されても良い。そこで、以下では、その他の実施例について説明する。
例えば、第1の実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行っても良い。この他、上述文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報(例えば、図1〜図12)については、特記する場合を除いて任意に変更することができる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。図2を例に説明すると、記憶部110を外部装置としてネットワーク経由で接続するようにしても良い。また、中央制御装置が、設定処理を行わず、監視部分の修正処理を行うようにしても良い。図13は、監視部分の設定処理を行わず、監視部分の修正処理を行う中央制御装置の構成の一例を示すブロック図である。図13に示すように、中央制御装置300は、図2に示す中央制御装置100と比較して、受信部121と、生成部122と、第1の設定部123と、第2の設定部124とを有さない。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
2 伝送ライン
3 壁スイッチ
4 制御端末器
5 照明器具
6 光センサ
7 ワイヤレス送信器
8 ワイヤレス受信器
9 人感センサ
10 照明制御システム
100 中央制御装置
101 入出力インタフェース
110 記憶部
111 第1記憶テーブル
112 第2記憶テーブル
120 制御部
121 受信部
122 生成部
123 第1の設定部
124 第2の設定部
125 照明制御部
126 識別部
127 修正部

Claims (6)

  1. 照明器具と;
    複数ある監視カメラと;
    複数ある前記監視カメラ各々により撮影された監視画像各々を受信する受信部と、前記受信部により受信された前記監視カメラごとの監視画像各々を統合して1つの統合画像を生成する生成部と、前記生成部により生成された統合画像に対して、人の存否を検出する検出処理の対象となる画像部分である監視部分を設定する第1の設定部と、前記第1の設定部により前記統合画像に設定された監視部分を、前記監視カメラごとの監視画像各々に重複しないように割り当てることで、前記監視画像ごとに監視部分を設定する第2の設定部と、前記第2の設定部により前記監視画像ごとに設定された監視部分における前記検出処理の結果に基づいて、前記照明器具を制御する照明制御部と;を有する中央制御装置と;
    を具備する照明制御システム。
  2. 前記第2の設定部は、前記統合画像のうち複数の監視画像が重複する部分に対して境界を設定し、前記統合画像に設定された前記監視部分を設定した境界に基づいて前記監視画像各々に割り当てることで、重複しないように割り当てることを特徴とする請求項1に記載の照明制御システム。
  3. 前記第2の設定部は、複数ある監視画像ごとに監視部分を設定し、前記統合画像に設定された前記監視部分のうち複数ある前記監視画像のいずれかに設定済みの部分について、再度監視部分として設定しないことで、重複しないように割り当てることを特徴とする請求項1に記載の照明制御システム。
  4. 前記生成部は、前記監視画像各々の重複部分の歪みを補正した後に統合することで、前記統合画像を生成することを特徴とする請求項1に記載の照明制御システム。
  5. 前記監視画像に設定された前記監視部分を識別する第1の位置情報を前記監視画像ごとに記憶する第1記憶部と;
    前記監視画像の任意の部分の部分画像と前記部分画像を識別する第2の位置情報とを対応付けて前記監視画像ごとに記憶する第2記憶部と;
    前記受信部により受信された前記監視画像から前記部分画像を識別する識別部と;
    前記第2記憶部から読み出した第2の位置情報と、前記識別部により識別された前記部分画像の位置との間にずれがある場合に、前記第1記憶部に記憶されている第1の位置情報により識別される監視部分の位置を前記ずれに相当する分修正する修正部と;
    を更に具備することを特徴とする請求項1に記載の照明制御システム。
  6. 複数ある監視カメラ各々により撮影された監視画像各々を受信する受信部と;
    前記受信部により受信された前記監視カメラごとの監視画像各々を統合して1つの統合画像を生成する生成部と;
    前記生成部により生成された統合画像に対して、人の存否を検出する検出処理の対象となる画像部分である監視部分を設定する第1の設定部と;
    前記第1の設定部により前記統合画像に設定された監視部分を、前記監視カメラごとの監視画像各々に重複しないように割り当てることで、前記監視画像ごとに監視部分を設定する第2の設定部と;
    前記第2の設定部により監視画像ごとに設定された監視部分における前記検出処理の結果に基づいて、照明器具を制御する照明制御部と;
    を具備する中央制御装置。
JP2012135959A 2012-06-15 2012-06-15 照明制御システム Active JP5904026B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012135959A JP5904026B2 (ja) 2012-06-15 2012-06-15 照明制御システム
US13/618,930 US20130335574A1 (en) 2012-06-15 2012-09-14 Light emitting device and luminaire having the same
EP12184612.5A EP2699062A2 (en) 2012-06-15 2012-09-17 Light emitting device and luminaire having the same
CN201210365331.6A CN103517507B (zh) 2012-06-15 2012-09-27 照明控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012135959A JP5904026B2 (ja) 2012-06-15 2012-06-15 照明制御システム

Publications (2)

Publication Number Publication Date
JP2014002861A true JP2014002861A (ja) 2014-01-09
JP5904026B2 JP5904026B2 (ja) 2016-04-13

Family

ID=47137502

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012135959A Active JP5904026B2 (ja) 2012-06-15 2012-06-15 照明制御システム

Country Status (4)

Country Link
US (1) US20130335574A1 (ja)
EP (1) EP2699062A2 (ja)
JP (1) JP5904026B2 (ja)
CN (1) CN103517507B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103781232A (zh) * 2012-10-26 2014-05-07 富泰华工业(深圳)有限公司 Led灯照明控制系统及方法
US9918009B2 (en) * 2015-08-03 2018-03-13 GE Lighting Solutions, LLC Method and system for imaging in a luminaire
DE102015116572A1 (de) * 2015-09-30 2017-03-30 Claas Selbstfahrende Erntemaschinen Gmbh Verfahren zum Erkennen von Störungen einer Erntegutbergungsanordnung
US20180324385A1 (en) * 2016-01-22 2018-11-08 Mitsubishi Electric Corporation Storage device, control device, display device, and storage method
BR112021004108A2 (pt) * 2018-09-07 2021-05-25 Controle De Donnees Metropolis Inc. câmera para poste de iluminação pública

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000064175A1 (fr) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Dispositif de traitement d'images et systeme de surveillance
JP2011081982A (ja) * 2009-10-06 2011-04-21 Toshiba Corp 照明制御装置及び方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040119822A1 (en) * 2002-12-20 2004-06-24 Custer Robert J. Multiple camera system on single monitor display
US8143811B2 (en) * 2008-06-25 2012-03-27 Lumetric, Inc. Lighting control system and method
US8896699B2 (en) * 2010-07-14 2014-11-25 Mitsubishi Electric Corporation Image synthesis device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000064175A1 (fr) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Dispositif de traitement d'images et systeme de surveillance
JP2011081982A (ja) * 2009-10-06 2011-04-21 Toshiba Corp 照明制御装置及び方法

Also Published As

Publication number Publication date
CN103517507A (zh) 2014-01-15
US20130335574A1 (en) 2013-12-19
EP2699062A2 (en) 2014-02-19
CN103517507B (zh) 2017-07-14
JP5904026B2 (ja) 2016-04-13

Similar Documents

Publication Publication Date Title
JP5904026B2 (ja) 照明制御システム
JP5620707B2 (ja) 照明システム
US9295141B2 (en) Identification device, method and computer program product
WO2013136822A1 (ja) 情報処理装置、画像センサ装置及びプログラム
US9568811B2 (en) Projector and projection image control method
TW200838357A (en) Method and system for detecting effect of lighting device
US20140015417A1 (en) Lighting control system
JP6520269B2 (ja) 画像センサ、照明システム
JP7010209B2 (ja) 画像処理装置および方法
US20170135185A1 (en) Central Unit of a Bus System, Bus System and Method for Locating Bus Subscribers
JPWO2016031359A1 (ja) 制御装置、制御方法、及びプログラム
GB2418482A (en) Method for locating luminaires using optical feedback
US9414467B2 (en) Method for addressing light fixtures, light fixture for lighting and system for lighting a room
KR100936506B1 (ko) 웨이퍼 위치 오차 인식 시스템 및 이의 웨이퍼 위치 오차 인식방법
JP2022090130A (ja) 位置算出システム、位置算出装置、位置算出方法及びプログラム
US20170102784A1 (en) Display system, projector, and control method for display system
US20190273859A1 (en) Image capture system and capture process adjusting method thereof
EP2680674B1 (en) Lighting System
JP6693590B2 (ja) 画像センサ、照明システム
JP2017098268A (ja) 同定装置
WO2023074270A1 (ja) 登録方法、プログラム及び登録システム
JP2022056077A (ja) 照明装置および照明システム
JP2018101893A (ja) 画像投映システムおよび光学式投映装置
JP2023050520A (ja) 照明装置および照明システム
JP2023043406A (ja) 照明コントローラ、照明システム及び制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150302

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160229

R151 Written notification of patent or utility model registration

Ref document number: 5904026

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151