JP2013091949A - 機器管理用装置およびプログラム - Google Patents
機器管理用装置およびプログラム Download PDFInfo
- Publication number
- JP2013091949A JP2013091949A JP2011233768A JP2011233768A JP2013091949A JP 2013091949 A JP2013091949 A JP 2013091949A JP 2011233768 A JP2011233768 A JP 2011233768A JP 2011233768 A JP2011233768 A JP 2011233768A JP 2013091949 A JP2013091949 A JP 2013091949A
- Authority
- JP
- Japan
- Prior art keywords
- person
- absence
- face
- target area
- management
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
- F24F11/00—Control or safety arrangements
- F24F11/30—Control or safety arrangements for purposes related to the operation of the system, e.g. for safety or monitoring
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
- F24F11/00—Control or safety arrangements
- F24F11/50—Control or safety arrangements characterised by user interfaces or communication
- F24F11/56—Remote control
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
- F24F11/00—Control or safety arrangements
- F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
- F24F11/63—Electronic processing
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
- F24F2120/00—Control inputs relating to users or occupants
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
- F24F2120/00—Control inputs relating to users or occupants
- F24F2120/10—Occupancy
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/22—Status alarms responsive to presence or absence of persons
Landscapes
- Engineering & Computer Science (AREA)
- Combustion & Propulsion (AREA)
- General Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Chemical & Material Sciences (AREA)
- Signal Processing (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Lock And Its Accessories (AREA)
- Time Recorders, Dirve Recorders, Access Control (AREA)
- Alarm Systems (AREA)
- Circuit Arrangement For Electric Light Sources In General (AREA)
Abstract
【課題】制御対象を、状況に応じかつより容易な態様で制御することができる機器管理用装置およびプログラムを提供する。
【解決手段】個人認証システム20では、カメラ31等から入力される画像に基づいて、特定の時間ごとに機器管理用処理を実行する。機器管理用処理では、一定の回数以上連続して上記カメラからの画像において人の顔が検出されることを条件として、管理対象領域に人が存在したことが検出される。そして、個人認証システム20は、人が存在/不在の検出結果に応じて、電気機器群40の機器の動作を制御する。
【選択図】図1
【解決手段】個人認証システム20では、カメラ31等から入力される画像に基づいて、特定の時間ごとに機器管理用処理を実行する。機器管理用処理では、一定の回数以上連続して上記カメラからの画像において人の顔が検出されることを条件として、管理対象領域に人が存在したことが検出される。そして、個人認証システム20は、人が存在/不在の検出結果に応じて、電気機器群40の機器の動作を制御する。
【選択図】図1
Description
本発明は、機器管理用装置およびプログラムに関し、特に、電気機器の動作を制御するための機器管理用装置およびプログラムに関する。
従来から、個人認証システムにおいて、居室内に設けられたカメラが撮影した画像に基づいて顔認識を行ない、そして、当該認識の結果に基づいて個人認証を行なうものがあった。
たとえば、特許文献1(特開2010−249454号公報)に記載の技術によれば、居室への入退室が、利用者が携帯するIDカードによって管理され、その結果(たとえば利用者を特定する情報と入退室時刻)が管理サーバへ送信される。そして、管理サーバは、居室への入退室情報および個人データを読み出して、居室内の環境を推定し、居室の温調等の制御内容を決定する。また、カメラによって撮影される画像に基づいて個人認証をするとともに、着衣量なども検出し、空調装置の運行計画の補正等が行なわれる。
また、特許文献2(特開2007−158421号公報)には、カメラによって撮影された画像に基づいて顔認識を行ない、要注意人物が検出された場合には、ガードマンが携帯する端末にその旨の情報が送信される技術が開示されている。
しかしながら、特許文献1に開示された技術では、上記した制御内容の決定は、運行計画の作成処理として、たとえば朝6時等の一定の時刻にのみ実行される。このような技術によれば、カメラ等によって検出される内容が時々刻々と変化しても、機器の制御内容にそのような変化を反映させることは難しい。
また、特許文献2に開示された技術を引用文献1に開示されたような機器の制御内容の決定に応用した場合、瞬間ごとに変化する検出内容に応じて制御内容が決定され、制御の切り替えが頻繁に(たとえば、コンマ秒単位)行なわれることとなり、ユーザが不快に感じてしまう可能性が生じる。
本発明は、かかる実情に鑑み考え出されたものであり、その目的は、制御対象を、状況に応じかつより容易な態様で制御することができる機器管理用装置およびプログラムを提供することである。
本発明に従った機器管理用装置は、管理対象エリアにおいて一定の期間以上の人の存在または不在を検出するための検出手段と、検出手段の検出結果に基づいて、管理対象エリアに対して動作する機器の制御内容を決定するための決定手段と、決定手段によって決定された制御内容を実現するための信号を、機器を制御する装置に送信するための送信手段とを備える。
好ましくは、管理対象エリアにおける人の存在または不在を検出するための情報を取得するための取得手段をさらに備え、検出手段は、取得手段によって取得された情報が、所定の回数または所定の時間、連続して人の存在を示すものであった場合に、管理対象エリアにおける人の存在を検出し、取得手段によって取得された情報が、所定の回数または所定の時間、連続して人の不在を示すものであった場合に、管理対象エリアにおける人の不在を検出する。
好ましくは、検出手段は、管理対象エリアにおいて存在する人を特定し、決定手段は、検出手段によって特定された人に応じて、機器の制御内容を決定する。
本発明に従った機器管理用のプログラムは、管理対象エリアに対して動作する機器を制御する装置に信号を送信するコンピュータにおいて実行される、機器管理用のプログラムであって、コンピュータに、管理対象エリアにおいて一定の期間以上の人の存在または不在を検出するステップと、人の存在または不在についての検出の結果に基づいて、機器の制御内容を決定するステップと、決定された機器の制御内容を、機器を制御する装置に送信するためのステップとを実行させる。
本発明によれば、管理対象エリアにおいて一定の期間以上の人の存在または不在が検出されたことに応じて、管理対象エリアに対して動作する機器の制御内容が決定される。
これにより、人の存在または不在についての検出結果においてノイズが生じた場合でも、当該ノイズによって機器の制御内容が頻繁に更新される事態を回避できる。
したがって、機器を、状況に応じ、かつ、容易な態様で、制御することができる。
以下、本発明の照明装置の実施の形態について、図面を参照して説明する。なお、以下の説明において、同一の機能および作用を有する要素については、同じ符号を付し、重複する説明を繰返さない。
[第1の実施の形態]
<システムの構成>
図1は、本発明の第1の実施の形態にかかる機器管理用装置を含む、電気機器の動作を制御するための機器管理システム1の構成を説明するための図である。機器管理システム1は、たとえばHEMS(Home Energy Management System)によって実現される。
<システムの構成>
図1は、本発明の第1の実施の形態にかかる機器管理用装置を含む、電気機器の動作を制御するための機器管理システム1の構成を説明するための図である。機器管理システム1は、たとえばHEMS(Home Energy Management System)によって実現される。
図1を参照して、機器管理システムは、ホームコントローラ10と、個人認証システム20と、電気機器群40とを備える。電気機器群40は、空気調和機(以下、適宜「エアコン」ともいう)41、テレビ42、および、照明装置43という、1以上の電気機器を含む。ホームコントローラ10は、個人認証システム20からの制御信号に応じて、電気機器群40に含まれる電気機器の動作を制御する。また、ホームコントローラ10は、電気機器群40が消費する電力を管理するための処理を実行することもでき、適宜「HEMS」と標記される場合もある。
個人認証システム20は、1以上のカメラ(図1におけるカメラ31,32)に接続されている。当該カメラは、人の存在/不在を検出するための情報を計測する装置(人感センサ)の一例である。そして、当該カメラは、上記した電気機器が動作対象となる領域(たとえば、後述する図3における「寝室」)における人の有無を検出するために、当該領域を撮影する。
また、上記のような装置としてカメラが採用される場合であっても、当該カメラの台数は、本実施の形態において例示されるものに限定されない。管理対象領域における人の有無を検出することができる台数であれば、図1に示されるような2台であっても良いし、後述する図3に示されるように1台であっても良いし、それ以上であっても良い。
そして、個人認証システム20は、上記カメラによって撮影された画像に基づいて、管理対象領域における人の存在/不在を決定し、その結果に基づいて管理対象領域に対して動作する機器(電気機器群40に含まれる電気機器を含む)の制御内容を決定し、当該制御内容を実現するための信号を、ホームコントローラ10へ送信する。ホームコントローラ10は、受信した信号に基づいて、電気機器群40に含まれる各電気機器の動作を制御する。
ここで、「管理対象領域に対して動作する」とは、管理対象領域の環境を変更するために動作することを意味する。具体的には、たとえば、管理対象領域が寝室であれば、エアコンが当該寝室の空調を行なうことや、照明装置が当該寝室の照明として機能することや、テレビが当該寝室において映像の表示等を行なうことを意味する。
なお、個人認証システム20は、管理対象領域における人の存在/不在(人の有無)を検出するための情報として、カメラが撮影した画像を用いているが、このような情報はこれに限定されない。たとえば、可視光センサや赤外線センサなどの光学センサ、超音波センサなどの情報、つまり、管理対象領域における人の有無を検出するための情報であれば、いかなる種類であっても良い。
<ホームコントローラ10のハードウェア構成>
図2は、本実施の形態の個人認証システム20のハードウェア構成を示す図である。
図2は、本実施の形態の個人認証システム20のハードウェア構成を示す図である。
図2を参照して、個人認証システム20は、入力部104と、通信インターフェイス105と、マイク107と、スピーカ108と、メモリインターフェイス109と、CPU(Central Processing Unit)110と、メモリ111と、RAM(Random Access Memory)112とを含む。
個人認証システム20は、電源ボタン等の入力デバイスからなる入力部104を含む。
なお、個人認証システム20が、後述するような個人認証の結果を表示するシステムとして構成される場合には、CPU110と通信可能なディスプレイやタッチセンサを備えていても良い。この場合、当該ディスプレイとタッチセンサにより、タッチパネルが構成される。タッチセンサは、外部からタッチ操作されることにより情報の入力を受付ける。そして、このような場合、上記した入力部104は、当該ディスプレイに表示されるソフトウェアボタンとして構成される場合が有り得る。
なお、個人認証システム20が、後述するような個人認証の結果を表示するシステムとして構成される場合には、CPU110と通信可能なディスプレイやタッチセンサを備えていても良い。この場合、当該ディスプレイとタッチセンサにより、タッチパネルが構成される。タッチセンサは、外部からタッチ操作されることにより情報の入力を受付ける。そして、このような場合、上記した入力部104は、当該ディスプレイに表示されるソフトウェアボタンとして構成される場合が有り得る。
CPU110は、メモリ111等に記憶されているプログラムを実行することにより、ホームコントローラ10の動作を制御する。RAM112は、CPU110のワークエリアとして機能する。
個人認証システム20では、CPU110は、通信インターフェイス105を介して、外部の装置と、有線または無線で、通信することができ、また、メモリインターフェイス109を介して、個人認証システム20に対して着脱可能な記憶媒体200に対する、情報の読取および/または書込をすることができる。
CPU110は、メモリ111および/または記憶媒体200に記憶されたプログラムを実行することにより、本明細書において説明される機能を実現する。
個人認証システム20において、CPU110による情報の読み込み/書き込みの対象となる記憶媒体としては、メモリ111および/または記憶媒体200が例示されている。本明細書では、これらの記憶媒体を総称して、適宜メモリ111等という。
なお、記憶媒体200としては、CD−ROM(Compact Disc - Read Only Memory)、DVD−ROM(Digital Versatile Disk - Read Only Memory)、USB(Universal Serial Bus)メモリ、メモリカード、FD(Flexible Disk)、ハードディスク、磁気テープ、カセットテープ、MO(Magnetic Optical Disc)、MD(Mini Disc)、IC(Integrated Circuit)カード(メモリカードを除く)、光カード、マスクROM、EPROM、EEPROM(Electronically Erasable Programmable Read Only Memory)などの、不揮発的にプログラムを格納する媒体が挙げられる。
本実施の形態では、個人認証システム20とホームコントローラ10とは、通信回線で接続され、互いに通信を行なう。通信回線は有線であってもよいし、赤外線通信等の無線であってもよい。
<個人認証システムの機能構成>
図1に戻って、個人認証システム20は、ネットワーク接続部21と、映像取得部22と、顔検出部23と、顔器官検出部24と、顔識別部25と、制御判断部26と、一時記録領域27と、記録領域28とを含む。
図1に戻って、個人認証システム20は、ネットワーク接続部21と、映像取得部22と、顔検出部23と、顔器官検出部24と、顔識別部25と、制御判断部26と、一時記録領域27と、記録領域28とを含む。
個人認証システム20では、映像取得部22は、ネットワーク接続部21を介して、カメラ31等からの画像信号を受信する。顔検出部23は、入力された画像信号に対して人間の顔の有無を検出する。ここでいう顔の有無の検出とは、たとえば、顔器官検出部24による目・鼻・口等のパターン認識に基づく。顔識別部25は、顔検出部23が顔であると判断した画像(の部分)から特徴を抽出することにより、当該顔と判断した画像に対応するユーザを特定する。
制御判断部26は、顔検出部23の検出結果または顔識別部25の検出結果に基づいて、電気機器群40に含まれる電気機器の制御内容を決定する。
一時記録領域27は、一時的に情報を記憶する記憶領域であり、記録領域28は、上記した検出結果と制御内容とを関連付ける情報を含む種々の情報を記憶する領域である。
顔識別部25は、一定の期間に入力される2以上の画像または生成される2以上の検出結果に基づいて、人の存在/不在を検出する。一時記録領域には、上記2以上の画像および/または2以上の検出結果が蓄積される。
個人認証システム20において、ネットワーク接続部21は、たとえば通信インターフェイス105によって実現される。
映像取得部22、顔検出部23、顔器官検出部24、顔識別部25、および、制御判断部26は、たとえばCPU110がメモリ111等に記録されたプログラムを実行することにより、実現される。なお、これらのうち少なくとも1つが、個人認証システム20に設けられた専用LSI(large-scale integration)等の専用のハードウェア資源によって実現されても良い。
一時記録領域27は、たとえばRAM112によって実現され、記録領域28は、たとえばメモリ111や記憶媒体200によって実現される。
<個人認証システムにおいて管理され得る情報>
表1に、個人認証システムにおいて管理される情報群の一例を示す。
表1に、個人認証システムにおいて管理される情報群の一例を示す。
表1に示された情報群は、カメラ情報と、顔認証情報と、顔検出情報とを含む。
カメラ情報は、管理対象領域を撮影するカメラに関する情報であり、そのようなカメラのそれぞれについてのIP(Internet Protocol)アドレス、設置場所、および、個人認証システム20との通信状態を含む。IPアドレスおよび設置場所は、予め登録された情報である。通信状態は、CPU110が通信インターフェイス105から取得される電波強度等に基づいて生成される情報であり、逐次更新される。
カメラ情報は、管理対象領域を撮影するカメラに関する情報であり、そのようなカメラのそれぞれについてのIP(Internet Protocol)アドレス、設置場所、および、個人認証システム20との通信状態を含む。IPアドレスおよび設置場所は、予め登録された情報である。通信状態は、CPU110が通信インターフェイス105から取得される電波強度等に基づいて生成される情報であり、逐次更新される。
顔認証情報は、認証された人物名、一致度、連続認証回数、および、日時を含む。認証された人物名は、顔識別部25が識別した最新の人物を特定する情報(氏名)である。個人認証システム20では、記録領域28には、予め個人を特定(識別)するための目や鼻の形や大きさなどの特徴情報が登録されている。顔識別部25は、たとえば特開2007−47931号公報等に記載されるように、カメラから入力された画像から抽出された(目、鼻、口及び輪郭といった顔の各部分についての形や大きさなどの)特徴情報と予め登録されている特徴情報とを対比することにより、抽出された特徴情報と予め登録された特徴情報の一致度を算出し、当該一致度が特定の値以上となった場合には、特徴情報を抽出した画像が登録されている人のものであると判断する。このときに判断対象となった「人」が表1中の人物名であり、このときに算出された一致度が表1中の一致度である。
顔識別部25は、たとえば、顔検出部23で人の顔の存在が検出されたときに、上記したような顔の識別を行なう。そして、上記した一致度が特定の値以上となったことを条件として、画像に含まれる顔に対して人を特定する。なお、一致度が特定の値未満の場合には、顔識別部25は、画像に含まれる顔に対する人の特定を失敗したと判断する。
表1中の連続認証回数は、顔識別部25が、表1中の人物名に挙げられた人の顔認証に連続して成功した回数である。また、表1中の日時とは、表1中の人物名に挙げられた人の顔の特定に最後に成功した日時である。
なお、このような人の特定に失敗した場合、顔識別部25は、失敗した画像の送信先であるカメラについて、それまで顔認証情報として登録されていた情報を削除する。表1では、廊下に設置されたカメラについては顔認識情報が登録されていない。これは、ある時間以上顔識別部25による人の特定がなされていないか、または、上記したように最新の顔識別部25において実行された人の特定が失敗したことを意味する。
顔検出情報は、顔検出部23による処理内容に対応した情報であり、検出サイズ、顔器官取得信頼度、連続検出回数、連続不在検出数、および、検出位置情報を含む。検出サイズは、カメラから受信した画像における、顔と想定される画像(部分)が検出されたサイズである。顔器官取得信頼度は、顔と想定される画像において、人の顔と認定するために判断対象とされた目、鼻、口などの器官について、当該器官であることの信頼度である。
連続検出回数は、後述するように特定の時間ごとに顔検出部23による検出が行なわれた際の連続して顔が検出された回数であり、後述する連続顔検出数カウンタによってカウントされる値である。連続不在検出数は、上記特定の時間ごとの顔検出部23による検出において連続して顔が検出されなかった回数であり、後述する連続不在検出カウンタによってカウントされる値である。検出位置情報は、カメラから入力される画像において顔が検出された位置(たとえば、顔と判断された部分のすべてを含む最小の矩形領域の左上の座標)である。なお、記録領域28には、各カメラが撮影する画像内の座標と、管理対象領域内の位置とを関連付ける情報(たとえば、画像内の座標を実世界の位置に変換するためのテーブル)が記憶されていることが好ましい。これにより、個人認証システム20では、顔検出部23の検出結果に基づいて、管理対象領域内の人が存在する位置の特定が可能となる。
表1に示された情報のすべてまたは少なくとも一部は、記録領域28に記憶されている。なお、通信状態、連続認証回数、連続検出回数、連続不在検出数等の、検出において逐次更新されるような値は、一時記録領域に記憶されていても良い。
表2は、制御対象となる電気機器と通信するために必要とされる情報である。
表2では、電気機器として、照明装置(照明装置43)、エアコン(空気調和機41)、および、テレビ(テレビ42)のそれぞれについての、ネットワーク上のアドレス(制御変更対象固有アドレス)と機器名を含む。
ネットワーク上のアドレスおよび機器名は、たとえば予め個人認証システム20に登録されている。
個人認証システム20では、表1に示された各カメラについての、人の有無を検出する対象となる領域と、表2に機器名を登録された電気機器のそれぞれが動作の対象とする領域とを関連付けるための情報(たとえば、テーブル)が格納されている。制御判断部26は、当該関連付けるための情報を参照することにより、顔検出部23等が人の存在(または、不在)を検出した管理対象領域について、当該領域に対応する電気機器を選択し、当該電気機器に対する制御信号を作成する。
そして、制御判断部26は、各電気機器について作成した制御信号を、電気機器と通信するための情報(表2参照)とともに、ホームコントローラ10へ送信する。これにより、ホームコントローラ10は、個人認証システム20から送信された制御信号を、各電気機器へ送信できる。なお、ホームコントローラ10において表2に示されたような各電気機器と通信するための情報が格納されている場合には、個人認証システム20からホームコントローラ10へは、制御信号と電気機器を特定する情報のみが送信されれば良い。
<機器管理システムの具体例>
図3は、本実施の形態における機器管理システム1の具体的構成の一例を示す図である。
図3は、本実施の形態における機器管理システム1の具体的構成の一例を示す図である。
本実施の形態における機器管理システム1が管理対象とする電気機器の例として、図3に示されるような、寝室に設置された空気調和機41、テレビ42、および、照明装置43が挙げられる。
図3に示された例では、カメラ31が上記寝室内を撮影し、その画像を個人認証システム20へ送信する。個人認証システム20は、当該画像を解析することにより当該寝室における人の有無を検出する。そして、当該検出の結果に基づいて、電気機器の制御内容を決定し、当該制御内容を実現するための信号(たとえば、電気機器の動作内容を具体的に特定する信号)をホームコントローラ10へ送信する。
ホームコントローラ10は、個人認証システム20から受信した信号の内容に従って、電気機器群40に含まれる電気機器を制御する。ホームコントローラ10は、各電気機器と、通信回線を介して接続されている。当該通信回線は、有線であってもよいし、赤外線通信等の無線であってもよい。また、通信は、電力線を利用した通信(power line communication)によって実現される場合も有り得る。
<機器管理用処理>
図4は、個人認証システム20において実行される機器管理用処理のフローチャートである。以下、図4を参照して、個人認証システム20における、電気機器の制御処理内容の決定態様を説明する。
図4は、個人認証システム20において実行される機器管理用処理のフローチャートである。以下、図4を参照して、個人認証システム20における、電気機器の制御処理内容の決定態様を説明する。
図4を参照して、ステップSA10では、映像取得部22は、ネットワーク接続部21を介してカメラ31に通信し、そして、ステップSA20で、当該カメラ31が撮影した画像(映像)を取得し、顔検出部23へ送信して、ステップSA30へ処理を進める。
ステップSA30では、顔検出部23は、入力された画像に人の顔が含まれているか否かを判断し、含まれていると判断するとステップSA40へ処理を進め、含まれていないと判断するとステップSA70へ処理を進める。
ステップSA70では、顔検出部23は、連続顔検出数カウンタのカウント値をリセットして、ステップSA80へ処理を進める。また、ステップSA80では、連続不在検出数カウンタのカウント値を1カウントアップして、ステップSA90へ処理を進める。なお、図4を参照して説明される機器管理用処理では、連続顔検出数カウンタと連続不在検出数カウンタが利用される。ステップSA80では、前者のカウンタのカウント値がリセットされ、ステップSA90では、後者のカウンタのカウント値が1加算更新される。
一方、ステップSA40では、顔検出部23は、連続してカメラ31の画像から人の顔が検出された回数が所定の回数以上であるか否かを判断し、そうであると判断するとステップSA50へ処理を進め、そうではない、つまり、所定の回数未満であると判断するとステップSA60へ処理を進める。なお、顔検出部23は、回数が所定の回数以上であるか否かを判断した回数が上記した一定の回数以上であったと判断した場合、連続して検出された回数が所定の数以上となった旨の情報を制御判断部26へ送信する。
ステップSA40における判断は、たとえば連続顔検出数カウンタのカウント値が一定の値以上であるか否かを判断することにより、実現される。上記カウント値が一定の値以上であれば、上記回数が一定の回数以上であると判断される。また、上記カウント値が一定の値未満であれば、上記回数が一定の回数未満であると判断される。
ステップSA60では、顔検出部23は、連続顔検出数カウンタのカウント値を1カウントアップして、ステップSA90へ処理を進める。
一方、ステップSA50では、制御判断部26は、電気機器群40に含まれる電気機器について、上記した寝室に人が居るときに対応した制御内容を実現するための制御信号を作成して、ステップSA90へ処理を進める。なお、電気機器が空気調和機41である場合には、当該空気調和機41に空調動作を実行させるための制御信号が生成される。テレビ42であれば、当該テレビ42をONさせるための制御信号が生成される。また、電気機器が空気調和機41である場合には、当該空気調和機41に空調動作を実行させるための制御信号が生成される。また、電気機器がテレビ42であれば、当該テレビ42をONさせるための制御信号が生成される。また、電気機器が照明装置43である場合には、当該照明装置43を一定時間ONさせた後OFFさせるような制御信号が生成される。なお、ステップSA50では、複数の電気機器についての制御信号が生成される場合が有り得る。
ステップSA90では、制御判断部26は、ステップSA50で作成した制御信号をホームコントローラ10へ送信して、処理を終了させる。これにより、ホームコントローラ10は、受信した制御信号を各家電機器に送信する。これに応じて、ホームコントローラ10は、各電気機器に対して、個人認証システム20から送信された制御信号を送信する。これにより、各電気機器は、個人認証システム20において作成された制御信号に従って、動作する。たとえば、照明装置43を一定時間ONさせた後OFFさせるような制御信号が作成された場合には、照明装置43は、ホームコントローラ10から制御信号を送信(転送)されることにより、一定時間ONした後、自動的にOFFする。
本実施の形態では、図4を参照して説明された機器管理用処理は、たとえば特定の時間ごとに実行される。そして、特定の時間ごとに実行される機器管理用処理において、連続して一定の回数以上、カメラ31から入力された画像において人の顔が検出された場合には、管理対象領域に人が存在すると判断する。そして、人が存在する場合に対応した電気機器の制御信号を送信して、ホームコントローラ10へ送信する。これに応じて、電気機器は、当該制御信号に従って制御される。
本実施の形態では、特定の時間ごとに実行される機器管理用処理において、一定の回数以上連続して人の顔が検出されることにより、一定の期間以上人の存在が検出されたことに対応する。特定の時間とはたとえば0.5秒程度であり、一定の回数とはたとえば10回とすることができる。このような場合には、一定の時間以上、つまり、5秒間以上、管理対象領域において人の存在が検出されたときに初めて、管理対象領域において人が存在しているときに適すると考えられる電気機器の制御信号がホームコントローラ10を介して電気機器へ送信される。
なお、本実施の形態では、一定の回数以上連続して、つまり、一定の時間以上連続して、人の不在が検出された場合の各電気機器についての制御信号が作成され、各電気機器の制御に利用されても良い。
以上説明した本実施の形態では、管理対象領域に人が存在することが検出された場合、一時的に人の存在が検出されたことだけでなく、一定の期間以上の人の存在が検出されたことを条件として、電気機器の制御内容が決定される。これにより、一時的な人の検出が、実際の人の存在によるものではなくノイズによるものであった場合に、当該ノイズに従って電気機器の制御信号が作成されることを回避できる。
[第2の実施の形態]
<システムの概要>
本実施の形態における機器管理システム1の個人認証システム20のハードウェア構成および機能構成は、第1の実施の形態と同様のものとすることができる。
<システムの概要>
本実施の形態における機器管理システム1の個人認証システム20のハードウェア構成および機能構成は、第1の実施の形態と同様のものとすることができる。
図5は、本発明の第2の実施の形態における機器管理システム1の個人認証システム20において実行される機器管理用処理のフローチャートである。本実施の形態においても、機器管理用処理は、特定の時間ごとに実行され得る。なお、図6は、本実施の形態における機器管理システム1の具体的構成の一例を示す図である。本実施の形態では、図3を参照して説明された状況の代わりに、図6を参照して説明される状況において実現されることが意図される。
本実施の形態では、特に図6に示されるように、廊下に設置したカメラ(図示略)での運用例を示すものであり、エリアA1〜A3のそれぞれについて、カメラから取得された画像に対する顔の検出を行なう。そして、機器管理システム1では、エリアA1,A2,A3の各エリアについての顔の有無の検出結果に基づいて、それぞれのエリアの照明となる照明装置43A,43B,43Cの動作が制御される。詳細には、エリアA1についての顔の有無の検出結果に基づいて、当該エリアの照明となる照明装置43Aの動作が制御される。エリアA2についての顔の有無の検出結果に基づいて、当該エリアの照明となる照明装置43Bの動作が制御される。エリアA3についての顔の有無の検出結果に基づいて、当該エリアの照明となる照明装置43Cの動作が制御される。なお、各照明装置は、対応するエリアに一定の期間以上人が存在したことが検出されるとONされ、対応するエリアに一定の期間以上人が不在であることが検出されるとOFFされる。
<機器管理用処理>
図5を参照して、ステップSB10では、映像取得部22は、ネットワーク接続部21を介してカメラ31に通信し、そして、ステップSB20で、当該カメラ31が撮影した画像(映像)を取得し、顔検出部23へ送信して、ステップSB30へ処理を進める。
図5を参照して、ステップSB10では、映像取得部22は、ネットワーク接続部21を介してカメラ31に通信し、そして、ステップSB20で、当該カメラ31が撮影した画像(映像)を取得し、顔検出部23へ送信して、ステップSB30へ処理を進める。
ステップSB30では、顔検出部23は、入力された画像に人の顔が含まれているか否かを判断し、含まれていると判断するとステップSB40へ処理を進め、含まれていないと判断するとステップSB70へ処理を進める。
ステップSB70では、顔検出部23は、連続不在検出数が所定の値以上であるか否かを判断し、所定の値以上であると判断するとステップSB80へ処理を進め、所定の値未満であると判断するとステップSB90へ処理を進める。
一方、ステップSB40では、顔検出部23は、顔が検出された位置を特定して、ステップSB50へ処理を進める。なお、ここでの「位置」とは、画像中の位置であっても良いし、画像中の位置に対応した実世界の位置であっても良い。
ステップSB50では、顔検出部23は、ステップSB40で特定した位置が、エリア(管理対象領域)内であるか否かを判断する。そして、エリア(管理対象領域)内であると判断するとステップSB60へ処理を進め、当該エリア外であると判断するとステップSB70へ処理を進める。
ステップSB60では、制御判断部26は、当該エリアに対応する照明装置についての制御信号を生成して、ステップSB100へ処理を進める。具体的には、たとえば、図6のエリアA2内で人の顔が検出された場合には、制御判断部26は、当該エリアA2に対応する照明装置(具体的には、照明装置43B)について、点灯させるための制御信号を作成する。
ステップSB70では、顔検出部23は、連続不在検出数が所定の値以上であるか否かを判断し、所定の値以上であると判断するとステップSB80へ処理を進め、所定の値未満であると判断するとステップSB90へ処理を進める。
ステップSB90では、顔検出部23は、連続不在検出数カウンタのカウント値を1カウントアップして、ステップSB100へ処理を進める。
一方、ステップSB80では、制御判断部26は、処理対象となっているカメラの管理対象領域に対応する照明装置を消灯させるための制御信号を作成して、ステップSB100へ処理を進める。
ステップSB100では、制御判断部26は、ホームコントローラ10に対して、ステップSB60またはステップSB80で作成した制御信号を送信して、機器管理用処理を終了させる。
以上説明した本実施の形態の機器管理用処理によれば、図6においてエリアA1〜A3のように示した各エリアにおいて、人の存在が検出されると当該エリアに対応する照明装置を点灯させるための制御信号が作成されて、ホームコントローラ10を介して当該照明装置に送信される。一方、各エリアにおいて、人の不在が一定の時間以上検出されると(ステップSB70でYES判断時)、当該エリアに対応する照明装置を消灯するための制御信号が作成されて、ホームコントローラ10を介して当該照明装置に送信される。
これにより、人が或るエリアに入ったときには、すぐに当該エリアに対応した照明装置が点灯する。一方、人が或るエリアから出たときには、当該エリアから出た状態が一定の時間経過したことを条件として、当該エリアに対応する照明装置が消灯する。
[第3の実施の形態]
<システムの概要>
本実施の形態における機器管理システム1の個人認証システム20のハードウェア構成および機能構成は、第1の実施の形態と同様のものとすることができる。
<システムの概要>
本実施の形態における機器管理システム1の個人認証システム20のハードウェア構成および機能構成は、第1の実施の形態と同様のものとすることができる。
本実施の形態では、機器管理システム1は、書斎にて、入室者の存在の有無を検出し、さらに、入室者を特定する。そして、特定した入室者に応じて、電気機器を制御する信号の内容を決定する。なお、本実施の形態では、図3と同様に、制御対象の電気機器として、空気調和機41、テレビ42、および、照明装置43が含まれることが意図される。ただし、このような構成は一例であって、制御対象とされる電気機器はこれらに限定されるものではない。
<機器管理用処理>
図7を参照して、ステップSC10では、映像取得部22は、ネットワーク接続部21を介してカメラ31に通信し、そして、ステップSC20で、当該カメラ31が撮影した画像(映像)を取得し、顔検出部23へ送信して、ステップSC30へ処理を進める。
図7を参照して、ステップSC10では、映像取得部22は、ネットワーク接続部21を介してカメラ31に通信し、そして、ステップSC20で、当該カメラ31が撮影した画像(映像)を取得し、顔検出部23へ送信して、ステップSC30へ処理を進める。
ステップSC30では、顔検出部23は、入力された画像に人の顔が含まれているか否かを判断し、含まれていると判断するとステップSC40へ処理を進め、含まれていないと判断するとステップSC90へ処理を進める。
ステップSC90では、顔検出部23は、連続不在検出数が所定の値以上であるか否かを判断し、所定の値以上であると判断するとステップSC100へ処理を進め、所定の値未満であると判断するとステップSC110へ処理を進める。
一方、ステップSC40では、顔検出部23は、顔が検出された位置を特定して、ステップSC50へ処理を進める。なお、ここでの「位置」とは、画像中の位置であっても良いし、画像中の位置に対応した実世界の位置であっても良い。
ステップSC50では、顔検出部23は、ステップSC40で特定した位置が、エリア(管理対象領域)内であるか否かを判断する。そして、エリア(管理対象領域)内であると判断するとステップSC60へ処理を進め、当該エリア外であると判断するとステップSC90へ処理を進める。
ステップSC60では、顔識別部25は、ステップS30で検出した顔について、人の特定に成功したか否かを判断し、できたと判断するとステップSC70へ処理を進め、できなかったと判断するとステップSC120へ処理を進める。
ステップSC70では、顔識別部25は、ステップSC60で特定が成功したと判断された人について、表1を参照して説明した連続認証回数が予め定められた閾値以上となったか否かを判断し、閾値以上となった場合にはステップSC80へ処理を進め、閾値未満であると判断するとそのまま機器管理用処理を終了させる。
ステップSC80では、制御判断部26は、管理対象領域に対応する電気機器についての、特定(認証)された人に関連付けられた制御信号を生成して、ステップSC80へ処理を進める。
たとえば、書斎において、人ごとにエアコンの設定温度が異なる場合が考えられる。つまり、ステップSC60で「Aさん」が特定され、ステップSC70で当該「Aさん」についての連続認証回数が上記した閾値以上であると判断された場合には、制御判断部26は、ステップSC80において、当該「Aさん」に関連付けられた設定温度で空気調和機41を動作させるための制御信号を作成する。なお、特定された人と制御内容とを関連付ける情報(たとえば、空気調和機41の設定温度)は、たとえば記録領域28に記憶されている。制御判断部26は、当該情報に基づいて、ステップSC80で作成する制御信号の内容を決定する。なお、制御信号の内容としては、照明装置43の照度や、テレビ42の選局、照明装置43の消灯時刻などであってもよい。
一方、ステップSC90では、顔検出部23は、連続不在検出数が所定の値以上であるか否かを判断し、所定の値以上であると判断するとステップSC100へ処理を進め、所定の値未満であると判断するとステップSC110へ処理を進める。
ステップSC110では、顔検出部23は、連続不在検出数カウンタのカウント値を1カウントアップして、ステップSC120へ処理を進める。
また、ステップSC100では、制御判断部26は、管理対象領域について標準時の制御内容を実現するための制御信号を作成して、ステップSC120へ処理を進める。
ステップSC100では、制御判断部26は、ホームコントローラ10に対して、ステップSC80またはステップSC100で作成した制御信号を送信して、機器管理用処理を終了させる。
以上説明した本実施の形態の機器管理用処理によれば、管理対象領域である書斎に特定の人が存在することが検出された場合には(ステップSC70でYES判断時)、当該特定の人に応じた制御内容が実現されるように、管理対象領域に対して動作する電気機器の制御信号が生成される(ステップSC80)。なお、本実施の形態では、カメラから受信した画像のうち書斎に対応する部分において、特定の人を、上記した閾値以上連続して特定(認証)できたことを条件として、書斎に特定の人が存在することが検出される。画像に対する人の特定は、ステップSC50において管理対象領域に人が存在すると判断されたことを条件として、実行される。
一方、本実施の形態の機器管理用処理によれば、管理対象領域である書斎において一定の期間以上人が不在であると判断された場合には、管理対象領域に対して動作する電気機器に標準時の動作をさせるための制御信号が生成される(ステップSC100)。
[その他の変形例等]
以上説明した各実施の形態では、人感センサの一例としてカメラが採用された。なお、上記のとおり、本発明において、人感センサはカメラに限定されない。また、図6等を参照して説明したように、本発明では、複数の管理対象領域を想定し、管理対象領域ごとに人の存在/不在を検出し、当該検出結果に応じて、電気機器の制御が行なわれることも意図される。ここで、1つの人感センサによって複数の管理対象領域についての測定がなされ、測定結果が管理対象領域に分割されても良いし、また、複数の人感センサによって1つの管理対象領域についての測定がなされても良い。
以上説明した各実施の形態では、人感センサの一例としてカメラが採用された。なお、上記のとおり、本発明において、人感センサはカメラに限定されない。また、図6等を参照して説明したように、本発明では、複数の管理対象領域を想定し、管理対象領域ごとに人の存在/不在を検出し、当該検出結果に応じて、電気機器の制御が行なわれることも意図される。ここで、1つの人感センサによって複数の管理対象領域についての測定がなされ、測定結果が管理対象領域に分割されても良いし、また、複数の人感センサによって1つの管理対象領域についての測定がなされても良い。
今回開示された各実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。また、各実施の形態およびその変形例に記載の発明は、単独で、または、可能な限り組合わされて、実施されることが意図される。
1 機器管理システム、10 ホームコントローラ、20 個人認証システム、21 ネットワーク接続部、22 映像取得部、23 顔検出部、24 顔器官検出部、25 顔識別部、26 制御判断部、27 一時記録領域、28 記録領域、31,32 カメラ、40 電気機器群、41 空気調和機、42 テレビ、43 照明装置。
本発明に従った機器管理用装置は、管理対象エリアにおいて一定の期間以上の人の存在または不在を検出するための検出手段と、検出手段の検出結果に基づいて、管理対象エリアの照明装置の制御内容を決定するための決定手段と、決定手段によって決定された制御内容を実現するための信号を、照明装置を制御する装置に送信するための送信手段とを備える。
好ましくは、検出手段は、管理対象エリアにおいて存在する人を特定し、決定手段は、検出手段によって特定された人に応じて、照明装置の制御内容を決定する。
本発明に従った機器管理用のプログラムは、管理対象エリアの照明装置を制御する装置に信号を送信するコンピュータにおいて実行される、機器管理用のプログラムであって、コンピュータに、管理対象エリアにおいて一定の期間以上の人の存在または不在を検出するステップと、人の存在または不在についての検出の結果に基づいて、照明装置の制御内容を決定するステップと、決定された照明装置の制御内容を、照明装置を制御する装置に送信するためのステップとを実行させる。
Claims (4)
- 管理対象エリアにおいて一定の期間以上の人の存在または不在を検出するための検出手段と、
前記検出手段の検出結果に基づいて、前記管理対象エリアに対して動作する機器の制御内容を決定するための決定手段と、
前記決定手段によって決定された制御内容を実現するための信号を、前記機器を制御する装置に送信するための送信手段とを備える、機器管理用装置。 - 前記管理対象エリアにおける人の存在または不在を検出するための情報を取得するための取得手段をさらに備え、
前記検出手段は、
前記取得手段によって取得された情報が、所定の回数または所定の時間、連続して人の存在を示すものであった場合に、前記管理対象エリアにおける人の存在を検出し、
前記取得手段によって取得された情報が、所定の回数または所定の時間、連続して人の不在を示すものであった場合に、前記管理対象エリアにおける人の不在を検出する、請求項1に記載の機器管理用装置。 - 前記検出手段は、前記管理対象エリアにおいて存在する人を特定し、
前記決定手段は、前記検出手段によって特定された人に応じて、前記機器の制御内容を決定する、請求項1または請求項2に記載の機器管理用装置。 - 管理対象エリアに対して動作する機器を制御する装置に信号を送信するコンピュータにおいて実行される、機器管理用のプログラムであって、
前記コンピュータに、
前記管理対象エリアにおいて一定の期間以上の人の存在または不在を検出するステップと、
前記人の存在または不在についての検出の結果に基づいて、前記機器の制御内容を決定するステップと、
決定された前記機器の制御内容を、前記機器を制御する装置に送信するためのステップとを実行させる、プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011233768A JP2013091949A (ja) | 2011-10-25 | 2011-10-25 | 機器管理用装置およびプログラム |
PCT/JP2012/077479 WO2013062007A1 (ja) | 2011-10-25 | 2012-10-24 | 機器管理用装置および機器の管理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011233768A JP2013091949A (ja) | 2011-10-25 | 2011-10-25 | 機器管理用装置およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013091949A true JP2013091949A (ja) | 2013-05-16 |
Family
ID=48167834
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011233768A Pending JP2013091949A (ja) | 2011-10-25 | 2011-10-25 | 機器管理用装置およびプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2013091949A (ja) |
WO (1) | WO2013062007A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016181427A (ja) * | 2015-03-24 | 2016-10-13 | 三菱電機株式会社 | 加熱調理器およびhems |
CN106524387A (zh) * | 2015-09-09 | 2017-03-22 | 广东美的制冷设备有限公司 | 一种根据身体部位产生空气调节规则的方法和系统 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107801421A (zh) * | 2016-06-30 | 2018-03-13 | 三菱电机信息系统株式会社 | 人数推测装置、人数推测程序以及通过数推测装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003102072A (ja) * | 2001-09-20 | 2003-04-04 | Toshiba Corp | 人物照合機器制御システム及び人物照合機器制御方法 |
JP2006351227A (ja) * | 2005-06-13 | 2006-12-28 | Matsushita Electric Works Ltd | 人感センサおよびそれを用いるセンサシステム |
JP2010050664A (ja) * | 2008-08-21 | 2010-03-04 | Panasonic Corp | 家電機器制御装置及びそのプログラム |
JP2010206714A (ja) * | 2009-03-05 | 2010-09-16 | Panasonic Electric Works Co Ltd | 機器制御システム |
-
2011
- 2011-10-25 JP JP2011233768A patent/JP2013091949A/ja active Pending
-
2012
- 2012-10-24 WO PCT/JP2012/077479 patent/WO2013062007A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003102072A (ja) * | 2001-09-20 | 2003-04-04 | Toshiba Corp | 人物照合機器制御システム及び人物照合機器制御方法 |
JP2006351227A (ja) * | 2005-06-13 | 2006-12-28 | Matsushita Electric Works Ltd | 人感センサおよびそれを用いるセンサシステム |
JP2010050664A (ja) * | 2008-08-21 | 2010-03-04 | Panasonic Corp | 家電機器制御装置及びそのプログラム |
JP2010206714A (ja) * | 2009-03-05 | 2010-09-16 | Panasonic Electric Works Co Ltd | 機器制御システム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016181427A (ja) * | 2015-03-24 | 2016-10-13 | 三菱電機株式会社 | 加熱調理器およびhems |
CN106524387A (zh) * | 2015-09-09 | 2017-03-22 | 广东美的制冷设备有限公司 | 一种根据身体部位产生空气调节规则的方法和系统 |
CN106524387B (zh) * | 2015-09-09 | 2019-03-15 | 广东美的制冷设备有限公司 | 一种根据身体部位产生空气调节规则的方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
WO2013062007A1 (ja) | 2013-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10225492B1 (en) | User interfaces to configure a thermal imaging system | |
CN110535732B (zh) | 一种设备控制方法、装置、电子设备及存储介质 | |
US10446007B2 (en) | Watching system and management server | |
JP6730236B2 (ja) | 人識別システム及び人識別方法 | |
JP2015095164A (ja) | ジェスチャ認識装置およびジェスチャ認識装置の制御方法 | |
WO2019130674A1 (ja) | 介護施設用行動異常検知装置、該方法および該システム | |
JPWO2017209094A1 (ja) | 見守りシステム | |
WO2013062007A1 (ja) | 機器管理用装置および機器の管理方法 | |
JP2014139745A (ja) | 機器管理システム、機器管理装置、機器管理方法及びプログラム | |
JP2010114544A (ja) | インターホンシステム、来訪者受付プログラムおよび来訪者受付方法 | |
JP2003153868A (ja) | 個人疾患検知システム、個人疾患検知方法、媒体、及びプログラム | |
CN113485146B (zh) | 用于家电设备的控制方法及控制装置、家电设备 | |
WO2023175839A1 (ja) | 監視システム、サーバ及び監視方法 | |
US10043374B2 (en) | Method, system, and electronic device for monitoring | |
JP5579565B2 (ja) | インターホン装置 | |
Chen et al. | Using human pose estimation for user-defined indoor location sensing | |
US20040230811A1 (en) | Authentication system and method allowing for selection of a location to perform various authentication operations | |
JP2022117761A (ja) | センサシステム、画像センサ、サーバ装置、センシング方法、およびプログラム | |
JP2012205261A (ja) | ネットワークシステム、登録方法、およびコントローラ | |
US20210142051A1 (en) | Information management system | |
WO2020115791A1 (ja) | 設備機器制御装置、設備機器制御方法および学習方法 | |
JP7281740B2 (ja) | 識別システム、識別方法、及びプログラム | |
JP5059211B1 (ja) | ネットワークシステム、機器の制御方法、およびコントローラ | |
JP2012247928A (ja) | ネットワークシステム、制御方法、およびコントローラ | |
WO2023148800A1 (ja) | 制御装置、制御システム、制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130910 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140422 |