JP2014011584A - 情報処理装置およびその制御方法 - Google Patents

情報処理装置およびその制御方法 Download PDF

Info

Publication number
JP2014011584A
JP2014011584A JP2012146086A JP2012146086A JP2014011584A JP 2014011584 A JP2014011584 A JP 2014011584A JP 2012146086 A JP2012146086 A JP 2012146086A JP 2012146086 A JP2012146086 A JP 2012146086A JP 2014011584 A JP2014011584 A JP 2014011584A
Authority
JP
Japan
Prior art keywords
determination
image
passage
determination position
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012146086A
Other languages
English (en)
Other versions
JP6057562B2 (ja
JP2014011584A5 (ja
Inventor
Tetsuhiro Funashiro
哲広 船城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012146086A priority Critical patent/JP6057562B2/ja
Priority to US13/924,021 priority patent/US9536164B2/en
Publication of JP2014011584A publication Critical patent/JP2014011584A/ja
Publication of JP2014011584A5 publication Critical patent/JP2014011584A5/ja
Priority to US15/334,004 priority patent/US10410063B2/en
Application granted granted Critical
Publication of JP6057562B2 publication Critical patent/JP6057562B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19652Systems using zones in a single scene defined for different treatment, e.g. outer zone gives pre-alarm, inner zone gives alarm
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19682Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

【課題】通過検知のための条件を柔軟に設定することができる情報処理装置および制御方法を提供する。
【解決手段】画像中の物体の通過判定を行う情報処理装置は、画像中の物体の範囲を所定の形状で示す物体エリアにおける、物体の通過判定に用いる判定位置を含む設定情報を保持する。情報処理装置は、画像から検出した物体に関して物体エリアを決定し、決定した物体エリア中の設定情報が示す判定位置と、画像中に設定された線との位置関係に基づいて物体が線を通過したか否かを判定する。情報処理装置は、判定位置の更新指示を受け付けると、設定情報を更新する。
【選択図】図12

Description

本発明は、画像中の物体(オブジェクト)の通過判定処理のための情報処理装置およびその制御方法に関する。
一般に、画像解析により画像内の物体を検出することが行われていた。この技術を用い、動画像の各フレーム画像から物体を検出することで動画像上の物体追尾が行われるようになった。さらに近年ではこの物体追尾技術を応用することで、画像平面上のある領域を通過したか否かを判定する通過検知が監視カメラシステム等で行われるようになった。
例えば特許文献1では、撮影画像に映った人をセグメント化し、このセグメント化した画像領域が予め設定した境界線にオーバーラップした後に指定した方向への横断であったかを解析することで通過検知を行う技術が開示されている。
特表2005−506740号公報
上述のように、セグメント化した物体が指定した方向に横断した際は通過として検知することが可能である。しかしながら、この方法だけでは指定した境界線を物体がはみ出した場合を検知することが出来ない。また、更に、この方法では、物体が通過したとみなす条件を設定することができないため、装置が通過と判定するタイミングと、ユーザが実際に通知されたいタイミングとにずれが生じてしまう。
本発明は上記課題に鑑みてなされたものであり、通過検知のための条件を柔軟に設定することができる情報処理装置および制御方法を提供することを目的とする。
上記目的を達成するための本発明の一態様による情報処理装置は以下の構成を備える。すなわち、
画像中の物体の通過判定を行う情報処理装置であって、
画像中の物体の範囲を所定の形状で示す物体エリアにおける、前記物体の通過判定に用いる判定位置を含む設定情報を保持する保持手段と、
画像から検出した物体に関して前記物体エリアを決定する決定手段と、
前記決定手段が決定した前記物体エリア中の前記設定情報が示す判定位置と、前記画像中に設定された線との位置関係に基づいて前記物体が前記線を通過したか否かを判定する判定手段と、
前記判定位置の更新指示を受け付けて前記設定情報を更新する更新手段と、を備える。
本発明によれば、通過検知のための条件を柔軟に設定することが可能となる。
第一実施形態に係る通過判定設定システムのシステム構成例を示す図。 第一実施形態に係る撮像装置1のハードウェア構成を示す図。 第一実施形態に係る情報処理装置2のハードウェア構成例を示す図。 第一実施形態に係る撮像装置1の機能構成例を示す図。 第一実施形態に係る情報処理装置2の機能構成例を示す図。 第一実施形態に係る通過検知設定画面の一例を示す図。 第一実施形態に係る撮像装置の処理例を示すフローチャート。 第一実施形態に係る情報処理装置の処理例を示すフローチャート。 第一実施形態に係る通過検知の設定を初期設定または変更するための処理を示すフローチャート。 第二実施形態に係る情報処理装置2のハードウェア構成例を示す図。 第二実施形態に係る通過検知設定画面の一例を示す図。 代表的な判定位置の設定の一例を示す図。 第三実施形態に係る通過判定設定システムのシステム構成例を示す図。 第四実施形態に係る通過検知設定画面の一例を示す図。
以下、添付の図面を参照して、本発明の好適な実施形態について説明する。
[第一実施形態]
第一実施形態における通過判定設定システムに関して図面に基づいて説明する。図1は、第一実施形態による通過判定設定システムのシステム構成の一例を示す図である。図1において、撮像装置1は、例えばネットワークへの接続が可能なネットワークカメラである。情報処理装置2は、たとえばパーソナルコンピュータにより実現され、本実施形態の通過判定のための各種設定を行い、通過判定設定情報を生成する。表示装置3は、通過判定設定を行うために情報処理装置2が生成するグラフィカルユーザインターフェイスを表示する。4は入力装置であり、情報処理装置2で動作する通過判定設定用のアプリケーションソフトウェアをユーザが操作するために用いられる。
図2は、撮像装置1のハードウェア構成の一例を示す図である。図2に示されるように、撮像装置1は、CPU11(Central Processing Unit)、ROM12(Read Only Memory)、RAM13(Random Access Memory)、撮像部14、Net−IF15、CPUバス19を有する。撮像部14は、レンズやセンサを備え、デジタル画像信号を出力する。ROM12は、撮像制御ソフトウェアプログラムや情報を保持する。CPU11は、ROM12に格納された制御ソフトウェアプログラムを実行し、各デバイスを制御する。RAM13は、CPU11のワーク領域、エラー処理時の情報の退避領域、制御ソフトウェアプログラムのロード領域、後述の通過判定設定情報を格納する領域等を有する。また、撮像装置1は、ネットワークインタフェイス(Net−IF15)を介して情報処理装置2と有線または無線を介して通信を行うことができる。CPUバス19は、アドレスバス、情報バス及びコントロールバスを含む。CPU11がROM12に格納された制御ソフトウェアプログラムに基き処理を実行することにより、図4により後述する撮像装置1の機能の一部に係る処理が実現される。
図3は、情報処理装置2のハードウェア構成の一例を示す図である。図3に示されるように、情報処理装置2は、CPU21、HDD22、RAM23、表示制御部24、操作入力部26、ネットワークインターフェイス25(Net−IF)、CPUバス29を有する。HDD22は、情報処理制御ソフトウェアプログラムや情報を保持する。CPU21は、HDD22に格納された制御ソフトウェアプログラムを実行し、各デバイスを制御する。
表示制御部24は表示装置3に表示されるグラフィカルユーザインターフェイスの表示制御を行う。操作入力部26は入力装置4から入力信号を受信する。RAM23は、CPU21のワーク領域、エラー処理時の情報の退避領域、制御ソフトウェアプログラムのロード領域等を有する。ネットワークインターフェイス(Net−IF)25は、撮像装置1と有線または無線を介して通信を行う。CPUバス29は、アドレスバス、情報バス及びコントロールバスを含む。CPU21が制御ソフトウェアプログラムに基き処理を実行することにより、図5により後述する情報処理装置2の機能の一部に係る処理が実現される。
図4は、撮像装置1の機能構成の一例を示す図である。図4に示される各機能は、図2に示した撮像装置1のハードウェア構成により実現される。例えば、図4のレンズ101、センサ102、A/Dコンバータ103は、図2の撮像部14の構成として実現される。また、画像符号化部110などの各処理部は、CPU11がROM12に格納されたプログラムを実行することにより実現される。
図4において、センサ102は撮像素子を備え、レンズ101により結像された光学像を電気信号に変換し、センサ信号として出力する。A/Dコンバータ103は、センサ102から出力されたセンサ信号をデジタル化する。画像生成部104は、A/Dコンバータ103から出力されるデジタル信号を用いて画像を生成する。画像符号化部110は、画像生成部104で生成した画像を符号化する。物体検出部120は、画像生成部104で生成した画像(符号化前の画像)を画像解析して物体検出を行い、その画像中から検出した物体の画像特徴や、検出した物体の範囲を所定の形状で示す物体エリアを含む物体情報を出力する。なお、物体検出部120は、背景差分法により画像と背景を比較し、物体を検出するようにしてもよい。物体判定部121は、物体検出部120が出力した物体情報(画像特徴)や複数の画像間での物体の距離を元に、複数の画像中で検出された物体が同一であるか否かを判定する。
設定情報記憶部122は、例えばRAM13により構成され、判定位置決定部123や通過判定部130で使用される通過判定設定情報を保持する。通過判定設定情報には、物体エリアのうちの通過判定に用いる位置を示す判定位置情報や、通過判定に用いられる境界線を特定する情報が含まれている。判定位置決定部123は、設定情報記憶部122から読み出した通過判定設定情報(判定位置情報)、物体検出部120で検出した物体情報(物体エリア)を用いて物体が通過したと判定する物体エリア上の判定位置を画像上に存在する物体毎に決定する。また、判定位置決定部123は、物体判定部121による判定結果を用いて、同一物体の物体エリアにおける判定位置を関連付ける。通過判定部130は、判定位置決定部123で関連付けられた同一物体毎の判定位置と、設定情報記憶部122に記憶された通過判定設定情報が示す境界線との位置関係から、物体が通過したか否かを判定する。
画像情報送信部140は、画像符号化部110で符号化された画像、物体検出部120で検出された物体情報、通過判定部130による通過判定結果をNet−IF15を用いて情報処理装置2に送信する。設定情報送受信部150は、Net−IF15を用いて情報処理装置2との間で通過判定設定情報の送信、受信を行う。例えば、設定情報送受信部150は、情報処理装置2で設定、更新された通過判定設定情報を受信して設定情報記憶部122にその更新された設定を書き込んだり、設定情報記憶部122から現在の通過判定設定情報を読み出して情報処理装置2に送信したりする。
図5は、情報処理装置2の機能構成の一例を示す図である。図5に示される各部は、情報処理装置2のCPU21が、たとえばHDD22からRAM23にロードされたプログラムを実行することにより実現される。図5において、画像情報受信部201は、撮像装置1の画像情報送信部140から送信された情報をNet−IF25を介して受信する。画像復号化部202は、画像情報受信部201で受信した情報に含まれている符号化された画像(符号化画像)を復号し、表示画像生成部230へ提供する。判定結果確認部203は、画像情報受信部201で受信した情報に含まれている通過判定結果を確認し、表示画像生成部230へ提供する。物体情報確認部204は、画像情報受信部201で受信した情報に含まれている物体情報(物体エリア)を確認し、表示画像生成部230へ提供する。
操作受信部210は、操作入力部26により実現される。操作受信部210では、入力装置4からの操作入力を、操作入力部26を介して受け付ける。設定情報生成部211は、操作受信部210で受信した操作を元に通過判定のための通過判定設定情報(物体エリア中の判定位置や境界線)を生成/更新する。設定情報送受信部220は、設定情報生成部211で生成/更新された通過判定設定情報をNet−IF25を介して撮像装置1に送信したり、撮像装置1から現在の通過判定設定情報をNet−IF25を介して受信したりする。表示画像生成部230は、復号化された画像、物体情報(物体エリア)、通過判定設定情報、および通過判定結果を用いて表示装置3に表示する表示画像を生成する。表示出力部231は、表示制御部24により実現され、表示画像生成部230で生成した表示画像を表示装置3に出力する。
図6は、表示装置3に表示される通過判定設定画面の一例である。図6において、表示装置3の表示画面300には、撮像装置1で撮影された画像を表示する画像表示エリア310が表示されている。境界線320は、通過検知を行うための線であり、一般的にはトリップワイヤとも言われる。物体321は、撮影された人物、物体エリア322は検出された物体321のエリアである。物体エリアは、例えば、物体321に外接する矩形である。なお、本実施形態では物体エリアを矩形により形成したがこれに限られるものではなく、楕円など、所定の図形を適用することができる。また、そのような物体エリアの決定は周知である。メニュー330は、検出した物体エリアのうちどの位置が境界線320を通過したら通過と見なすかを設定するためのメニューである。
なお、図6では、便宜上、通過の判定を行う判定位置を点とし、設定が可能な複数の判定位置をリストにしたうえでラジオボタンにおり選択するような画面で示している。メニュー330の形態が図示のものに限られないことは言うまでもなく、判定位置の設定の他の例に関しては後ほど第二実施形態で触れることにする。また、メニュー330では、選択のための指定が可能な複数の判定位置のうちの現在選択中の判定位置が、ラジオボタンの塗りつぶしによりユーザが識別可能に明示されている(図では「中央」の判定位置が選択中の判定位置である)。なお、判定結果確認部203より提供された通過判定情報により、表示画像生成部230は、境界線320を通過したと判定された物体をユーザが識別できるように、その物体エリアの表示形態(例えば、物体エリアの枠の表示色)を変更する。
図7A,図7Bは、通過検知の設定が存在する状態での撮像から物体検出結果の表示までのシステム全体の処理フローの一例を示した図である。まず、撮像装置1の処理について図7Aを用いて説明する。
まず、設定情報送受信部150は、通過判定設定情報を設定情報記憶部122から読み出す(S1)。ここで、通過判定設定情報とは画像平面上の座標情報等により境界線320を一意に決定できる境界線情報と、境界線320を通過したか否かを判定する際に使用する物体エリア上の判定位置を示す位置設定情報を含む。なお、判定位置は、たとえば図6のメニュー330に示した判定位置から選択され、境界線320は図6に示した画像表示エリア310中で指定され得る。次に、設定情報送受信部150は、読み出した通過判定設定情報を情報処理装置2に送信する(S2)。以降、通過検知設定の変更を情報処理装置2から受信するまで、もしくは、終了指示があるまでは、以下のS3からS9までの処理が繰り返される。
レンズ101を通してセンサ102で受光した電気信号はA/Dコンバータ103でデジタル信号に変換され、その後段の画像生成部104は、デジタル信号に基づいてデジタル画像(撮影画像)を生成する(S3)。生成されたデジタル画像はコピーされ、画像符号化部110と物体検出部120に送られる。また、物体検出部120は画像解析により物体情報を検出し、画像情報送信部140は検出された物体情報を情報処理装置2に送出力する(S4)。また、画像符号化部110は、デジタル画像を例えばJPEGに代表される画像フォーマットに符号化し、画像情報送信部140はその符号化画像を情報処理装置2に送信する(S5)。なお、物体情報を情報処理装置2に送信する際に、その物体情報自体を送信しても構わないが、これに限られるものではない。たとえば、物体検出部120が画像符号化部110に物体情報を送り、符号化された画像のヘッダに物体情報を入れて送信するようにしても構わない。また、S4とS5は便宜上、連続した処理としてフローチャートに記載したが、並列処理を行うことも可能であることは明らかである。
ところで、物体情報に含まれる物体エリアとは、検出した物体を任意の形状になるように囲んだ平面上のエリアを一意に決定できる情報であれば良い。例えば検出した物体のエリアを長方形に正規化するのであれば、物体情報は、右上端の座標と左下端の座標を用いて物体エリアを表すことなどが考え得る。
図7Aに戻り、通過検知を行うには物体の時間的な連続性を考慮する必要があるため、直前に撮影した画像から検出された物体と比較する必要がある。そのため、物体判定部121は、既に物体検出を行った画像があるか否かの確認を行う(S6)。物体検出を行なった画像が存在しない場合、すなわち初期化または起動した直後である場合は、比較する物体がないため処理はS10に飛ぶ。他方、比較可能な画像がある場合、物体判定部121は、検出された物体が比較対象の画像で検出された物体と同一であるか否かを確認する(S7)。同一の物体ではなかった場合は、境界線を通過した物体とは認められないため処理はS10に飛ぶ。
同一の物体であった場合、判定位置決定部123は、前述の検知位置情報から物体毎(物体エリア毎)に通過検知のための判定位置を決定する(S8)。通過判定部130は、物体毎の判定位置と境界線情報から物体が境界線を通過したか否かの判定を行い、その判定結果を情報処理装置2に送信する(S9)。
通過判定設定の更新があるまでの間(S10でNO、S11でNOの間)、上述のS3〜S9の処理が繰り返される。例えば、情報処理装置2から更新された通過判定設定情報を受信した場合のように通過判定設定に更新が発生した場合(S10でYES)は、処理はS1まで戻り、新たな通過判定設定情報を用いた処理を行うべくS1から処理を再度開始する。また、終了が指示された場合(S11でYES)、本処理を終了する。終了の指示は、例えば、情報処理装置2から受信される。
次に情報処理装置2の処理について図7Bを参照して説明する。情報処理装置2において、画像情報受信部201は、撮像装置1からS2で送信された通過判定設定情報、S5で送信された符号化画像、S4で送信された物体情報、およびS9で送信された通過検知の判定結果を受信する(S21)。なお、S21における各情報の受信は、まとめて行われる必要はなく、情報毎に適宜受信されればよい。物体情報確認部204は、受信した物体情報から、検出された物体エリアの位置(座標)と大きさを特定する(S22)。また、画像復号化部202は、受信した符号化画像を復号する(S23)。
表示画像生成部230は、S22で特定した物体エリアとS21で受信した通過判定結果を、S23で復号化した画像に重畳した表示画像を生成し、表示出力部231を介して表示装置3に出力する(S24)。また、S21で受信した通過判定設定情報に基づいて、メニュー330の表示を生成し、表示画像の一部とする(S25)。このときの表示内容は、図6により上述したとおりである。なお、撮像装置1から受信した通過判定設定情報から取得された判定位置(現在適用されている判定位置)は、メニュー330においてラジオボタンの塗りつぶしにより表示されている。なお、メニュー330は、復号化画像に重畳して表示されてもよいし、図6に示すように復号化画像とは別のエリアに表示されてもよい。
通過検知設定の更新(例えば、図8のフローチャートにより後述する処理で設定、更新される)があるまでの間(S26でNO、S27でNOの間)、以上のS21〜S25の処理が繰り返される。メニュー330において別の判定位置が選択されたり、境界線320が移動・回転されたりして通過検知設定の更新が発生した場合(S26でYES)は、処理はS28に進む。ここで、設定情報送受信部220は、更新された通過判定設定情報を撮像装置1に送信し(S28)、処理をS21に戻す。また、ユーザインターフェイスから終了が指示された場合(S27でYES)、設定情報送受信部220が撮像装置1へ終了指示を送信し(S29)、本処理を終了する。
図8は、通過検知を初期設定する際または通過検知の設定を変更する際の処理フローの一例を示した図である。まず、設定情報送受信部220が、設定情報記憶部122に既に境界線情報(境界線320を特定する情報)が記憶されているか確認する(S31)。これは、たとえば、撮像装置1から通過判定設定情報を受信することで行える。境界線情報が未設定の場合、設定情報送受信部220は境界線情報が入力されるまで待つ(S32)。境界線情報が記憶されている場合(S31でYES)または境界線情報入力されると(S32でYES)、設定情報送受信部220は、境界線情報が新規であるか、変更されたかを確認する(S33)。そして、境界線情報が新規であるまたは変更されたと判定されると、設定情報送受信部220はその境界線情報を撮像装置1に更新指示として送信する(S34)。こうして更新された境界情報が撮像装置1の設定情報記憶部122に保存される。
次に、設定情報送受信部220は、既に通過検知の判定を行う物体エリアの判定位置を示す判定位置情報が記憶されているか確認する(S35)。判定位置情報がない場合は判定位置が入力/設定されるまでこれまでの処理を繰り返す(S35でNO、S36でNO)。他方、判定位置情報が記憶されている場合(S35でYES)や、判定位置情報が入力された場合(S36でYES)は、設定情報送受信部220は、判定位置線情報が変更されたかを確認する(S37)。判定位置線情報が変更された場合または新規の入力である場合は、設定情報送受信部220は判定位置情報を撮像装置1に更新指示として送信する(S38)。こうして、更新された判定位置が撮像装置1の設定情報記憶部122に保存される。以上の処理を終了指示(S39)があるまで繰り返す。
なお、撮像装置1では、設定情報送受信部150を介してS34、S38で送信された更新指示を受信することにより、更新の通知を検出する。更新の通知が検出されると、図7AのS10においてYESに分岐し、新たな通過判定設定情報による通過判定処理が開始されることになる。
以上のように構成することで、通過検知において境界線を通過したと判定する物体の位置をユーザが指示できるようにすることにより、所望の通過の判定条件を設定することができる。
[第二実施形態]
以下、第二実施形態における通過判定設定システムの実施形態に関して図面に基づいて説明する。なお、上記の第一実施形態に準ずる個所については、説明を割愛する。第一実施形態との主要な差異は、情報処理装置2において、境界線を通過したと判定するための、ユーザが設定した判定位置を物体エリア322に重畳して表示できるようにしたことにある。
第二実施形態による撮像装置1の機能ブロックは図4と同様である。ただし、画像情報送信部140は、判定位置決定部123が決定した物体エリア毎の判定位置情報を送信する。図9は、第二実施形態による情報処理装置2の機能構成の一例を示す図である。図9において、第一実施形態(図5)と同様の構成には同一の参照番号を付してある。
判定位置確認部940は、画像情報受信部201が撮像装置1から受信した物体エリアごとの判定位置情報を確認し、表示画像生成部230へ提供する。この判定位置確認部940を新たに加えることにより、物体情報確認部204で抽出された物体エリア毎に通過検知の判定に用いられた検知位置を表示画像生成部230で重畳表示して表示画像を生成することが可能になる。
図10は、表示装置3に表示される通過判定設定画面の一例を示す図である。第一実施形態で説明した通過判定画面(図6)と同様の表示については、図6と同一の参照番号を付している。340は、重畳表示された通過検知の判定に用いられた判定位置である。このように構成することで、ユーザは設定通りに境界線を物体が通過したことをより容易に確認することができる。また、通過検知の判定に用いられた判定位置の重畳表示においては、判定位置の表示を物体エリアの表示と異なる表示形態(例えば、異なる形状や色)とすることが好ましい。このようにすれば、ユーザは通過検知の判定に用いられた位置の表示と物体エリアとの見分けが容易につくようになり、よりユーザが認知しやすくなる。また、メニュー330では、図6で示した「中央」「左上」などの文字表現に変えて、矩形中の判定位置を図形による表現としている。このようなメニュー表示によれば、ユーザがより直感的に判定位置の選択を行えるようになる。
なお、上述した第一、第二実施形態では、物体が境界線を通過しか否かを判定するための判定位置として物体エリア内の点を用いたがこれに限られるものではない。以下、判定位置のいくつかの種類に関して触れる。
図11は、代表的な判定位置の設定である。これまで判定位置を点で説明してきたが、図のように線や面(エリア)で判定を行うことも可能であることは言うまでもない。また、これら判定位置の種類(点、線、面のいずれか)をユーザが設定できるようにしてもよいことはいまでもない。さらに、これら点、線、面による判定位置をすべてメニュー330に表示して、ユーザに所望の判定位置を選択させるようにしてもよい。
また、例えば、物体エリアとして矩形を、判定位置として点を用いる場合は、物体エリアの「重心または中心」、「左上端」、「左下端」、「右上端」、「右下端」といった設定ができる。また、例えば、物体エリアとして矩形、判定位置として線を用いる場合は、「上端」、「左端」、「右端」、「下端」、「中央縦」、「中央横」といった設定できる。また、例えば、物体エリアとして矩形、判定位置として面を用いる場合には、「左上」、「右上」、「左下」、「右下」の部分領域や全領域を示す「全体」といった設定ができる。
また、線や面で判定する場合は例えば設定された全ての位置が通過した際に通過したと判定する場合や一部でも境界線を通過した時に通過したと判定しても良い。このため、予め判定方法を決定しておくか、ユーザが設定できるようなユーザインターフェイスを別途提供してもよい。なお、判定位置を面(エリア)とした場合の物体エリア322における表示では、たとえば、物体エリア322において設定されている判定位置(エリア)を所定色かつ半透明で塗りつぶすことで、ユーザに設定されている判定位置を示すことができる。
[第三実施形態]
以下、第三実施形態における通過判定設定システムに関して図面に基いて説明する。第一実施形態および第二実施形態との主要な差異は、情報処理装置2において記録媒体等に保存された符号化画像から通過検知を実施できるようにした点である。
図12は、本システムの機能構成の一例を示す図である。図12において、第一、第二実施形態(図4、図5、図9)と同様の構成には、図4、図5、図9でしめしたのと同一の参照番号を付している。1200は通過判定設定システム本体、1201は符号化された画像を蓄積している符号化画像記憶部である。画像復号化部202は、符号化画像記憶部1201に記憶されている符号化画像を復号化し、得られた画像を物体検出部120や表示画像生成部230に提供する。物体判定部121、判定位置決定部123、通過判定部130の動作は第一実施形態で説明したとおりであるが、それぞれの処理結果は表示画像生成部230に提供される。表示画像生成部230は、図6または図10に示したようなユーザインターフェイスを表示装置3に表示する。
設定情報アクセス部1211は、設定情報記憶部122から通過判定設定情報を読み出し、判定位置情報を判定位置決定部123へ、境界線を特定する情報を通過判定部130や表示画像生成部230に供給する。
このような構成によれば、通過判定システム1200は、符号化画像記憶部1201に記憶されている符号化画像を用いて、図6や図10で説明したような表示を行うことができる。したがって、通過判定システム1200によれば、過去に蓄積した画像についても、通過判定条件の確認や変更をユーザが容易に行うことができる。なお、図12の構成において、符号化画像記憶部1201から符号化画像を読み出す代わりに、撮像装置1から出力された符号化画像を受信するようにしてもよい。この場合、撮像装置1は単に撮像画像を符号化して送信すればよく、通過判定処理を実行する機能を持たなくてもよい。
[第四実施形態]
以下、第四実施形態における通過判定システムに関して図面に基づいて説明する。なお、上記の第一実施形態または第二実施形態または第三実施形態に準ずる個所については、説明を割愛する。第一実施形態および第二実施形態および第三実施形態との主要な差異は、撮像装置1における物体が境界線を通過したか否かの判定処理、および情報処理装置2における通過判定設定において、通過方向を追加した点である。
第四実施形態による情報処理装置2の設定情報生成部211は、受信した操作を元に通過判定設定情報に通過方向を加えて生成/更新する。設定情報送受信部220は、通過方向を含む通過判定設定情報を、撮像装置1に送信して設定情報記憶部122に保存したり、撮像装置1から現在の通過判定設定情報を受信したりする。
第四実施形態による通過の検出処理フローについて図7Aを用いて差異を説明する。S1において設定情報送受信部150が読みだす通過判定設定情報は通過方向の設定を含んでいる。通過判定部130は、物体が境界線を通過したか否かの判定(S9)を次のように行う。すなわち、物体毎の、判定位置と境界線情報と通過方向の設定から、判定位置が境界線を通過しかつ判定位置の境界線に対する移動方向が通過方向の設定と合致する場合に、物体が境界線を通過したと判定する。また、それ以外の状態では物体は境界線を通過していないと判定する。その判定結果は、情報処理装置2に送信される。
第四実施形態における通過判定設定画面の一例を図13に示す。図13における図6との差異は、通過方向350を境界線320上に表示することと、通過方向の設定が境界線の始点から終点に対して両方向・右方向・左方向のいずれであるかを選択する通過方向メニュー351を含む点である。通過方向350の矢印などによる通過方向の表示は、通過方向メニュー351の選択により変化する。図13においては、境界線320は1つであるが、複数の境界線320を設定することもでき、各境界線において異なる通過方向を設定することが可能である。複数の境界線がある場合には、選択した境界線によりその境界線に設定されている通過方向が通過方向メニュー351に反映される。上述した、メニュー330を用いた判定位置の設定や変更と同様に、通過方向メニュー351を用いて、ユーザは、通過判定条件としての通過方向の選択状態の確認、通過方向の選択、設定をすることができる。
なお、上記各実施形態において、通過判定条件は、全ての物体に共通に設定されてもよいし、物体毎に個別に設定されてもよい。物体毎に通過判定条件を設定可能にする場合には、顔認識などにより個々の物体を特定して識別子を割り当て、識別子に関連付けて通過判定条件を保持しておくようにすればよい。
他の実施形態
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (13)

  1. 画像中の物体の通過判定を行う情報処理装置であって、
    画像中の物体の範囲を所定の形状で示す物体エリアにおける、前記物体の通過判定に用いる判定位置を含む設定情報を保持する保持手段と、
    画像から検出した物体に関して前記物体エリアを決定する決定手段と、
    前記決定手段が決定した前記物体エリア中の前記設定情報が示す判定位置と、前記画像中に設定された線との位置関係に基づいて前記物体が前記線を通過したか否かを判定する判定手段と、
    前記判定位置の更新指示を受け付けて前記設定情報を更新する更新手段と、を備えることを特徴とする情報処理装置。
  2. 画像中の物体の範囲を所定の形状で示す物体エリア内の判定位置と、前記画像に設定された線との位置関係に基づいて前記物体による前記線の通過を判定する通過判定手段で用いられる前記判定位置を更新する情報処理装置であって、
    前記画像中の前記通過判定手段が検出した前記物体エリアと、前記通過判定手段が前記物体エリア内の前記判定位置を特定するのに用いている判定位置情報とを取得する取得手段と、
    前記物体エリアを重畳して前記画像を表示する表示手段と、
    前記判定位置情報により示される判定位置を示し、該判定位置の変更を受け付けるユーザインターフェイスを提供する提供手段と、
    前記ユーザインターフェイスが前記判定位置の変更を受け付けると、変更された判定位置を前記通過判定手段に通知する通知手段と、を備えることを特徴とする情報処理装置。
  3. 前記ユーザインターフェイスは、判定位置として指定が可能な複数の位置を、それら複数の位置のうちの一つを前記通過判定手段で用いる判定位置としてユーザが指定できるように表示し、前記複数の位置の表示において、前記判定位置情報により示される判定位置をユーザにより識別可能に表示することを特徴とする請求項2に記載の情報処理装置。
  4. 前記ユーザインターフェイスは、前記複数の位置を文字表現により識別可能に表示することを特徴とする請求項3に記載の情報処理装置。
  5. 前記ユーザインターフェイスは、前記複数の位置を、前記所定の形状の図形を用いて表現することを特徴とする請求項3に記載の情報処理装置。
  6. 前記表示手段は、前記判定位置を表す表示を前記物体エリアの表示に重畳することを特徴とする請求項2乃至5のいずれか1項に記載の情報処理装置。
  7. 前記判定位置は前記物体エリア上の点であることを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。
  8. 前記判定位置は前記物体エリア上の線であることを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。
  9. 前記判定位置は、前記物体エリア上の部分領域または全領域であることを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。
  10. 前記通過判定手段をさらに備え、
    前記通過判定手段は、
    前記判定位置を含む設定情報を保持する保持手段と、
    画像から検出した物体に関して前記物体エリアを決定する決定手段と、
    前記決定手段が決定した前記物体エリア中の前記設定情報が示す判定位置と、前記画像中に設定された線との位置関係に基づいて前記物体が前記線を通過したか否かを判定する判定手段と、
    前記通知手段により前記変更された判定位置を受け付けて前記設定情報を更新する更新手段と、を備えることを特徴とする請求項2乃至9のいずれか1項に記載の情報処理装置。
  11. 画像中の物体の通過判定を行う情報処理装置の制御方法であって、
    保持手段が、画像中の物体の範囲を所定の形状で示す物体エリアにおける、前記物体の通過判定に用いる判定位置を含む設定情報を保持する工程と、
    決定手段が、画像から検出した物体に関して前記物体エリアを決定する工程と、
    判定手段が、前記決定する工程で決定された前記物体エリア中の前記設定情報が示す判定位置と、前記画像中に設定された線との位置関係に基づいて前記物体が前記線を通過したか否かを判定する工程と、
    更新手段が、前記判定位置の更新指示を受け付けて前記設定情報を更新する工程と、を有することを特徴とする情報処理装置の制御方法。
  12. 画像中の物体の範囲を所定の形状で示す物体エリア内の判定位置と、前記画像に設定された線との位置関係に基づいて前記物体による前記線の通過を判定する通過判定処理で用いられる前記判定位置を更新する情報処理装置の制御方法であって、
    取得手段が、前記画像中の前記通過判定処理が検出した前記物体エリアと、前記通過判定処理が前記物体エリア内の前記判定位置を特定するのに用いている判定位置情報とを取得する工程と、
    表示手段が、前記物体エリアを重畳して前記画像を表示する工程と、
    提供手段が、前記判定位置情報により示される判定位置を示し、該判定位置の変更を受け付けるユーザインターフェイスを提供する工程と、
    通知手段が、前記ユーザインターフェイスが前記判定位置の変更を受け付けると、変更された判定位置を前記通過判定処理に通知する工程と、を有することを特徴とする情報処理装置の制御方法。
  13. コンピュータを、請求項1乃至10のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
JP2012146086A 2012-06-28 2012-06-28 情報処理装置およびその制御方法 Active JP6057562B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012146086A JP6057562B2 (ja) 2012-06-28 2012-06-28 情報処理装置およびその制御方法
US13/924,021 US9536164B2 (en) 2012-06-28 2013-06-21 Setting apparatus and setting method
US15/334,004 US10410063B2 (en) 2012-06-28 2016-10-25 Setting apparatus and setting method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012146086A JP6057562B2 (ja) 2012-06-28 2012-06-28 情報処理装置およびその制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016234397A Division JP6378740B2 (ja) 2016-12-01 2016-12-01 情報処理装置およびその制御方法

Publications (3)

Publication Number Publication Date
JP2014011584A true JP2014011584A (ja) 2014-01-20
JP2014011584A5 JP2014011584A5 (ja) 2015-07-09
JP6057562B2 JP6057562B2 (ja) 2017-01-11

Family

ID=49778220

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012146086A Active JP6057562B2 (ja) 2012-06-28 2012-06-28 情報処理装置およびその制御方法

Country Status (2)

Country Link
US (2) US9536164B2 (ja)
JP (1) JP6057562B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016092693A (ja) * 2014-11-07 2016-05-23 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム
WO2016152196A1 (ja) * 2015-03-23 2016-09-29 日本電気株式会社 監視装置、監視システム、監視方法、及びコンピュータ読み取り可能な記録媒体
JP2016187162A (ja) * 2015-03-27 2016-10-27 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
KR20170020864A (ko) * 2014-06-30 2017-02-24 후아웨이 테크놀러지 컴퍼니 리미티드 이미지 처리 방법 및 카메라
JP2017108402A (ja) * 2016-12-01 2017-06-15 キヤノン株式会社 情報処理装置およびその制御方法
JP2017118324A (ja) * 2015-12-24 2017-06-29 パナソニックIpマネジメント株式会社 動線分析システム及び動線分析方法
JP2019071578A (ja) * 2017-10-11 2019-05-09 パナソニックIpマネジメント株式会社 物体検知装置、物体検知システムおよび物体検知方法
US10410063B2 (en) 2012-06-28 2019-09-10 Canon Kabushiki Kaisha Setting apparatus and setting method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160371847A1 (en) * 2014-07-24 2016-12-22 Bonanza.com, LLC Background profiles

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003085563A (ja) * 2001-09-12 2003-03-20 Giken Torasutemu Kk 分離計数装置
JP2003333584A (ja) * 2002-05-16 2003-11-21 Fujitsu Ltd 監視システム
JP2008283726A (ja) * 2008-08-25 2008-11-20 Sony Corp 監視装置、監視システム及びフィルタ設定方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7307652B2 (en) * 2000-03-10 2007-12-11 Sensormatic Electronics Corporation Method and apparatus for object tracking and detection
WO2002087152A1 (en) * 2001-04-18 2002-10-31 Caveo Technology, Llc Universal, customizable security system for computers and other devices
US6970083B2 (en) 2001-10-09 2005-11-29 Objectvideo, Inc. Video tripwire
US6696945B1 (en) 2001-10-09 2004-02-24 Diamondback Vision, Inc. Video tripwire
TW200822751A (en) * 2006-07-14 2008-05-16 Objectvideo Inc Video analytics for retail business process monitoring
US8971565B2 (en) * 2008-05-29 2015-03-03 Hie-D Technologies, Llc Human interface electronic device
US8885047B2 (en) * 2008-07-16 2014-11-11 Verint Systems Inc. System and method for capturing, storing, analyzing and displaying data relating to the movements of objects
JP2010128727A (ja) 2008-11-27 2010-06-10 Hitachi Kokusai Electric Inc 画像処理装置
US8890936B2 (en) * 2010-10-12 2014-11-18 Texas Instruments Incorporated Utilizing depth information to create 3D tripwires in video
JP5656567B2 (ja) 2010-11-05 2015-01-21 キヤノン株式会社 映像処理装置および方法
EP2607952B1 (en) * 2011-12-21 2013-12-04 Axis AB Monitoring camera and method for monitoring
JP6057562B2 (ja) 2012-06-28 2017-01-11 キヤノン株式会社 情報処理装置およびその制御方法
US9197861B2 (en) * 2012-11-15 2015-11-24 Avo Usa Holding 2 Corporation Multi-dimensional virtual beam detection for video analytics

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003085563A (ja) * 2001-09-12 2003-03-20 Giken Torasutemu Kk 分離計数装置
JP2003333584A (ja) * 2002-05-16 2003-11-21 Fujitsu Ltd 監視システム
JP2008283726A (ja) * 2008-08-25 2008-11-20 Sony Corp 監視装置、監視システム及びフィルタ設定方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10410063B2 (en) 2012-06-28 2019-09-10 Canon Kabushiki Kaisha Setting apparatus and setting method
KR101932670B1 (ko) * 2014-06-30 2018-12-26 후아웨이 테크놀러지 컴퍼니 리미티드 이미지 처리 방법 및 카메라
US10425608B2 (en) 2014-06-30 2019-09-24 Huawei Technologies Co., Ltd. Image processing method and camera
KR20170020864A (ko) * 2014-06-30 2017-02-24 후아웨이 테크놀러지 컴퍼니 리미티드 이미지 처리 방법 및 카메라
JP2016092693A (ja) * 2014-11-07 2016-05-23 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム
US10200607B2 (en) 2014-11-07 2019-02-05 Canon Kabushiki Kaisha Image capturing apparatus, method of controlling the same, monitoring camera system, and storage medium
US10497131B2 (en) 2015-03-23 2019-12-03 Nec Corporation Monitoring apparatus, monitoring system, monitoring method, and computer-readable storage medium
JPWO2016152196A1 (ja) * 2015-03-23 2018-01-11 日本電気株式会社 監視装置、監視システム、監視方法、及びコンピュータ読み取り可能な記録媒体
WO2016152196A1 (ja) * 2015-03-23 2016-09-29 日本電気株式会社 監視装置、監視システム、監視方法、及びコンピュータ読み取り可能な記録媒体
JP2020010340A (ja) * 2015-03-23 2020-01-16 日本電気株式会社 監視装置、監視システム、監視方法、及びプログラム
US10957052B2 (en) 2015-03-23 2021-03-23 Nec Corporation Monitoring apparatus, monitoring system, monitoring method, and computer-readable storage medium
US11842499B2 (en) 2015-03-23 2023-12-12 Nec Corporation Monitoring apparatus, monitoring system, monitoring method, and computer-readable storage medium
JP2016187162A (ja) * 2015-03-27 2016-10-27 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2017118324A (ja) * 2015-12-24 2017-06-29 パナソニックIpマネジメント株式会社 動線分析システム及び動線分析方法
JP2017108402A (ja) * 2016-12-01 2017-06-15 キヤノン株式会社 情報処理装置およびその制御方法
JP2019071578A (ja) * 2017-10-11 2019-05-09 パナソニックIpマネジメント株式会社 物体検知装置、物体検知システムおよび物体検知方法

Also Published As

Publication number Publication date
JP6057562B2 (ja) 2017-01-11
US9536164B2 (en) 2017-01-03
US20170039430A1 (en) 2017-02-09
US10410063B2 (en) 2019-09-10
US20140003657A1 (en) 2014-01-02

Similar Documents

Publication Publication Date Title
JP6057562B2 (ja) 情報処理装置およびその制御方法
JP6040564B2 (ja) 画像処理装置、投影制御方法及びプログラム
JP6163899B2 (ja) 情報処理装置、撮像装置、情報処理方法、及びプログラム
JP6650677B2 (ja) 映像処理装置、映像処理方法、およびプログラム
JP5938638B2 (ja) インタラクティブプレゼンシステム
US20190318594A1 (en) Display control apparatus, display control method, camera system, control method for camera system, and storage medium
JP2006148260A (ja) 自動追尾装置、画像異常検出装置、自動追尾方法、画像異常検出方法、プログラムおよび記憶媒体
JP2011076549A (ja) 情報処理システム、情報処理装置、端末装置、及びそれらの制御方法
JP2012160175A5 (ja)
KR20170069600A (ko) 전자 장치 및 그 동작 방법
JPWO2017081920A1 (ja) 情報処理装置、制御方法、及びプログラム
JPWO2020039605A1 (ja) ガス検出装置、情報処理装置およびプログラム
JP6602067B2 (ja) 表示制御装置、表示制御方法、プログラム
CN114153348A (zh) 光标提示方法和主机
JP6378740B2 (ja) 情報処理装置およびその制御方法
JP2019096304A (ja) 画像処理装置およびその制御方法およびプログラム
JP6765884B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7335899B2 (ja) 測定システム、測定装置、測定方法、及びプログラム
JP6413521B2 (ja) 表示制御方法、情報処理プログラム、及び情報処理装置
JP6626538B2 (ja) 情報処理装置およびその制御方法
JP6736348B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6708384B2 (ja) 出力制御装置、出力制御方法、設定装置、設定方法、及びプログラム
JP7242232B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2018055151A (ja) 炎検出装置及びプログラム
KR20210128187A (ko) 영상 정보 표시 방법 및 전자 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150521

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161206

R151 Written notification of patent or utility model registration

Ref document number: 6057562

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151