JP2016015015A - 検出装置、検出方法及び制御プログラム - Google Patents

検出装置、検出方法及び制御プログラム Download PDF

Info

Publication number
JP2016015015A
JP2016015015A JP2014136722A JP2014136722A JP2016015015A JP 2016015015 A JP2016015015 A JP 2016015015A JP 2014136722 A JP2014136722 A JP 2014136722A JP 2014136722 A JP2014136722 A JP 2014136722A JP 2016015015 A JP2016015015 A JP 2016015015A
Authority
JP
Japan
Prior art keywords
brightness
image information
background
change
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014136722A
Other languages
English (en)
Other versions
JP6362939B2 (ja
Inventor
健太 西行
Kenta Nishiyuki
健太 西行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MegaChips Corp
Original Assignee
MegaChips Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MegaChips Corp filed Critical MegaChips Corp
Priority to JP2014136722A priority Critical patent/JP6362939B2/ja
Publication of JP2016015015A publication Critical patent/JP2016015015A/ja
Application granted granted Critical
Publication of JP6362939B2 publication Critical patent/JP6362939B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】検出対象物の検出精度を向上することが可能な技術を提供する。
【解決手段】登録部３３は、変化検出部３２で撮像領域の明るさの変化が検出されたとき、変化後の明るさに応じた入力画像２００に関する画像情報を背景画像情報として明るさ変化用記憶部７に登録する。動体検出部３１は、背景モデル５００と、入力画像２００と、明るさ変化用記憶部７内の背景画像情報とを用いて、撮像領域に存在する検出対象物を検出する。背景モデル更新部３４は、動体検出部３１での検出対象物の検出結果に基づいて、背景モデル５００を更新する。
【選択図】図２

Description

本発明は、検出対象物の検出技術に関する。
特許文献１及び非特許文献１〜３にも記載されているように、人等の検出対象物の検出技術に関して従来から様々な技術が提案されている。
特開２００９−１２３１５０号公報
K.Kim,T.Chalidabhongse,D.Harwood,and L.Davis,"Real-time foreground-background segmentation using codebook model"Real-Time Imaging,vol.11,no.3,pp.172-185,Jun.2005. P.Guha,D.Palai,K.S.Venkatesh,and A.Mukerjee,"A Multiscale Co-linearity Statistic Based Approach To Robust Background Modeling."ACCV,2006. R.Mester,T.Aach,and L.Dumbgen,"Illumination-invariant change detection using a statistical colinearity criterion"Proceedings of the 23rd DAGM-Symposium on Pattern Recognition,Springer-Verlag(2001)170-177
検出対象物を検出する際には、その精度の向上が望まれている。
そこで、本発明は上述の点に鑑みて成されたものであり、検出対象物の検出精度を向上することが可能な技術を提供することを目的とする。
本発明に係る検出装置の一態様は、入力画像に写る撮像領域に存在する検出対象物を検出する検出装置であって、第１記憶部と、背景画像情報を含む背景モデルを記憶する第２記憶部と、前記撮像領域の明るさの変化を検出する変化検出部と、前記変化検出部で前記明るさの変化が検出されたとき、変化後の前記明るさに応じた入力画像に関する画像情報を背景画像情報として前記第１記憶部に登録する登録部と、前記背景モデルと、入力画像と、前記第１記憶部内の背景画像情報とを用いて、前記撮像領域に存在する検出対象物を検出する検出部と、前記検出部での検出対象物の検出結果に基づいて、前記背景モデルを更新する背景モデル更新部とを備える。
また、本発明に係る検出装置の一態様では、前記登録部は、前記変化検出部で前記明るさの変化が検出されたとき、変化後の前記明るさに応じた背景画像情報が前記第１記憶部内に登録されているか否かを判定し、変化後の前記明るさに応じた背景画像情報が前記第１記憶部内に登録されていないときにだけ、変化後の前記明るさに応じた入力画像に関する画像情報を背景画像情報として前記第１記憶部に登録する。
また、本発明に係る検出装置の一態様では、前記登録部は、変化後の前記明るさに応じた入力画像に関する画像情報を背景画像情報として前記第１記憶部に登録するときには、当該背景画像情報に対応付けて当該入力画像についての輝度ヒストグラムを前記第１記憶部に登録し、前記登録部は、前記変化検出部で前記明るさの変化が検出されたとき、変化後の前記明るさに応じた入力画像の輝度ヒストグラムと、前記第１記憶部内の背景画像情報に対応する輝度ヒストグラムとを比較し、その比較結果に基づいて、変化後の前記明るさに応じた背景画像情報が前記第１記憶部内に登録されているか否かを判定する。
また、本発明に係る検出装置の一態様では、前記登録部は、前記変化検出部で前記明るさの変化が検出された後に前記背景モデルが前記背景モデル更新部で更新されることによって、変化後の前記明るさに応じた前記背景モデルが生成された否かを判定し、変化後の前記明るさに応じた入力画像のうち、変化後の前記明るさに応じた前記背景モデルが生成された後に前記検出部が前記撮像領域において前記検出対象物を検出した領域の画像以外の部分に関する画像情報を背景画像情報として前記第１記憶部に登録する。
また、本発明に係る検出装置の一態様では、前記変化検出部は、前記明るさが変化したか否かを判定するための判定条件を満たさない状態から満たす状態に変化したときに、前記明るさが変化したと判定し、前記登録部は、前記判定条件を満たす状態から満たさない状態に変化したときに、変化後の前記明るさに応じた前記背景モデルが生成されたと判定する。
また、本発明に係る検出装置の一態様では、前記第１記憶部は、ある明るさの前記撮像領域の画像についての画素値を基準背景画像情報として記憶し、前記登録部は、前記変化検出部で前記明るさの変化が検出されたとき、変化後の前記明るさに応じた入力画像に関する画像情報として、前記基準背景画像情報に対する補正係数を前記第１記憶部に登録する。
また、本発明に係る検出方法の一態様は、入力画像に写る撮像領域に存在する検出対象物を検出する検出方法であって、（ａ）前記撮像領域の明るさの変化を検出する工程と、（ｂ）前記工程（ａ）において前記明るさの変化が検出されたとき、変化後の前記明るさに応じた入力画像に関する画像情報を背景画像情報として第１記憶部に登録する工程と、（ｃ）第２記憶部に記憶されている、背景画像情報を含む背景モデルと、入力画像と、前記第１記憶部内の背景画像情報とを用いて、前記撮像領域に存在する検出対象物を検出する工程と、（ｄ）前記工程（ｃ）での検出対象物の検出結果に基づいて、前記背景モデルを更新する工程とを備える。
また、本発明に係る制御プログラムの一態様は、入力画像に写る撮像領域に存在する検出対象物を検出する検出装置を制御するための制御プログラムであって、前記検出装置に、（ａ）前記撮像領域の明るさの変化を検出する工程と、（ｂ）前記工程（ａ）において前記明るさの変化が検出されたとき、変化後の前記明るさに応じた入力画像に関する画像情報を背景画像情報として第１記憶部に登録する工程と、（ｃ）第２記憶部に記憶されている、背景画像情報を含む背景モデルと、入力画像と、前記第１記憶部内の背景画像情報とを用いて、前記撮像領域に存在する検出対象物を検出する工程と、（ｄ）前記工程（ｃ）での検出対象物の検出結果に基づいて、前記背景モデルを更新する工程とを実行させるためのものである。
本発明によれば、検出対象物の検出精度が向上する。
検出装置の構成を示す図である。 画像処理部の構成を示す図である。 撮像領域の一例を示す図である。 背景モデルの一例を示す図である。 コードワードの一例を示す図である。 検出装置の動作を示すフローチャートである。 検出装置の動作を示すフローチャートである。 検出装置の動作を示すフローチャートである。 入力画像の輝度ヒストグラムの一例を示す図である。 検出装置の動作を示すフローチャートである。 検出装置の動作を示すフローチャートである。 検出装置の動作を説明するための図である。 画像ベクトルと背景ベクトルとの関係を示す図である。 検出装置の動作を示すフローチャートである。 検出装置の動作を示すフローチャートである。 記憶部内の背景画像情報の一例を示す図である。 検出装置の動作を説明するための図である。
＜検出装置の動作の概要＞
図１は実施の形態に係る検出装置１の構成を示すブロック図である。本実施の形態に係る検出装置１は、入力される画像に基づいて、当該画像に写る撮像領域、つまり当該画像を撮像する撮像部の撮像領域（視野範囲）に存在する検出対象物を検出する。
検出対象物は例えば動体である。検出装置１は、入力される画像に含まれる動体画像（動体を示す画像）を検出することによって、動体検出、つまり当該画像に写る撮像領域に存在する動体を検出する。
検出装置１の動作段階として、準備段階と実動作段階とが存在する。検出装置１は、準備段階において、時系列で順次に入力される複数枚の入力画像を用いて、背景モデルの生成処理を実行する。背景モデルは、同一のシーン（被写体）を撮影して得られた複数枚の入力画像に含まれる情報が集められて構成されたモデルである。背景モデルは、後述の動体検出処理において、時系列で順次に入力される各入力画像から動体画像を検出する際に利用される。なお、背景モデルの生成処理が実行される準備段階は「学習段階」とも呼ばれる。以後、背景モデルの生成で使用される入力画像を「基準画像」と呼び、動体検出の対象となる入力画像を「検出対象画像」と呼ぶことがある。
検出装置１では、背景モデルの生成が完了すると、動作段階が準備段階から実動作段階へと移行する。検出装置１は、実動作段階において、入力画像に対して動体検出を行う動体検出処理と、撮像領域の明るさの変化を検出する明るさ変化検出処理と、背景モデルを更新する背景モデル更新処理とを行う。ここで、撮像領域の明るさの変化には、撮像領域の明るさの変動も含む。本実施の形態では、検出対象物は例えば人である。検出対象物は人以外であっても良い。
＜検出装置の構成＞
図１に示されるように、検出装置１は、画像入力部２と、画像処理部３と、検出結果出力部４と、背景モデル記憶部５と、キャッシュモデル記憶部６と、明るさ変化用記憶部７とを備えている。図２は画像処理部３の構成を示すブロック図である。
画像入力部２は、検出装置１の外部から入力される入力画像２００を画像処理部３に入力する。入力画像２００は撮像部で撮像された撮像画像である。画像入力部２に対しては、時系列で撮像された複数枚の入力画像２００が撮像された順で入力される。入力画像２００の大きさは、例えば、３２０画素×２４０画素（ＱＶＧＡ）となっている。
図３は、入力画像２００に写る撮像領域１０、つまり入力画像２００を撮像する撮像部の撮像領域（視野範囲）１０の一例を示す図である。図３に示される撮像領域１０には、被写体として会議室１００が含まれている。したがって、この場合には、検出装置１に入力される入力画像２００は、会議室１００を示す画像となる。会議室１００では、複数の机１０１と複数の椅子１０２が床の中央部を取り囲むように並べられており、複数の机１０１の外側が通路１０３となっている。そして、会議室１００では、壁の一部にカーテン１０４が設けられている。本実施の形態に係る検出装置１は、例えば、会議室１００を示す入力画像２００に対して動体検出を行うことによって、会議室１００に存在する人を検出する。
画像処理部３は、画像入力部２から入力される入力画像２００に対して様々な画像処理を行う。画像処理部３は、ＣＰＵ３００と記憶部３１０を備えている。記憶部３１０は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等の、ＣＰＵ３００が読み取り可能な非一時的な記録媒体で構成されている。記憶部３１０には、検出装置１を制御するための制御プログラム３１１が記憶されている。ＣＰＵ３００が記憶部３１０内の制御プログラム３１１を実行することによって、画像処理部３には様々な機能ブロックが形成される。
なお記憶部３１０は、ＲＯＭ及びＲＡＭ以外の、コンピュータが読み取り可能な非一時的な記録媒体を備えていても良い。記憶部３１０は、例えば、小型のハードディスクドライブ及びＳＳＤ（Solid State Drive）等を備えていても良い。
図２に示されるように、画像処理部３には、背景モデル生成部３０、動体検出部３１、変化検出部３２、登録部３３及び背景モデル更新部３４等の複数の機能ブロックが形成される。なお、これらの機能ブロックは、ＣＰＵがプログラムを実行することによって実現されるのではなく、論理回路を用いたハードウェア回路で実現されても良い。
背景モデル生成部３０は、画像入力部２から順次入力される複数枚の入力画像２００（複数枚の基準画像２００）を用いて背景モデル５００を生成する。背景モデル生成部３０によって生成された背景モデル５００は背景モデル記憶部５に記憶される。背景モデル５００には、背景画像に関する画像情報である背景画像情報が含まれている。背景モデル更新部３４は、背景モデル記憶部５内の背景モデル５００の更新を行う。
変化検出部３２は、撮像領域１０の明るさの変化を検出する。登録部３３は、変化検出部３２において撮像領域１０の明るさの変化が検出されたときに、変化後の明るさに応じた背景画像情報、つまり、明るさが変化した撮像領域１０に含まれる背景の画像に関する画像情報を明るさ変化用記憶部７に登録する。
動体検出部３１は、画像入力部２から入力される入力画像２００と、背景モデル５００と、明るさ変化用記憶部７内の背景画像情報とを用いて、入力画像２００中の動体画像を検出する。言い換えれば、動体検出部３１は、入力画像２００と、背景モデル５００と、明るさ変化用記憶部７内の背景画像情報とを用いて、当該入力画像２００に写る撮像領域１０に存在する動体を検出する。
背景モデル記憶部５は、背景モデル生成部３０で生成される背景モデル５００を記憶する。キャッシュモデル記憶部６は、後述するキャッシュモデルを記憶する。背景モデル記憶部５、キャッシュモデル記憶部６及び明るさ変化用記憶部７のそれぞれは、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）またはハードディスク（ＨＤ）等の書き換え可能な記憶手段で構成される。なお本例では、背景モデル記憶部５、キャッシュモデル記憶部６及び明るさ変化用記憶部７とはハードウェア的に独立しているが、一つの記憶装置が有する記憶領域に含まれる互いに異なる複数の部分を、背景モデル記憶部５、キャッシュモデル記憶部６及び明るさ変化用記憶部７としてそれぞれ使用しても良い。
検出結果出力部４は、動体検出部３１での動体検出についての検出結果を外部に出力する。検出結果出力部４は、例えば、撮像領域１０に存在する被写体（図４の例では会議室１００）の様子をリアルタイムで表示する表示部を備えており、当該表示部において、動体が検出された領域を色等で表示することによって、動体検出の検出結果を外部に出力する。また、検出結果出力部４は、検出結果を音声等の音で外部に出力しても良い。また、検出結果出力部４は、検出結果を示す信号を、外部装置に対して出力することによって、当該検出結果を外部に出力しても良い。この場合には、外部装置は、検出結果に応じた動作を実行する。例えば、外部装置は、警報を発生する。あるいは、撮像領域１０が図３の会議室１００である場合には、外部装置は、会議室１００の照明器具を制御して、人が存在する領域だけ明るくする。また、外部装置は、会議室１００の空調機を制御して、人が存在する領域だけ冷却したり、暖めたりする。
＜準備段階（背景モデル生成処理）＞
次に検出装置１の準備段階で行われる背景モデル生成処理について説明する。図４は背景モデル５００を説明するための図である。本実施の形態では、撮像領域１０において検出対象物である人が存在しないとき（会議室１００が利用されていないとき）に撮像部で撮像された入力画像２００が、背景モデル５００の生成で使用される基準画像２００となっている。つまり、基準画像２００は、動体画像を含まない背景画像のみで構成されている。背景モデル生成処理では、Ａ枚（Ａ≧２）の基準画像２００に基づいて背景モデル５００が生成される。
本実施の形態では、撮像領域１０は、複数の矩形の撮像ブロック（部分撮像領域）に分割される。入力画像２００に含まれる、ある撮像ブロックの画像を示す領域を「画像ブロック」と呼ぶと、入力画像２００は、撮像領域１０を構成する複数の撮像ブロックの画像をそれぞれ示す複数の画像ブロックで構成される。本実施の形態では、一つの画像ブロックの大きさは、例えば、３画素×３画素となっている。以後、撮像ブロックと、入力画像２００における、当該撮像ブロックの画像を示す画像ブロックとに関して、当該撮像ブロックを、当該画像ブロックに対応する撮像ブロックと呼ぶことがある。
図４に示されるように、背景モデル５００には、複数の撮像ブロックＢＫにそれぞれ対応する複数のコードブック（Codebook）ＣＢが含まれる。各コードブックＣＢには、画像情報と、当該画像情報に関連する関連情報とを含むコードワード（Codeword）ＣＷが含まれている。コードブックＣＢに含まれるコードワードＣＷは、一枚の入力画像２００における、当該コードブックＣＢが対応する撮像ブロックＢＫの画像を示す画像ブロックに基づいて生成される。各コードブックＣＢには複数のコードワードＣＷが含まれている。背景モデル５００中のコードワードＣＷに含まれる画像情報は、背景画像に関する画像情報、つまり背景画像情報である。
図４において砂地のハッチングが示されているコードブックＣＢには、３枚の基準画像２００ａ〜２００ｃに基づいてそれぞれ生成された３つのコードワードＣＷ１〜ＣＷ３が含まれている。コードブックＣＢに含まれるコードワードＣＷ１は、基準画像２００ａにおける、当該コードブックＣＢが対応する撮像ブロックＢＫの画像を示す画像ブロックに基づいて生成される。コードブックＣＢに含まれるコードワードＣＷ２は、基準画像２００ｂにおける、当該コードブックＣＢが対応する撮像ブロックＢＫの画像を示す画像ブロックに基づいて生成される。そして、コードブックＣＢに含まれるコードワードＣＷ３は、基準画像２００ｃにおける、当該コードブックＣＢが対応する撮像ブロックＢＫの画像を示す画像ブロックに基づいて生成される。
図５はコードワードＣＷを説明するための図である。コードワードＣＷには、当該コードワードＣＷを含むコードブックＣＢが対応する撮像ブロックの画像を示す画像ブロックの画像情報が背景画像情報として含まれている。本実施の形態では、コードワードＣＷ内の画像ブロックの画像情報（背景画像情報）は、当該画像ブロックを構成する複数の画素の画素値ＰＶである。そして、コードワードＣＷには、関連情報として、最新一致時刻Ｔｅとコードワード生成時刻Ｔｉとが含まれている。後述するように、背景モデル５００に含まれるコードワードＣＷ中の画像情報については、検出対象画像２００から取得された画像情報と一致する否かが判定される。コードワードＣＷに含まれる最新一致時刻Ｔｅは、当該コードワードＣＷに含まれる画像情報と、検出対象画像２００から取得された画像情報とが一致すると判定された最新の時刻を示している。また、コードワードＣＷに含まれるコードワード生成時刻Ｔｉは、当該コードワードＣＷが生成された時刻を示している。
図６は、このような背景モデル５００が生成される背景モデル生成処理を示すフローチャートである。図６に示される背景モデル生成処理は、背景モデル記憶部５に背景モデル５００が記憶されていないときに実行される。
図６に示されるように、ステップｓ１において、背景モデル生成部３０は、画像入力部２から基準画像２００が画像処理部３に入力されると、ステップｓ２において、撮像領域１０のある撮像ブロックを注目撮像ブロックとし、注目撮像ブロックに対応するコードブックＣＢが背景モデル記憶部５に記憶されているか否かを判定する。
背景モデル生成部３０は、注目撮像ブロックに対応するコードブックＣＢが背景モデル記憶部５に記憶されていないと判定すると、ステップｓ３において、ステップｓ１で入力された基準画像２００に基づいて、注目撮像ブロックに対応するコードブックＣＢを生成して背景モデル記憶部５に記憶する。
具体的には、背景モデル生成部３０は、ステップｓ１で入力された基準画像２００における、注目撮像ブロックの画像を示す画像ブロックから画像情報を取得する。そして、背景モデル生成部３０は、取得した画像情報を背景画像情報として含むコードワードＣＷを生成し、当該コードワードＣＷを含むコードブックＣＢを背景モデル記憶部５に記憶する。このコードワードＣＷに含まれる最新一致時刻Ｔｅは、暫定的に、コードワード生成時刻Ｔｉと同じ時刻に設定される。
一方で、背景モデル生成部３０は、注目撮像ブロックに対応するコードブックＣＢが背景モデル記憶部５に記憶されていると判定すると、ステップｓ４において、ステップｓ１で入力された基準画像２００における、注目撮像ブロックの画像を示す画像ブロックから画像情報を取得する。そして、背景モデル生成部３０は、背景モデル記憶部５が記憶している、注目撮像ブロックに対応するコードブックＣＢに含まれる各コードワードＣＷ中の背景情報画像と、取得した画像情報とが一致するか否かを判定する。つまり、背景モデル生成部３０は、注目撮像ブロックに対応するコードブックＣＢに含まれるコードワードＣＷにおいて、取得した画像情報と一致する背景画像情報を含むコードワードＣＷが存在するか否かを判定する。
ステップｓ４での判定の結果、ステップｓ５において、注目撮像ブロックに対応するコードブックＣＢに含まれる各コードワードＣＷ中の背景情報画像と、取得した画像情報とが一致しない場合には、つまり、注目撮像ブロックに対応するコードブックＣＢに含まれるコードワードＣＷにおいて、取得した画像情報と一致する背景画像情報を含むコードワードＣＷが存在しない場合には、ステップｓ６において、背景モデル生成部３０は、ステップｓ４で基準画像２００から取得した画像情報を背景画像情報として含むコードワードＣＷを生成する。このコードワードＣＷに含まれる最新一致時刻Ｔｅは、暫定的に、コードワード生成時刻Ｔｉと同じ時刻に設定される。そして、背景モデル生成部３０は、生成したコードワードＣＷを、背景モデル記憶部５が記憶する、注目撮像ブロックに対応するコードブックＣＢに追加する。これにより、注目撮像ブロックに対応するコードブックＣＢには新しい背景画像情報が追加される。
一方で、ステップｓ５において、注目撮像ブロックに対応するコードブックＣＢに含まれるコードワードＣＷ中の背景情報画像と、取得した画像情報とが一致する場合には、つまり、注目撮像ブロックに対応するコードブックＣＢに含まれるコードワードＣＷにおいて、取得した画像情報と一致する背景画像情報を含むコードワードＣＷが存在する場合には、ステップｓ６は実行されずに、ステップｓ７が実行される。ステップｓ７において、背景モデル生成部３０は、撮像領域１０における全ての撮像ブロックについて処理が行われた否か、つまり、全ての撮像ブロックを注目撮像ブロックに設定したか否かを判定する。ステップｓ７での判定の結果、処理が行われていない撮像ブロックが存在する場合には、背景モデル生成部３０は、未だ処理が行われていない撮像ブロックを新たな注目撮像ブロックとして、ステップｓ２以降を実行する。
一方で、ステップｓ７での判定の結果、撮像領域１０における全ての撮像ブロックについて処理が行われている場合には、背景モデル生成部３０は、ステップｓ８において、Ａ枚の基準画像２００に対して同様の処理が行われたか否かを判定する。背景モデル生成部３０は、ステップｓ８での判定の結果、処理を行った基準画像２００の枚数がＡ枚よりも少ない場合には、ステップｓ１において画像処理部３に対して新たに入力される基準画像２００に対して、ステップｓ２以下の処理を実行する。背景モデル生成部３０は、ステップｓ８での判定の結果、処理を行った基準画像２００の枚数がＡ枚である場合には、背景モデル生成処理を終了する。これにより、上述のような背景モデル５００が背景モデル記憶部５内に生成される。
＜実動作段階＞
次に検出装置１の実動作段階での動作について説明する。図７は、検出装置１の実動作段階での概略動作を示すフローチャートである。検出装置１では、背景モデル生成処理が終了すると、図７に示される処理が実行される。
図７に示されるように、ステップｓ１１において画像入力部２から入力画像２００が画像処理部３に入力されると、当該入力画像２００を処理対象として、ステップｓ１２〜ｓ１４までの一連の処理が実行される。
ステップｓ１２において、画像処理部３は、処理対象の入力画像２００に対して動体検出を行う動体検出処理を行う。そして、ステップｓ１３において、画像処理部３は、処理対象の入力画像２００に基づいて、あるいはステップｓ１２での動体検出処理の結果に基づいて、撮像領域１０の明るさの変化を検出する明るさ変化検出処理を行う。その後、画像処理部３は、ステップｓ１４において、背景モデル記憶部５内の背景モデル５００を更新する背景モデル更新処理を行う。
その後、ステップｓ１１において、画像入力部２から画像処理部３に新たな入力画像２００（新たな検出対象画像２００）が入力されると、当該入力画像２００を新たな処理対象として、ステップｓ１２〜ｓ１４までの一連の処理が実行される。その後、画像処理部３は同様に動作する。
このように、本実施の形態に係る検出装置１では、入力画像２００が入力されるたびに、動体検出処理、明るさ変化検出処理及び背景モデル更新処理がこの順番で実行される。
＜明るさ変化検出処理＞
次にステップｓ１３での明るさ変化検出処理について詳しく説明する。図８は明るさ変化検出処理を示すフローチャートである。図８に示されるように、ステップｓ１３１において、変化検出部３２は、撮像領域１０の明るさが変化したか否かを判定する。本実施の形態では、ステップｓ１３１において、撮像領域１０の明るさが変化したか否かを判定するための変化判定条件が使用される。変化検出部３２は、変化判定条件を満たすときに、撮像領域１０の明るさが変化したと判定する。変化判定条件が満たされるか否かは、処理対象の入力画像２００に基づいて、あるいは処理対象の入力画像２００に対する動体検出の結果に基づいて判断される。変化判定条件については後で詳細に説明する。
ステップｓ１３１において判定条件が満たされずに撮像領域１０の明るさの変化が検出されなかったときには、明るさ変化検出処理は終了する。一方で、ステップｓ１３１において変化判定条件が満たされ、撮像領域１０の明るさの変化が検出されたときには、ステップｓ１３２において、登録部３３は、変化後の明るさに応じた背景画像情報が明るさ変化用記憶部７に既に登録されているか否かを判定する。
ステップｓ１３２において、変化後の明るさに応じた背景画像情報が明るさ変化用記憶部７に登録されていないと判定されると、ステップｓ１３３において、登録部３３は、変化後の明るさに応じた入力画像２００に関する画像情報を背景画像情報として明るさ変化用記憶部７に登録する。この背景画像情報は、変化後の明るさに応じた背景画像情報となる。ステップｓ１３３が実行されると、明るさ変化検出処理は終了する。またステップｓ１３２において、変化後の明るさに応じた背景画像情報が明るさ変化用記憶部７に登録されていると判定されると、明るさ変化検出処理は終了する。
ステップｓ１３１では、処理対象の入力画像２００に基づいて、撮像領域１０の明るさが変化したか否かが判定されることから、ステップｓ１３１において撮像領域１０の明るさの変化が検出されたときには、処理対象の入力画像２００は、明るさが変化した後の撮像領域１０の画像であると言える。つまり、処理対象の入力画像２００は、変化後の明るさに応じた入力画像２００であると言える。登録部３３は、ステップｓ１３３において、処理対象の入力画像２００を変化後の明るさに応じた入力画像２００として、処理対象の入力画像２００を構成する複数の画像ブロックのそれぞれについての各画素の画素値を背景画像情報として明るさ変化用記憶部７に登録する。明るさ変化用記憶部７内の背景画像情報では、それに対応する入力画像２００の画像ブロックごとに画素値が整理されている。
登録部３３は、変化後の明るさに応じた入力画像２００（処理対象の入力画像２００）の画像情報を背景画像情報として明るさ変化用記憶部７に登録する際には、当該入力画像２００の輝度ヒストグラムを生成する。そして、登録部３３は、生成した輝度ヒストグラムを当該背景画像情報に対応付けて明るさ変化用記憶部７に登録する。入力画像２００の輝度ヒストグラムは、当該入力画像２００を構成する複数の画素の輝度の分布を示している。
図９は輝度ヒストグラムの一例を示す図である。図９の横軸は輝度を示している。本実施の形態では、輝度は例えば８ビットで表現される。したがって、輝度は十進表記で“０”から“２５５”までの範囲となる。図９の縦軸は、入力画像２００において横軸に示される輝度を有する画素の数、つまり頻度を示している。
登録部３３は、ステップｓ１３２において、変化後の明るさに応じた背景画像情報が明るさ変化用記憶部７に既に登録されているか否かを判定する際には、輝度ヒストグラムを使用する。ステップｓ１３２において、登録部３３は、明るさ変化用記憶部７内の各背景画像情報に対応付けられている輝度ヒストグラムの中に、変化後の明るさに応じた入力画像２００の輝度ヒストグラムと類似する輝度ヒストグラムが存在するか否かを判定する。変化後の明るさに応じた入力画像２００の輝度ヒストグラムと類似する輝度ヒストグラムに対応付けられている明るさ変化用記憶部７内の背景画像情報は、変化後の明るさの撮像領域１０の画像から得られた画像情報とほぼ一致すると考えることができることから、明るさ変化用記憶部７内の当該背景画像情報は変化後の明るさに応じた背景画像情報であると言える。したがって、登録部３３は、明るさ変化用記憶部７内の各背景画像情報に対応付けられている輝度ヒストグラムの中に、変化後の明るさに応じた入力画像２００の輝度ヒストグラムと類似する輝度ヒストグラムが存在する場合には、変化後の明るさに応じた背景画像情報が明るさ変化用記憶部７に既に登録されていると判定する。一方で、登録部３３は、明るさ変化用記憶部７内の各背景画像情報に対応付けられている輝度ヒストグラムの中に、変化後の明るさに応じた入力画像２００の輝度ヒストグラムと類似する輝度ヒストグラムが存在しない場合には、変化後の明るさに応じた背景画像情報が明るさ変化用記憶部７に登録されていないと判定してステップｓ１３３を実行する。
２つの輝度ヒストグラムが類似するか否かについては、当該２つの輝度ヒストグラムの類似度を求めて、当該類似度がしきい値以下であれば、当該２つの輝度ヒストグラムは類似していると判定できる。この類似度は、値が小さいほど、２つの輝度ヒストグラムが類似していることを意味している。ヒストグラム間の類似度としては、ヒストグラム間の距離を表すBhattacharyya距離あるいは相関係数などを使用することができる。
なお、入力画像２００についての輝度ヒストグラムは、その入力画像２００の特徴を表すのであれば、入力画像２００すべての画素の輝度を使用して生成しても良いし、入力画像２００の一部の画素の輝度を使用して生成しても良い。
このように、明るさ変化検出処理では、撮像領域１０の明るさの変化が検出された場合、変化後の明るさに対応する背景画像情報が明るさ変化用記憶部７内に登録されていないときには、変化後の明るさに応じた入力画像２００の画像情報が背景画像情報として明るさ変化用記憶部７に登録される。したがって、明るさ変化用記憶部７内には、撮像領域１０の明るさごとに、その明るさに応じた背景画像情報が一つ登録される。よって、撮像領域１０の明るさごとに複数の背景画像情報が明るさ変化用記憶部７に登録される場合と比較して、明るさ変化用記憶部７内の情報量を低減することができる。
例えば、図３に示される撮像領域１０の場合であって、会議室１００の照明がオンとオフの２段階だけ調整可能な場合には、照明がオンのときの会議室１００の明るさに応じた背景画像情報と、照明がオフのときの会議室１００の明るさに応じた背景画像情報とが明るさ変化用記憶部７に記憶される。また、照明がＬＥＤ（Light Emitting Diode）等で構成され、照明の輝度が３段階以上調整可能な場合には、照明の輝度の各段階での会議室１００の明るさに応じた背景画像情報が明るさ変化用記憶部７内に記憶される。本実施の形態では、明るさ変化記憶部７内の背景画像情報は削除されない。
なお、明るさ変化用記憶部７内の背景画像情報に含まれる、一つの画像ブロックを構成する複数の画素の画素値についても背景画像情報と見ることができることから、前者の「背景画像情報」と後者の「背景画像情報」とを区別するために、前者の「背景画像情報」を「背景ブロック画像情報群」と呼び、後者の「背景画像情報」を「背景ブロック画像情報」と呼ぶことがある。明るさ変化用記憶部７内には、撮像領域１０の明るさごとに、その明るさに応じた背景ブロック画像情報群が記憶されている。そして、各背景ブロック画像情報群には、撮像領域１０の各撮像ブロックに対応して背景ブロック画像情報が含まれている。
＜動体検出処理＞
次にステップｓ１２での動体検出処理について説明する。図１０は動体検出処理を示すフローチャートである。図１０に示されるように、ステップｓ１２１において、動体検出部３１は、撮像領域１０のある撮像ブロック（例えば、撮像領域１０における左上の撮像ブロック）を注目撮像ブロックとし、上述のステップｓ１１で入力された処理対象の入力画像２００（検出対象画像２００）における、注目撮像ブロックの画像を示す画像ブロック（以後、「注目画像ブロック」と呼ぶことがある）に対して動体検出を行う。
ステップｓ１２１が実行されると、ステップｓ１２２において、動体検出部３１は、ステップｓ１２１での動体検出の結果を記憶する。そして、動体検出部３１は、ステップｓ１２３において、撮像領域１０における全ての撮像ブロックについて処理が行われた否か、つまり、全ての撮像ブロックを注目撮像ブロックに設定したか否かを判定する。ステップｓ１２３での判定の結果、処理が行われていない撮像ブロックが存在する場合には、動体検出部３１は、未だ処理が行われていない撮像ブロックを新たな注目撮像ブロックとして、ステップｓ１２１以降を実行する。一方で、ステップｓ１２３での判定の結果、撮像領域１０における全ての撮像ブロックについて処理が行われている場合には、つまり、入力画像２００の全領域に対して動体検出が完了している場合には、動体検出部３１は動体検出処理を終了する。これにより、動体検出部３１には、入力画像２００を構成する複数の画像ブロックに対する動体検出の結果が記憶される。この検出結果は、検出結果出力部４に入力される。
＜動体検出の詳細＞
次にステップｓ１２１での動体検出の詳細について説明する。図１１はステップｓ１２１の処理を詳細に説明するフローチャートである。ステップｓ１２１では、注目画像ブロックの画像情報と、背景モデル５００における、注目撮像ブロックに対応するコードブックＣＢに含まれる各コードワードＣＷ中の背景画像情報とが使用された判定処理と、注目画像ブロックの画像情報と、明るさ変化用記憶部７内の各背景ブロック画像情報群に含まれる、注目撮像ブロックの画像から得られた背景ブロック画像情報とが使用された判定処理とが行われる。以後、背景モデル５００における、注目撮像ブロックに対応するコードブックＣＢを「対応コードブックＣＢ」と呼ぶことがある。また、対応コードブックに含まれるコードワードＣＷを「対応コードワードＣＷ」と呼ぶことがある。また、明るさ変化用記憶部７内の背景ブロック画像情報群に含まれる、注目撮像ブロックの画像から得られた背景ブロック画像情報を「対応背景ブロック画像情報」と呼ぶことがある。
図１１に示されるように、ステップｓ１２１では、まずステップｓ２０１において、動体検出部３１は、注目画像ブロックから取得される画像情報と、対応コードブックＣＢに含まれる各対応コードワードＣＷ中の背景画像情報とが一致するか否かを判定する。注目画像ブロックの画像情報と、対応コードブックＣＢに含まれる各対応コードワードＣＷ中の背景画像情報とが一致する場合には、ステップｓ２０２において、動体検出部３１は、注目画像ブロックは動体画像ではないと、つまり背景画像であると判定する。
一方で、ステップｓ２０１がＮｏの場合、つまり、注目画像ブロックの画像情報と一致しない背景画像情報が、対応コードブックＣＢに含まれる複数の対応コードワードＣＷにそれぞれ含まれる複数の背景画像情報に含まれる場合には、ステップｓ２０３において、動体検出部３１は、注目画像ブロックの画像情報と一致する背景ブロック画像情報が、明るさ変化用記憶部７内の複数の背景ブロック画像情報群にそれぞれ含まれる複数の対応背景ブロック画像情報に含まれるか否かを判定する。注目画像ブロックの画像情報と一致する背景ブロック画像情報が、明るさ変化用記憶部７内の複数の背景ブロック画像情報群にそれぞれ含まれる複数の対応背景ブロック画像情報に含まれる場合には、動体検出部３１は、ステップｓ２０２を実行して、注目画像ブロックは動体画像ではないと判定する。
一方で、ステップｓ２０３において、注目画像ブロックの画像情報と一致する背景ブロック画像情報が、明るさ変化用記憶部７内の複数の背景ブロック画像情報群にそれぞれ含まれる複数の対応背景ブロック画像情報に含まれない場合には、動体検出部３１は、ステップｓ２０４において、注目画像ブロックは動体画像であると判定する。ステップｓ２０２，ｓ２０４が実行されると、ステップｓ１２１は終了する。
このように、本実施の形態では、注目画像ブロックの画像情報と、対応コードブックＣＢに含まれる各対応コードワードＣＷ中の背景画像情報とが一致する場合、あるいは注目画像ブロックの画像情報と一致する背景ブロック画像情報が、明るさ変化用記憶部７内の複数の背景ブロック画像情報群にそれぞれ含まれる複数の対応背景ブロック画像情報に含まれる場合には、注目画像ブロックは背景画像であると判定される。そして、注目画像ブロックの画像情報と一致しない背景画像情報が、対応コードブックＣＢに含まれる複数の対応コードワードＣＷにそれぞれ含まれる複数の背景画像情報に含まれ、かつ注目画像ブロックの画像情報と一致する背景ブロック画像情報が、明るさ変化用記憶部７内の複数の背景ブロック画像情報群にそれぞれ含まれる複数の対応背景ブロック画像情報に含まれない場合には、注目画像ブロックは動体画像であると判定される。
なお、ステップｓ２０１とステップｓ２０３が実行される順序は入れ替えても良い。以後、動体画像であると判定された画像ブロックを「動体画像ブロック」と呼ぶことがある。
次にステップｓ２０１，ｓ２０３での具体的な判定手法を説明する。まずステップｓ２０１での具体的な判定手法を図１２，１３を用いて説明する。
図１２は、入力画像２００の注目画像ブロック及び背景モデル５００の対応コードワードＣＷのそれぞれからベクトルを抽出する様子を表した図である。図１３は、入力画像２００の注目画像ブロックから抽出されたベクトルと、背景モデル５００の対応コードワードＣＷから抽出されたベクトルとの関係を示す図である。
本実施の形態では、入力画像２００中の注目画像ブロックの画像情報がベクトルとして扱われる。また、背景モデル５００中の各対応コードワードＣＷについて、当該対応コードワードＣＷに含まれる背景画像情報がベクトルとして扱われる。そして、ステップｓ２０１では、注目画像ブロックの画像情報についてのベクトルと、各対応コードワードＣＷの背景画像情報についてのベクトルとが、同じ方向を向いているか否かに基づいて、注目画像ブロックの画像情報と各対応コードワードＣＷの背景画像情報とが一致するか否かが判定される。この２種類のベクトルが同じ方向を向いている場合には、注目画像ブロックの画像情報と、各対応コードワードＣＷの背景ブロック画像情報とは一致すると考えることができる。したがって、この場合には、入力画像２００中の注目画像ブロックは、背景を示す画像と変わらず、動体画像ではないと判定される。一方、２種類のベクトルが同じ方向を向いていない場合には、注目画像ブロックの画像情報と、各対応コードワードＣＷの背景ブロック画像情報とは一致しないと考えることができる。
具体的には、動体検出部３１は、入力画像２００中の注目画像ブロックに含まれる複数の画素の画素値を成分とした画像ベクトルｘｆを生成する。図１２には、９個の画素を有する注目画像ブロック２１０の各画素の画素値を成分とした画像ベクトルｘｆが示されている。図１２の例では、各画素は、Ｒ（赤）、Ｇ（緑）及びＢ（青）の画素値を有しているため、画像ベクトルｘｆは、２７個の成分で構成されている。
同様に、動体検出部３１は、背景モデル５００の対応コードブックＣＢに含まれる対応コードワードＣＷ中の背景画像情報を用いて、背景画像情報に関するベクトルである背景ベクトルを生成する。図１２に示される対応コードワードの背景画像情報５１０には、９個の画素についての画素値が含まれている。したがって、当該９個の画素についての画素値を成分とした背景ベクトルｘｂが生成される。背景ベクトルｘｂについては、対応コードブックＣＢに含まれる複数のコードワードＣＷのそれぞれから生成される。したがって、一つの画像ベクトルｘｆに対して複数の背景ベクトルｘｂが生成される。
上述のように、画像ベクトルｘｆと各背景ベクトルｘｂとが同じ方向を向いている場合、入力画像２００中の注目画像ブロックは、背景を示す画像と変わらないことになる。しかしながら、画像ベクトルｘｆ及び各背景ベクトルｘｂには、ある程度のノイズ成分が含まれていると考えられることから、画像ベクトルｘｆと各背景ベクトルｘｂとが完全に同じ方向を向いていなくても、入力画像２００中の注目画像ブロックは背景を示す画像であると判定することができる。
そこで、本実施の形態では、画像ベクトルｘｆ及び各背景ベクトルｘｂに、ある程度のノイズ成分が含まれていることを考慮して、画像ベクトルｘｆと各背景ベクトルｘｂとが完全に同じ方向を向いていない場合であっても、入力画像２００中の注目画像ブロックは背景を示す画像であると判定する。
画像ベクトルｘｆ及び背景ベクトルｘｂにノイズ成分が含まれていると仮定すると、真のベクトルｕに対する画像ベクトルｘｆと背景ベクトルｘｂとの関係は、図１３のように表すことができる。本実施の形態では、画像ベクトルｘｆと背景ベクトルｘｂとが、どの程度同じ方向を向いているかを示す評価値として、以下の（１）で表される評価値Ｄ２を考える。
Figure 2016015015
そして、行列Ｘを画像ベクトルｘｆと背景ベクトルｘｂとを用いて、式（２）のように表すと、評価値Ｄ２は、２×２行列ＸＸＴの非ゼロの最小固有値となる。したがって、評価値Ｄ２については解析的に求めることができる。なお、評価値Ｄ２が２×２行列ＸＸＴの非ゼロの最小固有値となることについては、上記の非特許文献３に記載されている。
Figure 2016015015
上述のように、一つの画像ベクトルｘｆに対して複数の背景ベクトルｘｂが生成されることから、画像ベクトルｘｆと背景ベクトルｘｂとを用いて表される評価値Ｄ２の値も、背景ベクトルｘｂの数と同じ数だけ得られることになる。
注目画像ブロックの画像情報と、対応コードブックＣＢに含まれる各対応コードワードＣＷ中の背景画像情報とが一致するか否かの判定は、評価値Ｄ２の複数の値のうちの最小値Ｃと、評価値Ｄ２の複数の値についての平均値μ及び標準偏差σとを用いて表される、以下の式（３）で示される判定式が用いられる。この判定式はチェビシェフ（Chebyshev）の不等式と呼ばれる。
Figure 2016015015
ここで、式（３）のｋは定数であって、入力画像２００を撮像する撮像部の撮像環境（撮像部が設置される環境）等に基づいて定められる値である。定数ｋは実験等によって決定される。
動体検出部３１は、判定式（不等式）を満たす場合、画像ベクトルｘｆと各背景ベクトルｘｂとが同じ方向を向いていないと考えて、注目画像ブロックの画像情報と、対応コードブックＣＢに含まれる各対応コードワードＣＷ中の背景画像情報とが一致しないと判定する。つまり、動体検出部３１は、注目画像ブロックの画像情報と一致しない背景画像情報が、対応コードブックＣＢに含まれる複数の対応コードワードＣＷにそれぞれ含まれる複数の背景画像情報に含まれると判定する。一方で、動体検出部３１は、判定式を満たさない場合、画像ベクトルｘｆと各背景ベクトルｘｂとは同じ方向を向いていると考えて、注目画像ブロックの画像情報と、対応コードブックＣＢに含まれる各対応コードワードＣＷ中の背景画像情報とが一致すると判定する。つまり、動体検出部３１は、注目画像ブロックは動体画像ではないと判定する。
このように、本実施の形態では、注目画像ブロックから得られた画像ベクトルの方向と、各対応コードワードＣＷから得られた背景ベクトルの方向とが、同じか否かに基づいて動体検出が行われているため、本実施の形態に係る動体検出手法は、日照変化あるいは照明変化などの撮像領域１０での明るさの変化に対して比較的頑健な動体検出手法である。
次にステップｓ２０３での具体的な判定手法を説明する。ステップｓ２０３においても、注目画像ブロックの画像情報から画像ベクトルｘｆが生成される。また、対応コードワードの背景画像情報についての背景ベクトルｘｂと同様にして、明るさ変化用記憶部７内の各背景ブロック画像情報群について、当該背景ブロック画像情報群に含まれる対応背景ブロック画像情報から背景ベクトルｘｂが生成される。動体検出部３１は、画像ベクトルｘｆと、明るさ変化用記憶部７内の各背景ブロック画像情報群に含まれる対応背景ブロック画像情報についての背景ベクトルｘｂとが同じ方向を向いているか否かを判定する。動体検出部３１は、画像ベクトルｘｆと背景ベクトルｘｂとが同じ方向を向いているか否かを判定する場合には、上記の評価値Ｄ２を使用する。動体検出部３１は、画像ベクトルｘｆ及び背景ベクトルｘｂについて求めた評価値Ｄ２が所定のしきい値以下の場合には、当該画像ベクトルｘｆ及び当該背景ベクトルｘｂは同じ方向を向いていると判定し、評価値Ｄ２が所定のしきい値未満の場合には、当該画像ベクトルｘｆ及び当該背景ベクトルｘｂは同じ方向を向いていていないと判定する。そして、動体検出部３１は、明るさ変化用記憶部７内の複数の背景ブロック画像情報群にそれぞれ含まれる複数の対応背景ブロック画像情報についての背景ベクトルｘｂの中に、画像ベクトルｘｆと同じ方向を向いている背景ベクトルｘｂが存在する場合には、注目画像ブロックの画像情報と一致する背景ブロック画像情報が、明るさ変化用記憶部７内の複数の背景ブロック画像情報群にそれぞれ含まれる複数の対応背景ブロック画像情報に含まれていると判定する。つまり、動体検出部３１は、注目画像ブロックが動体画像ではないと判定する。
一方で、動体検出部３１は、明るさ変化用記憶部７内の複数の背景ブロック画像情報群にそれぞれ含まれる複数の対応背景ブロック画像情報についての背景ベクトルｘｂの中に、画像ベクトルｘｆと同じ方向を向いている背景ベクトルｘｂが存在しない場合には、注目画像ブロックの画像情報と一致する背景ブロック画像情報が、明るさ変化用記憶部７内の複数の背景ブロック画像情報群にそれぞれ含まれる複数の対応背景ブロック画像情報に含まれていないと判定する。
このように、本実施の形態に係る動体検出処理は、入力画像２００と、背景モデル５００と、明るさ変化用記憶部７内での、撮像領域１０の各明るさに応じた背景画像情報とが使用されて、当該入力画像２００に含まれる動体画像が検出されている。
＜背景モデル更新処理＞
次にステップｓ１４での背景モデル更新処理について説明する。背景モデル更新処理では、キャッシュモデルを記憶するキャッシュモデル記憶部６が使用される。キャッシュモデルには、背景モデル５００に登録される背景画像情報の候補である背景画像情報候補が含められる。
ここで、日照変化あるいは照明変化などによる撮像領域１０の明るさの変化や撮像領域１０でのレイアウト変更等によって入力画像２００の画像情報が大きく変化すると、動体検出部３１は、入力画像２００に含まれる、背景を示す画像ブロックを誤って動体画像であると判定する可能性がある。したがって、動体検出部３１において動体画像あると判定された画像ブロックの画像情報が、実際には背景の画像情報である可能性がある。
そこで、本実施の形態では、背景モデル更新部３４は、動体検出部３１において動体画像であると判定された画像ブロックの画像情報を背景画像情報候補として、いったんキャッシュモデルに登録する。そして、背景モデル更新部３４は、登録判定期間に入力される複数枚の入力画像２００に基づいて、キャッシュモデルに登録した背景候補画像情報が、背景の画像情報であるか否かを判定する。背景モデル更新部３４は、キャッシュモデルに登録した背景画像情報候補が背景の画像情報であると判定すると、当該背景画像情報候補を背景画像情報として背景モデル５００に登録する。つまり、背景モデル更新部３４は、登録判定期間に入力される複数枚の入力画像２００に基づいて、キャッシュモデル記憶部６に記憶した背景画像情報候補を背景画像情報として背景モデル５００に登録するか否かを判定する。
図１４は背景モデル更新処理を示すフローチャートである。図１４に示されるように、ステップｓ１４１において、背景モデル更新部３４は、撮像領域１０のある撮像ブロックを注目撮像ブロックとし、上述のステップｓ１１で入力された処理対象の入力画像２００における、注目撮像ブロックの画像を示す画像ブロック（注目画像ブロック）が動体検出部３１において動体画像であると判定されたか否かを判定する。ステップｓ１４１において、注目画像ブロックが動体検出部３１において動体画像ではないと判定されたと判断されると、背景モデル更新部３４はステップｓ１４２を実行する。
ここで、ステップｓ１４２が実行されるのは、上述のステップｓ２０１でＹｅｓと判断されて、注目画像ブロックが動体画像ではないと判定された場合ある。したがって、ステップｓ２０３でＹｅｓと判断されて、注目画像ブロックが動体画像ではないと判定された場合には、ステップｓ１４２は実行されない。
ステップｓ１４２では、背景モデル更新部３４は、注目画像ブロックの画像情報と一致すると判定された背景画像情報を含む、背景モデル５００中のコードワードＣＷの最新一致時刻Ｔｅを現在時刻に変更する。このとき、当該コードワードＣＷの背景画像情報は変更されない。
一方で、ステップｓ１４１において、注目画像ブロックが動体検出部３１において動体画像であると判定されたと判断されると、背景モデル更新部３４はステップｓ１４３を実行する。ステップｓ１４３では、キャッシュモデルの更新が行われる。具体的には、背景モデル更新部３４は、注目画像ブロックの画像情報が、キャッシュモデル記憶部６内のキャッシュモデルに含まれていない場合には、当該画像情報を背景画像情報候補として含むコードワードＣＷを生成してキャッシュモデルに登録する。このコードワードＣＷには、画像情報（背景画像情報候補）以外にも、最新一致時刻Ｔｅ及びコードワード生成時刻Ｔｉが含まれている。ステップｓ１４３で生成されたコードワードＣＷに含まれる最新一致時刻Ｔｅは、暫定的に、コードワード生成時刻Ｔｉと同じ時刻に設定される。また背景モデル更新部３４は、注目画像ブロックの画像情報が、キャッシュモデル記憶部６内のキャッシュモデルに含まれている場合には、つまり、注目画像ブロックの画像情報と一致する背景画像情報候補がキャッシュモデルに含まれている場合には、キャッシュモデルにおける、当該背景画像情報候補を含むコードワードＣＷ中の最新一致時刻Ｔｅを現在時刻に変更する。
このように、ステップｓ１４３では、不足している画像情報を含むコードワードＣＷのキャッシュモデルへの追加、あるいはキャッシュモデル中のコードワードＣＷの最新一致時刻Ｔｅの更新が行われる。
ステップｓ１４２あるいはステップｓ１４３が実行されると、ステップｓ１４４において、背景モデル更新部３４は、撮像領域１０における全ての撮像ブロックについて処理が行われた否か、つまり、全ての撮像ブロックを注目撮像ブロックに設定したか否かを判定する。ステップｓ１４４において、処理が行われていない撮像ブロックが存在すると判定された場合には、背景モデル更新部３４は、未だ処理が行われていない撮像ブロックを新たな注目撮像ブロックとして、ステップｓ１４１以降を実行する。一方で、ステップｓ１４４において、撮像領域１０における全ての撮像ブロックについて処理が行われたと判定されると、背景モデル更新部３４はステップｓ１４５を実行する。
ステップｓ１４５では、キャッシュモデルに含まれる、最新一致時刻Ｔｅが所定期間更新されていないコードワードＣＷが削除される。つまり、キャッシュモデル中のコードワードＣＷに含まれる画像情報が、ある程度の期間、入力画像２００から取得された画像情報と一致しない場合には、当該コードワードＣＷが削除される。コードワードＣＷに含まれる画像情報が、背景の画像情報である場合には、つまり入力画像２００に含まれる、背景を示す画像から取得された画像情報である場合には、当該コードワードＣＷ中の最新一致時刻Ｔｅは頻繁に更新されることから、最新一致時刻Ｔｅが所定期間更新されていないコードワードＣＷに含まれる画像情報については、入力画像２００に含まれる動体画像から取得された画像情報である可能性が高いと考えることができる。最新一致時刻Ｔｅが所定期間更新されていないコードワードＣＷがキャッシュモデルから削除されることによって、動体画像の画像情報がキャッシュモデルから削除される。以後、この所定期間を「削除判定用期間」と呼ぶことがある。削除判定用期間は、日照変化あるいは照明変化などの撮像領域１０での明るさの変化、及びポスターの設置あるいは机の配置変更などの環境の変化等による画像情報の変化と、検出対象とする人等の動体が動くときに生じる画像情報の変化とを区別するために予め設定される期間である。例えば、入力画像２００を撮像する撮像部の撮像フレームレートが３０ｆｐｓであり、撮像領域１０が会議室１００（図４参照）であるとすると、削除判定用期間は、数フレーム分から数十フレーム分の入力画像２００が入力される期間に設定される。
ステップｓ１４５において、キャッシュモデルに含まれる、最新一致時刻Ｔｅが削除判定用期間更新されていないコードワードＣＷが削除されると、背景モデル更新部３４はステップｓ１４６を実行する。ステップｓ１４６では、背景モデル更新部３４は、キャッシュモデルに登録されているコードワードＣＷのうち、キャッシュモデルに登録されてから登録判定期間経過しているコードワードＣＷを、背景モデル記憶部５内の背景モデル５００に登録する。背景モデル５００に登録されたコードワードＣＷはキャッシュモデルから削除される。登録判定期間は削除判定用期間よりも大きな値に設定される。登録判定期間は、削除判定用期間よりも例えば数倍程度大きな値に設定される。本実施の形態では、登録判定期間はフレーム数で表されるものとする。登録判定期間が例えば“５０”であるとすると、登録判定期間は、５０フレーム分の入力画像２００が入力される期間となる。
ここで、背景モデル更新部３４が、キャッシュモデル内のコードワードＣＷ（背景画像情報候補）を、キャッシュモデルに登録してから登録判定期間経過するまでに削除するということは、背景モデル更新部３４が、登録判定期間において入力される複数枚の入力画像２００に基づいて、キャッシュメモリに登録したコードワードＣＷ（背景画像情報候補）を背景モデル５００に登録しないと判定したことを意味している。一方で、背景モデル更新部３４が、キャッシュモデル内のコードワードＣＷ（背景画像情報候補）を、キャッシュモデルに登録してから登録判定期間経過するまで削除しないということは、背景モデル更新部３４が、登録判定期間において入力される複数枚の入力画像２００に基づいて、キャッシュメモリに登録したコードワードＣＷ（背景画像情報候補）を背景モデル５００に登録すると判定したことを意味している。
なお、ステップｓ１４３では、コードワードＣＷが生成されると、当該コードワードＣＷはすぐにキャッシュメモリに登録されることから、コードワードＣＷがキャッシュモデル内に登録された時刻として、当該コードワードＣＷに含まれるコードワード生成時刻Ｔｉを使用することができる。
このように、背景モデル更新部３４は、登録判定期間において入力される複数枚の入力画像２００に基づいて、キャッシュモデルに登録された背景画像情報候補を背景画像情報として背景モデル５００に登録するか否かを判定していることから、動体検出部３１において動体画像であると誤って判定された画像ブロックの画像情報を、背景画像情報として背景モデル５００に登録することができる。よって、背景モデル５００を適切に更新することができ、動体検出部３１での動体検出の精度が向上する。
ステップｓ１４６が終了すると、ステップｓ１４７において、背景モデル更新部３４は、背景モデル５００に含まれるコードワードＣＷにおいて、入力画像２００の画像情報と所定期間にわたって一致しなかった背景画像情報を含むコードワードＣＷを削除する。つまり、背景モデル更新部３４は、背景モデル５００に含まれる、最新一致時刻Ｔｅが所定期間更新されていないコードワードＣＷを削除する。これにより、撮像領域１０において、時系列的な撮像環境の変化により既に背景ではなくなった撮像ブロックの画像から取得された画像情報を含むコードワードＣＷを背景モデル５００から削除することができる。よって、背景モデル５００の情報量を低減することができる。
このような背景モデルの更新処理を行うことによって、撮像領域１０での明るさの変化等の撮像環境の変化が生じた場合であっても、撮像環境の変化に追従した背景モデル５００（像環境の変化に応じた背景モデル５００）を用いて動体検出を行うことができる。よって、動体検出の精度が向上する。
＜明るさ変化検出処理の変化判定条件について＞
上述のステップｓ１３１で使用される変化判定条件については様々な条件が考えられる。以下では３種類の変化判定条件について説明する。
＜第１変化判定条件＞
撮像領域１０の明るさが変化すると、入力画像２００全体で画像情報が変化することがあり、入力画像２００での動体領域（入力画像２００に含まれるすべての動体画像ブロックから成る領域）の割合が大きくなることがある。
そこで、変化検出部３２は、ステップｓ１３１において、処理対象の入力画像２００での動体領域の割合Ｒｄがしきい値ｔｈ１よりも大きいか否かを判定する。つまり、変化検出部３２は、以下の式（４）で示される第１変化判定条件を満たすか否かを判定する。そして、変化検出部３２は、第１変化判定条件を満たす場合には（式（４）を満たす場合には）、撮像領域１０の明るさが変化したと判定する。
Figure 2016015015
ここで、式（４）中のＰｄは、処理対象の入力画像２００での動体領域の画素数を示しており、Ｐａは、当該入力画像２００の全画素数を示している。入力画像２００中の動体領域の画素数Ｐｄは、当該入力画像２００に含まれる動体画像ブロックの数に、１つの画像ブロックに含まれる画素数を乗じることによって得ることができる。変化検出部３２は、ステップｓ１２での動体検出処理の結果に基づいて、処理対象の入力画像２００での動体領域の割合Ｒｄを求める。
＜第２変化判定条件＞
入力画像２００を撮像する撮像部の撮像環境（撮像部が設置される環境）等によっては、撮像領域の明るさが変化した場合、入力画像２００において画像情報が変化した領域全体での面積はそれほど大きくはないものの、入力画像２００全体に渡って、画像情報が変化した領域が繋がって広がることがある。
そこで、変化検出部３２は、処理対象の入力画像２００に含まれる動体領域に対して、４連結あるいは８連結等を用いたラベリング処理を行う。これにより、隣接する複数の動体画像ブロックが連結して一つのラベリング領域となる。動体領域は少なくとも一つのラベリング領域で構成される。動体領域に含まれるラベリング領域は、動体領域に含まれる独立領域（島領域）であるとも言える。そして、変化検出部３２は、ラベリング処理によって得られたラベリング領域の外接矩形を求める。変化検出部３２は、求めたラベリング領域において、その外接矩形の面積がしきい値よりも大きいラベリング領域が存在する場合には、撮像領域１０の明るさが変化したと判断する。つまり、変化検出部３２は、求めたラベリング領域において、その外接矩形の面積がしきい値よりも大きいラベリング領域が存在するか否かを第２変化判定条件として、当該第２変化判定条件が満たされる場合には、撮像領域１０の明るさが変化したと判定する。
なお、変化検出部３２は、求めたラベリング領域において、その外接矩形の幅及び高さの少なくとも一方がしきい値よりも大きいラベリング領域が存在する場合には、撮像領域１０の明るさが変化したと判断しても良い。つまり、変化検出部３２は、求めたラベリング領域において、その外接矩形の幅及び高さの少なくとも一方がしきい値よりも大きいラベリング領域が存在するか否かを第２変化判定条件としても良い。
＜第３変化判定条件＞
上記の第１及び第２変化判定条件では、撮像領域１０において明るさが急激に変化したことは検出できるものの、撮像領域１０において明るさが徐々に変化する場合には、撮像領域１０での明るさの変化を検出することが難しい。また、第１及び第２変化判定条件では、撮像領域１０において明るさが大きくなったり小さくなったりするような変化、つまり撮像領域１０での明るさの変動を検出することは難しい。撮像領域１０において明るさが徐々に変化する場合や、撮像領域１０において明るさが変動する場合には、複数枚の入力画像２００の間での画面全体の平均輝度値は不安定となる。
そこで、変化検出部３２は、以下の式（５）を用いて、処理対象の入力画像２００と、それよりも前の入力画像２００とで構成された（Ｎ＋１）枚の入力画像２００の間での画像全体の平均輝度値についての不安定度Ｖを求める（Ｎ≧１）。ここで、Ｎは、例えば登録判定期間を表すフレーム数よりも大きい値に設定される。
Figure 2016015015
そして、変化検出部３２は、求めた不安定度Ｖがしきい値ｔｈ２よりも大きい場合には、撮像領域１０の明るさが変化したと判定する。つまり、変化検出部３２は、以下の式（６）で示される第３変化判定条件を満たすか否かを判定し、第３判定条件を満たす場合には（式（６）を満たす場合には）、撮像領域１０の明るさが変化したと判定する。
Figure 2016015015
式（５）中のｖｉは、（Ｎ＋１）枚の入力画像２００に対して古いものから順に０番からＮ番までの番号をそれぞれ付与した場合のｉ番目（０≦ｉ≦Ｎ）の入力画像２００全体での平均輝度値を示している。また式（５）中のＭは、（Ｎ＋１）枚の入力画像２００についての平均輝度値の平均値を示しており、以下の式（７）で表される。
Figure 2016015015
変化検出部３２は、式（６）で示される第３判定条件の代わりに、以下の式（８）で示される第３判定条件を用いても良い。式（８）中のｔｈ２０はしきい値を示している。
Figure 2016015015
なお、変化検出部３２は、上記の第１乃至第３変化判定条件のうちの複数の変化判定条件を使用し、当該複数の変化判定条件の少なくとも一つの変化判定条件を満たす場合には、撮像領域１０の明るさが変化したと判定しても良い。例えば、変化検出部３２は、第１及び第２変化判定条件のうちの少なくとも一つの変化判定条件を満たす場合には、撮像領域１０の明るさが変化したと判定する。あるいは、変化検出部３２は、第１及び第３変化判定条件のうちの少なくとも一つの変化判定条件を満たす場合には、撮像領域１０の明るさが変化したと判定する。あるいは、変化検出部３２は、第１乃至第３変化判定条件のうちの少なくとも一つの判定条件を満たす場合には、撮像領域１０の明るさが変化したと判定する。
以上のように、本実施の形態では、撮像領域１０の明るさの変化が検出されたとき、変更後の明るさに応じた入力画像２００に関する画像情報が背景画像情報として明るさ変化用記憶部７に登録され、検出対象物の検出には明るさ変化用記憶部７内の背景画像情報も使用される。したがって、撮像領域１０の明るさが変化したときに、背景モデル５００が変化後の明るさに対応していなかったとしても、検出対象物を適切に検出することができる。よって、検出対象物の検出精度が向上する。
上述のように、背景モデル５００は、動体検出部３１での動体検出の結果に基づいて更新されることから、背景モデル５００には、撮像領域１０の現在の明るさに応じた背景画像情報は登録されているものの、撮像領域１０の以前の明るさに応じた背景画像情報は登録されていない可能性が高い。具体的には、上述のステップｓ１４７において、入力画像２００の画像情報と所定期間にわたって一致しなかった背景画像情報を含むコードワードＣＷが背景モデル５００から削除されることから、撮像領域１０の以前の明るさに応じた背景画像情報が背景モデル５００内に存在しない可能性が高い。したがって、撮像領域１０の明るさが変化したときには、変化後の明るさに応じた背景画像情報は背景モデル５００に登録されていない可能性が高い。例えば、会議室１００の照明が暗くなって撮像領域１０が暗くなると、暗くなる前の撮像領域１０の明るさに応じた背景画像情報は背景モデル５００に登録されているものの、暗くなった後の撮像領域１０の明るさに応じた背景画像情報は背景モデル５００に登録されていない可能性が高い。よって、本実施の形態とは異なり、入力画像２００と背景モデル５００だけを使用して動体検出を行うと、撮像領域１０の明るさが変化したときに、誤検出が頻繁に発生する可能性がある。一方で、撮像領域１０の明るさが変化した後、背景モデル５００は動体検出結果に基づいて随時更新されることから、撮像領域１０の明るさが変化した後、しばらく経過すると、変化後の明るさに応じた背景画像情報は背景モデル５００に登録されるようになり、その結果、変化後の明るさに応じた背景モデル５００が生成されるようになる。したがって、入力画像２００と背景モデル５００だけを使用して動体検出を行うと、撮像領域１０の明るさが変化したときに、変化後の明るさに応じた背景モデル５００が生成されるまで、誤検出が頻繁に発生する可能性がある。
本実施の形態では、撮像領域１０の明るさの変化が検出されたとき、変更後の明るさに応じた入力画像２００に関する画像情報が背景画像情報として明るさ変化用記憶部７に登録されることから、明るさ変化用記憶部７には、撮像領域１０の現在の明るさに応じた背景画像情報だけではなく、撮像領域１０の以前の明るさに応じた背景画像情報が記憶されるようになる。つまり、撮像領域１０の明るさが変化したときには、その変化後の明るさに応じた背景画像情報が明るさ変化用記憶部７内に存在し、その背景画像情報を動体検出にすぐに使用することが可能となる。したがって、検出対象物の検出に、背景モデル５００だけではなく、明るさ変化用記憶部７内の背景画像情報も使用することによって、撮像領域１０の明るさが変化したときに誤検出が発生することを抑制することができる。よって、検出対象物の検出精度が向上する。
また本実施の形態では、登録部３３は、明るさ変化用記憶部７内の各背景画像情報に対応付けられている輝度ヒストグラムの中に、変化後の明るさに応じた入力画像２００の輝度ヒストグラムと類似する輝度ヒストグラムが存在しない場合には、変化後の明るさに応じた背景画像情報が明るさ変化用記憶部７に登録されていないと判定して、変化後の明るさに応じた入力画像２００の画像情報を背景画像情報として明るさ変化用記憶部７に登録している。そして、登録部３３は、明るさ変化用記憶部７内の背景画像情報に対応付けられている輝度ヒストグラムと、変化後の明るさに応じた入力画像２００の輝度ヒストグラムとが類似するか否かについては、当該２つの輝度ヒストグラムの類似度を求めて、当該類似度がしきい値以下であれば、当該２つの輝度ヒストグラムは類似していると判定している。このしきい値を大きくすれば、明るさ変化用記憶部７内の各背景画像情報に対応付けられている輝度ヒストグラムの中に、変化後の明るさに応じた入力画像２００の輝度ヒストグラムと類似する輝度ヒストグラムが存在していると判定され易くなることから、明るさ変化用記憶部７内に登録される背景画像情報の数が少なくなる。よって、当該しきい値を大きくすれば、明るさ変化用記憶部７内の情報量が低減される。
一方で、当該しきい値を小さくすれば、明るさ変化用記憶部７内の各背景画像情報に対応付けられている輝度ヒストグラムの中に、変化後の明るさに応じた入力画像２００の輝度ヒストグラムと類似する輝度ヒストグラムが存在していないと判定され易くなる。つまり、撮像領域１０の明るさが少し変化した場合であっても、変化後の明るさに応じた入力画像２００の画像情報が背景画像情報として明るさ変化用記憶部７に登録されるようになる。したがって、明るさ変化用記憶部７には、撮像領域１０の様々な明るさに応じた背景画像情報が登録されるようになる。よって、当該しきい値を小さくすれば、明るさ変化用記憶部７内の情報量は増加するものの、撮像領域１０の明るさの小さな変化に対応できるようになり、動体検出の精度が向上する。
このように、明るさ変化用記憶部７内の背景画像情報に対応付けられている輝度ヒストグラムと、変化後の明るさに応じた入力画像２００の輝度ヒストグラムとの類似度と比較されるしきい値を調整することによって、明るさ変化用記憶部７内の情報量を低減したり、動体検出の精度を向上したりすることが可能となる。
＜各種変形例＞
＜第１変形例＞
上記の例において、撮像領域１０の明るさの変化が検出されたときに明るさ変化用記憶部７に登録される画像情報が得られた入力画像２００に動体画像が含まれる場合には、当該動体画像の画像情報も明るさ変化用記憶部７に登録される。このような場合に、明るさ変化用記憶部７内の背景画像情報を使用して動体検出を行うと誤検出が生じることがある。
一方で、上述のように、撮像領域１０の明るさが変化した後、背景モデル５００は動体検出結果に基づいて随時更新されることから、撮像領域１０の明るさが変化した後しばらく経過すると、変化後の明るさに応じた背景画像情報が背景モデル５００に登録されるようになり、変化後の明るさに応じた背景モデル５００が生成されるようになる。変化後の明るさに応じた背景モデル５００が生成された後においては、動体検出部３１での誤検出は低減する。
そこで、本変形例では、登録部３３は、撮像領域１０の明るさの変化が検出された後に背景モデル５００が更新されることによって変化後の明るさに応じた背景モデル５００が生成された否かを判定する。そして、登録部３３は、変化後の明るさに応じた入力画像２００のうち、変化後の明るさに応じた背景モデル５００が生成された後に動体検出部３１が検出した動体画像を除く部分に関する画像情報を、背景画像情報として明るさ変化用記憶部７に登録する。これにより、動体画像の画像情報が明るさ変化用記憶部７に登録されることを抑制でき、誤検出が抑制される。
図１５は本変形例に係る明るさ変化検出処理を示すフローチャートである。図１５に示されるように、ステップｓ２３１において、変化検出部３２は、撮像領域１０の明るさが変化したか否かを判定する。上記の例では、変化判定条件が満たされる場合には、撮像領域１０の明るさが変化したと判定しているが、本変形例では、変化判定条件を満たさない状態から満たす状態に変化したときにだけ撮像領域１０の明るさが変化したと判定する。なお、上記の第１乃至第３変化判定条件のうちの複数の変化判定条件を使用し、当該複数の変化判定条件の少なくとも一つの変化判定条件を満たす状態から満たさない状態に変化したときに、撮像領域１０の明るさが変化したと判定しても良い。
ステップｓ２３１において、撮像領域１０の明るさの変化が検出されると、ステップｓ２３２において、登録部３３は、初期登録未完了フラグと全ブロック登録未完了フラグを“１”に設定する。その後、明るさ変化検出処理が終了する。このように、本変形例では、撮像領域１０の明るさの変化が検出された場合、そのときの処理対象の入力画像２００の画像情報は明るさ変化用記憶部７に登録されない。
一方で、ステップｓ２３１において、撮像領域１０の明るさの変化が検出されないときには、ステップｓ２３３において、登録部３３は、初期登録未完了フラグが“１”であるかどうかを判定する。初期登録未完了フラグが“１”の場合には、ステップｓ２３４において、登録部３３は、変化後の明るさに応じた背景モデル５００は生成された否かを判定する。変化後の明るさに応じた背景モデル５００が生成されていないと登録部３３が判定すると、明るさ変化検出処理が終了する。一方で、登録部３３は、変化後の明るさに応じた背景モデル５００が生成されたと判定すると、ステップｓ２３５において、登録部３３は、変化後の明るさに応じた背景画像情報が明るさ変化用記憶部７に既に登録されているか否かを判定する。
ステップｓ２３５において、変化後の明るさに応じた背景画像情報が既に登録されていると判定されると、ステップｓ２３６において、登録部３３は初期登録未完了フラグと全ブロック登録未完了フラグを“０”に設定し、その後、明るさ変化検出処理は終了する。一方でステップｓ２３５において、変化後の明るさに応じた背景画像情報が登録されていないと判定されると、ステップｓ２３７において、登録部３３は、現在の処理対象の入力画像２００のうち、動体検出部３１で検出された動体領域を除く部分に関する画像情報を背景画像情報として明るさ変化用記憶部７に登録する。この背景画像情報は、後述するように更新されることから「更新対象背景画像情報」と呼ぶ。ステップｓ２３７では、処理対象の入力画像２００のうち、動体検出部３１で動体画像であると判定された各画像ブロックの画像情報が明るさ変化用記憶部７に登録されない。ステップｓ２３７が実行されると、ステップｓ２３８において、登録部３３は初期登録未完了フラグを“０”に設定する。
なお上記と同様に、登録部３３は変化後の明るさに応じた入力画像２００の画像情報を背景画像情報として明るさ変化用記憶部７に登録する場合には、当該入力画像２００の輝度ヒストグラムを当該背景画像情報に対応付けて明るさ変化用記憶部７に登録する。本変形例では、登録部３３は、入力画像２００のうち、動体検出部３１で検出された動体領域を除く部分の輝度ヒストグラムを、当該部分の画像情報（背景画像情報）に対応付けて明るさ変化用記憶部７に登録する。
ステップｓ２３７では、処理対象の入力画像２００のうち、動体検出部３１が検出した動体領域を除く部分に関する画像情報が背景画像情報として明るさ変化用記憶部７されることから、更新対象背景画像情報には、明るさが変化した撮像領域１０を構成する複数の撮像ブロックのすべての画像の画像情報は含まれていない。つまり、撮像領域１０を構成する複数の撮像ブロックにおいては、その画像の画像情報が更新対象背景画像情報に含まれていない撮像ブロックが存在する。以後、この撮像ブロックに「未登録撮像ブロック」と呼ぶ。
ステップｓ２３３において、初期登録未完了フラグが“０”であると判定されると、ステップｓ２３９において、登録部３３は全ブロック登録未完了フラグが“１”であるか否かを判定する。ステップｓ２３９において全ブロック登録未完了フラグが“１”であると判定されると、ステップｓ２４０において、登録部３３は、未登録撮像ブロックの画像の画像情報を更新対象背景画像情報に追加する。具体的には、登録部３３は、現在の処理対象の入力画像２００における、動体検出部３１で動体画像ではないと判定された画像ブロックにおいて、未登録撮像ブロックに対応する画像ブロックが存在する場合には、その画像ブロックの画像情報（背景の画像であると判定された画像ブロックの画像情報）を明るさ変化用記憶部７内の更新対象背景画像情報に追加する。
次にステップｓ２４１において、登録部３３は、明るさ変化用記憶部７内の更新対象背景画像情報についての未登録撮像ブロックがいまだ存在するか否かを確認する。登録部３３は、明るさ変化用記憶部７内の更新対象背景画像情報についての未登録撮像ブロックが存在しないときには、つまり、明るさ変化用記憶部７内の更新対象背景画像情報に、明るさが変化した撮像領域１０を構成する複数の撮像ブロックのすべての画像の画像情報が含まれるようになった場合には、ステップｓ２４２において全ブロック登録未完了を“０”に設定し、その後、明るさ変化検出処理が終了する。これにより、更新対象背景画像情報の更新が終了する。一方で、明るさ変化用記憶部７内の更新対象背景画像情報についての未登録撮像ブロックがいまだ存在する場合には、明るさ変化検出処理が終了する。
このように、初期登録未完了フラグは、撮像領域１０の明るさの変化が検出されたときに“１”となり、その後、変化後の明るさに応じた背景画像情報が明るさ変化用記憶部７に登録されると“０”に変化する。一方で、全ブロック登録未完了フラグは、撮像領域１０の明るさの変化が検出されたときに“１”となり、その後、明るさ変化用記憶部７に登録された、変化後の明るさに応じた背景画像情報において、明るさが変化した撮像領域１０を構成する複数の撮像ブロックのすべての画像の画像情報が含まれるようになった場合には“０”に変化する。
本変形例では、ステップｓ２３４において、登録部３３は変化判定条件を用いて、変更後の明るさに応じた背景モデル５００が生成されたか否かを判定する。具体的には、登録部３３は、変化判定条件が満たされている状態から満たされない状態に変化したときに、変更後の明るさに応じた背景モデル５００が生成されたと判定する。
上述のように、撮像領域１０の明るさが変化した後、背景モデル５００は動体検出結果に基づいて随時更新されることから、変化後の明るさに応じた背景画像情報が適宜背景モデル５００に登録されるようになる。そうすると、撮像領域１０の明るさが変化したために大きくなった、入力画像２００での動体領域の割合Ｒｄは小さくなる。そして、背景モデル５００が適切に更新されると、つまり、変化後の明るさに応じた背景モデル５００が生成されると、上述の式（４）が満たされなくなる。
そこで、ステップｓ２３４において第１変化判定条件が使用される場合には、登録部３３は、第１変化判定条件が満たされている状態から満たされない状態に変化したとき、つまり、入力画像２００での動体領域の割合Ｒｄが大きい状態から、入力画像２００での動体領域の割合Ｒｄが小さい状態に変化したときに、変化後の明るさに応じた背景モデル５００が生成されたと判定する。
また、第２変化判定条件に関して、撮像領域１０の明るさが変化したために、入力画像２００の動体領域に含まれる独立領域（島領域）が大きくなった場合には、撮像領域１０の明るさが変化した後に背景モデル５００が適切に更新されると、つまり、変化後の明るさに応じた背景モデル５００が生成されると、動体領域に含まれる独立領域は小さくなる。よって、ステップｓ２３４において第２変化判定条件が使用される場合には、登録部３３は、第２変化判定条件が満たされている状態から満たされない状態に変化したとき、変化後の明るさに応じた背景モデル５００が生成されたと判定する。
また、第３変化判定条件に関して、撮像領域１０の明るさが変化した後、しばらく経過すると、上記の不安定度Ｖは小さくなる。上記の例では、不安定度Ｖを求める際に使用する入力画像２００の枚数Ｎは、背景モデル５００の更新の際に使用される登録判定期間を表すフレーム数よりも大きく設定されていることから、不安定度Ｖが小さくなり第３変化判定条件が満たされなくなったときには、変化後の明るさに応じた背景モデル５００が生成されていると考えることができる。よって、ステップｓ２３４において第３変化判定条件が使用される場合には、登録部３３は、第３変化判定条件が満たされている状態から満たされない状態に変化したとき、変化後の明るさに応じた背景モデル５００が生成されたと判定する。
なお、第１乃至第３変化判定条件のうちの複数の変化判定条件を使用して撮像領域１０の明るさの変化を検出するときには、当該複数の変化判定条件のうちの少なくとも一つの変化判定条件が満たされた状態から満たされなくなった状態に変化したときに、変化後の明るさに応じた背景モデル５００が生成されたと判定して良い。
以上のように、本変形例では、登録部３３は、変化後の明るさに応じた入力画像２００のうち、変化後の明るさに応じた背景モデル５００が生成された後に動体検出部３１が検出した動体画像を除く部分に関する画像情報を背景画像情報として明るさ変化用記憶部７に登録することから、検出対象物の画像の画像情報が明るさ変化用記憶部７に背景画像情報として登録されることを抑制することができる。よって、検出対象物の検出精度が向上する。
＜第２変形例＞
上記の例では、明るさ変化用記憶部７内の背景画像情報は画素値で構成されていたが、明るさ変化用記憶部７内の背景画像情報は画素値以外で構成されても良い。図１６は、本変形例に係る明るさ変化用記憶部７内の背景画像情報の一例を示す図である。
図１６の例では、明るさ変化用記憶部７には、撮像領域１０についての互いに異なる明るさに応じた４つの背景画像情報として、基準背景画像情報及び第１乃至第３背景画像情報が記憶されている。
基準背景画像情報は、ある明るさの撮像領域１０を構成する複数の撮像ブロックにそれぞれ対応する複数の画像ブロックのそれぞれについての各画素の画素値で構成されている。一方で、第１〜第３背景画像情報のそれぞれは、基準背景画像情報に対する補正係数で構成されている。具体的には、第１背景画像情報は、基準背景画像情報の画素値に対する補正係数α１で構成され、第２背景画像情報は、基準背景画像情報の画素値に対する補正係数α２で構成され、第３背景画像情報は、基準背景画像情報の画素値に対する補正係数α３で構成されている。
基準背景画像情報は、本実施の形態に係る検出装置１が起動した後、最初に撮像領域１０の明るさの変化が検出されたときの、変化後の明るさに応じた入力画像２００の各画素の画素値であっても良いし、明るさ変化用記憶部７に予め登録された、撮像領域１０のある明るさに応じた入力画像２００の各画素の画素値であっても良い。
登録部３３は、撮像領域１０の明るさが変化したときに、変化後の明るさに応じた入力画像２００の画像情報を背景画像情報として登録する際には、例えば、当該入力画像２００についての平均輝度値と、明るさ変化用記憶部７内の基準背景画像情報を構成する複数の画素値から求まる、当該複数の画素値がそれぞれ対応する複数の画素についての平均輝度値とを比較する。そして、登録部３３は、その比較結果に基づいて、変化後の明るさに応じた入力画像２００の画素値を求めるための、基準背景画像情報の画素値に対する補正係数を算出し、当該補正係数を背景画像情報として明るさ変化用記憶部７に登録する。
動体検出部３１は、明るさ変化用記憶部７内の基準背景画像情報以外の背景画像情報を使用して動体検出を行う際には、当該背景画像情報を構成する補正係数を用いて、基準背景画像情報に含まれる各画素値を補正し、補正後の画素値を使用して上記の背景ベクトルｘｂを生成する。
補正係数は、乗算係数であっても良いし、ガンマ係数（ガンマ値）であっても良い。補正係数が乗算係数の場合には、基準背景画像情報に含まれる画素値に乗算係数を乗算することによって補正後の画素値が得られる。補正係数がガンマ係数である場合には、補正係数をγとし、基準背景画像情報に含まれる画素値をＡとすると、Ａ（１／γ）によって補正後の画素値が求められる。
このように、本変形例では、明るさ変化用記憶部７に登録される、撮像領域１０のある明るさに応じた背景画像情報として、基準背景画像情報の画素値に対する補正係数が採用されているため、明るさ変化用記憶部７内の情報量を低減することができる。
＜第３変形例＞
上述のように、日照変化あるいは照明変化などによって、撮像領域１０での明るさが急に変化すると、入力画像２００の画像情報が急に変化する。したがって、入力画像２００に含まれる、背景を示す画像が動体画像であると誤って判定されて、当該背景を示す画像の画像情報がキャッシュモデルに登録されることがある。このような場合、背景モデル更新処理で使用される登録判定期間が長いと、キャッシュモデル内の背景の画像情報が長時間背景モデル５００に反映されなくなる。その結果、動体検出の精度が劣化する可能性がある。
そこで、本変形例では、ステップｓ１３の明るさ変化検出処理での例えば最後に、背景モデル更新部３４が登録判定期間の調整を行う。具体的には、背景モデル更新部３４は、登録判定期間を、ステップｓ１１で入力された処理対象の入力画像２００中の動体領域の割合Ｒｄが大きいほど小さくする。これにより、入力画像２００中の動体領域の割合Ｒｄが大きい場合には、ステップｓ１４での背景モデル更新処理で使用される登録判定期間が短くなる。撮像領域１０での明るさが急に変化すると、入力画像２００全体で画像情報が急に変化することから、入力画像２００での動体領域の割合Ｒｄが大きくなる。よって、撮像領域１０での明るさが急に変化すると、背景モデル更新処理で使用される登録判定期間が短くなる。その結果、キャッシュモデル内の背景の画像情報をすぐに背景モデルに反映することが可能となり、動体検出の精度が向上する。割合Ｒｄについては、登録部３３が明るさ変化検出処理において求めているのであればそれを使用すれば良いし、求めていないのであれば背景モデル更新部３４が求める。
本変形例では、登録判定期間Ｄｔは、入力画像２００中の動体領域の割合Ｒｄを用いて、以下の式（９）で表される。
Figure 2016015015
ここで式（９）中のａはしきい値であって、Ｄｍｉｎ及びＤｍａｘは定数である。Ｄｍａｘ＞Ｄｍｉｎとなっている。しきい値ａは、上記のしきい値ｔｈ１と同じであっても良いし、異なっていても良い。
式（９）で表される、登録判定期間Ｄｔと入力画像２００中の動体領域の割合Ｒｄとの関係を図示すると図１７のようになる。図１７にも示されるように、式（９）によれば、入力画像２００中の動体領域の割合Ｒｄが大きくなるほど、登録判定期間Ｄｔが小さくなる。特に、入力画像２００中の動体領域の割合Ｒｄが固定のしきい値ａを超えた場合、登録判定期間Ｄｔが最小値（Ｄｍｉｎ）となる。
なお、しきい値ａは、入力画像２００の何パーセント以上の領域が動体画像であると判定されると異常と考えられるか（撮像領域１０での明るさが急に変化した状態と考えられるか）という基準に基づいて予め設定される値であり、撮像領域１０での被写体に応じて設定されることになる。
＜第４変形例＞
上記の例では、登録部３３は、変化後の明るさに応じた入力画像２００の画像情報をそのまま背景画像情報として明るさ変化用記憶部７に登録していたが、当該入力画像２００に対してノイズを除去するフィルタ処理を行った上で、当該入力画像２００の画像情報を背景画像情報として明るさ変化用記憶部７に登録しても良い。これにより、動体検出の精度がさらに向上する。
例えば、バイリニア法を用いて入力画像２００を縮小し、縮小後の入力画像２００をバイリニア法を用いて拡大して元の大きさに戻すと、入力画像２００の各画素の画素値は、周辺画素の画素値と平均化され、入力画像２００の各画素の画素値に含まれるノイズが除去される。このようなノイズ除去処理を行った上で入力画像２００の画像情報を明るさ変化用記憶部７に登録しても良い。
＜その他の変形例＞
上記の例では、明るさ変化用記憶部７に登録されている各背景画像情報は削除されないが、明るさ変化用記憶部７に登録されている複数の背景画像情報の少なくとも一部が削除されても良い。例えば、撮像領域１０での机等のレイアウトが大きく変化したりすることによって、撮像領域１０の環境が大きく変化した場合には、明るさ変化用記憶部７に登録されているすべての背景画像情報を削除しても良い。また、明るさ変化用記憶部７に登録されている複数の背景画像情報のうち、明るさ変化用記憶部７に登録されてから長時間（例えば１年）経過した背景画像情報については削除しても良い。
また、上記の例では、画像ブロックの大きさを、３画素×３画素としていたが、これに限定されず、画像ブロックの大きさは、４画素×４画素、または５画素×５画素としてもよい。
また、上記の例では、ある画像ブロックについてのコードワードＣＷには、当該ある画像ブロック内の全ての画素の画素値が画像情報として含まれている場合を例示したが、これに限定されず、コードワードＣＷには、画像情報として画像ブロック内の全ての画素の画素値が含まれていなくてもよい。具体的には、画像ブロックの大きさが、３画素×３画素であった場合、コードワードＣＷには、５画素分の画素値が画像情報として含まれていてもよい。このように、コードワードＣＷ内の情報量を減らすことによって、処理量を低減することができるので、動体検出処理を高速化することができる。
また、上記の例では、入力画像２００中の各画素が、Ｒ（赤）、Ｇ（緑）及びＢ（青）のそれぞれの画素値を有している場合を想定していたが、これに限定されない。具体的には、入力画像２００中の各画素の画素値は、ＲＧＢ以外の他の色空間を用いて表されていてもよい。例えば、入力画像２００がＹＵＶ形式の画像データである場合、輝度信号Ｙ並びに２つの色差信号Ｕ，Ｖが、各画素の画素値として用いられることになる。
以上のように、検出装置１は詳細に説明されたが、上記した説明は、全ての局面において例示であって、この発明がそれに限定されるものではない。また、上述した各種変形例は、相互に矛盾しない限り組み合わせて適用可能である。そして、例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
１ 検出装置
５ 背景モデル記憶部
６ キャッシュモデル記憶部
７ 記憶部
３１ 動体検出部
３２ 変化検出部
３３ 登録部
３４ 背景モデル更新部
３１１ 制御プログラム

Claims (8)

  1. 入力画像に写る撮像領域に存在する検出対象物を検出する検出装置であって、
    第１記憶部と、
    背景画像情報を含む背景モデルを記憶する第２記憶部と、
    前記撮像領域の明るさの変化を検出する変化検出部と、
    前記変化検出部で前記明るさの変化が検出されたとき、変化後の前記明るさに応じた入力画像に関する画像情報を背景画像情報として前記第１記憶部に登録する登録部と、
    前記背景モデルと、入力画像と、前記第１記憶部内の背景画像情報とを用いて、前記撮像領域に存在する検出対象物を検出する検出部と、
    前記検出部での検出対象物の検出結果に基づいて、前記背景モデルを更新する背景モデル更新部と
    を備える、検出装置。
  2. 請求項１に記載の検出装置であって、
    前記登録部は、前記変化検出部で前記明るさの変化が検出されたとき、変化後の前記明るさに応じた背景画像情報が前記第１記憶部内に登録されているか否かを判定し、変化後の前記明るさに応じた背景画像情報が前記第１記憶部内に登録されていないときにだけ、変化後の前記明るさに応じた入力画像に関する画像情報を背景画像情報として前記第１記憶部に登録する、検出装置。
  3. 請求項２に記載の検出装置であって、
    前記登録部は、変化後の前記明るさに応じた入力画像に関する画像情報を背景画像情報として前記第１記憶部に登録するときには、当該背景画像情報に対応付けて当該入力画像についての輝度ヒストグラムを前記第１記憶部に登録し、
    前記登録部は、前記変化検出部で前記明るさの変化が検出されたとき、変化後の前記明るさに応じた入力画像の輝度ヒストグラムと、前記第１記憶部内の背景画像情報に対応する輝度ヒストグラムとを比較し、その比較結果に基づいて、変化後の前記明るさに応じた背景画像情報が前記第１記憶部内に登録されているか否かを判定する、検出装置。
  4. 請求項１乃至請求項３のいずれか一つに記載の検出装置であって、
    前記登録部は、
    前記変化検出部で前記明るさの変化が検出された後に前記背景モデルが前記背景モデル更新部で更新されることによって、変化後の前記明るさに応じた前記背景モデルが生成された否かを判定し、
    変化後の前記明るさに応じた入力画像のうち、変化後の前記明るさに応じた前記背景モデルが生成された後に前記検出部が前記撮像領域において前記検出対象物を検出した領域の画像以外の部分に関する画像情報を背景画像情報として前記第１記憶部に登録する、検出装置。
  5. 請求項４に記載の検出装置であって、
    前記変化検出部は、前記明るさが変化したか否かを判定するための判定条件を満たさない状態から満たす状態に変化したときに、前記明るさが変化したと判定し、
    前記登録部は、前記判定条件を満たす状態から満たさない状態に変化したときに、変化後の前記明るさに応じた前記背景モデルが生成されたと判定する、検出装置。
  6. 請求項１に記載の検出装置であって、
    前記第１記憶部は、ある明るさの前記撮像領域の画像についての画素値を基準背景画像情報として記憶し、
    前記登録部は、前記変化検出部で前記明るさの変化が検出されたとき、変化後の前記明るさに応じた入力画像に関する画像情報として、前記基準背景画像情報に対する補正係数を前記第１記憶部に登録する、検出装置。
  7. 入力画像に写る撮像領域に存在する検出対象物を検出する検出方法であって、
    （ａ）前記撮像領域の明るさの変化を検出する工程と、
    （ｂ）前記工程（ａ）において前記明るさの変化が検出されたとき、変化後の前記明るさに応じた入力画像に関する画像情報を背景画像情報として第１記憶部に登録する工程と、
    （ｃ）第２記憶部に記憶されている、背景画像情報を含む背景モデルと、入力画像と、前記第１記憶部内の背景画像情報とを用いて、前記撮像領域に存在する検出対象物を検出する工程と、
    （ｄ）前記工程（ｃ）での検出対象物の検出結果に基づいて、前記背景モデルを更新する工程と
    を備える、検出方法。
  8. 入力画像に写る撮像領域に存在する検出対象物を検出する検出装置を制御するための制御プログラムであって、
    前記検出装置に、
    （ａ）前記撮像領域の明るさの変化を検出する工程と、
    （ｂ）前記工程（ａ）において前記明るさの変化が検出されたとき、変化後の前記明るさに応じた入力画像に関する画像情報を背景画像情報として第１記憶部に登録する工程と、
    （ｃ）第２記憶部に記憶されている、背景画像情報を含む背景モデルと、入力画像と、前記第１記憶部内の背景画像情報とを用いて、前記撮像領域に存在する検出対象物を検出する工程と、
    （ｄ）前記工程（ｃ）での検出対象物の検出結果に基づいて、前記背景モデルを更新する工程と
    を実行させるための制御プログラム。
JP2014136722A 2014-07-02 2014-07-02 検出装置、検出方法及び制御プログラム Expired - Fee Related JP6362939B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014136722A JP6362939B2 (ja) 2014-07-02 2014-07-02 検出装置、検出方法及び制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014136722A JP6362939B2 (ja) 2014-07-02 2014-07-02 検出装置、検出方法及び制御プログラム

Publications (2)

Publication Number Publication Date
JP2016015015A true JP2016015015A (ja) 2016-01-28
JP6362939B2 JP6362939B2 (ja) 2018-07-25

Family

ID=55231150

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014136722A Expired - Fee Related JP6362939B2 (ja) 2014-07-02 2014-07-02 検出装置、検出方法及び制御プログラム

Country Status (1)

Country Link
JP (1) JP6362939B2 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11296653A (ja) * 1998-04-06 1999-10-29 Sanyo Electric Co Ltd 画像処理装置及びこれを用いた人体検知装置
JP2004274325A (ja) * 2003-03-07 2004-09-30 Fuji Heavy Ind Ltd 撮像による物体抽出方法
JP2009123150A (ja) * 2007-11-19 2009-06-04 Sanyo Electric Co Ltd 対象物検出装置及び方法、対象物検出システム、プログラム
JP2011070572A (ja) * 2009-09-28 2011-04-07 Saxa Inc 画像処理装置及び画像処理装置用プログラム
JP2012137481A (ja) * 2010-12-10 2012-07-19 Ricoh Co Ltd 画像検査装置、印刷システム、画像検査方法およびプログラム
JP2012234494A (ja) * 2011-05-09 2012-11-29 Canon Inc 画像処理装置、画像処理方法、及びプログラム
US20130271601A1 (en) * 2010-10-27 2013-10-17 Vaelsys Formación Y Desarrollo, S.L. Method and device for the detection of change in illumination for vision systems

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11296653A (ja) * 1998-04-06 1999-10-29 Sanyo Electric Co Ltd 画像処理装置及びこれを用いた人体検知装置
JP2004274325A (ja) * 2003-03-07 2004-09-30 Fuji Heavy Ind Ltd 撮像による物体抽出方法
JP2009123150A (ja) * 2007-11-19 2009-06-04 Sanyo Electric Co Ltd 対象物検出装置及び方法、対象物検出システム、プログラム
JP2011070572A (ja) * 2009-09-28 2011-04-07 Saxa Inc 画像処理装置及び画像処理装置用プログラム
US20130271601A1 (en) * 2010-10-27 2013-10-17 Vaelsys Formación Y Desarrollo, S.L. Method and device for the detection of change in illumination for vision systems
JP2012137481A (ja) * 2010-12-10 2012-07-19 Ricoh Co Ltd 画像検査装置、印刷システム、画像検査方法およびプログラム
JP2012234494A (ja) * 2011-05-09 2012-11-29 Canon Inc 画像処理装置、画像処理方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
島田敬士, 外３名: ""動的背景予測モデルによる照明条件変動下での物体検出"", 情報処理学会研究報告, vol. 第２００８巻, 第２７号, JPN6018017288, 10 March 2008 (2008-03-10), JP, pages 507 - 512, ISSN: 0003795940 *

Also Published As

Publication number Publication date
JP6362939B2 (ja) 2018-07-25

Similar Documents

Publication Publication Date Title
JP7252188B2 (ja) 画像処理システム、画像処理方法及びプログラム
JP6088792B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
JP2021506000A5 (ja)
KR102153607B1 (ko) 영상에서의 전경 검출 장치 및 방법
JP6652051B2 (ja) 検出システム、検出方法及びプログラム
JP6076623B2 (ja) 動体検出装置、動体検出方法およびプログラム
CN102469302A (zh) 应用于影像监控的可适应光线变化的背景模型学习系统
JP6698057B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
US10643096B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP6361500B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2014110020A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6362939B2 (ja) 検出装置、検出方法及び制御プログラム
JP6177708B2 (ja) 動体検出装置、動体検出方法及び制御プログラム
JP6396051B2 (ja) エリア状態推定装置、エリア状態推定方法、プログラムおよび環境制御システム
JP7279817B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP6162492B2 (ja) 動体検出装置、動体検出方法及び制御プログラム
JP6378483B2 (ja) 検出装置、検出対象物の検出方法及び制御プログラム
KR101631023B1 (ko) 이웃 기반의 강도 보정 장치, 백그라운드 획득 장치 및 그 방법
JP2015088027A (ja) 画像処理装置、画像処理方法、および画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170515

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180619

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180627

R150 Certificate of patent or registration of utility model

Ref document number: 6362939

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees