JP2021110973A - 人体検出装置および人体検出方法 - Google Patents

Abstract

【課題】撮像画像中の人体検出処理において、精度よく人体の追跡および動作分析をすることができる技術を提供する。【解決手段】人体検出装置は、人体を検出する対象領域の撮像画像を受信する受信部と、前記撮像画像から人体候補を検出し、前記人体候補の画像情報を取得する検出部と、前記対象領域に存在する人体以外の物体の画像情報を保持する保持部と、前記人体候補と重なる位置にある物体の画像情報を前記保持部から取得し、前記人体候補の画像情報および前記取得した物体の画像情報に基づいて前記人体候補と前記物体との類似度を判定し、前記類似度に基づいて前記人体候補の検出が誤検出であるか否かを判定する判定部と、を備える。【選択図】図１

Description

本発明は、人体検出装置および人体検出方法に関する。

ビルディングオートメーション（ＢＡ）やファクトリーオートメーション（ＦＡ）の分野において、画像センサにより人の「数」・「位置」・「動線」などを自動で計測し、照明や空調などの機器を最適に制御する技術が用いられている。人の作業領域において広範囲の画像情報を取得するため、天井などの高所には、超広角のカメラ（魚眼カメラ、全方位カメラ、全天球カメラなど）が設置される。撮影された画像中から、人体を精度良く検出するための様々な技術が提案されている。特許文献１には、人体をより多く検出できる領域から優先して、人体の検出処理を行うことで、撮像範囲が広い画像上の認識対象を効率よく検出する画像処理装置が提案されている。

特開２０１６−０３９５３９号公報

また、人体検出では、様々な機器、ロボット、什器等の物体を人体として誤って検出してしまうことがある。人体以外の物体が誤検出された場合、誤検出された物体を含む領域をマスク処理することにより、検出対象の領域から除外することが考えられる。しかしながら、マスク処理された領域を通過する人が検出されなくなるため、人体検出の精度が低下するおそれがある。

本発明は、一側面では、画像中の人体検出処理において、精度よく人体の追跡および動作分析をすることができる技術を提供することを目的とする。

本発明は、上記目的を達成するために、以下の構成を採用する。

本開示の第一側面は、人体を検出する対象領域の撮像画像を受信する受信部と、撮像画像から人体候補を検出し、人体候補の画像情報を取得する検出部と、対象領域に存在する人体以外の物体の画像情報を保持する保持部と、人体候補と重なる位置にある物体の画像情報を保持部から取得し、人体候補の画像情報および取得した物体の画像情報に基づいて人体候補と物体との類似度を判定し、類似度に基づいて人体候補の検出が誤検出であるか否かを判定する判定部と、を備えることを特徴とする人体検出装置を提供する。

上記の人体検出装置は、検出した人体候補の画像情報を、対象領域に存在する物体の画像情報と比較することで、人体候補の検出が誤検出であるか否かを精度良く判定することができる。したがって、画像中の人体検出処理において、精度よく人体の追跡および動作分析をすることができる。

判定部は、人体候補の位置またはサイズの少なくともいずれかが所定時間の間変化していないと判定した人体候補について、誤検出であるか否かを判定してもよい。このように、位置またはサイズの少なくともいずれかが所定時間の間変化していない人体候補を誤検出か否かの判定対象（誤判定候補）とすることで、誤判定候補の絞り込みが可能となる。

判定部は、撮像画像における人体候補の中心位置と、所定数の過去の撮像画像における人体候補の中心位置との距離が、それぞれ所定の閾値より小さい場合に、人体候補の位置またはサイズの少なくともいずれかが所定時間の間変化していないと判定してもよい。

また、判定部は、撮像画像における人体候補を含む矩形の面積と、所定数の過去の撮像画像における人体候補を含む矩形の面積との差分が、それぞれ所定の閾値より小さい場合に、人体候補の位置またはサイズの少なくともいずれかが所定時間の間変化していないと判定してもよい。

また、判定部は、撮像画像における人体候補を含む矩形のアスペクト比と、所定数の過去の撮像画像における人体候補を含む矩形のアスペクト比との差分が、それぞれ所定の閾値より小さい場合に、人体候補の位置またはサイズの少なくともいずれかが所定時間の間変化していないと判定してもよい。

判定部は、上記の各種条件のいずれか、またはこれらの条件の組み合わせによって、適切に誤判定候補を抽出することができる。例えば、対象領域に存在する物体の数、人が通過する頻度、対象領域の面積等に基づいて上記の各種条件を組み合わせることで、対象領域の状況に応じた適切な誤判定候補の抽出が可能となる。

判定部は、位置またはサイズの少なくともいずれかが所定時間の間変化していない人体候補に対して、保持部に人体候補と重なる物体の画像情報がない場合、人体候補に対応する画像情報を誤検出した物体の画像情報として保持部に格納してもよい。保持部に登録されていない物体が人体候補として誤検出された場合に、保持部に登録しておくことで、判定部は、当該物体が再び人体として検出されても、誤判定であると判定することができる。

判定部は、保持部に保持された物体の画像情報うち、撮像画像から所定時間の間検出されていない物体の画像情報を、保持部から削除してもよい。保持部から対象領域に存在しなくなった物体の画像情報を削除することで、判定部は、対象領域の現状に即して、誤検出をより精度よく判定することができる。

画像情報は、人体候補または物体を囲む矩形領域の画像、中心座標、幅および高さを含むものであってもよい。人体検出装置は、画像情報に基づいて、検出した人体候補および保持部に登録されている物体の位置およびサイズを取得することができる。

判定部は、人体候補の画像と、保持部から取得した物体の画像とが重なる領域において、輝度値、ＲＧＢ値、グレースケール値のうちの少なくともいずれか１つの差分の和に基づいて、人体候補の検出が誤検出であるか否かを判定してもよい。人体候補の画像と物体の画像との輝度値、ＲＧＢ値、グレースケール値のうちの少なくともいずれかを比較し、これらの画像の差分を算出することで、類似度を判定することができる。

人体検出装置は、判定部による判定結果を表示する出力部をさらに備え、判定結果は、検出した人体候補の位置およびサイズを示す情報、人体候補が人体であるか否かの判定結果、人体候補が人体であることの信頼度のうちの少なくともいずれかを含むものであってもよい。出力される判定結果に基づいて、精度よく人体の追跡および動作分析をすることが可能となる。

人体検出装置は、撮像画像を撮像し、受信部に送信する撮像部を、さらに備えてもよい。人体検出装置は、撮像部と一体に構成されることにより、簡易な構成で誤検出を精度良
く判定することができる。

本発明の第二側面は、人体を検出する対象領域の撮像画像を受信する受信ステップと、
撮像画像から人体候補を検出し、人体候補の画像情報を取得する検出ステップと、対象領域に存在する人体以外の物体の画像情報を保持する保持部から、人体候補と重なる位置にある物体の画像情報を取得し、人体候補の画像情報および取得した物体の画像情報に基づいて人体候補と物体との類似度を判定し、類似度に基づいて人体候補の検出が誤検出であるか否かを判定する判定ステップと、を含むことを特徴とする人体検出方法を提供する。

本発明によれば、撮像画像中の人体検出処理において、精度よく人体の追跡および動作分析をすることができる。

図１は、本実施形態に係る人体検出装置の適用例を示す図である。 図２は、人体検出装置の機能構成を例示する図である。 図３は、誤検出判定処理を例示するフローチャートである。 図４は、誤検出候補と比較するテンプレートの抽出条件を説明する図である。 図５は、誤検出候補とテンプレートとの比較方法の例を説明する図である。

以下、本発明の一側面に係る実施の形態を、図面に基づいて説明する。

＜適用例＞
図１を参照して、本発明に係る人体検出装置の適用例を説明する。図１は、本発明に係る人体検出装置の適用例を示す図である。人体検出装置１を備える監視システムは、オフィスまたは工場等における追跡対象エリア（対象領域）を撮像する撮像装置２を備える。監視システムは、追跡対象エリアの撮像画像を解析して、追跡対象エリア内に存在する人体または通行する人体を検出、認識、または追跡する。

人体検出装置１は、人体として検出した候補（以下、人体候補と称する）が、誤って検出されたロボットまたはモニターといった物体であるか否かを判定する。人体検出装置１は、検出した人体候補の画像と、追跡対象エリアに存在するロボット等の物体の画像とを比較することにより、人体候補が物体であるか否かを判定することができる。

人体候補と比較するための物体の画像は、予め人体検出装置１の補助記憶装置に格納された画像とすることができる。また、物体の画像は、誤検出判定処理で人体ではないと判定され、補助記憶装置に登録された物体の画像であってもよい。なお、図１において、点線で囲まれた領域は、ロボットおよびモニターが人体候補として検出され、誤検出であると判定された領域の例を示す。

人体検出装置１は、検出した人体候補の判定結果を、外部装置に出力することができる。判定結果は、例えば、検出した人体候補の位置およびサイズを示す情報、人体候補が人体であるか否かの判定結果を含む。人体検出装置１は、例えば、人体候補を含む領域を矩形または円形等のバウンディングボックスで囲むことにより、検出した人体候補を示すことができる。人体検出装置１は、誤検出した物体も、人体候補とは異なる態様で、例えば、点線のバウンディングボックスで囲むことにより示してもよい。人体検出装置１の判定結果は、ディスプレイ等の表示装置に表示されてもよい。また、人体検出装置１の判定結
果は、照明または空調など各種機器に送信され、追跡対象エリア内の人数、存在位置に応じた各種機器の制御、不審者の監視および動線分析などに利用することができる。

撮像装置２は、人体を検出、認識、または追跡する追跡対象エリアの上方（例えば天井など）に設置される。撮像画像の解析によって人体候補の位置およびサイズを取得するため、撮像装置２は、好ましくは定点カメラである。追跡対象エリアを撮像する撮像装置２は、複数台設置されてもよい。撮像装置２が撮像する撮像画像は、静止画像および動画像を含む。撮像装置２は、広角カメラまたは魚眼カメラであってもよい。また、撮像装置２は、撮像した画像を外部装置に送信し、外部装置で画像を確認することで遠隔監視を可能とするネットワークカメラであってもよい。

なお、人体検出装置１は、撮像装置２（撮像部）と一体に構成されてもよい。また、撮像画像における人体の検出処理等、人体検出装置１の処理の一部は、撮像装置２で実行されてもよい。さらに、人体検出装置１による分析結果は、外部の装置に送信されユーザに提示されるようにしてもよい。

上述の人体検出装置１は、検出した人体候補の画像を、追跡対象エリア内に存在する物体の画像と比較することで、物体を人体として誤検出した場合に、検出結果から誤検出した人体候補（物体）の情報を除去することができる。また、物体に重なって通過する人を、物体と区別して検出することができる。このように、人体検出装置１は、撮像画像中の人体検出処理において、精度よく人体の追跡および動作分析をすることができる。

＜実施形態＞
（ハードウェア構成）
図１を参照して、実施形態に係るハードウェア構成の一例について説明する。人体検出装置１は、プロセッサ１０１、主記憶装置１０２、補助記憶装置１０３、通信インタフェース１０４、出力装置１０５を備える。

プロセッサ１０１は、補助記憶装置１０３に記憶されたプログラムを主記憶装置１０２に読み出して実行することにより、図２で説明する各機能構成としての機能を実現する。主記憶装置１０２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の半導体メモリである。補助記憶装置１０３は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の不揮発性のメモリである。通信インタフェース（Ｉ／Ｆ）１０４は、有線又は無線通信を行うためのインタフェースである。出力装置１０５は、例えば、ディスプレイ等の出力を行うための装置である。

人体検出装置１は、パーソナルコンピュータ、サーバコンピュータ、タブレット端末、スマートフォンのような汎用的なコンピュータでもよいし、オンボードコンピュータのように組み込み型のコンピュータでもよい。ただし、人体検出装置１の各機能の一部は、ＡＳＩＣやＦＰＧＡなど専用のハードウェア装置によって実現されてもよい。

人体検出装置１は、有線（ＵＳＢケーブル、ＬＡＮケーブルなど）または無線（ＷｉＦｉなど）で撮像装置２に接続され、撮像装置２で撮影された画像データを受信する。撮像装置２は、レンズを含む光学系および撮像素子（ＣＣＤやＣＭＯＳなどのイメージセンサ）を有する撮像装置である。

（機能構成）
図２を参照して、人体検出装置１の機能構成の一例について説明する。図２は、人体検出装置１の機能構成を例示する図である。人体検出装置１は、受信部１０、検出部１１、
位置取得部１２、サイズ取得部１３、検出結果保持部１４、誤検出候補取得部１５、比較部１６、テンプレート保持部１７、出力部１８を含む。

受信部１０は、撮像装置２から撮像画像を受信する機能を有する。受信部１０は、受信した撮像画像を補助記憶装置１０３に格納してもよい。検出部１１は、受信部１０が受信した撮像画像を解析して、人体候補を検出する。

検出部１１は、撮像装置２の撮像画像を解析し、追跡対象エリア（対象領域）の人体を検出する機能を有する。検出部１１は、人体検出のアルゴリズムを用いて、撮像画像から人体を検出することができる。人体検出のアルゴリズムは、例えば、ＨｏＧ特徴量およびＳＶＭによる検出、画像の明暗差によるＨａａｒ−ｌｉｋｅ特徴量を用いた検出、ＹＯＬＯやＳＳＤなどのディープラーニングによる検出を使用することができる。検出部１１は、検出した人体候補の画像を検出結果保持部１４に格納する。検出した人体候補の画像は、例えば、人体候補を含む矩形領域の画像としてもよい。

位置取得部１２は、検出部１１が検出した人体候補の検出位置の座標値を取得する。検出位置の座標値は、例えば、検出部１１が検出した人体候補を含む矩形領域の４隅または中心の座標値である。位置取得部１２は、検出位置の座標値として、例えば、撮像画像の中心点を原点とした座標系での座標値を取得すればよい。位置取得部１２は、取得した検出位置の座標値の情報を、検出部１１が検出した人体候補の画像と対応づけて検出結果保持部１４に格納する。

サイズ取得部１３は、検出部１１が検出した人体候補を含む矩形領域の幅および高さを取得する。人体候補を含む矩形領域の幅および高さは、例えば、位置取得部１２が取得した矩形領域の４隅の座標から算出することができる。サイズ取得部１３は、取得した人体候補を含む矩形領域の幅および高さの情報を、検出部１１が検出した人体候補の画像と対応づけて、検出結果保持部１４に格納する。

検出結果保持部１４は、検出部１１が検出した人体候補の画像情報を保持する。画像情報は、例えば、人体候補の画像、人体候補の検出位置の座標値、人体候補を含む矩形領域の幅および高さを含む。また、各人体候補の画像情報は、撮像時刻の情報または撮像順を示す情報（例えばフレーム番号）を含んでもよい。撮像時刻の情報または撮像順を示す情報は、人体候補の位置またはサイズが、時間の経過とともに変化したか否かを判定するために用いられる。

誤検出候補取得部１５は、検出部１１が検出した人体候補から、誤検出か否かの判定対象となる誤検出候補を取得する。誤検出候補は、例えば、所定時間の間、または所定フレーム数の間、サイズおよび位置が変化していない人体候補である。誤検出候補取得部１５は、検出結果保持部１４が保持する人体候補の画像情報のうち、誤検出候補の画像情報を取得する。

比較部１６は、誤検出候補を追跡対象エリア内に存在する物体と比較する。比較部１６は、例えば、誤検出候補取得部１５が取得した誤検出候補の画像情報を、誤検出候補と重なる位置にある物体の画像情報と比較する。物体の画像情報は、テンプレート保持部１７から取得される。画像情報は物体を囲む矩形の位置およびサイズの情報を含むため、比較部１６は、誤検出候補と重なる位置にある物体の画像情報を取得することができる。比較部１６は、誤検出候補と比較した物体との類似度に基づいて、検出部１１による人体候補の検出が誤検出であるか否かを判定する。誤検出候補取得部１５および比較部１６は、「判定部」に相当する。

比較部１６は、誤検出候補と比較可能な物体が存在しない場合は、誤検出候補として取得された人体候補は、サイズおよび位置が変化していないことから、物体を誤検出したものであると判定する。比較部１６は、物体であると判定された誤検出候補の画像情報を、テンプレート保持部１７に格納してもよい。

テンプレート保持部１７は、比較部１６が誤検出候補と比較するための物体の画像情報をテンプレートとして保持する。テンプレート保持部１７は、追跡対象エリア内に存在する物体の画像情報を予めテンプレートとして保持しておくことができる。また、テンプレート保持部１７は、比較部１６が誤検出と判定した人体候補（物体）の画像情報を、追加のテンプレートとして保持することができる。

出力部１８は、人体候補の検出結果を出力する。出力部１８は、例えば、誤検出とされなかった人体を囲む矩形（バウンディングボックス）を撮像画像に重畳させて、ディスプレイ等に表示することができる。

（誤検出判定処理）
図３に沿って誤検出判定処理の全体的な流れを説明する。図３は、誤検出判定処理を例示するフローチャートである。図３の誤検出判定処理は、撮像装置２から受信した撮像画像の各フレームにおいて、検出された人体候補ごとに繰り返される処理を例示する。

ステップＳ３０では、検出部１１は、撮像装置２から受信した撮像画像を解析し、人体候補を検出する。検出部１１は、例えば、ＨｏＧやＨａａｒ−ｌｉｋｅなどの画像特徴とブースティングを組み合わせた識別器を用いて人体検出をすることができる。また、検出部１１は、例えば、Ｒ−ＣＮＮ、Ｆａｓｔ Ｒ−ＣＮＮ、ＹＯＬＯ、ＳＳＤなどのディープラーニングによる人体認識を用いてもよい。検出部１１は、検出した人体候補の画像を検出結果保持部１４に格納する。

また、ステップＳ３０では、検出された人体候補の位置およびサイズが、それぞれ位置取得部１２およびサイズ取得部１３によって取得される。取得された人体候補の位置およびサイズの情報は、人体候補の画像とともに画像情報として検出結果保持部１４に格納される。

ステップＳ３１では、誤検出候補取得部１５は、ステップＳ３０で検出された人体候補の位置またはサイズの少なくともいずれかに変化があったか否かを判定する。誤検出候補取得部１５は、変化の有無を判定するため、まず、検出結果保持部１４から解析中の現フレーム（撮像画像）での人体候補の画像情報を取得する。また、誤検出候補取得部１５は、現フレームよりも過去のフレーム（撮像画像）で、当該人体候補と重なる位置にある人体候補の画像情報を取得する。次に、誤検出候補取得部１５は、現フレームの人体候補の位置およびサイズと、所定期間内または所定数の過去のフレームにおいて対応する人体候補の位置およびサイズとを対比する。現フレームにおける位置・サイズと、過去のフレームにおける位置・サイズとが、図４で説明する所定の条件を満たす場合に、誤検出候補取得部１５は、人体候補の位置またはサイズの少なくともいずれかに変化がなかったと判定することができる。

人体候補の位置またはサイズの少なくともいずれかに変化があったと判定された場合（Ｓ３１：Ｙｅｓ）、処理はステップＳ３４に進む。人体候補の位置およびサイズに変化がなかったと判定された場合（Ｓ３１：Ｎｏ）、処理はステップＳ３２に進む。

ここで、図４を用いて、人体候補の位置またはサイズの少なくともいずれかに変化がなかったことを判定するための所定の条件について説明する。誤検出候補取得部１５は、例
えば、人体候補を囲む矩形の中心位置、矩形サイズ、矩形のアスペクト比、矩形同士の重なりに着目して、現フレームと過去のフレームとを対比する。図４（Ａ）から図４（Ｃ）は、それぞれ矩形の中心位置、矩形サイズ、矩形のアスペクト比についての所定の条件を説明する図である。

誤検出候補取得部１５は、まず、検出結果保持部１４から、現フレームおよび過去のフレームでの人体候補の画像情報を取得する。画像情報は、人体候補を囲む矩形領域の画像、中心座標、幅および高さの情報を含む。現フレームでの矩形の中心座標を（ｘ０、ｙ０）、幅をｗ０、高さをｈ０とし、過去のフレームでの矩形の中心座標を（ｘ１、ｙ１）、幅をｗ１、高さをｈ１とした場合に、誤検出候補取得部１５は、以下の条件１〜条件４を満たすか否かを判定する。

条件１：現フレームと過去のフレームとの人体候補を囲む矩形の中心位置が式１を満たす。

すなわち、図４（Ａ）に示すように、現フレームの人体候補を囲む矩形４１０の中心４１１と、過去のフレームの人体候補を囲む矩形４２０の中心４２１との間の距離（ユークリッド距離）が、所定の閾値ｐｏｓ＿ｔｈよりも小さい場合に、条件１が満たされる。

条件２：現フレームと過去のフレームとの人体候補を囲む矩形のサイズが式２を満たす。

すなわち、図４（Ｂ）に示すように、現フレームの人体候補を囲む矩形４１０のサイズ（面積）と、過去のフレームの人体候補を囲む矩形４２０のサイズ（面積）との差分が、所定の閾値ｓｉｚｅ＿ｔｈよりも小さい場合に、条件２が満たされる。

条件３：現フレームと過去のフレームとの人体候補を囲む矩形のアスペクト比が式３を満たす。

すなわち、図４（Ｃ）に示すように、現フレームの人体候補を囲む矩形４１０のアスペクト比と、過去のフレームの人体候補を囲む矩形４２０のアスペクト比との差分が、所定の閾値ａｓｐｅｃｔ＿ｔｈよりも小さい場合に、条件３が満たされる。

条件４：現フレームと過去のフレームとの人体候補を囲む矩形同士のＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）が式４を満たす。

すなわち、ＩｏＵ（０≦ＩｏＵ＜１、領域の和集合に対する領域の共通部分の割合）が、
所定の閾値ＩｏＵ＿ｔｈよりも大きい場合に、条件４が満たされる。

誤検出候補取得部１５は、過去の所定数のフレームの人体候補が、上記の各条件のうち少なくともいずれかを満たす場合に、位置またはサイズに変化がないと判定することができる。すなわち、所定の条件は、上記の条件を任意に組み合わせた条件とすることができる。

図３に戻り、ステップＳ３２では、比較部１６は、位置・サイズに変化がなく誤検出候補と判定された人体候補に対し、テンプレート保持部１７に人体候補と重なる物体のテンプレートがあるか否かを判定する。対応するテンプレートは、誤検出候補の人体候補と重なる位置にある物体の画像情報（テンプレート）である。対応するテンプレートがあると判定された場合（Ｓ３２：Ｙｅｓ）、処理はステップＳ３３に進む。対応するテンプレートがないと判定された場合（Ｓ３２：Ｎｏ）、処理はステップＳ３５に進む。

ステップＳ３３では、比較部１６は、誤検出候補の人体候補とテンプレートの物体との画像を比較し、類似度を判定する。比較部１６は、例えば、図５で例示する方法により、誤検出候補の人体候補とテンプレートの物体との類似度を算出することができる。そして、比較部１６は、誤検出候補の人体候補とテンプレートの物体との類似度が所定の閾値より低いか否かを判定する。

類似度は、例えば、誤検出候補の人体候補とテンプレートの物体とが重なる部分の輝度値、ＲＧＢ値、グレースケール値の差分に基づいて算出することができる。また、類似度は、画像の特徴量、例えばＳＩＦＴ特徴量、ＳＵＲＦ特徴量、ＨｏＧ特徴量の比較により算出されたものであってもよい。本実施形態では、誤検出候補の人体候補とテンプレートの物体とが重なる部分の差分に基づいて類似度を算出する例を示すが、重なる部分に限られず、テンプレートの物体の画像全体と対応する領域との差分に基づいて算出してもよい。

以下の説明では、類似度を算出するための差分は、輝度値の差分であるものとする。誤検出候補の人体候補とテンプレートの物体との類似度は、差分が大きいほど低く、差分が小さいほど高くなるように定義されればよい。類似度が所定の閾値より小さいと判定された場合（Ｓ３３：Ｙｅｓ）、処理はステップＳ３４に進む。類似度が所定の閾値以上であると判定されたと場合（Ｓ３３：Ｎｏ）、テンプレートの物体が誤検出されたものと判定され、処理は終了する。

ここで、図５を用いて、誤検出候補の人体候補とテンプレートの物体との類似度を算出する方法の例を説明する。類似度は、誤検出候補の人体候補とテンプレートの物体との差分から算出される。比較部１６は、まず、検出候補の人体候補を囲む矩形４１０と、テンプレートの物体を囲む矩形５１０とが重なる重複領域５１１（図５の斜線部分）の各画素での輝度の差分を算出する。

第１の例では、比較部１６は、以下の式５によって誤検出候補の人体候補とテンプレートの物体との差分を算出することができる。

式５のｏｖｅｒｌａｐ ａｒｅａは重複領域５１１の画素数であり、（ｉ，ｊ）は重複領域５１１の各画素を示す。Ｉtemplate（ｉ，ｊ）は、テンプレートの各画素での輝度値、
Ｉcandidate（ｉ，ｊ）は、誤検出候補の各画素での輝度値を示す。第１の例では、重複
領域５１１における各画素での輝度の差分の和に基づいて差分が算出される。

第２の例では、比較部１６は、以下の式６によって誤検出候補の人体候補とテンプレートの物体との差分を算出することができる。

式６のｏｖｅｒｌａｐ ａｒｅａは重複領域５１１の画素数であり、（ｉ，ｊ）は重複領域５１１の各画素を示す。Ｉtemplate（ｉ，ｊ）は、テンプレートの各画素での輝度値、Ｉcandidate（ｉ，ｊ）は、誤検出候補の各画素での輝度値を示す。第２の例では、重複
領域５１１における各画素での輝度の差分が所定の閾値より大きい場合は１、所定の閾値以下の場合は０とするｆ（ｉ，ｊ）の和に基づいて差分が算出される。

比較部１６は、これらの例に限られず、以下の比較結果に基づいて誤検出候補の人体候補とテンプレートの物体との差分を算出してもよい。
・ＳＳＤ（Sum of Squared Difference）：差分の２乗の和
・ＳＡＤ（Sum of Absolute Difference）：差分の絶対値の和
・ＮＣＣ（Normalized Cross-Correlation）：正規化相互相関係数
・ＳＩＦＴ，ＳＵＲＦ，ＨｏＧなどを使用した特徴点マッチング

図３に戻り、ステップＳ３４では、出力部１８は判定結果を出力する。判定結果は、例えば、検出した人体候補の位置およびサイズを示す情報、人体候補が人体であるか否かの判定結果、追跡対象エリア内に存在する人の人数などの情報を含む。判定結果は、ディスプレイ等に撮像画像とともに表示されてもよく、空調または照明設備等に送信され、それぞれの機器の制御に用いられてもよい。

ステップＳ３５では、比較部１６は、位置・サイズに変化がなく、テンプレート保持部１７に対応する物体が登録されていない場合、誤検出と判定された当該人体候補を、物体のテンプレートとして登録する。具体的には、比較部１６は、誤検出と判定された人体候補を含む矩形領域の画像、位置およびサイズを示す情報を、テンプレート情報としてテンプレート保持部１７に格納する。誤検出判定処理中に、テンプレート情報を追加していくことで、人体検出装置１は、静止している物体を新たに誤検出した場合でも、当該物体を再び人体として検出されることを抑制することができる。また、人体検出装置１は、テンプレート登録後は、当該物体に重なって通過する人体を精度よく検出することができる。

（作用効果）
上記の実施形態において、人体検出装置１は、検出した人体候補の画像と、テンプレートの物体との画像を比較し、差分（上記実施形態では、輝度の差分の和）が所定の閾値以上の場合に人体と判定する。従来は、物体が誤検出されると、物体を含む領域をマスク処理することで誤検出が抑制されていたため、物体と重なるように通過する人体を検出する
ことは困難であった。これに対し、実施形態に係る人体検出装置１は、物体と重なる人体を精度良く検出することができる。

また、人体検出装置１は、誤検出判定処理において、新たに物体が人体として誤検出されると、誤検出された人体候補を物体のテンプレートとしてテンプレート保持部１７に登録する。したがって、当該物体が再び人体候補として誤検出された場合でも、登録されたテンプレートと一致することから、人体検出装置１は、当該物体が人体ではない（誤判定である）と判定することができる。また、人体検出装置１は、テンプレート登録後は、当該物体に重なって通過する人体を精度よく検出することができるようになる。

＜実施形態の変形例＞
（変形例１）
上記の実施形態では、誤検出の判定結果として、検出した人体候補の位置およびサイズを示す情報、人体候補が人体であるか否かの判定結果の情報が出力される。変形例１では、出力部１８は、さらに検出部１１によって検出された各人体候補について、人体であることの信頼度を出力する。人体であることの信頼度は、例えば、図３のステップＳ３１において誤検出候補として抽出されたか否か、ステップＳ３３において算出された差分の値等を点数化することにより、適宜定義することができる。差分の値が大きい、すなわち、物体との類似度が低いほど人体であることの信頼度は高くなる。また、差分の値が小さい、すなわち、物体との類似度が高いほど人体であることの信頼度は低くなる。変形例１では、人体であることの信頼度に応じて、空調、照明設備等の各種機器の柔軟な制御が可能となる。

（変形例２）
上記の実施形態では、テンプレート保持部１７は、比較部１６が誤検出候補と比較するための物体の画像情報をテンプレートとして保持する。テンプレートは、予め登録されたものであってもよい。また、テンプレートは、誤検出判定処理で誤検出と判定された人体候補（物体）が、追加で格納されたものであってもよい。これに対し、変形例２では、テンプレートを追加するだけでなく、テンプレート保持部１７に格納されているテンプレートに対応する物体が、所定時間の間（所定数のフレームで）検出されなければ、当該物体のテンプレートは削除される。

テンプレートを削除するか否かは、例えば、次のように判定することができる。まず、図３のステップＳ３０において、検出部１０は、人体候補とともに物体を検出し、テンプレート保持部１７に対し、対応する物体が検出されたことを示す情報を登録する。

そして、比較部１６は、ステップＳ３２において人体候補をテンプレートと比較する際、ステップＳ３０での物体の検出結果に基づいて、比較対象のテンプレートの物体が所定数のフレームで検出されているか否かを判定する。比較部１６は、物体が所定数のフレームで検出されていない場合、当該物体のテンプレートを削除する。

変形例２では、テンプレート保持部１７に格納されたテンプレートの物体が、移動されたり、追跡対象エリア外に持ち出されたりした場合でも、テンプレート保持部１７から不要なテンプレートが削除される。また、追跡対象エリアないで移動した場合には、移動先に存在する物体として新たにテンプレートが登録される。不要なテンプレートの削除により、比較部１６による不要な比較処理は軽減される。また、テンプレート保持部１７に格納されるテンプレートが、より現状に即した状態に維持されるため、人体検出装置１は、誤検出をより精度よく判定することができる。

＜その他＞
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。

例えば、上記の実施形態では、人体候補は矩形領域として検出されるがこれに限られない。人体候補は、丸型の領域、人体候補の輪郭で囲まれた領域として検出されてもよい。

また、例えば、上記の実施形態では、誤検出候補を抽出する場合、現フレームと過去の所定数のフレームのそれぞれとの間で、位置またはサイズに変化がないかを判定するが、過去の所定数のフレームは連続したフレームでなくてもよい。例えば、一定時間ごとの過去のフレームとの対比により、位置またはサイズに変化がないかを判定してもよい。

＜付記１＞
（１）人体を検出する対象領域の撮像画像を受信する受信部（１０）と、
前記撮像画像から人体候補を検出し、前記人体候補の画像情報を取得する検出部（１１）と、
前記対象領域に存在する人体以外の物体の画像情報を保持する保持部（１７）と、
前記人体候補と重なる位置にある物体の画像情報を前記保持部から取得し、前記人体候補の画像情報および前記取得した物体の画像情報に基づいて前記人体候補と前記物体との類似度を判定し、前記類似度に基づいて前記人体候補の検出が誤検出であるか否かを判定する判定部（１５、１６）と、
を備えることを特徴とする人体検出装置（１）。

（２）人体を検出する対象領域の撮像画像を受信する受信ステップと、
前記撮像画像から人体候補を検出し、前記人体候補の画像情報を取得する検出ステップ（Ｓ３０）と、
前記対象領域に存在する人体以外の物体の画像情報を保持する保持部（１７）から、前記人体候補と重なる位置にある物体の画像情報を取得し、前記人体候補の画像情報および前記取得した物体の画像情報に基づいて前記人体候補と前記物体との類似度を判定し、前記類似度に基づいて前記人体候補の検出が誤検出であるか否かを判定する判定ステップと（Ｓ３３）、を含む
ことを特徴とする人体検出方法。

１：人体検出装置、２：撮像装置、１０：受信部、１１：検出部、１２：位置取得部、１３：サイズ取得部、１４：検出結果保持部、１５：誤検出候補取得部、１６：比較部、１７：テンプレート保持部、１８：出力部

Claims (13)

1. 人体を検出する対象領域の撮像画像を受信する受信部と、
   前記撮像画像から人体候補を検出し、前記人体候補の画像情報を取得する検出部と、
   前記対象領域に存在する人体以外の物体の画像情報を保持する保持部と、
   前記人体候補と重なる位置にある物体の画像情報を前記保持部から取得し、前記人体候補の画像情報および前記取得した物体の画像情報に基づいて前記人体候補と前記物体との類似度を判定し、前記類似度に基づいて前記人体候補の検出が誤検出であるか否かを判定する判定部と、
   を備えることを特徴とする人体検出装置。
2. 前記判定部は、前記人体候補の位置またはサイズの少なくともいずれかが所定時間の間変化していないと判定した前記人体候補について、誤検出であるか否かを判定する
   ことを特徴とする請求項１に記載の人体検出装置。
3. 前記判定部は、前記撮像画像における前記人体候補の中心位置と、所定数の過去の撮像画像における前記人体候補の中心位置との距離が、それぞれ所定の閾値より小さい場合に、前記人体候補の位置またはサイズの少なくともいずれかが所定時間の間変化していないと判定する
   ことを特徴とする請求項２に記載の人体検出装置。
4. 前記判定部は、前記撮像画像における前記人体候補を含む矩形の面積と、所定数の過去の撮像画像における前記人体候補を含む矩形の面積との差分が、それぞれ所定の閾値より小さい場合に、前記人体候補の位置またはサイズの少なくともいずれかが所定時間の間変化していないと判定する
   ことを特徴とする請求項２または３に記載の人体検出装置。
5. 前記判定部は、前記撮像画像における前記人体候補を含む矩形のアスペクト比と、所定数の過去の撮像画像における前記人体候補を含む矩形のアスペクト比との差分が、それぞれ所定の閾値より小さい場合に、前記人体候補の位置またはサイズの少なくともいずれかが所定時間の間変化していないと判定する
   ことを特徴とする請求項２から４のいずれか１項に記載の人体検出装置。
6. 前記判定部は、位置またはサイズの少なくともいずれかが所定時間の間変化していない前記人体候補に対して、前記保持部に前記人体候補と重なる物体の画像情報がない場合、前記人体候補に対応する画像情報を誤検出した物体の画像情報として前記保持部に格納する
   ことを特徴とする請求項１から５のいずれか１項に記載の人体検出装置。
7. 前記判定部は、前記保持部に保持された物体の画像情報うち、前記撮像画像から所定時間の間検出されていない物体の画像情報を、前記保持部から削除する
   ことを特徴とする請求項１から６のいずれか１項に記載の人体検出装置。
8. 前記画像情報は、前記人体候補または物体を囲む矩形領域の画像、中心座標、幅および高さを含む
   ことを特徴とする請求項１から７のいずれか１項に記載の人体検出装置。
9. 前記判定部は、前記人体候補の画像と、前記保持部から取得した物体の画像とが重なる領域において、輝度値、ＲＧＢ値、グレースケール値のうちの少なくともいずれか１つの差分の和に基づいて、前記人体候補の検出が誤検出であるか否かを判定する
   ことを特徴とする請求項１から８のいずれか１項に記載の人体検出装置。
10. 前記判定部による判定結果を表示する出力部をさらに備え、
    前記判定結果は、検出した前記人体候補の位置およびサイズを示す情報、前記人体候補が人体であるか否かの判定結果、前記人体候補が人体であることの信頼度のうちの少なくともいずれかを含む
    ことを特徴とする請求項１から９のいずれか１項に記載の人体検出装置。
11. 前記撮像画像を撮像し、前記受信部に送信する撮像部を、さらに備える
    ことを特徴とする請求項１から１０のいずれか１項に記載の人体検出装置。
12. 人体を検出する対象領域の撮像画像を受信する受信ステップと、
    前記撮像画像から人体候補を検出し、前記人体候補の画像情報を取得する検出ステップと、
    前記対象領域に存在する人体以外の物体の画像情報を保持する保持部から、前記人体候補と重なる位置にある物体の画像情報を取得し、前記人体候補の画像情報および前記取得した物体の画像情報に基づいて前記人体候補と前記物体との類似度を判定し、前記類似度に基づいて前記人体候補の検出が誤検出であるか否かを判定する判定ステップと、を含むことを特徴とする人体検出方法。
13. 請求項１２に記載の方法の各ステップをコンピュータに実行させるためのプログラム。

Images