以下、図面を参照して、各実施形態について説明する。
(第1の実施形態)
図1は、第1の実施形態に係る情報処理装置の構成の一例を示すブロック図である。本実施形態に係る情報処理装置は、画像から検出対象を検出することが可能な対象検出装置として実現されている。以下、本実施形態に係る情報処理装置は対象検出装置であるものとして説明する。
図1に示すように、対象検出装置10は、カメラ20と接続されている。カメラ20は、例えば図2に示すように、予め定められた比較的広い領域(以下、撮像領域と表記)が画角に含まれるように、高い位置に設置されている。これにより、カメラ20は、撮像領域内を往来する例えば人物のような複数の検出対象を含む画像を撮像することができる。以下、検出対象は人物であるものとして説明する。
ここで、図2に示す直線100は、カメラ20によって撮像される画像平面を表している。図2に示す位置に設置されたカメラ20によって画像が撮像された場合、当該カメラ20に近い位置に存在する人物101は、当該画像の下側に比較的大きく映し出される。一方、カメラ20から遠い位置に存在する人物102は、画像の上側に比較的小さく映し出される。なお、画像に映し出される人物の大きさ(サイズ)及び位置は、カメラ20の設置高(カメラ高)、画角、俯角及び画像サイズ等によって決定される。
本実施形態に係る対象検出装置10は、カメラ20によって撮像された画像に含まれる人物(検出対象)を検出する(つまり、画像認識処理を実行する)ために用いられる。なお、対象検出装置10による人物の検出結果は、例えば上記した撮像領域を含む所定のエリア(例えば、施設)における人物の混雑度の判定等に利用することができる。
本実施形態に係る対象検出装置10は、格納部11、処理部12及び表示部13を含む。本実施形態において、格納部11は、対象検出装置10に備えられる例えばHDD(Hard Disk Drive)、SSD(Solid State Drive)、ROM(Read Only Memory)またはRAM(Random Access Memory)等の記憶装置を用いて実現される。また、処理部12は、記憶装置に格納されたプログラムを実行する対象検出装置10に備えられるコンピュータ(例えば、プロセッサ等)によって実現される。また、表示部13は、対象検出装置10に備えられる例えば液晶ディスプレイ、有機ELディスプレイまたはタッチパネルディスプレイ等のディスプレイを用いて実現される。
格納部11には、上記した画像に含まれる人物を検出するために用いられるパラメータ(人物の検出に関するパラメータ)が設定された設定ファイルが格納されている。設定ファイルにおいては、例えば上記したカメラ20が適切な位置に設置されているような場合に人物を精度よく検出することができるようなパラメータ(値)が予め設定されている。
本実施形態において、処理部12は、上記したように画像に含まれる人物を検出する処理を実行する。また、処理部12は、上記した人物を検出するために用いられるパラメータを調整する処理を実行する。
処理部12は、第1取得部121、検出部122、決定部123、第2取得部124及び調整部125を含む。処理部12に含まれる各部121〜125の一部または全ては、例えば上記したコンピュータにプログラムを実行させること、すなわち、ソフトウェアによって実現されるものとする。なお、これらの各部121〜125の一部または全ては、例えばIC(Integrated Circuit)等のハードウェアによって実現されてもよいし、ソフトウェア及びハードウェアの組み合わせ構成として実現されてもよい。なお、コンピュータに実行させるプログラムは、コンピュータ読み取り可能な記憶媒体に格納して頒布されてもよいし、ネットワークを通じて対象検出装置10にダウンロードされてもよい。
第1取得部121は、カメラ20によって撮像された画像を取得する。なお、例えばカメラ20によって撮像された画像は、格納部11に格納されていても構わない。この場合、第1取得部121は、格納部11から画像を取得することができる。また、第1取得部121は、例えば対象検出装置10の外部のサーバ装置等から画像を取得してもよい。
検出部122は、設定ファイルにおいて設定されているパラメータに従って、第1取得部121によって取得された画像に含まれる複数の人物を検出する。なお、設定ファイルにおいて設定されているパラメータには、例えば画像から検出する人物のサイズに関するパラメータ(以下、検出サイズパラメータと表記)等が含まれる。
決定部123は、第1取得部121によって取得された画像中の特定の範囲(以下、視認範囲と表記)を決定する。決定部123は、例えば検出部122によって検出された複数の人物のうちの少なくとも1の人物を包含する視認範囲(画像の一部領域)を決定する。
なお、第1処理部121及び決定部123は、当該第1取得部121によって取得された画像及び決定部123によって決定された視認範囲(当該画像の一部領域を一部領域を示す情報)を表示部13に送信することにより、画像及び視認範囲を表示部13に表示する表示処理部として機能する。これにより、対象検出装置10を使用するユーザ(操作者)は、表示部13に表示された画像(の視認範囲)を視認することができる。
第2取得部124は、このようにユーザによって視認された画像中の視認範囲内に含まれる人物に関する情報(以下、視認情報と表記)を取得する。第2取得部124によって取得される視認情報には、例えばユーザによって視認された視認範囲内に含まれる人物の数が含まれる。なお、視認情報に含まれる人物の数は、例えばユーザによって指定(入力)される。
調整部125は、検出部122による人物の検出結果(当該検出部122によって検出された画像に含まれる人物の数)及び第2取得部124によって取得された視認情報(に含まれる人物の数)に基づいて、上記した設定ファイルにおいて設定されているパラメータを調整(決定)する。
なお、調整部125によってパラメータが調整された場合、上記した検出部122は、当該調整されたパラメータに従って人物を検出する処理を実行することができる。すなわち、検出部122は、上記した視認情報(人物に関する情報)に基づいて画像に含まれる人物を検出する。この場合、検出部122は、人物に関する情報に基づいて、例えば第1の取得部121によって既に取得された画像(第1画像)から人物を検出してもよいし、当該画像よりも後に取得される別の画像(第2画像)から人物を検出してもよい。
以下、本実施形態に係る対象検出装置10の動作について説明する。本実施形態に係る対象検出装置10は、上記したようにカメラ20によって撮像された画像(例えば、動画像)に対して画像認識処理を実行することによって、当該画像に含まれる複数の人物を検出することができる。この場合、対象検出装置10は、例えば人物である尤度が高い画像中の領域を抽出することによって当該人物を検出することが可能である。画像から人物を検出する手法については公知の技術を利用することが可能であるが、例えば特開2016−095640号公報に開示された技術等を利用しても構わない。
ここで、画像から人物を検出する処理(以下、人物検出処理と表記)は、上記した設定ファイルにおいて設定されているパラメータに従って実行される。なお、このパラメータには、上記した検出サイズパラメータが含まれる。検出サイズパラメータとしては、検出対象である人物のサイズの上限(値)及び下限(値)が規定されている。このような検出サイズパラメータによれば、上限値と下限値との間に該当するサイズの人物の検出精度は高くなり(検出されやすくなり)、上限値よりも大きいサイズの人物及び下限値よりも小さいサイズの人物の検出精度は低くなる(検出されにくくなる)。
なお、上記したパラメータは、精度よく人物を検出することができる程度に予め設定されているものとする。
ここで、図3及び図4は、例えば異なる時間帯にカメラ20によって撮像された画像の一例を示す。図3及び図4においては、カメラ20が駅のホームに設置されている場合を想定している。図5は、図3に示す画像に対して人物検出処理を実行した場合における人物の検出結果の一例を示す。図6は、図4に示す画像に対して人物検出処理を実行した場合における人物の検出結果の一例を示す。なお、図5及び図6においては、人物の頭部に対する検出結果の例を示している。図5及び図6に示す検出結果においては、人物検出処理によって検出された人物(の頭部)に対応する領域に特定の色彩(例えば、赤色または黄色等)が付されている。
図5に示す例によれば、概ね図3に示す画像に含まれる人物の頭部に対応する領域には特定の色彩が付されている。すなわち、図5は、比較的精度の高い検出結果の例である。
一方、図6に示す例によれば、頭部に特定の色彩が付されていない人物が多く存在している。したがって、図6は、比較的精度の低い検出結果の例である。
なお、図3及び図4に示すように、カメラ20によって撮像された画像においては、カメラ20の設置位置により、当該画像の上側に位置する人物は小さく、当該画像の下側に位置する人物は大きく映し出される。このため、上記した検出サイズパラメータ(の上限値及び下限値)は、画像の上側の領域と下側の領域とで異なる値が設定されているものとする。なお、異なる値が設定される領域は、上側及び下側の2つではなく、3以上の領域であっても構わない。
上記したように、例えば設定ファイルにおいて同様のパラメータが設定されていたとしても、カメラ20の設置位置または設置環境等によっては適切に(精度よく)人物を検出することができない場合がある。
このような場合には、設定ファイルにおいて設定されているパラメータを、カメラ20の設置位置または設置環境に応じて調整(変更)する必要がある。
そこで、本実施形態に係る対象検出装置10は、人物を検出するために用いられるパラメータを自動的に調整する処理(以下、パラメータ調整処理と表記)を実行する。
以下、図7のフローチャートを参照して、パラメータ調整処理の処理手順の一例について説明する。ここでは主に、検出サイズパラメータを調整する処理(以下、第1のパラメータ調整処理と表記)について説明する。なお、図7に示す処理は、例えば対象検出装置10を使用するユーザによって第1のパラメータ調整処理の実行が指示された場合に実行される。
まず、第1取得部121は、カメラ20によって撮像された画像を取得する(ステップS1)。第1取得部121によって取得される画像は、第1のパラメータ調整処理の実行がユーザによって指示された際にカメラ20によって撮像された画像(例えば、静止画像)を含む。なお、第1取得部121は、例えば格納部11に格納されている複数の画像(例えば、過去に撮像された動画を構成する複数の画像)のうちユーザによって指定された画像を取得してもよいし、当該複数の画像の中から対象検出装置10において自動的に選択された画像を取得してもよい。自動的に画像が選択される場合、対象検出装置10は、例えば少なくとも複数の人物が含まれている画像を選択するものとする。
次に、検出部122は、ステップS1において取得された画像に対する人物検出処理を実行することにより、当該画像に含まれる複数の人物を検出する(ステップS2)。人物検出処理は、上記したように設定ファイルにおいて設定されているパラメータ(例えば、検出サイズパラメータ等)に従って実行される。なお、人物検出処理については、上述した通りであるため、その詳しい説明を省略する。
ステップS2における検出結果は、表示部13に表示される(ステップS3)。この場合、検出結果は、上記した図5及び図6において説明した態様で表示部13に表示される。これにより、ユーザは、ステップS1において取得された画像に対する人物の検出結果の妥当性(精度)を確認することができる。
ここで、決定部123は、ステップS1において取得された画像中の特定の範囲(視認範囲)を決定する(ステップS4)。視認範囲は、当該視認範囲内に存在する人物の数をユーザに入力(指定)させるために利用される。
ステップS4において、決定部123は、視認範囲として例えば以下の第1〜第4の範囲のうちの1つを決定することができるものとする。
第1の範囲は、例えば画像中のユーザによって指定された範囲を含む。具体的には、第1の範囲は、例えばユーザによって指定された位置、形状及びサイズによって特定される範囲であってもよいし、ユーザによって指定された画像上の位置を包含する一定の範囲であっても構わない。
第2の範囲は、例えば画像の領域を所定の数のタイル状に分割し、当該分割されたタイル状の領域のうちの1つに相当する範囲を含む。なお、第2の範囲は、分割されたタイル状の領域のうちのランダムに選択された1つに相当する範囲であってもよいし、当該分割されたタイル状の領域のうちのユーザによって指定された1つに相当する範囲であってもよい。
第3の範囲は、例えば対象検出装置10(決定部123)によってランダムに選択された範囲を含む。
第4の範囲は、例えば人物が存在すると推定される画像中の領域を包含する範囲を含む。この場合、人物が存在すると推定される画像中の領域は、例えば背景差分(またはフレーム間差分)等の画像処理によって特定されればよい。なお、第4の範囲は、人物が存在すると推定される画像中の複数の領域のうちのランダムに選択された1つを包含する範囲であってもよいし、当該人物が存在すると推定される画像中の複数の領域のうちのユーザによって指定された1つを包含する範囲であってもよい。また、第4の範囲は、人物が存在しない(含まれていない)と推定される画像中の領域を包含する範囲であっても構わない。
なお、ここで説明した第1〜第4の範囲は一例であり、決定部123は、他の範囲を視認範囲として決定してもよい。例えば画像中の人物を検出したと思われる部分を含む領域を視認範囲として決定(選択)してもよいし、当該視認範囲の決定に画像を構成する画素毎の人物がいるらしい尤度の情報が利用されてもよい。また、視認範囲は、例えばステップS1において取得された画像全体に相当する範囲であってもよい。
ステップS4の処理が実行されると、ステップS1において取得された画像及びステップS4において決定された視認範囲が表示部13に表示される(ステップS5)。
ここで、図8は、ステップS5において表示部13に表示された画像及び視認範囲の一例を示す。図8に示すように、視認範囲は例えば矩形の枠201等で表され、当該矩形の枠201(視認範囲)は、画像202上に重畳表示される。
この場合、ユーザは、例えば対象検出装置10を操作することによって、表示部13に表示された画像中の視認範囲を視認(目視)し、当該視認範囲内に含まれる人物に関する視認情報を入力する。視認情報は、視認範囲内に含まれる人物の数(ユーザによって視認される人物の数)を含む。なお、上記した図1等においては説明を省略したが、視認情報(人物の数)は、対象検出装置10が備える各種入力装置(例えば、キーボード、マウス、タッチパネルディスプレイ等)を用いてユーザによって入力される。
なお、図8に示す画像202及び視認範囲201が表示された場合には、ユーザは、視認範囲201内に含まれる人物の数として5を入力する。
再び図7に戻ると、第2取得部124は、ユーザによって入力された人物の数(視認情報)を取得する(ステップS6)。
次に、調整部125は、ステップS2における検出結果及びステップS6において取得された人物の数に基づいて、設定ファイルにおいて設定されているパラメータを調整する(ステップS7)。
具体的には、調整部125は、ステップS2における人物検出処理により視認範囲内において検出された人物の数(以下、検出人数と表記)と、ステップS6において取得された人物の数(以下、視認人数と表記)とが異なる場合、当該検出人数と視認人数とが一致するようにパラメータ(例えば、検出サイズパラメータ)を調整する。この場合、調整部125は、例えばパラメータの調整と人物検出処理とを繰り返し実行することによって検出人数と視認人数とが一致するパラメータを得ることができる。
ステップS7において調整されたパラメータは、設定ファイルにおいて再設定される。換言すれば、ステップS7において調整されたパラメータは、設定ファイルにおいて既存のパラメータに上書きされる。
なお、上記したように画像の上側の領域と下側の領域とで異なる検出サイズパラメータ(の値)が設定されている場合、当該各領域の値は例えば連動して調整されるものとする。具体的には、例えば視認範囲が画像の上側の領域に相当する範囲である場合であっても、当該上側の領域の値と下側の領域の値とが連動して(同様に)調整されるものとする。すなわち、例えば視認範囲に対応する領域以外における人物の検出に用いるパラメータを調整(決定)するような構成とすることも可能である。
ここでは領域に応じた異なる検出サイズパラメータの値が連動して調整されるものとして説明したが、当該視認範囲に対応する領域(当該視認範囲に該当する領域)の検出サイズパラメータの値のみが独立して調整される構成としても構わない。
ここで、上記したステップS7において検出人数と視認人数とが一致している場合には、パラメータの調整を行う必要はない。しかしながら、ステップS4において決定された視認範囲における検出人数及び視認人数が偶然一致していたにすぎず、他の範囲における検出人数及び視認人数は一致していない場合がある。また、ステップS7においてパラメータが調整された場合であっても、ステップS4において決定された視認範囲以外の他の範囲における検出人数及び視認人数までもが一致するとは限らない。
このため、図7には示されていないが、例えばステップS2〜S7の処理は複数回繰り返される構成としてもよい。なお、例えばステップS7においてパラメータが調整された後にステップS2の処理が実行される場合、当該ステップS2においては、当該調整されたパラメータに従って人物検出処理が実行されるものとする。また、処理が繰り返される場合におけるステップS4の処理においては、当該処理の前に決定された視認範囲とは異なる範囲が決定されるものとする。具体的には、例えば1回目のステップS4の処理において図8に示す視認範囲(矩形の枠201で表される範囲)が決定された場合、2回目のステップS4の処理においては、例えば図9に示す矩形の枠301で表される範囲等が視認範囲として決定される。なお、図9に示す視認範囲(及び画像)が表示された場合、ステップS6においては、視認人数として3が取得される。
なお、上記した1回目のステップS4の処理において決定される視認範囲と2回目のステップS4の処理において決定される視認範囲とでは人物の存在する密度が異なることが好ましい。具体的には、例えば1回目のステップS4の処理においては密度の高い視認範囲が決定され、2回目のステップS4の処理においては密度の低い視認範囲が決定される。このような構成によれば、少ない繰り返し回数で、密度の高い視認範囲及び密度の低い視認範囲において検出人数と視認人数を一致させることができ、処理量を低減させることができる。なお、ステップS4において決定される視認範囲における密度(人物の数)は適度であることが好ましい。このため、例えば密度が予め定められた範囲内となるよう視認範囲が決定されるような構成とすることも可能である。
また、1回目のステップS4の処理においては例えば画像の下側の領域から視認範囲が決定され、2回目のステップS4の処理においては例えば画像の上側の領域から視認は荷が決定されるような構成としても構わない。
上記したようにステップS2〜S7の処理が繰り返されることにより、画像中の複数の範囲(視認範囲)において検出人数及び視認人数が一致するようなパラメータに調整することが可能となる。
なお、ステップS2〜S7の処理が繰り返される構成の場合、第1のパラメータ調整処理は、例えば当該処理が予め定められた回数繰り返された後に終了されるものとする。
また、例えば処理の繰り返しの度にステップS3において表示される検出結果をユーザが確認し、当該検出結果の表示画面上に設けられた処理の終了を指示するボタン等がユーザによって押下(指定)された場合に、第1のパラメータ調整処理が終了されるような構成であっても構わない。ユーザは、検出結果を確認することによって、例えば当該検出結果(の精度)が改善したと判断した場合に処理の終了を指示するボタンを押下することができる。
また、第1のパラメータ調整処理は、例えば検出人数と視認人数との一致が予め定められた回数連続した場合に終了されてもよい。
なお、上記したようにステップS2〜S7の処理が繰り返されるのであれば、ステップS7における処理においては、少なくとも検出人数と視認人数との差(誤差)が小さくなるようにパラメータが調整されればよい。この場合、ステップS2〜S7の処理が繰り返し実行され、検出人数と視認人数との差が予め定められた値となった場合に処理が終了されるような構成とすることができる。このような構成によれば、ステップS7の処理において検出人数と視認人数とを一致させるまでパラメータを調整する必要がないため、当該ステップS7の処理における演算量を低減することができる。
ここではステップS2〜S7の処理が繰り返される場合について説明したが、上記した図7において説明したように、当該処理が繰り返されることなく第1のパラメータ調整処理が終了される構成であっても構わない。
また、ユーザによる確認のためにステップS3において検出結果が表示されるものとして説明したが、当該ユーザによる確認が不要な場合には、当該ステップS3の処理は省略されても構わない。
ここで、上記した第1のパラメータ調整処理によれば、検出サイズパラメータが調整されることによって対象検出装置10における人物の検出精度を向上させることが可能であるが、ユーザにとって検出される必要のない人物までもが画像から検出される場合がある。本実施形態に係る対象検出装置10においては、このような検出される必要のない人物(以下、検出不要人物と表記)に関するパラメータを調整する処理が更に実行されても構わない。
以下、検出不要人物に関するパラメータを調整する処理(以下、第2のパラメータ調整処理と表記)の処理手順の一例について説明する。
第2のパラメータ調整処理は、例えば対象検出装置10を使用するユーザによって第2のパラメータ調整処理の実行が指示された場合に実行される。なお、第2のパラメータ調整処理は、例えば上述した第1のパラメータ調整処理が実行された後に実行される。
ここでは、第2のパラメータ調整処理を便宜的に図7のフローチャートを用いて説明し、第1のパラメータ調整処理と異なる部分について主に述べる。
第2のパラメータ調整処理においては、上記したステップS1〜S5の処理が実行される。
次に、ユーザは、例えば対象検出装置10を操作することによって、表示部13に表示された画像中の視認範囲を視認し、当該視認範囲内に含まれる人物に関する視認情報を入力する。なお、上述した第1のパラメータ調整処理においては視認情報として視認範囲内に含まれる人物の数が入力されるものとして説明したが、第2のパラメータ調整処理においては、視認範囲内に含まれる人物のうち、人物検出処理において検出されることを希望する人物の数がユーザによって入力される。
これにより、第2取得部124は、ユーザによって入力された人物の数(視認情報)を取得する(ステップS6)。例えばステップS5において表示された視認範囲内に5人の人物が存在する場合であって、当該人物のうち、ユーザが人物検出処理において検出されることを希望する人物の数が3人である場合には、第2取得部124は、ユーザによって入力された3を取得する。
次に、調整部125は、ステップS2における検出結果及びステップS6において取得された人物の数に基づいて、上記した検出不要人物に関するパラメータを調整(設定)する(ステップS7)。
具体的には、調整部125は、ステップS2における人物検出処理により視認範囲内において検出された人物の数(つまり、検出人数)と、ステップS6において取得された人物の数(以下、検出希望人数と表記)とが異なる場合、例えば視認範囲内において検出された人物の中から検出不要人物を特定する。
この場合、調整部125は、視認範囲内において検出された人物のうち、例えばサイズが小さい人物を検出不要人物として特定することができる。具体的には、検出人数が5であり、検出希望人数が3である場合には、他の人物と比較してサイズが小さい2人の人物が検出不要人物として特定される。
調整部125は、このように人物のサイズに基づいて特定された検出不要人物が視認範囲内で検出されないように検出不要人物に関するパラメータを調整する。具体的には、視認範囲内において検出不要人物が検出されない程度に、検出サイズパラメータ(において規定されている下限値)を調整する。すなわち、検出不要人物に関するパラメータは、検出サイズパラメータであっても構わない。
ここで、図10を参照して、上記したように人物のサイズに基づいて検出不要人物が特定される場合における第2のパラメータ調整処理について具体的に説明する。なお、図10においては、上記した図8及び図9と比較して、便宜的に背景を省略し、人物を模式的に示している。
ここでは、第2のパラメータ調整処理において、画像401及び視認範囲402が表示されたものとする。
なお、カメラ20の設置位置等によっては、図10の上段の図に示すように、当該カメラ20から近い位置に存在する人物(つまり、サイズの大きい人物)403と当該カメラ20から遠い位置に存在する人物(つまり、サイズの小さい人物)404とが画像401中の近い領域に映し出される場合がある。ここでは、視認範囲402内には、サイズの異なる人物403及び404が含まれるものとする。
ここで、例えばサイズの小さい人物404は検出される必要がないとユーザが考えた場合、ユーザは、下限サイズ設定モードを指定し、検出希望人数「1」を入力するものとする。この場合、視認範囲402内において検出されている人物403及び404のうち、サイズが小さい人物404が検出不要人物として特定される。これにより、検出不要人物として特定された人物404が検出されないように検出サイズパラメータ(検出不要人物に関するパラメータ)が調整される。具体的には、この検出サイズパラメータにおいて規定されている下限値が、人物404のサイズよりも大きくなるように、当該検出サイズパラメータが調整される。すなわち、上記した下限サイズ設定モードは、検出サイズパラメータにおいて規定されている下限値を調整(設定)するためのモードである。
このようなパラメータの調整後に画像401に対して人物検出処理が実行された場合、図10の下段の図に示すように、サイズの小さい人物404は検出されない。同様に、画像401において人物404と同程度のサイズの人物405も検出されない。なお、図10の下段の図において、パラメータ調整後の人物検出処理によって検出されない人物はハッチングで示されている。
上記したように人物のサイズに基づいて検出不要人物が特定される場合には、ユーザによって入力された検出希望人数に基づいて人物404及び405が検出されないようにパラメータを調整することができる。
ここでは検出サイズパラメータにおいて規定されている下限値を調整する場合について説明したが、当該検出サイズパラメータにおいて規定されている上限値を調整する場合には、ユーザは、上限サイズ設定モードを指定するものとする。これによれば、サイズが大きい人物が検出不要人物として特定され、当該特定された人物が検出されないように検出サイズパラメータにおいて規定されている上限値が調整される。
なお、検出不要人物は、他の条件(基準)に基づいて特定されても構わない。具体的には、検出不要人物は、例えば視認範囲内に含まれる人物に対応する領域の輝度(明るさ)またはコントラスト比に基づいて特定されてもよいし、当該視認範囲内に含まれる人物の位置に基づいて特定されても構わない。
ここで、図11を参照して、人物に対応する領域の輝度またはコントラスト比に基づいて検出不要人物が特定される場合における第2のパラメータ調整処理について具体的に説明する。図11においては、上記した図10と同様に、便宜的に背景を省略し、人物を模式的に示している。なお、以下の説明においては、主に輝度に基づいて検出不要人物が特定されるものとして説明するが、コントラスト比に基づいて検出不要人物が特定される場合も同様である。
ここでは、第2のパラメータ調整処理において、画像501及び視認範囲502が表示されたものとする。
なお、カメラ20の設置位置または設置環境等によっては、図11の上段の図に示すように、画像501の各領域の輝度に差異がある場合がある。なお、図11の上段の図において、画像501の領域501aは、輝度が高い(閾値以上である)領域であり、領域501bは、輝度が低い(閾値未満である)領域である。ここでは、視認範囲502内には、領域501aに対応する(位置する)人物503及び領域501bに対応する(位置する)人物504が含まれるものとする。
ここで、例えば輝度の低い領域501bに位置する人物504は検出される必要がないとユーザが考えた場合、ユーザは、下限輝度設定モードを指定し、検出希望人数「1」を入力するものとする。この場合、視認範囲502内において検出されている人物503及び504のうち、輝度の低い領域501bに対応する人物504が検出不要人物として特定される。これにより、検出不要人物として特定された人物504が検出されないように、例えば画像から検出する人物(に対応する領域)の輝度に関するパラメータ(検出不要人物に関するパラメータ)が調整される。
なお、画像から検出される人物の輝度に関するパラメータ(以下、検出輝度パラメータと表記)においては、当該輝度の上限値及び下限値が規定されているものとする。このような検出輝度パラメータによれば、上限値と下限値との間に該当する輝度の領域に対応する人物の検出精度は高くなる(検出されやすくなる)。また、上限値よりも高い輝度の領域に対応する人物及び下限値よりも低い輝度の領域に対応する人物の検出精度は低くなる(検出されにくくなる)。
この場合、検出輝度パラメータにおいて規定されている下限値(つまり、輝度の下限値)が領域501bの輝度よりも高くなるように、当該検出輝度パラメータが調整される。
すなわち、上記した下限輝度設定モードは、検出輝度パラメータにおいて規定されている下限値を調整(設定)するためのモードである。
このようなパラメータの調整後に画像501に対して人物検出処理が実行された場合、図11の下段の図に示すように、領域501bに存在する人物504は検出されない。同様に、領域501bに存在する人物505も検出されない。なお、図11の下段の図において、パラメータ調整後の人物検出処理によって検出されない領域501bはハッチングで示されている。
上記したように人物に対応する領域の輝度に基づいて検出不要人物が特定される場合には、ユーザによって入力された検出希望人数に基づいて人物504及び505が検出されないようにパラメータを調整することができる。換言すれば、上記したような検出輝度パラメータの調整により、人物504及び505に対応する領域のような輝度の低い領域を、人物検出処理の対象となる領域(つまり、人物を検出する領域)から除外することが可能となる。
ここでは検出輝度パラメータにおいて規定されている下限値を調整する場合について説明したが、当該検出輝度パラメータにおいて規定されている上限値を調整する場合には、ユーザは、上限輝度設定モードを指定するものとする。これによれば、輝度の高い領域に対応する人物が検出不要人物として特定され、当該特定された人物が検出されないように検出輝度パラメータにおいて規定されている上限値が調整される。
次に、図12を参照して、人物の位置に基づいて検出不要人物が特定される場合における第2のパラメータ調整処理について具体的に説明する。人物の位置に基づいて検出不要人物を特定する場合には、ユーザは、領域設定モードを指定するものとする。領域設定モードは、人物検出処理の対象となる画像中の領域に関するパラメータを調整(設定)するためのモードである。なお、図12においては、上記した図10及び図11と同様に、便宜的に背景を省略し、人物を模式的に示している。
ここで、第2のパラメータ調整処理においては、例えば複数の視認範囲が表示され、当該視認範囲の各々に対して検出希望人数が入力されるようにしても構わない。ここでは、第2のパラメータ調整処理において、画像601及び複数の視認範囲602a〜602cが表示されたものとする。
具体的には、図12の上段の図に示すように、画像601中の視認範囲602aには、人物603が含まれているものとする。画像601中の視認範囲602bには人物604〜606、視認範囲602cには人物607及び608が含まれているものとする。
また、視認範囲602aに対しては検出希望人数として0、視認範囲602bに対しては検出希望人数として1、視認範囲602cに対しては検出希望人数として1が入力されたものとする。この場合、視認範囲602a内において検出されている人物603は、検出不要人物として特定される。
一方、視認範囲602b内においては人物604〜606が検出されているが、上記したように検出希望人数が1である場合、検出不要人物の数は2である。この場合、人物604〜606のうち、例えば検出希望人数が0である視認範囲602aに近い2人の人物604及び605が検出不要人物として特定されるものとする。なお、例えば検出希望人数が0である視認範囲がないような場合には、画像の中心から遠い位置に位置する人物を検出不要人物として特定するようにしてもよい。同様に、視認範囲602cに関しては、当該視認範囲602c内において検出されている人物607及び608のうち視認範囲602aに近い人物608が検出不要人物として特定される。
この場合、検出不要人物として特定された人物603〜605及び608が検出されないように、例えば人物検出処理の対象となる画像中の領域を制限するためのパラメータ(検出不要人物に関するパラメータ)が調整(設定)される。
具体的には、図12の上段の図に示すように、例えば視認範囲602bにおいて検出不要人物として特定された人物604及び605と当該視認範囲602b内に存在する他の人物606との間に境界線611を生成する。同様に、視認範囲602cにおいて検出不要人物として特定された人物608と当該視認範囲602c内に存在する他の人物607との間に境界線612を生成する。このように生成された境界線611及び612を接続することによって、例えば図12の下段の図に示すような境界線613を生成する。なお、境界線613は、画像601において、上記した検出不要人物として特定された人物603〜605及び608(が存在する領域)と、当該検出不要人物として特定されていない人物606及び607(が存在する領域)とを分離する線である。
これにより、人物検出処理の対象となる画像中の領域を制限するためのパラメータを調整し、境界線613によって分離される2つの領域のうち、検出不要人物が含まれている領域(図12の下段の図においてハッチングで示されている領域)を、人物検出処理の対象から除外された領域として設定することができる。
このようなパラメータの調整後に画像601に対して人物検出処理が実行された場合、検出不要人物として特定された人物603〜605及び608に加えて、境界線613の左側の領域に存在する人物609も検出されない。
上記したように人物の位置に基づいて検出不要人物が特定される場合には、ユーザによって入力された検出希望人数に基づいて人物603〜605、608及び609が検出されないようにパラメータを調整することができる。
なお、ここでは複数の視認範囲602a〜602cが表示されるものとして説明したが、人物の位置に基づいて検出不要人物が特定される場合に1つの視認範囲のみが表示されても構わない。
上記したように、例えば下限サイズ設定モード、上限サイズ設定モード、下限輝度設定モード、上限輝度設定モード及び領域設定モード等がユーザによって指定されることによって、検出不要人物に関するパラメータを調整することが可能となる。換言すれば、設定モードに応じて調整されるパラメータを変更することができる。
なお、各設定モード(設定モードに関する情報)は、例えば図13に示すような設定画面において表示されることによって、ユーザが指定(選択)することが可能である。図13においては、下限サイズ設定モードが指定された場合が示されている。
ここではサイズ、輝度(またはコントラスト比)または位置に基づいて検出不要人物が特定されるものとして説明したが、当該検出不要人物は他の条件(基準)に基づいて特定されても構わない。
なお、第2のパラメータ調整処理における視認範囲は検出不要人物を含む範囲である必要があることから、ステップS4の処理においては、ユーザによって指定された範囲(第1の範囲)が視認範囲として決定されるものとする。
上記したように第1のパラメータ調整処理に加えて第2のパラメータ調整処理が更に実行されることにより、ユーザの希望する人物のみが検出されるようにパラメータが調整されるため、後の人物検出処理においてユーザの意図する人物検出を実現することが可能となる。
上記したように本実施形態においては、複数の人物(検出対象)を含む画像を取得し、予め設定されているパラメータに従って当該画像に含まれる複数の人物を検出し、ユーザによって視認された画像に含まれる人物に関する視認情報を取得し、当該検出結果及び当該視認情報に基づいてパラメータを調節する。
本実施形態においては、このような構成により、検出対象を検出するために用いられるパラメータを容易に調整することが可能となる。
具体的には、本実施形態において、視認情報は画像中の特定の範囲(視認範囲)内に含まれる人物の数を含む。また、本実施形態においては、視認範囲内において検出された人物の数と視認情報に含まれる人物の数とが一致するようにパラメータが調整される。なお、本実施形態において調整されるパラメータには、例えば画像から検出する人物のサイズに関するパラメータ(検出サイズパラメータ)が含まれる。
本実施形態においては、このような構成により、ユーザは、複雑な操作をする必要がなく、表示された画像中の視認範囲内に存在する人物の数を入力(指定)するという簡易な操作により、当該人物の検出精度を向上させるようにパラメータを調整(変更)することが可能となる。
また、本実施形態においては、上記したように第1のパラメータ調整処理に加えて第2のパラメータ調整処理を実行することによって、検出サイズパラメータのみではなく他のパラメータを調整することも可能である。
なお、本実施形態においては画像から人物が検出されるものとして説明したが、画像から検出されるのは、例えば人物全体であってもよいし、当該人物の頭部であってもよいし、当該人物の顔であってもよい。また、本実施形態においては検出対象が人物であるものとして説明したが、当該検出対象は、例えば動物または他の物体(移動体)等であっても構わない。上記対象の検出には、統計学習等を用いた公知の検出技術を用いることができる。
また、本実施形態においては、対象検出装置10がカメラ20と接続されるものとして説明したが、当該カメラ20は、対象検出装置10に組み込まれる構成であっても構わない。
更に、本実施形態においては対象検出装置10が1つの装置であるものとして説明したが、例えば当該対象検出装置10が複数の装置によって実現され、上記した処理部12に含まれる各部121〜125の各々が当該複数の装置に分散されていても構わない。
(第2の実施形態)
次に、第2の実施形態について説明する。図14は、本実施形態に係る対象検出装置の構成の一例を示すブロック図である。なお、図14においては、前述した図1と同様の部分には同一参照符号を付してその詳しい説明を省略する。ここでは、図1と異なる部分について主に述べる。
なお、本実施形態においては、人物を検出するために用いられるパラメータを調整するためのユーザインタフェース(UI)を提供する点が、前述した第1の実施形態とは異なる。
図14に示すように、対象検出装置30は、処理部31を含む。処理部31は、記憶装置に格納されたプログラムを実行する対象検出装置30に備えられるコンピュータ(例えば、プロセッサ等)によって実現される。
処理部31は、前述した第1の実施形態において説明した第1取得部121及び検出部122に加えて、ユーザインタフェース部(以下、UI部と表記)311及び調整部312を含む。
UI部311は、人物を検出するために用いられるパラメータを調整する際にユーザの操作を受け付けるためのユーザインタフェースを表示部13に表示する。
調整部312は、UI部311によって表示部13に表示されたユーザインタフェースに対するユーザの操作に応じて、設定ファイルにおいて設定されているパラメータを調整する。
以下、図15のフローチャートを参照して、本実施形態に係る対象検出装置30によって実行されるパラメータ調整処理の処理手順の一例について説明する。ここでは、画像から検出する人物のサイズに関するパラメータ(検出サイズパラメータ)を調整する処理について説明する。なお、図15に示す処理は、例えば対象検出装置30を使用するユーザによってパラメータ調整処理の実行が指示された場合に実行される。
まず、前述した図7に示すステップS1及びS2の処理に相当するステップS11及びS12の処理が実行される。
次に、UI部311は、ユーザがパラメータを調整するための画面(以下、調整画面と表記)を表示部13に表示する(ステップS13)。なお、調整画面には、ステップS11において取得された画像及びステップS2における検出結果が含まれる。また、調整画面においては、ステップS1において取得された画像上にユーザの操作を受け付けるためのユーザインタフェースが表示される。
ここで、図16を参照して、調整画面について具体的に説明する。図16に示すように、調整画面700には、画像701及び検出結果(の画像)702が含まれている。ユーザは、このような調整画面700を確認することによって、画像701に対して人物検出処理が実行された結果(つまり、検出結果702)を把握することができる。
なお、画像701上には、矩形の枠703がユーザインタフェース(以下、ユーザインタフェース703と表記)として表示されている。このユーザインタフェース703は、例えば検出サイズパラメータに従って検出される人物(の頭部)のサイズを表している。換言すれば、ユーザインタフェース703は、例えば検出サイズパラメータにおいて規定されている下限値と上限値との間に該当するサイズを表している。このユーザインタフェース703(によって表されるサイズ)により、ユーザは、画像から検出される人物のサイズを把握することができる。なお、ユーザインタフェース703が表示される画像701上の位置は、例えばユーザによって指定される。
ユーザは、調整画面700(に含まれる画像701及び検出結果702)を確認することによって、パラメータの調整が必要であるか否かを判断する。このパラメータの調整が必要であるか否かの判断は、例えばユーザインタフェース703によって表されるサイズと当該ユーザインタフェース703の近傍の人物のサイズとを比較することによって行うことができる。すなわち、ユーザインタフェース703によって表されるサイズと人物のサイズとが大きく異なるような場合には、パラメータの調整が必要であると判断することができる。
パラメータの調整が必要でないと判断される場合、ユーザは、例えば調整画面700上に設けられた終了ボタン(図示せず)等を押下する操作を行うことにより、パラメータ調整処理の終了を指示することができる。
一方、パラメータの調整が必要であると判断される場合、ユーザは、画像701上に表示されているユーザインタフェース703に対する操作を行うことによって、パラメータを調整することができる。ユーザインタフェース703に対する操作は、UI部311によって受け付けられる。
なお、ユーザインタフェース703に対する操作は、当該ユーザインタフェース703(によって表されるサイズ)を拡大及び縮小する操作を含む。具体的には、例えば画像に含まれる人物の大きさがユーザインタフェース703によって表されるサイズよりも大きい場合、ユーザは、当該人物の大きさにユーザインタフェース703によって表されるサイズが概ね一致する程度にユーザインタフェース703を拡大する操作を行う。一方、例えば画像に含まれる人物(の頭部)の大きさがユーザインタフェース703によって表されるサイズよりも小さい場合、ユーザは、当該人物の大きさにユーザインタフェース703によって表されるサイズが概ね一致する程度にユーザインタフェース703を縮小する操作を行う。
上記したユーザインタフェース703に対する操作は、例えばマウス等を用いた操作であってもよいし、キーボードの特定のキーを押下する操作であってもよいし、他の操作であってもよい。
ここで、対象検出装置30においては、ユーザの操作に応じてパラメータ調整処理の終了が指示されたか否かが判定される(ステップS14)。
上記したユーザインタフェース703に対する操作がユーザによって行われた場合、ステップS14においては、パラメータ調整処理の終了が指示されていないと判定される(ステップS14のNO)。
この場合、調整部312は、UI部311によって受け付けられたユーザインタフェース703に対する操作に基づいてパラメータを調整する(ステップS15)。具体的には、調整部312は、UI部311によって受け付けられた操作がユーザインタフェース703を拡大する操作である場合には、例えば検出サイズパラメータにおいて規定されている上限値(及び下限値)を上方に調整する(つまり、値を大きくする)。一方、調整部312は、UI部311によって受け付けられた操作がユーザインタフェース703を縮小する操作である場合には、例えば検出サイズパラメータにおいて規定されている下限値(及び上限値)を下方に調整する(つまり、値を小さくする)。
なお、検出サイズパラメータ(上限値及び下限値)の調整の幅は、例えばユーザインタフェース703によって表されるサイズの拡大率または縮小率等に基づいて決定されるものとする。
ステップS15においてパラメータが調整された場合、ステップS12に戻って処理が繰り返される。この場合のステップS12における人物検出処理は、ステップS15において調整されたパラメータに従って実行される。これにより、ステップS13においては、調整されたパラメータに従って実行された人物検出処理による検出結果702を含む調整画面400が表示される。
これによれば、ユーザは、ステップS15においてパラメータが調整されたことによる人物検出処理結果の変化を当該調整の度に把握することができる。換言すれば、ユーザは、所望の検出結果が得られる(表示される)まで、ユーザインタフェース703に対する操作を繰り返し行うことによって、適切なパラメータに調整することが可能となる。
なお、ユーザは、所望の検出結果が得られた場合、上記したようにパラメータ調整処理の終了を指示することができる。
この場合、ステップS14においてパラメータ調整処理の終了が指示されたと判定され(ステップS14のYES)、当該処理が終了される。
なお、図15においては検出サイズパラメータを調整する場合について説明したが、例えば調整画面において、検出不要人物を包含するような画像中の領域を、マウス等を用いて指定することによって、人物検出処理の対象となる領域を制限するためのパラメータ(検出不要人物に関するパラメータ)等が調整(設定)されるようにしてもよい。
上記したように本実施形態においては、パラメータに従って画像から検出される人物(検出対象)のサイズを表すユーザインタフェース703を画像上に表示し、当該ユーザインタフェース703に対するユーザの操作に応じてパラメータを調整する。
本実施形態においては、このような構成により、画像に含まれる人物のサイズを参照してユーザインタフェース703(によって表されるサイズ)を拡大または縮小するという簡易な操作により、検出対象の検出精度を向上させるようにパラメータを調整(変更)することが可能となる。
なお、本実施形態においては、例えば図16に示す画像701及びユーザインタフェース703(を含む調整画面)が表示されればパラメータを調整することは可能であるが、人物検出処理の検出結果702を併せて表示することにより、ユーザは、当該検出結果702(の変化)を確認しながらユーザインタフェース703に対する操作を行うことが可能となるため、より効率的にパラメータを調整することが可能となる。
以上述べた少なくとも1つの実施形態によれば、検出対象を精度よく検出することが可能な情報処理装置、方法及びプログラムを提供することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
実施形態に係る情報処理装置は、表示処理手段と、取得手段と、検出手段とを備える。前記表示処理手段は、第1画像及び前記第1画像の一部領域を示す情報の表示処理を実行する。前記取得手段は、前記一部領域に含まれる検出対象に関する情報を取得する。前記検出手段は、前記検出対象に関する情報に基づいて、少なくとも前記第1画像及び前記第1画像とは異なる第2画像の何れか一つから検出対象を検出する。前記検出手段は、前記第1画像の一部領域に対する検出結果と前記検出対象に関する情報とが一致するように、検出に用いるパラメータを決定する。