JP2017215666A - 制御装置、制御方法およびプログラム - Google Patents

Abstract

【課題】隠ぺいされている対象をより容易に確認可能とする制御装置、制御方法およびプログラムを提供する。
【解決手段】制御装置は、算出部と、決定部と、表示制御部と、を備える。算出部は、画像内に含まれる対象を検出し、対象が隠ぺいされているかを示す尤度を算出する。決定部は、尤度に応じて対象の出力方法を決定する。表示制御部は、画像と決定された出力方法とに基づいて表示画像を生成する。
【選択図】図１

Description

本発明の実施形態は、制御装置、制御方法およびプログラムに関する。

隠ぺいされる場合がある移動体を画像から検出し、検出結果を表示する技術が提案されている。この技術では、例えば監視カメラ画像内で自由歩行する人物について、画面内で動きのある部分から顔の位置を推定し、推定位置で顔検出できない場合は顔を隠していると判断し、顔部分をズームするなどの表示に対する制御を行う。

特開平０７―０７３２９８号公報

しかしながら、従来技術では、隠ぺいされている対象を確認できない場合があった。例えば、顔検出器、上半身検出器、および、人物検出器などには、顔が無いにも関わらず顔があるべき位置であると誤判断したり、顔を隠していないにも関わらず顔を隠していると誤判断したりする問題がある。このため、これらの誤判断によって顔を隠している人物の確認が困難になる場合があった。

実施形態の制御装置は、算出部と、決定部と、表示制御部と、を備える。算出部は、画像内に含まれる対象を検出し、対象が隠ぺいされているかを示す尤度を算出する。決定部は、尤度に応じて対象の出力方法を決定する。表示制御部は、画像と決定された出力方法とに基づいて表示画像を生成する。

第１の実施形態にかかる制御装置のブロック図。 第１の実施形態における表示制御処理のフローチャート。 第１の実施形態の表示画面の一例を示す図。 第１の実施形態の表示画面の一例を示す図。 第１の実施形態の表示画面の一例を示す図。 第２の実施形態にかかる制御装置のブロック図。 第２の実施形態における表示制御処理のフローチャート。 第３の実施形態にかかる制御装置のブロック図。 第３の実施形態における表示制御処理のフローチャート。 第３の実施形態の表示画面の一例を示す図。

以下に添付図面を参照して、この発明にかかる制御装置の好適な実施形態を詳細に説明する。

（第１の実施形態）
第１の実施形態にかかる制御装置は、画像から、検出の対象となる物体（人物、車両等）を検出し、対象が隠ぺいされているかを示す尤度を算出する。そして制御装置は、尤度に応じて、対象の出力方法を決定し、決定した出力方法に基づいて表示画像を生成して出力する。これにより、隠ぺいされている対象をより容易に確認可能となる。

図１は、第１の実施形態にかかる制御装置１００の構成例を示すブロック図である。図１に示すように、制御装置１００は、処理回路１１０と、撮影部１２０と、記憶部１３０と、ＵＩ（ユーザインタフェース）部１４０と、を備えている。記憶部１３０、ＵＩ部１４０、および、撮影部１２０は、処理回路１１０に電気的に接続されている。

ＵＩ部１４０は、各種画像を表示する表示機能と、ユーザからの各種操作指示を受付ける入力機能と、を有する。本実施形態では、ＵＩ部１４０は、表示部１４１と、入力部１４２と、を含む。表示部１４１は、種々の画像を表示する。表示部１４１は、例えばＣＲＴディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイ、および、プラズマディスプレイなどである。入力部１４２は、ユーザからの各種指示や情報入力を受け付ける。入力部１４２は、例えば、キーボード、マウス、スイッチ、および、マイクなどである。

なお、ＵＩ部１４０は、表示部１４１と入力部１４２とを一体的に構成したタッチパネルなどであってもよい。ＵＩ部１４０は、有線または無線で処理回路１１０に接続している。ＵＩ部１４０はネットワークを介して処理回路１１０と接続してもよい。

撮影部１２０は、撮影によって画像を得る。撮影部１２０は、例えばデジタルカメラである。撮影部１２０は、処理回路１１０から離れた位置に配置されていてもよい。例えば、撮影部１２０は、道路、公共スペース、および、ビル構内などに配置された監視カメラであってもよい。また、撮影部１２０は、車両などの移動体に配置された車載カメラ、および、携帯端末に設けられたカメラであってもよい。また、撮影部１２０は、ウェアラブルカメラであってもよい。撮影部１２０を制御装置１００の外部に備え、撮影部１２０により撮影された画像を、ネットワーク等を介して制御装置１００が取得するように構成してもよい。

なお、撮影部１２０は、可視光による反射光を撮影する可視光カメラに限定されず、赤外カメラ、デプスマップを取得可能なカメラ、および、距離センサや超音波センサなどを用いて撮影を行うカメラであってもよい。すなわち、本実施形態で用いる画像は、可視光による反射光の撮影画像、赤外画像、デプスマップ、および、超音波撮影画像などであり、特定の画像に限定されない。

記憶部１３０は、各種データを記憶する。例えば記憶部１３０は、撮影部１２０により撮影された画像を記憶する。記憶部１３０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、および、メモリカードなどの、磁気的、光学的、および、電気的に記憶可能な記憶媒体の少なくともいずれかにより実現する。記憶部１３０を構成する記憶媒体は１つに限られず、複数の記憶媒体により構成されてもよい。記憶部１３０は、制御装置１００の外部の記憶装置で代替されてもよい。

処理回路１１０は、取得機能１０１、算出機能１０２、決定機能１０３、および、表示制御機能１０４を備える。取得機能１０１、算出機能１０２、決定機能１０３、および、表示制御機能１０４は、それぞれ取得部、算出部、決定部、および、表示制御部の一例である。これらの各処理機能は、後述する。

制御装置１００にて行われる各処理機能は、例えば、コンピュータによって実行可能なプログラムの形態で記憶部１３０に記憶されている。処理回路１１０はプログラムを記憶部１３０から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。各プログラムを読みだした状態の処理回路１１０は、図１の処理回路１１０内に示された各機能を有することになる。

なお、図１においては単一の処理回路１１０が示されているが、複数の独立したプロセッサを組み合わせて処理回路１１０を構成してもよい。各処理機能がプログラムとして構成され、処理回路１１０が各プログラムを実行しもよいし、各処理機能の一部または全部が専用の独立した実行回路に実装されてもよい。すなわち、各処理機能は、ソフトウェアにより実現してもよいし、ハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、および、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））などの回路を意味する。

プロセッサは、記憶部１３０に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶部１３０にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。

取得機能１０１は、処理対象とする画像を取得する。例えば取得機能１０１は、撮影部１２０（車載カメラ、ビデオカメラ、ネットワークカメラなど）から画像を取得する。取得機能１０１は、オンラインでリアルタイムに画像を取得してもよいし、記憶部１３０などの記憶媒体に保存された画像をオフラインで取得してもよい。

算出機能１０２は、画像内に含まれる対象を検出し、検出した対象が隠ぺいされているかを示す尤度を算出する。検出する対象は、例えば、人物、人物の一部（顔など）、車両、および、車両の一部（ナンバープレートなど）等の物体（移動体）であるが、これらに限られるものではない。また、例えば対象が人物（顔）の場合、マスク、サングラス、覆面、および、手などが、対象を隠ぺいする隠ぺい物の例となる。特定されたくないと考える人物は、これらの隠ぺい物で顔を隠すことで、画像に顔が映らないようにする。対象が車両（ナンバープレート）の場合、板などが隠ぺい物の例となる。特定されたくないと考える人物は、このような隠ぺい物でナンバープレートを隠すことで、車両を特定できなくする可能性がある。

画像から対象を検出して尤度を算出する方法としては、対象を示す予め登録したパターン（色、輝度値、輝度勾配など）と照合する方法などの、従来から用いられているあらゆる方法を適用できる。

算出機能１０２は、例えば、対象であることの確からしさを示す尤度を算出する。算出機能１０２は、例えば登録した対象の特徴量との一致度がより大きい場合に、より大きい値となる尤度を算出する。

色を用いて人物を検出して尤度を算出する場合、算出機能１０２は、画像から抽出した色が、人の肌の色であれば大きい値となり、肌の色でない場合は小さい値となるように尤度を算出する。輝度値や輝度勾配を用いて移動体を検出して尤度を算出する場合、算出機能１０２は、画像から抽出した輝度値や輝度勾配と、予め登録されている移動体の輝度値や輝度勾配との差を算出し、差が小さい場合は大きい値となり、差が大きい場合は小さい値となるように尤度を算出する。

このように算出された尤度は、対象が隠ぺいされていることを示す情報として利用できる。例えば画像中の尤度が一定の閾値より大きい箇所は、対象が存在する可能性が高い。また、尤度は、対象が隠ぺいされていない場合は大きくなり、隠ぺいされている場合は小さくなる。例えばマスクやサングラスで顔を隠している人物については、画像から抽出した顔周辺の色が肌色ではないため、色を基準に算出された尤度は小さくなる。また、輝度値や輝度勾配を基準に算出された尤度についても、隠ぺい物によってテクスチャや形状が変化するため、予め登録されている対象の輝度値や輝度勾配との差が大きくなり、値が小さくなる。

そこで本実施形態では、尤度が閾値より大きく、かつ、値が小さいほど対象が隠ぺいされていると判断する。

決定機能１０３は、尤度に応じて対象の出力方法を決定する。例えば決定機能１０３は、尤度が閾値（第１の閾値）より大きく、かつ、値が小さいほど、対象が隠ぺいされていると判断し、この対象を強調して表示する出力方法を決定する。これにより、隠ぺい物が存在する対象ほど容易に確認可能となる。決定機能１０３は、隠ぺいされている対象のうち尤度が小さいほど、より強調して表示する出力方法を決定してもよい。決定機能１０３は、尤度が第２の閾値（第１の閾値より大きい値）以上である対象については、隠ぺい物が存在しないと判断して、強調表示しない出力方法を決定してもよい。

強調表示する方法はどのような方法であってもよい。例えば、対象を特定する画像の表示態様を変更する方法、および、対象を拡大表示する方法などを適用できる。対象を特定する画像は、例えば、所定の形状（矩形、円、楕円など）の枠などである。表示態様は、線の太さ、線の色、および、線の透明度などである。例えば決定機能１０３は、強調表示が必要な対象ほど、線の太さを太くする、線の色を濃くする、または、線の透明度を低くする出力方法を決定する。

表示制御機能１０４は、表示部１４１などに対する情報の表示処理を制御する。例えば表示制御機能１０４は、取得された画像と、決定された出力方法とに基づいて、表示部１４１などに表示するための表示画像を生成し、表示画像を表示部１４１に表示させる。表示制御機能１０４は、例えば、隠ぺいされていると判断された対象を強調表示する表示画像を生成する。表示画像の詳細は後述する。

次に、このように構成された第１の実施形態にかかる制御装置１００による表示制御処理について図２を用いて説明する。図２は、第１の実施形態における表示制御処理の一例を示すフローチャートである。

取得機能１０１は、処理する対象となる画像を取得する（ステップＳ１０１）。算出機能１０２は、取得した画像から対象を検出し、対象であることの確からしさを表す尤度を算出する（ステップＳ１０２）。決定機能１０３は、検出した対象が隠ぺいされているか否かを判定する（ステップＳ１０３）。例えば決定機能１０３は、算出された尤度が第１の閾値より大きく、かつ、第２の閾値より小さい場合に、対象が隠ぺいされていると判定する。

対象が隠ぺいされていない場合（ステップＳ１０３：Ｎｏ）、この対象は強調表示等せずに処理を終了する。対象が隠ぺいされている場合（ステップＳ１０３：Ｙｅｓ）、決定機能１０３は、尤度に応じた出力方法を決定する（ステップＳ１０４）。例えば決定機能１０３は、尤度が小さいほど対象を強調表示する出力方法を決定する。決定機能１０３は、ステップＳ１０３で対象が隠ぺいされているかを判断せず、尤度から直接出力方法を決定してもよい。

表示制御機能１０４は、決定された出力方法に従い対象を表示する（ステップＳ１０５）。例えば表示制御機能１０４は、隠ぺいされていると判断された対象について、尤度が小さいほど、より強調する表示画像を生成し、表示部１４１に表示する。

次に、表示画面の例について説明する。図３〜図５は、第１の実施形態の表示画面の一例を示す図である。図３〜図５は、顔を検出の対象とし、マスクなどで隠ぺいされた顔を強調して表示する例を示す。

図３では、４つの顔のうち画像の上部および下部の顔が強調表示された例を示す。矩形３０１は、顔として検出されたが尤度が小さいため太い線で表示されている。矩形３０２は、矩形３０１に対応する顔より尤度が大きいため、矩形３０１より細い線で表示されている。なお他の顔は、尤度が大きい（第２の閾値以上）ため強調表示されない。

図４では、実際には顔でない領域も顔として検出された例が示されている。このような領域であっても、顔が隠ぺい物（マスクなど）で隠ぺいされた領域より、尤度が大きく算出される場合がある。本実施形態によれば、このような場合に、隠ぺい物で隠ぺいされた顔をより強調して表示することが可能となる。

図５では、線の色を変更する例が示されている。矩形５０１は、顔として検出されたが尤度が小さいため、より認識しやすい色の線で表示されている。矩形５０２は、矩形５０１に対応する顔より尤度が大きいため、矩形５０１より薄い線で表示されている。

（変形例１）
検出した対象が隠ぺいされているかを示す尤度の算出方法は上記に限られるものではない。例えば、算出機能１０２は、画像から、画像内に含まれる隠ぺいされている対象を検出し、隠ぺいされていることの確からしさを示す尤度を算出してもよい。算出機能１０２は、例えば、マスクやサングラスなどの隠ぺい物を装着した顔の輝度値や輝度勾配を予め登録し、登録した情報と照合することで、マスクやサングラスを装着した顔の尤度を算出する。この場合、算出機能１０２は、例えば登録した情報との一致度がより大きい場合に、より大きい値となる尤度を算出する。

本変形例では、決定機能１０３は、尤度が大きい対象（顔など）ほど強調して表示する出力方法を決定する。

（変形例２）
また、例えば、花粉が多い日や日差しが強い日など、マスクやサングラスを装着している人物が一般的となる場合は、これらの人物を強調表示しないように制御してもよい。この場合、マスクやサングラスなどの登録された隠ぺい物以外の物体で隠ぺいされた人物を強調表示してもよい。例えば、上記実施形態の方法により隠ぺいされていると判定（ステップＳ１０３：Ｙｅｓ）された対象から、登録された隠ぺい物で隠ぺいされた対象を除外して、強調表示を実行してもよい。登録された隠ぺい物で隠ぺいされているかは、変形例などの方法で検出できる。

このように、第１の実施形態にかかる制御装置では、対象が隠ぺいされているかを示す尤度に応じて対象の出力方法を決定し、決定した出力方法に基づいて表示画像を生成して出力する。これにより、例えば隠ぺい物が存在する対象ほど強調して表示することができる。すなわち、隠ぺいされている対象をより容易に確認可能となる。

（第２の実施形態）
第２の実施形態にかかる制御装置は、まず画像内に含まれる第１の対象（人物の全身、上半身など）を検出し、第１の対象の一部である第２の対象（顔など）を検出し、第２の対象が隠ぺいされているかを示す尤度を算出する。

図６は、第２の実施形態にかかる制御装置１００−２の構成の一例を示すブロック図である。図６に示すように、制御装置１００−２は、処理回路１１０−２と、撮影部１２０と、記憶部１３０と、ＵＩ部１４０と、を備えている。

第２の実施形態では、処理回路１１０−２に含まれる算出機能１０２−２および決定機能１０３−２が第１の実施形態と異なっている。その他の構成および機能は、第１の実施形態にかかる制御装置１００のブロック図である図１と同様であるので、同一符号を付し、ここでの説明は省略する。

算出機能１０２−２は、画像内に含まれる第１の対象を検出し、第１の対象の一部である第２の対象を検出し、第２の対象が隠ぺいされているかを示す尤度を算出する。以下では、第１の対象として人物の上半身を検出し、第２の対象として顔を検出する場合を例に説明する。第１の対象および第２の対象はこれに限られるものではない。例えば、車両を第１の対象とし、ナンバープレートを第２の対象としてもよい。

算出機能１０２−２は、まず、画像から人物の上半身を検出し、上半身としての確からしさを表す尤度Ｌ１（第１の尤度、上半身尤度）を算出する。算出機能１０２−２は、尤度Ｌ１が閾値（第３の閾値）より大きい人物に対して、画像から顔を検出し、顔としての確からしさを表す尤度Ｌ２（第２の尤度、顔尤度）を算出する。

上半身の尤度Ｌ１は、例えば、頭部の輪郭や肩の形状を用いて算出できる。算出機能１０２−２は、例えば、画像から抽出した輝度値や輝度勾配が、頭部の輪郭や肩の形状を表していれば大きい値となるように尤度Ｌ１を算出する。頭部の輪郭や肩の形状は、マスクやサングラスなど、顔の色やテクスチャを変化させる隠ぺい物の影響を受けにくいため、上半身尤度は、顔を隠ぺいしている人物であっても、大きい値となる。顔の尤度Ｌ２は、顔の色やテクスチャを用いて算出されるため、顔を隠ぺいしている人物の場合、小さい値となる。

決定機能１０３−２は、尤度Ｌ１および尤度Ｌ２に応じて対象の出力方法を決定する。上記のように、上半身の尤度Ｌ１は、顔への隠ぺい物の影響を受けにくい。尤度Ｌ１が小さい場合は、人物の居ない箇所を誤認識している可能性があるため、線の太さを細くする、透明度を高くするなどによって強調しないことが望ましい。

一方、顔の尤度Ｌ２は、顔への隠ぺい物がある場合、小さい値となる。このため、尤度Ｌ２が一定の閾値より大きく、かつ、尤度Ｌ２が小さいほど強調して表示することが望ましい。

そこで決定機能１０３−２は、尤度Ｌ１の逆数と、尤度Ｌ２との積が小さいほど強調して表示する出力方法を決定する。これにより、上半身の尤度Ｌ１が大きく、かつ、顔の尤度Ｌ２が小さい人物を強調表示可能になる。決定機能１０３−２は、尤度Ｌ１の逆数と、尤度Ｌ２との和が小さいほど強調して表示する出力方法を決定してもよい。この場合、上半身の尤度Ｌ１が大きい、または、顔の尤度Ｌ２が小さい人物を強調表示可能になる。

次に、このように構成された第２の実施形態にかかる制御装置１００−２による表示制御処理について図７を用いて説明する。図７は、第２の実施形態における表示制御処理の一例を示すフローチャートである。

取得機能１０１は、処理する対象となる画像を取得する（ステップＳ２０１）。算出機能１０２−２は、取得した画像から第１の対象（上半身）を検出し、第１の対象であることの確からしさを表す尤度Ｌ１を算出する（ステップＳ２０２）。算出機能１０２−２は、尤度Ｌ１が閾値より大きいか否かを判断する（ステップＳ２０３）。

尤度Ｌ１が閾値より大きくない場合（ステップＳ２０３：Ｎｏ）、処理を終了する。尤度Ｌ１が閾値より大きい場合（ステップＳ２０３：Ｙｅｓ）、算出機能１０２−２は、取得した画像内の尤度Ｌ１が閾値より大きくなった箇所から第２の対象（顔）を検出し、顔としての確からしさを表す尤度Ｌ２を算出する（ステップＳ２０４）。

決定機能１０３−２は、検出した対象が隠ぺいされているか否かを判定する（ステップＳ２０５）。例えば決定機能１０３−２は、尤度Ｌ２が第１の閾値より大きく、かつ、第２の閾値より小さい場合に、顔が隠ぺいされていると判定する。

顔が隠ぺいされていない場合（ステップＳ２０５：Ｎｏ）、この顔は強調表示等せずに処理を終了する。顔が隠ぺいされている場合（ステップＳ２０５：Ｙｅｓ）、決定機能１０３−２は、尤度Ｌ１および尤度Ｌ２に応じた出力方法を決定する（ステップＳ２０６）。例えば決定機能１０３−２は、尤度Ｌ１の逆数と尤度Ｌ２との積が小さいほど強調して表示する出力方法を決定する。

表示制御機能１０４は、決定された出力方法に従い対象を表示する（ステップＳ２０７）。

このように、第２の実施形態にかかる制御装置では、複数の尤度（上半身尤度、顔尤度など）を用いて出力方法を制御する。これにより、隠ぺいされている対象をより高い精度で強調表示可能になる。

（第３の実施形態）
第３の実施形態にかかる制御装置は、まず画像内に含まれる第１の対象（人物の全身、上半身など）とその移動方向を検出し、移動方向に応じて、第１の対象の一部である第２の対象（顔など）を検出するかを切り替える。

図８は、第３の実施形態にかかる制御装置１００−３の構成の一例を示すブロック図である。図８に示すように、制御装置１００−３は、処理回路１１０−３と、撮影部１２０と、記憶部１３０と、ＵＩ部１４０と、を備えている。

第３の実施形態では、算出機能１０２−３および決定機能１０３−３の機能、並びに、処理回路１１０−３に追跡機能１０５−３および方向判定機能１０６−３が追加される点が、第２の実施形態と異なっている。その他の構成および機能は、第２の実施形態にかかる制御装置１００−２のブロック図である図６と同様であるので、同一符号を付し、ここでの説明は省略する。

算出機能１０２−３は、画像内に含まれる第１の対象（例えば人物の上半身）を検出し、第１の対象としての確からしさを表す尤度を算出する。また、算出機能１０２−３は、第１の対象の一部である第２の対象（例えば人物の顔）を検出し、第２の対象が隠ぺいされているかを示す尤度を算出する。算出機能１０２−３は、後述する方向判定機能１０６−３により判定された移動方向が特定方向である場合に、第２の対象を検出する処理を実行する。

追跡機能１０５−３は、複数の画像（複数フレームを含む動画像など）から検出された対象（例えば人物の上半身）に基づき人物を追跡し、追跡した人物の情報（トラックレット）を生成する。トラックレットは、例えば、人物の位置を示す情報を含む。トラックレットは、例えば記憶部１３０に記憶されてもよい。

方向判定機能１０６−３は、トラックレットなどを参照して、第１の対象の移動方向を判定する。方向判定機能１０６−３は、方向判定部の一例である。例えば方向判定機能１０６−３は、トラックレットから人物の歩行方向（移動方向の一例）を算出し、映像に対して顔が見えるべき方向（特定方向の一例）に歩いているかを判定する。この場合、算出機能１０２−３は、顔が見えるべき方向に人物が歩行している場合に、さらにこの人物の顔を検出して顔の尤度を算出する処理を実行する。

なお移動方向の判定方法は、動画像などによる対象の追跡技術を用いた方法に限られるものではなく、画像から対象の移動方向を判定できる方法であればどのような方法であってもよい。

決定機能１０３−３は、尤度Ｌ１および尤度Ｌ２に応じて対象の出力方法を決定する。決定機能１０３−３は、複数の画像（例えば顔が検出された複数のフレーム）からそれぞれ算出された、複数の尤度を用いて出力方法を決定してもよい。例えば決定機能１０３−３は、複数の画像それぞれから算出された複数の尤度Ｌ１の平均、および、複数の尤度Ｌ２の平均を算出する。そして決定機能１０３−３は、各平均の値に応じて対象の出力方法を決定する。

次に、このように構成された第３の実施形態にかかる制御装置１００−３による表示制御処理について図９を用いて説明する。図９は、第３の実施形態における表示制御処理の一例を示すフローチャートである。

ステップＳ３０１からステップＳ３０２までは、第２の実施形態にかかる制御装置１００−２におけるステップＳ２０１からステップＳ２０２までと同様の処理なので、その説明を省略する。

追跡機能１０５−３は、検出結果を用いて人物を追跡し、トラックレットを算出する（ステップＳ３０３）。方向判定機能１０６−３は、トラックレットを用いて人物の歩行方向を判定する（ステップＳ３０４）。

算出機能１０２−３は、歩行方向が特定方向（例えば撮影部１２０に対して顔が見える方向）であるか否かを判定する（ステップＳ３０５）。

歩行方向が特定方向でない場合（ステップＳ３０５：Ｎｏ）、処理を終了する。これにより、顔が見えないにもかかわらず顔の検出処理を実行することを回避可能となる。

歩行方向が特定方向である場合（ステップＳ３０５：Ｙｅｓ）、算出機能１０２−３は、取得した画像内の尤度Ｌ１が閾値より大きくなった箇所から第２の対象（顔）を検出し、顔としての確からしさを表す尤度Ｌ２を算出する（ステップＳ３０６）。

ステップＳ３０７からステップＳ３０９までは、第２の実施形態にかかる制御装置１００−２におけるステップＳ２０５からステップＳ２０７までと同様の処理なので、その説明を省略する。

次に、本実施形態の表示画面の例について説明する。図１０は、本実施形態の表示画面の一例を示す図である。図１０の人物１００１は、撮影部１２０に対して顔が見える方向に歩行している。このため、歩行方向が特定方向でない（ステップＳ３０５：Ｎｏ）と判定され、強調表示の対象外となる。

このように、第３の実施形態にかかる制御装置では、例えば顔が見えない方向に歩いている人物（撮影部１２０の光軸方向と逆向きに歩いている人物）については、強調表示の対象外とすることができる。これにより、誤認識を回避し、顔を隠している人物のみを強調表示可能になる。

以上説明したとおり、第１から第３の実施形態によれば、隠ぺいされている対象をより容易に確認可能となる。

本実施形態にかかる情報処理装置で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。

第１〜第３の実施形態にかかる制御装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。

さらに、第１〜第３の実施形態にかかる制御装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、第１〜第３の実施形態にかかる制御装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

第１〜第３の実施形態にかかる制御装置で実行されるプログラムは、コンピュータを上述した制御装置の各部として機能させうる。このコンピュータは、ＣＰＵがコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。

なお、実施形態におけるコンピュータは、記憶媒体に記憶されたプログラムに基づき、上述した実施形態における各処理を実行するためのものであって、パーソナルコンピュータまたはマイコン等の１つである装置、および、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。また、実施形態におけるコンピュータとは、パーソナルコンピュータに限らず、情報処理機器に含まれる演算処理装置およびマイコン等も含み、プログラムによって実施形態における機能を実現することが可能な機器、装置を総称している。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００、１００−２、１００−３ 制御装置
１０１ 取得機能
１０２、１０２−２ 算出機能
１０３、１０３−２、１０３−３ 決定機能
１０４ 表示制御機能
１０５−３ 追跡機能
１０６−３ 方向判定機能
１１０ 処理回路
１２０ 撮影部
１３０ 記憶部
１４０ ＵＩ部
１４１ 表示部
１４２ 入力部

Claims (12)

1. 画像内に含まれる対象を検出し、前記対象が隠ぺいされているかを示す尤度を算出する算出部と、
   前記尤度に応じて前記対象の出力方法を決定する決定部と、
   前記画像と決定された前記出力方法とに基づいて表示画像を生成する表示制御部と、
   を備える制御装置。
2. 前記出力方法は、前記対象を強調表示する方法である、
   請求項１に記載の制御装置。
3. 前記算出部は、閾値より大きく、かつ、値が小さいほど前記対象が隠ぺいされていることを示す尤度を算出し、
   前記決定部は、前記尤度が閾値より大きく、かつ、値が小さい前記対象ほど強調して表示する出力方法を決定する、
   請求項２に記載の制御装置。
4. 前記算出部は、画像内に含まれる、隠ぺいされている対象を検出し、隠ぺいされていることの確からしさを示す尤度を算出し、
   前記決定部は、前記尤度が大きい前記対象ほど強調して表示する出力方法を決定する、
   請求項２に記載の制御装置。
5. 前記決定部は、前記尤度に応じて、前記対象を特定する画像の表示態様を変更する出力方法を決定する、
   請求項１に記載の制御装置。
6. 前記算出部は、画像内に含まれる第１の対象を検出し、前記第１の対象の一部である第２の対象を検出し、前記第２の対象が隠ぺいされているかを示す尤度を算出する、
   請求項１に記載の制御装置。
7. 前記算出部は、前記第１の対象であることの確からしさを示す第１の尤度を算出し、前記第１の尤度が閾値より大きい場合に、前記第２の対象を検出し、前記第２の対象が隠ぺいされているかを示す第２の尤度を算出し、
   前記決定部は、前記第１の尤度および前記第２の尤度に応じて前記対象の出力方法を決定する、
   請求項６に記載の制御装置。
8. 前記決定部は、前記第１の尤度の逆数および前記第２の尤度の積に応じて、前記対象の出力方法を決定する、
   請求項７に記載の制御装置。
9. 前記第１の対象の移動方向を判定する方向判定部をさらに備え、
   前記算出部は、前記移動方向が特定方向である場合に、前記第２の対象を検出する、
   請求項６に記載の制御装置。
10. 前記算出部は、複数の画像それぞれから、前記第１の対象を検出して前記第１の尤度を算出し、前記移動方向が特定方向である場合に前記第２の対象を検出して前記第２の対象が隠ぺいされているかを示す第２の尤度を算出し、
    前記決定部は、複数の画像それぞれから算出された、複数の前記第１の尤度の平均、および、複数の前記第２の尤度の平均に応じて前記対象の出力方法を決定する、
    請求項９に記載の制御装置。
11. 画像内に含まれる対象を検出し、前記対象が隠ぺいされているかを示す尤度を算出する算出ステップと、
    前記尤度に応じて前記対象の出力方法を決定する決定ステップと、
    前記画像と決定された前記出力方法とに基づいて表示画像を生成する表示制御ステップと、
    を含む制御方法。
12. コンピュータを、
    画像内に含まれる対象を検出し、前記対象が隠ぺいされているかを示す尤度を算出する算出部と、
    前記尤度に応じて前記対象の出力方法を決定する決定部と、
    前記画像と決定された前記出力方法とに基づいて表示画像を生成する表示制御部と、
    として機能させるためのプログラム。

Images