JP2018106360A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】動体内に存在するオブジェクトをより高速に検出することを目的とする。
【解決手段】動画像から動体を検出する動体検出手段と、検出された動体に対応する領域の一部の領域を対象として、検出対象のオブジェクトの特徴を用いてオブジェクトを検出する第１の検出手段と、を有する。
【選択図】図３

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

検出された動体中からオブジェクト検出を行う技術がある（特許文献１）。

特開平９−５０５８５号公報

しかし、この方法だと、動体領域内全てにオブジェクト検出処理を行わねばならず、実行時間がかかってしまう問題がある。組み込み機器等、ハードウェアリソースが限られる実行環境だとより実行時間が長くなってしまう。

本発明の情報処理装置は、動画像から動体を検出する動体検出手段と、前記検出された動体に対応する領域の一部の領域を対象として、検出対象のオブジェクトの特徴を用いてオブジェクトを検出する第１の検出手段と、を有する。

本発明によれば、動体内に存在するオブジェクトをより高速に検出することができる。

システム構成及びハードウェア構成の一例を示す図である。 撮像装置及びクライアント装置の機能構成の一例を示す図である。 実施形態１の情報処理の一例を示すフローチャートである。 撮像画像の一例を示す図である。 Ｓ２０１の動体検知処理の結果を表す図である。 Ｓ２０２の領域抽出処理の結果を表す図である。 実施形態２の情報処理の一例を示すフローチャートである。 外接矩形のアスペクト比を使用する一例を表す図である。 実施形態３の情報処理の一例を示すフローチャートである。 障害物があり人体の全身が撮像できない場合を示した図である。 撮像画像内の領域ごとに処理を切り替える一例を示した図である。 実施形態４の情報処理の一例を示すフローチャートである。 障害物があり人体の全身が撮像できない場合の一例を示した図である。 動体から人体を検出した結果の一例を示した図である。 自動的に学習した結果の一例を示した図である。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
本実施形態では、動画像をモニタリングする情報処理システムにおいて、撮像された動画像内で、検出された動体から高速に人体を検出する情報処理について説明する。人体は、オブジェクトの一例である。
情報処理システムのシステム構成及びハードウェア構成の一例を図１に示す。撮像装置１１０は、撮像を行う。クライアント装置１２０は、撮像装置１１０の駆動、撮像装置１１０で撮像された撮像画像の表示を行う。入力装置１３０は、マウスやキーボード等から構成され、クライアント装置１２０へのユーザー入力を行う。表示装置１４０は、ディスプレイ等から構成され、クライアント装置１２０が出力した画像の表示を行う。図１ではクライアント装置１２０と表示装置１４０とを各々独立した装置として示したが、クライアント装置１２０と表示装置１４０とを一体化して構成してもよい。また、入力装置１３０と表示装置１４０とを一体化して構成してもよいし、クライアント装置１２０と入力装置１３０と表示装置１４０とを一体化して構成してもよい。ネットワーク１５０は、撮像装置１１０とクライアント装置１２０とを接続する。ネットワーク１５０は、例えば、ローカルネットワーク等の通信規格を満たす複数のルータ、スイッチ、ケーブル等から構成される。本実施形態においては撮像装置、クライアント間の通信を行うことができるものであればその通信規格、規模、構成を問わない。例えば、ネットワーク１５０は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により構成されてもよい。また、クライアント装置１２０に接続される撮像装置の数は１台に限られず、複数台であってもよい。

図１を用いて撮像装置１１０のハードウェア構成について説明する。撮像装置１１０は、ハードウェア構成として、撮像部１１と、ＣＰＵ１２と、メモリ１３と、通信Ｉ／Ｆ１４と、を含む。撮像部１１は、撮像素子と撮像素子上に被写体の工学系とを有し、ＣＰＵ１２の制御に基づき光学系の光軸と撮像素子との交点を撮像中心として撮像素子上に撮像を行う。撮像素子は、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）又はＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子である。ＣＰＵ１２は、撮像装置１１０の全体を制御する。メモリ１３は、プログラムや撮像部１１で撮像された画像、ＣＰＵ１２が処理を実行する際に利用するデータ等を記憶する。通信Ｉ／Ｆ１４は、ＣＰＵ１２の制御に基づきネットワーク１５０を介したクライアント装置１２０との通信を制御する。ＣＰＵ１２がメモリ１３に記憶されたプログラムに基づき処理を実行することにより、撮像装置１１０の機能構成等が実現される。

次に、クライアント装置１２０のハードウェア構成について説明する。クライアント装置１２０は、ハードウェア構成として、メモリ２１と、ＣＰＵ２２と、通信Ｉ／Ｆ２３と、入力Ｉ／Ｆ２４と、表示Ｉ／Ｆ２５と、を含む。ＣＰＵ２２は、クライアント装置１２０の全体を制御する。メモリ２１は、プログラムや撮像装置１１０から送信された撮像画像、ＣＰＵ２２が処理を実行する際に利用するデータ等を記憶する。通信Ｉ／Ｆ２３は、ＣＰＵ２２の制御に基づきネットワーク１５０を介した撮像装置１１０との通信を制御する。入力Ｉ／Ｆ２４は、クライアント装置１２０と入力装置１３０とを接続し、入力装置１３０からの情報の入力を制御する。表示Ｉ／Ｆ２５は、クライアント装置１２０と表示装置１４０とを接続し、表示装置１４０への情報の出力を制御する。ＣＰＵ２２がメモリ２１に記憶されたプログラムに基づき処理を実行することにより、クライアント装置１２０の機能構成及び後述する図３、図７、図９、図１２のフローチャートの処理等が実現される。但し、クライアント装置１２０のハードウェア構成は、図１に示されるものに限定されない。例えば、クライアント装置１２０は、スピーカー等の音声出力装置を有していてもよい。クライアント装置１２０が音声出力装置をハードウェア構成として有する場合、警告等の音声を、音声出力装置を介して出力してもよい。

図２は、撮像装置１１０及びクライアント装置１２０の機能構成の一例を示す図である。撮像装置１１０は、機能構成として、制御部１１１と、信号処理部１１２と、駆動制御部１１３と、通信制御部１１４と、を含む。制御部１１１は、撮像装置１１０を制御する。信号処理部１１２は、撮像部１１によって撮像された画像信号の処理を行う。例えば、信号処理部１１２は、撮像部１１によって撮像された画像の符号化を行う。信号処理部１１２は、符号化方式として、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）を用いることができる。又は、信号処理部１１２は、符号化方式として、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下Ｈ．２６４）を用いることができる。又は、信号処理部１１２は、符号化方式として、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ符号化方式）を用いることができる。但し符号化方式はこれらに限らない。また、信号処理部１１２は、複数の符号化方式の中から符号化方式を選択して符号化を行うようにしてもよい。駆動制御部１１３は、撮像部１１の撮像方向、及び画角を変更させる制御を行う。本実施形態では、撮像部１１は、パン方向、チルト方向に撮像方向を変更でき、撮像画角を変更することができる場合について説明するが、これに限らない。撮像装置１１０は、パン方向、チルト方向に撮像方向を変更する機能を有さなくてもよいし、画角を変更する機能を有さなくてもよい。通信制御部１１４は、信号処理部１１２で処理が行われた撮像画像をクライアント装置１２０に送信する。更に通信制御部１１４は、クライアント装置１２０から撮像装置１１０に対する制御命令を受信する。

クライアント装置１２０は、機能構成として、制御部１２１と、通信制御部１２３と、情報取得部１２４と、表示制御部１２５と、を含む。制御部１２１は、クライアント装置１２０を制御する。通信制御部１２３は、撮像画像をクライアント装置１２０から受信する。情報取得部１２４は、入力装置１３０によるユーザー入力を受け付け、入力装置１３０より入力情報を取得する。表示制御部１２５は、映像を表示装置１４０へ出力し、後述する表示処理を表示装置１４０に実行させる。
本実施形態ではクライアント装置１２０は、撮像装置１１０から取得した撮像画像に対し動体中から人体検出に必要な特徴抽出処理を行う。これによって、リアルタイムのライブ映像に対して動体中から人体検出に必要な特徴抽出処理を行うことができる。しかしながらこれに限らない。例えば、クライアント装置１２０は、撮像装置１１０内に保存されている動画を取得し、各フレームに対し動体中から人体検出に必要な特徴抽出処理を行ってもよい。また、クライアント装置１２０は、クライアント装置１２０内に保存されている動画の各フレームに対して動体中から人体検出に必要な特徴抽出処理を行ってもよい。又はクライアント装置１２０は、録画サーバ等にアクセスし、録画サーバ内に保存されている動画の各フレームに対して動体中から人体検出に必要な特徴抽出処理を行ってもよい。

次に、本実施形態における人体検出に必要な特徴領域の抽出処理の流れを図３、図４、図５、図６を用いて説明する。
図３は、実施形態１の情報処理の一例を示すフローチャートである。
図４は、制御部１２１が撮像装置１１０から取得した撮像画像３００の一例を示す図である。
図４で表わされるように、撮像画像３００には動体３０１及び３０２が同時に撮像されている。
動体３０１及び３０２は移動する人体である。
クライアント装置１２０は、撮像装置１１０から、撮像画像、即ち動画像、を取得すると人体検出に必要な特徴領域の抽出し、人体検出を行う処理を開始する。
Ｓ２００において、制御部１２１は、撮像装置１１０から撮像画像を取得する。
次に、Ｓ２０１において、制御部１２１は、撮像画像３００に対し、動体検知処理を行う。
図５は、Ｓ２０１の動体検知処理の結果を表す図である。図５において、画像４００は撮像画像３００から検出した動体を表したものである。矩形４０１は検出した動体の外接矩形である。

次に、Ｓ２０２において、制御部１２１は、Ｓ２０１で検出された動体から人体検出に必要な特徴を含む領域のみを抽出する。
本実施形態では、人体検出には上半身の特徴を用いる。よって、制御部１２１は、検出された動体の上半分を抽出する。ここで、上半身の特徴とは、例えば、上半身の形状である。上半身の形状を用いたパターンマッチングにより人体を検出することができる。また、人体の上半身の色情報を用いて人体を検出してもよい。また、抽出する領域は完全に上半分である必要はなく、動体の領域における下端を含まない領域であればよい。
より具体的には、制御部１２１は、動体の外接矩形の縦の長さを求め、更に縦の半分の長さを求める。求めた縦の半分の長さと外接矩形の横の長さとで構成される矩形を人体検出に必要な領域とする。
本実施形態では人体検出に必要な特徴を含む領域のみの抽出手段の一例について記述したが、他の実施例では、別の方法で人体検出に必要な領域を抽出してもよい。
図６は、Ｓ２０２の領域抽出処理の結果を表す図である。図６において、画像５００は画像４００で検出された動体から人体検出に必要な領域を抽出した状態を表したものである。矩形５０１は元の動体の外接矩形である。矩形５０２は抽出した人体検出に必要な特徴領域である。また、矩形５０２は検出された動体に対応する領域の一部の領域の一例である。また、矩形５０２は検出された動体に対応する領域における上側の領域の一例である。

次に、Ｓ２０３において、制御部１２１は、Ｓ２０２で抽出された領域から人体を検出する。
このとき、制御部１２１は、抽出した人体検出、及び、検出した人体結果を、通信制御部１２３を用いて別端末にネットワーク１５０に送信してもよいし、表示装置１４０に表示してもよい。
次に、Ｓ２０４において、制御部１２１は、繰り返し処理を終了するか判定する。制御部１２１は、繰り返し処理を終了すると判定すると（Ｓ２０４においてＹＥＳ）、図３に示すフローチャートの処理を終了し、繰り返し処理を終了しないと判定すると（Ｓ２０４においてＮＯ）、Ｓ２００の処理に戻る。

実施形態１の処理によれば、動体内に存在する人体をより高速に検出することができる。

＜実施形態２＞
実施形態１は、人体が含まれない動体でも人体検出に必要な特徴を有する領域抽出処理を行ってしまうという課題がある。そこで、実施形態２では、動体の特徴を使って、動体に人体が含まれることを判別した上で体検出に必要な特徴を有する領域抽出処理を行う。
本実施形態では、実施形態１で記述した人体検出に必要な特徴を有する領域抽出処理を実行させるかどうかを動体の特徴を用いて判定する処理について説明する。
以下、本実施形態における処理を図７、図８を用いて説明する。

図７は、実施形態２の情報処理の一例を示すフローチャートである。
Ｓ６００において、制御部１２１は、撮像装置１１０から撮像画像を取得する。Ｓ６００の処理は、Ｓ２００の処理と同様である。
次に、Ｓ６０１において、制御部１２１は、撮像画像から動体を検出する。Ｓ６０１の処理は、Ｓ２０１の処理と同様である。
次に、Ｓ６０２において、制御部１２１は、Ｓ６０１で検出された動体が人体の特徴を有しているかを判定する。
より具体的には動体の外接矩形の横と縦とのアスペクト比を用いる。人体は肩幅（人体の横幅の最大値）：身長（人体の縦幅の最大値）のアスペクト比の平均が０．２２〜０．２４：１である。したがって、制御部１２１は、動体の外接矩形のアスペクト比が上記のアスペクト比を満たしているかで人体の特徴を有しているかを判定する。
図８は、制御部１２１が、画像４００から動体から人体の特徴を有しているか判定する際に動体の外接矩形のアスペクト比を使用する一例を表す図である。
図８において、画像７００は画像４００から動体を検出した画像である。矩形７０１は人体が含まれた動体の外接矩形である。アスペクト比７０２は矩形７０１の縦横比をアスペクト比で表したものである。
本実施形態では動体が人体の特徴を有しているかを判定手段の一例について記述したが、別の方法で動体が人体の特徴を有しているかを判定してもよい。
制御部１２１は、動体が人体の特徴を有していると判定した場合（Ｓ６０２においてＹＥＳ）、Ｓ６０３に進み、動体が人体の特徴を有していないと判定した場合（Ｓ６０２においてＮＯ）、Ｓ６０５に進む。制御部１２１は、Ｓ６０２で動体が人体の特徴を有していないと判定した場合、人体特徴抽出及び人体検出は行わない。
Ｓ６０３において、制御部１２１は、Ｓ６０１で検出した動体から人体検出に必要な特徴を含む領域のみを抽出する。Ｓ６０３の処理は、Ｓ２０２の処理と同様である。
次に、Ｓ６０４において、制御部１２１は、Ｓ６０３で抽出した領域から人体を検出する。Ｓ６０４の処理は、Ｓ２０３の処理と同様である。
Ｓ６０５において、制御部１２１は、繰り返し処理を終了するか判定する。制御部１２１は、繰り返し処理を終了すると判定すると（Ｓ６０５においてＹＥＳ）、図７に示すフローチャートの処理を終了し、繰り返し処理を終了しないと判定すると（Ｓ６０５においてＮＯ）、Ｓ６００の処理に戻る。

実施形態２の処理によれば、動体の形状が人体形状である縦長形状の場合に、実施形態１の処理を行うので、動体内に存在する人体をより高速に検出することができる。

＜実施形態３＞
撮像装置を設置する環境によっては、人体が含まれる動体が遮蔽物によって全身を撮像できない領域が存在する場合がある。そこで、実施形態３では、撮像画像内の領域ごとに、実施形態１、２で記述した特徴領域から人体を検出する処理と、動体領域から人体を検出する処理と、を切り換える処理を行う。本実施形態では、領域ごとに、動体の人体特徴で判断する領域か否か、動体内の人体検出に必要な特徴領域を抽出する領域か否か、それぞれ設定値が事前にメモリ２１等に保存されているものとする。例えば、ＣＰＵ２２は、入力装置１３０を介した操作者による設定操作に応じて、撮像画像に係る領域ごとに設定値をメモリ２１等に保存する。
以下、本実施形態の処理を、図９、図１０、図１１を用いて説明する。

図９は、実施形態３の情報処理の一例を示すフローチャートである。
図１０は、障害物があり人体の全身が撮像できない場合を示した図である。画像９００は全身が撮像された人体と障害物に遮蔽され全身が撮像されていない人体とから、動体を検出した画像である。人体９０１は全身が撮像されており、人体９０２は全身が撮像されていない。障害物９０３は人体９０２を遮蔽する障害物である。矩形９０４は人体９０１の外接矩形である。矩形９０５は人体９０２の外接矩形である。

図１１は、撮像画像内の領域ごとに、特徴領域から人体を検出する処理と、動体領域から人体を検出する処理と、を切り換える処理を図示したものである。
図１１において、画像１０００は画像９００において特徴領域から人体を検出する処理を実行するかどうか切り換えている画像である。
矩形領域１００１は、特徴領域から人体を検出する処理と、動体領域から人体を検出する処理と、を切り換える処理を実行する矩形領域である。矩形領域１００２は、特徴領域から人体を検出する処理と、動体領域から人体を検出する処理と、を切り換える処理を実行しない矩形領域である。
矩形１００３は、動体検出手法で検出された元の動体の外接矩形である。矩形１００４は、動体内から人体検出に必要な領域のみを抽出する処理で抽出された領域である。矩形１００５は、動体検出手法で検出された元の動体の外接矩形、かつ、人体検出を行う領域である。

Ｓ８００において、制御部１２１は、撮像装置１１０から撮像画像を取得する。Ｓ８００の処理は、Ｓ２００の処理と同様である。
次に、Ｓ８０１において、制御部１２１は、撮像画像から動体を検出する。Ｓ８０１の処理は、Ｓ２０１の処理と同様である。
次に、Ｓ８０２において、制御部１２１は、処理対象の領域が、動体の人体特徴を使って判断する領域かどうかを判定する。より具体的に説明すると、制御部１２１は、メモリ２１に保存されている、動体の人体特徴で判断する領域か否かを示す設定値に基づいて、処理対象の領域が、動体の人体特徴を使って判断する領域かどうかを判定する。制御部１２１は、処理対象の領域が、動体の人体特徴を使って判断する領域であると判定した場合（Ｓ８０２においてＹＥＳ）、Ｓ８０３に進み、動体の人体特徴を使って判断する領域でないと判定した場合（Ｓ８０２においてＮＯ）、Ｓ８０４に進む。
Ｓ８０３において、制御部１２１は、動体が人体の特徴を持っているか否かを判定する。より具体的には、制御部１２１は、実施形態２のＳ６０２の方法で判定する。例えば、制御部１２１は、図１１の矩形領域１００１を動体が人体の特徴を持っている領域であると判定し、図１１の矩形領域１００２を動体が人体の特徴を持っている領域でないと判定する。制御部１２１は、動体が人体の特徴を持っていると判定した場合（Ｓ８０３においてＹＥＳ）、Ｓ８０５に進み、動体が人体の特徴を持っていないと判定した場合（Ｓ８０３においてＮＯ）、Ｓ８０４に進む。制御部１２１は、実施形態２のＳ６０２の方法以外の方法で動体が人体の特徴を持っているか否かを判定してもよい。
Ｓ８０４において、制御部１２１は、動体領域から人体を検出する。

Ｓ８０５において、制御部１２１は、処理対象の領域が、動体内の人体検出に必要な特徴領域を抽出する領域かどうかを判定する。より具体的に説明すると、制御部１２１は、メモリ２１に保存されている、動体内の人体検出に必要な特徴領域を抽出する領域か否かを示す設定値に基づいて、処理対象の領域が、動体内の人体検出に必要な特徴領域を抽出する領域かどうかを判定する。制御部１２１は、処理対象の領域が、動体内の人体検出に必要な特徴領域を抽出する領域であると判定した場合（Ｓ８０５においてＹＥＳ）、Ｓ８０６に進む。一方、制御部１２１は、処理対象の領域が、動体内の人体検出に必要な特徴領域を抽出する領域でないと判定した場合（Ｓ８０５においてＮＯ）、Ｓ８０４に進む。
Ｓ８０６において、制御部１２１は、Ｓ８０１で検出した動体から人体検出に必要な特徴を含む領域のみを抽出する。Ｓ８０６の処理は、Ｓ２０２の処理と同様である。
次に、Ｓ８０７において、制御部１２１は、Ｓ８０６で抽出した領域から人体を検出する。Ｓ８０７の処理は、Ｓ２０３の処理と同様である。
Ｓ８０８において、制御部１２１は、繰り返し処理を終了するか判定する。制御部１２１は、繰り返し処理を終了すると判定すると（Ｓ８０８においてＹＥＳ）、図９に示すフローチャートの処理を終了し、繰り返し処理を終了しないと判定すると（Ｓ８０８においてＮＯ）、Ｓ８００の処理に戻る。

本実施形態では、領域ごとに、動体の人体特徴で判断する領域か否か、動体内の人体検出に必要な特徴領域を抽出する領域か否か、それぞれ設定値が事前にメモリ２１等に保存されているものとした。しかし、領域ごとに、動体の人体特徴で判断する領域であり、かつ、動体内の人体検出に必要な特徴領域を抽出する領域か否かの設定値を事前にメモリ２１等に保存するようにしてもよい。この場合、制御部１２１は、Ｓ８０２とＳ８０５とにおいて同じ設置値に基づき判定を行う。

実施形態３の処理によれば、人体を遮蔽する障害物がある領域では、動体領域から人体を検出する処理を行い、人体を遮断する障害物がない領域では、実施形態１、２の処理を行うので、領域に応じて適切に動体内に存在する人体を検出することができる。

＜実施形態４＞
実施形態３では、領域ごとに、動体の人体特徴で判断する領域か否か、動体内の人体検出に必要な特徴領域を抽出する領域か否か、設定値を事前に設定する必要があった。しかし、領域ごとに設定値を事前に設定するのは、情報処理システムの設置者の負担になる。そこで、実施形態４では、特徴領域から人体を検出する処理と、動体領域から人体を検出する処理と、を切り換える処理を自動で学習する処理について説明する。
以下、本実施形態の処理を、図１２、図１３、図１４、図１５を用いて説明する。
図１２は、実施形態４の情報処理の一例を示すフローチャートである。
図１３は、障害物があり人体の全身が撮像できない場合の一例を示した図である。図１３において、画像１２００は全身が撮像された人体と、障害物に遮蔽され全身が撮像されていない人体とから、動体を検出した画像である。矩形１２０１は、全身が撮像された人体の外接矩形である。矩形１２０２は、全身が撮像されていない人体の外接矩形である。

Ｓ１１００において、制御部１２１は、撮像装置１１０から撮像画像を取得する。Ｓ１１００の処理は、Ｓ２００の処理と同様である。
次に、Ｓ１１０１において、制御部１２１は、撮像画像から動体を検出する。Ｓ１１０１の処理は、Ｓ２０１の処理と同様である。
次に、Ｓ１１０２において、制御部１２１は、処理対象の領域が、動体の人体特徴を使って判断する領域かどうかを判定する。より具体的に説明すると、制御部１２１は、メモリ２１に保存されている、設定値に基づいて、処理対象の領域が、動体の人体特徴を使って判断する領域かどうかを判定する。制御部１２１は、処理対象の領域が、動体の人体特徴を使って判断する領域であると判定した場合（Ｓ１１０２においてＹＥＳ）、Ｓ１１０３に進み、動体の人体特徴を使って判断する領域でないと判定した場合（Ｓ１１０２においてＮＯ）、Ｓ１１０４に進む。
Ｓ１１０３において、制御部１２１は、動体が人体の特徴を持っているか否かを判定する。より具体的には、制御部１２１は、実施形態２のＳ６０２の方法で判定する。制御部１２１は、動体が人体の特徴を持っていると判定した場合（Ｓ１１０３においてＹＥＳ）、Ｓ１１０５に進み、動体が人体の特徴を持っていないと判定した場合（Ｓ１１０３においてＮＯ）、Ｓ１１０４に進む。制御部１２１は、実施形態２のＳ６０２の方法以外の方法で動体が人体の特徴を持っているか否かを判定してもよい。
Ｓ１１０４において、制御部１２１は、動体領域から人体を検出する。

Ｓ１１０５において、制御部１２１は、処理対象の領域が、動体内の人体検出に必要な特徴領域を抽出する領域かどうかを判定する。より具体的に説明すると、制御部１２１は、メモリ２１に保存されている、設定値に基づいて、処理対象の領域が、動体の人体特徴を使って判断する領域かどうかを判定する。制御部１２１は、処理対象の領域が、動体内の人体検出に必要な特徴領域を抽出する領域であると判定した場合（Ｓ１１０５においてＹＥＳ）、Ｓ１１０６に進む。一方、制御部１２１は、処理対象の領域が、動体内の人体検出に必要な特徴領域を抽出する領域でないと判定した場合（Ｓ１１０５においてＮＯ）、Ｓ１１０４に進む。
Ｓ１１０６において、制御部１２１は、Ｓ１１０１で検出した動体から人体検出に必要な特徴を含む領域のみを抽出する。Ｓ１１０６の処理は、Ｓ２０２の処理と同様である。
次に、Ｓ１１０７において、制御部１２１は、Ｓ１１０６で抽出した領域から人体を検出する。Ｓ１１０７の処理は、Ｓ２０３の処理と同様である。

Ｓ１１０８において、制御部１２１は、Ｓ１１０４で人体を検出したか否かを判定する。制御部１２１は、人体を検出したと判定した場合（Ｓ１１０８においてＹＥＳ）、Ｓ１１０９に進み、人体を検出していないと判定した場合（Ｓ１１０８においてＮＯ）、Ｓ１１１１に進む。
Ｓ１１０９において、制御部１２１は、Ｓ１１０１で検出された動体が人体の特徴を有しているかを判定する。より具体的には、制御部１２１は、実施形態２のＳ６０２の方法で判定する。制御部１２１は、動体が人体の特徴を有していると判定すると（Ｓ１１０９においてＹＥＳ）、Ｓ１１１０に進み、動体が人体の特徴を有していないと判定すると（Ｓ１１０９においてＮＯ）、Ｓ１１１１に進む。制御部１２１は、実施形態２のＳ６０２の方法以外の方法で動体が人体の特徴を持っているか否かを判定してもよい。
図１４は、画像１２００で動体から人体を検出した結果の一例を示した図である。図１４において、画像１３００は画像１２００に含まれる動体から人体を検出した画像である。矩形１３０１及び矩形１３０２は人体が含まれる動体の外接矩形である。アスペクト比１３０３は矩形１３０１の縦横比をアスペクト比で表したものである。アスペクト比１３０４は矩形１３０２の縦横比をアスペクト比で表したものである。

Ｓ１１１０において、制御部１２１は、処理対象の領域を、動体の人体特徴で判断し、動体内の人体検出に必要な特徴領域を抽出する領域であると設定し、メモリ２１等に処理対象の領域の情報と共に設定値を設定する。
図１５は、Ｓ１１１０で自動的に学習した結果の一例を示した図である。図１５において、画像１４００はＳ１１１９で学習した後の撮像画像で動画像から人体検出を行っている画像である。
矩形１４０１は、特徴領域から人体を検出する処理と、動体領域から人体を検出する処理と、を切り換える処理を実行する矩形領域である。矩形１４０２は、特徴領域から人体を検出する処理と、動体領域から人体を検出する処理と、を切り換える処理を実行しない矩形領域である。
矩形１４０３は、動体検出手法で検出された元の動体の外接矩形である。矩形１４０４は、動体内から人体検出に必要な領域のみを抽出する処理で抽出された領域である。矩形１４０５は、動体検出手法で検出された元の動体の外接矩形、かつ、人体検出を行う領域である。
Ｓ１１１１において、制御部１２１は、繰り返し処理を終了するか判定する。制御部１２１は、繰り返し処理を終了すると判定すると（Ｓ１１１１においてＹＥＳ）、図１２に示すフローチャートの処理を終了し、繰り返し処理を終了しないと判定すると（Ｓ１１１１においてＮＯ）、Ｓ１１００の処理に戻る。

実施形態４の処理によれば、人体を遮蔽する障害物がある領域では、動体領域から人体を検出する処理を行い、人体を遮断する障害物がない領域では、実施形態１、２の処理を行うので、領域に応じて適切に動体内に存在する人体を検出することができる。また、実施形態４の処理によれば、実施形態３の処理に比べて、事前に領域ごとに設定値を設定する手間を省くことができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。図２に示した撮像装置１１０の機能構成の一部はハードウェア構成として撮像装置１１０に実装されてもよい。また、図２に示したクライアント装置１２０の機能構成の一部はハードウェア構成としてクライアント装置１２０に実装されてもよい。また、図１に示した撮像装置１１０、クライアント装置１２０のハードウェア構成は一例であり、複数のＣＰＵやメモリ、通信Ｉ／Ｆ等を有していてもよい。
また、上述した各実施形態を任意に組み合わせて実施してもよい。
また、制御部１２１は、抽出した特徴領域すべてに対して人体を検出する処理を行うのではなく、矩形の形状等に応じて、人体が検出された時点で、検出処理を終了するようにしてもよい。このようにすることにより、より高速に人体を検出することができる。
また、上述した各実施形態では、フローチャートの処理を、クライアント装置１２０で行うように説明を行ったが、例えば、各フローチャートの処理の一部、又はすべてを撮像装置１１０で行うようにしてもよい。例えば、図３のフローチャートにおいて、Ｓ２００〜Ｓ２０２までを撮像装置１１０が行った場合、撮像装置１１０のＣＰＵ１２は、抽出した特徴領域を通信Ｉ／Ｆ１４を介してクライアント装置１２０に送信する。クライアント装置１２０のＣＰＵ２２は、特徴領域を撮像装置１１０より受信すると、Ｓ２０３の処理を実行し、処理結果を表示装置１４０等に表示する。
また、上述した各実施形態では、動体内に存在する人体を検出する例を用いて説明を行ったが、検出対象は人体に限らず、例えば、動体内に存在する車、バイク、ドローン、家畜等であってもよい。

以上、上述した各実施形態によれば、動体内に存在するオブジェクト（例えば、人体）をより高速に検出することができる。

１２ ＣＰＵ
２２ ＣＰＵ
１１０ 撮像装置
１２０ クライアント装置

Claims (11)

1. 動画像から動体を検出する動体検出手段と、
   前記検出された動体に対応する領域の一部の領域を対象として、検出対象のオブジェクトの特徴を用いてオブジェクトを検出する第１の検出手段と、
   を有する情報処理装置。
2. 前記検出された動体が前記オブジェクトの特徴を有しているか否かを判定する判定手段を更に有し、
   前記判定手段により前記動体が前記オブジェクトの特徴を有していると判定された場合、前記第１の検出手段は、前記一部の領域として、前記検出された動体から検出対象の特徴を含む領域を抽出し、抽出した領域から前記オブジェクトを検出する請求項１記載の情報処理装置。
3. 前記検出された動体から前記オブジェクトを検出する第２の検出手段を更に有し、
   前記動画像の領域に応じて、前記第１の検出手段によるオブジェクトの検出と前記第２の検出手段によるオブジェクトの検出とを切り替える請求項１又は２記載の情報処理装置。
4. 前記動画像に含まれる領域ごとに前記第１の検出手段により前記オブジェクトの検出を行うか否かを示す設定値を設定する設定手段を更に有し、
   前記動画像に含まれる領域ごとに前記設定値が設定されているか否かに応じて、前記第１の検出手段によるオブジェクトの検出と前記第２の検出手段によるオブジェクトの検出とを切り替える請求項３記載の情報処理装置。
5. 前記設定手段は、設定操作に基づいて前記動画像の領域ごとに前記設定値を設定する請求項４記載の情報処理装置。
6. 前記第２の検出手段により処理対象の領域より前記オブジェクトが検出され、かつ、前記検出された動体が前記検出対象のオブジェクトの特徴を有している場合、前記設定手段は、前記処理対象の領域に、前記第１の検出手段により前記オブジェクトの検出を行うことを示す設定値を設定する請求項４記載の情報処理装置。
7. 前記オブジェクトは人体である請求項１乃至６何れか１項記載の情報処理装置。
8. 前記第１の検出手段は、前記一部の領域として前記検出対象のオブジェクトの特徴を含む領域を対象として、前記検出対象のオブジェクトの特徴を用いて前記オブジェクトを検出する請求項１乃至７何れか１項記載の情報処理装置。
9. 前記オブジェクトは人体であり、
   前記第１の検出手段は、前記一部の領域として前記動体に対応する領域における上側の領域を対象として、人体の上半身の特徴を用いて人体を検出する請求項１乃至８何れか１項記載の情報処理装置。
10. 情報処理装置が実行する情報処理方法であって、
    動画像から動体を検出する動体検出工程と、
    前記検出された動体に対応する領域の一部の領域を対象として、検出対象のオブジェクトの特徴を用いてオブジェクトを検出する検出工程と、
    を含む情報処理方法。
11. コンピュータを、請求項１乃至９何れか１項記載の情報処理装置の各手段として機能させるためのプログラム。

Images