JP2018198399A - 情報処理装置、情報処理システム、情報処理方法及びプログラム - Google Patents

Abstract

【課題】検出処理の高速化、及び、誤検出の削減の少なくとも何れかを実現することを目的とする。【解決手段】オブジェクトの検出エリアを設定する第１の設定手段と、検出エリアから検出するオブジェクトの第１の検出サイズと第２の検出サイズとを設定する第２の設定手段と、第１の設定手段によって設定された検出エリアから第２の設定手段によって設定された第１の検出サイズと第２の検出サイズとの間のサイズのオブジェを検出する検出手段と、を有する。【選択図】図５

Description

本発明は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。

デジタルカメラやデジタルビデオカメラ等においては、静止画像や動画像の撮影時に、静止画像や動画像から被写体を自動的に検出するものがある。特許文献１ではデジタルカメラにおける顔検出方法が開示されている。

特開２００８−２８９００６号公報

例えば、監視カメラ等においては奥行きのある画像を撮像することが多い。このような場合、画像内に大きなオブジェクトと小さなオブジェクトとが混在し、オブジェクトを検出する検出処理に時間がかかる場合や、誤検出される場合がある。
本発明は、検出処理の高速化、及び、誤検出の削減の少なくとも何れかを目的とする。

本発明の情報処理装置は、オブジェクトの検出エリアを設定する第１の設定手段と、前記検出エリアから検出するオブジェクトの第１の検出サイズと第２の検出サイズとを設定する第２の設定手段と、前記第１の設定手段によって設定された検出エリアから前記第２の設定手段によって設定された第１の検出サイズと第２の検出サイズとの間のサイズのオブジェを検出する検出手段と、を有する。

本発明によれば、検出処理の高速化、及び、誤検出の削減の少なくとも何れかを実現することができる。

情報処理システムのハードウェア構成等の一例を示す図である。 情報処理システムの機能構成等の一例を示す図である。 撮像画像の一例を示す図である。 画面の一例を示す図である。 情報処理の一例を示すフローチャートである。 検出エリアを設定する一例を示す図である。 人体サイズを設定する一例を示す図である。 人体サイズを変更した一例を示す図である。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
本実施形態では、動画像をモニタリングする情報処理システムにおいて、撮像された動画像内で、人体検出を行う検出エリアを設定し、設定した検出エリアごとに最大、最小の人体サイズを設定し、人体を検出する処理について説明する。動画像であることは一例であり、静止画であってもよい。最小の人体サイズは、第１の検出サイズの一例である。また、最大の人体サイズは、第２の検出サイズの一例である。また、画像に含まれる人体は、オブジェクトの一例である。
本実施形態における情報処理システムのシステム構成及びハードウェア構成の一例を図１に示す。図１において、撮像装置１１０は、撮像を行う。クライアント装置１２０は、撮像装置１１０の駆動、撮像装置１１０で撮像された撮像画像の表示を行う。入力装置１３０は、マウスやキーボード等から構成され、クライアント装置１２０へのユーザー入力を行う。表示装置１４０は、ディスプレイ等から構成され、クライアント装置１２０が出力した画像の表示を行う。図１ではクライアント装置１２０と表示装置１４０とを各々独立した装置として示したが、クライアント装置１２０と表示装置１４０とを一体化して構成してもよい。また、入力装置１３０と表示装置１４０とを一体化して構成してもよいし、クライアント装置１２０と入力装置１３０と表示装置１４０とを一体化して構成してもよい。ネットワーク１５０は、撮像装置１１０とクライアント装置１２０とを接続する。ネットワーク１５０は、例えばローカルネットワーク等の通信規格を満たす複数のルータ、スイッチ、ケーブル等から構成される。本実施形態においては撮像装置、クライアント間の通信を行うことができるものであればその通信規格、規模、構成を問わない。例えば、ネットワーク１５０は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により構成されてもよい。また、クライアント装置１２０に接続される撮像装置の数は１台に限られず、複数台であってもよい。表示装置１４０は、表示部の一例である。クライアント装置１２０は、情報処理装置の一例である。撮像装置１１０は、例えば、監視カメラ等である。

撮像装置１１０のハードウェア構成について説明する。撮像装置１１０は、ハードウェア構成として、撮像部１１と、ＣＰＵ１２と、メモリ１３と、通信Ｉ／Ｆ１４と、を含む。撮像部１１は、撮像素子と撮像素子上に被写体の工学系とを有し、ＣＰＵ１２の制御に基づき光学系の光軸と撮像素子との交点を撮像中心として撮像素子上に撮像を行う。撮像素子は、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）又はＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子である。ＣＰＵ１２は、撮像装置１１０の全体を制御する。メモリ１３は、プログラムや撮像部１１で撮像された画像、ＣＰＵ１２が処理を実行する際に利用するデータ等を記憶する。通信Ｉ／Ｆ１４は、ＣＰＵ１２の制御に基づきネットワーク１５０を介したクライアント装置１２０との通信を制御する。ＣＰＵ１２がメモリ１３に記憶されたプログラムに基づき処理を実行することにより、撮像装置１１０の機能等が実現される。
次に、クライアント装置１２０のハードウェア構成について説明する。クライアント装置１２０は、ハードウェア構成として、メモリ２１と、ＣＰＵ２２と、通信Ｉ／Ｆ２３と、入力Ｉ／Ｆ２４と、表示Ｉ／Ｆ２５と、を含む。ＣＰＵ２２は、クライアント装置１２０の全体を制御する。メモリ２１は、プログラムや撮像装置１１０から送信された撮像画像、ＣＰＵ２２が処理を実行する際に利用するデータ等を記憶する。通信Ｉ／Ｆ２３は、ＣＰＵ２２の制御に基づきネットワーク１５０を介した撮像装置１１０との通信を制御する。入力Ｉ／Ｆ２４は、クライアント装置１２０と入力装置１３０とを接続し、入力装置１３０からの情報の入力を制御する。表示Ｉ／Ｆ２５は、クライアント装置１２０と表示装置１４０とを接続し、表示装置１４０への情報の出力を制御する。ＣＰＵ２２がメモリ２１に記憶されたプログラムに基づき処理を実行することにより、クライアント装置１２０の機能及び後述する図５のフローチャートの処理等が実現される。

図２は、撮像装置１１０及びクライアント装置１２０の機能構成の一例を示す図である。撮像装置１１０は、機能構成として、制御部１１１と、信号処理部１１２と、駆動制御部１１３と、通信制御部１１４と、を含む。制御部１１１は、撮像装置１１０を制御する。信号処理部１１２は、撮像部１１によって撮像された画像信号の処理を行う。例えば、信号処理部１１２は、撮像部１１によって撮像された画像の符号化を行う。信号処理部１１２は、符号化方式として、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）を用いることができる。又は、信号処理部１１２は、符号化方式として、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下Ｈ．２６４）を用いることができる。又は、信号処理部１１２は、符号化方式として、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ符号化方式）を用いることができる。但し符号化方式はこれらに限らない。また、信号処理部１１２は、複数の符号化方式の中から符号化方式を選択して符号化を行うようにしてもよい。駆動制御部１１３は、撮像部１１の撮像方向、及び画角を変更させる制御を行う。本実施形態では、撮像部１１は、パン方向、チルト方向に撮像方向を変更でき、撮像画角を変更することができる場合について説明するが、これに限らない。撮像装置１１０は、パン方向、チルト方向に撮像方向を変更する機能を有さなくてもよいし、画角を変更する機能を有さなくてもよい。通信制御部１１４は、信号処理部１１２で処理が行われた撮像画像をクライアント装置１２０に送信する。更に通信制御部１１４は、クライアント装置１２０から撮像装置１１０に対する制御命令を受信する。

クライアント装置１２０は、機能構成として、制御部１２１と、通信制御部１２３と、情報取得部１２４と、表示制御部１２５と、を含む。制御部１２１は、クライアント装置１２０を制御する。通信制御部１２３は、撮像画像を撮像装置１１０から受信する。情報取得部１２４は、入力装置１３０によるユーザー入力を受け付け、入力装置１３０より入力情報を取得する。表示制御部１２５は、映像を表示装置１４０へ出力し、後述する表示処理を表示装置１４０に実行させる。
本実施形態ではクライアント装置１２０は、撮像装置１１０から受信した撮像画像に対し人体検出を行う検出エリアを設定し、設定した検出エリアごとに最大、最小の人体サイズを設定し、人体検出処理を行う。これによって、リアルタイムのライブ映像に対して人体検出を行う検出エリアを設定し、設定した検出エリアごとに最大、最小の人体サイズを設定し、人体検出処理を行うことができる。しかしながらこれに限らない。例えば、クライアント装置１２０は、撮像装置１１０内に保存されている動画を取得し、各フレームに対し人体検出を行う検出エリアを設定し、設定した検出エリアごとに最大、最小の人体サイズを設定し、人体検出処理を行ってもよい。また、クライアント装置１２０は、クライアント装置１２０内に保存されている動画の各フレームに対して人体検出を行う検出エリアを設定し、設定した検出エリアごとに最大、最小の人体サイズを設定し、人体検出処理を行ってもよい。又はクライアント装置１２０は、録画サーバ等にアクセスし、録画サーバ内に保存されている動画の各フレームに対して人体検出を行う検出エリアを設定し、設定した検出エリアごとに最大、最小の人体サイズを設定し、人体検出処理を行ってもよい。

次に、本実施形態における人体検出を行う検出エリアを設定し、設定した検出エリアごとに最大、最小の人体サイズを設定する構成及び処理の流れを図３〜図８を用いて説明する。
図３は、制御部１２１が撮像装置１１０から取得した撮像画像２００の一例を示す図である。図３で表わされるように、画像２００には人体２０１及び２０２及び人体２０３が撮像されている。
図４は人体検出を行う検出エリアを設定し、設定した検出エリアごとに最大、最小の人体サイズを設定する一例を示す図である。図４において、画面３００は、検出エリアの設定をユーザーに促すためのグラフィカルユーザーインターフェイスである。画像３０１は、画面３００に表示された画像２００である。ボタン３０２は検出エリアを設定するためのボタンである。ボタン３０３は検出エリアごとに最大、最小の人体サイズを設定するためのボタンである。図４の画面３００は、表示装置１４０によってユーザーに表示される。本実施形態ではグラフィカルユーザーインターフェイスを用いてユーザーに設定させるが、音声等、他の方法でユーザーに設定させてもよい。

図５は、人体検出を行う検出エリアを設定し、設定した検出エリアごとに最大、最小の人体サイズを設定する情報処理の一例を示すフローチャートである。
Ｓ４００において、制御部１２１は、撮像装置１１０から撮像画像を取得する。Ｓ４０１の処理は、画像を受け付ける受付処理の一例である。
Ｓ４０１において、制御部１２１は、メモリ２１に記憶されている設定ファイルの記述等に基づいて検出エリアと検出エリアの最大、最小の人体サイズとが設定完了状態であるか否かを判定する。制御部１２１は、設定完了状態であると判定すると（Ｓ４０１においてＹＥＳ）、Ｓ４１５に進み、設定完了状態でないと判定すると（Ｓ４０１においてＮＯ）、Ｓ４０２に進む。
Ｓ４０２において、制御部１２１は、入力装置１３０を介してユーザーの入力があったか否かを判定する。制御部１２１は、ユーザーの入力があったと判定すると（Ｓ４０２においてＹＥＳ）、Ｓ４０３に進み、ユーザーの入力がなかったと判定すると（Ｓ４０２においてＮＯ）、Ｓ４００に戻る。

Ｓ４０３において、制御部１２１は、ボタン３０２が選択されたか否かを判定する。制御部１２１は、ボタン３０２が選択されたと判定すると（Ｓ４０３においてＹＥＳ）、Ｓ４０４に進み、ボタン３０３が選択されていないと判定すると（Ｓ４０３においてＮＯ）、Ｓ４０７に進む。
Ｓ４０４において、制御部１２１は、検出エリアの設定モードに遷移し、図６に示す画面を表示装置１４０に表示させるよう制御する。
図６は、検出エリアの設定モードに遷移した場合の、検出エリアを設定する画面の一例を示す図である。画面５００は、検出エリアの設定モードに遷移した人体検出を行う検出エリアを設定する画面である。画面５００は、エリア設定画面の一例を示す図である。ボタン５０１は検出エリアの設定モードに遷移したことを示し表示が変わったボタン３０２である。カーソル５０２は検出エリアを設定するための入力装置１３０のカーソルである。検出エリア５０３は設定された検出エリアを示す矩形である。本実施形態では、検出エリア５０３を矩形で設定したが、他の形状であってもよい。ボタン５０１は、表示装置１４０に表示させている画面がエリア設定画面であることを識別する識別情報の一例である。
Ｓ４０５において、制御部１２１は、表示装置１４０に表示された画面５００及び入力装置１３０を介したユーザーの検出エリア５０３の設定操作を受け付け、検出エリア５０３を設定する。検出エリア５０３は画像に対して設定された一定の大きさを有するエリア（範囲）である。
Ｓ４０６において、制御部１２１は、Ｓ４０５で設定した検出エリア５０３を図６に示すように表示装置１４０に表示させる。

Ｓ４０７において、制御部１２１は、ボタン３０３が選択されたか否かを判定する。制御部１２１は、ボタン３０３が選択されたと判定すると（Ｓ４０７においてＹＥＳ）、Ｓ４０８に進み、ボタン３０３が選択されていないと判定すると（Ｓ４０７においてＮＯ）、Ｓ４００に戻る。
Ｓ４０８において、制御部１２１は、人体サイズの設定モードに遷移し、図７に示す画面を表示装置１４０に表示させるよう制御する。
図７は、人体サイズの設定モードに遷移した場合の、人体サイズを設定する画面の一例を示す図である。画面６００は、サイズ設定画面の一例を示す図である。検出エリア６０１は、検出エリア５０３と同一であって、ユーザーによって最大、最小の人体サイズが設定されるエリアでもある。ボタン６０２は人体サイズの設定モードに遷移したことを示し表示が変わったボタン３０３である。人体モデル６０３は検出エリア６０１における最大の人体サイズを設定するための人体モデルである。人体モデル６０４は検出エリア６０１における最小の人体サイズを設定するための人体モデルである。本実施形態では、人体モデル６０３及び人体モデル６０４を人体に近い形状で表示しているが、他の形状で表示するようにしてもよい。ボタン６０２は、表示装置１４０に表示させている画面がサイズ設定画面であることを識別する識別情報の一例である。

Ｓ４０９において、制御部１２１は、人体モデル６０３及び人体モデル６０４を表示装置１４０に表示させるよう制御する。本実施形態では、制御部１２１は、人体サイズの設定モードに遷移してから人体モデル６０３及び人体モデル６０４を表示したが、このことは本実施の形態を制限するものではない。制御部１２１は、検出エリアの設定モードのときから人体モデル６０３及び人体モデル６０４を表示してもよいし、人体サイズの設定モードに遷移するまでは、半透明で表示する等、他の方法で人体モデル６０３及び人体モデル６０４の表示状態を制御してもよい。人体モデル６０４は、第１の検出サイズを設定するためのオブジェクトの一例である。また人体モデル６０３は、第２の検出サイズを設定するためのオブジェクトの一例である。制御部１２１は、画面６００において、人体モデル６０３を、人体モデル６０４よりも手前、又は画面の下側に表示させる。これは、奥行きのある広範囲の撮像画像等では、相対的に大きい被写体が手前に、小さい被写体が奥に存在することになるからである。
Ｓ４１０において、制御部１２１は、表示装置１４０に表示された画面６００における入力装置１３０を介したユーザーの人体モデル６０３のドラッグ操作等を受け付け、最大の人体サイズを変更する。ここで、最大の人体サイズは、画像に対する最大の人体の検出サイズである。本実施形態では、人体モデル６０３をドラッグすることで検出エリア６０１における最大の人体サイズを変更したが、他の方法で変更してもよい。
Ｓ４１１において、制御部１２１は、後述する図８に示すようにＳ４１０で変更された最大の人体サイズの人体モデル７０１を画面６００に表示させる。

Ｓ４１２において、制御部１２１は、表示装置１４０に表示された画面６００における入力装置１３０を介したユーザーの人体モデル６０４のドラッグ操作等を受け付け、最小の人体サイズを変更する。ここで、最小の人体サイズは、画像に対する最小の人体の検出サイズである。本実施形態では、人体モデル６０４をドラッグすることで検出エリア６０１における最小の人体サイズを変更したが、他の方法で変更してもよい。
Ｓ４１３において、制御部１２１は、後述する図８に示すようにＳ４１２で変更された最小の人体サイズの人体モデル７０２を画面６００に表示させる。
図８は、変更された後の最大、最小の人体サイズの一例を示す図である。人体モデル７０１は大きさが変更された後の検出エリア６０１における最大の人体サイズの人体モデルである。人体モデル７０２は大きさが変更された後の検出エリア６０１における最小の人体サイズの人体モデルである。Ｓ４１０及びＳ４１１の処理と、Ｓ４１２及びＳ４１３の処理とは、逆の順序で行われてもよい。
Ｓ４１４において、制御部１２１は、設定完了状態であることを例えばメモリ２１の設定ファイル等に記述し、保存する。
Ｓ４１５において、制御部１２１は、Ｓ４０５で設定した検出エリア内を、Ｓ４１２で設定した検出エリア内の最小の人体サイズからＳ４１０で設定した検出エリア内の最大の人体サイズまでの範囲で人体を検出する。人体検出方法としては特開２０１４−１９９５０６で公開されている技術等を利用すればよい。また、制御部１２１は、設定された検出エリアごとに最大の人体サイズ、最小の人体サイズを設定し、設定された検出エリアにおいて、設定された人体サイズの人体を検出するようにしてもよい。
制御部１２１は、検出した人体、及び、検出した人体の数等を、通信制御部１２３を介して外部装置に送信してもよいし、表示装置１４０に表示させてもよい。
Ｓ４１６において、制御部１２１は、繰り返し処理を終了するか否かを判定する。制御部１２１は、繰り返し処理を終了すると判定すると（Ｓ４１６においてＹＥＳ）、図５に示すフローチャートの処理を終了し、繰り返し処理を終了すると判定すると（Ｓ４１６においてＮＯ）、Ｓ４００に戻る。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
撮像装置１１０の機能構成の一部又は全てはハードウェア構成として撮像装置１１０に実装されてもよい。同様に、クライアント装置１２０の機能構成の一部又は全てはハードウェア構成としてクライアント装置１２０に実装されてもよい。また、上述したクライアント装置や撮像装置のハードウェア構成は一例であり、例えば、ＣＰＵやメモリ、通信Ｉ／Ｆ等は複数有していてもよい。
また、上述した実施形態では、検出対象の一例として人体を例に説明したが、他のオブジェクト、例えば、自動車、動物等であってもよい。

以上、上述した各実施形態の処理によれば、検出処理の高速化、及び、誤検出の削減の少なくとも何れかを実現することができる。

２２ ＣＰＵ
１２０ クライアント装置
１４０ 表示装置

Claims (12)

1. オブジェクトの検出エリアを設定する第１の設定手段と、
   前記検出エリアから検出するオブジェクトの第１の検出サイズと第２の検出サイズとを設定する第２の設定手段と、
   前記第１の設定手段によって設定された検出エリアから前記第２の設定手段によって設定された第１の検出サイズと第２の検出サイズとの間のサイズのオブジェを検出する検出手段と、
   を有する情報処理装置。
2. 画像を受け付ける受付手段を更に有し、
   前記第１の設定手段は、前記受付手段により受け付けられた前記画像に対して前記検出エリアを設定し、
   前記第２の設定手段は、前記第１の設定手段によって設定された検出エリアから検出するオブジェクトの前記第１の検出サイズと前記第２の検出サイズとを設定する請求項１記載の情報処理装置。
3. 前記画像は動画像である請求項２記載の情報処理装置。
4. 前記第２の設定手段は、前記第１の設定手段によって設定された検出エリアごとに検出するオブジェクトの前記第１の検出サイズと前記第２の検出サイズとを設定する請求項１乃至３何れか１項記載の情報処理装置。
5. 前記検出するオブジェクトに関する前記第１の検出サイズと前記第２の検出サイズとを設定するためのサイズ設定画面を表示部に表示させる表示制御手段を更に有する請求項１乃至４何れか１項記載の情報処理装置。
6. 前記第２の検出サイズは前記第１の検出サイズより大きいサイズであり、
   前記表示制御手段は、前記サイズ設定画面において、前記第２の検出サイズを設定するためのオブジェクトを、前記第１の検出サイズを設定するためのオブジェクトよりも手前に表示させる請求項５記載の情報処理装置。
7. 前記表示制御手段は、前記検出エリアを設定するためのエリア設定画面を前記表示部に表示させる請求項５又は６記載の情報処理装置。
8. 前記表示制御手段は、前記表示部に表示させている画面が前記エリア設定画面か前記サイズ設定画面かを識別する識別情報を前記表示部に表示させる請求項７記載の情報処理装置。
9. 撮像手段と、
   前記撮像手段により撮像された画像に含まれるオブジェクトの検出エリアを設定する第１の設定手段と、
   前記検出エリアから検出する前記撮像手段により撮像された画像に含まれるオブジェクトの第１の検出サイズと第２の検出サイズとを設定する第２の設定手段と、
   前記第１の設定手段によって設定された検出エリアから前記第２の設定手段によって設定された第１の検出サイズと第２の検出サイズとの間のサイズのオブジェを検出する検出手段と、
   を有する情報処理システム。
10. 情報処理装置が実行する情報処理方法であって、
    オブジェクトの検出エリアを設定する第１の設定工程と、
    前記検出エリアから検出するオブジェクトの第１の検出サイズと第２の検出サイズとを設定する第２の設定工程と、
    前記第１の設定工程によって設定された検出エリアから前記第２の設定工程によって設定された第１の検出サイズと第２の検出サイズとの間のサイズのオブジェを検出する検出工程と、
    を含む情報処理方法。
11. 情報処理システムが実行する情報処理方法であって、
    撮像工程と、
    前記撮像工程により撮像された画像に含まれるオブジェクトの検出エリアを設定する第１の設定工程と、
    前記検出エリアから検出する前記撮像工程により撮像された画像に含まれるオブジェクトの第１の検出サイズと第２の検出サイズとを設定する第２の設定工程と、
    前記第１の設定工程によって設定された検出エリアから前記第２の設定工程によって設定された第１の検出サイズと第２の検出サイズとの間のサイズのオブジェを検出する検出工程と、
    を含む情報処理方法。
12. コンピュータを、請求項１乃至８何れか１項記載の情報処理装置の各手段として機能させるためのプログラム。

Images