JP2017191501A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】多様な変形を行うオブジェクトの検出精度をより向上させることを目的とする。【解決手段】オブジェクトを含む入力画像を取得し、前記入力画像から、背景画像を用いて変化する領域の画像である変化領域画像を抽出し、前記入力画像と前記変化領域画像とを結合して畳込み型ニューラルネットワークを利用することにより複数の特徴画像を抽出し、前記複数の特徴画像からオブジェクトの位置を検出する。【選択図】図３

Description

本発明は、撮像装置により撮影された画像等からオブジェクトの位置を検出する情報処理装置、情報処理方法及びプログラムに関する。

近年、セキュリティのために店舗内への監視カメラの設置が急速に普及している。そのようなカメラを使って、映像を取得するだけでなく、映像中の人物を検出することによって混雑度を計測したり、人物の動線を解析したりすることで、店舗のマーケティング調査に使用することも提案されている。更に、マーケティング用途においては、カメラに映った人物の動作を解析し、解析した人物の動作から店舗に置かれた商品を手に取る等の興味行動を分析したいという要望もある。
このような映像解析を行うためには、画像中の人物の位置、又は、人物の頭、手等の部位や関節位置を自動的に検出する技術が求められる。画像から人物を検出する代表的な方法としては非特許文献１で提案されている方法が知られている。非特許文献１に記載の方法では画像から勾配方向ヒストグラム特徴を抽出し、抽出した特徴が人物か否かをサポートベクターマシンによって識別する。また、非特許文献２には、変形パーツモデルによって非特許文献１に記載の方法を拡張し、人物の部位の位置を推定する方法が提案されている。
一方、画像認識を行う技術として深層ニューラルネットワークが近年注目を浴びている。非特許文献３や非特許文献４には、画像から畳込み型ニューラルネットワークで特徴を抽出し、抽出した特徴から人物や車、鳥等の様々なオブジェクトを識別し、検出する方法が提案されている。また、非特許文献５や非特許文献６には、人物の関節位置を検出する方法が提案されている。このような深層ニューラルネットワークによる方法は、非特許文献１や非特許文献２で提案されている方法に比べ、特徴抽出に多様性を持たせている点に特徴がある。更に、特徴抽出と抽出した特徴の識別とを機械学習によって全体最適化できるので認識精度が飛躍的に向上するという効果がある。

Ｄａｌａｌ ａｎｄ Ｔｒｉｇｇｓ． Ｈｉｓｔｏｇｒａｍｓ ｏｆ ｏｒｉｅｎｔｅｄ ｇｒａｄｉｅｎｔｓ ｆｏｒ ｈｕｍａｎ ｄｅｔｅｃｔｉｏｎ． ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）、 ２００５ Ｆｅｌｚｅｎｓｚｗａｌｂ、 ＭｃＡｌｌｅｓｔｅｒ、 ａｎｄ Ｒａｍａｎａｎ． Ａ Ｄｉｓｃｒｉｍｉｎａｔｉｖｅｌｙ Ｔｒａｉｎｅｄ、 Ｍｕｌｔｉｓｃａｌｅ、 Ｄｅｆｏｒｍａｂｌｅ Ｐａｒｔ Ｍｏｄｅｌ． ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）、 ２００８ Ｇｉｒｓｈｉｃｋ、 Ｄｏｎａｈｕｅ、 Ｄａｒｒｅｌｌ、 ａｎｄ Ｍａｌｉｋ． Ｒｉｃｈ Ｆｅａｔｕｒｅ Ｈｉｅｒａｒｃｈｉｅｓ ｆｏｒ Ａｃｃｕｒａｔｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ． ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）、 ２０１４ Ｈｅ、 Ｚｈａｎｇ、 Ｒｅｎ、 ａｎｄ Ｓｕｎ． Ｓｐａｔｉａｌ Ｐｙｒａｍｉｄ Ｐｏｏｌｉｎｇ ｉｎ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｖｉｓｕａｌ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ - ＥＣＣＶ ２０１４ Ｔｏｓｈｅｖ ａｎｄ Ｓｚｅｇｅｄｙ． ＤｅｅｐＰｏｓｅ： Ｈｕｍａｎ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｖｉａ Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ． ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）、 ２０１４ Ｆａｎ、 Ｚｈｅｎｇ、 Ｌｉｎ、 ａｎｄ Ｗａｎｇ． Ｃｏｍｂｉｎｉｎｇ ｌｏｃａｌ ａｐｐｅａｒａｎｃｅ ａｎｄ ｈｏｌｉｓｔｉｃ ｖｉｅｗ： Ｄｕａｌ−ｓｏｕｒｃｅ ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｈｕｍａｎ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ． ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）、 ２０１５ 鷲見、関、波部、物体検出−背景と検出対象のモデリング−．情報処理学会研究報告（ＣＶＩＭ）、 Ｖｏｌ．２００５、Ｎｏ．８８ Ｋｒｉｚｈｅｖｓｋｙ、 Ｓｕｔｓｋｅｖｅｒ、 ａｎｄ Ｈｉｎｔｏｎ． ＩｍａｇｅＮｅｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎｗｉｔｈ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ． Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ ２５ （ＮＩＰＳ ２０１２） Ｒｅｎ、 Ｈｅ、 Ｇｉｒｓｈｉｃｋ、 ａｎｄ Ｓｕｎ． Ｆａｓｔｅｒ Ｒ−ＣＮＮ： Ｔｏｗａｒｄｓ Ｒｅａｌ−Ｔｉｍｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋｓ． ａｒＸｉｖ：１５０６．０１４９７、 ２０１５ Ｌｉ、 Ｃａｒｒｅｉｒａ、 ａｎｄ Ｓｍｉｎｃｈｉｓｅｓｃｕ． Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ ａｓ Ｒａｎｋｉｎｇ Ｈｏｌｉｓｔｉｃ Ｆｉｇｕｒｅ−Ｇｒｏｕｎｄ Ｈｙｐｏｔｈｅｓｅｓ． ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）、 ２０１０

しかしながら、深層ニューラルネットワークによる画像認識を利用したオブジェクトの検出においても人物のような関節によって多様な変形を行うオブジェクトを検出するのは困難である。オブジェクトの変形によって画像に写る背景部分が変化し、その影響を受けるためである。特に背景が複雑な場合には検出精度が大幅に劣化する。
本発明は、多様な変形を行うオブジェクトの検出精度をより向上させることを目的とする。

本発明の情報処理装置は、オブジェクトを含む入力画像を取得する取得手段と、前記入力画像から、変化する領域の画像である変化領域画像を抽出する第１の抽出手段と、前記入力画像と前記変化領域画像とから複数の特徴画像を抽出する第２の抽出手段と、前記複数の特徴画像から前記オブジェクトの位置を検出する検出手段と、を有することを特徴とする。

本発明によれば、多様な変形を行うオブジェクトの検出精度をより向上させることができる。

情報処理装置のハードウェア構成の一例を示すブロック図である。 情報処理装置の機能構成の一例等を示すブロック図である。 情報処理装置の処理の一例を示すフローチャートである。 畳込み型ニューラルネットワークの処理を説明する図である。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
以下、本発明に係る実施形態について図面に基づいて説明する。図１は、本実施形態に係る情報処理装置１０１のハードウェア構成を示すブロック図である。情報処理装置１０１は、演算処理装置１、記憶装置２、入力装置３、出力装置４を含む。なお、情報処理装置１０１に含まれる各装置は、互いに通信可能に構成され、バス等により接続されている。
演算処理装置１は、情報処理装置１０１の動作をコントロールし、記憶装置２に格納されたプログラムの実行等を行う。また、演算処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等で構成される。記憶装置２は、磁気記憶装置、半導体メモリ等のストレージデバイスであり、演算処理装置１により実行されるプログラム、長時間記憶しなくてはならないデータ等を記憶する。本実施形態では、演算処理装置１が、記憶装置２に格納されたプログラムの手順に従って処理を行うことによって、図２で後述する情報処理装置１０１の機能及び図３で後述するフローチャートに係る処理が実現される。記憶装置２は、また、情報処理装置１０１が処理対象とする画像、検出結果等を記憶する。

入力装置３は、マウス、キーボード、タッチパネルデバイス、ボタン等の入力装置であり、各種の指示の入力に利用される。また、入力装置３は、カメラ等の撮影画像を情報処理装置１０１に入力する通信手段を含む。出力装置４は、液晶パネル、外部モニタ等であり、各種の情報の出力に利用される。
なお、情報処理装置１０１のハードウェア構成は、図１の構成に限られるものではない。例えば、情報処理装置１０１は、各種の装置間で通信を行うためのＩ／Ｏ装置を備えてもよい。例えば、Ｉ／Ｏ装置は、メモリーカード、ＵＳＢケーブル等の入出力部、有線、無線等による送受信部等である。

図２は、本実施形態に係る情報処理装置１０１の機能構成の一例等を示すブロック図である。情報処理装置１０１は、取得部１１０、領域抽出部１２０、結合部１３０、特徴抽出部１４０、検出部１５０を含む。情報処理装置１０１の処理及び機能は、図２に示す機能構成要素１１０〜１５０により実現される。
本実施形態では、カメラ１００により視野を固定して撮影された画像から認識対象として、監視対象の人物の頭部、手等の各部位を検出する処理について説明する。
カメラ１００は、監視対象の人物を撮影する。

取得部１１０は、カメラ１００から、カメラ１００により撮影された画像を、不図示の通信手段を介して取得する。取得部１１０は、取得した画像を記憶装置２に記憶する。
領域抽出部１２０は、取得部１１０により取得された画像から変化する領域を変化領域画像として抽出する。
結合部１３０は、取得部１１０により取得された画像と領域抽出部１２０により抽出された変化領域画像とを結合する。

特徴抽出部１４０は、結合部１３０により結合された結果の画像から複数の特徴画像を抽出する。
検出部１５０は、特徴抽出部１４０により抽出された複数の特徴画像から認識対象とするオブジェクト（本実施形態では人物）の部位の位置を検出する。図１に示すように、検出部１５０は、候補抽出部１６０、特徴統合部１７０、位置推定部１８０を含む。
候補抽出部１６０は、特徴抽出部１４０により抽出された複数の特徴画像から人物の存在する領域である人物領域の候補となる領域の位置を抽出する。
特徴統合部１７０は、候補抽出部１６０により抽出された領域位置に基づいて、特徴抽出部１４０により抽出された複数の特徴画像から特徴を抽出して、抽出した特徴を統合し、統合特徴とする。
位置推定部１８０は、特徴統合部１７０により抽出された統合特徴から人物の部位の位置を推定する。

以下、本実施形態の処理について図３を用いて説明する。
図３は、本実施形態の情報処理装置１０１の処理の一例を示すフローチャートである。
Ｓ３０１において、取得部１１０は、カメラ１００により撮影された画像をカメラ１００から取得する。Ｓ３０１で取得される画像は、例えば、ＲＧＢ各８ビットで表現されるビットマップデータである。カメラ１００は、視野が固定されており、時系列上で設定された間隔で連続する画像である時系列画像を撮影する。視野が固定されているため、カメラ１００により撮影される画像の背景は、類似したものとなる。取得部１１０は、カメラ１００から略同一視野の時系列画像を取得する。取得部１１０は、取得した画像を設定された倍率で縮小処理をしてもよい。そうすることで、取得部１１０は、情報処理装置１０１が処理する演算量を削減する事ができる。取得部１１０は、取得した画像を記憶装置２に記憶する。

Ｓ３０２において、領域抽出部１２０は、Ｓ３０１で取得された画像から変化する領域を変化領域画像として抽出する。本実施形態では、領域抽出部１２０は、背景差分法を用いて変化領域画像を抽出する。領域抽出部１２０は、予め、カメラ１００により撮影された、人物の写っていない背景のみの画像を複数フレーム分取得し、取得した画像から背景画像を作成しておく。領域抽出部１２０は、取得部１１０により取得された画像と予め作成された背景画像とを画素毎に比較し、画素毎の差分に基づいて、その画素が変化領域の画素か否かを決定する。
例えば、領域抽出部１２０は、取得部１１０により取得された画像と予め作成された背景画像との画素毎の差分の絶対値が設定された閾値以上であれば、その画素が変化領域の画素であると決定し、閾値未満であれば、変化領域の画素ではないと決定する。そして、領域抽出部１２０は、例えば、変化領域の画素の画素値を１、それ以外の画素の画素値を０とした２値画像を変化領域画像として抽出する。また、領域抽出部１２０は、変化領域の画素とそれ以外の画素とを区別した結果をもとに背景画像を更新してもよい。領域抽出部１２０は、以上のような背景差分による変化領域画像の抽出手法の他、非特許文献７に記載されている各種手法を用いてもよい。

Ｓ３０３において、結合部１３０は、Ｓ３０１で取得部１１０により取得された画像と、Ｓ３０２で領域抽出部１２０により抽出された変化領域画像と、を結合する。より具体的には、結合部１３０は、Ｓ３０１で取得されたＲＧＢの３チャネルを有する画像に、変化領域画像の内容の１チャネルを含ませ、計４チャネルの画像を生成する。結合した画像はＲＧＢ各８ビットおよび変化領域画像１ビットの４つのチャネルからなり、各チャネルの画素は撮影したシーンの同一対象に対応付けられる。
Ｓ３０４において、特徴抽出部１４０は、Ｓ３０３で結合されて得られた画像から複数の特徴画像を抽出する。特徴抽出部１４０は、畳込み型ニューラルネットワークを利用して、特徴画像を抽出する。特徴抽出部１４０は、例えば、非特許文献８で提案されているニューラルネットワークの入力側の５層の畳込み型ニューラルネットワークを利用して特徴画像を抽出する。畳込み型ニューラルネットワークは、非特許文献３や非特許文献４にも開示されているものである。但し、本実施形態では、特徴抽出部１４０は、非特許文献４と同様、入力画像の大きさに合わせてニューラルネットワークによる処理を行い、特徴画像をプーリング（処理結果を記憶装置に一時的に記憶）する。更に、従来の方法とは異なり、本実施形態では、特徴抽出部１４０は、Ｓ３０３で得られた４つのチャネルからなる画像を畳込み型ニューラルネットワークの第１層へ入力するので、入力チャネル数は４となる。特徴抽出部１４０は、演算処理装置１のＧＰＵを用いて、畳込み型ニューラルネットワークの処理を実行する。

図４は、畳込み型ニューラルネットワークの処理を説明する図である。図４を用いて、本実施形態のＳ３０４で特徴抽出部１４０が利用する畳込み型ニューラルネットワークの処理を説明する。図４中の、Ｒ、Ｇ、Ｂの夫々は、取得部１１０によりＳ３０１で取得された画像のＲ、Ｇ、Ｂチャネルの画像である。Ｏは、領域抽出部１２０によりＳ３０２で抽出された変化領域画像である。特徴抽出部１４０は、畳込み型ニューラルネットワークの入力側の第１層では、以下の処理を行う。即ち、特徴抽出部１４０は、Ｒ、Ｇ、Ｂ、Ｏの夫々の画像から同位置の部分領域Ｗに対して設定されたフィルタを用いて畳込み演算を行い、畳込み演算の出力の特徴画像における部分領域Ｗに対応する点Ｐの位置の値を得る。設定されたフィルタとして、例えば、サイズ１１×１１のカーネル係数等が用いられる。図４において、Ｎは出力チャネル数を表し、例えば、９６チャネルである。畳込み演算のカーネル係数は、入出力チャネル毎に異なるものが用いられる。これらのカーネル係数は、予め学習により得られる。特徴抽出部１４０は、畳込み型ニューラルネットワークの第２層以降の入力として、前の層からの出力を用いる。
本実施形態では、特徴抽出部１４０は、畳込み型ニューラルネットワークに、Ｓ３０３で結合された画像の第４のチャネルとして、変化領域画素が１、それ以外の画素が０の変化領域画像を入力する。そのため、変化領域以外の画素から抽出した特徴に対して抑制効果を期待でき、特徴抽出部１４０は、背景部分の画像の影響を抑制することができる。本実施形態では、畳込み型ニューラルネットワークは、２５６チャネルの特徴画像を出力する。

Ｓ３０５において、候補抽出部１６０は、Ｓ３０４で特徴抽出部１４０により抽出された複数の特徴画像から人物領域の候補となる領域の位置を抽出する。候補抽出部１６０は、例えば、非特許文献９で提案されているＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋｓ）を利用する。ＲＰＮは、識別スコアとして、物体らしさ、及び、非物体らしさを出力する手法であるが、本実施形態では、人らしさ、及び、非人らしさのスコアを出力するように予め学習されている。また、ＲＰＮは、３スケール×３アスペクト比の矩形座標を回帰によって出力するが、本実施形態では、人物立位の領域候補の出力を想定して縦長１：２のアスペクト比のみ出力するようにする。そして、候補抽出部１６０は、ＲＰＮにより人らしさ、及び、非人らしさの識別スコアを出力し、人らしさの識別スコアが設定された閾値以上となる領域候補の矩形座標を候補領域位置として記憶装置２に記憶する。
Ｓ３０６において、特徴統合部１７０は、Ｓ３０５で候補抽出部１６０により抽出された候補領域位置の夫々について、Ｓ３０４で特徴抽出部１４０により抽出された複数の特徴画像から特徴を抽出して統合する。特徴統合部１７０は、例えば、非特許文献４で提案されている空間ピラミッドプーリング（Ｓｐａｔｉａｌ Ｐｙｒａｍｉｄ Ｐｏｏｌｉｎｇ）によって特徴の統合処理を行う。特徴統合部１７０は、Ｓ３０４で特徴抽出部１４０により抽出された２５６チャネルの特徴画像から、Ｓ３０５で候補抽出部１６０により抽出された領域位置における特徴を抽出する。そして、特徴統合部１７０は、抽出した特徴に基づいて、チャネル毎に、１６分割した領域の特徴、４分割した領域の特徴、全領域の特徴の総和を求める。そして、特徴統合部１７０は、求めた値を成分とする特徴ベクトルを統合した特徴である統合特徴として出力する。

Ｓ３０７において、位置推定部１８０は、Ｓ３０６で特徴統合部１７０により抽出された統合特徴から、人物の部位の位置を推定する。本実施形態では、位置推定部１８０は、例えば、人物の頭部、左右の肩、肘、及び、手首の中心７か所の位置を推定する。位置推定部１８０は、例えば、非特許文献６で提案されているニューラルネットワークの第６層から第８層のような全結合ニューラルネットワークに対して、Ｓ３０６で特徴統合部１７０により抽出された統合特徴を入力する。位置推定部１８０は、夫々４０９６次元の特徴を出力する２層の全結合ニューラルネットワークと、出力した４０９６次元の特徴から位置座標を回帰するニューラルネットワークとを検出対象の人物の部位毎に設ける。また、位置推定部１８０は、部位毎に夫々の部位らしさを表すヒートマップを出力するようなニューラルネットワークを設ける。出力されるヒートマップは、検出対象のオブジェクトの出現確率を可視化したものとみなすことができるものであり、オブジェクトの出現確率を示す出現確率画像の一例である。位置推定部１８０が利用する全結合ニューラルネットワークは、大量の人物画像とその人物画像中の人物の部位の位置座標を用いて予め学習されている。

位置推定部１８０は、ヒートマップの出力が所定値以上の位置を、人物の部位毎の検出結果として出力する。例えば、位置推定部１８０は、出力装置４の表示部等に検出された部位を囲む矩形を画像に重畳して表示する。また、位置推定部１８０は、出力装置４の表示部等に、検出された部位の座標の値を表示してもよい。また、位置推定部１８０は、ヒートマップを示す出現確率画像を生成し、出力装置４の表示部等に出力してもよい。
また、位置推定部１８０は、検出したオブジェクトの各部位の領域を全て含む領域をオブジェクトの位置として検出することもできる。位置推定部１８０は、検出したオブジェクトの位置を出力してもよい。例えば、位置推定部１８０は、出力装置４の表示部等に検出されたオブジェクトを囲む矩形を画像に重畳して表示する。

Ｓ３０５での候補抽出部１６０によるＲＰＮを用いた処理、及び、Ｓ３０７での位置推定部１８０による全結合ニューラルネットワークを用いた処理は、演算処理装置１のＧＰＵにより実行される。
演算処理装置１は、Ｓ３０５で候補抽出部１６０により抽出された候補領域位置の夫々について、Ｓ３０６、及び、Ｓ３０７の処理を繰り返し行う。また、演算処理装置１は、Ｓ３０１で取得部１１０により取得された画像のそれぞれについて、Ｓ３０２〜Ｓ３０７の処理を繰り返し行う。そして、演算処理装置１は、入力装置３を介したユーザの操作に基づいて、処理終了の入力を受けた場合、図３の処理を終了する。

以上、本実施形態の処理により、情報処理装置１０１は、カメラ１００により撮影された画像と変化領域画像とからニューラルネットワークで特徴抽出することにより、背景部分の画像の影響を抑制することが可能となる。そのため、情報処理装置１０１は、例え、背景が複雑な状況であっても高精度にオブジェクトの検出が可能となる。即ち、情報処理装置１０１は、オブジェクトの検出精度を向上させることができる。また、情報処理装置１０１は、特徴抽出部１４０により抽出された複数の特徴画像からオブジェクトの複数の部位の位置を検出することができる。
なお、本実施形態において、情報処理装置１０１は、変化領域画像の代わりに背景画像をニューラルネットワークに入力しても背景部分の画像の影響を抑制する効果は期待できる。しかしながら、特徴抽出部１４０が利用するニューラルネットワークへの入力チャネル数が変化領域画像に比べて多くなってしまうので特徴抽出部１４０の構成が複雑になってしまう。

本実施形態では、領域抽出部１２０は、Ｓ３０２で背景差分方式を用いて変化領域画像を抽出するようにしたが、背景差分法以外の方法で変化領域画像を抽出してもよい。例えば、領域抽出部１２０は、フレーム間差分を用いて変化領域画像を抽出してもよい。即ち、領域抽出部１２０は、Ｓ３０１で取得された時系列上で連続する複数の画像に含まれる画像同士を比較して、その差分の画像を変化領域画像として抽出するようにしてもよい。
また、領域抽出部１２０は、変化領域画像ではなく、画像中の人物領域を抽出し、人物領域画素を１、それ以外の画素を０とした２値画像を抽出するようにしてもよい。そして、特徴抽出部１４０は、カメラ１００からの画像と人物領域の２値画像とから特徴画像を抽出することとしてもよい。これにより、情報処理装置１０１は、検出対象のオブジェクトである人物が動かない場合でも、検出精度への背景の影響を低減させることができる。人物領域を抽出する方法には、非特許文献１０に提案されているような、画像をスーパーピクセルと呼ばれる類似画素に分割し、スーパーピクセル毎に特徴を抽出して人物領域か否かを識別する方法がある。また、人物領域を抽出する他の方法には、カメラ１００と視野が重複する別のカメラで並行して人物を撮影し、撮影された２つの画像から距離画像を求め、距離画像から人物領域を抽出する方法等がある。
本実施形態では、情報処理装置１０１は、画像から検出対象のオブジェクトである人物の部位の位置を検出する処理について説明した。しかし、情報処理装置１０１は、人物以外の動物等のオブジェクトの部位を検出することもできる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
例えば、上述した情報処理装置１０１の機能構成の一部又は全てをハードウェアとして情報処理装置１０１に実装してもよい。

１００ カメラ
１０１ 情報処理装置
１ 演算処理装置

Claims (13)

1. オブジェクトを含む入力画像を取得する取得手段と、
   前記入力画像から、変化する領域の画像である変化領域画像を抽出する第１の抽出手段と、
   前記入力画像と前記変化領域画像とから複数の特徴画像を抽出する第２の抽出手段と、
   前記複数の特徴画像から前記オブジェクトの位置を検出する検出手段と、
   を有することを特徴とする情報処理装置。
2. 前記第１の抽出手段は、前記入力画像と背景画像とに基づいて、前記変化領域画像を抽出することを特徴とする請求項１記載の情報処理装置。
3. 前記取得手段は、前記入力画像として時系列上で連続する複数の画像を取得し、
   前記第１の抽出手段は、前記時系列上で連続する複数の画像に基づいて、前記変化領域画像を抽出することを特徴とする請求項１記載の情報処理装置。
4. 前記時系列上で連続する複数の画像は、固定された視野で撮影された画像であることを特徴とする請求項３記載の情報処理装置。
5. 前記第１の抽出手段は、前記時系列上で連続する画像同士の差分に基づいて、前記変化領域画像を抽出することを特徴とする請求項３又は４記載の情報処理装置。
6. 前記第２の抽出手段は、前記入力画像と前記変化領域画像とを結合して畳込み型ニューラルネットワークを利用することによって前記複数の特徴画像を抽出することを特徴とする請求項１乃至５の何れか１項記載の情報処理装置。
7. 前記検出手段は、前記入力画像の中で前記オブジェクトが存在する領域の候補である候補領域を抽出し、前記候補領域に基づいて、前記複数の特徴画像の特徴を統合し、前記統合した特徴に基づいて、前記オブジェクトの位置を検出することを特徴とする請求項１乃至６の何れか１項記載の情報処理装置。
8. 前記検出手段は、前記複数の特徴画像から、全結合ニューラルネットワークを利用して前記オブジェクトを検出することを特徴とする請求項１乃至７の何れか１項記載の情報処理装置。
9. 前記検出手段は、前記オブジェクトの複数の部位の位置を検出することを特徴とする請求項１乃至８の何れか１項記載の情報処理装置。
10. 前記検出手段による検出結果を出力する出力手段を更に有することを特徴とする請求項１乃至９の何れか１項記載の情報処理装置。
11. 前記検出手段は、更に、前記複数の特徴画像から前記オブジェクトの出現確率を示す出現確率画像を生成し、
    前記出力手段は、更に、前記検出手段により生成された出現確率画像を出力することを特徴とする請求項１０記載の情報処理装置。
12. 情報処理装置が実行する情報処理方法であって、
    オブジェクトを含む入力画像を取得し、
    前記入力画像から、変化する領域の画像である変化領域画像を抽出し、
    前記入力画像と前記変化領域画像とから複数の特徴画像を抽出し、
    前記複数の特徴画像からオブジェクトの位置を検出することを特徴とする情報処理方法。
13. コンピュータに、
    オブジェクトを含む入力画像を取得する取得ステップと、
    前記入力画像から、変化する領域の画像である変化領域画像を抽出する第１の抽出ステップと、
    前記入力画像と前記変化領域画像とから複数の特徴画像を抽出する第２の抽出ステップと、
    前記複数の特徴画像から前記オブジェクトの位置を検出する検出ステップと、
    を実行させるためのプログラム。

Images