JP2015099559A

JP2015099559A - 画像処理装置、画像処理方法及びプログラム

Info

Publication number: JP2015099559A
Application number: JP2013240175A
Authority: JP
Inventors: 矢野　光太郎; Kotaro Yano; 光太郎矢野; 一郎梅田; Ichiro Umeda
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-11-20
Filing date: 2013-11-20
Publication date: 2015-05-28
Anticipated expiration: 2033-11-20
Also published as: US20150138386A1; US9934446B2; JP6351240B2

Abstract

【課題】登録した物体に対して入力画像から精度良く物体を検出して物体領域を切り出すことができるようにする。
【解決手段】登録画像の物体領域から抽出した画像特徴と入力画像の候補領域から抽出した画像特徴との照合を行う際に、入力画像を分割した小領域または隣接する小領域を統合した領域を候補領域として複数照合を行うようにする。更に、マスクデータから形状特徴を抽出して、画像特徴だけでなく形状特徴も用いて照合するようにして、入力画像の候補領域の境界が物体境界と一致するときに照合時に背景画像の影響をなくし、高精度に認識を行うことができるようにする。
【選択図】図１

Description

本発明は、特に、物体を検出するために用いて好適な画像処理装置、画像処理方法及びプログラムに関する。

従来、デジタルスチルカメラ、カムコーダ等において、撮影中の画像から人の顔を検出する機能が知られている。このような顔検出機能は、撮影対象の物体に自動的にピントや露出を合せるために非常に有用である。ここで、顔検出機能は、入力画像から抽出した数多くの検出ウインドウを予め膨大な数の顔画像を用いて学習した辞書データと照合することによって実現されている。

近年、このような顔検出機能に対して、二つの機能拡張が期待されている。一つは、検出対象を人の顔に限らず、例えば、犬や猫といったペットを検出する機能である。また、一方では、この機能を応用して検出した顔（あるいは、その他の物体）の領域を切り出したいという要望がある。

前者の要望に対しては、予め検出対象とする物体画像を登録して物体辞書データを更新する方法が特許文献１に開示されている。一方、後者の要望に対しては、特定の物体に対して、その物体領域を表すマスク（以下、マスクデータと称す）を画像データと共に事前に学習して物体領域を自動的に切り出す方法が非特許文献１に開示されている。

特開２０１１−８６２６１号公報

Luca Bertelli, Tianli Yu, Diem Vu, and Burak Gokturk. Kernelized Structural SVM Learning for Supervised Object Segmentation. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2011 Radhakrishna Achanta, Appu Shaji, Kevin Smith, Aurelien Lucchi, Pascal Fua, and Sabine Susstrunk. SLIC Superpixels. EPFL Technical Report 149300, June 2010 P. Felzenszwalb and D. Huttenlocher, Efficient graph-based image segmentation. International Journal of Computer Vision. 2004 Dalal and Triggs. Histograms of Oriented Gradients for Human Detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2005 D. Tax and R. Duin. Support Vector Data Description. Machine Learning, 54(1):45-66, 2004 D. G. Lowe. Distinctive image features from scale-invariant key points. Proc. of Int. Journal of Computer Vision , 2004

しかしながら、検出対象の形状は多種多様であり、従来の矩形の検出ウインドウでは検出対象の形状によっては検出ウインドウ中に背景の占める領域の割合が大きくなってしまう。そのため、単純に特許文献１の方法を適用すると背景画像の影響を受けて認識精度が低下する場合があるといった問題がある。これに対して、非特許文献１に開示されている方法では、物体領域を表すマスクを用いているが、予め特定の物体に対して物体の画像データおよびマスクデータを用いて学習しておく必要がある。このため、登録時に指定した物体に対して物体領域を切り出すことができない。

本発明は前述の問題点に鑑み、登録した物体に対して入力画像から精度良く物体を検出して物体領域を切り出すことができるようにすることを目的としている。

本発明に係る画像処理装置は、物体を含む画像を取得する画像取得手段と、前記画像取得手段によって取得された画像を複数の小領域に分割する分割手段と、前記分割手段によって分割された小領域から、前記物体の領域の候補となる複数の候補領域を取得する候補領域取得手段と、前記候補領域取得手段によって取得された候補領域から特徴量を抽出する抽出手段と、前記抽出手段によって抽出された特徴量を、候補領域ごとに予め登録されている物体情報と照合する照合手段と、前記照合手段による照合結果を出力する出力手段とを備えることを特徴とする。

本発明によれば、登録した物体に対して入力画像から精度良く物体を検出して物体領域を切り出すことができる。

本発明の実施形態に係る画像処理装置の機能構成例を示すブロック図である。本発明の実施形態に係る画像処理装置による認識対象の登録手順の一例を示すフローチャートである。物体領域を入力する詳細な処理手順の一例を示すフローチャートである。領域分割結果の境界を重畳した画像の一例を示す図である。画像特徴を抽出する詳細な処理手順の一例を示すフローチャートである。外接矩形を分割した複数のセルの一例を示す図である。本発明の実施形態に係る画像処理装置による照合手順の一例を示すフローチャートである。入力画像を分割した結果の一例を示す図である。本発明の実施形態に係る画像処理装置のハードウェア構成例を示すブロック図である。

以下、本発明に係る実施形態について図面に基づいて説明する。
図９は、本実施形態に係る画像処理装置１０のハードウェア構成例を示すブロック図である。
図９において、画像処理装置１０は、ＣＰＵ（Central Processing Unit）１、記憶装置２、入力装置３、及び出力装置４を含んで構成されている。なお、各装置は、互いに通信可能に構成され、バス等により接続されている。

ＣＰＵ１は、画像処理装置１０の動作をコントロールし、記憶装置２に格納されたプログラムの実行等を行う。記憶装置２は、磁気記憶装置、半導体メモリ等のストレージデバイスであり、ＣＰＵ１の動作に基づき読み込まれたプログラム、長時間記憶しなくてはならないデータ等を記憶する。本実施形態では、ＣＰＵ１が、記憶装置２に格納されたプログラムの手順に従って処理を行うことによって、画像処理装置１０における機能及び後述するフローチャートに係る処理が実現される。

入力装置３は、マウス、キーボード、タッチパネルデバイス、ボタン等であり、各種の指示を入力する。出力装置４は、液晶パネル、外部モニタ等であり、各種の情報を出力する。なお、画像処理装置１０のハードウェア構成は、上述した構成に限られるものではない。例えば、画像処理装置１０は、各種の装置間で通信を行うためのＩ／Ｏ装置を備えてもよい。この場合、Ｉ／Ｏ装置は、メモリーカード、ＵＳＢケーブル等の入出力部、有線、無線等による送受信部である。また、例えば、画像処理装置１０は、ＣＣＤ（Charge Coupled Devices）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を有するカムコーダ等の撮像装置を備えてもよい。

図１は、本実施形態に係る画像処理装置１０の機能構成例を示すブロック図である。本実施形態に係る画像処理装置１０の処理及び機能は、図１に示す各部により実現される。
図１において、画像取得部１００は、カメラ等の撮像装置で生成された画像データを取得する。領域分割部１１０は、画像取得部１００で取得した画像データを隣接した類似画素からなる複数の小領域に分割する。領域統合部１２０は、領域分割部１１０で分割した隣接する複数の小領域を統合する。

候補領域取得部１３０は、領域分割部１１０で分割した小領域または領域統合部１２０で統合した領域から物体領域の候補となる領域を取得する。また、候補領域取得部１３０は後述する物体領域入力部２００で入力した物体領域を候補領域として取得する。画像特徴抽出部１４０は、候補領域取得部１３０で取得した候補領域から画像データに係る物体を認識するための特徴量（以下、画像特徴と称す）を抽出する。形状特徴抽出部１５０は、候補領域取得部１３０で取得した候補領域のマスクデータに係る物体を認識するための特徴量（以下、形状特徴と称す）を抽出する。

物体情報学習部１６０は、画像特徴抽出部１４０で抽出した画像特徴および形状特徴抽出部１５０で抽出した形状特徴を用いて物体情報を学習する。物体情報記憶部１７０は、物体情報学習部１６０で学習した物体情報を記憶するメモリである。物体情報照合部１８０は、画像特徴抽出部１４０で抽出した画像特徴および形状特徴抽出部１５０で抽出した形状特徴を物体情報記憶部１７０に記憶されている物体情報と照合する。

結果統合出力部１９０は、物体情報照合部１８０で照合した複数の結果を統合して出力する。例えば、物体情報照合部１８０で認識対象の物体領域であると判別された候補領域を他の領域と区別できるように出力装置４に表示する。物体領域入力部２００は、画像取得部１００で取得した登録画像の物体領域を、入力装置３を介して入力する。

以下、本実施形態の動作について説明する。まず、図２を参照しながら、認識対象を登録する際の処理の流れを説明する。本実施形態では検出対象の登録を一連の動画像を用いて行う。

図２は、本実施形態に係る画像処理装置１０による認識対象の登録手順の一例を示すフローチャートである。
まず、画像取得部１００は、カメラ等の撮像装置で認識対象を撮像した動画像から１フレーム分の画像データを登録画像として取得する（Ｓ２０１）。ここで取得する画像データはＲＧＢの３つの色成分から成るカラー画像である。さらに、本実施形態では、ＲＧＢデータを輝度データに変換し、輝度画像データを以後の処理に適用する。

次に、領域分割部１１０は、画像取得部１００で取得した登録画像を隣接した類似画素からなる複数の小領域に分割する（Ｓ２０２）。ここで、登録画像を小領域に分割する方法としては、クラスタリングやグラフ表現による公知の方法を用いる（非特許文献２及び３参照）。

次に、物体領域入力部２００は、画像取得部１００で取得した登録画像の物体領域を、入力装置３を介して入力する（Ｓ２０３）。本実施形態では、ユーザが出力装置４に出力された画像データおよび領域分割部１１０の領域分割結果を見ながら、ユーザの操作により入力装置３を介して物体領域を入力する。詳細については後述する。

次に、候補領域取得部１３０は、物体領域入力部２００で得た物体領域を所定のデータ形式に変換し、保存する（Ｓ２０４）。具体的には、Ｓ２０３で入力された物体領域を囲む外接矩形を設定し、矩形内のマスクデータを所定のサイズ（例えば、１００×１００画素）に変換し、２値データとして保存する。

次に、画像特徴抽出部１４０は、候補領域取得部１３０で取得した物体領域から画像特徴を抽出し、記憶装置２に記憶する（Ｓ２０５）。本実施形態では画像特徴としてＨＯＧ（Histogram of Oriented Gradients、非特許文献４参照）特徴量を抽出する。詳細については後述する。

次に、形状特徴抽出部１５０は、候補領域取得部１３０で取得した物体領域の形状特徴を抽出し、記憶装置２に記憶する（Ｓ２０６）。本実施形態では、候補領域取得部１３０で取得した２値のマスクデータを１次元配列とし、形状特徴を表す特徴ベクトルとして抽出する。この他、２値画像のモーメントを抽出し、形状特徴としてもよい。

続いて、Ｓ２０１〜Ｓ２０６の処理を動画像のフレーム数分行ったか否かを判定する（Ｓ２０７）。この判定の結果、まだ処理を行っていないフレームが存在する場合はＳ２０１へ戻り、処理を繰り返す。

一方、Ｓ２０７の判定の結果、動画像の数フレーム分の処理が終了した場合は、物体情報学習部１６０は、画像特徴抽出部１４０で抽出した画像特徴および形状特徴抽出部１５０で抽出した形状特徴を用いて物体情報を学習する（Ｓ２０８）。具体的には記憶装置２から画像特徴および形状特徴を読み出し、画像特徴および形状特徴の夫々について、ＳＶＤＤ（Support Vector Data Description、非特許文献５参照）による物体情報の学習を行う。ＳＶＤＤは識別対象の複数サンプルから対象が属するクラスを、超球を用いて表現し、学習を行う方法である。詳細については後述する。そして、物体情報学習部１６０は、学習結果を物体情報記憶部１７０に保存する（Ｓ２０９）。

（物体領域入力処理の詳細）
図３は、Ｓ２０３において物体領域入力部２００が物体領域を入力する詳細な処理手順の一例を示すフローチャートである。
まず、出力装置４に認識対象の物体が写っている画像データに領域分割結果の境界を重畳した画像を表示する（Ｓ３０１）。図４（ａ）に表示画像の一例を示す。

次に、物体境界がこれで良いかどうかを確認するための画面を出力装置４に表示し、ユーザの操作により「ＹＥＳ」の指示が入力装置３から入力されたか否かを判定する（Ｓ３０２）。この判定の結果、ユーザの操作により「ＮＯ」の指示が入力された場合は、その後のユーザの操作によって指示された物体境界を入力する（Ｓ３０４）。この処理では、ユーザが表示された画像を見ながら入力装置３によって物体境界を入力する。そして、領域分割部１１０は、ユーザによって入力された物体境界を領域分割結果に反映させる（Ｓ３０５）。この処理では、領域分割部１１０の処理結果のうち、ユーザが指定した境界を含む小領域が境界に沿って分割される。境界入力後、処理をＳ３０１に移し、所望の物体境界が得られるまで処理が繰り返される。

一方、Ｓ３０２の判定の結果、「ＹＥＳ」の指示が入力された場合は、物体領域がこれで良いかどうかを確認するための画面を出力装置４に表示し、ユーザの操作により「ＹＥＳ」の指示が入力装置３から入力されたか否かを判定する（Ｓ３０３）。表示画像では物体領域と背景領域とが区別して表示され、初期状態では全ての小領域が背景領域となっている。ユーザは表示された画像を見て物体領域が正しいか否かの判定結果を入力装置３によって入力する。

Ｓ３０３の判定の結果、ユーザの操作により「ＹＥＳ」の指示が入力された場合は、物体領域入力処理を終了する。一方、ユーザの操作により「ＮＯ」の指示が入力された場合は、処理をＳ３０６に移す。そして、ユーザの操作に応じて物体領域のうち背景領域として表示されている領域（すなわち、修正が必要な領域）を入力装置３によって指定する（Ｓ３０６）。そして、Ｓ３０６の入力に従ってマスクデータを作成する（Ｓ３０７）。マスクデータは画像データ、物体境界と共に出力装置４に表示される。図４（ｂ）には、マスクデータを含む表示画像の一例を示す。その後、処理をＳ３０３に移し、物体領域が正しく入力されるまで処理が繰り返される。

（画像特徴抽出処理の詳細）
図５は、図２のＳ２０５における画像特徴抽出部１４０による画像特徴を抽出する詳細な処理手順の一例を示すフローチャートである。
まず、候補領域取得部１３０で設定した外接矩形を複数のセルに分割する（Ｓ５０１）。例えば、図６に示すように縦横４×４のセルに分割し、以降、ここで分割した各セルについて特徴抽出処理を行う。

次に、セル内の１つの画素を選択する（Ｓ５０２）。そして、選択した画素について、候補領域取得部１３０で取得したマスクデータを参照し、該当する画素が物体領域内の画素かどうかを判定する（Ｓ５０３）。この判定の結果、該当する画素が物体領域内の画素でない場合はＳ５０２に戻り、次の画素を選択する。一方、該当する画素が物体領域内の画素である場合は、以下のＳ５０４〜Ｓ５０５において特徴抽出処理を行う。

まず、画像特徴抽出部１４０は、物体領域内の画素について水平、垂直方向の輝度勾配を算出し、算出した輝度勾配から勾配強度および方向を求める（Ｓ５０４）。さらに、画像特徴抽出部１４０は、求めた勾配方向からヒストグラムの階級を求め、求めた階級に相当するビンに勾配強度を加算する（Ｓ５０５）。

次に、すべてのセル内のすべての画素について選択したか否かを判定する（Ｓ５０６）。この判定の結果、まだ選択していない画素がある場合はＳ５０２に戻り、処理を繰り返す。セル内の全画素について処理を繰り返すと、セル内の物体領域の画像データに対してヒストグラム特徴を得ることができる。このとき、例えば図６のセルＣについては、斜線部で示した物体領域内の画素からのみ画像特徴が抽出される。

一方、Ｓ５０６の判定の結果、すべてのセル内のすべての画素について選択した場合、すなわち、全てのセルについてヒストグラム特徴を得た場合は、抽出したヒストグラム特徴をセルの数だけ結合して物体領域の画像特徴とする（Ｓ５０７）。なお、本実施形態では、ＨＯＧ特徴量を抽出する例を示したが、他の方法によって画像特徴を抽出してもよい。また、マスクデータを参照して物体領域内の画素から特徴量を抽出するのであれば、ＨＯＧ特徴量以外の、例えば、ＳＩＦＴ（非特許文献６参照）、色ヒストグラム等を抽出するようにしてもよい。

（物体情報学習処理の詳細）
以下、図２のＳ２０８における物体情報の学習処理のうち、画像特徴を学習する処理について説明する。画像特徴抽出部１４０で抽出した複数の特徴量はＳＶＤＤにおける訓練サンプルの集合であり、訓練サンプルをｘ_i（ｉ＝１，・・・，Ｎ：Ｎはサンプル数）とする。ＳＶＤＤでは、以下の（１）式に示す２次計画問題を解いて、訓練サンプルを包含する最小半径の超球を求める。

ここで、Ｒは超球の半径、ａは超球の中心、ξ_iはスラック変数、Φは高次元特徴空間への非線形写像、Ｃは超球の体積と超球の外側のサンプル数とのトレードオフを制御するパラメータである。ラグランジュ乗数α_i≧０を導入すると、（１）式は以下の（２）式を解く問題として表すことができる。

ここで、Ｋ（ｘｉ，ｘｊ）＝（Φ（ｘ_i），Φ（ｘ_j））はカーネル関数である。（２）式を満たす係数α_iのうち、非ゼロの係数に対応するサンプルで球体を表すことができ、ＳＶＤＤではこれらの訓練サンプルをサポートベクター（境界サンプル）として抽出する。このとき、入力サンプルｚの超球の中心からの距離をＲ_zとすると、以下の（３）式が成り立つ。

但し、Ｎ_SVは抽出したサポートベクターの数、Σは抽出したサポートベクターに対する総和を表す。

次に、画像特徴を学習する場合の具体的な処理手順を以下に示す。まず、画像特徴抽出部１４０が抽出した複数のヒストグラム特徴からＨＩＫ（Histogram Intersection Kernel）を計算する。ＨＩＫは以下の（４）式により求める。

ここで、ｘ_il，ｘ_jlは夫々、特徴量ｘ_i，ｘ_jのｌ番目の特徴、ｄは特徴量の次元、min()は小さい方の値を返す関数である。本実施形態ではこのようにＳＶＤＤのカーネル関数としてＨＩＫを用いる。

次に、求めた特徴量同士のＨＩＫの値からＳＶＤＤによって境界サンプルを判別する。すなわち、前記（２）式を満たす係数α_iのうち非ゼロの係数に対応する訓練サンプルをサポートベクター（境界サンプル）として判別する。図２のＳ２０９の物体情報保存処理においては、境界サンプルとして判別した訓練サンプルｘ_i、および、係数α_iを物体情報として物体情報記憶部１７０に保存する。なお、形状特徴を学習する場合には前記訓練サンプルｘ_iに形状特徴を割り当てるものとする。

次に、図７を参照しながら、登録した物体を認識した後に入力画像から物体領域を切り出す際の処理の流れについて説明する。
図７は、本実施形態に係る画像処理装置１０による照合手順の一例を示すフローチャートである。
まず、画像取得部１００は、認識対象を撮像した画像を入力画像として取得する（Ｓ７０１）。そして、領域分割部１１０は画像取得部１００で取得した入力画像を隣接した類似画素からなる複数の小領域に分割する（Ｓ７０２）。Ｓ７０１およびＳ７０２の処理は、それぞれ登録時の処理である図２のＳ２０１、Ｓ２０２に準じる。

次に、領域統合部１２０は、領域分割部１１０で分割した隣接する複数の小領域を統合する（Ｓ７０３）。以下、領域統合部１２０の処理内容について図８を用いて説明する。

図８（ａ）は、領域分割部１１０で入力画像を分割した結果の一例を示す図である。領域統合部１２０では、例えば、図８（ａ）に示す領域Ａ₀に対して隣接する領域Ａ₁を統合して一つの領域Ａ₀₁とする。この他、領域Ａ₀に領域Ａ₂を統合して一つの領域Ａ₀₂としたり、統合した領域Ａ₀₁に領域Ａ₂を統合して一つの領域Ａ₀₁₂としたりするなど、統合する小領域の数、統合後の領域のサイズに限定を設けて様々な組合せで領域を統合する。これらの統合した領域には、図８（ｂ）に示すような、登録時に図４（ｂ）で指定した物体領域に相当する領域も含まれる。

次に、候補領域取得部１３０は、領域分割部１１０で分割した小領域または領域統合部１２０で統合した領域から物体領域の候補となる領域を一つ取得する（Ｓ７０４）。このＳ７０４の処理は、登録時の処理である図２のＳ２０４に準じる。そして、画像特徴抽出部１４０は、候補領域取得部１３０で取得した物体領域から画像特徴を抽出し（Ｓ７０５）、形状特徴抽出部１５０は、候補領域取得部１３０で取得した物体領域の形状特徴を抽出する（Ｓ７０６）。このＳ７０５およびＳ７０６の処理は、それぞれ登録時の処理である図２のＳ２０５、Ｓ２０６に準じる。

次に、物体情報照合部１８０は、画像特徴抽出部１４０で抽出した画像特徴および形状特徴抽出部１５０で抽出した形状特徴を、物体情報記憶部１７０に記憶されている物体情報と照合する（Ｓ７０７）。抽出した画像特徴をｚとし、物体情報記憶部１７０に記憶されている登録画像の画像特徴から得た物体情報ｘ_iおよびα_iを用いて前記（３）式によって左辺の値Ｒ_z ²を得る。同様に、抽出した形状特徴と物体情報記憶部１７０に記憶されている登録画像の形状特徴から得た物体情報とから前記（３）式によって左辺の値Ｒ_z ²を得る。そして、求めた２つの値を夫々画像特徴の照合度Ｓ_g、形状特徴の照合度Ｓ_Sとして、以下の（５）式によって登録物体との照合度Ｓを得る。

但し、ｗ_gおよびｗ_Sは適切な照合結果を得るための重み係数である。

次に、すべての候補領域について照合を終了したか否かを判定する（Ｓ７０８）。この判定の結果、まだ終了していない場合はＳ７０４に戻り、処理を繰り返す。一方、すべての候補領域について照合を終了した場合は、結果統合出力部１９０は、物体情報照合部１８０で照合した複数の結果を統合して出力する（Ｓ７０９）。具体的には、Ｓ７０７で求めた照合度Ｓのうち、所定の値以上かつ最も高い照合度に対応する候補領域を求める。そして、求めた候補領域のマスクデータを利用して物体領域を切り出し、出力する。

以上説明したように本実施形態によれば、登録画像の物体領域から抽出した画像特徴と入力画像の候補領域から抽出した画像特徴との照合を行うようにした。このとき、入力画像を分割した小領域または隣接する小領域を統合した領域を候補領域として複数照合を行うようにした。これにより、入力画像の候補領域の境界が物体境界と一致するときに照合時に背景画像の影響をなくすることができ、精度良く物体を検出することができる。また、候補領域のマスクデータを利用して検出時に物体領域を切り出すことができる。更に、マスクデータから形状特徴を抽出して、画像特徴だけでなく形状特徴も用いて照合できるので高精度に認識を行うことが可能である。また、本実施形態では、動画像から複数の画像データおよび物体領域を入力して物体情報を学習するので高精度に認識することが可能である。

（その他の実施形態）
前述した実施形態では、物体情報を学習する際のカーネル関数としてＨＩＫを用いるようにしたが、その他のカーネル関数、例えばガウシアンカーネルを用いてもよいし、線形カーネルを用いてもよい。また、ＨＩＫや線形カーネルを用いる場合には、学習した物体情報として、そのまま境界サンプルとして判別した訓練サンプルでなく、訓練サンプルを集約した統計量を保存するようにしてもよい。この場合、物体情報照合処理において訓練サンプルごとのカーネル関数の計算（（３）式右辺の第二項）を、統計量を用いての計算に置き換え可能となり、処理量が削減できる。

また、前述した実施形態では物体情報を学習する際に１クラス学習の一つであるＳＶＤＤを用いるようにしたが、ＳＶＭ（Support Vector Machine）のような２クラス判別を行う学習方法を用いてもよい。この場合、登録時に物体領域として入力した領域以外の領域から画像特徴および形状特徴を抽出して学習するようにする。また、入力画像で照合処理を行った結果を用いて物体情報の追加学習を行うようにしてもよい。例えば、物体情報照合部１８０で求めた画像特徴の照合度が所定値以上のものをＳＶＤＤの訓練サンプルに追加して再学習を行う。同様にして形状特徴の照合度が所定値以上のものをＳＶＤＤの訓練サンプルに追加して再学習を行う。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００画像取得部
１１０領域分割部
１３０候補領域取得部
１４０画像特徴抽出部
１８０物体情報照合部
１９０結果統合出力部

Claims

物体を含む画像を取得する画像取得手段と、
前記画像取得手段によって取得された画像を複数の小領域に分割する分割手段と、
前記分割手段によって分割された小領域から、前記物体の領域の候補となる複数の候補領域を取得する候補領域取得手段と、
前記候補領域取得手段によって取得された候補領域から特徴量を抽出する抽出手段と、
前記抽出手段によって抽出された特徴量を、候補領域ごとに予め登録されている物体情報と照合する照合手段と、
前記照合手段による照合結果を出力する出力手段とを備えることを特徴とする画像処理装置。
前記分割手段によって分割された隣接する複数の小領域を統合する統合手段をさらに備え、
前記候補領域取得手段は、前記分割手段によって分割された小領域または前記統合手段によって統合された領域を候補領域とすることを特徴とする請求項１に記載の画像処理装置。
前記画像取得手段によって取得された画像の物体領域を入力する入力手段と、
前記入力手段によって入力された物体領域に基づいて前記物体情報を学習する学習手段とをさらに備え、
前記抽出手段は、前記入力手段によって入力された物体領域から特徴量を抽出し、
前記学習手段は、前記入力された物体領域から抽出された特徴量を用いて前記物体情報を学習することを特徴とする請求項１又は２に記載の画像処理装置。
前記物体情報は、特徴量または該特徴量の統計量を含むことを特徴とする請求項３に記載の画像処理装置。
前記画像取得手段は、動画像から複数の画像を取得し、
前記学習手段は、前記複数の画像を用いて学習することを特徴とする請求項３又は４に記載の画像処理装置。
前記抽出手段は、前記候補領域の画像特徴及び形状特徴を含む特徴量を抽出することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
前記物体情報を記憶する記憶手段をさらに備えることを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
物体を含む画像を取得する画像取得工程と、
前記画像取得工程において取得された画像を複数の小領域に分割する分割工程と、
前記分割工程において分割された小領域から、前記物体の領域の候補となる複数の候補領域を取得する候補領域取得工程と、
前記候補領域取得工程において取得された候補領域から特徴量を抽出する抽出工程と、
前記抽出工程において抽出された特徴量を、候補領域ごとに予め登録されている物体情報と照合する照合工程と、
前記照合工程による照合結果を出力する出力工程とを備えることを特徴とする画像処理方法。
物体を含む画像を取得する画像取得工程と、
前記画像取得工程において取得された画像を複数の小領域に分割する分割工程と、
前記分割工程において分割された小領域から、前記物体の領域の候補となる複数の候補領域を取得する候補領域取得工程と、
前記候補領域取得工程において取得された候補領域から特徴量を抽出する抽出工程と、
前記抽出工程において抽出された特徴量を、候補領域ごとに予め登録されている物体情報と照合する照合工程と、
前記照合工程による照合結果を出力する出力工程とをコンピュータに実行させることを特徴とするプログラム。