JP2017146840A - 画像処理装置およびプログラム - Google Patents

Abstract

【課題】認識対象画像から候補領域を切り出して対象物が含まれているか否かを判定する認識処理を高速化する。
【解決手段】学習モデル生成部３１は、学習画像から切り出された識別対象領域の画像を予め定められた一定のサイズに統一した後に画像特徴を抽出して学習モデルを生成する。候補領域決定部３５は、認識対象画像における認識対象の対象物が含まれている可能性のある候補領域の位置及びサイズを決定する。画像サイズ選択部３６は、認識対象画像格納部３４に格納されている複数の画像サイズの認識対象画像の中から、決定された位置及びサイズの候補領域を切り出した場合、切り出した候補領域のサイズが学習モデルを生成の際に識別対象領域の画像を統一したサイズに最も近くなる画像サイズの認識対象画像を選択する。画像特徴抽出部３７は、選択された画像サイズの認識対象画像から候補領域の画像の特徴を示す画像特徴を抽出する。
【選択図】図２

Description

本発明は、画像処理装置およびプログラムに関する。

特許文献１には、画像データから所定の特徴ベクトルを抽出して画像を複数の分類項目に分類し、検索できるようにする際に、画像データから異なる解像度で特徴量を抽出する画像検索装置が開示されている。

特許文献２には、識別対象のコンテンツ（正例コンテンツ）の特徴量と識別対象外のコンテンツ（負例コンテンツ）の特徴量に基づいた学習を行うことにより学習モデルを構築するようにしたコンテンツ識別装置が開示されている。

特許文献３には、対象物を含む複数の学習用画像に対して、当該学習用画像内の対象物の大きさに応じて輪郭部分の階調差が異なるような前処理を行い、前処理された各学習用画像に基づいて、対象物の特徴を示す学習モデルを生成するようにした学習モデル生成装置が開示されている。

特許文献４には、画像を複数の領域に分割して、各領域が人物領域とどの程度重なり合っているのかを判定することにより、高速に画像中の人物を検出できるようにした人物検出装置が開示されている。

特許文献５には、画像の領域特徴及びそれらのスコアを算出し、画像の領域を囲むことで最大のスコアの領域を探索するようにした画像処理装置が開示されている。

特許文献６には、画像をスコアにより閾値処理することで識別対象外のグループを複数作成し、そのグループに対する学習モデルを構築することで画像に対する学習モデルの識別能力を向上させるようにした画像識別装置が開示されている。

非特許文献１には、スライディングウィンドウ形式でテンプレートマッチングを行う手法が開示されている。

非特許文献２には、窓枠を画像全体で走査するのではなく、オブジェクト候補領域を認識処理前に抽出し、その候補領域を認識対象とする手法が提案されている。

特開２００３−２５６４２７号公報 特開２００６−０９９５６５号公報 特開２００９−２８９１８９号公報 特開２０１０−１０２３９６号公報 特開２０１２−１６４２２６号公報 特開２０１４−１３５０１４号公報

P.Felzenszwalb, R.Girshick, D.McAllester, and D.Ramanan, "Object Detection with Discriminatively Trained Part Based Models.", PAMI, 2010. JRR. Uijlings, KEA. Van de Sande, T. Gevers, and AWM. Smeulders, "Selective Search for Object Recognition.", IJCV, 2013.

画像から特定のオブジェクト（対象物）を認識するオブジェクト認識を行う場合、従来は、スライディングウィンドウ形式でのテンプレートマッチングが行われていた。

このテンプレートマッチングとは、認識したいオブジェクトに対応したテンプレートを画像全体にわたって走査して、このテンプレート毎に画像特徴を抽出して、事前に学習した学習モデルを用いることにより認識したいオブジェクトを判定するものであった。認識対象のオブジェクトの種類が顔や人など比較的サイズやアスペクト比に変動がない場合、これらテンプレートの種類が少ない場合でも問題は生じなかった。

しかし、画像内の任意の複数種類のオブジェクトを検出したい場合、各オブジェクトのサイズやアスペクト比は様々であるため、オブジェクトのサイズに応じてテンプレートを拡大・縮小して画像特徴を抽出する必要があり、探索空間が広がることによりオブジェクトの認識に時間がかかる場合があった。

そのため、テンプレートマッチングにより画像全体を走査するのではなく、オブジェクトが存在すると思われる候補領域を画像から複数抽出し、抽出した複数の候補領域を認識対象としてそこから画像特徴を抽出してオブジェクト認識を行う方法が提案されている（非特許文献２参照）。

この方法では、認識対象となる候補領域が例えば１０００程度と限定されるため、スライディングウィンドウ形式でのテンプレートマッチングによりオブジェクト認識を行う場合と比較して、候補領域抽出を高速に行えるのであればオブジェクト認識を高速化することが可能となる。

しかし、候補領域から抽出された画像特徴によりオブジェクトか否かの判定を行うための学習モデルは、予め登録しておく学習画像から対象物が含まれている識別対象領域を切り出して、切り出した識別対象領域のサイズを固定サイズに伸縮し、固定サイズとなった識別領域の画像から抽出される画像特徴を用いて構築されている。

そのため、認識対象画像から切り出された候補領域から画像特徴を抽出する際には、切り出された候補領域の画像サイズを固定サイズに合わせる必要がある。

しかし、切り出された全ての候補領域のサイズを拡大または縮小して一定の固定サイズに合わせてから画像特徴を抽出したのでは、画像処理に要する計算負荷が大きくなり、オブジェクトの認識に時間がかかるという問題が発生する。

本発明の目的は、認識対象画像から抽出された候補領域のサイズを、学習モデルを作成する際の固定サイズに合わせて拡大または縮小処理してから画像特徴を抽出する場合と比較して、対象物の認識処理を高速化することが可能な画像処理装置およびプログラムを提供することである。

［画像処理装置］
請求項１に係る本発明は、認識対象の対象物が含まれているか否かが既知の学習画像から切り出された識別対象領域の画像を予め定められた一定のサイズに統一する統一手段と、
前記統一手段により一定のサイズに統一された後の識別対象領域の画像から抽出された特徴情報に基づいて生成され、画像に対象物が含まれている可能性を判定するための学習モデルを記憶する記憶手段と、
異なる複数の画像サイズに変換された認識対象画像を格納する格納手段と、
認識対象画像における認識対象の対象物が含まれている可能性のある候補領域の位置及びサイズを決定する決定手段と、
前記格納手段に格納されている複数の画像サイズの認識対象画像の中から、前記決定手段により決定された位置及びサイズの候補領域を切り出した場合、切り出した候補領域のサイズが前記学習モデルを生成する際に識別対象領域の画像を統一した一定のサイズに最も近くなる画像サイズの認識対象画像を選択する選択手段と、
前記選択手段により選択された画像サイズの認識対象画像から、前記決定手段により決定された位置及びサイズの候補領域の画像の特徴を示す特徴情報を抽出する抽出手段と、
前記抽出手段により抽出された特徴情報と前記記憶手段に記憶されている学習モデルとを用いて、候補領域の画像に含まれる対象物を判定する判定手段とを備えた画像処理装置である。

請求項２に係る本発明は、前記抽出手段が、前記格納手段に格納されている複数の画像サイズの認識対象画像全体の特徴情報を予め抽出しておき、前記選択手段により選択された画像サイズの認識対象画像全体の特徴情報を用いて、前記切出手段により切り出された候補領域の画像の特徴情報を生成する請求項１記載の画像処理装置である。

請求項３に係る本発明は、認識対象画像を予め異なる複数の画像サイズに変換する変換手段をさらに備え、
前記変換手段は、認識対象画像における候補領域の画像サイズのばらつき度合いに基づいて、前記認識対象画像を変換する複数の画像サイズを決定する請求項１または２記載の画像処理装置である。

請求項４に係る本発明は、前記変換手段が、認識対象画像における候補領域の画像サイズの最大値及び最小値を用いて、前記認識対象画像を変換する複数の画像サイズを決定する請求項３記載の画像処理装置である。

請求項５に係る本発明は、前記変換手段が、認識対象画像における候補領域の画像サイズのうち頻度が高いものが、前記学習モデルを生成する際に識別対象領域の画像を統一した一定のサイズとなるような倍率で前記認識対象画像を拡大又は縮小する請求項３記載の画像処理装置である。

請求項６に係る本発明は、前記変換手段が、学習画像から切り出された識別対象領域の個数を等分するようなものが、前記学習モデルを生成する際に識別対象領域の画像を統一した一定のサイズとなるような倍率で前記認識対象画像を拡大又は縮小する請求項３記載の画像処理装置である。

請求項７に係る本発明は、認識対象の対象物が含まれているか否かが既知の学習画像から切り出された識別対象領域の画像を予め定められた一定のサイズに統一する統一手段と、
前記統一手段により一定のサイズに統一された後の識別対象領域の画像から抽出された特徴情報に基づいて生成され、画像に対象物が含まれている可能性を判定するための学習モデルを記憶する記憶手段と、
異なる複数の画像サイズに変換された認識対象画像を格納する格納手段と、
認識対象画像における認識対象の対象物が含まれている可能性のある候補領域の位置及びサイズを決定する決定手段と、
前記格納手段に格納されている複数の画像サイズの認識対象画像の中から、前記決定手段により決定された位置及びサイズの候補領域を切り出した場合、切り出した候補領域のサイズが前記学習モデルを生成する際に識別対象領域の画像を統一した一定のサイズに最も近くなる画像サイズの認識対象画像を選択する選択手段と、
前記格納手段に格納されている複数の画像サイズの認識対象画像全体の対象物を含む可能性を示す指標を前記記憶手段に記憶されている学習モデルを用いて予め算出しておき、前記選択手段により選択された画像サイズの認識対象画像全体の指標の値を用いて、前記決定手段により決定された位置及びサイズの候補領域の画像の指標の値を算出するする算出手段と、
前記算出手段により算出された指標の値に基づいて、候補領域の画像に含まれる対象物を判定する判定手段とを備えた画像処理装置である。

[プログラム]
請求項８に係る本発明は、認識対象の対象物が含まれているか否かが既知の学習画像から切り出された識別対象領域の画像を予め定められた一定のサイズに統一する統一ステップと、
前記統一ステップにおいて一定のサイズに統一された後の識別対象領域の画像から抽出された特徴情報に基づいて生成され、画像に対象物が含まれている可能性を判定するための学習モデルを記憶する記憶ステップと、
異なる複数の画像サイズに変換された認識対象画像を格納する格納ステップと、
認識対象画像における認識対象の対象物が含まれている可能性のある候補領域の位置及びサイズを決定する決定ステップと、
前記格納ステップにおいて格納された複数の画像サイズの認識対象画像の中から、前記決定ステップにおいて決定された位置及びサイズの候補領域を切り出した場合、切り出した候補領域のサイズが前記学習モデルを生成する際に識別対象領域の画像を統一した一定のサイズに最も近くなる画像サイズの認識対象画像を選択する選択ステップと、
前記選択ステップにおいて選択された画像サイズの認識対象画像から、前記決定ステップにおいて決定された位置及びサイズの候補領域の画像の特徴を示す特徴情報を抽出する抽出ステップと、
前記抽出ステップにおいて抽出された特徴情報と前記記憶ステップにおいて記憶された学習モデルとを用いて、候補領域の画像に含まれる対象物を判定する判定ステップとをコンピュータに実行させるためのプログラムである。

請求項１に係る本発明によれば、認識対象画像から抽出された候補領域のサイズを、学習モデルを作成する際の固定サイズに合わせて拡大または縮小処理してから画像特徴を抽出する場合と比較して、対象物の認識処理を高速化することが可能な画像処理装置を提供することができる。

請求項２に係る本発明によれば、認識対象画像から切り出された候補領域の画像から直接特徴情報を抽出する場合と比較して、特徴情報の抽出処理を高速化することが可能な画像処理装置を提供することができる。

請求項３に係る本発明によれば、認識対象画像から切り出された候補領域の画像サイズが、識別対象領域の画像を統一した一定のサイズと近似することによって高速化を実現することが可能な画像処理装置を提供することができる。

請求項４に係る本発明によれば、認識対象画像から切り出された候補領域の画像サイズが、識別対象領域の画像を統一した一定のサイズと近似することによって高速化を実現することが可能な画像処理装置を提供することができる。

請求項５に係る本発明によれば、認識対象画像から切り出された候補領域の画像サイズが、識別対象領域の画像を統一した一定のサイズと近似することによって高速化を実現することが可能な画像処理装置を提供することができる。

請求項６に係る本発明によれば、認識対象画像から切り出された候補領域の画像サイズが、識別対象領域の画像を統一した一定のサイズと近似することによって高速化を実現することが可能な画像処理装置を提供することができる。

請求項７に係る本発明によれば、認識対象画像から抽出された候補領域のサイズを、学習モデルを作成する際の固定サイズに合わせて拡大または縮小処理してから、その画像が対象物を含む可能性を示す指標を算出する場合と比較して、対象物の認識処理を高速化することが可能なプログラムを提供することができる。

請求項８に係る本発明によれば、認識対象画像から抽出された候補領域のサイズを、学習モデルを作成する際の固定サイズに合わせて拡大または縮小処理してから画像特徴を抽出する場合と比較して、対象物の認識処理を高速化することが可能なプログラムを提供することができる。

本発明の一実施形態の画像処理装置１０のハードウェア構成を示すブロック図である。 本発明の一実施形態の画像処理装置１０の機能構成を示すブロック図である。 学習画像と識別対象領域の一例を示す図である。 学習画像から識別対象領域の画像を切り出す様子を説明するための図である。 学習モデル生成部３１が学習画像の識別対象領域から画像特徴を抽出する処理の流れを説明するためのフローチャートである。 学習モデル生成部３１が、各識別対象領域から抽出された画像特徴に基づいて学習モデルを生成する際の処理を説明するためのフローチャートである。 学習モデル生成部３１により生成される学習モデルの一例を示す図である。 認識対象画像と候補領域の一例を示す図である。 画像サイズ変換部３３により生成された候補領域の短辺長の頻度分布の一例を示す図である。 候補領域の短辺長の頻度分布における最小値、中間値、最大値をそれぞれＹ１、Ｙ２、Ｙ３として取得する様子を説明するための図である。 倍率Ｚ１、Ｚ２、Ｚ３の計算例を説明するための図である。 候補領域の短辺長の頻度分布のグラフから、頻度の高い３つの短辺長をそれぞれＹ１、Ｙ２、Ｙ３として取得する様子を説明するための図である。 候補領域の短辺長の頻度分布のグラフにおける短辺長の数を３等分して、３等分したそれぞれの短辺長の平均値をそれぞれＹ１、Ｙ２、Ｙ３として取得する様子を説明するための図である。 画像サイズ変換部３３が算出された倍率Ｚ１、Ｚ２、Ｚ３を用いて、認識対象画像を拡大または縮小する様子を説明するための図である。 本発明の一実施形態の画像処理装置１０のオブジェクト認識処理の動作を説明するためのフローチャートである。 画像サイズ選択部３６が、候補領域の短辺長が５０に最も近くなる画像サイズを選択する様子を説明するための図である。 （ｗ1、ｈ1）、（ｗ2、ｈ2）で囲まれる矩形の候補領域６０の画像特徴を計算により求める様子を説明するための図である。 左上を（０、０）、右下を（ｗ2、ｈ2）とする矩形の画像特徴ｆ（ｗ2、ｈ2）を計算する様子を説明するための図である。 左上を（０、０）、右下を（ｗ1、ｈ2）とする矩形の画像特徴ｆ（ｗ1、ｈ2）を計算する様子を説明するための図である。 左上を（０、０）、右下を（ｗ2、ｈ1）とする矩形の画像特徴ｆ（ｗ2、ｈ1）を計算する様子を説明するための図である。 左上を（０、０）、右下を（ｗ1、ｈ1）とする矩形の画像特徴ｆ（ｗ1、ｈ1）を計算する様子を説明するための図である。 本発明の一実施形態の画像形成装置１０の変形例である画像処理装置１０ａの機能構成を示すブロック図である。

次に、本発明の実施の形態について図面を参照して詳細に説明する。

図１は本発明の一実施形態の画像処理装置１０のハードウェア構成を示すブロック図である。

本発明の一実施形態の画像処理装置１０は、図１に示されるように、ＣＰＵ１１、メモリ１２、ハードディスクドライブ（ＨＤＤ）等の記憶装置１３、ネットワークを介して外部の装置等との間でデータの送信及び受信を行う通信インタフェース（ＩＦ）１４、タッチパネル又は液晶ディスプレイ並びにキーボードを含むユーザインタフェース（ＵＩ）装置１５を有する。これらの構成要素は、制御バス１６を介して互いに接続されている。

ＣＰＵ１１は、メモリ１２または記憶装置１３に格納された制御プログラムに基づいて所定の処理を実行して、画像処理装置１０の動作を制御する。なお、本実施形態では、ＣＰＵ１１は、メモリ１２または記憶装置１３内に格納された制御プログラムを読み出して実行するものとして説明したが、当該プログラムをＣＤ−ＲＯＭ等の記憶媒体に格納してＣＰＵ１１に提供することも可能である。

図２は、上記の制御プログラムが実行されることにより実現される画像処理装置１０の機能構成を示すブロック図である。

本実施形態の画像処理装置１０は、図２に示されるように、学習モデル生成部３１と、学習モデル記憶部３２と、画像サイズ変換部３３と、認識対象画像格納部３４と、候補領域決定部３５と、画像サイズ選択部３６と、画像特徴抽出部３７と、判定部３８とを備えている。

学習モデル生成部３１は、認識対象のオブジェクト（対象物）が含まれているか否かが既知の学習画像から切り出された識別対象領域（関心領域）の画像を予め定められた一定のサイズに統一する。そして、学習モデル生成部３１は、予め定められた一定のサイズに統一された後の識別対象領域の画像から画像特徴（特徴情報）を抽出して学習モデルを生成する。

この学習画像と識別対象領域の一例を図３に示す。この図３では、学習画像中に、バスや木や人間の画像を囲む識別対象領域５１〜５４が設定されている。なお、学習画像に対して、識別対象領域の位置やサイズを設定し、その識別対象領域の画像が何の画像であるかを示すラベル情報を付与する方法としては、人手によるマニュアル操作による方法が考えられる。

例えば、識別対象領域５１の画像には「バス」というラベル情報が付与され、識別対象領域５２の画像には「木」というラベル情報が付与され、識別対象領域５３、５４の画像には「人」というラベル情報が付与される。

ラベル情報としては、「犬」、「木」、「車」というようなオブジェクト名だけでなく、「かわいい」、「赤い」、「大きい」というような感性表現、「屋外」、「空」、「海」というような風景名が用いられることもある。

また、１つの識別対象領域の画像に対して１つのラベル情報のみが付与される場合だけでなく、１つの画像に対して複数のラベル情報が付与されることもあり得る。

次に、学習モデル生成部３１は、このようにして設定された識別対象領域から切り出された画像を一定のサイズに統一するように拡大または縮小処理を行う。例えば、識別対象領域を矩形とした場合には、学習モデル生成部３１は、図４に示すように、学習画像から切り出された識別対象領域の画像の短辺長（短辺サイズ）が予め定められた長さＸとなるように拡大または縮小処理を行う。この際に、学習モデル生成部３１は、アスペクト比が保持されるよう識別対象領域の画像の拡大または縮小処理を行う。

なお、以下の説明では、学習モデル生成部３１は、学習画像の識別対象領域から切り出された画像の短辺長が５０ピクセル（画素）となるように、画像の拡大または縮小を行うものとして説明する。

そして、学習モデル生成部３１は、このように短辺長が５０ピクセルに統一された識別対象領域の画像から、画像特徴を抽出する。ここで画像特徴としては、局所特徴及び領域特徴を用いることができる。

局所特徴を画像特徴として用いる場合には、識別対象領域ごとに局所特徴のヒストグラムであるＢＯＦ(Bag Of Features)を作成して、これを画像特徴として用いるようにしても良い。また、画像の部分領域から１つの画像特徴を抽出して、その部分領域の中心が識別対象領域内に存在する場合、その画像特徴を選択するようにしても良い（領域特徴）。画像の部分領域とは例えば領域分割によって作成されたSuperpixelや元画像を格子状に分割したものである。このような領域特徴を画像特徴として用いる場合、１つの識別対象領域から抽出される画像特徴の個数は複数となる。

ここで、識別対象領域を統一したサイズであるＸ（＝５０ピクセル）の値は、画像サイズ変換部３３に出力される。

また、画像から抽出される画像特徴の具体的な例としては、画像データから抽出された色情報やエッジ情報、ＳＩＦＴ(Scale-Invariant Feature Transform)と呼ばれる勾配方向のヒストグラム情報等を用いることができる。また、識別対象領域の各画素の平均色値を画像特徴とすることも可能である。

この学習モデル生成部３１が学習画像の識別対象領域から画像特徴を抽出する処理の流れを図５のフローチャートを参照して説明する。

上記でも説明したように、学習モデル生成部３１は、学習モデルを生成する際には、先ず学習画像から切り出された各識別対象領域のサイズを短辺がＸ（例えば５０ピクセル）となるように拡大・縮小する(ステップＳ１０１)。次に、学習モデル生成部３１は、短辺がＸに揃えられた各識別対象領域から、画像特徴を抽出する(ステップＳ１０２)。そして、学習モデル生成部３１は、抽出した画像特徴と、識別対象領域に付与されたラベル情報とを対応付ける（ステップＳ１０３）。

そして、学習モデル生成部３１は、抽出された各識別対象領域の画像特徴及びその識別対象領域に付与されたラベル情報を用いて、画像に対象物が含まれている可能性を判定するための学習モデルを生成する。

学習モデルとしては、ＳＶＭ（Support Vector Machine：サポートベクターマシーン）、Ａｄａｂｏｏｓｔ(Adaptive boosting)、ｋＮＮなどの識別器や、単純ベイズ分類器（Naive Bayes Classifier）等の生成モデルを使用することができる。

学習モデルとして識別器を用いる場合には、画像特徴ｆ（もしくは１つの識別対象領域から複数の画像特徴を抽出する場合には画像特徴群Ｆ）を与えた場合のラベル情報ｃの条件付き確率Ｐ（ｃ｜ｆ）（もしくはＰ（ｆ｜ｃ））を計算することができる。また、学習モデルとして識別器ではなく生成モデル（Ｐ（ｆ｜ｃ））を生成する場合には、ベイズの定理を用いてＰ（ｃ｜ｆ）を求めることができる。

この学習モデルは、画像特徴を入力として、ある認識対象の対象物が画像中に含まれる度合いであるスコアを算出するものである。

例えば、認識対象のオブジェクトが「犬」である学習モデルは、その画像が「犬」の画像を含む確率をスコアとして算出するものである。

次に、学習モデル生成部３１が、各識別対象領域から抽出された画像特徴に基づいて学習モデルを生成する際の処理を図６のフローチャートを参照して説明する。この図６に示したフローチャートは、ＳＶＭを学習モデルとして生成する場合の処理の流れを示すものである。

以下の説明では、様々な認識対象オブジェクトを判定するための複数の学習モデルを生成する場合を用いて説明する。例えば、認識対象の画像中に「犬」の画像が含まれている可能性を判定するための学習モデル、「猫」の画像が含まれている可能性を判定するための学習モデル、「人」の画像が含まれている可能性を判定するための学習モデル等の複数の学習モデルをそれぞれ生成する場合を用いて説明する。

まず、学習モデル生成部３１は、認識対象オブジェクトの種類を示すｉの値を０に設定する（ステップＳ２０１）。例えば、このｉ＝０の場合には、認識対象のオブジェクトが「犬」であるものとして説明する。

そして、学習モデル生成部３１は、ラベル情報ｃ0、つまりラベル情報として「犬」という情報が付与された画像特徴の集合Ｆｃ0を収集する（ステップＳ２０２）。また、学習モデル生成部３１は、ラベル情報ｃ0、つまりラベル情報として「犬」という情報が付与されていない画像特徴の集合Ｇｃ0を収集する（ステップＳ２０３）。

次に、学習モデル生成部３１は、この「犬」というラベル情報が付与された画像特徴の集合Ｆｃ0と「犬」以外のラベル情報が付与された画像特徴の集合Ｇｃ0を分割する境界を有する学習モデルを生成する（ステップＳ２０４）。

そして、学習モデル生成部３１は、生成した学習モデルを学習モデル記憶部３２に記憶させる（ステップＳ２０５）。

そして、学習モデル生成部３１は、認識対象の全ての学習モデルを作成済みであれば処理を終了する（ステップＳ２０６においてｙｅｓ）。しかし、認識対象の全ての学習モデルが作成済みでない場合、例えば「猫」の学習モデルをまだ生成していない場合（ステップＳ２０６においてｎｏ）、学習モデル生成部３１は、ｉに１を加算して（ステップＳ２０７）、ステップＳ２０２〜Ｓ２０６の処理を繰り返す。

このようにして生成される学習モデルの一例を図７に示す。図７では、説明を簡単にするために２つの画像特徴ｆ１、ｆ２により表現された２次元のデータ空間上に、認識対象のオブジェクトが含まれる画像データである正例データと、認識対象のオブジェクトが含まれない画像データである負例データとが存在している。

そして、図７の学習モデル例では、この正例データと負例データとを分割するための境界線が設けられており、判定対象の画像の画像特徴ｆ１、ｆ２の値をこの学習モデルと比較することにより、その判定対象の画像が認識対象のオブジェクトを含む画像であるのか、含まない画像であるかが判定可能となっている。

学習モデル記憶部３２は、学習モデル生成部３１により生成された学習モデルを記憶する。

画像サイズ変換部３３は、ラベル情報がまだ付与されていない認識対象画像を予め異なる複数の画像サイズに変換する。ここで、画像サイズ変換部３３は、認識対象画像を予め設定されている画像サイズとなるよう変換するようにしても良いし、認識対象画像における候補領域の画像サイズのばらつき度合いに基づいて、認識対象画像を変換する複数の画像サイズを自動的に決定するようにしても良い。

ここで、画像サイズ変換部３３は、認識対象画像における候補領域の画像サイズのばらつき度合いに基づいて、認識対象画像を変換する複数の画像サイズを決定する際には、認識対象画像における候補領域の画像サイズの最大値及び最小値を用いて、認識対象画像を変換する複数の画像サイズを決定するようにしても良い。

また、画像サイズ変換部３３は、認識対象画像における候補領域の画像サイズのうち頻度が高いものが、学習モデルを生成する際に識別対象領域の画像を統一した一定のサイズとなるような倍率で認識対象画像を拡大又は縮小するようにしても良い。

また、画像サイズ変換部３３は、学習画像から切り出された識別対象領域の画像の個数を等分するようなものが、学習モデルを生成する際に識別対象領域の画像を統一した一定のサイズとなるような倍率で認識対象画像を拡大又は縮小するようにしても良い。

認識対象画像格納部３４は、異なる複数の画像サイズに変換された認識対象画像を格納する。

ここで、画像サイズ変換部３３において、認識対象画像を予め異なる画像サイズに変換しておく複数の倍率を決定する方法を、図８〜図１４を参照して説明する。

先ず、認識対象画像と候補領域の一例を図８に示す。図８では、電車の画像が含まれる認識対象画像から、数多くの候補領域が抽出された場合が示されている。まず、画像サイズ変換部３３は、このように認識対象画像から抽出された複数の候補領域の短辺長（短辺サイズ）のヒストグラム（頻度分布）を作成する。

このようにして画像サイズ変換部３３により生成された候補領域の短辺長の頻度分布の一例を図９に示す。図９に示すグラフでは、横軸が候補領域の短辺長となり、縦軸がその頻度（個数）となっている。

なお、この候補領域の短辺長の頻度分布を生成する際に、１つの認識対象画像から抽出された候補領域の短辺長だけを用いて頻度分布を生成しても良いし、複数の認識対象画像から抽出された数多くの候補領域の短辺長を用いて頻度分布を生成しても良い。

ここで、画像サイズ変換部３３は、このような短辺長の頻度分布と、学習モデル生成部３１から送信されてきた識別対象領域のサイズを統一した際のＸの値とを用いて、認識対象画像を縮小又は拡大するための倍率を算出する。

なお、以下の説明では、画像サイズ変換部３３は、認識対象画像を３種類の画像サイズの画像に変換する場合を用いて説明する。

例えば、画像サイズ変換部３３は、図１０に示すように、候補領域の短辺長の頻度分布における最小値、中間値、最大値をそれぞれＹ１、Ｙ２、Ｙ３として取得する。ここでは、一例として、Ｙ１＝２５（ピクセル）、Ｙ２＝５０（ピクセル）、Ｙ３＝１００（ピクセル）という値が取得されたものとして説明する。

すると、画像サイズ変換部３３は、認識対象画像を拡大または縮小するための倍率Ｚ１、Ｚ２、Ｚ３を、それぞれＺk＝Ｘ／Ｙk（ｋ＝１〜３）という式により算出する。

ここでは、識別対象領域のサイズを統一した際の短辺長Ｘは５０ピクセルであるため、図１１に示すように、倍率Ｚ１、Ｚ２、Ｚ３は、それぞれ、２．０、１．０、０．５と算出される。

また、画像サイズ変換部３３は、図１２に示すように、候補領域の短辺長の頻度分布のグラフから、頻度の高い３つの短辺長をそれぞれＹ１、Ｙ２、Ｙ３として取得するようにしても良い。

さらに、画像サイズ変換部３３は、図１３に示すように、候補領域の短辺長の頻度分布のグラフにおける短辺長の数を３等分して、３等分したそれぞれの短辺長の平均値をそれぞれＹ１、Ｙ２、Ｙ３として取得するようにしても良い。

そして、画像サイズ変換部３３は、図１４に示すように、上記のような方法で算出した倍率Ｚ１、Ｚ２、Ｚ３を用いて、認識対象画像を拡大または縮小する。

図１４を参照すると、変換前の認識対象画像が６００×３００ピクセルの画像サイズであったものが、画像サイズ変換部３３により画像サイズが変換されて、１２００×６００ピクセル、６００×３００ピクセル、３００×１５０ピクセルの画像となっているのが分かる。

なお、ここでは、Ｚ２がたまたま１．０となっているため、画像サイズ変換処理後でも同じサイズとなっているが１．０以外の倍率であれば、認識対象画像は異なるサイズに変換されることになる。

候補領域決定部３５は、認識対象画像における認識対象の対象物が含まれている可能性のある候補領域の位置及びサイズを決定する。ここで、認識対象画像から候補領域の位置やサイズを決定する方法としては、自動的に決定する方法や人手による操作により決定する方法を用いることも可能である。なお、候補領域の位置やサイズを自動的に決定する方法では、１つの画像から約１０００程度の領域が候補領域として抽出されるのが一般的である（例えば非特許文献２など）。

画像サイズ選択部３６は、認識対象画像格納部３４に格納されている複数の画像サイズの認識対象画像の中から、候補領域決定部３５により決定された位置及びサイズの候補領域を切り出した場合、切り出した候補領域のサイズが学習モデルを生成する際に識別対象領域の画像を統一した一定のサイズ、例えば短辺長がＸ（５０ピクセル）に最も近くなる画像サイズの認識対象画像を選択する。

なお、このように学習モデルを生成した際の識別対象領域の短辺長と、候補領域の短辺長をできるだけ揃えるようにしているのは、学習モデルを生成した際の画像のサイズと認識対象画像のサイズが異なると、認識精度が劣化してしまうからである。

画像特徴抽出部３７は、画像サイズ選択部３６により選択された画像サイズの認識対象画像から、候補領域決定部３５により決定された位置及びサイズの候補領域の画像の特徴を示す画像特徴を抽出する。

また、画像特徴抽出部３７は、認識対象画像格納部３４に格納されている複数の画像サイズの認識対象画像全体の画像特徴を予め抽出しておき、画像サイズ選択部３６により選択された画像サイズの認識対象画像全体の画像特徴を用いて、候補領域の画像特徴を生成する。

判定部３８は、画像特徴抽出部３７により抽出された画像特徴と学習モデル記憶部３２に記憶されている学習モデルとを用いて、候補領域の画像に含まれる対象物を判定する。

次に、本実施形態の画像処理装置１０の動作について図面を参照して詳細に説明する。

図１５は、本実施形態の画像処理装置１０のオブジェクト認識処理の動作を説明するためのフローチャートである。

ここで、図１５に示すフローチャートの処理が実行される前に、画像サイズ変換部３３では、認識対象画像を拡大または縮小するための倍率Ｚ１〜Ｚ３が決定されており、この倍率Ｚ１〜Ｚ３により画像サイズが変換された３種類の認識対象画像が認識対象画像格納部３４に格納されているものとして説明する。なお、画像サイズ変換部３３により画像サイズが変換される前の元の認識対象画像も認識対象画像格納部３４に格納されている。

さらに、画像特徴抽出部３７は、認識対象画像格納部３４に格納されている画像サイズが異なる３種類の認識対象画像全体の画像特徴を予め抽出しているものとする。

そして、このような状態で候補領域決定部３５は、認識対象画像における候補領域を決定する(ステップＳ３０１)。

すると、画像サイズ選択部３６は、決定した候補領域の、オリジナルの認識対象画像における短辺長Ｙを算出する(ステップＳ３０２)。そして、画像サイズ選択部３６は、Ｌk＝Ｙ×Ｚk（ｋ＝１〜３）という演算を行うことにより、画像サイズが変換された後のそれぞれの認識対象画像における候補領域の短辺長を算出する(ステップＳ３０３)。

そして、画像サイズ選択部３６は、識別対象領域のサイズを統一する際に揃えた短辺長５０（ピクセル）との差の絶対値｜Ｘ−Ｌk｜を算出し、この値が最も小さくなる画像サイズを候補領域毎に選択する(ステップＳ３０４)。

具体的には、画像サイズ選択部３６は、図１６に示すように、各画像サイズの認識対象画像における候補領域の短辺長が、５０に最も近くなる画像サイズを選択する。図１６に示した例では、候補領域として家の画像が選択され、２番目のサイズの認識対象画像における候補領域の短辺長が６０であるため、この２番目のサイズの認識対象画像が選択された場合が示されている。

そして、画像特徴抽出部３７は、画像サイズ選択部３６により選択された画像サイズの認識対象画像における候補領域から画像特徴を抽出する(ステップＳ３０５)。

最後に、判定部３８は、学習モデル記憶部３２に記憶されている学習モデルと、画像特徴抽出部３７により抽出された画像特徴とを用いて、各オブジェクトがこの候補領域に含まれるスコア（確率値）を算出し、このスコアに基づいて候補領域に含まれるオブジェクトを判定する(ステップＳ３０５)。そして、この判定部３８における判定結果に基づいて、候補領域に付与するラベル情報を決定する。

このラベル情報を決定する際に、算出されたスコアが最も高かったオブジェクト名をその候補領域のラベル情報として設定してもよいし、予め設定された閾値以上のスコアとなったオブジェクト名の全てをラベル情報とするようにしても良い。逆にすべてのオブジェクトに対するスコアが閾値以下であれば、その候補領域には何のラベル情報も付与しないようにしても良い。各候補領域riでの最大のスコアとなるオブジェクトをciとし、そのスコアをP(ci|ri)と記述した場合、各P(ci|ri)の上位Ｎ個を選び最終的な認識結果としてもよいし、閾値以上のP(ci|ri)のみを選択してもよい。また候補領域に対してラベル情報を付与するのではなく、最終的な認識結果を認識対象画像全体に対して付与する場合には、上述の方法で選択したオブジェクトciを画像全体のラベル情報として設定することにより実現することができる。

なお、画像特徴抽出部３７は、画像サイズ変換部３３により画像サイズが変換された後の３つの認識対象画像の画像全体の画像特徴を予め計算して保持している。ここで、画像特徴抽出部３７では、認識対象画像が矩形領域で、左上を（０、０）、右下を（ｗi、ｈi）とする矩形状の候補領域の画像特徴をｆ（ｗi、ｈi）という関数により算出できるようにして予め画像全体の特徴を算出しているものとする。すると、画像特徴部３７は、候補領域の位置とサイズが指定されれば、その候補領域の画像特徴を再度計算することなく算出することができる。

具体的には、図１７に示すように、認識対象画像がＷ×Ｈピクセルの画像であり、上記のように左上を（０、０）、右下を（ｗi、ｈi）とする矩形状の候補領域の画像特徴を全て予め計算してある場合、（ｗ1、ｈ1）、（ｗ2、ｈ2）で囲まれる矩形の候補領域６０の画像特徴は、ｆ（ｗ2、ｈ2）−ｆ（ｗ1、ｈ2）−ｆ（ｗ2、ｈ1）＋ｆ（ｗ1、ｈ1）により計算することができる。

そのため、画像特徴抽出部３７は、画像サイズ選択部３６により選択された画像サイズの認識対象画像中の候補領域の画像特徴を抽出する際でも、候補領域の画像から画像特徴を算出せずに、予め計算されている認識対象画像全体の画像特徴を用いることにより少ない計算量で候補領域の画像特徴を得ることができる。

このようにして候補領域の画像特徴を計算することできる理由を図１８〜図２１を参照して説明する。

まず、左上を（０、０）、右下を（ｗ2、ｈ2）とする矩形の画像特徴は、図１８に示すようにｆ（ｗ2、ｈ2）により計算される。そして、左上を（０、０）、右下を（ｗ1、ｈ2）とする矩形の画像特徴は、図１９に示すようにｆ（ｗ1、ｈ2）により計算される。そして、左上を（０、０）、右下を（ｗ2、ｈ1）とする矩形の画像特徴は、図２０に示すようにｆ（ｗ2、ｈ1）により計算される。そして、左上を（０、０）、右下を（ｗ1、ｈ1）とする矩形の画像特徴は、図２１に示すようにｆ（ｗ1、ｈ1）により計算される。

そのため、図１７に示すような候補領域６０の画像の画像特徴は、面積を計算するのと同じ方法により、画像特徴ｆ（ｗ2、ｈ2）から画像特徴ｆ（ｗ1、ｈ2）、ｆ（ｗ2、ｈ1）を減算し、画像特徴ｆ（ｗ1、ｈ1）を加算することにより算出することができる。

なお、上記で説明した本実施形態の画像処理装置１０では、認識対象の学習画像から切り出した数多くの識別対象領域の画像サイズを、図４に示したように予め定めたサイズＸになるように拡大・縮小して、拡大・縮小後の画像から特徴量を抽出するのではなく、予め認識対象画像を３種類の画像サイズに変換しておき、この３種類のサイズの画像から画像特徴を算出するようにした点に特徴を有する。

認識対象の学習画像から切り出した数多くの識別対象領域の画像サイズを、予め定めたサイズになるように拡大・縮小してから画像を抽出しようとすると、１つの認識対象画像から例えば１０００の識別対象領域が切り出された場合、この１０００の識別対象領域のそれぞれに対して拡大・縮小倍率を計算して拡大・縮小処理を行い、その後に画像特徴を抽出する必要がある。そのため、このような方法を用いて画像特徴の抽出を行った場合、画像処理に要する計算負荷が大きくなり、オブジェクトの認識に時間がかかるという問題が発生する。

そのため、本実施形態の画像処理装置１０では、予め認識対象画像を３種類の画像サイズに変換しておき、各識別対象領域の画像に対して、この３種類のサイズの画像の中からから１つの画像を選択して、その選択した画像について予め抽出しておいた画像特徴を用いて、識別対象領域の画像の画像特徴を算出するようにしている。

そして、上記でも説明したように、固定サイズの画像全体の画像特徴量を予め抽出しておけば、その固定サイズの画像に含まれる部分画像の画像特徴を算出するのは少ない画像処理負荷ですむ。

そのため、本実施形態の画像処理装置１０によれば、認識対象画像から切り出した識別対象領域の画像ごとに拡大・縮小を行って画像特徴を抽出する場合と比較して、各識別対象領域の画像の画像特徴を少ない画像処理負荷で算出することができる。

[変形例]
上記実施形態では、候補領域から画像特徴を抽出して、抽出された画像特徴に基づいて各オブジェクトに対するスコアを計算して、候補領域に含まれるオブジェクトの判定を行う場合を用いて説明したが、画像特徴として領域特徴を用いる場合、画像特徴を抽出せずに直接スコアの算出を行うような構成とすることも可能である。

このような処理を行う場合の画像処理装置１０ａの機能構成を図２２に示す。

この画像処理装置１０ａは、図２２に示すように、図２に示した画像処理装置１０に対して、画像特徴抽出部３７をスコア算出部４０に置き換え、判定部３８が判定部３８ａに置き換えられた構成となっている。

このような構成におけるスコア算出部４０は、認識対象画像格納部３４に格納されている複数種類の画像サイズの認識対象画像に対して、左上を（０、０）、右下を（Ｗi、Ｈi）とする矩形状の部分領域Ｐiを作成しＰiにその中心が含まれる領域画像特徴群Ｆi（＝ｆ1、ｆ2、・・・、ｆn）及び学習モデルからスコアＳ(Ｆi|ｃi)を計算しておく。ここで、このスコアＳ(Ｆi|ｃi)は下記のような式により計算することができる。

ここで、学習モデルとして生成モデルを採用すればＰ（ｆ｜ｃ）を計算することができ、Ｐ（ｃ）はオブジェクトｃの事前確率を意味するので、上記に示したような式によりスコアＳ(Ｆi|ｃi)の計算が可能である。

そして、予め上述したような計算を行っておくことにより、スコア算出部４０は、画像サイズ選択部３６により選択された画像サイズの認識対象画像の候補領域のスコアを直接計算する。このような構成によれば、候補領域が決定され画像サイズの選択と同時にスコアを計算することができるため、より高速な認識処理が実現できる。そして、判定部３８ａでは、スコア算出部４０により算出された認識対象のオブジェクトのスコアに基づいて、上記で説明したのと同様な方法によりこの候補領域の画像に付与するラベル情報を決定する。

１０、１０ａ 画像処理装置
１１ ＣＰＵ
１２ メモリ
１３ 記憶装置
１４ 通信インタフェース（ＩＦ）
１５ ユーザインタフェース（ＵＩ）装置
１６ 制御バス
３１ 学習モデル生成部
３２ 学習モデル記憶部
３３ 画像サイズ変換部
３４ 認識対象画像格納部
３５ 候補領域決定部
３６ 画像サイズ選択部
３７ 画像特徴抽出部
３８、３８ａ 判定部
３９ スコア算出部
５１〜５４ 識別対象領域

Claims (8)

1. 認識対象の対象物が含まれているか否かが既知の学習画像から切り出された識別対象領域の画像を予め定められた一定のサイズに統一する統一手段と、
   前記統一手段により一定のサイズに統一された後の識別対象領域の画像から抽出された特徴情報に基づいて生成され、画像に対象物が含まれている可能性を判定するための学習モデルを記憶する記憶手段と、
   異なる複数の画像サイズに変換された認識対象画像を格納する格納手段と、
   認識対象画像における認識対象の対象物が含まれている可能性のある候補領域の位置及びサイズを決定する決定手段と、
   前記格納手段に格納されている複数の画像サイズの認識対象画像の中から、前記決定手段により決定された位置及びサイズの候補領域を切り出した場合、切り出した候補領域のサイズが前記学習モデルを生成する際に識別対象領域の画像を統一した一定のサイズに最も近くなる画像サイズの認識対象画像を選択する選択手段と、
   前記選択手段により選択された画像サイズの認識対象画像から、前記決定手段により決定された位置及びサイズの候補領域の画像の特徴を示す特徴情報を抽出する抽出手段と、
   前記抽出手段により抽出された特徴情報と前記記憶手段に記憶されている学習モデルとを用いて、候補領域の画像に含まれる対象物を判定する判定手段と、
   を備えた画像処理装置。
2. 前記抽出手段は、前記格納手段に格納されている複数の画像サイズの認識対象画像全体の特徴情報を予め抽出しておき、前記選択手段により選択された画像サイズの認識対象画像全体の特徴情報を用いて、候補領域の画像の特徴情報を生成する請求項１記載の画像処理装置。
3. 認識対象画像を予め異なる複数の画像サイズに変換する変換手段をさらに備え、
   前記変換手段は、認識対象画像における候補領域の画像サイズのばらつき度合いに基づいて、前記認識対象画像を変換する複数の画像サイズを決定する請求項１または２記載の画像処理装置。
4. 前記変換手段は、認識対象画像における候補領域の画像サイズの最大値及び最小値を用いて、前記認識対象画像を変換する複数の画像サイズを決定する請求項３記載の画像処理装置。
5. 前記変換手段は、認識対象画像における候補領域の画像サイズのうち頻度が高いものが、前記学習モデルを生成する際に識別対象領域の画像を統一した一定のサイズとなるような倍率で前記認識対象画像を拡大又は縮小する請求項３記載の画像処理装置。
6. 前記変換手段は、学習画像から切り出された識別対象領域の個数を等分するようなものが、前記学習モデルを生成する際に識別対象領域の画像を統一した一定のサイズとなるような倍率で前記認識対象画像を拡大又は縮小する請求項３記載の画像処理装置。
7. 認識対象の対象物が含まれているか否かが既知の学習画像から切り出された識別対象領域の画像を予め定められた一定のサイズに統一する統一手段と、
   前記統一手段により一定のサイズに統一された後の識別対象領域の画像から抽出された特徴情報に基づいて生成され、画像に対象物が含まれている可能性を判定するための学習モデルを記憶する記憶手段と、
   異なる複数の画像サイズに変換された認識対象画像を格納する格納手段と、
   認識対象画像における認識対象の対象物が含まれている可能性のある候補領域の位置及びサイズを決定する決定手段と、
   前記格納手段に格納されている複数の画像サイズの認識対象画像の中から、前記決定手段により決定された位置及びサイズの候補領域を切り出した場合、切り出した候補領域のサイズが前記学習モデルを生成する際に識別対象領域の画像を統一した一定のサイズに最も近くなる画像サイズの認識対象画像を選択する選択手段と、
   前記格納手段に格納されている複数の画像サイズの認識対象画像全体の対象物を含む可能性を示す指標を前記記憶手段に記憶されている学習モデルを用いて予め算出しておき、前記選択手段により選択された画像サイズの認識対象画像全体の指標の値を用いて、前記決定手段により決定された位置及びサイズの候補領域の画像の指標の値を算出するする算出手段と、
   前記算出手段により算出された指標の値に基づいて、候補領域の画像に含まれる対象物を判定する判定手段と、
   を備えた画像処理装置。
8. 認識対象の対象物が含まれているか否かが既知の学習画像から切り出された識別対象領域の画像を予め定められた一定のサイズに統一する統一ステップと、
   前記統一ステップにおいて一定のサイズに統一された後の識別対象領域の画像から抽出された特徴情報に基づいて生成され、画像に対象物が含まれている可能性を判定するための学習モデルを記憶する記憶ステップと、
   異なる複数の画像サイズに変換された認識対象画像を格納する格納ステップと、
   認識対象画像における認識対象の対象物が含まれている可能性のある候補領域の位置及びサイズを決定する決定ステップと、
   前記格納ステップにおいて格納された複数の画像サイズの認識対象画像の中から、前記決定ステップにおいて決定された位置及びサイズの候補領域を切り出した場合、切り出した候補領域のサイズが前記学習モデルを生成する際に識別対象領域の画像を統一した一定のサイズに最も近くなる画像サイズの認識対象画像を選択する選択ステップと、
   前記選択ステップにおいて選択された画像サイズの認識対象画像から、前記決定ステップにおいて決定された位置及びサイズの候補領域の画像の特徴を示す特徴情報を抽出する抽出ステップと、
   前記抽出ステップにおいて抽出された特徴情報と前記記憶ステップにおいて記憶された学習モデルとを用いて、候補領域の画像に含まれる対象物を判定する判定ステップとをコンピュータに実行させるためのプログラム。