JP2016110232A - 対象認識装置、対象認識方法、およびプログラム - Google Patents

Abstract

【課題】より高い認識精度で画像内の主な対象および当該対象の位置を判定することができる対象認識装置、対象認識方法、およびプログラムを提供する。【解決手段】認識対象画像に任意面積の候補領域を複数設定する画像変換部と、前記画像変換部により設定された各候補領域に含まれる画像情報に対して認識処理を行い、前記各候補領域に対象候補ごとの確信度を計算する認識計算部と、前記認識計算部により計算された対象候補ごとの確信度と、前記各候補領域の領域位置とに基づいて対象候補ごとのマップを作成するマップ生成部と、前記マップ生成部により作成された対象候補のマップに基づいて対象の位置を特定する位置算出部と、を有する。【選択図】図１

Description

本発明は、対象認識装置、対象認識方法、およびプログラムに関する。

従来、撮像画像に対して画像認識を行って画像内に含まれる対象を認識する技術がある。この対象認識技術においては、近年、ニューラルネットワークを多層化したディープラーニング技術を利用して高い精度で対象を認識することが行われている。このディープラーニング技術は、一般的にはニューラルネットワークの入力層と出力層との間の中間層において複数段階に亘って層を重ねることにより高い精度で対象を認識する。このディープラーニング技術において、特に、畳み込みニューラルネットワーク（Convoltional Neural Network；CNN)が、従来の画像特徴量に基づいて対象を認識するよりも高い性能を有することで注目されている。

畳み込みニューラルネットワークによれば、ラベルが付与された認識対象画像を学習し、認識対象画像に含まれる主な対象を認識する。このため、畳み込みニューラルネットワークは、学習画像内に主な対象が複数存在する場合には、手動で主な対象が含まれる領域矩形で指定し、当該指定された領域に対応した画像にラベルを付与して学習を行っていた。

この学習処理において、指定された領域に対してラベルを付与する必要があった。その後の学習処理において、指定された領域に対応した画像を畳み込みニューラルネットワークに入力し、畳み込みニューラルネットワークから出力された特徴ベクトルを学習している。
また、従来の対象の認識プロセスは、認識対象画像に対してエッジ抽出処理等を実施することにより局所的な特徴に基づいて候補領域を抽出すると共に、候補領域を畳み込みニューラルネットワークに入力して特徴ベクトルを抽出した上で分類を行い、分類された最も確信度が高い候補領域を認識結果として得ていた。確信度とは、ある画像領域とラベルとともに学習された画像の主体の類似度が、他のクラスの類似度より相対的にどの程度高いかを示す量である。

"Rich feature hierarchies for accurate object detection and semantic segmentation", Tech report, Ross Girshick, Jeff Donahue, Trevor Darrell, Jitendra Malik, UC Berkeley (2014)

しかしながら、従来の畳み込みニューラルネットワークを利用した対象認識技術は、学習画像に複数の対象が存在する場合には自動的に所望する一つの対象に絞り込むことができないため、上述したように画像に含まれる対象が含まれる複数の領域を一つずつ手動により指定する必要があった。

すなわち、従来の畳み込みニューラルネットワークを利用した対象認識技術における学習プロセスは、１つの認識対象画像に対して１つのラベルを付与して学習データを作成する必要があるので、領域指定のための負担が大きい。また、対象の認識精度を高めるための学習プロセスの処理対象となる画像（以下、教師画像）を畳み込みニューラルネットワークの処理専用に作成して記憶させる必要がある。

また、従来の畳み込みニューラルネットワークを利用した対象認識技術における認識プロセスは、認識対象が物体などの輪郭が明確なものが多く、教師画像も物体の輪郭等が明確なものであることが多い。このことから、特定の物体の判断が困難な画像に対しては良好な認識精度を発揮することができなかった。例えば、秋葉原、浅草などの街全体の風景のように、多数の物体が含まれている画像や、特定の物体を判別しにくい画像や、画像内に近距離物体が遠距離物体とが混在している画像や、サイズが大きく異なる物体が混在している画像などを高い認識精度で処理することができなかった。

さらに、従来の畳み込みニューラルネットワークを用いた対象認識技術に限らず、既存の他の対象認識技術においても同様の問題があった。

そこで本発明は、上記の課題に鑑みてなされたものであって、より高い認識精度で画像内の主な対象および当該対象の位置を判定することができる対象認識装置、対象認識方法、およびプログラムを提供することを目的としている。

（１）本発明の一態様は、認識対象画像に任意面積の候補領域を複数設定する画像変換部と、前記画像変換部により設定された各候補領域に含まれる画像情報に対して認識処理を行い、前記各候補領域に対象候補ごとの確信度を計算する認識計算部と、前記認識計算部により計算された対象候補ごとの確信度と、前記各候補領域の領域位置とに基づいて対象候補ごとのマップを作成するマップ生成部と、前記マップ生成部により作成された対象候補のマップに基づいて対象の位置を特定する位置算出部と、を有する対象認識装置である。

（２）本発明の一態様は、上述の対象認識装置であって、前記マップ生成部は、前記認識対象画像の位置ごとに前記対象候補の確信度を統計処理して、統計処理の結果に基づいて対象候補のマップを作成し、前記位置算出部は、前記マップから対象候補を抽出して、抽出した領域を対象の位置として特定する。

（３）本発明の一態様は、上述の対象認識装置であって、前記マップ生成部は、前記画像変換部により設定された複数の候補領域のうち、重複した複数の候補領域についての複数の確信度を統計処理する。

（４）本発明の一態様は、上述の対象認識装置であって、前記画像変換部は、前記認識対象画像の特徴量を抽出し、当該抽出した特徴量に基づいて、前記認識対象画像内に含まれる特徴の大きさに応じた候補領域を設定し、前記認識対象画像に設定された複数の候補領域のうち、所定の領域面積より小さい領域面積の候補領域を削除する。

（５）本発明の一態様は、上述の対象認識装置であって、学習画像に基づいて対象を学習する学習処理部を有し、前記学習処理部は、外部から供給された学習画像の全体を用いて学習結果を生成し、前記認識計算部は、前記画像変換部により設定された候補領域の画像と、前記学習結果とを用いて対象候補の確信度を計算する。

（６）本発明の一態様は、認識対象画像に任意面積の候補領域を複数設定するステップと、前記各候補領域に含まれる画像情報に対して認識処理を行い、前記各候補領域に対象候補ごとの確信度を計算するステップと、前記対象候補ごとの確信度と、前記各候補領域の領域位置とに基づいて対象候補ごとのマップを作成するステップと、前記対象候補のマップに基づいて対象の位置を特定するステップと、を有する、対象認識方法である。

（７）本発明の一態様は、コンピュータに、認識対象画像に任意面積の候補領域を複数設定させ、前記各候補領域に含まれる画像情報に対して認識処理を行い、前記各候補領域に対象候補ごとの確信度を計算させ、前記対象候補ごとの確信度と、前記各候補領域の領域位置とに基づいて対象候補ごとのマップを作成させ、前記対象候補のマップに基づいて対象の位置を特定させるためのプログラムである。

本発明の一態様によれば、より高い認識精度で画像内の主な対象および当該対象の位置を判定することができる。

本発明を適用した実施形態の対象認識装置１の機能的な構成を示すブロック図である。 本発明を適用した実施形態の対象認識装置１の一構成例を示すブロック図である。 タワー状建造物を近距離且つ下方から撮像した学習画像Ｐ１０を示す図である。 建造物を遠距離且つ上方から撮像した学習画像Ｐ１１を示す図である。 建造物を夜間において撮像した学習画像Ｐ１２を示す図である。 本発明の実施形態として示す対象認識装置１における認識処理の手順を示すフローチャートである。 本発明を適用した対象認識装置１に入力される認識対象画像に設定された候補領域と、候補領域ごとの確信度の一例を示す図である。 本発明を適用した対象認識装置１における確信度および面積と候補領域との関係を示す図である。 本発明を適用した対象認識装置１において、マップ生成部１６により作成されたマップを例示した図である。 比較例としての認識対象画像Ｐ１に設定された候補領域の一例を示す図である。 比較例としての認識対象画像Ｐ１に設定された他の候補領域の一例を示す図である。

以下、本発明を適用した対象認識装置、対象認識方法、およびプログラムを、図面を参照して説明する。
まず、本発明を適用した実施形態の対象認識装置１の機能的な説明を行う。
図１は、本発明を適用した実施形態の対象認識装置１の機能的な構成を示すブロック図である。対象認識装置１は、認識対象画像に含まれる対象のうち主たる対象を認識し、認識した対象の属性（名称、種類）および位置を出力するものである。
対象認識装置１は、画像変換部１２と、認識計算部１４と、マップ生成部１６と、位置算出部１８とを有する。

画像変換部１２は、外部から認識対象画像が供給される。画像変換部１２は、任意の手法により認識対象画像に複数の候補領域を設定し、複数の候補領域はおのおの重なっていてもよい。画像変換部１２は、認識対象画像の特徴に基づいて候補領域を設定するものとして説明する。しかし、候補領域の設定手法は、これに限らず、いくつかの大きさの枠をずらしていくなどの手法を採用してもよい。

認識計算部１４は、画像変換部１２により設定された各候補領域に含まれる画像情報に対して認識処理を行う。認識計算部１４は、学習結果データベース１４０に記憶された学習結果を参照して、各候補領域に含まれる画像情報が対象候補に類似するほど確信度を高くする。これにより、認識計算部１４は、各候補領域に対象候補ごとの確信度を計算する。対象候補は、認識対象画像に含まれる物体、風景等の画像を見る者が認識可能なものであり、認識対象画像に含まれる可能性がある候補となる対象である。また、確信度とは、対象候補の確からしさであり、任意の画像とラベルとともに学習された画像の主体の類似度が、他のクラス（対象候補）の類似度より相対的にどの程度高いかを示す量である。
認識計算部１４は、候補領域に含まれる画像について複数の対象候補が計算された場合には、各対象候補について確信度を得る。これにより、認識計算部１４は、各候補領域について、一又は複数の対象候補と、当該各対象候補の確信度を得る。

マップ生成部１６は、クラスＩＤおよび確信度に基づいて、認識対象画像の位置ごとに評価値を算出する。マップ生成部１６は、例えば認識対象画像のピクセルごと、あるいは、いくつかのピクセル集合をひとつの位置として見立てた代表位置ごとに評価値を算出する。マップ生成部１６は、確信度に対して所定の統計処理を実施し評価値を算出する。この評価値は、認識対象画像に含まれる主な対象がクラスＩＤに対応する対象であるという評価が高いほど、高い値となる。
統計処理は、例えば、認識対象画像の位置ごとに、クラスＩＤごとに確信度を合計して評価値を算出する。この統計処理によれば、同じクラスＩＤが算出された候補領域が重複している位置ほど、高い評価値を算出する。
また、統計処理は、候補領域の面積に応じた係数と確信度とを用い、候補領域の面積が大きいほど評価値を高くしてもよい。
さらに統計処理は、クラスＩＤおよび確信度を合計すると共に候補領域の面積に応じた係数を用いて評価値を算出してもよい。この変換処理によれば、同じクラスＩＤが算出された候補領域が重複しており、且つ候補領域の面積が大きいほど、高い評価値を算出する。
なお、統計換処理は、認識対象画像に含まれる主な対象がクラスＩＤに対応する対象であるという評価が高くなる評価値が算出できればよく、その他の処理を行ってもよい。
これにより、マップ生成部１６は、認識対象画像の位置ごとに、クラスＩＤごとの評価値を含むマップを作成することができる。つまり、クラスＩＤに対応した対象が存在する可能性が高いほど高い評価値が分布されたマップを生成する。

位置算出部１８は、マップ生成部１６により作成されたマップを参照して、認識対象画像に主に含まれる対象（クラスＩＤ）の位置を計算する。位置算出部１８は、認識対象画像のうち、クラスＩＤの評価値が高い領域に、クラスＩＤに対応した対象が存在すると判定する。
位置算出部１８は、例えば、評価値が所定の閾値を超えた認識対象画像の領域を抽出し、抽出された領域にクラスＩＤに対応した対象が存在すると判定してもよい。また、位置算出部１８は、マップに対してエッジ抽出処理を実施し、評価値が段階的に高くなったエッジ線に囲まれる領域を抽出し、抽出された領域にクラスＩＤに対応した対象が存在すると判定してもよい。
これにより、位置算出部１８は、クラスＩＤと、当該クラスＩＤに対応した対象の位置情報とを得ることができる。この位置情報は、対象の輪郭位置であってもよく、対象の中心位置であってもよい。

以下、図１に示した対象認識装置１の具体的な構成および動作について説明する。
図２は、本発明を適用した実施形態の対象認識装置１の一構成例を示すブロック図である。対象認識装置１は、例えば携帯型通信端末に実装される。対象認識装置１には、画像処理装置２００および画像表示部３００と接続される。

画像処理装置２００は、画像生成部２０２とＡＲ（Augmented Reality）処理部２０４とを有する。
画像生成部２０２は、対象認識装置１に供給される認識対象画像を生成する。画像生成部２０２は、例えばカメラ装置、外部から画像データを受信する通信部、または画像データを記憶する記憶部により構成される。画像処理装置２００は、認識対象画像に含まれる対象を認識させる場合に、画像生成部２０２により生成された認識対象画像を対象認識装置１に供給する。

ＡＲ処理部２０４は、画像生成部２０２により生成された認識対象画像に対して画像処理を行うことにより、ＡＲ処理を行う。このＡＲ処理とは、認識対象画像により表される環境に情報を付加、削除、強調または減衰させる処理を含む。ＡＲ処理には、例えば、カメラ装置により撮像された認識対象画像に、当該認識対象画像に含まれる対象の説明画像を付加する処理が含まれる。ＡＲ処理部２０４は、認識対象画像に含まれる対象を対象認識装置１に識別させる場合に、画像生成部２０２から対象認識装置１に認識対象画像を出力させる。
本実施形態において、対象認識装置１は、認識対象画像に含まれるランドマーク画像を認識し、ランドマーク画像についての説明を認識対象画像に付加するＡＲ処理を行うものとして説明する。

なお、本実施形態において、対象認識装置１により対象が認識された結果（ランドマーク）を、ＡＲ処理に用いることについて説明するが、対象認識装置１により対象が認識された結果は、他の用途に用いてもよいことは勿論である。
例えば、画像処理装置２００は、ＳＮＳ（social networking service）アプリケーションから出力された要求に応じて、ＳＮＳアプリケーションにより表示させる画像に含まれる対象を対象認識装置１に識別させてもよい。ＳＮＳアプリケーションは、対象認識装置１により対象が認識された結果（クラスＩＤおよび位置）に基づき、認識対象画像に予め設定した対象が含まれる場合に、当該認識対象画像から対象を削除または減衰する、他の情報を付加するといった画像処理を実施する。

対象認識装置１は、画像変換部１２と、認識計算部１４と、マップ生成部１６と、位置算出部１８と、インターフェース部２０と、学習画像蓄積部２２と、学習処理部２４とを有する。
なお、対象認識装置１は、ソフトウェアを実行する制御装置および記憶部を有するコンピュータである。対象認識装置１は、ＣＰＵ（Central Processing Unit）などのプロセッサが記憶部（不図示）に記憶されているプログラムを実行することによって機能するソフトウェア機能部である。また、対象認識装置１は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア機能部であってよい。
また、対象認識装置１における記憶部は、例えば、ＨＤＤ（Hard Disc Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory），ＲＯＭ（Read Only Memory），またはＲＡＭ（Random Access Memory）等により実現される。また、記憶部には、ファームウェアやアプリケーションプログラム等の各種プログラム、各種機能部による処理結果、インターフェース部２０が外部からから取得した情報などが記憶される。

インターフェース部２０は、携帯型通信端末に実装された画像処理装置２００との間で情報を授受すると共に、対象認識装置１における各部との間で情報を授受する。
インターフェース部２０は、画像処理装置２００から認識対象画像が供給されたことに応じて、当該認識対象画像を処理対象として画像変換部１２に出力する。インターフェース部２０は、認識対象画像に対する対象の処理結果としてクラスＩＤおよび位置が位置算出部１８から供給され、当該クラスＩＤおよび位置を画像処理装置２００に出力する。このクラスＩＤおよび位置は、認識対象画像に含まれるランドマーク画像の分類を表す情報である。クラスＩＤとは、認識対象画像に含まれる主な対象を特定するための情報であり、例えば、建造物名、市街地名、風景名等が挙げられる。

学習画像蓄積部２２は、クラスＩＤが付加された学習画像を蓄積する機能を有する。学習画像蓄積部２２は、画像変換部２２０と画像データデータベース２２２とを有する。
学習画像蓄積部２２は、学習素材としての画像を記憶するサーバ装置等（不図示）から学習画像をダウンロードする。学習画像蓄積部２２は、例えば、対象認識装置１において実行されるＡＲ用アプリケーションの命令に従って学習画像をダウンロードする。
この学習画像には、ラベルが付加される。このラベルには、学習画像の属性情報が書き込まれる。属性情報としては、学習画像に含まれるランドマークの分類が含まれる。属性情報は、クラスＩＤとして付加される。
本実施形態において、学習画像蓄積部２２は、ランドマークを含む画像素材を学習画像としてダウンロードする。この学習画像に含まれるランドマーク画像としては、人が見てランドマークであることが認識可能な画像であることが望ましい。また、学習画像におけるランドマーク画像は、画像面積に対して任意の面積であってもよく、画像内位置も任意の位置であってもよい。

画像変換部２２０には、外部から学習処理を行うために用いられる学習画像が供給される。画像変換部２２０は、後段の学習処理の処理方式に合わせて学習画像に前処理を行う。画像変換部２２０は、例えば学習画像の面積変更処理やアスペクト比の調整等を行い、学習処理が実施可能な形式に変換する。画像変換部２２０は、学習画像の全体を用いて学習処理部２４により学習させることが望ましいが、学習画像を分割または領域切り出しして学習を学習処理部２４により行わせてもよい。
画像データデータベース２２２は、外部から供給された変換前の学習画像、および画像変換部２２０により変換された学習画像を蓄積する。画像データデータベース２２２は、画像変換部２２０により変換された学習画像が学習処理部２４において学習処理が実行可能なバッチファイルとして記憶される。また、画像データデータベース２２２は、ラベルにより分類されたランドマークごとに変換前の学習画像および変換後の学習画像を蓄積する。

学習処理部２４は、画像データデータベース２２２に記憶されたラベル（クラスＩＤ)付きの画像に基づいて学習を行う。学習処理部２４により実行される学習処理は、画像データをベクトル等の数値データに変換して行う。この学習処理により得られた学習結果は、認識計算部１４における学習結果データベース１４０に記憶される。
学習処理部２４により得られた学習結果は、認識計算部１４により参照される。

画像変換部１２、認識計算部１４、マップ生成部１６および位置算出部１８は、図１を参照して説明したように動作する。これにより、対象認識装置１は、認識対象画像が供給されたことに応じて、クラスＩＤおよび位置をインターフェース部２０に出力する。

なお、学習処理部２４による学習手法は、畳み込みニューラルネットワークを作成してもよく、その他の機械学習手法（SVM等）でもよく、学習結果データベース１４０には、学習手法に応じた学習結果が記憶される。認識計算部１４は、学習結果データベース１４０に記憶された学習結果に基づいて認識対象画像に含まれる主な対象に対応したクラスＩＤおよび確信度を得ることとなる。

クラスＩＤおよび確信度の算出に畳み込みニューラルネットワークを用いる場合、畳み込みニューラルネットワークは、認識対象画像を任意の個数のクラスに分類するよう学習される。学習処理部２４は、クラスＩＤ：１の学習画像が供給されたことに対し、クラスＩＤ：１の学習結果が得られるように畳み込み層におけるフィルタ係数およびバイアス値が学習される。具体的には、クラスを「海岸」、「秋葉原」、「渋谷」、「東京タワー」、「都庁」に分類して学習した畳み込みニューラルネットワークは、「海岸」、「秋葉原」、「渋谷」、「東京タワー」、「都庁」を主な対象として含む認識対象画像が供給されたことに応じて、「海岸」、「秋葉原」、「渋谷」、「東京タワー」、「都庁」に分類することができる。
また、この学習処理において、畳み込みニューラルネットワークには、学習画像として、例えば図３〜図５に示すようなものが挙げられる。図３に示した学習画像Ｐ１０はタワー状建造物（ランドマーク）を近距離且つ下方から撮像した画像であり、図４に示した学習画像Ｐ１１はタワー状建造物を遠距離且つ上方から撮像した画像であり、図５に示した学習画像Ｐ１２はタワー状建造物を夜間において撮像した画像である。
この学習処理において、対象認識装置１は、特定の物体を抽出して候補領域を切り出すことなく、学習画像の全体について学習処理を実施する。

次に、上述したように構成された対象認識装置１における対象の認識処理について説明する。図６は、本発明の実施形態として示す対象認識装置１における認識処理の手順を示すフローチャートである。

まず、画像変換部１２は、認識対象画像が入力されるまで待機し（ステップＳ２００）、認識対象画像が入力されたことに応じて（ステップＳ２００：ＹＥＳ）、認識対象画像に任意面積の領域を複数設定する（ステップＳ２０２）。このとき、画像変換部１２は、認識対象画像の特徴量を抽出し、当該抽出した特徴量に基づいて、認識対象画像内に含まれる特徴の大きさに応じた任意面積の領域（候補領域）を複数設定する。画像変換部１２は、候補領域毎の画像を認識計算部１４に供給する。

このとき、画像変換部１２は、認識対象画像に設定された複数の候補領域のうち、所定の領域面積より小さい領域面積の候補領域を削除してもよい。この所定の領域面積は、認識対象画像のうち主な対象が含まれる割合が設定されることが望ましい。例えば、認識対象画像のうち画像を見る者が注目するような対象の大きさであればよい。この所定の領域面積は、予め設定されていてもよく、認識対象画像について設定された複数の候補領域の面積に基づいて設定してもよい。

図７は、本発明を適用した対象認識装置１に入力される認識対象画像に設定された候補領域と、候補領域ごとの確信度の一例を示す図である。
図７に示すように、タワー状建造物が略中央位置に大きな画像面積で含まれる候補領域の画像として供給された場合、画像変換部１２は、タワー状建造物Ａを含む複数の候補領域と、タワー状建造物以外の建造物Ｂに設定された複数の候補領域と、建造物Ｃに設定された複数の候補領域とが設定される。
なお、画像変換部１２は、図７に示すように、認識対象画像に含まれる物体について漏れが少なく複数の候補領域を設定できる手法であれば、候補領域を設定する既存の手法のどのような手法であればよい。

認識計算部１４は、画像変換部１２から領域候補を受け取り、学習結果データを用いて、画像変換部１２から渡された領域画像に対して、クラスＩＤおよび確信度を算出する（ステップＳ２０４）。認識計算部１４は、画像変換部１２により設定された全ての候補領域について確信度の計算が完了するまで、次の候補領域の選択（ステップＳ２０８）と、クラスＩＤおよび確信度の計算（ステップＳ２０４）とを繰り返して行う。
認識計算部１４は、全ての候補領域について確信度の計算が完了したことに応じて（ステップＳ２０６：ＹＥＳ）、マップ生成部１６によって認識対象画像の位置毎に評価値を算出して、評価値のマップを生成する（ステップＳ２１０）。そして、位置算出部１８は、マップ生成部１６により生成されたマップに基づいて、認識対象画像に含まれる主な対象を表すクラスＩＤおよび位置をインターフェース部２０に出力する（ステップＳ２１２）。

図７に示す例において、複数の候補領域ごとにクラスＩＤごとの確信度が算出された様子を示す。図８は、本発明を適用した対象認識装置１におけるマップ生成部が評価値を算出する際に用いる候補領域ごとの確信度および面積との関係を例示した図である。図８において、面積は、百万ピクセルを超えた候補領域をカウントしている。タワー状建造物Ａについては、図８（ａ）に示すように、確信度が高く且つ面積が大きい候補領域が多い。建造物Ｂについては、図８（ｂ）に示すように、確信度が高いが、面積が小さい候補領域が多い。建造物Ｃについては、図８（ｃ）に示すように、確信度が小さく、面積が小さい候補領域が多い。
図８に示すような特性を利用し、対象認識装置１は、クラスＩＤごとに認識対象画像の位置の確信度を統計処理し、統計処理した結果得た評価値が高い領域を主な対象が存在する領域であるとしてもよい。

図９は、本発明を適用した対象認識装置１において、認識対象画像Ｐを認識計算部１４により認識し、マップ生成部１６により作成されたマップが表す位置と評価値の関係を説明するために可視化した例を示す図であるこのマップは、クラスＩＤごとのＴａ（タワー型建造物）、Ｔｂ（山）、Ｔｃ、Ｔｅ、Ｔｆについて作成される。この図９が示す例では、クラスＩＤごとのマップは、統計処理の結果が高くなった評価値の位置ほど、高い輝度となるよう作成したものである。なお、マップは、評価値を演算する統計処理の相違により（ａ）〜（ｄ）のように異なるが、図９に示した（ａ）〜（ｄ）のマップのうちいずれを用いて対象の位置を算出してもよい。
位置算出部１８は、それぞれのクラスＩＤのマップに対してエッジ抽出処理を実施し、評価値が段階的に高くなったエッジ線に囲まれる領域を抽出し、抽出された領域にクラスＩＤに対応した対象が存在すると判定してもよい。図９によれば、クラスＩＤがＴａ（タワー型建造物）のマップに対してエッジ抽出処理を実施することにより、認識対象画像の略中央位置に存在するＴａ（タワー型建造物）を抽出することができる。
これにより、対象認識装置１は、タワー型建造物を表すクラスＩＤ（Ｔａ）と抽出したタワー型建造物の位置とを含む処理結果を、インターフェース部２０から出力させることができる。

なお、図８に示した説明では、マップ生成部１６により評価値のマップをクラスＩＤごとに作成したが、認識対象画像に含まれる可能性が低いクラスＩＤについては評価値のマップを作成しなくてもよい。確信度を統計処理して演算された評価値が低い場合には評価値のマップから主な対象が抽出されない可能性が高く、マップ生成部１６は、このような評価値が演算されたクラスＩＤについてはマップを作成しないと判定する。
マップ生成部１６は、マップの作成前に、マップの作成処理よりも少ない計算量で演算が可能な評価指標を演算する。マップ生成部１６は、例えば、候補領域の面積および確信度をパラメータとした評価関数の合計値をクラスＩＤごとに求め、クラスＩＤ間で合計値を比較して、評価値のマップを作成するクラスＩＤと評価値のマップを作成しないクラスＩＤとを決定する。これにより、対象認識装置１は、主な対象の認識精度の低下を抑制しつつ、マップの作成についての処理量を抑制できる。

以上説明したように、本発明を適用した対象認識装置１によれば、認識対象画像内に任意面積の領域を複数設定し、各領域に含まれる対象候補の確信度を演算し、対象候補の確信度と、対象候補の位置とに基づいて対象候補ごとのマップを生成し、マップから対象の位置を特定するので、単に確信度が高い領域に含まれる対象が認識対象画像に含まれる主な対象であるという誤認識を抑制でき、より高い認識精度で認識対象画像内の主な対象を判定することができる。

例えば、多数の建造物が含まれる市街地の風景や、多数の建造物が含まれているが単一のランドマークが含まれる風景が認識対象画像として入力されても、認識対象画像内で明確に含まれている単一の対象が認識対象画像における主な対象であるという分類結果を出力することを抑制できる。より具体的には、本発明を適用した対象認識装置１によれば、象徴的な町並みの市街地の名称を主な対象として認識でき、さらに、広い面積を占めるランドマークを主な対象として認識できる。

図１０は、比較例としての認識対象画像Ｐ１に設定された候補領域の一例を示す。図１１は、比較例としての認識対象画像Ｐ１に設定された他の候補領域の一例を示す。
比較例として、図１０に示した候補領域Ａ１、Ｂ１、Ｃ１の画像を畳み込みニューラルネットワークに入力して得た確信度のみに基づいて、畳み込みニューラルネットワークから出力されたランドマークを分類結果として得ると、認識対象画像Ｐ１について設定した候補領域Ａ１、Ｂ１、Ｃ１のうち、候補領域Ｂ１の確信度が最も高くなる。しかし、認識対象画像Ｐ１に含まれる主な対象は建造物Ｔ１であり、候補領域Ａ１の画像に含まれる。

同様に、比較例として、図１１に示した候補領域Ａ２、Ｂ２、Ｃ２の画像を畳み込みニューラルネットワークに入力して得た確信度のみに基づいて、畳み込みニューラルネットワークから出力されたランドマークを分類結果として得ると、認識対象画像Ｐ２について設定した候補領域Ａ２、Ｂ２、Ｃ２のうち、候補領域Ｂ２の確信度が最も高くなる。しかし、認識対象画像Ｐ２に含まれる主な対象は建造物Ｔ２であり、候補領域Ａ２の画像に含まれる。

このように、比較例のように、認識対象画像に複数の対象が含まれている場合、確信度のみに基づいて認識対象画像に含まれる主な対象を認識すると誤認識が発生する場合がある。
これに対し、本発明を適用した対象認識装置１によれば、候補領域ごとにクラスＩＤおよび確信度を演算し、クラスＩＤごとに確信度を統計処理するので、例えば図１０または図１１に示したように、候補領域のうち面積の広い候補領域に含まれる対象が主な対象として認識できる確率を高めることができる。

さらに、本発明を適用した対象認識装置１によれば、学習処理部２４により、外部から供給された学習画像の全体を用いて学習するので、認識対象画像の全体に含まれる対象を認識するように学習することができ、より高い認識精度で認識対象画像内の主な対象を判定することができる。

すなわち、本発明を適用した対象認識装置１によれば学習処理において正解となる対象を切り出す必要がないので、学習画像のうち正解となる対象が学習画像のどの位置に含まれていようとも、学習画像の全体について学習処理を行うことができ、認識処理において画像全体において主な対象がどのような形態で含まれていても、高い認識精度で認識対象画像内の主な対象を判定することができる。

具体的には、既存の技術のように特定の物体を認識できるように教師データを作成しておいて特徴をマッチングすると、風景（例えば市街地、大通りなどのような、物体の領域が区別されにくい画像や、近景から遠景に亘って見え方が大きく異なる大型の建造物には認識性能が発揮できないが、本発明を適用した対象認識装置１によれば、風景等の画像全体について学習処理を行って、風景等の画像であっても高い認識精度で主な対象を認識できる。

さらに本発明を適用した対象認識装置１によれば、学習処理のために正解となる対象を含む画像を切り出す必要がないので、学習処理の前処理の処理量を抑制でき、例えば、インターネット等において利用されている一般的な画像を学習画像として利用でき、学習処理の効率を高めることができる。また、本発明を適用した対象認識装置１によれば、１つの学習画像について１つのラベルとなるように学習画像を編集する必要がないため、学習処理の前処理のために専用の教師画像を用意する必要が無く、処理量をさらに抑制できる。

さらに、本発明を適用した対象認識装置１によれば、画像変換部１２により設定された複数の領域のうち、重複した複数の領域についての複数の確信度を統計処理するので、高い確信度であって重複した領域が多いほど、認識対象画像に含まれる主な対象であるという誤認識を抑制でき、より高い認識精度で認識対象画像内の主な対象を判定することができる。

さらに、本発明を適用した対象認識装置１によれば、画像変換部１２により設定された複数の領域のうち、重複した複数の領域についての複数の確信度に加えて候補領域の面積に基づいて統計処理するので、高い確信度であって面積が広い候補領域ほど、認識対象画像に含まれる主な対象であるという誤認識を抑制でき、より高い認識精度で認識対象画像内の主な対象を判定することができる。

さらに、本発明を適用した対象認識装置１によれば、認識対象画像に設定された複数の領域のうち、所定の領域面積より小さい領域面積の領域を削除するので、各領域の領域面積に基づいて認識対象画像に含まれる対象を特定することを利用して、処理負荷を少なくしても、高い認識精度で認識対象画像内の主な対象を判定することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

また、上述した対象認識装置１の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disk）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１…対象認識装置、１２…画像変換部、１４…認識計算部、１６…マップ生成部、１８…位置算出部、２０…インターフェース部、２２…学習画像蓄積部、２００…画像処理装置、２０２…画像生成部、２０４…ＡＲ処理部

Claims (7)

1. 認識対象画像に任意面積の候補領域を複数設定する画像変換部と、
   前記画像変換部により設定された各候補領域に含まれる画像情報に対して認識処理を行い、前記各候補領域に対象候補ごとの確信度を計算する認識計算部と、
   前記認識計算部により計算された対象候補ごとの確信度と、前記各候補領域の領域位置とに基づいて対象候補ごとのマップを作成するマップ生成部と、
   前記マップ生成部により作成された対象候補のマップに基づいて対象の位置を特定する位置算出部と、
   を有する、対象認識装置。
2. 前記マップ生成部は、前記認識対象画像の位置ごとに前記対象候補の確信度を統計処理して、統計処理の結果に基づいて対象候補のマップを作成し、
   前記位置算出部は、前記マップから対象候補を抽出して、抽出した領域を対象の位置として特定する、
   請求項１に記載の対象認識装置。
3. 前記マップ生成部は、前記画像変換部により設定された複数の候補領域のうち、重複した複数の候補領域についての複数の確信度を統計処理する、
   請求項２に記載の対象認識装置。
4. 前記画像変換部は、前記認識対象画像の特徴量を抽出し、当該抽出した特徴量に基づいて、前記認識対象画像内に含まれる特徴の大きさに応じた候補領域を設定し、前記認識対象画像に設定された複数の候補領域のうち、所定の領域面積より小さい領域面積の候補領域を削除する、
   請求項１から３のうち何れか１項に記載の対象認識装置。
5. 学習画像に基づいて対象を学習する学習処理部を有し、
   前記学習処理部は、外部から供給された学習画像の全体を用いて学習結果を生成し、
   前記認識計算部は、前記画像変換部により設定された候補領域の画像と、前記学習結果とを用いて対象候補の確信度を計算する、
   請求項１から４のうち何れか１項に記載の対象認識装置。
6. 認識対象画像に任意面積の候補領域を複数設定するステップと、
   前記各候補領域に含まれる画像情報に対して認識処理を行い、前記各候補領域に対象候補ごとの確信度を計算するステップと、
   前記対象候補ごとの確信度と、前記各候補領域の領域位置とに基づいて対象候補ごとのマップを作成するステップと、
   前記対象候補のマップに基づいて対象の位置を特定するステップと、
   を有する、対象認識方法。
7. コンピュータに、
   認識対象画像に任意面積の候補領域を複数設定させ、
   前記各候補領域に含まれる画像情報に対して認識処理を行い、前記各候補領域に対象候補ごとの確信度を計算させ、
   前記対象候補ごとの確信度と、前記各候補領域の領域位置とに基づいて対象候補ごとのマップを作成させ、
   前記対象候補のマップに基づいて対象の位置を特定させる、ためのプログラム。