JP2023132342A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】 ユーザの意図する被写体領域を検出する。【解決手段】 撮像画像を取得し、取得した撮像画像に対する指示を受け付け、撮像画像における物体の存在尤度を表す尤度マップを取得し、撮像画像における物体の位置と大きさを表す領域を推定し、推定した領域のうち受け付けた指示の位置に基づいて選択した一つ以上の物体領域候補と、尤度マップと、を用いて指示に対応する物体領域を決定し、受け付けた指示の位置と尤度マップとに基づいて決定された物体領域を修正する。【選択図】 図６

Description

本発明は、被写体を検出する画像処理技術に関する。

物体検出はコンピュータビジョン研究の分野の一つであり、これまで広く研究されている。コンピュータビジョンはコンピュータに入力された画像を理解し、その画像の様々な特性を認識する技術である。その中で物体検出は、自然画像内に存在する物体の位置と種類を推定するタスクである。非特許文献１では多層ニューラルネットワークを用いることで物体の中心を示す尤度マップを取得し、尤度マップのピーク点を抽出することにより物体の中心位置を検出する。加えて、中心位置に対応するオフセット量と物体サイズを推論することにより、検出対象物体の枠を取得することができる。

物体検出は撮像装置のオートフォーカス機能に応用することが可能である。特許文献１ではユーザの指定座標を受け取り、画像と共に多層ニューラルネットワークに入力することで、ユーザの意図を踏まえた主被写体を検出し、オートフォーカス機能を実現している。特許文献１では多層ニューラルネット内で尤度マップに加え、指定座標から広がる２次元のガウシアンに基づいて位置マップを生成する。さらに、多層ニューラルネット内で位置マップと尤度マップを統合することで、主被写体の検出を行う。指定座標の近くに尤度マップのピークがある場合、統合処理における位置マップの寄与度を高くし、そうでない場合は低くする。特許文献１ではさらに、電子ズーム率や手振れ量などの撮像情報を用い、指定座標から位置マップを生成する際のガウシアンの広がりを調整している。例えば、撮像情報として手振れ量を取得する場合、手振れ量が多いと被写体の座標指示が困難であると考えられるため、位置マップの広がりを大きくする。

特開２０２０－１７３６７８号公報

Ｏｂｊｅｃｔｓ ａｓ Ｐｏｉｎｔｓ， Ｘｉｎｇｙｉ Ｚｈｏｕ ｅｔ ａｌ．， ２０１９

前述の通り、特許文献１にはユーザの意図を踏まえた主被写体の検出方法が示されている。しかしながら、特許文献１では同一カテゴリの被写体が複数存在する場合にユーザの意図通りの被写体にオートフォーカスを合わせることが困難である。例えば、同一カテゴリの被写体が前後に位置していることを考える。この時、後方の被写体は前方の被写体に重なるようにして一部が隠れているとする。このケースにおいてユーザが後方の被写体を指定していたとすると、後方の被写体について特徴が良く抽出できず、位置マップの信頼度が低くなり、後方の被写体を正しく検出できない恐れがある。もしくは、被写体の特徴が良く抽出できる前方の被写体に対する位置マップの信頼度が高くなり、前方の被写体が主被写体となる恐れがある。また、特許文献１では、主被写体の特徴として犬の顔と犬の体がある場合、それぞれについて反応する主被写体検出部を用意する必要がある。主被写体となりうる物体は無数に存在し、それらすべてについて主被写体検出部をあらかじめ用意しておくことは困難である。

上記のように、同一カテゴリの被写体が前後に位置しているケースに非特許文献１を適用し、指定座標から最も近い検出結果を利用することを考える。中心を示す尤度マップを前方の被写体と後方の被写体で分離して推論することは困難であり、前方の被写体に尤度マップのピークが出現してしまう可能性が高い。

本発明は上記の課題に鑑みてなされたものであり、ユーザが意図する被写体領域を検出可能な画像処理装置を提供することを目的とする。また、その方法及びプログラムを提供することを目的とする。

本発明に係る画像処理装置は以下の構成を備える。即ち、撮像画像を取得する画像取得手段と、前記画像取得手段で取得した撮像画像に対する指示を受け付ける指示受付手段と、前記撮像画像における物体の存在尤度を表す尤度マップ取得手段と、前記撮像画像における物体の位置と大きさを表す領域を推定する推定手段と、前記推定した領域から前記指示受付手段で受け付けた指示の位置に基づいて選択した一つ以上の物体領域候補と、前記尤度マップと、を用いて前記指示に対応する物体領域を決定する決定手段と、前記指示受付手段で受け付けた指示の位置と前記尤度マップとに基づいて前記決定手段で決定された物体領域を修正する修正手段とを備える画像処理装置。

以上の構成からなる本発明によれば、ユーザの意図する被写体領域の検出を可能とする画像処理装置を提供することができる。

画像処理装置の概略構成図 実施形態１の処理フロー図 二つの被写体が写る撮像画像とその尤度マップの例 物体領域候補の例 物体領域候補選択の詳細フロー 物体領域候補統合の例 バイリニア補間の例 補間を用いた物体領域候補選択の例 物体領域修正手段の詳細フロー 物体領域修正の例 第二の尤度マップ取得手段を有する画像処理装置の構成図 第二の尤度マップ取得手段を有する画像処理装置の詳細フロー

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
図１に本実施形態に係る画像処理装置の概略構成図を示す。図１を用いて、本実施形態の構成を説明する。なお、ここでは概要のみを説明し、詳細については後述する。

撮像装置１１０は、光学系、撮像素子などを用いて構成され、画像を撮像して、画像取得部１０１に出力する。例えば、ディジタルカメラや監視カメラといった撮像装置を用いることが考えられる。また、撮像装置１１０はユーザからの入力を受け付けるインタフェースを持ち、ユーザからの入力を指示受付部１０４に出力する。例えば、インタフェースとしてタッチディスプレイを搭載し、ユーザからのタッチ操作結果を指示受付部１０４に出力することが考えられる。

画像処理装置１００は、画像取得部１０１、尤度マップ取得部１０２、推定部１０３、指示受付部１０４、物体領域候補選択部１０５、物体領域候補統合部１０６を備える。画像取得部１０１は、撮影装置１１０からの画像を受け付ける。画像は尤度マップ取得部１０２及び推定部１０３に入力され、それぞれ尤度マップと物体領域候補を取得する。指示受付部１０４は、撮像装置１１０からユーザ指示を取得する。具体的にはユーザがタッチ操作により入力した指示座標を１点取得する。物体領域候補選択部１０５は、尤度マップと指示座標に基づいて、物体領域候補の中から、統合処理対象の一つ以上の物体領域候補を選択する。物体領域候補統合部１０６は、選択された物体領域候補を統合し、物体領域を一つ取得する。画像処理装置１００内の機能構成の一部（例えば、尤度マップ取得部１０２，推定部１０３、物体領域候補選択部１０５、物体領域候補統合部１０６）をネットワーク上の画像処理装置が備える画像処理システムとすることもできる。また、画像処理装置１００は、付図示のＣＰＵ、ＲＯＭ，ＲＡＭ、各種インターフェースなどのハードウェアで構成されている。

結果出力部１２０は物体領域を出力し、出力された物体領域は例えば、カメラのオートフォーカス機能に応用される。例えば、物体領域の中から測距点をいくつかサンプリングし、位相差ＡＦに用いることができる。ユーザが意図する物体領域を精度よく検出できると、オートフォーカス精度も良くなる。

図２に本実施形態の画像処理装置１００における処理のフローチャートを示す。以下、フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。なお、ここでは概要のみを説明し、詳細については後述する。

Ｓ２００で撮像装置１１０が撮影を開始する。Ｓ２０１では画像処理装置１００の画像取得部１０１が、撮影された画像を所定の解像度に変換する。変換された画像に基づいて、Ｓ２０２で尤度マップ取得部１０２が尤度マップを、Ｓ２０３で推定部１０３が物体領域候補を取得する。Ｓ２０４では指示受付部１０４がユーザからの座標の指示を受け付け、Ｓ２０５で指示の有無を判定し、指示がなかった場合はＳ２１０に進み物体領域なしと出力される。指示があった場合、Ｓ２０６に進む。Ｓ２０６では受け付けた指示座標をＳ２０１で変換した解像度に対応するように変換する。変換された指示座標に基づいてＳ２０７にて物体領域候補選択部１０５が物体領域候補を選択する。Ｓ２０７の詳細フローは図５を用いて後述する。Ｓ２０７の結果、物体領域候補が選択されているか否かをＳ２０８で判定する。選択されていない場合、Ｓ２１０に進み物体領域なしと出力される。選択されている場合、Ｓ２０９にて物体領域候補統合部１０６が選択された一つ以上の物体領域候補を統合し、Ｓ２１０で結果出力部１２０が一つの物体領域を出力する。図２では、Ｓ２０７～Ｓ２０９を個々に分けて説明したが、Ｓ２０７～Ｓ２０９は、物体領域を決定する一連のステップである。

＜画像変換＞
図２のＳ２０１に示される画像変換について説明する。本実施形態ではまずＳ２００にて撮影を開始し、撮像画像を取得する。撮像画像は、例えば、幅６０００ピクセル、高さ４０００ピクセルのＲＧＢ画像とする。Ｓ２０１では撮像画像を所定のサイズに変換し、尤度マップや物体領域候補を取得する多層ニューラルネットワークの入力形式に合わせる。本実施形態において、それら多層ニューラルネットワークの入力サイズは幅５００ピクセル、高さ４００ピクセルのＲＧＢ画像とする。本実施形態では撮像画像の左右５００ピクセルを切り取り、１０分の１に縮小するが、撮像画像の上下に４００ピクセルの黒画像をパディングし、１２分の１に縮小してもよいし、撮像画像から幅５００ピクセル高さ４００ピクセルの領域を直接切り取ってもよい。変換された画像は、原点を左上隅の画素に持ち、その座標を（０，０）とする。座標（ｉ，ｊ）はｊ行ｉ列の座標を示し、右下隅の画素は座標（４９９，３９９）となる。以降、変換された画像の座標系を画像座標系と呼ぶ。

＜尤度マップの取得＞
図１の１０２及び図２のＳ２０２に示される尤度マップの取得について図３を用いて説明する。本実施形態では、非特許文献１のように、尤度マップを多層ニューラルネットワークにより取得する。多層ニューラルネットワークの入力は解像度変換された画像であり、幅５００ピクセル、高さ４００ピクセル、３チャネルのＲＧＢ画像である。多層ニューラルネットワークの出力は列数１０、行数８、１チャネルのテンソル（行列）である。取得されたテンソル（行列）を尤度マップと呼ぶ。尤度マップ（の１チャネル目）は、原点を左上隅の画素に持ち、その座標を（０，０）とする。座標（ｉ，ｊ）はｊ行ｉ列の座標を示し、右下隅の画素は座標（９，７）となる。以降、尤度マップの座標系をマップ座標系と呼ぶ。尤度マップを画像処理装置１００内の演算により取得することもできるし、画像処理装置１００の外部で尤度マップを算出し、画像処理装置１００内の尤度マップ取得部１０２でその尤度マップを取得することもできる。

尤度マップを取得する多層ニューラルネットワークは、多数の学習データ（画像と尤度マップの組）を用いてあらかじめ学習しておく。詳細は非特許文献１を参照されたい。本実施形態において尤度マップは、あらゆる物体に対して反応する顕著性マップを仮定するが、特定の物体のみに反応するものでもよい。顕著性マップ（Ｓａｌｉｅｎｃｙ ｍａｐ）とは、人が注視しやすい部分に反応するマップである。

図３（ａ）に画像変換された撮像画像の例を、図３（ｂ）にそれに対応する尤度マップの例を示す。画像変換された撮像画像３００には、後方の被写体３０１と前方の被写体３０２の二つの被写体が写っている。尤度マップの各要素はその要素に対応する箇所の物体の存在尤度を示す。存在尤度は０から２５５までの値をとり、値が大きいほど存在尤度が高いことを示す。図３（ｂ）の各要素は尤度が低いほど白く、尤度が高くなるにつれて黒く示している。尤度マップ３０４は、特に前方の被写体３０２に対する尤度が高く取得されており、（６，４）で最大尤度２０４をとる。

＜物体領域候補の取得＞
図１の１０３及び図２のＳ２０３に示される物体領域候補の推定について図４を用いて説明する。物体領域候補についても尤度マップと同様に、多層ニューラルネットワークを用いて取得する。多層ニューラルネットワークの入力は尤度マップの取得と同様に、解像度変換された画像であり、幅５００ピクセル、高さ４００ピクセル、３チャネルのＲＧＢ画像である。多層ニューラルネットワークの出力は列数１０、行数８、４チャネルのテンソルである。テンソルの１チャネル目は当該要素から物体中心へのｘ方向のオフセット量、２チャネル目は同様にｙ方向のオフセット量を示す。テンソルの３チャネル目は当該要素が示す物体の幅を、４チャネル目は同様に高さを示す。以上４チャネルの情報から、物体の中心位置と物体のサイズが取得できる。このテンソルを物体領域候補テンソルと呼ぶ。本実施形態では、物体領域候補テンソルの各チャネルは尤度マップと同じ行数と列数を持ち、それらの座標系もマップ座標系となる。物体領域候補テンソルの各チャネルの列数と行数は尤度マップと異なってもよく、異なる場合は補間（例えばバイリニア補間）により行数と列数を一致させてもよい。物体領域候補を画像処理装置１００内の演算で取得することもできるし、画像処理装置１００の外部で物体領域候補を算出し、画像処理装置１００内の推定部１０３でその物体領域候補を取得することもできる。

物体領域候補テンソルを取得する多層ニューラルネットワークは、尤度マップの取得と同様に、多数の学習データ（画像とオフセット量及び幅高さの組）を用いてあらかじめ学習しておく。本実施形態では４チャネルの情報を同時に出力する多層ニューラルネットワークを用いたが、１チャネルずつ出力する多層ニューラルネットワークを４つ用意し、その結果を結合してもよい。

図４（ａ）に画像変換された撮像画像の例を示す。図４（ｂ）から（ｄ）はそれぞれ、物体中心へのｘ方向のオフセット量マップ、物体中心へのｙ方向のオフセット量マップ、物体の幅マップ、物体の高さマップを示す。図４（ｂ）から（ｄ）に示される要素の数値は単位をピクセルとする。ｘ方向オフセット量は右方向を正とし、ｙ方向オフセット量は下方向を正とする。

ここで、図３（ｂ）において尤度が最大となった座標（６，４）に注目する。図４（ｂ）から（ｄ）の白黒反転している要素が注目箇所である。図４（ａ）において、点４０１に示される点がこの注目箇所に対応する画像上の箇所である。注目箇所におけるｘ方向オフセット量が－３で、ｙ方向オフセット量が－２である。つまり、物体中心を注目箇所である点４０１から左上方向、点４０２の箇所であると取得している。

以下の式１でマップ座標を画像座標に変換することができる。

ここで、Ｉ_ｗ、Ｉ_ｈはそれぞれ画像変換された撮像画像の幅と高さを表し、Ｍ_ｗ、Ｍ_ｈはそれぞれマップの幅と高さを表す。（Ｉ_ｘ，Ｉ_ｙ）は画像座標系の点を、（Ｍ_ｘ，Ｍ_ｙ）はマップ座標系の点を表す。式１によれば、マップ座標の点（６，４）は画像座標に変換すると（３２５，２２５）である。即ち、図４の点４０１の画像座標が（３２５，２２５）であり、これにオフセット量を加算した結果の（３２２，２２２）が点４０２の画像座標である。

また、注目箇所における物体の幅と高さは、図４（ｄ）及び（ｅ）よりそれぞれ１６６と３４８である。以上より、注目箇所における物体領域候補４００は画像座標系において、（３２２，２２２）を中心とし、幅１６６、高さ３４８の矩形で表現される。

本実施形態では物体領域候補を上下左右のオフセット量と物体の幅高さとしたが、例えば左右端及び上下端への距離としてもよい。

＜物体領域候補選択＞
図１の１０５及び図２のＳ２０７に示される物体領域候補の選択について図５の詳細フロー図を用いて説明する。まず準備ステップＳ５００にて各変数を初期化する。変数はそれぞれ、ｎ及びｍがカウンタ、Ｎが選択する物体領域候補の数、Ｔが尤度の閾値、Ｄが距離の閾値、Ｌ_ｉｊが尤度、Ｓ_ｉｊが物体領域候補、（Ｐ_ｘ，Ｐ_ｙ）が指示受付部で取得した座標（指示座標）の座標である。指示座標（Ｐ_ｘ，Ｐ_ｙ）は画像座標系で与えられた指示座標を式１に基づいてマップ座標系に変換したものであり、２次元の実数ベクトルである。Ｓ５０１ですべてのマップ座標の中から指示座標（Ｐ_ｘ，Ｐ_ｙ）にｍ番目に近いマップ座標（ｕ，ｖ）を選択する。（ｕ，ｖ）は２次元の正の整数ベクトルである。Ｓ５０２で（ｕ，ｖ）が存在し、且つ（Ｐ_ｘ，Ｐ_ｙ）と（ｕ，ｖ）の距離を取得し、距離が閾値Ｄ以下なら次のステップＳ５０３に進み、そうでなければ処理を終了する。本実施形態では距離関数としてユークリッド距離（式２）を用いるが、他の距離関数を用いてもよい。

Ｓ５０３でマップ座標（ｕ，ｖ）に対応する尤度マップＬ_ｕｖを抽出する。Ｓ５０４でＬ_ｕｖと尤度の閾値Ｔを比較し、Ｌ_ｕｖがＴ以上であれば次のステップＳ５０５に進む。Ｌ_ｕｖがＴ未満の場合、物体領域候補に選ばないように、Ｓ５０８に進みｍを１加算してＳ５０１に戻る。Ｓ５０５でマップ座標（ｕ，ｖ）に対応する物体領域候補Ｓ_ｕｖを抽出する。Ｓ５０６で現在の尤度と物体領域候補をそれぞれＬ_ｎ、Ｓ_ｎとして保存する。Ｓ５０７でｎとＮを比較し、ｎがＮ以上ならば処理を終了する。ｎがＮ未満の場合、Ｓ５０８でｎを、Ｓ５０９でｍを１加算し、Ｓ５０１に戻る。本実施形態では所定の数Ｎの物体領域候補を選択したが、選択する物体領域候補の個数の決定方法はこれに限らない。例えば、尤度Ｌ_ｎの合計が所定の値以上になるように物体領域候補を選択してもよい。

＜物体領域候補統合＞
図１の１０６及び図２のＳ２０９に示される物体領域候補の統合について図６を用いて説明する。なお、本実施形態ではユーザが後方被写体３０１を選択する場合を想定するが、前方被写体３０２を選択する場合でも指示座標のみ異なり同様の処理となる。ユーザが後方被写体３０１を選択したい場合、ユーザは図６（ａ）のように後方の被写体３０１に対応する箇所６００を指示する。指示座標は画像座標系の（２３５，２４５）であり、式１によりマップ座標系に変換すると（４．２，４．４）である。前述の物体領域候補選択処理を行うと、６０１に示される斜線部分、即ちマップ座標系で最も近い（４，４）、２番目に近い（４，５）、３番目に近い（５，４）に対応する箇所が選択される。従って尤度Ｌ_１、Ｌ_２、Ｌ_３にはそれぞれＬ_４４、Ｌ_４５、Ｌ_５４が、物体領域候補Ｓ_１、Ｓ_２、Ｓ_３にはそれぞれＳ_４４、Ｓ_４５、Ｓ_５４が代入される。領域６０２、６０３、６０４はそれぞれＳ_４４、Ｓ_４５、Ｓ_５４に対応する物体領域候補を図示したものである。図６（ｂ）の６０５から６０９はそれぞれ６０１に対応する尤度、ｘオフセット量、ｙオフセット量、幅、高さを表す。図６（ｃ）に物体領域候補統合の結果を示す。６１０は統合された物体領域候補の中心位置であり、６１１はそれに幅及び高さを付け加えた物体領域候補である。

物体領域候補統合について、具体的な計算例を用いて説明する。まず、画像座標系における物体領域候補の中心位置を計算する。図６（ｂ）より、物体領域候補Ｓ_４４のｘオフセット量は－１、ｙオフセット量は－４１である。式１より、マップ座標の（４，４）に対応する画像座標は（２２５，２２５）である。これに物体領域候補Ｓ_４４（６０２）のオフセット量を加算し、画像座標系における物体領域候補の中心位置（２２４，１８４）を取得する。同様にＳ_４５（６０３）の中心位置（２２４，１７２）、Ｓ_５４（６０４）の中心位置（２７６，２２３）を取得することができる。物体領域候補の統合には尤度の加重平均を用いる。尤度の加重平均は以下の式３を用いて計算することができる。

ｘ_ｎは加重平均をとる対象の値であり、ｘは加重平均をとった結果である。例えば、統合された物体領域の中心位置のｘ座標を求める場合、Ｓ_ｎに対応する物体領域候補の中心位置のｘ座標をｘ_ｎに代入すればよい。同様にして中心位置のｙ座標、幅、高さを式３に代入すると、統合された物体領域の中心位置、幅、高さを求めることができる。

尤度Ｌ_ｎの初期値に０を代入しておくことで、距離閾値Ｄの範囲内で尤度閾値Ｔを超える物体領域候補が所定個数Ｎに満たない場合も、式３を用いて統合された物体領域を取得することができる。また、すべての尤度Ｌ_ｎが０である場合、物体領域なしとする。

以上の実施形態をまとめる。まず撮像画像に対し、尤度マップ取得と物体領域候補取得ができるように画像変換を施す。尤度マップ取得と物体領域候補取得は多層ニューラルネットワークにより実現される。物体領域候補選択部により、指示受付部で取得したユーザの指示座標の近傍に位置する物体領域候補が三つ選択される。選択された物体領域候補は、物体領域候補統合部により尤度を重みとした加重平均が計算され、単一の物体領域に統合される。結果として、図３のように尤度マップが前方の被写体に強く反応している場合においても、図６（ｃ）のようにユーザの意図通りである後方の被写体に対する物体領域６１１が出力される。

＜変形例１＞
実施形態１では物体領域候補を統合する際に、尤度マップの値を用いたが、指示受付部で取得した座標（指示座標）と物体領域候補との距離を用いてもよい。変形例１では、指示座標と物体領域候補との距離が短いほど、物体領域候補を統合する際の加重平均に用いる重みを大きくする。具体的には以下に示す式４にあるように、指示座標（Ｐ_ｘ，Ｐ_ｙ）と物体領域候補との距離の逆数を用いて加重平均の重みを算出する。

ここで（ｕ，ｖ）_ｎは尤度Ｌ_ｎに対応するマップ座標である。距離の計算には式２で使用したマップ座標系におけるユークリッド距離を用いる。式３の尤度Ｌ_ｎの代わりに式４で求めた重みＷ_ｎを用いて加重平均を計算することで、指定位置からの距離を考慮した物体領域候補の統合が可能になる。

以上の説明では物体領域候補を統合するステップにおいて、加重平均の重みを再計算したが、指示座標からの距離を考慮した尤度マップをあらかじめ算出しておいてもよい。指示座標からの距離を考慮した尤度マップを修正尤度マップと呼ぶ。修正尤度マップＫ_ｉｊは以下の式５で算出される。

式５では尤度マップＬ_ｉｊのすべての要素について、指示座標と該要素との距離で除算する計算を施し、修正尤度マップＫ_ｉｊに代入している。

変形例１によれば指定座標により近い物体領域候補をより重視して物体領域候補の統合をすることができる。

＜変形例２＞
変形例２では、尤度マップ及び物体領域候補テンソルの各チャネルを補間することにより、物体領域候補の選択方法を拡張する例を示す。

まず、図７を用いて補間について説明する。図７は図４（ｄ）に示す物体領域候補の幅マップ（前述の物体領域候補テンソルの３チャネル目）の一部を抜粋したものである。ここでは、マップ座標（４，４）から（５，５）について抜粋した幅マップ７００において、座標７０１が与えられた場合にバイリニア補間を適用する例を示す。補間手法はバイリニア補間に限定されず、最近傍補間やバイキュービック補間に代表される他の補間手法を用いてもよい。また、マップ座標（４，４）から（５，５）以外の範囲についても同様にして補間処理を適用することができる。図７の幅マップ７００の各要素に示される（）内の値はマップ座標を示し、コロンの右に示される値は当該座標における物体領域候補の幅を示す。

図７に示すように、点７０１と各マップ座標とのｘ方向及びｙ方向への距離をそれぞれｘ_１、ｘ_２、ｙ_１、ｙ_２とする。例えば、点７０１のマップ座標が（４．２，４．４）であれば、ｘ_１＝０．２、ｘ_２＝０．８、ｙ_１＝０．４、ｙ_２＝０．６となる。バイリニア補間は、点７０１と各マップ座標とのｘ方向及びｙ方向への距離を用いて以下の式６のように実現される。

Ｓ_ｉｊは補間対象のマップ座標（ｉ，ｊ）における値であり、Ｓは補間結果である。図７の例でＳ_ｉｊはマップ座標（ｉ，ｊ）における物体領域候補の幅である。物体領域候補の高さについても同様の計算をすることによって補間値を算出することができる。物体候補領域へのオフセット量を補間する際には、あらかじめ物体領域候補の中心位置に変換する必要がある。オフセット量を中心位置へ変換する方法については実施形態１の＜物体領域候補統合＞を参照されたい。また、尤度マップについても同様の手順により補間値を算出することができる。

補間を用いることで、あらゆる座標位置についての尤度及び物体領域候補が取得可能になる。ここでは、補間を用いた物体領域候補の選択について図８を用いて説明する。撮像画像８００が与えられ、ユーザが被写体８０２を選択したい場合、指定座標８０１が与えられることを考える。８０１を中心に広がる異なる半径を持つ複数の同心円（例えば８０３）を考える。それぞれの同心円を所定の数で分割した点（例えば８０４）を近傍点群と呼ぶ。本実施形態において物体領域候補選択部は、指定座標８０１と近傍点群において物体領域候補を補間した値を選択する。ただし、マップ座標の範囲外に位置する近傍点群の点は選択しない。

同心円の数をＮｒ、同心円同士の半径の差をｄｒ、同心円同士の分割数の差をｄｑとする。これらの値はあらかじめ設定しておく。例えば、図８ではＮｒ＝３、ｄｒ＝０．５、ｄｑ＝４と設定されている。指定座標８０１からｎｒ番目の同心円を考えると、その半径ｒ_ｎｒは式７、分割数ｑ_ｎｒは式８から算出される。

式７及び式８において、ｎｒ＝０は指定座標８０１を示し、その時の半径ｒ_０＝０とし、分割数ｑ_０＝１とする。図８の８０３は中心から３番目の同心円であり、半径はｒ_３＝３、分割数はｑ_３＝１２である。

指定座標８０１及び近傍点群における物体の尤度は、尤度マップを補間することによって取得される。ここで、近傍点を表すインデックスを定義する。ｎｒ番目の同心円上の近傍点群を考える。上方向に位置する近傍点を０番目とし、時計回りに番号を付ける。ｑ番目に位置する近傍点のインデックスを（ｎｒ，ｑ）とする。０番目の近傍点の一つ左に位置する近傍点のインデックスは（ｎｒ，ｑ_ｎｒ－１）となる。図８の８０４はインデックス（３，３）で表現される。

上記のインデックスを用いて式３を変形することで、本実施形態における物体領域候補の尤度による加重平均を算出することができる（式９）。

ここで、Ｌ_{（ｎｒ，ｑ）}はインデックス（ｎｒ，ｑ）で表現される近傍点における尤度の補間値である。ｘ_{（ｎｒ，ｑ）}はインデックス（ｎｒ，ｑ）で表現される近傍点における加重平均をとる対象の値であり、ｘは加重平均をとった結果である。例えば、統合された物体領域の中心位置のｘ座標を求める場合、インデックス（ｎｒ，ｑ）で表現される近傍点に対応する物体領域候補の中心位置のｘ座標の補間値をｘ_{（ｎｒ，ｑ）}に代入すればよい。同様にして中心位置のｙ座標、幅、高さを式３に代入すると、統合された物体領域の中心位置、幅、高さを求めることができる。

同心円の半径ｒ_ｎｒを用いることで、変形例１に示すように指示座標と物体領域候補との距離を考慮することができる。

ｒ_ｎｒは式７に示されるｎｒ番目の同心円の半径である。式９のＬ_{（ｎｒ，ｑ）}を式１０のＷ_{（ｎｒ，ｑ）}に置き換えることで、指示座標と物体領域候補との距離を考慮した物体領域候補の統合が可能になる。

撮像装置に搭載される回路の制限により、多層ニューラルネットワークを軽量にせざるを得ない場合、その出力であるマップ座標の解像度が低くなる。マップ座標の解像度が低いと、指示座標近傍のマップ座標を選択した場合でも、指示座標とマップ座標のずれが大きくなる。変形例２では尤度マップと物体領域候補テンソルの各チャネルを補間することにより、マップ座標の解像度に依存しない物体領域候補の統合を実現することができる。

＜変形例３＞
実施形態１の物体領域候補統合Ｓ２０９で決定される物体領域の位置は、物体領域候補選択によって決定された物体候補領域の位置から計算される。しかし、尤度マップの精度によっては、物体領域候補統合Ｓ２０９によって得られる物体領域が、ユーザが意図した物体の領域とは異なる可能性がある。

変形例３では、実施形態１の物体領域候補統合Ｓ２０９の結果として得られる物体領域を、指示受付部で取得した座標（指示座標）や尤度マップの値に基づいて修正する。

具体的な修正方法について図１０を用いて説明する。

まず、物体領域に関する尤度のみを取得し、修正する手法について説明する。

物体領域候補統合Ｓ２０９によって得られた物体領域１００１の存在尤度を表す物体領域尤度を取得する。物体領域１００１の画像座標系における中心に相当する位置１００２（Ｃ_ｘ，Ｃ_ｙ）と、尤度マップの各点（Ｍ_ｘ，Ｍ_ｙ）を画像座標系に変換した点１００３（Ｉ_ｘ，Ｉ_ｙ）のユークリッド距離を式２と同様の距離関数を用いて計算する。そして（Ｃ_ｘ，Ｃ_ｙ）とのユークリッド距離が小さい一つ以上の点に対応する尤度マップの値を用いて物体領域尤度を取得する。物体領域尤度取得方法は例えばユークリッド距離が最も近い点に対応する尤度マップの値でもよいし、ユークリッド距離が近い複数点に対応する尤度マップの値の平均でもよい。こうして得られた物体領域尤度が一定の値以下である場合は、物体の存在確率が低いと推定された物体領域であると考えられる。したがって、ユーザが指示座標１００４によって指示した位置とは異なる中心位置１００２をもつ物体領域１００１を推定している可能性がある。物体領域の中心位置１００２を指示座標１００４方向へ移動させることによって、直接的にユーザの意図した領域へと修正することができる可能性が高い。物体領域を指示座標方向へ移動させる方法としては、物体領域の中心位置１００２を、指示座標１００４と入れ替える方法が考えらえる。中心位置に合わせて物体領域もシフトする。その他にも物体領域尤度Ｌ_оに応じて、移動量を決定する方法も考えられる。その一例として、尤度マップで出力される最大の値Ｌ_ｍａｘと前記物体領域尤度Ｌ_о、物体領域の中心位置１００２から指定座標へのベクトルＤ１００７を用いて、物体領域の中心位置からの移動ベクトルＶ１００８の各成分Ｖ_ｘ、Ｖ_ｙを式１１、式１２で求める。ベクトルＶ１００８を物体領域の中心位置１００２に適用することによって物体領域の位置を修正することができる。

また、指示座標付近の尤度マップの値に応じて物体領域を修正する方法も考えられる。まず、指示座標付近に関する物体尤度（指示座標物体尤度）を取得する（Ｓ９０２）。指示座標１００４（Ｓ_ｘ，Ｓ_ｙ）と画像座標系に変換した尤度マップの各点１００３（Ｉ_ｘ，Ｉ_ｙ）について、ユークリッド距離を計算し、指示座標１００４に近い一つ以上の尤度マップ点（Ｉ_ｘ，Ｉ_ｙ）から、指示座標付近に関する指示座標物体尤度を取得する。指示座標物体尤度の取得は例えば、最も近い１点に対応する尤度マップの値でもよいし、指示座標の最近傍Ｎ点に対応する尤度マップ値の平均でもよい。これによって取得された指示座標物体尤度が高い場合、指定座標付近に物体が存在する確率が高く推定されていると言える。物体領域の中心位置１００２を前記の物体領域尤度に基づいた修正と同様に、指示座標方向へ移動させることでユーザが意図した位置に近い物体領域へと修正することができる。

他にも、物体領域尤度と指示座標物体尤度の両方を取得し、その２つを用いた修正方法も考えられる。図９のフロー図及び図１０にしたがって、物体領域尤度と指示座標物体尤度両方を用いた修正方法の流れを説明する。

まず、物体領域尤度と指示座標物体尤度を比較し（Ｓ９０３）、指示座標物体尤度が物体領域尤度よりも高い場合に、物体領域候補統合Ｓ２０９によって得られる物体領域の位置１００２と指示座標１００４に基づいて修正処理を行う（Ｓ９０４）。一方、指示座標物体尤度が物体領域尤度以下の場合、物体領域統合によって得られた物体領域をそのまま出力する（Ｓ９０５）。

修正する方法を図１０の例で説明する。物体領域が矩形１００１であるとき、矩形の幅_、矩形の高さを物体のサイズとし、推定された矩形の中心１００２（Ｃ_ｘ，Ｃ_ｙ）を指示座標１００４（Ｓ_ｘ，Ｓ_ｙ）と入れ替えた新たな物体領域１００５を、修正した物体領域として出力（Ｓ９０５）する。他にも、物体領域１００１の物体領域尤度と指示座標１００４における指示座標物体尤度の値に応じて、より物体が存在すると推定された方向へと物体領域を移動させる方法も考えられる。指示座標１００４から物体領域の中心位置１００２へのベクトルをＤ１００７とし、指示座標物体尤度をＬ_ｓ、前記物体領域尤度をＬ_оとする。式１４及び式１５を用いて、それぞれの尤度に応じて物体領域を移動させるためのベクトルＶの各成分Ｖ_ｘ、Ｖ_ｙを求める。そうして得られたベクトルＶを物体領域の中心位置１００２に適用した位置を、新たな物体領域の中心位置とすることで、より尤度の高い方向へと物体領域１００１を修正することもできる。

変形例３に記載の物体領域修正部を用いることで、実施形態１に記載の物体領域統合Ｓ２０９が出力する物体領域よりも、ユーザが意図した物体により近い物体領域へと修正することができる。

限られた計算資源を用いて尤度マップ推定部を実現する場合は、尤度マップ及び物体領域候補の精度が限定的になり、図１０における物体領域１００１のように物体の位置を捉えられていない可能性がある。指示座標１００４が物体の位置を正確に示している場合でも、出力する物体領域がユーザの意図しない物体領域として推定される場合がある。こういった場合に、変形例３では指示座標１００４と尤度マップを用いてユーザが意図した被写体１００６をより正確にとらえた物体領域１００５へと修正することができる。

＜変形例４＞
上記実施形態の画像処理装置では、一つの尤度マップ取得部を用いて、撮像画像中に含まれる物体の尤度を取得していた。そのため、尤度マップ取得部の精度が前記物体領域候補統合部で得られる物体領域の精度へ直接的に影響する。さらに物体領域の精度を上げるために、本実施形態では第二の尤度マップ取得部を導入する。

本実施形態の画像処理装置における構成を図１１で説明する。

画像処理装置１１００は、実施形態１と同様の構成を含み、第二の尤度マップ取得部１１０１及び物体領域修正部１１０２を備える。画像取得部１０１及び指示受付部１０４によって得られた撮像画像および指示座標に基づいて物体領域候補統合部１０６が物体領域を一つ取得するまでの構成は実施形態１と同様である。画像取得部１０１で取得した撮像画像を第二の尤度マップ取得部１１０１が受け取り、第二の尤度マップを出力する。物体領域修正部１１０２は物体領域、指示座標、尤度マップ、第二の尤度マップを受け取り、一つの物体領域修正結果を結果出力部１２０によって出力する。

次に、具体的な処理の流れを図１２のフロー図を用いて説明する。

まず、撮影開始Ｓ２００から尤度マップ取得Ｓ２０２までは実施形態１と同様の処理である。次に第二の尤度マップ取得Ｓ１２０１で第二の尤度マップを取得する。第二の尤度マップ取得Ｓ１２０１は実施形態１の尤度マップと異なる尤度マップの出力を行う。例えば、色ヒストグラムやエッジ密度を用いた、尤度マップ取得部でもよいし、実施形態１と異なる学習方法で学習した多層ニューラルネットワークを用いた尤度マップ取得部でもよい。第二の尤度マップ取得Ｓ１２０１に続いて物体領域候補取得Ｓ２０３から、物体領域候補統合Ｓ２０９までは実施例１と同様の流れである。物体領域候補統合Ｓ２０９によって統合された一つの物体領域に対して、指示座標、尤度マップ取得Ｓ２０２で得られた尤度マップと、第二の尤度マップ取得部によって得られた第二の尤度マップに基づいて修正を行う。

修正の方法は例えば、まず指示座標及び尤度マップ取得Ｓ２０２で得られた尤度マップを用いて変形例３に記載の物体修正部と同様の処理で物体領域を修正するためのベクトルＶ１００７を取得する。次に第二の尤度マップの各点を画像座標系に変換した点と、指示座標を画像座標系に変換した点についての距離を取得し、その点が最も近い第二の尤度マップ座標に対応する第二の尤度マップ値を第二の指示座標物体尤度Ｌｓ_２とする。また、前記物体領域の中心に相当する位置（Ｃ_ｘ，Ｃ_ｙ）と第二の尤度マップの各点を画像座標系に変換した点の距離が近い一つ以上の点に対応する第二の尤度マップ値を用いて第二の物体領域尤度Ｌｏ_２を取得する。第二の物体領域尤度取得方法は最も（Ｃ_ｘ，Ｃ_ｙ）に近い第二の尤度マップ値でもよいし、（Ｃ_ｘ，Ｃ_ｙ）までの距離が近い複数点に対応する第二の尤度マップ値の平均でもよい。

こうして得られた第二の物体領域尤度Ｌｏ_２、第二の指定座標物体尤度Ｌｓ_２、物体領域の中心位置から指示座標へのベクトルＤ１００７を用いて、以下の式１６、１７で物体領域の位置を修正するための第二のベクトルＷの各成分を求める。

こうして得られた変形例３にけるベクトルＶと第二のベクトルＷの平均ベクトルを、物体候補統合部によって出力された物体領域の中心位置に適用することで修正する方法が考えられる。

本実施形態５の物体領域修正部で修正された一つの物体領域を、結果出力Ｓ２１０によって出力する。

上記実施形態での尤度マップ取得部の他に、第二の尤度マップ取得部を用いることで、出力される物体領域をより尤もらしい物体領域を出力することができる。

第二の尤度マップ取得部が色ヒストグラムやエッジ密度から尤度マップを取得することで、上記実施形態の出力する物体領域の妥当性を、尤度マップ取得部とは異なる手法で判断することができる。他にも第二の尤度マップ取得部を、実施形態１の尤度マップ取得部とは異なる学習データで学習した多層ニューラルネットワークとすることで、物体領域の精度を補うこともできる。例えば、第二の尤度マップ取得部を特定の誤検出しやすい物体に反応するように学習し、その情報に基づいて物体領域修正部で修正する方法も考えられる。これによって、物体領域修正を行う際に参照する尤度マップの信頼度を多角的に考慮しながら修正を行うことが可能となる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００ 画像処理装置
１０１ 画像取得部
１０２ 尤度マップ取得部
１０３ 推定部
１０４ 指示受付部
１０５ 物体領域候補選択部
１０６ 物体領域候補統合部
１１０ 撮像装置
１２０ 結果出力部

Claims (8)

1. 撮像画像を取得する画像取得手段と
   前記画像取得手段で取得した撮像画像に対する指示を受け付ける指示受付手段と
   前記撮像画像における物体の存在尤度を表す尤度マップ取得手段と
   前記撮像画像における物体の位置と大きさを表す領域を推定する推定手段と
   前記推定した領域から前記指示受付手段で受け付けた指示の位置に基づいて選択した一つ以上の物体領域候補と、前記尤度マップと、を用いて前記指示に対応する物体領域を決定する決定手段と
   前記指示受付手段で受け付けた指示の位置と前記尤度マップとに基づいて前記決定手段で決定された物体領域を修正する修正手段と
   を有することを特徴とする画像処理装置。
2. 前記補正手段は、前記尤度マップにおける前記決定手段で決定した物体領域の尤度より前記指示の位置の尤度のほうが高い場合に、前記決定手段で決定した物体領域の中心位置を尤度がより高くなる位置にずらした物体領域に修正することを特徴とする請求項１に記載の画像処理装置。
3. 前記尤度マップを取得した方法とは異なる方法で第二の尤度マップを取得する第二の尤度マップ取得手段を更に備え、
   前記修正手段は、前記指示受付手段で受け付けた指示の位置と前記尤度マップと前記第二の尤度マップとに基づいて前記決定手段で決定された物体領域を修正することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第二の尤度マップ取得手段は、色ヒストグラムまたはエッジ密度を用いて前記第二の尤度マップを取得することを特徴とする請求項３に記載の画像処理装置。
5. 前記第二の尤度マップ取得手段は、ニューラルネットワークを用いて前記第二の尤度マップを取得することを特徴とする請求項３に記載の画像処理装置。
6. 撮像画像を取得する画像取得手段と
   前記画像取得手段で取得した撮像画像に対する指示を受け付ける指示受付手段と
   前記撮像画像における物体の存在尤度を表す尤度マップ取得手段と、
   前記撮像画像における物体の位置と大きさを表す領域を推定する推定手段と、
   前記推定した領域から前記指示受付手段で受け付けた指示の位置に基づいて選択した一つ以上の物体領域候補と、前記尤度マップと、を用いて前記指示に対応する物体領域を決定する決定手段と、
   前記指示受付手段で受け付けた指示の位置と前記尤度マップとに基づいて前記決定手段で決定された物体領域を修正する修正手段とを有することを特徴とする画像処理システム。
7. 撮像画像を取得する画像取得工程と
   前記画像取得手段で取得した撮像画像に対する指示を受け付ける指示受付工程と
   前記撮像画像における物体の存在尤度を表す尤度マップ取得工程と、
   前記撮像画像における物体の位置と大きさを表す領域を推定する推定工程と、
   前記推定した領域から前記指示受付手段で受け付けた指示の位置に基づいて選択した一つ以上の物体領域候補と、前記尤度マップと、を用いて前記指示に対応する物体領域を決定する決定工程と、
   前記指示受付手段で受け付けた指示の位置と前記尤度マップとに基づいて前記決定手段で決定された物体領域を修正する修正工程とを有することを特徴とする画像処理システム。
8. コンピュータを、
   撮像画像を取得する画像取得手段と
   前記画像取得手段で取得した撮像画像に対する指示を受け付ける指示受付手段と
   前記撮像画像における物体の存在尤度を表す尤度マップ取得手段と、
   前記撮像画像における物体の位置と大きさを表す領域を推定する推定手段と、
   前記推定した領域から前記指示受付手段で受け付けた指示の位置に基づいて選択した一つ以上の物体領域候補と、前記尤度マップと、を用いて前記指示に対応する物体領域を決定する決定手段と、
   前記指示受付手段で受け付けた指示の位置と前記尤度マップとに基づいて前記決定手段で決定された物体領域を修正する修正手段として機能させるためのプログラム。

Images