JP2021009493A

JP2021009493A - 画像処理装置、画像処理装置の制御方法及びプログラム

Info

Publication number: JP2021009493A
Application number: JP2019122098A
Authority: JP
Inventors: 矢野　光太郎; Kotaro Yano; 光太郎矢野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-06-28
Filing date: 2019-06-28
Publication date: 2021-01-28
Anticipated expiration: 2039-06-28
Also published as: JP7386630B2

Abstract

【課題】アライメント等の前処理を必要とすることなく、精度良くオブジェクト画像の照合を行う。【解決手段】撮影装置により撮影された画像からオブジェクトの照合を行う画像処理装置であって、画像から畳み込みニューラルネットワークによって、画像の特徴点が検出された位置が示された複数の特徴マップを算出する特徴マップ算出部と、複数の特徴マップから画像中のオブジェクトの特徴点位置を推定する推定部と、特徴点位置を用いて複数の特徴マップの部分領域を抽出し、該部分領域を所定サイズに正規化する正規化処理部と、正規化された特徴マップからオブジェクトの特徴を抽出する抽出部と、抽出された特徴と予め記憶されている特徴とを照合する照合部とを備える。【選択図】図１

Description

本発明は、画像処理装置、画像処理装置の制御方法及びプログラムに関する。

近年、カメラで所定のエリアを撮影して、撮影した映像を解析することによって映像中から特定の人物を検索するシステムが提案されている。このようなシステムでは、予めシステムに登録されている顔画像を用いて公共の空間に設置された監視カメラから人物を検索することで不審人物の早期発見への活用が期待されている。人物の検索には登録人物と映像中の人物の顔画像を照合する顔認識技術が用いられる。

顔認識技術においては、登録および入力顔画像の夫々から顔の特徴を表す特徴量を抽出して、抽出した特徴量の類似度から同一人物か否かを判定する。このような顔認識技術は、近年、ディープラーニング技術の導入により、人の認識精度を超えるものも報告されている。非特許文献１では、事前に画像から検出し、アライメントを行った顔画像をニューラルネットワークで抽出した顔特徴量で照合を行っている。

Taigmanら. Deepface: closing the gap to human-level performance in face verification. in 2014 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Girshick. Fast R-CNN. in 2015 IEEE International Conference on Computer Vision(ICCV)

しかしながら、従来技術では、予め顔画像から目、口等の特徴点を検出してアライメントを行う必要がある。従って、アライメントの精度が低いと、抽出する特徴量がずれてしまい、顔の照合精度が低下するといった課題がある。

本発明は、上記の課題に鑑みてなされたものであり、アライメント等の前処理を必要とすることなく、精度良く顔画像等のオブジェクト画像の照合を行うための技術を提供することを目的とする。

上記の目的を達成する本発明に係る画像処理装置は、
撮影装置により撮影された画像からオブジェクトの照合を行う画像処理装置であって、
前記画像から畳み込みニューラルネットワークによって、画像の特徴点が検出された位置が示された複数の特徴マップを算出する特徴マップ算出手段と、
前記複数の特徴マップから前記画像中の前記オブジェクトの特徴点位置を推定する推定手段と、
前記特徴点位置を用いて前記複数の特徴マップの部分領域を抽出し、該部分領域を所定サイズに正規化する正規化処理手段と、
前記正規化された特徴マップから前記オブジェクトの特徴を抽出する抽出手段と、
前記抽出された特徴と予め記憶されている特徴とを照合する照合手段と、
を備えることを特徴とする。

本発明によれば、アライメント等の前処理を必要とすることなく、精度良くオブジェクト画像の照合を行うことが可能となる。

本発明の一実施形態に係る画像処理装置の機能構成の一例を示す図。本発明の一実施形態に係る画像処理装置が実施する顔画像照合処理の手順を示すフローチャート。本発明の一実施形態に係る畳み込みニューラルネットワークの例を示す図。本発明の一実施形態に係る顔特徴点の例を示す図。本発明の一実施形態に係る、顔画像を入力とした場合に畳み込みニューラルネットワークが出力する３つの特徴マップの例を示す図。本発明の一実施形態に係る画像処理装置が実施する顔画像登録処理の手順を示すフローチャート。本発明の一実施形態に係る画像処理装置のハードウェア構成の一例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜画像処理装置のハードウェア構成＞
図７は、本実施形態に係る画像処理装置のハードウェア構成の一例を示す図である。図７において、画像処理装置２００は、演算処理装置１、記憶装置２、入力装置３、及び出力装置４を含んで構成される。なお、各装置は、互いに通信可能に構成され、バス等により接続されている。

演算処理装置１は、画像処理装置２００の動作を制御し、記憶装置２に格納されたプログラムの実行等を行い、ＣＰＵ（Central Processing Unit）およびＧＰＵ（Graphics Processing Unit）で構成される。記憶装置２は、磁気記憶装置、半導体メモリ等のストレージデバイスであり、演算処理装置１の動作に基づき読み込まれたプログラム、長時間記憶しなくてはならないデータ等を記憶する。本実施形態では、演算処理装置１が、記憶装置２に格納されたプログラムの手順に従って処理を行うことによって、画像処理装置２００における機能及び後述するフローチャートに係る処理が実現される。記憶装置２は、また、画像処理装置２００が処理対象とする画像および処理結果を記憶する。

入力装置３は、マウス、キーボード、タッチパネルデバイス、ボタン等であり、各種の指示を入力する。入力装置３は、また、カメラ等の撮像装置を含みうる。出力装置４は、液晶パネル、外部モニタ等であり、各種の情報を出力する。

なお、画像処理装置２００のハードウェア構成は、上述した構成に限られるものではない。例えば、画像処理装置２００は、各種の装置間で通信を行うためのＩ／Ｏ装置を備えてもよい。例えば、Ｉ／Ｏ装置は、メモリーカード、ＵＳＢケーブル等の入出力部、有線、無線等による送受信部である。

＜画像処理装置の機能構成＞
図１は、本発明の実施形態に係る画像処理装置の機能構成を示す図である。図１に示すように、画像処理装置２００は、カメラ（撮影装置）１００と接続されている。画像処理装置２００は、パラメータ取得部２０１、画像取得部２０２、画像変倍部２０３、特徴マップ算出部２０４及び特徴マップ記憶部２０５を備えている。また、画像処理装置２００は、顔特徴点位置推定部２０６、正規化処理部２０７、顔特徴抽出部２０８、顔特徴記憶部２０９、顔サイズ算出部２１０、顔特徴選択部２１１、顔特徴照合部２１２、および、不図示の入力部と表示部をさらに備えている。なお、画像処理装置２００がカメラ１００を含む構成であってもよい。

パラメータ取得部２０１は、カメラ１００の撮影パラメータを取得する。画像取得部２０２は、カメラ１００で撮影した画像データを取得する。画像変倍部２０３は、画像取得部２０２で取得した画像データを所定サイズの画像に変倍する。変倍する画像サイズはパラメータ取得部２０１で取得した撮影パラメータに基づいて設定する。

特徴マップ算出部２０４は、画像変倍部２０３を介して取得した画像データを畳み込みニューラルネットワークに入力して処理を行うことによって複数の特徴マップを算出する。特徴マップ記憶部２０５は、特徴マップ算出部２０４の処理結果を記憶する。顔特徴点位置推定部２０６は、特徴マップ算出部２０４で求めた複数の特徴マップから画像中の人物の顔特徴点位置を推定する。正規化処理部２０７は、特徴マップ記憶部２０５に記憶された特徴マップから顔特徴点位置推定部２０６で求めた顔特徴点位置を用いて部分領域を切り出し、所定サイズの特徴マップに正規化する。顔特徴抽出部２０８は、正規化処理部２０７が出力する特徴マップから人物の顔特徴を抽出する。顔特徴記憶部２０９は、顔特徴抽出部２０８で求めた処理結果を記憶する。

顔サイズ算出部２１０は、顔特徴点位置推定部２０６で求めた顔特徴点位置から顔の大きさを算出する。顔特徴選択部２１１は、顔特徴記憶部２０９に記憶された顔特徴から顔サイズ算出部２１０で求めた顔の大きさに基づいて適切な顔特徴を選択する。顔特徴照合部２１２は、顔特徴抽出部２０８で求めた顔特徴と顔特徴選択部２１１で選択した顔特徴とを照合し、顔特徴間の類似度を出力する。

＜顔画像照合処理＞
続いて、図２のフローチャートを参照して、本発明の一実施形態に係る画像処理装置２００が実施する顔画像照合処理の手順を説明する。なお、以下においては不図示の入力部で指定した検索対象である登録顔画像とカメラ１００で撮影した顔画像との照合処理について説明する。

Ｓ１００において、画像取得部２０１は、カメラ１００で撮影した映像から画像データを取得する。取得する画像データは、例えば、ＲＧＢ各８ビットの画素からなる二次元データである。あるいは、８ビット画素からなる輝度データでも構わないし、各画素のビット数も８ビットに限定されるものではない。このとき、パラメータ取得部２０１は、取得した画像データを撮影した際の撮影パラメータを取得する。取得する撮影パラメータは撮影レンズの焦点距離、絞り値、シャッタースピード、イメージセンサーのゲイン、撮影した画像の圧縮率、等を含む。但し、これら全ての撮影パラメータを必ずしも取得する必要はなく、撮影した画像の画質に影響するパラメータを少なくとも一つ取得すればよい。

Ｓ２００において、画像変倍部２０３は。画像取得部２０２で取得した画像データを所定サイズの画像に変倍する。変倍する画像サイズはパラメータ取得部２０１で取得した撮影パラメータに基づいて設定する。

以下では、シャッタースピードを撮影パラメータとして、シャッタースピードに基づいて画像サイズを決める場合について、その方法を説明する。公共の空間を歩いている人物を撮影した画像中の顔はシャッタースピードが遅いとブレが生じるため撮影時に取得した画像でそのまま顔の照合を行うと照合精度が低下する。そこで、ブレのある画像の場合は縮小してブレの影響を抑制する必要がある。そこで、シャッタースピードに応じて変倍する画像サイズを設定する。具体的には、シャッタースピードが遅ければ遅いほど変倍する画像サイズが小さくなるように設定する。画像サイズの設定は、予めシャッタースピードと画像サイズとの関係をテーブルとして記憶しておき、テーブルを参照してシャッタースピードから画像サイズを求めるようにしておけばよい。

撮影した画像の画質に影響するその他の撮影パラメータにおいても同様にして画像サイズを設定することで同様の効果が得られる。例えば、イメージセンサーのゲインや撮影した画像の圧縮率は画像ノイズに影響するので同様の効果が得られる。

また、撮影パラメータを取得することなく撮影した画像の画質を解析して適切な画像サイズを設定することでも、同様の効果が得られることは言うまでもない。例えば、撮影した画像を周波数解析することで画像ブレやノイズを推定して適用することができる。

Ｓ３００において、特徴マップ算出部２０４は、画像変倍部２０３を介して取得した画像データを、畳み込みニューラルネットワークに入力して処理を行うことによって、複数の特徴マップを算出する。

＜畳み込みニューラルネットワークの例＞
ここで、図３に畳み込みニューラルネットワークの例を示す。図３に示すように、この畳み込みニューラルネットワークはＣｏｎｖ１〜Ｃｏｎｖ１０の１０層の畳み込み層によって構成される。畳み込み層Ｃｏｎｖ１〜Ｃｏｎｖ６は、特徴マップ算出部２０４の機能を構成する層であり、画像データを入力として複数の特徴マップを出力する。また、畳み込み層Ｃｏｎｖ７〜Ｃｏｎｖ１０は後述する顔特徴点位置推定部２０６の機能を構成する。各畳み込み層Ｃｏｎｖ１〜Ｃｏｎｖ１０は、例えば、３×３の畳み込み演算を各層の出力チャネル数分だけ行う。また、図３に示した畳み込みニューラルネットワークでは畳み込み層Ｃｏｎｖ１〜Ｃｏｎｖ４では１画素おきに飛ばして（ストライド数２）畳み込み演算を行い、出力する特徴マップの解像度を縦横2分の1のサイズに縮小している。また、畳み込み層Ｃｏｎｖ５〜Ｃｏｎｖ６では前段の畳み込み層から入力した特徴マップと同じサイズの特徴マップを出力するように畳み込み演算を行う。

このような多層構成の畳み込みニューラルネットワークでは、畳み込み演算を繰り返すことによって低次から高次の特徴マップを得ることができる。高次の特徴は低次の特徴に比べて入力画像に対して畳み込み演算を行った回数が多いので受容野が広くなる。ここで、受容野とはマップ中の一つの特徴に寄与する入力画像の領域であり、高次の特徴はより広い領域の画像から特徴を抽出した結果になる。

特徴マップ算出部２０４の処理結果は、特徴マップ記憶部２０５に記憶される。特徴マップ記憶部２０５は、少なくとも特徴マップ算出部２０４の最終層である畳み込み層Ｃｏｎｖ６から出力される複数の特徴マップを記憶するが、複数の畳み込み層、および、異なる解像度の特徴マップを記憶するようにしてもよい。例えば、図３の畳み込みニューラルネットワークの畳み込み層Ｃｏｎｖ１〜Ｃｏｎｖ３、および、Ｃｏｎｖ６の特徴マップを記憶するようにする。各畳み込み層の全ての特徴マップを記憶するようにしてもよいし、一部の特徴マップを記憶するようにしてもよい。記憶する特徴マップの数が多いほど顔の照合精度として高い精度が期待できるが、特徴マップ記憶部２０５に記憶する特徴マップの容量が多くなるので必要とする精度に応じて特徴マップの数を最適に選択してもよい。

Ｓ４００において、顔特徴点位置推定部２０６は、特徴マップ算出部２０４で求めた複数の特徴マップから画像中の人物の顔特徴点位置を推定する。ここで、図４に抽出する顔特徴点の例を示す。推定する顔特徴点は図４における、ＬＥ（ＬｅｆｔＥｙｅ）、ＲＥ（ＲｉｇｈｔＥｙｅ）、Ｎ（Ｎｏｓｅ）で示す３点である。ここでは、左右の目の中心、および、鼻の頂点の３点の位置を推定するようにしたが、口など、その他の点の位置を推定するようにしてもよい。

再び図３を参照して顔特徴点位置推定部２０６を構成する畳み込み層Ｃｏｎｖ７〜Ｃｏｎｖ１０について説明する。畳み込み層Ｃｏｎｖ７〜Ｃｏｎｖ１０は逆畳み込みニューラルネットワークで構成する。逆畳み込みニューラルネットワークでは前段の畳み込み層から入力した特徴マップを縦横２倍のサイズに拡大した後、畳み込み演算を行うことで前段の畳み込み層から入力した特徴マップの縦横２倍のサイズ特徴マップを取得する。なお、顔特徴点位置推定部２０６の最終層である畳み込み層Ｃｏｎｖ１０の出力チャネル数は３であり、３つの特徴マップは夫々、左目、右目、および、鼻の位置に高い出力値を得るように予め学習されている。ニューラルネットワークの学習方法については後述する。そして、図５（ａ）〜図５（ｃ）に顔画像を入力とした場合の３つの特徴マップの出力例を示す。但し、図５（ａ）〜図５（ｃ）では特徴マップの出力を元の顔画像に重畳している。図中、夫々左目（図５（ａ））、右目（図５（ｂ））、および、鼻（図５（ｃ））の位置に重畳した明暗の分布が左目、右目、および、鼻の位置推定結果であり、暗い位置ほど信頼度が高いことを示す。顔特徴点位置推定部２０６は、畳み込み層Ｃｏｎｖ１０の夫々の特徴マップの値が最も高い位置を夫々左目、右目、および、鼻の推定位置として、その位置座標を出力する。

なお、図５の例では画像中に顔が一つの場合の出力例を示したが、画像中に複数人の顔がある場合も同様にして顔特徴点位置を推定することができる。

以上、逆畳み込みニューラルネットワークが出力する特徴マップから顔特徴点位置を推定する方法を説明したが、特徴マップ算出部２０４が出力する特徴マップを全結合層に入力して直接顔特徴点の位置座標を回帰推定するようにしてもよい。

Ｓ５００において、正規化処理部２０７は特徴マップ記憶部２０５に記憶された特徴マップから顔特徴点位置推定部２０６で求めた顔特徴点位置を用いて部分領域を切り出し、所定サイズの特徴マップに正規化する。特徴マップ正規化処理には非特許文献２に記載のＲｏＩＰｏｏｌｉｎｇ層を用いる。ＲｏＩＰｏｏｌｉｎｇ層では入力した特徴マップの任意の矩形領域を所定サイズの矩形領域に投影し、出力する矩形領域内の要素毎に特徴マップの最大値を出力するようにする。入力する特徴マップの矩形領域は、顔特徴点位置推定部２０６で求めた顔特徴点位置を用いて切り出した部分領域である。

ここで、顔特徴点位置から部分領域を求める方法を説明する。顔特徴点位置推定部２０６で求めた左目ＬＥ、右目ＲＥ、鼻Ｎの位置座標を夫々（ｘL，ｙL）、（ｘR，ｙR）、（ｘN，ｙN）とすると、部分領域の中心座標（ｘ，ｙ）、幅Ｗ、高さＨは、以下の（式１）で求められる。

なお、以上の説明では左目、右目、鼻の位置座標から部分領域を求めるようにしたが、口、耳、等のその他の顔特徴点位置を用いてもよい。その場合には顔特徴点位置推定部２０６において部分領域を求めるために必要な顔特徴点位置を推定できるようにしておく。

正規化処理部２０７は、以上説明した正規化処理を特徴マップ記憶部２０５に記憶された特徴マップの夫々に対して行い、処理結果を出力する。

Ｓ６００において、顔特徴抽出部２０８は正規化処理部２０７が出力する特徴マップから人物の顔特徴を抽出する。顔特徴抽出部２０８では、正規化処理部２０７が出力した複数の特徴マップを入力として全結合層により所定次元数の特徴量（顔特徴）を取得する。全結合層を複数層設けて顔特徴を抽出するようにしてもよい。出力する次元数は大きいほど高精度の照合が期待できるが、演算量も大きくなるので必要とする精度に応じて適切な次元数を選択してもよい。顔特徴抽出部２０８で求めた処理結果は、顔特徴記憶部２０９に記憶する。

Ｓ７００において、顔特徴選択部２１１は顔特徴記憶部２０９に記憶された顔特徴から入力画像の顔の大きさに基づいて適切な顔特徴を選択する。顔特徴記憶部２０９には顔画像の解像度に応じて照合対象とする人物の複数の顔特徴が予め登録時に記憶されている。なお、顔特徴の登録時の処理については後述する。顔サイズ算出部２１０は、顔特徴点位置推定部２０６で求めた顔特徴点位置から顔の大きさを求める。顔の大きさＳは、例えば、（式１）で求めた幅Ｗ、高さＨを用いて、以下の（式２）で求められる。

顔特徴選択部２１１は顔の大きさＳに基づいて顔特徴記憶部２０９に記憶された複数の顔特徴から適切な顔特徴を選択する。

顔特徴の選択は、顔サイズ算出部２１０で算出した顔の大きさＳと照合対象とする人物の顔特徴を登録する際に求めておいた複数の解像度の顔画像の顔の大きさとの照合によって行う。例えば、ある人物の顔画像を高低２つの解像度で登録し、登録時に夫々顔の大きさＳ１、Ｓ２を得たとすると、入力顔の大きさＳとの差が小さい方の顔特徴を選択するようにする。登録顔の大きさが入力顔の大きさにより近い方の顔特徴を選択することは、顔特徴の抽出に寄与する周囲画素の受容野がより近い顔特徴を選択することを意味する。小さい顔から抽出した顔特徴の受容野は大きい顔から抽出した顔特徴の受容野に比べて広くなる。

Ｓ８００において、顔特徴照合部２１２は、顔特徴抽出部２０８で求めた顔特徴と顔特徴選択部２１１で選択した顔特徴とを照合し、顔特徴間の類似度を出力する。顔特徴間の類似度は、２つの顔特徴の差のＬ²ノルムを用いて算出する。類似度としては、この他にコサイン類似度やサポートベクターマシン等の機械学習で得たパラメータによる算出方法を用いてもよい。顔特徴照合部２１２では、顔特徴選択部２１１で入力顔の顔特徴の受容野により近い登録顔の顔特徴を選択するようにしたので、高精度な照合を行うことができる。

顔特徴照合部２１２の出力が所定の閾値を超えた場合、画像処理装置の不図示の表示部は検索結果として顔画像を表示する。

Ｓ９００において、顔特徴照合部２１２は、現在のフレームの画像について全ての顔画像に対して処理が終了したか否かを判定する。全ての顔画像に対して処理が終了していない場合、Ｓ５００に戻る。すなわち、Ｓ４００の顔特徴点位置の推定処理で複数人の顔の特徴点位置が取得されている場合、夫々の顔画像についてＳ５００〜Ｓ８００の処理を繰り返すことになる。一方、全ての顔画像に対して処理が終了した場合、Ｓ１０００へ進む。

Ｓ１０００において、顔特徴照合部２１２は、カメラ１００で撮影した後続のフレームの画像が存在するか否かを判定する。後続のフレームの画像が存在する場合、Ｓ１００に戻って処理を繰り返す。後続のフレームの画像が存在しない場合、一連の処理を終了する。

＜顔画像登録処理＞
次に、図６のフローチャートを参照して、本発明の一実施形態に係る画像処理装置が実施する顔特徴の登録処理の手順を説明する。Ｓ１１０において、画像取得部２０１は、不図示の入力部で指定した検索対象である登録顔画像を取得する。

Ｓ２１０において、画像変倍部２０３は、画像取得部１２０で取得した画像データを所定サイズの画像に変倍する。変倍する画像サイズは所定のサイズを用いる。図４に示したような顔画像の登録を想定した場合、例えば、１００×１００画素、および、５０×５０画素程度の解像度になるように変倍率を設定しておく。変倍率を変えた画像の数が多いほど高精度の照合が期待できるが、登録時の演算量や登録する顔特徴の容量が多くなるので、必要とする精度に応じて変倍する画像の数を適切に選ぶのが良い。

Ｓ３１０において、特徴マップ算出部２０４は、画像変倍部２０３を介して取得した画像データを畳み込みニューラルネットワークに入力して処理を行うことによって、複数の特徴マップを算出する。特徴マップ算出部２０４は、図２のＳ３００に示した照合時の処理と同様の処理を行う。

Ｓ４１０において、顔特徴点位置推定部２０６は、特徴マップ算出部２０４で求めた複数の特徴マップから画像中の人物の顔特徴点位置を推定する。顔特徴点位置推定部２０６は、図２のＳ４００に示した照合時の処理と同様の処理を行う。

Ｓ５１０において、正規化処理部２０７は、特徴マップ記憶部２０５に記憶された特徴マップから顔特徴点位置推定部２０６で求めた顔特徴点位置を用いて部分領域を切り出し、所定サイズの特徴マップに正規化する。正規化処理部２０７は、図２のＳ５００に示した照合時の処理と同様の処理を行う。

Ｓ６１０において、顔特徴抽出部２０８は、正規化処理部２０７が出力する特徴マップから人物の顔特徴を抽出する。顔特徴抽出部２０８は、図２のＳ６００に示した照合時の処理と同様の処理を行う。顔特徴抽出部２０８で求めた処理結果は、顔特徴記憶部２０９に記憶する。このとき、顔サイズ算出部２１０は、幅Ｗ、高さＨを用いて（式２）によって顔の大きさを求め、抽出した顔特徴と対応付けて顔特徴記憶部２０９に記憶しておく。

Ｓ７１０において、画像変倍部２０３は、全ての変倍する数の画像を処理したか否かを判定する。ここでは、Ｓ２１０で複数の変倍率の画像に対して処理を行う必要がある場合、全ての変倍率の画像について処理を行ったか否かを判定する。全ての画像について処理済である場合、一連の処理を終了する。一方、未処理の画像がある場合、Ｓ２１０に戻り、Ｓ２１０〜Ｓ６１０の処理を変倍率毎に繰り返す。

Ｓ１１０〜Ｓ７１０の一連の処理によって、登録顔画像の複数の解像度に対する顔特徴を取得することができる。

＜ニューラルネットワークの学習方法＞
続いて、本実施形態の特徴マップ算出部２０４、顔特徴点位置推定部２０６、および、顔特徴抽出部２０８で用いるニューラルネットワークの学習方法について説明する。

まず、図３に示した特徴マップ算出部２０４、および、顔特徴点位置推定部２０６のニューラルネットワークの学習方法について説明する。予め学習に使う枚数分の顔画像データと画像中の顔特徴点位置の座標値とを準備しておく。学習サンプルの目安としては数万〜数十万の数のサンプルを用いる。顔特徴点位置の座標値は顔画像の夫々について人手で指定しておく。次に、顔特徴点位置の座標値から顔特徴点の夫々について信頼度マップを取得する。信頼度マップは、図５に示した顔特徴点位置推定部２０６が出力する特徴マップと同様のマップであり、顔特徴点位置を中心にガウス分布に基づいて信頼度の値を割り当てたマップである。左目、右目、および、鼻の顔特徴点位置を推定する場合には、夫々に対応する３つの信頼度マップを作成する。次に、準備した顔画像と信頼度マップとを用いて、以下の（式３）に示す損失関数Ｌ１が最小となるニューラルネットワークのパラメータを求める。

但し、
、および、
は夫々ニューラルネットワークが推定した信頼度マップと学習データとして準備した信頼度マップである。
はＬ²ノルムである。Σ_n、Σ_f、Σ_pは夫々学習データ、顔特徴点、信頼度マップの要素の総和を表す。パラメータの学習は確率的勾配降下法等を用いて行う。

顔特徴抽出部２０８で用いるニューラルネットワークの学習は、学習した特徴マップ算出部２０４の畳み込みニューラルネットワークが出力する特徴マップを用いて行う。予め学習に使用する枚数分の顔画像データと画像中の顔特徴点位置の座標値を準備しておく。学習サンプルの目安としては数万〜数十万の数のサンプルを用いる。学習サンプルの顔画像には人物ＩＤ（個人識別番号）を対応付けておく。ニューラルネットワークの学習においては、任意の２つの顔画像のペアをサンプリングしておく。そして、夫々特徴マップ算出部２０４の畳み込みニューラルネットワークが出力する特徴マップを用いて、顔特徴抽出部２０８で用いるニューラルネットワークが出力する顔特徴を抽出しておく。顔特徴を抽出する際には、特徴マップ算出部２０４の畳み込みニューラルネットワークが出力する特徴マップを学習データとして準備した顔特徴点位置の座標値を用いて正規化処理部２０７によって正規化を行う。次に、準備した顔画像と顔特徴点位置、および、人物ＩＤを用いて、以下の（式４）に示す損失関数Ｌ２が最小となるニューラルネットワークのパラメータを求める。

但し、ｄ_nは２つの顔画像から算出した顔特徴の差のＬ²ノルムである。ｙ_nは２つの顔画像が同一人物の場合１、他人の場合０の値を取る。marginは所定の値を取るパラメータである。Σ_nは学習データとしてサンプリングした２つの顔画像のペア数分の総和を表す。顔特徴抽出部２０８で用いるニューラルネットワークのパラメータの学習は確率的勾配降下法等を用いて行う。

以上説明したように、本実施形態では、顔画像からニューラルネットワークによって抽出した特徴マップから顔特徴点位置を推定し、推定した顔特徴点位置を用いて特徴マップから顔特徴を抽出する。これにより、アライメント等の前処理を必要とすることなく、精度良く顔の照合を行うことができる。

また、予め登録人物の複数の異なる解像度の顔画像から夫々取得した顔特徴を登録しておき、顔画像同士の顔の大きさが近い顔特徴を選択して照合するようにしたので、更に高精度な照合を行うことができる。なお、登録人物の顔特徴が一つの解像度の顔画像から取得した場合であっても、入力顔画像から複数の異なる解像度の顔画像を得て取得した顔特徴と照合することで同様の効果を得ることができる。また、登録および入力顔画像の双方で複数の解像度の顔画像から夫々顔特徴を取得して照合しても、同様の効果が得られることは言うまでもない。

また、カメラで撮影した際の画質を考慮して顔画像を変倍して顔の照合を行うようにしたので、更に高精度な照合を行うことができる。撮影パラメータを取得して適切な解像度の顔画像を照合に用いることで、より簡便に顔画像の画質を考慮した照合を行うことができる。

なお、本実施形態では顔画像の照合を例に説明したが、人物の全身画像（つまり人物全体）の照合についても本発明を適用できる。例えば、畳み込みニューラルネットワークによって特徴マップを取得し、特徴マップから人物の関節位置等の特徴点位置を推定して、特徴点位置に基づいて切り出して正規化した特徴マップから人物の全身特徴を抽出して照合するようにすればよい。カメラ１００で撮影した画像の解像度が低く、人物の顔が識別困難な場合には、全身特徴による照合が人物の検索に有用になる。また、本発明は人物の照合に限らず、その他のオブジェクト（例えば、動物、自動車など）の照合にも広く適用できることは言うまでもない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：カメラ、２００：画像処理装置、２０１：パラメータ取得部、２０２：画像取得部、２０３：画像変倍部、２０４：特徴マップ算出部、２０５：特徴マップ記憶部、２０６：顔特徴点位置推定部、２０７：正規化処理部、２０８：顔特徴抽出部、２０９：顔特徴記憶部、２１０：顔サイズ算出部、２１１：顔特徴選択部、２１２：顔特徴照合部

Claims

撮影装置により撮影された画像からオブジェクトの照合を行う画像処理装置であって、
前記画像から畳み込みニューラルネットワークによって、画像の特徴点が検出された位置が示された複数の特徴マップを算出する特徴マップ算出手段と、
前記複数の特徴マップから前記画像中の前記オブジェクトの特徴点位置を推定する推定手段と、
前記特徴点位置を用いて前記複数の特徴マップの部分領域を抽出し、該部分領域を所定サイズに正規化する正規化処理手段と、
前記正規化された特徴マップから前記オブジェクトの特徴を抽出する抽出手段と、
前記抽出された特徴と予め記憶されている特徴とを照合する照合手段と、
を備えることを特徴とする画像処理装置。
前記推定された特徴点位置からオブジェクトの大きさを算出する算出手段と、
前記オブジェクトの大きさに基づいて、複数の特徴の中から照合に用いる前記オブジェクトの特徴を選択する選択手段と、をさらに備え、
前記照合手段は、前記選択手段により選択された特徴を用いて前記照合を行うことを特徴とする請求項１に記載の画像処理装置。
前記選択手段は、前記オブジェクトの大きさが類似する特徴を選択することを特徴とする請求項２に記載の画像処理装置。
前記選択手段は、複数の異なる解像度の画像からそれぞれ予め取得された複数の特徴の中から、前記照合に用いる前記オブジェクトの特徴を選択することを特徴とする請求項２又は３に記載の画像処理装置。
前記撮影装置の撮影パラメータを取得する取得手段と、
前記撮影パラメータに基づいて、前記撮影装置により撮影された画像を変倍する変倍手段と、
をさらに備えることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
前記撮影パラメータは、前記撮影装置により撮影される画像の画質に影響するパラメータを含むことを特徴とする請求項５に記載の画像処理装置。
前記画像の画質を解析する解析手段と、
前記解析手段により解析された画質に基づいて、前記撮影装置により撮影された画像を変倍する変倍手段と、
をさらに備えることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
前記オブジェクトは、人物全体又は人物の顔であることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
撮影装置により撮影された画像からオブジェクトの照合を行う画像処理装置の制御方法であって、
前記画像から畳み込みニューラルネットワークによって、画像の特徴点が検出された位置が示された複数の特徴マップを算出する特徴マップ算出工程と、
前記複数の特徴マップから前記画像中の前記オブジェクトの特徴点位置を推定する推定工程と、
前記特徴点位置を用いて前記複数の特徴マップの部分領域を抽出し、該部分領域を所定サイズに正規化する正規化処理工程と、
前記正規化された特徴マップから前記オブジェクトの特徴を抽出する抽出工程と、
前記抽出された特徴と予め記憶されている特徴とを照合する照合工程と、
を有することを特徴とする画像処理装置の制御方法。
コンピュータを、請求項１乃至８の何れか１項に記載の画像処理装置として機能させるためのプログラム。