JP2011170492A - 画像登録装置及び登録方法 - Google Patents

Abstract

【課題】大量の認証結果から適切な特徴データの辞書情報を認証結果修正も利用し生成する。
【解決手段】入力された画像の画像特徴量を取得する取得ステップと、画像特徴量の類似性から登録済みのものと類似性の高い物を判定する判定ステップと、判定ステップで類似すると判定された認証結果を提示し、結果を修正する決定ステップと、結果修正ステップで誤りである旨を決定された場合には、判定ステップで類似すると判定された画像特徴量を登録ステップでの特徴量とは区別して登録する再登録ステップとを有し、判定ステップでは、再登録ステップで再登録された画像特徴量を用い、再登録されたものに近い場合は、新たに入力された画像の画像特徴量の類似度を作用する方法。
【選択図】図１

Description

本発明は、大量の画像をオブジェクト（人）毎に整理するためにユーザーに画像特徴データの登録操作を強いらずに登録することを目的とした画像登録装置及び登録方法に関するものである。

近年、物体や顔の検出や類似物の検索・認証技術が進み、セキュリティ用途への応用だけではなく、撮影画像の整理・分類に応用されることが増えている。認証や類似検索には、あらかじめ、比較元となるものや人の顔の画像や特徴量を辞書として持っておく（登録しておく）必要がある。前者の用途での手段として文献１から文献３が提案されている。

文献１では、顔データを更新する際の操作性の悪さの向上やセキュリティ低下を防ぐ手法を提案である。認証時の照合度が低いが、本人である場合に本人が個人情報を入力し、第２の認証手段をとおり、本人であることを特定し、このときの撮影画像を登録する。文献２では、他人受け入れをなくすことを可能とする人物認識装置の提案である。他人受け入れを減らすために、誤って認識されやすい人の認識条件を変える装置である。誤認証人物リストを作成し、このリストに登録されているものと近い場合、より厳しい認証を実行する。文献３では、似た容姿を持つ複数の人物を判別して適切に認証できる認証装置の提案である。写された顔画像を認証する際に指定された登録者に関連した特徴データを読出し、関連づけされたデータから経年変化を考慮し、その人物であるかを判定している。

特開２００４−１２６８１３号公報 特開２００５−１８２１８４号公報 特開２００７−１１４９３１号公報

しかしながら、従来の方法では、辞書情報として登録する情報を認証のための操作を行い、条件に応じて厳密設定する必要がある上、従来の方法では、認証する環境と同一条件での画像からのデータを利用しており、スナップショット写真のように様々な環境や人物の状況で撮影されたものに対しては、適用が困難である。

本発明は、上記の従来の課題を解決するものであり、スナップショット写真の分類・認証結果から、ユーザー操作で誤認証や誤った分類結果を修正して取り除いた物と類似物が撮影された画像を同様に検出抑えることができる画像登録方法及び装置である。

本発明は、入力された画像の特徴量を取得する取得ステップと、
取得ステップで取得された特徴量と、記憶部に記録されている画像の特徴量とを比較し、特徴量の類似度を判定する判定ステップと、
判定ステップで類似すると判定された結果の正誤を決定する結果決定ステップと、
結果決定ステップで誤りであると決定された場合には、判定ステップで類似すると判定された特徴量を、記憶部に記憶された特徴量と区別して再登録する再登録ステップとを有し、
再登録ステップ実行後は、判定ステップでは、取得ステップで取得された入画像の特徴量と、再登録ステップで再登録された特徴量との比較結果を、判定ステップでの当初の類似度に作用させて判定するを特徴とする画像登録方法である。

また、本発明は、入力された画像の特徴量を取得する取得部と、
画像の特徴量を記憶する記憶部と、
取得部で取得した特徴量を記憶部で記録された特徴量とを比較し、特徴量の類似度を判定する判定部と、
判定部で類似すると判定された結果の正誤を決定する結果決定部とを備え、
結果決定部で誤りであると決定された場合には、記憶部は、判定部で類似すると判定された特徴量を記憶部で登録された特徴量と区別して再登録し、
再登録実行後は、判定部は、取得部で取得された画像の特徴量と、記憶部に再登録された特徴量との比較結果を、判定部での当初の類似度に作用させて判定することを特徴とする上述の画像登録装置である。

本発明の画像登録方法と装置は、認証・分類結果を編集できる表示画面（たとえばブラウザ）にて結果を修正しながら、ユーザーに負担をかけずに登録情報を編集し、次回の認証・分類結果では誤りを抑えることができるという効果がある。

本発明の実施例１による画像登録ステップの構成を示すブロック図 再登録ステップ１４にて負の特徴量を登録後の判定ステップ１２の処理のフロー図 本発明の実施例２による画像登録装置の構成を示すブロック図 記憶部３３に記憶されているデータテーブルを表した図 誤認証・分類画像を削除した場合の登録情報の例を表した図 本発明の実施例２による画像一覧表示の例を表した図

以下、本発明の実施するための最良の形態を図面に基づき詳細に説明する。

図１は、本発明の実施例１による画像登録ステップの構成を示すブロック図である。図１において、１１は取得ステップであり、画像中の判定したいオブジェクトの特徴量を生成する。１２は判定ステップであり、１１で取得した特徴量が登録済みの特徴量との近さを計算し近いものに対応されている登録名を出力する。１３は決定ステップであり、判定された登録名を表示しそれをそのまま判定結果として保存するか、もしくは、判定結果が誤っていることを出力する。１４は再登録ステップであり、１３で判定結果が誤っていると決定した場合に、判定結果に対応する登録名の負の辞書データとして特徴量を登録する。

図１において、人物の顔と名前を関連づけた事前情報を前準備として記憶しているとする。つまり、事前登録しておきたい人物の顔の特徴量を取得し、名前と１取得した特徴量を事前に対応づけておく。

次に図１において、人物の顔が撮影されているある画像が入力されたと仮定する。１１で顔を検出し、検出した顔を正規化し特徴量を算出する。顔検出には文献１に記載されているＡｄａＢｏｏｓｔｉｎｇなどを利用する。この特徴量抽出は特徴点周辺でのガボールウェーブレット変換によるものなどを利用する。
［文献１］”Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓａｍｐｌｅ Ｆｅａｔｕｒｅｓ”ＣＶＰＲ，ｐｐ．５１１ （２００１）
次に１２では、事前に登録済みの辞書情報（特徴量と名前の対応付けされている情報）を記憶部から読出し、１１で出力された特徴量と辞書情報中の特徴量と近い（特徴量をベクトルとして扱い、距離がある一定値よりも近い）特徴量と対応づけられている名前を判定結果として出力する。ここである一定値は、システムとして必要な精度に応じて事前に決められている値である。

次に結果決定ステップ１３では、判定結果を提示する。ここでは、入力された画像中の顔画像を判定ステップ１２が判定した結果である名前を表示する。表示された結果と異なる場合は、再登録ステップ１４へ進む。表示された結果の修正の必要が無い場合は、ここで処理を終了させる。

次に再登録ステップ１４では、判定ステップ１２に入力された特徴量を判定ステップ１２で判定した名前に対応づけた負の特徴量として登録する。

再登録ステップ１４にて負の特徴量が登録された後は、判定ステップ１２では、通常のステップで登録されている正の特徴量との近さを距離とする。図２は、再登録ステップ１４にて負の特徴量を登録後の判定ステップ１２の処理のフロー図である。登録済みの正の特徴量と入力された特徴量の距離を取得し、これを距離１とする。次に負の特徴量が登録済みである場合は、この特徴量と入力データの特徴量との距離を取得し、これを距離２とする。次に距離１と、距離２に１以内の係数（α）との積との和を求め、これを距離３とする。この類似度３を出力する。あるいは、誤って判定された画像の特徴量と辞書情報の特徴量を特徴点ごとに距離を比較し、距離が大きい特徴点に対してのみの特徴量に対して重みづけを重くするように、重みも登録しておき、距離２を求め、類似度３を出力する。
なお、本実施例では、顔画像から認証する場合を記載したが、一般オブジェクトから登録済みのオブジェクトであるか否かを判定する場合など、画像特徴量を保存してその保存した特徴量との類似性（距離が近い方が類似度が高い）から入力画像中の物体を判定する手段でも構わない。
なお、本実施例では、登録する正の特徴量は一つであったが、複数登録しても構わない。複数ある場合には、複数の特徴量ベクトルと近さが最も近いものを出力するなど、登録済みの正の特徴量から類似度の高い顔を判定できる方法であれば構わない。負の特徴量が複数登録されている場合も同様に正の特徴量から求めた距離から、負の特徴量からの距離の中から最も近い値とαとの積を足すなど、負の特徴量に類似性が高いほど距離１が広がる（類似度１を下げる）作用をするのであれば構わない。

図３は、本発明の実施例２による画像登録装置の構成を示すブロック図である。図３において、３１は取得部であり、画像データから検出すべき物体を検出し、もしくは、画像データと特徴量を抽出したい物体の領域を入力とし、その検出した領域のオブジェクトの特徴量を生成する。３３は記憶部であり、取得部３１からの特徴量を登録し、辞書情報として、判定させる名前に対応した特徴量を記憶する。判定部３２は記憶部３３の辞書情報の特徴量と取得部３１からの特徴量の類似性を判定し、取得部３１からのオブジェクト領域にあるものの認証名を判定し、出力する。結果保存部３５はこの判定結果を画像と対応付けて保存する。決定部３６は、結果表示部３７と結果修正部３８から構成される。結果表示部３７では、結果保存部３５に保存された画像データと判定して保存した結果である名前を表示し、外部入力から判定結果の変更を受け付けることができ、判定結果が誤っている場合は、判定結果の変更が入力される。結果修正部３８は修正された名前に結果保存部３５に記憶されている内容を修正入力に従い変更するとともに、名前の修正対象となった画像と画像領域を出力し、取得部３１に伝える。取得部３１は入力された画像の画像領域の特徴量と、負のフラグを出力し、記憶部３３は誤って判定した名前に関連付けてこれを負の特徴量として辞書情報として記憶させる。判定部３２は、辞書情報記憶部に負の特徴量が保存されている場合は、判定時にこの特徴量も利用する。負の特徴量に近い場合は、判定部３２は類似性を下げる作用を行う。

本実施例２では、図３の画像登録装置において、画像を入力とし、画像中の顔を検出し、その顔が誰であるかを認証し、かつ、認証する人の名前と画像特徴量とを登録するとする。

取得部３１は、画像データを入力として顔領域を検出し、各顔領域の位置とその特徴量を出力する、もしくは、画像データと顔領域と名前を入力とし、その領域の特徴量を出力する。まず、本実施例では、名前ＡとＢが事前に記憶部３３に辞書情報として記録されているとする。つまり、Ａが写っている画像データとＡの顔領域と＋のフラグを入力とし、該当領域の特徴量を算出し、記憶部３３に出力する。次に記憶部３３は、辞書情報として記憶されている図４に示すテーブル形式のデータとして、各データを設定している。ここでは、辞書情報としては図４に示すように名前と特徴量が対応付けられて辞書情報が保存されているとする。

今、ある画像データ（画像１）が取得部３１に入力されたとする。取得部３１は、画像１の顔を検出し、その顔の領域の特徴量を算出し、顔領域と特徴量を出力する。
次に判定部３２は、記憶部３３の辞書情報のＡの正の特徴量と算出した特徴量の近さを算出し、これをＬａとする。たとえば、特徴量の要素を一次元ベクトルとみなして、ベクトル間の距離を求める。距離にはベクトル間の差分のＬ１ノルムやＬ２ノルムなどがある。次に算出した特徴量とＢの正の特徴量との近さを算出し、これをＬｂとする。今、辞書情報に登録されている人物と同一人物と判定する近さをＬｏｋとし、下記の数式１の状態であったとする。

このとき、判定部３２は、画像１内の顔画像の名前をＢと判定する。判定部３２は、判定した名前と顔領域と画像データとを対応づけて結果保存部３５に保存する。

本実施例２では、画像１と同様に画像２、画像３、画像４、画像５は名前がＢと判定され、結果保存部３５に保存されているとする。

次に画像６の画像データが取得部３１に入力され、画像６内の顔領域とその特徴量が判定部３２に入力され、判定部３２がＢと判定し、結果保存部３５に画像６の画像データと顔の領域と名前Ｂを対応づけて保存する。

次に結果表示部３７では、結果保存部３５から画像データと名前と顔の領域を読出し、名前ごとに判定された結果を表示する。ここでＢと判定された結果が図６のように表示されたとする。図６中の画像６（６１）は、Ｂではない顔が含まれた画像である。そのため、画像６をＢの表示結果から削除する操作が結果表示部３７に入力され、画像６の画像ファイル名と顔の領域と“名前Ｂからの削除”を結果修正部３８に出力する。

次に結果修正部３８は、画像６に対応づけられている名前Ｂを結果保存部３５から削除し、画像６内の顔領域と顔データと名前Ｂと負のフラグを取得部３１に出力する。

次に取得部３１は、結果修正部３８から出力された画像データの顔領域の特徴量を算出し、名前Ｂと算出した特徴量と負のフラグを名前Ｂと関連づけて記憶部３３に出力する。

記憶部３３は、名前Ｂの登録情報として、取得部３１から出力された特徴量を符号を−として辞書情報として保存させる。図５に示すように、符号が負である特徴量としてＢの登録情報に保存される。

以上のように、外部入力による修正操作により、記憶部３３の辞書情報は、本発明では更新される。

次に本実施例２の画像登録装置に、新たに顔が含まれる画像７のデータが、取得部３１に入力されたとする。

取得部３１は、画像７のデータから顔を検出して顔の領域を検出し、その領域の顔特徴量を生成して出力する。

次に判定部３２は、取得部３１の特徴量（特徴量＿ＷＨＯ）と記憶部３３の辞書情報として記憶されているＡの正の特徴量との近さを算出する。本実施例２ではＡの登録情報として二つの特徴量が保存されているが、各々の特徴量と特徴量＿ＷＨＯとの近さを算出し、近いほうの値を近さとする。ここでは、これをＬａ＿ｗｈｏとする。次に判定部３２は、Ｂの正の特徴量との近さを算出し、もっとも近いほうの値をＬｂ＿ｗｈｏとし、Ｂの負の特徴量との近さを算出し、もっとも近い値をＬｂ＿ｗｈｏ’とする。下記の数式２により、Ｂとの近さを求める。

判定部３２は、数式２の結果とＬａ＿ｗｈｏの値が、入力された特徴量が、同一人物と判定できる近さＬｏｋより近い人物名と判定する。

取得部３１と、記憶部３３と、結果保存部３５と、結果表示部３７は、実施例２と同様の動作をする。

結果修正部３８は、画像６に対応づけられている名前Ｂを削除し、画像６内の顔領域と顔データと名前Ｂと負のフラグを取得部３１に出力する。このとき、顔の特徴点ごとの特徴量と辞書情報に登録されている特徴量との距離を比較する。顔特徴点を例えば右目、左目、鼻、口などのようにパーツ毎に特徴点のグループ化し、このグループごとに辞書情報に登録されている該当するグループごとの特徴量と結果を修正する画像の特徴量の距離を比較する。距離が離れているグループの特徴点への重みを大きくした、顔パーツごとにグループ化された特徴点への重みも同時に記憶部３３に辞書情報として保存する。

ここでは、右目、左目、鼻、口の各々を示す複数の特徴点をパーツごとに一つの特徴ベクトルとみなし、その特徴ベクトルを左から順に以下の数式３とする。

辞書データ中の右目、左目、鼻、口にグループ化された特徴点から得る該当する特徴ベクトルとの各特徴ベクトル（数式３に示す）の各々の距離を以下の数式４とする。

このとき、この特徴ベクトルに相乗する重みＷは、下記の数式５とする。

判定部３２は、負の特徴量に対してはグループ化した特徴点につけられた重みを特徴ベクトルの各要素に対してかけて、重みづけした特徴ベクトルと入力された特徴ベクトルとの距離を算出し、各々の距離の和がある閾値以下かどうかで、実施例２と同様の判定を行う。

なお、本実施例では重みの計算を数式５で行ったが、距離が離れているグループの特徴ベクトルへの重みづけを強調するものであれば構わない。

以上のように本発明にかかる画像登録方法と装置は、認証・分類結果を編集できる表示画面（たとえばブラウザ）にて結果を修正しながら、ユーザーに負担をかけずに登録情報を編集し、次回の認証・分類結果では誤りを抑えることができるという効果を有し、認証・分類のための画像登録方法と装置として有効である。

３１ 取得部
３２ 判定部
３３ 記憶部
３５ 結果保存部
３６ 決定部
３７ 結果表示部
３８ 結果修正部
５１ “Ｂ”ではない顔画像

Claims (6)

1. 入力された画像の特徴量を取得する取得ステップと、
   前記取得ステップで取得された特徴量と、記憶部に記録されている画像の特徴量とを比較し、特徴量の類似度を判定する判定ステップと、
   前記判定ステップで類似すると判定された結果の正誤を決定する結果決定ステップと、
   前記結果決定ステップで誤りであると決定された場合には、前記判定ステップで類似すると判定された特徴量を、記憶部に記憶された特徴量と区別して再登録する再登録ステップとを有し、
   再登録ステップ実行後は、前記判定ステップでは、前記取得ステップで取得された画像の特徴量と、前記再登録ステップで再登録された特徴量との比較結果を、前記判定ステップでの当初の類似度に作用させて判定することを特徴とする画像登録方法。
2. 前記結果決定ステップは、前記判定ステップで類似すると判定された結果を表示する表示ステップと、
   前記表示ステップで表示された結果を確認して入力された結果の正誤により決定される結果修正ステップと
   をさらに有することを特徴とする、請求項１に記載の画像登録方法。
3. 前記再登録ステップで記録された画像の特徴量を用いて類似すると判定された場合には、誤判定の可能性があることを表示する表示ステップを
   さらに有することを特徴とする、請求項１または請求項２に記載の画像登録方法。
4. 入力された画像の特徴量を取得する取得部と、
   画像の特徴量を記憶する記憶部と、
   前記取得部で取得した特徴量を前記記憶部で記録された特徴量とを比較し、特徴量の類似度を判定する判定部と、
   前記判定部で類似すると判定された結果の正誤を決定する結果決定部とを備え、
   前記結果決定部で誤りであると決定された場合には、前記記憶部は、前記判定部で類似すると判定された特徴量を前記記憶部で登録された特徴量と区別して再登録し、
   再登録実行後は、前記判定部は、前記取得部で取得された画像の特徴量と、前記記憶部に再登録された特徴量との比較結果を、前記判定部での当初の類似度に作用させて判定することを特徴とする画像登録装置。
5. 前記結果決定部は、前記判定部で類似すると判定された結果を表示する結果表示部と、
   前記結果表示部に表示された結果を確認して、結果の正誤を入力する結果修正部とをさらに備えることを特徴とする、請求項４に記載の画像登録装置。
6. 前記記録部で記録された画像の特徴量を用いて類似すると判定された場合には、前記結果表示部は誤判定の可能性があることを表示することを特徴とする、請求項５に記載の画像登録装置。

Images