JP7081685B2 - 画像照合装置、画像照合方法、プログラム - Google Patents

画像照合装置、画像照合方法、プログラム Download PDF

Info

Publication number
JP7081685B2
JP7081685B2 JP2020557521A JP2020557521A JP7081685B2 JP 7081685 B2 JP7081685 B2 JP 7081685B2 JP 2020557521 A JP2020557521 A JP 2020557521A JP 2020557521 A JP2020557521 A JP 2020557521A JP 7081685 B2 JP7081685 B2 JP 7081685B2
Authority
JP
Japan
Prior art keywords
image
replaced
common
region
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020557521A
Other languages
English (en)
Other versions
JPWO2020110309A1 (ja
Inventor
賢吾 牧野
塁 石山
徹 高橋
佑太 工藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2020110309A1 publication Critical patent/JPWO2020110309A1/ja
Application granted granted Critical
Publication of JP7081685B2 publication Critical patent/JP7081685B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/753—Transform-based matching, e.g. Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431—Frequency domain transformation; Autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Description

本発明は、画像照合装置、画像照合方法、プログラムに関する。
個体識別などを目的として、照合画像と登録画像との照合を行う画像照合方法が各種提案ないし実用化されている。一方で、照合画像と登録画像との間には、画像中に映る物体の並進、回転、スケールの変動が含まれる場合があり、これらの変動に対応した画像照合方法が求められている。そして、このような画像照合のために、位相限定相関法を応用した方法が存在する。
ここで、特許文献１には、照合画像と登録画像の間の幾何変動を推定して、一方の画像がもう一方の画像と位置合わせされるように幾何補正した後に、画像同士で相関計算を行う手法（画像相関ベースの手法）が記載されている。具体的には、照合画像と登録画像とをそれぞれフーリエ変換して振幅成分を取り出した後、それぞれの振幅成分の相関計算結果に基づいて、元の照合画像の登録画像に対するスケール変動量と回転変動量を推定する。そして、得られたスケール変動量と回転変動量を用いて、照合画像を幾何補正する。最後に、幾何補正済みの照合画像と登録画像との位相限定相関計算を行い、相関値の結果に基づいて照合結果を判定している。
また、非特許文献１には、照合画像と登録画像とをそれぞれフーリエ変換し、振幅成分同士の相関計算を行う手法（振幅相関ベースの手法）が記載されている。具体的には、照合画像と登録画像とをそれぞれフーリエ変換して振幅成分を取り出した後、振幅成分同士の相関計算を効率よく実行できるように、対数極座標変換によって振幅成分を座標変換する。そして、座標変換後の振幅成分の位相限定相関計算を行い、相関値の結果に基づいて照合結果を判定している。振幅相関ベースの手法は、非特許文献１に記載のとおり、幾何変動量の推定や幾何補正が不要で照合できる。そのため、１件の照合画像をＮ件の登録画像から照合する１対Ｎ件照合において、高速に照合が行えるという利点がある。
特開２００４－２７２８５９号公報
牧野賢吾、高橋徹、工藤佑太、石山塁、"Fourier-Mellin特徴の相関による画像照合の高速化と特徴量削減"、MIRU2018、OS3-L1、Aug 2018 高橋徹、工藤佑太、牧野賢吾、石山塁、"正規化クロスパワースペクトルの形状判定による高速な画像マッチング手法の提案、"信学技報、 vol 117、 no 514、 PRMU2017-178、 pp 37-42、 Mar 2018
ところで、ある同一個体を写した２つの元画像間において、別個体との個体差の無い共通パターン部（共通領域）が存在し、個体差のあるランダム凹凸パターン部（固有領域）が並進、回転、スケール変動している場合、画像相関ベースの手法を用いて照合を行うと、共通領域部分の相関が無くなり、照合スコアが低下してしまう、という問題がある。この問題を解決するために、共通領域部分の輝度値を別の固定値に置き換えてから相関計算を行うといった、マスク処理が一般的によく行われている。こうしたマスク処理は、元画像を照合に用いる手法には有効である。
しかしながら、振幅相関ベースの手法で共通領域部分の輝度値の置き換えを行うと、置き換えた値によっては振幅成分中にノイズを生じさせてしまい、照合スコアの低下を引き起こしてしまう問題がある。これは、ギブズ現象と呼ばれているフーリエ級数展開に関連する現象に起因するものであり、元画像から振幅成分へ変換する際に、隣接画素間の輝度値が不連続である場合に生じる現象である。
なお、ギブズ現象とは、不連続点を持つ関数のフーリエ級数において、不連続点の近傍では、高次の高調波を用いたとしても級数の部分和が元の関数に収束しない現象である。つまり、不連続な点が存在すると、その関数の近似のために、高次のフーリエ係数まで寄与することになる。
また、元画像から振幅成分へフーリエ変換する際に、マスク処理の結果として、隣接画素間に輝度値の差（ジャンプ）dが生じると、ギブズ現象によって、振幅成分の高周波成分領域にまで、元画像の信号とは無関係な信号が現れる。
振幅相関ベースの手法では、上記のような元画像の信号に対して無関係な信号はノイズとして振る舞い、照合スコアを低下させてしまう。その結果、同一個体と別個体の照合スコアの差が出にくくなり、照合精度を担保することが難しくなる。
振幅相関ベースの手法では、元画像から得られる振幅成分を単純に相関計算に使用するのではなく、個体識別性が低い低周波成分を抑制し、個体識別性が高い高周波成分を強調するようなフィルタ処理を施した後に、相関計算することが一般的に行われている。
例えば、振幅成分の値を対数化すると、画像中に多く含まれている低周波成分は、振幅成分としては大きい値を持つため強く抑制され、画像中に余り含まれていない高周波成分は、振幅成分としては小さい値を持つため、低周波成分と比較してあまり抑制されない。この結果、高周波成分は相対的に強調されるため、個体識別性の高い高周波成分の信号が支配的になり、個体識別精度を向上させることができる。他にも例えば、事前定義したハイパスフィルタを振幅成分にかけることで、相対的に高周波成分を強調する方法もある。
しかし、上述したフィルタ処理による信号の強調の説明は、高周波成分にノイズが乗っていない理想的な条件の場合である。このため、ギブズ現象によって高周波成分に元の信号とは無関係な信号を生じている場合は、無関係な信号がノイズとして強調されてしまうため、同一個体の照合スコアが理想状態に比べて下がり、個体識別精度をかえって低下させる場合がある。
このため、本発明の目的は、上述した課題である、共通領域が存在する画像の照合精度が低下すること、を解決することができる画像照合装置、画像照合方法、プログラムを提供することにある。
本発明の一形態である画像照合装置は、
第１の画像と第２の画像との共通領域を特定する共通領域特定部と、
前記第１の画像内の画素に基づいて当該第１の画像の前記共通領域の輝度値を置換した第１の置換済み画像と、前記第２の画像内の画素に基づいて当該第２の画像の前記共通領域の輝度値を置換した第２の置換済み画像と、を生成するデータ置換部と、
前記第１の置換済み画像と前記第２の置換済み画像との周波数特徴に基づいて前記第１の画像と前記第２の画像との照合を行う照合部と、
を備えた、
という構成をとる。
また、本発明の一形態であるプログラムは、
情報処理装置に、
第１の画像と第２の画像との共通領域を特定する共通領域特定部と、
前記第１の画像内の画素に基づいて当該第１の画像の前記共通領域の輝度値を置換した第１の置換済み画像と、前記第２の画像内の画素に基づいて当該第２の画像の前記共通領域の輝度値を置換した第２の置換済み画像と、を生成するデータ置換部と、
前記第１の置換済み画像と前記第２の置換済み画像との周波数特徴に基づいて前記第１の画像と前記第２の画像との照合を行う照合部と、
を実現させる、
という構成をとる。
また、本発明の一形態である画像照合方法は、
第１の画像と第２の画像との共通領域を特定し、
前記第１の画像内の画素に基づいて当該第１の画像の前記共通領域の輝度値を置換した第１の置換済み画像と、前記第２の画像内の画素に基づいて当該第２の画像の前記共通領域の輝度値を置換した第２の置換済み画像と、を生成し、
前記第１の置換済み画像と前記第２の置換済み画像との周波数特徴に基づいて前記第１の画像と前記第２の画像との照合を行う、
という構成をとる。
本発明は、以上のように構成されることにより、共通領域が存在する画像の照合精度の向上を図ることができる。
本発明の第１の実施形態に係る画像照合装置の構成を示す図である。 画像とそれに対応するマスク画像の例を表す模式図である。 本発明の第１の実施形態に係る画像照合装置のハードウェア構成の一例を示すブロック図である。 本発明の第１の実施形態に係る画像照合装置の動作の概略を示すフローチャートである。 本発明の第１の実施形態に係る画像照合装置における共通領域取得部の一例を示すブロック図である。 本発明の第１の実施形態に係る画像照合装置におけるデータ置換部の一例を示すブロック図である。 輝度値の推定方法を説明するための、第１の画像と第２の画像を示す模式図である。 第１プロファイルと第２プロファイルの振幅成分を用いた相関計算について説明するための模式図である。 図８の第１プロファイルと第２プロファイルの共通領域部分を、単純なマスク処理で０に置き換えた場合の模式図である。 本発明によるマスク処理方法を説明するための模式図である。 振幅成分と対数化した振幅成分の関係を説明するためのグラフである。 共通領域の画素値を固有領域の画素値の平均値によって置換した結果の例を示すグラフである。 本発明の第１の実施形態に係る画像照合装置における周波数特徴取得部の一例を示すブロック図である。 第１の画像の周波数特徴と第２の画像の周波数特徴とを示す数式の例を示す図である。 本発明の第２の実施形態に係る画像照合装置における共通領域取得部のブロック図である。 本発明の第３の実施形態に係る画像照合装置の構成を示す図である。
＜実施形態１＞
本発明の第１の実施形態を、図１乃至図１４を参照して説明する。本発明における画像照合装置１００は、後述するように、演算装置と記憶装置とを備えた１台又は複数台の情報処理装置にて構成される。そして、画像照合装置１００は、後述するように、第１の画像と第２の画像との照合を行うように構成されている。
図１は、本発明の第１の実施形態に係る画像照合装置のブロック図である。この図に示すように、画像照合装置１００は、共通領域取得部１０１と、データ置換部１０２と、周波数特徴取得部１０３と、照合処理部１０６と、情報提示部１０７と、を備えている。また、画像照合装置１００は、記憶装置に形成された、第１の記憶部１０４と、第２の記憶部１０５と、を備えている。
上記共通領域取得部１０１は、第１の画像と第２の画像との共通領域を取得するように構成されている。共通領域とは、個体識別性のない画素の集合、あるいは、個体識別に使用しない画素の集合のことを指す。
共通領域は、例えば、画像の各画素について共通領域であるかどうかを示す値を、画像と縦横が同じ大きさの配列に格納することで表現できる。以降、このような共通領域を示す配列を、マスク画像と呼ぶ。マスク画像のより具体的な例として、例えば、固有領域を255、共通領域を0とする。ここで、図２は、マスク画像の具体的な例を示すための模式図である。図２において、符号Ｐ１は照合対象となる画像の一例を示し、符号Ｐ２はＰ１に対応するマスク画像の一例を示す。
上記データ置換部１０２は、画像とマスク画像とを取得して、固有領域に該当する画像の画素値を参照して、共通領域に該当する画像の画素値を、適切な値へ置き換えるように構成されている。なお、固有領域とは、第１の画像と第２の画像とにおいて、それぞれ上述した共通領域とは異なる領域であり、固体識別性のある画素の集合となる。
上記周波数特徴取得部１０３は、データ置換部１０２で共通領域が置換された第１の置換済み画像と第２の置換済み画像とを受け取って、第１の置換済み画像と第２の置換済み画像との周波数特徴を取得するように構成されている。なお、周波数特徴とは、画像に対してフーリエ変換（離散フーリエ変換）を施すことによって、周波数領域に変換した結果の２次元データ（２次元配列）を指す。
上記第１の記憶部１０４は、第１の画像の周波数特徴を記憶するように構成されている。上記第２の記憶部１０５は、第２の画像の周波数特徴を記憶するように構成されている。
上記照合判定部１０６は、第１の画像の周波数特徴と第２の画像の周波数特徴とを用いて、相関計算を行い、照合結果を判定するように構成されている。
情報提示部１０７は、照合判定部１０６の判定結果に基づき、第１の画像と第２の画像との照合結果を提示するように構成されている。照合結果の提示は、照合結果を表示装置に表示し、または照合結果を記載した用紙を印刷装置で印刷し、または照合結果を記載したメッセージを通信装置で外部端末へ送信するなどであってよい。
ここで、上述した画像照合装置１００は、例えば、図３に示すように、カメラ等の撮像部２０１と、キーボードやマウスなどの操作入力部２０２と、液晶ディスプレイ等の画面表示部２０３と、通信インターフェース部２０４と、メモリやハードディスク等の記憶部２０５と、１以上のマイクロプロセッサ等の演算処理部２０６と、を有する情報処理装置２００と、プログラム２０７と、で実現することができる。なお、情報処理装置２００は、例えば、パーソナルコンピュータやスマートフォンであってよい。
また、上記プログラム２０７は、情報処理装置２００の立ち上げ時等に外部のコンピュータ読み取り可能な記憶媒体からメモリに読み込まれ、演算処理部２０６の動作を制御することにより、演算処理部２０６上に、上述した共通領域取得部１０１、データ置換部１０２、周波数特徴取得部１０３、照合判定部１０６、および情報提示部１０７といった機能的手段を実現する。
次に、本実施形態に係る画像照合装置１００の動作の概略を説明する。図４は、本発明の第１の実施形態に係る画像照合装置１００の動作のうち、照合処理を行う際の概略を示すフローチャートである。
まず、共通領域取得部１０１は、画像の共通領域を取得し、マスク画像を生成する（ステップＳ１０１）。次に、データ置換部１０２は、画像とマスク画像を用いて、共通領域の画素値を置換する（ステップＳ１０２）。次に、周波数特徴取得部１０３は、データ置換済みの画像の周波数特徴を取得し、第１の記憶部１０４または第２の記憶部１０５に記憶する（ステップＳ１０３）。
次に、照合判定部１０６は、第１の記憶部１０４に格納された第１の周波数特徴と、第２の記憶部１０５に格納された第２の周波数特徴との相関計算を行い、照合結果を判定する（ステップＳ１０４）。次に、情報提示部１０７は、照合判定部１０６から得た第１の画像と第２の画像との照合結果を提示する（ステップＳ１０５）。
次に、本実施形態に係る画像照合装置１００の各部について詳細に説明する。まず、共通領域取得部１０１について詳細に説明する。図５は、共通領域取得部１０１の一例を示すブロック図である。この例に示す共通領域取得部１０１は、画像取得部１１１と、共通領域判定部１１２と、で構成される。
上記画像取得部１１１は、第１の画像と第２の画像とを取得するように構成されている。画像取得部１１１は、例えば、カメラやスキャナ等に代表される撮影機器から第１の画像と第２の画像を取得する。あるいは、画像取得部１１１は、可視光線と、それより波長の長い近赤外線や短波長赤外線、熱赤外線領域までの光をレンズで集め、対象物の形状などを画像データとして取得する光学センサから、第１の画像と第２の画像を取得してもよい。あるいは、画像取得部１１１は、赤外光や紫外光、Ｘ線の強度を取得し、２次元データ配列として出力するセンサから、第１の画像と第２の画像を取得してもよい。あるいは、画像取得部１１１は、ＣＤ－ＲＯＭやメモリ等の外部記憶媒体から第１の画像および第２の画像を取得するように構成されていてもよい。あるいは、画像取得部１１１は、ネットワーク経由で第１の画像および第２の画像を受け取るように構成されていてもよい。また、画像取得部１１１は、第１の画像を取得する方法と第２の画像を取得する方法とが異なっていてもよい。
上記共通領域判定部１１２は、画像取得部１１１から第１の画像と第２の画像とを受け取り、その各々の画像中から共通領域に該当する画素を判定し、共通領域を示すためのマスク画像を出力するように構成されている。
共通領域の判定方法としては、例えば、一般的に使用されている前景背景分離技術が応用可能である。より具体的には、例えば、形状検出技術が使用可能である。固有領域の形状が予め既知であるとして、円形状などのような幾何図形で表現できる場合、形状検出技術を用いることで、固有領域を判定可能である。より具体的には、例えば固有領域の形状が円で表現できる場合、Hough変換を用いた円検出を適用できる。
その他にも、例えば、共通領域の判定方法として、背景差分技術が使用可能である。固定した背景の上に物体を置いて撮影する場合のように背景領域に映る画像が常に固定されている場合、予め背景を計算機に背景画像として記憶させておき、第１の画像あるいは第２の画像と、背景画像との差分を取ることで、背景領域と固有領域を判定可能である。
その他にも、共通領域の判定方法として、GraphCutと呼ばれる技術を用いた領域分割技術や、機械学習による領域分割技術を応用してもよい。
そして、共通領域判定部１１２は、共通領域の判定結果に基づいて、画像の各画素について共通領域であるかどうかを示す値を、画像と縦横が同じ大きさの配列に格納することで、マスク画像を生成することができる。なお、図２は、画像Ｐ１と、それに対応するマスク画像Ｐ２の例を表す模式図である。画像Ｐ１とマスク画像Ｐ２において、符号Ｐ１０１とＰ２０１は固有領域の部位であり、符号Ｐ１０２とＰ２０２は共通領域の部位である。
次に、データ置換部１０２について詳細に説明する。図６は、データ置換部１０２の一例を示すブロック図である。この例に示すデータ置換部１０２は、置換値推定部１２１と、画像値置換処理部１２２と、で構成される。
上記置換値推定部１２１は、第１の画像と当該第１の画像に対応するマスク画像、および、第２の画像と当該第２の画像に対応するマスク画像、を取得するように構成されている。置換値推定部１２１は、画像とマスク画像を取得した後に、マスク画像の各画素値に基づいて、画像中の固有領域の画素値を参照することができる。そして、置換値推定部１２１は、画像中の固有領域の画素値全て、あるいは一部を用いて、共通領域のマスク処理に適した輝度値を推定する。ここで、マスク処理に適した輝度値とは、後述するように、マスク処理の後に隣接画素間に輝度値の差（ジャンプ）dが生じさせないような輝度値のことを指す。
輝度値の推定方法を説明するために、はじめに、一般的なマスク処理を施した場合に、振幅成分にどのような影響が出て、照合結果に影響を与えるのかについて説明する。図７は、第１の画像と第２の画像を示す模式図である。図７の符号Ｐ３は第１の画像を表す。図７の符号Ｐ３０１は第１の画像中における固有領域であり、符号Ｐ３０２は第１の画像中における共通領域である。図７の符号Ｐ４は第２の画像を表す。図７の符号Ｐ４０１は第２の画像中における固有領域であり、符号Ｐ４０２は第１の画像中における共通領域である。
図７の例では、第１の画像Ｐ３の共通領域Ｐ３０２と第２の画像Ｐ４の共通領域Ｐ４０２とは、同じ向きの共通の模様になっている。また、第１の画像Ｐ３の固有領域Ｐ３０１と第２の画像Ｐ４の固有領域Ｐ４０１とは、異なる向きの同一の模様になっている。
画像照合においては、固有領域の輝度値のみを用いて照合を行うのが望ましい。しかし、振幅相関ベースの手法の場合、画像をフーリエ変換して振幅成分を取り出す必要があるため、画像の画素値全てを使用する必要がある。つまり、特にマスク処理を施さない場合は、照合時にノイズとして寄与してしまう共通領域の輝度値が、振幅成分にも情報として含まれることとなる。
上記に関する説明のため、図７の符号Ｐ３０３および符号Ｐ４０３で示す点線上の画素を、第１の画像から1列分、第２の画像から1行分、それぞれ取り出し、1次元で説明を行う。以降の説明のため、取り出した画素を、それぞれ第１プロファイル、第２プロファイルと呼ぶ。
図８は、第１プロファイルと第２プロファイルの振幅成分を用いた相関計算について説明するための模式図である。図８の左部上段は、左から、第１プロファイル、第１プロファイルの振幅成分、第１プロファイルの振幅成分の対数化したグラフである。図８の左部下段は、左から、第２プロファイル、第２プロファイルの振幅成分、第２プロファイルの振幅成分を対数化したグラフである。振幅成分を対数化によって、振幅成分の値が大きい低周波成分と振幅成分の値が小さい高周波成分との間で、振幅成分の値の下がり方が異なり、結果として、相対的に高周波成分を強調することができる。以降では、プロファイルの振幅成分を、単に振幅成分と呼ぶこととする。また、対数化した振幅成分を、強調済み振幅成分と呼ぶこととする。図８の右部は、第１の強調済み振幅成分と第２の強調済み振幅成分との相互相関関数であり、その最大値を破線の矢印で示している。
図８において、第１プロファイルおよび第２プロファイルのグラフには、横軸の下に1次元での説明用にインジケータを記載している。このインジケータは、第１プロファイルや第２プロファイルを取り出した時と同様にして、マスク画像の画素値を取り出したものであり、1次元での説明時のマスク画像に相当する。つまり、インジケータが黒の画素は共通領域であること示し、白の画素は固有領域であることを示す。
図８において、第１プロファイル、第２プロファイルには、それぞれ固有領域と共通領域とが含まれている。第１プロファイルと第２プロファイルの固有領域は、同一の模様を持っており、類似した信号が得られている。第１プロファイルと第２プロファイルの共通領域とは異なる模様を持っており、互いに異なる信号が得られている。つまり、第１プロファイルと第２プロファイルとの間には、類似した信号と異なる信号が部分的に混在している。第１プロファイルと第２プロファイルを、それぞれフーリエ変換して振幅成分に変換すると、共有領域の信号が振幅成分の値にノイズとして乗ってしまう。また、振幅成分から強調済み振幅成分に変換する際に、そのノイズは更に強調されてしまう。従って、第１の強調済み振幅成分と第２の強調済み振幅成分とで相関計算を行うとすると、共通領域の信号に起因して、相互相関関数の最大値は小さい値となってしまう。
図９は、図８の第１プロファイルと第２プロファイルの共通領域部分を、単純なマスク処理で０に置き換えた場合の模式図である。単純なマスク処理を行った場合、固有領域と共通領域との境界にジャンプdが生じてしまい、ギブズ現象によって、固有領域の信号とは無関係な信号が、振幅成分の高周波成分にまでノイズとして乗ってきてしまう。従って、マスク処理をしなかった場合と同様に、第１の強調済み振幅成分と第２の強調済み振幅成分とで相関計算を行うとすると、マスク処理によって発生したギブズ現象に起因して、相互相関関数の最大値は小さい値となってしまう。
続いて、本発明による、輝度値の推定方法を説明する。図１０は、本発明によるマスク処理方法を説明するための模式図である。本発明では、マスク処理に使用する置換の値を、なるべくジャンプdが生じないように、固有領域の輝度値に基づいて決定する。これにより、単純なマスク処理によって輝度値を置換した場合と異なり、ジャンプdの値が小さくなるため、ギブズ現象による影響は小さい。その結果、第１の強調済み振幅成分と第２の強調済み振幅成分とで相関計算を行った場合、相互相関関数の最大値は大きい値となる。
置換値推定部１２１が、マスク処理に使用する置換の値を自動決定する方法としては、例えば、振幅成分にかけるフィルタの効果に基づいて決定する方法がある。具体的な例として、振幅成分を対数化する場合を想定する。振幅成分の低周波成分には信号のエネルギーが集中し、大きい値を持っているため、対数化すると低周波成分は値の変化に対して鈍感になる。一方で、振幅成分の高周波成分は、小さい値を持っているため、対数化すると高周波成分は値の変化に対して、低周波成分と比較して敏感となる。
ここで、図１１は、振幅成分と対数化した振幅成分の関係を説明するためのグラフである。上述したとおり、振幅成分が大きな値を持つ場合には、傾きが小さく変化に鈍感であり、振幅成分が小さな値を持つ場合には、傾きが大きく変換に敏感となる。つまり、振幅成分の低周波成分については、値に多少の変化を加えたとしても、強調済み振幅成分のパターンに大きな影響を与えないことを意味している。
この対数化によるフィルタの効果に基づくと、プロファイルの輝度値を一部置換して変化させたとしても、その変化が振幅成分の低周波成分にのみ寄与するのであれば、強調済み振幅成分のパターンへの影響が少なくなる。その結果、第１の強調済み振幅成分と第２の強調済み振幅成分とで相関計算を行った時に高い相関値を得る事ができる。
上記の観点から、本発明による置換値推定部１２１は、固有領域の画素値に基づいて、マスク処理に使用する置換の値を自動的に決定する。例えば、固有領域の全画素の平均値を算出して、算出した平均値で共通領域の画素の値を全て置き換えた場合、元の画像の固有領域の画素値平均値と置換済み画像の全画素平均値とが一致する。このため、振幅成分に変換した際には、置換による変化が振幅成分のＤＣ成分、すなわち低周波成分にのみ寄与する。このため、上述したように強調済み振幅成分のパターンに大きな影響を与えない。従って、第１の強調済み振幅成分と第２の強調済み振幅成分とで相関計算を行った時に高い相関値を得ることができる。
図１２は、上述の置換方法による置換結果イメージを表すグラフである。図１２中の円は、固有領域の画素値を示している。縦軸の左に示した破線付の矢印は、固有領域の画素値平均値を示している。共通領域を、固有領域の画素値平均値と同じにしているため、共有領域と固有領域の境界部分に、ジャンプdを生じる可能性があるが、固定値（例えば０）を用いる場合と比較して、ジャンプdの大きさは抑えられるため、高い相関値を得る事ができる。
マスク処理に使用する置換の値を自動決定する方法として、他には例えば、固有領域と共通領域との境界となる固有領域の画素（境界画素）の値を参照して、その画素値に基づいて置換する値を推定し、共通領域の置換に用いる方法がある。マスク画像に対して例えば微分処理を施し、非ゼロの要素を境界画素とすることができる。この他にも、マスク画像を空間的に縮退処理（Erosion）することで縮退マスク画像を得る事ができ、マスク画像と縮退マスク画像との差分を取ることで、境界画素のみを抽出することができる。
固有領域に囲まれている共通領域や、２次元の場合の共通領域では、境界画素が複数存在する。その場合は、例えば複数の境界画素の値の平均値や中央値を用いて、共通領域の全画素を置換すればよい。なお、共通領域の全画素を同じ値で置換するのではなく、複数の境界画素の結果に基づいて境界画素に隣接する共通領域の画素を置換し、置換して更新した画素を新たな境界画素として、同じ処理を逐次的に繰り返す事で共通領域の各画素を置換してもよい。
置換値推定部１２１では、上述したように第１の画像と第２の画像のそれぞれに対して輝度値を推定する。なお、推定された輝度値を、それぞれ第１の推定輝度値、第２の推定輝度値と呼ぶ。
上記画像値置換処理部１２２は、第１の推定輝度値と第２の推定輝度値とを取得できるように構成されている。そして、画像値置換処理部１２２は、第１の推定輝度値を用いて、第１の画像の共通領域の画素値を置換する。また、画像値置換処理部１２２は、第２の推定輝度値を用いて、第２の画像の共通領域の画素値を置換する。
以上のように、データ置換部１０２は、記第１の画像における共通領域の画素の輝度値と当該共通領域とは異なる領域の画素の輝度値との差分よりも、第１の置換済み画像における共通領域の画素の輝度値と当該共通領域とは異なる領域の画素の輝度値との差分が小さくなるよう、第１の置換済み画像を生成している。また、同様に、データ置換部１０２は、第２の画像における共通領域の画素の輝度値と当該共通領域とは異なる領域の画素の輝度値との差分よりも、第２の置換済み画像における共通領域の画素の輝度値と当該共通領域とは異なる領域の画素の輝度値との差分が小さくなるよう、第２の置換済み画像を生成している。
さらに、換言すると、データ置換部１０２は、第１の画像の振幅成分と第１の置換済み画像の振幅成分とをそれぞれ振幅強調処理した場合に、第１の画像の強調済み振幅成分と第１の置換済み画像の強調済み振幅成分との間で変化が生じにくくなるよう、第１の置換済み画像を生成している。また、同様に、データ置換部１０２は、第２の画像の振幅成分と第２の置換済み画像の振幅成分とをそれぞれ振幅強調処理した場合に、第２の画像の強調済み振幅成分と第２の置換済み画像の強調済み振幅成分との間で変化が生じにくくなるよう、第２の置換済み画像を生成している。
次に、周波数特徴取得部１０３について詳細に説明する。図１３は、周波数特徴取得部１０３の一例を示すブロック図である。この例における周波数特徴取得部１０３は、周波数変換部１３１と、極座標変換部１３２と、位相成分算出部１３３と、から構成される。
ここでまず、振幅成分や位相成分に関して説明するために、離散フーリエ変換に関して説明する。第１の画像および第２の画像を、Ｎ1×Ｎ2ピクセルの２つの画像ｆ（ｎ1、ｎ2）および画像ｇ（ｎ1、ｎ2）とする。また、２次元画像信号の離散空間インデックス（整数）を、ｎ1＝－Ｍ1、…、Ｍ1およびｎ2＝－Ｍ2、…、Ｍ2とする。ただし、Ｍ1およびＭ2は正の整数であり、Ｎ1＝２Ｍ1＋１およびＮ2＝２Ｍ2＋１である。そうすると、画像ｆ（ｎ1、ｎ2）を２次元離散フーリエ変換して得られる第１の周波数特徴Ｆ（ｋ1、ｋ2）、および画像ｇ（ｎ1、ｎ2）を２次元離散フーリエ変換して得られる第２の周波数特徴Ｇ（ｋ1、ｋ2）は、図１４に示す式１、式２で与えられる。式１、式２において、ｋ1＝－Ｍ1、…、Ｍ1およびｋ2＝－Ｍ2、…、Ｍ2は離散周波数インデックス（整数）である。また、ＷN1およびＷN2は回転因子であり、図１４に示す式３、式４で与えられる。また、ＡF（ｋ1、ｋ2）およびＡG（ｋ1、ｋ2）は振幅スペクトル（振幅成分）、θF（ｋ1、ｋ2）およびθG（ｋ1、ｋ2）は位相スペクトル（位相成分）をそれぞれ表す。また、Σn1、n2は、図１４の式５に示すようにインデックス全域にわたる加算を表す。
続いて、周波数特徴取得部１０３を構成する各部について説明する。上記周波数変換部１３１は、データ置換部１０２から第１の置換済み画像と第２の置換済み画像とを受け取り、その各々の画像に対して、離散フーリエ変換を施し、その結果から振幅成分を算出するように構成されている。この振幅成分は、元の画像の平行移動に不変である。また、周波数変換部１３１は、上述したようなフィルタ処理によって、振幅成分を強調済み振幅成分に変換する。
上記極座標変換部１３２は、周波数変換部１３１から第１の強調済み振幅成分と第２の強調済み振幅成分とを受け取り、それらに対して対数極座標変換を施して、極座標画像を算出するように構成されている。この極座標画像は、フーリエ・メリン特徴画像と呼ばれる。元の画像の倍率、回転の変化は、フーリエ・メリン特徴画像においては平行移動の変化に変換される。
上記位相成分算出部１３３は、極座標変換部１３２から第１の画像のフーリエ・メリン特徴画像と第２の画像のフーリエ・メリン特徴画像とを受け取り、それらに対して離散フーリエ変換を施すことにより位相成分を算出するように構成されている。この位相成分はフーリエ・メリン位相特徴と呼ばれる。位相成分算出部１３３は、第１の画像のフーリエ・メリン位相特徴を第１の記憶部１０４に保存し、第２の画像のフーリエ・メリン位相特徴を第２の記憶部１０５に保存する。
次に、照合判定部１０６について詳細に説明する。照合判定部１０６は、第１の記憶部１０４に格納された第１の画像の周波数特徴と、第２の記憶部１０５に格納された第２の画像の周波数特徴と、を用いて、相関計算によって照合スコアを算出し、照合スコアに基づいて照合結果を判定するように構成されている。
周波数特徴同士の照合スコアの計算の方法としては、例えば、非特許文献１に記載の方法を用いることができる。その他の照合スコアの計算の方法としては、例えば、非特許文献２に記載の方法を用いることができる。
このように本実施形態に係る画像照合装置１００によれば、共通領域が存在する物体を、振幅相関ベースの手法を用いて高速に照合する場合でも頑健に照合することができる。その理由は、本実施形態に係る画像照合装置１００は、第１の画像と第２の画像とのそれぞれに対して共通領域を取得し、フーリエ変換で画像を振幅成分に変換した際に、照合に使用する周波数成分に影響が出ないように、固有領域の値に基づいて共通領域の輝度値を置換することで第１の置換済み画像と第２の置換済み画像を生成し、第１の置換済み画像と第２の置換済み画像を周波数特徴化した振幅相関ベースの手法によって照合を行っているためである。
なお、第１の画像と第２の画像との固有領域にスケール、回転の変動がない環境では、図１３の極座標変換部１３２を省略してもよい。極座標変換部１３２を省略した画像照合装置では、周波数変換部１３３は、周波数変換部１３１から第１の画像の振幅成分と第２の画像の振幅成分とを受け取り、それらに対して離散フーリエ変換した結果の位相画像を第１の記憶部１０４と第２の記憶部１０５とに格納する構成となる。
＜実施形態２＞
次に、本発明の第２の実施形態に係る画像照合装置について説明する。本実施形態に係る画像照合装置３００は、第１の実施形態に係る画像照合装置と比較して、共通領域取得部１０１が相違し、それ以外は第１の実施形態に係る画像照合装置と同じである。
図１５は、本実施形態に係る画像照合装置３００における共通領域取得部１０１のブロック図である。この例における共通領域取得部１０１は、画像取得部１４１と、共通領域指定部１４２とから構成される。
上記画像取得部１４１は、図５で示した画像取得部１１１と同様に、第１の画像と第２の画像を取得するように構成されている。
上記共通領域指定部１４２は、画像取得部１４１から第１の画像と第２の画像とを受け取り、ユーザーからの指示によって共通領域に該当する画素を記憶し、共通領域を示すためのマスク画像を出力するように構成されている。共通領域指定部１４２は、受け取った画像、およびマスク画像、および受け取った画像とマスク画像に基づいて合成した合成画像を、画面表示部２０３に表示できるように構成されている。
ここで、上述したユーザーからの指示とは、本実施形態に係る画像照合装置における操作入力部２０２から共通領域指定部１４２へ入力される情報のことである。例えば、ユーザーは前記操作入力部２０２を用いて、共通領域指定部１４２が受け取った第１の画像または第２の画像における各画素について、共通領域であるか固有領域であるかを指示する。ユーザーは、画面表示部２０３に表示されている画像、マスク画像、合成画像を確認しながら、共通領域であるか固有領域であるかを指示することができる。
なお、共通領域指定部１４２は、ユーザーからの指示を受けて、マスク画像の一部の値を自動的に決定して値を更新してもよい。このようにすることで、ユーザーは、画像の全画素に対して共通領域か固有領域かを指示する必要が無くなる。例えば、GraphCutと呼ばれる技術を用いて、画像およびマスク画像を参照し、既に共通領域か固有領域か決定済みの画素、およびその近傍画素情報を用いることで、共通領域か固有領域か未決定のマスク画像の画素の値を更新することができる。
共通領域指定部１４２は、ユーザーからの指示結果を反映して生成したマスク画像を、画面表示部２０３に表示してもよい。また、ユーザーへの視認性を向上させるために、合成画像を表示してもよい。合成画像の生成方法としては、例えばアルファブレンディングを用いることができる。マスク画像によって固有領域と判定されている画素を青色、共通領域と判定されている画素を赤色とした合成用画像を用意し、画像と合成用画像とをアルファブレンディングすることで、ユーザーは画像の各画素が固有領域か共通領域かを容易に視認できる。
本実施形態に係る画像照合装置によれば、第１の実施形態に係る画像照合装置と同じ理由により、共通領域が存在する物体を、振幅相関ベースの手法を用いて高速に照合する場合でも頑健に照合することができる。また、共通領域と固有領域の指定をユーザーが指示できる。このため、第１の実施形態に係る画像照合装置の共通領域取得部１１２が、固有領域と共通領域の判定を誤ってしまうような場合においても、正しいマスク画像を出力することができる。その結果、共通領域が存在する物体を、振幅相関ベースの手法を用いて高速に照合する場合でも頑健に照合することができる。
＜実施形態３＞
次に、本発明の第３の実施形態に係る画像照合装置について説明する。図１６は、実施形態３における画像照合装置の構成を示すブロック図である。なお、本実施形態では、実施形態１で説明した画像照合装置の構成の概略を示している。
図１６に示すように、本実施形態おける画像照合装置３００は、
第１の画像と第２の画像との共通領域を特定する共通領域特定部３０１と、
第１の画像内の画素に基づいて当該第１の画像の共通領域の輝度値を置換した第１の置換済み画像と、第２の画像内の画素に基づいて当該第２の画像の共通領域の輝度値を置換した第２の置換済み画像と、を生成するデータ置換部３０２と、
第１の置換済み画像と第２の置換済み画像との周波数特徴に基づいて第１の画像と第２の画像との照合を行う照合部３０３と、
を備える。
なお、上述した共通領域特定部３０１とデータ置換部３０２と判定部３０３とは、画像照合装置３００を構成する情報処理装置に搭載される演算装置が、プログラムを実行することで構築されるものであってもよく、電子回路で構築されるものであってもよい。
そして、上記構成の画像照合装置３００は、
第１の画像と第２の画像との共通領域を特定し、
第１の画像内の画素に基づいて当該第１の画像の共通領域の輝度値を置換した第１の置換済み画像と、第２の画像内の画素に基づいて当該第２の画像の共通領域の輝度値を置換した第２の置換済み画像と、を生成し、
第１の置換済み画像と第２の置換済み画像との周波数特徴に基づいて第１の画像と第２の画像との照合を行う、
という処理を実行するよう作動する。
上記発明によると、第１の画像と第２の画像との共通領域の輝度値を、各画像内の画素に基づいて、特に、各画像内の共通領域とは異なる固有領域の画素に基づいて特定して置換している。このため、第１の置換済み画像と第２の置換済み画像との周波数特徴に基づいて第１の画像と第２の画像との照合を行う際に、照合に使用する周波数成分の影響を抑制することができる。その結果、振幅相関ベースの手法を用いて高速に照合する場合でも頑健に照合することができる。
＜産業上の利用可能性＞
本発明は、２つの画像の照合を行う分野に利用でき、特に、製品の表面の微細凹凸や紋様、素材表面のランダムパターン等の、同一製造過程で生じる自然発生的な微細なパターンの差異を、カメラ等の撮像装置を用いて画像として取得し、その微細なパターンを認識することで、製品個々の個体識別や管理を行う分野に利用できる。
＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における画像照合装置、画像照合方法、プログラムの構成の概略を説明する。但し、本発明は、以下の構成に限定されない。
（付記１）
第１の画像と第２の画像との共通領域を特定する共通領域特定部と、
前記第１の画像内の画素に基づいて当該第１の画像の前記共通領域の輝度値を置換した第１の置換済み画像と、前記第２の画像内の画素に基づいて当該第２の画像の前記共通領域の輝度値を置換した第２の置換済み画像と、を生成するデータ置換部と、
前記第１の置換済み画像と前記第２の置換済み画像との周波数特徴に基づいて前記第１の画像と前記第２の画像との照合を行う照合部と、
を備えた画像照合装置。
（付記２）
付記１に記載の画像照合装置であって、
前記データ置換部は、前記第１の画像の前記共通領域とは異なる領域の画素に基づいて当該第１の画像の前記共通領域の輝度値を置換した前記第１の置換済み画像を生成し、前記第２の画像の前記共通領域とは異なる領域の画素に基づいて当該第２の画像の前記共通領域の輝度値を置換した前記第２の置換済み画像を生成する、
画像照合装置。
（付記３）
付記２に記載の画像照合装置であって、
前記データ置換部は、前記第１の画像の前記共通領域とは異なる領域の画素の輝度値に基づいて当該第１の画像の前記共通領域の輝度値を置換した前記第１の置換済み画像を生成し、前記第２の画像の前記共通領域とは異なる領域の画素の輝度値に基づいて当該第２の画像の前記共通領域の輝度値を置換した前記第２の置換済み画像を生成する、
画像照合装置。
（付記４）
付記３に記載の画像照合装置であって、
前記データ置換部は、前記第１の画像の前記共通領域とは異なる領域の全ての画素の輝度値に基づいて算出した値に、当該第１の画像の前記共通領域の輝度値を置換した前記第１の置換済み画像を生成し、前記第２の画像の前記共通領域とは異なる領域の全ての画素の輝度値に基づいて算出した値に、当該第２の画像の前記共通領域の輝度値を置換した前記第２の置換済み画像を生成する、
画像照合装置。
（付記５）
付記４に記載の画像照合装置であって、
前記データ置換部は、
前記第１の画像における前記共通領域の画素の輝度値と当該共通領域とは異なる領域の画素の輝度値との差分よりも、前記第１の置換済み画像における前記共通領域の画素の輝度値と当該共通領域とは異なる領域の画素の輝度値との差分が小さくなるよう、前記第１の置換済み画像を生成し、
前記第２の画像における前記共通領域の画素の輝度値と当該共通領域とは異なる領域の画素の輝度値との差分よりも、前記第２の置換済み画像における前記共通領域の画素の輝度値と当該共通領域とは異なる領域の画素の輝度値との差分が小さくなるよう、前記第２の置換済み画像を生成する、
画像照合装置。
（付記６）
付記４又は５に記載の画像照合装置であって、
前記データ置換部は、
前記第１の画像の振幅成分と前記第１の置換済み画像の振幅成分とをそれぞれ振幅強調処理した場合に、前記第１の画像の強調済み振幅成分と前記第１の置換済み画像の強調済み振幅成分との間で変化が生じにくくなるよう、前記第１の置換済み画像を生成し、
前記第２の画像の振幅成分と前記第２の置換済み画像の振幅成分とをそれぞれ振幅強調処理した場合に、前記第２の画像の強調済み振幅成分と前記第２の置換済み画像の強調済み振幅成分との間で変化が生じにくくなるよう、前記第２の置換済み画像を生成する、
画像照合装置。
（付記７）
付記４乃至６のいずれかに記載の画像照合装置であって、
前記データ置換部は、前記第１の画像の前記共通領域とは異なる領域の全ての画素の輝度値を平均した値に、当該第１の画像の前記共通領域の輝度値を置換した前記第１の置換済み画像を生成し、前記第２の画像の前記共通領域とは異なる領域の全ての画素の輝度値を平均した値に、当該第２の画像の前記共通領域の輝度値を置換した前記第２の置換済み画像を生成する、
画像照合装置。
（付記８）
付記１乃至７のいずれかに記載の画像照合装置であって、
前記照合部は、前記第１の置換済み画像と前記第２の置換済み画像とをフーリエ変換し、振幅成分同士の所定の相関計算を行うことで、前記第１の画像と前記第２の画像との照合を行う、
画像照合装置。
（付記９）
情報処理装置に、
第１の画像と第２の画像との共通領域を特定する共通領域特定部と、
前記第１の画像内の画素に基づいて当該第１の画像の前記共通領域の輝度値を置換した第１の置換済み画像と、前記第２の画像内の画素に基づいて当該第２の画像の前記共通領域の輝度値を置換した第２の置換済み画像と、を生成するデータ置換部と、
前記第１の置換済み画像と前記第２の置換済み画像との周波数特徴に基づいて前記第１の画像と前記第２の画像との照合を行う照合部と、
を実現させるためのプログラム。
（付記１０）
第１の画像と第２の画像との共通領域を特定し、
前記第１の画像内の画素に基づいて当該第１の画像の前記共通領域の輝度値を置換した第１の置換済み画像と、前記第２の画像内の画素に基づいて当該第２の画像の前記共通領域の輝度値を置換した第２の置換済み画像と、を生成し、
前記第１の置換済み画像と前記第２の置換済み画像との周波数特徴に基づいて前記第１の画像と前記第２の画像との照合を行う、
画像照合方法。
（付記１１）
付記１０に記載の画像照合方法であって、
前記第１の画像の前記共通領域とは異なる領域の画素に基づいて当該第１の画像の前記共通領域の輝度値を置換した前記第１の置換済み画像を生成し、前記第２の画像の前記共通領域とは異なる領域の画素に基づいて当該第２の画像の前記共通領域の輝度値を置換した前記第２の置換済み画像を生成する、
画像照合装方法
（付記１２）
付記１１に記載の画像照合方法であって、
前記第１の画像の前記共通領域とは異なる領域の画素の輝度値に基づいて当該第１の画像の前記共通領域の輝度値を置換した前記第１の置換済み画像を生成し、前記第２の画像の前記共通領域とは異なる領域の画素の輝度値に基づいて当該第２の画像の前記共通領域の輝度値を置換した前記第２の置換済み画像を生成する、
画像照合装方法。
（付記１３）
付記１２に記載の画像照合方法であって、
前記第１の画像の前記共通領域とは異なる領域の全ての画素の輝度値に基づいて算出した値に、当該第１の画像の前記共通領域の輝度値を置換した前記第１の置換済み画像を生成し、前記第２の画像の前記共通領域とは異なる領域の全ての画素の輝度値に基づいて算出した値に、当該第２の画像の前記共通領域の輝度値を置換した前記第２の置換済み画像を生成する、
画像照合方法。
（付記１４）
付記１３に記載の画像照合方法であって、
前記第１の画像における前記共通領域の画素の輝度値と当該共通領域とは異なる領域の画素の輝度値との差分よりも、前記第１の置換済み画像における前記共通領域の画素の輝度値と当該共通領域とは異なる領域の画素の輝度値との差分が小さくなるよう、前記第１の置換済み画像を生成し、
前記第２の画像における前記共通領域の画素の輝度値と当該共通領域とは異なる領域の画素の輝度値との差分よりも、前記第２の置換済み画像における前記共通領域の画素の輝度値と当該共通領域とは異なる領域の画素の輝度値との差分が小さくなるよう、前記第２の置換済み画像を生成する、
画像照合方法。
（付記１５）
付記１３又は１４に記載の画像照合方法であって、
前記第１の画像の振幅成分と前記第１の置換済み画像の振幅成分とをそれぞれ振幅強調処理した場合に、前記第１の画像の強調済み振幅成分と前記第１の置換済み画像の強調済み振幅成分との間で変化が生じにくくなるよう、前記第１の置換済み画像を生成し、
前記第２の画像の振幅成分と前記第２の置換済み画像の振幅成分とをそれぞれ振幅強調処理した場合に、前記第２の画像の強調済み振幅成分と前記第２の置換済み画像の強調済み振幅成分との間で変化が生じにくくなるよう、前記第２の置換済み画像を生成する、
画像照合方法。
（付記１６）
付記１３乃至１５のいずれかに記載の画像照合方法であって、
前記データ置換部は、前記第１の画像の前記共通領域とは異なる領域の全ての画素の輝度値を平均した値に、当該第１の画像の前記共通領域の輝度値を置換した前記第１の置換済み画像を生成し、前記第２の画像の前記共通領域とは異なる領域の全ての画素の輝度値を平均した値に、当該第２の画像の前記共通領域の輝度値を置換した前記第２の置換済み画像を生成する、
画像照合方法。
（付記１７）
付記１０乃至１６のいずれかに記載の画像照合方法であって、
前記第１の置換済み画像と前記第２の置換済み画像とをフーリエ変換し、振幅成分同士の所定の相関計算を行うことで、前記第１の画像と前記第２の画像との照合を行う、
画像照合方法。
なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。
１００ 画像照合装置
１０１ 共通領域取得部
１０２ データ置換部
１０３ 周波数特徴取得部
１０４ 第１の記憶部
１０５ 第２の記憶部
１０６ 照合判定部
１０７ 情報提示部
１１１ 画像取得部
１１２ 共通領域判定部
１２１ 置換値推定部
１２２ 画素値置換処理部
１３１ 周波数変換部
１３２ 極座標変換部
１３３ 位相成分算出部
１４１ 画像取得部
１４２ 共通領域指定部
２００ 情報処理装置
２０１ 撮像部
２０２ 操作入力部
２０３ 画像表示部
２０４ 通信インターフェース部
２０６ 演算処理部
２０７ 記憶部
３００ 画像照合装置
３０１ 共通領域特定部
３０２ データ置換部
３０３ 照合部

Claims (10)

  1. 第１の画像と第２の画像との共通領域を特定する共通領域特定部と、
    前記第１の画像内の画素に基づいて当該第１の画像の前記共通領域の輝度値を置換した第１の置換済み画像と、前記第２の画像内の画素に基づいて当該第２の画像の前記共通領域の輝度値を置換した第２の置換済み画像と、を生成するデータ置換部と、
    前記第１の置換済み画像と前記第２の置換済み画像との周波数特徴に基づいて前記第１の画像と前記第２の画像との照合を行う照合部と、
    を備えた画像照合装置。
  2. 請求項１に記載の画像照合装置であって、
    前記データ置換部は、前記第１の画像の前記共通領域とは異なる領域の画素に基づいて当該第１の画像の前記共通領域の輝度値を置換した前記第１の置換済み画像を生成し、前記第２の画像の前記共通領域とは異なる領域の画素に基づいて当該第２の画像の前記共通領域の輝度値を置換した前記第２の置換済み画像を生成する、
    画像照合装置。
  3. 請求項２に記載の画像照合装置であって、
    前記データ置換部は、前記第１の画像の前記共通領域とは異なる領域の画素の輝度値に基づいて当該第１の画像の前記共通領域の輝度値を置換した前記第１の置換済み画像を生成し、前記第２の画像の前記共通領域とは異なる領域の画素の輝度値に基づいて当該第２の画像の前記共通領域の輝度値を置換した前記第２の置換済み画像を生成する、
    画像照合装置。
  4. 請求項３に記載の画像照合装置であって、
    前記データ置換部は、前記第１の画像の前記共通領域とは異なる領域の全ての画素の輝度値に基づいて算出した値に、当該第１の画像の前記共通領域の輝度値を置換した前記第１の置換済み画像を生成し、前記第２の画像の前記共通領域とは異なる領域の全ての画素の輝度値に基づいて算出した値に、当該第２の画像の前記共通領域の輝度値を置換した前記第２の置換済み画像を生成する、
    画像照合装置。
  5. 請求項４に記載の画像照合装置であって、
    前記データ置換部は、
    前記第１の画像における前記共通領域の画素の輝度値と当該共通領域とは異なる領域の画素の輝度値との差分よりも、前記第１の置換済み画像における前記共通領域の画素の輝度値と当該共通領域とは異なる領域の画素の輝度値との差分が小さくなるよう、前記第１の置換済み画像を生成し、
    前記第２の画像における前記共通領域の画素の輝度値と当該共通領域とは異なる領域の画素の輝度値との差分よりも、前記第２の置換済み画像における前記共通領域の画素の輝度値と当該共通領域とは異なる領域の画素の輝度値との差分が小さくなるよう、前記第２の置換済み画像を生成する、
    画像照合装置。
  6. 請求項４又は５に記載の画像照合装置であって、
    前記データ置換部は、
    前記第１の画像の振幅成分と前記第１の置換済み画像の振幅成分とをそれぞれ振幅強調処理した場合に、前記第１の画像の強調済み振幅成分と前記第１の置換済み画像の強調済み振幅成分との間で変化が生じにくくなるよう、前記第１の置換済み画像を生成し、
    前記第２の画像の振幅成分と前記第２の置換済み画像の振幅成分とをそれぞれ振幅強調処理した場合に、前記第２の画像の強調済み振幅成分と前記第２の置換済み画像の強調済み振幅成分との間で変化が生じにくくなるよう、前記第２の置換済み画像を生成する、
    画像照合装置。
  7. 請求項４乃至６のいずれかに記載の画像照合装置であって、
    前記データ置換部は、前記第１の画像の前記共通領域とは異なる領域の全ての画素の輝度値を平均した値に、当該第１の画像の前記共通領域の輝度値を置換した前記第１の置換済み画像を生成し、前記第２の画像の前記共通領域とは異なる領域の全ての画素の輝度値を平均した値に、当該第２の画像の前記共通領域の輝度値を置換した前記第２の置換済み画像を生成する、
    画像照合装置。
  8. 請求項１乃至７のいずれかに記載の画像照合装置であって、
    前記照合部は、前記第１の置換済み画像と前記第２の置換済み画像とをフーリエ変換し、振幅成分同士の所定の相関計算を行うことで、前記第１の画像と前記第２の画像との照合を行う、
    画像照合装置。
  9. 情報処理装置に、
    第１の画像と第２の画像との共通領域を特定する共通領域特定部と、
    前記第１の画像内の画素に基づいて当該第１の画像の前記共通領域の輝度値を置換した第１の置換済み画像と、前記第２の画像内の画素に基づいて当該第２の画像の前記共通領域の輝度値を置換した第２の置換済み画像と、を生成するデータ置換部と、
    前記第１の置換済み画像と前記第２の置換済み画像との周波数特徴に基づいて前記第１の画像と前記第２の画像との照合を行う照合部と、
    を実現させるためのプログラム。
  10. 第１の画像と第２の画像との共通領域を特定し、
    前記第１の画像内の画素に基づいて当該第１の画像の前記共通領域の輝度値を置換した第１の置換済み画像と、前記第２の画像内の画素に基づいて当該第２の画像の前記共通領域の輝度値を置換した第２の置換済み画像と、を生成し、
    前記第１の置換済み画像と前記第２の置換済み画像との周波数特徴に基づいて前記第１の画像と前記第２の画像との照合を行う、
    画像照合方法。
JP2020557521A 2018-11-30 2018-11-30 画像照合装置、画像照合方法、プログラム Active JP7081685B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/044265 WO2020110309A1 (ja) 2018-11-30 2018-11-30 画像照合装置、画像照合方法、プログラム

Publications (2)

Publication Number Publication Date
JPWO2020110309A1 JPWO2020110309A1 (ja) 2021-09-27
JP7081685B2 true JP7081685B2 (ja) 2022-06-07

Family

ID=70853243

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020557521A Active JP7081685B2 (ja) 2018-11-30 2018-11-30 画像照合装置、画像照合方法、プログラム

Country Status (3)

Country Link
US (1) US11748863B2 (ja)
JP (1) JP7081685B2 (ja)
WO (1) WO2020110309A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120243797A1 (en) 2005-09-05 2012-09-27 Alpvision, S.A. Means for using microstructure of materials surface as a unique identifier
JP2015176433A (ja) 2014-03-17 2015-10-05 コニカミノルタ株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
WO2018100669A1 (ja) 2016-11-30 2018-06-07 日本電気株式会社 個体識別装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100228618B1 (ko) * 1994-05-31 1999-11-01 아끼구사 나오유끼 연결영역의 추출장치 및 방법
DE69733233T2 (de) * 1996-09-11 2006-01-19 Canon K.K. Bildverarbeitung zur dreidimensionalen Wiedergabe von Bilddaten auf der Anzeige eines Bildaufnahmegeräts
JPH113423A (ja) * 1997-06-10 1999-01-06 Hamamatsu Photonics Kk 画像照合装置及び照合方法並びに照合プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4380205B2 (ja) 2003-03-07 2009-12-09 ソニー株式会社 画像照合装置および画像照合方法
JP4791115B2 (ja) * 2005-09-14 2011-10-12 株式会社山武 マーク検知装置
JP5018073B2 (ja) * 2006-12-21 2012-09-05 富士ゼロックス株式会社 表面読取装置および対象物確認装置
US8532421B2 (en) * 2010-11-12 2013-09-10 Adobe Systems Incorporated Methods and apparatus for de-blurring images using lucky frames
US8810626B2 (en) * 2010-12-20 2014-08-19 Nokia Corporation Method, apparatus and computer program product for generating panorama images
JP5454466B2 (ja) * 2010-12-29 2014-03-26 コニカミノルタ株式会社 文字検出装置、文字検出方法、およびコンピュータプログラム
JP5598325B2 (ja) * 2010-12-29 2014-10-01 コニカミノルタ株式会社 文字検出装置、文字検出方法、およびコンピュータプログラム
JP6056354B2 (ja) * 2012-10-10 2017-01-11 コニカミノルタ株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2015535348A (ja) * 2012-10-30 2015-12-10 カリフォルニア インスティチュート オブ テクノロジー フーリエ・タイコグラフィー撮像システム、装置、及び方法
EP3028088B1 (en) * 2013-07-31 2022-01-19 California Institute of Technology Aperture scanning fourier ptychographic imaging
US10339178B2 (en) * 2015-06-30 2019-07-02 Samsung Electronics Co., Ltd. Fingerprint recognition method and apparatus
US10136055B2 (en) * 2016-07-29 2018-11-20 Multimedia Image Solution Limited Method for stitching together images taken through fisheye lens in order to produce 360-degree spherical panorama
US11044404B1 (en) * 2018-11-28 2021-06-22 Vulcan Inc. High-precision detection of homogeneous object activity in a sequence of images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120243797A1 (en) 2005-09-05 2012-09-27 Alpvision, S.A. Means for using microstructure of materials surface as a unique identifier
JP2015176433A (ja) 2014-03-17 2015-10-05 コニカミノルタ株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
WO2018100669A1 (ja) 2016-11-30 2018-06-07 日本電気株式会社 個体識別装置

Also Published As

Publication number Publication date
JPWO2020110309A1 (ja) 2021-09-27
US20220020129A1 (en) 2022-01-20
US11748863B2 (en) 2023-09-05
WO2020110309A1 (ja) 2020-06-04

Similar Documents

Publication Publication Date Title
US10726539B2 (en) Image processing apparatus, image processing method and storage medium
CN107409166B (zh) 摇摄镜头的自动生成
US10430962B2 (en) Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, and storage medium that calculate a three-dimensional shape of an object by capturing images of the object from a plurality of directions
US9714826B2 (en) Measurement apparatus and method thereof
JP5978949B2 (ja) 画像合成装置及び画像合成用コンピュータプログラム
US9064178B2 (en) Edge detection apparatus, program and method for edge detection
US10181202B2 (en) Control apparatus, robot, and control method
US10846839B2 (en) Image processing apparatus, image processing method, and storage medium
US20140146999A1 (en) Device, method and non-transitory computer readable storage medium for detecting object
JP2015106848A (ja) 情報埋め込み装置、情報検出装置、情報埋め込み方法、及び情報検出方法
JP2016526182A (ja) レンズ装着平面性の即時調整方法及び装置
JP2014186010A (ja) 計測装置、方法及びプログラム
JP7081685B2 (ja) 画像照合装置、画像照合方法、プログラム
JP6452361B2 (ja) 情報処理装置、情報処理方法、プログラム
US9270883B2 (en) Image processing apparatus, image pickup apparatus, image pickup system, image processing method, and non-transitory computer-readable storage medium
CN110926369B (zh) 一种高精度结构光三维测量系统及方法
CN111968143A (zh) 基于关联成像的边缘图像提取方法及系统
JP2015161529A (ja) 表面検査装置、表面検査方法およびプログラム
JP6378496B2 (ja) 画像処理装置、制御方法及び記録媒体
JP2014225753A (ja) マーカ検出装置、マーカ検出方法、及びプログラム
Nasonov et al. Edge width estimation for defocus map from a single image
JP2018041169A (ja) 情報処理装置およびその制御方法、プログラム
JP2017223512A (ja) 表面状態診断装置
JP6331914B2 (ja) アルゴリズム生成装置、アルゴリズム生成方法及びアルゴリズム生成用コンピュータプログラム
JP2019016222A (ja) 画像処理装置およびその制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210426

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220509

R151 Written notification of patent or utility model registration

Ref document number: 7081685

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151