JP2015138413A - 画像照合方法、画像処理システム、及びプログラム - Google Patents

画像照合方法、画像処理システム、及びプログラム Download PDF

Info

Publication number
JP2015138413A
JP2015138413A JP2014009859A JP2014009859A JP2015138413A JP 2015138413 A JP2015138413 A JP 2015138413A JP 2014009859 A JP2014009859 A JP 2014009859A JP 2014009859 A JP2014009859 A JP 2014009859A JP 2015138413 A JP2015138413 A JP 2015138413A
Authority
JP
Japan
Prior art keywords
feature point
pair
image
candidate
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014009859A
Other languages
English (en)
Other versions
JP6248647B2 (ja
Inventor
恵 近野
Megumi Konno
恵 近野
昌平 中潟
Shohei Nakagata
昌平 中潟
田中 竜太
Ryuta Tanaka
竜太 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2014009859A priority Critical patent/JP6248647B2/ja
Priority to US14/567,451 priority patent/US9424487B2/en
Publication of JP2015138413A publication Critical patent/JP2015138413A/ja
Application granted granted Critical
Publication of JP6248647B2 publication Critical patent/JP6248647B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

【課題】画像照合の対象の特徴点を絞り込む。【解決手段】画像処理装置は、生成された第1のペア候補のうちの第1の特徴点ペアに対し、1つ以上の第2の特徴点ペアについて以下の処理を行う。すなわち、第1のベクトルは、第1の特徴点ペアの第1の特徴点と第2の特徴点ペアの第1の特徴点とを結ぶベクトルとする。第2のベクトルは、第1の特徴点ペアの第2の特徴点と第2の特徴点ペアの第2の特徴点とを結ぶベクトルとする。このとき、画像処理装置は、第1のベクトルと第2のベクトルとのなす角度と所定の角度との比較の結果に基づき、第1のペア候補から削除する第1の特徴点ペアを判定する。また、画像処理装置は、第1のペア候補から、削除すると判定された第1の特徴点ペアを除いた第2のペア候補に含まれる特徴点ペアに基づき第1の画像と第2の画像との照合を行う。【選択図】図1

Description

本発明は、画像照合方法、画像処理システム、及びプログラムに関する。
画像をクエリとする画像検索や、画像の合成によるパノラマ画像の作成など、画像から求めた特徴点を用いて画像の照合を行う技術が広く使用されている。例えば、2つの画像のうちの一方の画像の特徴点の座標が、他方の画像の特徴点の座標と一致するように座標変換処理するための座標変換係数を決定する方法がある。互いに異なる角度から検査対象物体を撮影した第1及び第2の画像において、第1の画像から第2の画像への画像の平面的な射影変換を実行して得られる変換座標と、第2の画像における特徴点座標との誤差が一定値以下の場合、なりすましが試みられたと判定する方法も知られている。異なるカテゴリに属する部分空間の間の類似度を大きくする一方で、同じカテゴリに属する部分空間の間の類似度は小さくするような線形変換行列が得られる線形変換行列算出装置や、指紋照合に用いる画像検索なども知られている。局所不変特徴量の使用により得られた誤対応や混合した対応点を含む対応付け結果から、個々の認識対象の対応点を分離し、それに基づいて認識を行うことができる映像内の複数広告看板の認識方法も知られている。このとき、視点位置や認識対象の姿勢の変化では生じ得ない変形を除去するようにしている。(例えば、特許文献1〜5参照)。
画像照合に用いられる2画像間の射影変換行列推定方法としては、例えば、Random Sample Consensus(RANSAC)がある(例えば、非特許文献1参照)。また、クラスタリングを用いてm個の特徴点ペアの選択範囲を限定する方法が知られている(例えば、非特許文献2参照)。異なる景色などを撮影した画像において、信頼できる照合を行う方法も知られている(例えば、非特許文献3参照)。
特開2010−272091号公報 国際公開WO2010/050206号公報 特表2008−529156号公報 特開2010−182013号公報 特開2007−140613号公報
M. A. Fischler and R. C. Bolles, "Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography," Communications of the ACM, 24(6):381-395, 1981. Kai Ni, Hailin Jin, and Frank Dellaert, "GroupSAC: Efficient Consensus in the Presence of Groupings," IEEE Interational Conference on Computer Vision (ICCV), 2009. David G. Lowe, "Distinctive image features from scale-invariant keypoints," International Journal of Computer Vision, 60, 2 (2004), pp. 91-110.
画像の照合等において撮影画像を用いる場合、背景や遮蔽物、光の反射や影などのノイズが多く含まれることにより、特徴点のペア候補群の中に誤った特徴点ペア(outlier)が増加する場合がある。ペア候補群の中のoutlierの割合が高くなると、特徴点ペアの全てが正しいペア(inlier)である確率が減少する。このため、照合対象の画像間の変換行列を推定するための行列計算を複数回行っても、行列が計算できなかったり、推定精度が悪化したりするという問題が生じる。
ひとつの側面によれば、本発明の目的は、画像照合の対象の特徴点を絞り込むことを可能とすることである。
ひとつの態様である画像照合方法は、画像処理装置が、第1の画像と第2の画像とにおいてそれぞれ抽出された複数の特徴点から、互いに対応する第1の画像の第1の特徴点と第2の画像の第2の特徴点との特徴点ペアを複数含む第1のペア候補を生成する。画像処理装置は、生成された第1のペア候補のうちの第1の特徴点ペアに対し、1つ以上の第2の特徴点ペアについて以下の処理を行う。すなわち、第1のベクトルは、第1の特徴点ペアの第1の特徴点と第2の特徴点ペアの第1の特徴点とを結ぶベクトルとする。第2のベクトルは、第1の特徴点ペアの第2の特徴点と第2の特徴点ペアの第2の特徴点とを結ぶベクトルとする。このとき、画像処理装置は、第1のベクトルと第2のベクトルとのなす角度と所定の角度との比較の結果に基づき、第1のペア候補から削除する第1の特徴点ペアを判定する。また、画像処理装置は、第1のペア候補から、削除すると判定された第1の特徴点ペアを除いた第2のペア候補に含まれる特徴点ペアに基づき第1の画像と第2の画像との照合を行う。
実施形態の画像照合方法、画像処理システム及びプログラムによれば、画像照合の対象の特徴点を絞り込むことが可能になる。
画像処理システムの構成の一例を示す図である。 画像処理システムの機能の一例を示すブロック図である。 ペア判定の一例を示す図である。 ペア判定の一例を示す図である。 ペア判定におけるセットの判定方法を説明する図である。 ペア判定におけるセットの判定方法を説明する図である。 ペア判定の効果の一例を示す図である。 ペア候補テーブルの一例を示す図である。 行列推定テーブルの一例を示す図である。 画像処理システムの動作を説明するフローチャートである。 ペア判定処理の一例を示すフローチャートである。 行列推定処理の一例を示すフローチャートである。 第1の変形例によるペア選択処理を説明する図である。 第1の変形例によるペア選択処理の一例を示すフローチャートである。 第2の変形例によるペア選択処理において適切なセットを選択する例を示す図である。 第2の変形例によるペア選択処理の一例を示すフローチャートである。 第3の変形例によるセット選択処理の一例を示すフローチャートである。 標準的なコンピュータのハードウエア構成の一例を示す図である。
(一実施の形態)
以下、図面を参照しながら、一実施の形態による画像処理システム1について説明する。図1は、本実施の形態による画像処理システム1の構成の一例を示す図である。図1に示すように、画像処理システム1は、サーバ3、クライアント11がネットワーク8を介して接続されたシステムである。サーバ3は、例えば標準的なコンピュータなどの情報処理装置である。ネットワーク8は、有線または無線による通信ネットワークである。クライアント11は、例えば多機能携帯電話、携帯情報端末などである。
サーバ3は、演算処理装置5、通信装置7、および記憶装置9を有している。演算処理装置5は、サーバ3における演算処理を行う例えば中央演算処理装置(Central Processing Unit:CPU)等のプロセッサである。演算処理装置5は、例えば記憶装置9に記憶されたプログラムを読み込んで実行することにより、サーバ3の動作に必要な演算処理を行う。通信装置7は、ネットワーク8を介して外部との情報の送受信を行う装置であり、アンテナ、送受信回路などを含む。記憶装置9は、サーバ3の動作を制御するプログラムや、処理に必要な情報等を記憶する記憶装置である。記憶装置9は、例えば、半導体記憶装置、外部記憶装置などを含むようにしてもよく、複数の画像情報、または画像の特徴点及び特徴量を含む情報を記憶するようにしてもよい。
クライアント11は、演算処理装置13、入力装置15、表示装置17、記憶装置19、通信装置21、カメラ22を有している。演算処理装置13は、クライアント11の動作を制御するプロセッサであり、例えば記憶装置19に記憶されたプログラムを読み込んで実行することにより、クライアント11の動作を制御する。入力装置15は、クライアント11に対する処理等を入力するための装置であり、例えば、キーボード装置、タッチパネル、マイク等である。表示装置17は、情報を表示する装置であり、例えば液晶表示装置などである。通信装置21は、ネットワーク8を介して情報を送受信する装置であり、アンテナ、送受信回路などを含む。カメラ22は、画像を撮影する装置である。
画像処理システム1では、例えばクライアント11で撮影された第1の画像を、ネットワーク8を介してサーバ3に送信し、サーバ3が記憶装置9から読み出した第2の画像と照合処理を行う。
図2は、本実施の形態による画像処理システム1の機能の一例を示すブロック図である。図2に示すように画像処理システム1は、特徴点抽出部23、ペア生成部25、ペア判定部27、ペア選択部29、行列推定部31、照合部33を有している。
特徴点抽出部23は、照合対象の第1の画像及び第2の画像から特徴点及び特徴点における特徴量を抽出する。このとき、例えば、特徴点抽出部23は、第1の画像については、クライアント11で特徴点及び特徴量を抽出し、第2の画像については、記憶装置19から読み出し、サーバ3側で特徴点及び特徴量を抽出してもよい。このとき、サーバ3では、第1の画像については、クライアント11からネットワーク8を介して特徴点及び特徴量を受信するようにしてもよい。
特徴点には、画像中におけるコーナなど、同じ画像から繰り返し求められる顕著な部分を用いる。各特徴点を表す特徴量には、例えば回転不変の特徴を用いる。例えば特徴点、特徴量には非特許文献3に記載のScal−Invariant Feature Transform(SIFT)やSpread−Up Robust Features(SURF)などを用いることができる。ただし、あらかじめ想定できる2画像間の撮影対象に対する撮影装置の位置関係から、2画像間の位置関係において回転角度が小さいと判断できる場合は、特徴量は回転不変でなくてもよい。
ペア生成部25は、第1の画像及び第2の画像から抽出された特徴点及び特徴量に基づき、互いに対応する第1の特徴点及び第2の特徴点を特徴点ペアとして生成する。ペアの生成は、例えば、第1の画像と第2の画像の特徴量の類似度の高い特徴点を対応付けることにより行うことができる。例えば、SIFT特徴を用いる場合、第1の画像の特徴点と第2の画像の特徴点との特徴量の距離を求め、最も距離が小さい特徴点の組み合わせを特徴点ペアとして対応付ける。ペア生成部25は、複数の特徴点ペアを生成し、第1のペア候補として記憶装置9にそれぞれの画像における特徴点の座標位置を記憶させる。このとき、ペア生成部25は、後述するペア候補テーブル140に特徴点ペアを記憶させるようにしてもよい。
ペア判定部27は、ペア生成部25で生成された第1のペア候補に含まれる各特徴点ペアを、第1の画像と第2の画像との照合を行うための行列を推定するために用いるのが適切か否かを判定する。例えばペア判定部27は、第1のペア候補から第1の特徴点ペアを選択する。ペア判定部27は、第1の特徴点ペアと異なる第2の特徴点ペアを第1のペア候補から選択し、第1の特徴点ペアと第2の特徴点ペアとのそれぞれの画像における特徴点同士を結んだベクトルのなす角度(以下、判定角度という)に基づき、ペアが適切か否かを判定する。すなわち、第1のベクトルは、第1の特徴点ペアの第1の画像の第1の特徴点と第2の特徴点ペアの第1の画像の第1の特徴点とを結ぶベクトルである。また、第2のベクトルは、第1の特徴点ペアの第2の画像の第2の特徴点と第2の特徴点ペアの第2の画像の第2の特徴点とを結ぶベクトルである。このとき、判定角度は、第1のベクトルと第2のベクトルとのなす角度である。
具体的な判定としては、例えば判定角度が所定角度以下の第2の特徴点ペアの数の割合が、判定角度を算出した第2の特徴点ペアの数に対し所定値以上であれば、第1の特徴点は、行列を算出するために適切な特徴点ペアであると判定する。ペア判定部27は、適切であると判定されなかった第1の特徴点ペアを、第1のペア候補から削除する。削除後の第1のペア候補を、第2のペア候補という。なお、判定角度は、対象となる2つの特徴点ペアの各画像上の特徴点同士を結ぶ第1のベクトルと第2のベクトルとのなす、0度から180度以下の角度と定義することができる。
ペア選択部29は、第2のペア候補から、例えばランダムに、予め定められた2以上の有限個(m個:mは2以上の整数)の特徴点ペアを選択する。行列推定部31は、m個の特徴点ペアに基づき、第1の画像と第2の画像との関係を示す変換行列を算出する。この、第1の画像と第2の画像との間の変換行列を推定する処理は、ロバスト推定法である非特許文献1に記載のRandom Sample Consensus(RANSAC)を用いることで、ノイズを除きながら行うことが可能となる。具体的には、m個の対応する特徴点ペアの座標を基に、2画像間の変換行列(回転変換、相似変換、平行移動:m=2、アフィン変換:M=3、射影変換:m=4)を求める。さらに、行列推定部31は、例えば第2のペア候補の上記m個以外の特徴点ペアを用いて、行列の尤もらしさを表す評価値を求める。
照合部33は、算出された評価値に基づき、第1の画像と第2の画像との照合を行う。例えば、評価値が予め決められた値より大きければ、尤もらしい行列が推定されたと判定し、第1の画像と第2の画像とは一致していると判定するようにしてもよい。
図3、図4は、本実施の形態によるペア判定の一例を示す図である。図3、図4では、第1の画像における特徴点A〜D、第2の画像における特徴点A’〜D’を示している。
図3に示すように、第1の画像における特徴点Aと、第2の画像における特徴点A’が、ペア61で表されている。同様に、この例ではペア63〜ペア69が示されている。このとき、第1の画像において第1の特徴点は特徴点Aであり、第1の画像における第2の特徴点は、特徴点B〜Eであるとする。例えば、第1のベクトルがベクトルAB、第2のベクトルがベクトルA’B’のとき、ペア判定部27は、第1のベクトルと第2のベクトルとのなす判定角度が予め決められた角度より大きいか否かを判別する。同様に、ベクトルACとベクトルA’C’、ベクトルADとベクトルA’D’、ベクトルAEとベクトルA’E’がなす判定角度をそれぞれ判別する。
図3の例では、ベクトル43とベクトル53、ベクトル45とベクトル55の組合せでは、ベクトル同士のなす判定角度が決められた角度より大きい。よって、対応する特徴点ペアAA’と特徴点ペアBB’との組合せ(セットという)、および特徴点ペアAA’と特徴点ペアCC’とのセットとが、不適切な特徴点ペアのセットとなる。また、ベクトル47とベクトル57、ベクトル49とベクトル59の組合せが適切な特徴点ペアのセット(特徴点ペアAA’と特徴点ペアDD’とのセット、および特徴点ペアAA’と特徴点ペアEE’とのセット)を示している。この例では、4つのセットに対し、適切なセットは2つである。よって、特徴点ペアAA’に関して、適切なセットの割合は50%となる。このとき、予め決められた閾値が50%未満であれば、第1の特徴点ペアである特徴点ペアAA’は、適切な特徴点ペア(inlier)であると判別される。
図4は、ベクトル73〜79とベクトル83〜89との組合せに対応する全てのセットが不適切なセットであることを示している。閾値は0%を超えていると考えられるので、この場合には、特徴点ペアAA’は、不適切な特徴点ペア(outlier)であると判別される。
図5、図6は、上記ペア判定におけるセットの判定方法をさらに説明する図である。図5に示すように、第1の特徴点ペアとして特徴点ペアAA’(ペア111)が選択され、第2の特徴点ペアとして、特徴点ペアBB’、CC’(ペア113、115)が選択されている。このとき、図6に示すように、第2の特徴点ペアBB’について、ベクトルAB(ベクトル103)とベクトルA’B’(ベクトル108)とのなす角θABは、予め決められた例えば閾値θth以下である。よって、特徴点ペアAA’と特徴点ペアBB’とのセットは適切であると判定される。一方、第2の特徴点ペアCC’について、ベクトルAC(ベクトル105)とベクトルA’C’(ベクトル109)とのなす角θACは、予め決められた例えば閾値θthより大きい。よって、特徴点ペアAA’と特徴点ペアCC’とのセットは不適切であると判定される。
図7は、ペア判定の効果の一例を示す図である。上記のようにペア判定が行われることにより、判定前の第1のペア候補同士のセットがなす角度と、ペア判定で適切と判定された特徴点ペア同士のセットがなす角度との分布は相違がある。図7は、ペア判定前の全特徴ペアから選択されたセットにおける判定角度と、適切であると判定された特徴点ペアから選択されたセットにおける判定角度とを、横軸に角度、縦軸に頻度をとって表している。なお、図7においては、説明の都合上、横軸の角度は、例えば第1のベクトルに対して一方の方向の角度を正の角度、他方の方向の角度を負の角度として示している。図7に示すように、適切と判定された特徴点ペア(inlier)同士のセットは、明らかに判定角度θがゼロ度付近に集中している。
図8は、ペア候補テーブル140の一例を示す図である。図8に示すように、ペア候補テーブル140は、縦横に特徴点抽出部23で抽出された特徴点ペアを、第1の画像における特徴点の名称で代表して示している。この例では、各行(縦に並べられた)の特徴点が第1の特徴点ペアを表し、各列(横に並べられた)特徴点が第2の特徴点ペアを表している。
例えば、ペア候補テーブル140は、第1の特徴点がA、第2の特徴点がCのとき、判定角度は、予め決められた角度θth以下の角度θACであることを示している。例えば、ペア候補テーブル140は、第1の特徴点がA、第2の特徴点がBのとき、判定角度は、予め決められた角度θthより大きいことを「×」で示している。取り消し線142、特定の第1の特徴点ペアについて、判定角度が角度θthを超えているセットの割合が所定値を超えている場合、対応する第1の特徴点ペアが不適切な特徴点ペアであることを示している。ペア候補テーブル140の各行の特徴点ペアのうち、取り消し線142が引かれていない第1の特徴点ペアが、第2のペア候補となる。
図9は、行列推定テーブルの一例を示す図である。図9に示すように、ここで、整数m(mは、2以上の整数)は、第3のペア候補のそれぞれに含まれる特徴点ペアの数を示し、整数L(Lは、1以上の整数)は、第3のペア候補の組の数を表わす。図9の例では、L組のm個の特徴点ペアから、行列K1〜KL(L=1〜L)が推定されることを示している。
以下、図10から図12を参照しながら、画像処理システム1による処理を説明する。以下、クライアント11は、取得した画像をサーバ3に送信し、サーバ3で特徴量抽出を行う場合について説明する。また、以下の処理は、サーバ3の演算処理装置5またはクライアント11の演算処理装置13が所定のプログラムをそれぞれ読み込んで実行することにより行われる処理であるが、図2に示した各部が処理を行うとして説明する。
図10は、本実施の形態による画像処理システム1の動作を説明するフローチャートである。図10に示すように、特徴点抽出部23は、第1の画像及び第2の画像のそれぞれについて、特徴点(S151)及び特徴量(S152)を抽出する。ペア生成部25は、抽出された特徴点の座標、および特徴量に基づき、互いに対応する特徴点を特徴点ペアとして生成する(S153)。このとき、生成された特徴点をペア候補テーブル140に第1のペア候補として記憶させることが好ましい。さらにペア生成部25は、生成された特徴点ペアが、行列を推定するために必要な所定数(m個)以上か否かを判別し、m個に満たない場合には、行列が計算できないためリジェクトと判断して(S154:YES)、S151に処理を戻す。特徴点ペアがm個以上抽出された場合には(S154:NO)、ペア判定部27は、抽出された第1のペア候補が適切か否かを判定する(S155)。ペア判定の詳細は後述する。
ペア選択部29は、S155で適切と判定された第2のペア候補から、例えばランダムにm個の特徴点ペアを抽出する。行列推定部31は、抽出された特徴点ペアに基づき、第1の画像と第2の画像との変換行列を算出すると共に、算出された変換行列に関する評価値を算出する(S156)。行列推定部31は、このとき、最も高い評価値が算出された行列を、2画像間の変換行列とすることができる。行列推定の詳細は後述する。照合部33は、算出された評価値に基づき、第1の画像と第2の画像との照合を行う(S157)。このとき、照合部33は、最も高い評価値が、予め決められた閾値を越えているか否かなどにより、2画像間の適合度を判断することもできる。
図11は、本実施の形態によるペア判定処理の一例を示すフローチャートである。ペア判定処理は、図10のS155の処理である。図11に示すように、ペア判定部27は、例えばペア候補テーブル140に記憶されている第1のペア候補において、未判定の第1の特徴点ペアがあるか否かを判定し、ない場合には(S191:NO)、図10の処理に戻って処理を継続する。未判定の第1の特徴点ペアがある場合には(S191:YES)、ペア判定部27は、第1のペア候補から、第1の特徴点ペアとして特徴点ペアを一つ選択する(S192)。ペア判定部27は、適切なセット数s=0(Sは、0以上の整数)、試行回数n=0(nは、0以上の整数)と初期化を行う(S193)。適切なセット数sとは、以下に説明するセット判定に基づき適切と判断される特徴点ペアの組(セット)の数である。試行回数nとは、セット判定処理の試行回数である。
ペア判定部27は、第1のペア候補から、第1の特徴点ペア以外の特徴点ペアを第2の特徴点ペアとして一つ選択する(S194)。ペア判定部27は、選択した第1の特徴点ペアと第2の特徴点ペアとについて、上述のように判定角度θ(例えば、第1のベクトルABと第2のベクトルA’B’との角度)を算出し、判定角度θが閾値θthより大きいか否かを判別する(ステップ195)。例えばこのとき、判定角度θは0度−180度とすることができる。また、角度の正負を一意に決めるため、基準となる第1の画像(図5では画像101)において、例えば原点に近い特徴点(図5では点A)を基準としてベクトルを求めるようにしてもよい。このとき、例えば判定角度θの範囲は、−180度から180度であるとすることができ、ペア判定部27は、判定角度θの絶対値が閾値θthより絶対値が大きいか否かを判別するようにすればよい。
ここで、画像同士の撮影時の撮影対象と撮影装置との位置関係に応じた角度(以下、画像間の角度ともいう)が一定値以内に含まれると事前に想定できる場合、判定角度θは一定範囲(例えば0〜θth、あるいは−θth〜θth)に収まる。したがって、|θ|>θthの場合、セットに含まれる2つの特徴点ペアの内、少なくとも1つの特徴点ペアはoutlierであることが分かる。よって、S195において、ペア判定部27は、|θ|≦θthであれば適切なセット、|θ|>θthあれば不適切なセットであると判定する。
すなわち、判定角度θの絶対値が閾値θth以下の場合(S195:NO)、ペア判定部27は、選択された第1の特徴点ペアと第2の特徴点ペアとのセットは適切であると判定してs=s+1とする(S196)。さらにペア判定部27は、ペア候補テーブル140に、そのときの判定角度θ(θABという)を記憶させる。なお、セット判定において、例えば|θ|<θthであれば適切なセット、|θ|≧θthであれば不適切なセットとしてもよい。
例えば、判定角度θの絶対値が閾値θthより大きい場合(S195:YES)、ペア判定部27は、選択された第1の特徴点ペアと第2の特徴点ペアとのセットは不適切であると判定する。さらにペア判定部27は、ペア候補テーブル140において、対応する欄に不適切であることを「×」などと記憶させる(S198)。
ペア判定部27は、n=n+1とし(S199)、試行回数nが閾値nth未満である間、S194に戻って処理を繰り返す(S200:NO)。試行回数nが閾値nth以上になると(S200:YES)、ペア判定部27は、s<m×n/N(Nは、第1のペア候補の数)であるか否かを判別する(S201)。
s<m×n/Nでない場合(S201:NO)、ペア判定部27は、S191に戻って処理を繰り返す。s<m×n/Nである場合(S201:YES)、ペア判定部27は、第1の特徴点ペアはoutlierであると判別する(S202)。また、ペア判定部27は、ペア候補テーブル140において、例えば取り消し線142のように、第1のペア候補から第1の特徴点ペアを削除し(S203)、処理をS191に戻す。
ここで、閾値θthの決定方法について説明する。あらかじめ、使用方法から2画像間の角度の範囲を想定して、照合対象物の中心点を原点とする直交する3軸周りに最大x、y、z度回転すると設定する。また、カメラなど撮影機器の傾きを取得して、動的にx、y、zを設定することも可能である。このようにして設定した画像の回転角度x、y、zを基に四角形の4隅の座標を回転・透視投影変換する。そして、変換前後の座標のペアを2つ組み合わせてセットおよびセットがなす角度を求める。組み合わせを変えながら求めた複数のセットの内、最大角度を閾値θthとする。
例えば、平面画像上の座標(h,v)を、想定角度x、y、zで下記式1のロール・ピッチ・ヨーの回転行列を用いて回転すると、3次元空間上の座標(X,Y,Z)に変換される。この座標を2次元平面上に下記式2で変換した座標を(h’,v’)とする。ここでFは視点からの距離で任意の値とする。
Figure 2015138413
変換前後の座標を2組用いて、各画像上の座標同士を結ぶ第1のベクトルと第2のベクトルとがなす判定角度θを求める。複数の座標から求めた判定角度θのうち、最も大きい値を閾値θthとする。
また、閾値nthは、例えば以下の式3で求められる。
Figure 2015138413
ここで、比率Pは、予想される母比率(母集団におけるある条件を満たす対象の比率)である。比率Pが事前に推定することが困難な場合、例えばP=0.5(=50%)などとすることもできる。
εは、nth回セット判定を試行したときに、第2の特徴点ペアとして適切な第2の特徴点ペアが選択される割合と、第1のペア候補に含まれる適切な特徴点ペアとの誤差として容認できる割合とする。
μ(α)は、信頼度(100−α)によって定まる値で、信頼度を95%と定める場合μ(α)=1.96、信頼度を99%とする場合、μ(α)=2.58を用いる。例えば信頼度が95%である場合、nth回セット判定を試行したときに適切な特徴点ペアが選択される割合が95%の確率で(適切である特徴点ペアの割合の平均値(試行により得られる値)‐ε×1.96)〜(適切である特徴点ペアの割合の平均値+ε×1.96)の範囲に収まることを意味する。
図12は、本実施の形態による行列推定処理の一例を示すフローチャートである。行列推定処理は、図10のS156の処理である。図12に示すように、ペア選択部29は、ペア候補テーブル140を参照して、適切と判断された特徴点ペア(削除されていない特徴点ペア)である第2のペア候補を入力する(S221)。ペア選択部29は、第2のペア候補の数がmに満たない場合には、行列の推定が行えないためリジェクトと判別し、処理を打ち切って、図10の処理に処理を戻す(S222:YES)。
第2のペア候補の数がm以上の場合には(S222:NO)、ペア選択部29は、試行回数l=0とし(S223)、第2のペア候補から特徴点ペアをm個選択する(S224)。このとき、ペア選択部29は、第2のペア候補からランダムに、重複しないm個の特徴点ペア(第3のペア候補という)を選択することができる。
行列推定部31は、選択されたm個の特徴点ペアを含む第3のペア候補に基づき、第1の画像と第2の画像との関係を示す変換行列を計算する(S225)。行列推定部31は、計算された行列に応じて評価値を計算する(S226)。
評価値計算では、まず、S225で求めた行列を用いて、第2のペア候補に含まれる第3のペア候補以外の特徴点ペアのそれぞれについて、第1の画像の第1の特徴点の座標を座標変換する。次に、変換後の座標と、第2の画像における対応する第2の特徴点の座標との距離が閾値以内である特徴点ペアの数を求め、これを評価値とする。
行列推定部31は、試行回数lが閾値Lthより大きいか否か判別し(S227)、閾値Lth以下の場合には(S227:NO)、l=l+1とし(S228)、S224から処理を繰り返す。試行回数Lが閾値Lthを超えた場合には(S227:YES)、行列推定部31は、L個の評価値のうち、最も高い評価値が算出された行列を、第1の画像と第2の画像との関係を示す変換行列と決定し(S229)、図10の処理に処理を戻す。
ここで、試行回数の閾値Lthについて説明する。閾値Lthは、1以上の整数とすることもできるが、例えば下記の式4で表される値を用いることもできる。
Figure 2015138413
ここで、PfailはLth回試行を行った場合に正しい行列を全く求められない確率である。Pfailの閾値Pth(容認できる誤り率)をあらかじめ決めておき、Pfail<Pthを満たすLthを試行回数の閾値とする。また、Pinlierは選択した特徴点ペアがinlierである確率であり、評価値/第2のペア候補数とすることができる。なおこのとき、第3のペア候補の組数Lは、閾値Lthを超えない整数となる。
以上説明したように、一実施の形態による画像処理システム1によれば、ペア生成部25は、第1の画像と第2の画像とにおいて、互いに対応する第1の画像の第1の特徴点と第2の画像の第2の特徴点との複数の特徴点ペアを含む第1のペア候補を生成する。ペア判定部27は、生成された第1のペア候補のうちの第1の特徴点ペアに対し、第1の特徴点ペアと異なる第2の特徴点ペアを選択する。ペア判定部27は、第1の画像における上記第1及び第2の特徴点ペアの第1の特徴点同士を結ぶ第1のベクトルと、第2の画像における第2の特徴点同士を結ぶ第2のベクトルとのなす判定角度θと閾値θthとを比較する。ペア判定部27は、複数の第2の特徴点ペアについて第1の特徴点ペアに対する判定角度θの絶対値が閾値θthを超える割合が所定値以上の場合に、第1の特徴点ペアを第1のペア候補から削除すると判定する。削除されなかった第1のペア候補が、第2のペア候補となる。
ペア選択部29は、第2のペア候補から2以上の第1の所定数(m)の特徴点ペアを含む第3のペア候補を選択する。このとき、ペア選択部29は、一以上の組数L、好ましくは閾値Lthを超えない最大の整数Lの組の第3のペア候補を選択することができる。行列推定部31は、第3のペア候補に基づき、第1の画像と第2の画像との関係を示す行列を推定する。照合部33は、推定された行列を用いて変換を実行した結果と特徴点ペアとに基づく行列の確からしさを示す評価値を用いて第1の画像と第2の画像との照合を行う。
以上のように、本実施の形態による画像処理システム1によれば、第1の画像と第2の画像とにおける、2組の特徴点ペアの各画像における特徴点同士を結ぶベクトルのなす判定角度に応じて、ペア候補を削除するか否かを判別できる。画像処理システム1では、行列推定に用いる第3のペア候補を、適切でない特徴点ペアを削除した第2のペア候補から選択する。よって、第2のペア候補の数を削減でき、第3のペア候補を選択するための処理を削減することが可能になる。また、不適切な特徴点ペアを予め除外するため、選択されたm個の特徴点ペアにおける適切な特徴点ペアの割合を増加させることができる。よって、より確からしい変換行列を推定することができる。さらに、そのようにして推定された変換行列に基づき評価値を算出して画像の照合を行うので、より適確に画像照合が可能である。
本実施の形態による画像処理システム1では、行列推定に不適切な特徴点ペアを特定して除去することができ、また、重複しない特徴点ペアを選択することが可能である。さらに、2つの画像に反転やねじれが生じた場合等、適切な特徴点ペアの数が所定数mより少ない場合には処理を打ち切るので、不適切な変換行列が計算されることが防止できる。さらに、特徴点ペアの候補の組を複数選択して、最も高い評価値を有する行列を変換行列と推定することができる。
逆に、上下左右の反転やねじれのない画像を第1及び第2の画像として利用する場合には、不適切と判定される特徴点ペアが少ないことが期待されるので、より精度よく行列の推定及び画像の照合を行うことができる。上下左右の判定やねじれのない場合とは、例えば、固定されたカメラ位置から画像を撮影する場合などが該当する。
なお、図7で説明したように、適切と判定されたセットがなす角度と、その頻度の関係の例から、適切と判定された特徴点ペア同士を組み合わせたセットでは、セットのなす角度の多くが一定範囲の角度に収束する。したがって、頻度が顕著に高い角度がなく一様な分布である場合は、適切な特徴点ペアが含まれていないとみなして、リジェクトとすることもできる。例えば、頻度を正規化したときの最大頻度が閾値未満であればリジェクトとするようにしてもよい。第1のペア候補の中に含まれるoutlierの割合が多い場合、図12のS224からS404の反復処理数が多くなるが、リジェクト処理により処理を打ち切ることで、処理量を削減することができる。
(第1の変形例)
以下、第1の変形例について説明する。第1の変形例において、上記実施の形態による画像処理システム1と同様の構成及び動作については、同一番号を付し、詳細説明を省略する。本変形例は、上記実施の形態の例えば、図12のS224のペア選択処理の変形例である。第1の変形例において、システムの構成は画像処理システム1と同様である。
図13は、第1の変形例によるペア選択処理を説明する図である。図13において、頻度W(θj)は、角度θjをなすセットの存在頻度の予測値を示す。総和Wsumは、例えばペア候補テーブル140において、適切と判定された(「×」とされていない)全セットの重みの総和を示す。図7に示したように、セットがなす判定角度θとその頻度をヒストグラムで表すと、inlier同士を組み合わせたセットでは、セットのなす角度の多くが一定範囲の角度に収束する。したがって、頻度が高い角度を持つセットに重みを多く掛けることで、inlier同士を組み合わせたセットが優先的に選択されるようにする。
図13に戻って、あるセットがなす角度をθとしたとき、このセットの重みW(θi)を式5に示す正規分布と設定する。ここで、θmは頻度が最も大きい角度、σは頻度の分散を表す。なお、このとき正規分布は、適切な特徴点ペア同士のセットに応じた判定角度の予測される分布として設定される。
Figure 2015138413
このとき、重みの総和Wsumは、下記式6で表される。なお、sは、適切と判定された特徴点ペアのセット数である。
Figure 2015138413
ここで、0<j<sの整数とすると、j番目のセットは総和Wsumのうち、下記式7のrの範囲に含まれると仮定される。
Figure 2015138413
よって、次に、0〜Wsumの範囲からランダムに選択した数を数rとし、上記式7を満たすjを求めることにより、j番目のセットをペア候補テーブル140における不適切とされていない候補の中から選択する。これにより、重みが大きいセットが選択されやすくなる。
図14は、第1の変形例によるペア選択処理の一例を示すフローチャートである。図14に示すように、本変形例においては、ペア選択部29は、重みW(θi)に応じてランダムにセットを複数選択し、m個のペアを取得する。
ペア選択部29は、例えばペア候補テーブル140を参照し、適切と判定されたセットを入力する(S231)。ペア選択部29は、入力されたセットのそれぞれについて、式3に基づき重みW(θi)を計算する(S232)。ペア選択部29は、計算された重みW(θi)に基づき、重みの総和Wsumを計算する(S233)。
ペア選択部29は、保存済ペア数=0と初期化する(S234)。ペア選択部29は、0からWsumの中から乱数rを決定する(S235)。ペア選択部29は、乱数rに対応するセットjを決定する(S236)。
ペア選択部29は、セットjのいずれの特徴点ペアも、第3のペア候補として保存された特徴点ペアか否かを判別する(S237)。いずれも保存済の場合には(S237:YES)、S235に戻って処理を繰り返す。
ペア選択部29は、セットjのいずれかの特徴点ペアと、第3のペア候補として保存された特徴点ペアとが重複しているか否かを判別する(S238)。いずれも重複していない場合には(S238:NO)、ペア選択部29は、セットjの2組の特徴点ペアを第3のペア候補として保存し(S239)、i=i+2とする(S240)。いずれかの特徴点ペアが重複している場合には(S238:YES)、ペア選択部29は重複していない特徴点ペアを保存し(S241)、i=i+1とする(S242)。
ペア選択部29は、i<mの場合には(S243:NO)、S236から処理を繰り返し、i≧mの場合には(S243:YES)、図12のS225に処理を進める。
以上説明したように、第1の変形例によれば、上記実施の形態による画像処理システム1の効果に加え、頻度が高い判定角度ほど大きい重みを掛けて特徴点ペアのセットを選択するので、適切な特徴点ペアが優先的に選択されることが期待される。よって、さらに適切に第3のペア候補を選択することが可能になる。
なお、重みは、正規分布を例にして説明したが、同様に頻度が高い判定角度を有するセットが選択される他の関数などを重みに用いることもできる。
(第2の変形例)
以下、第2の変形例について説明する。第2の変形例において、上記実施の形態、または第1の変形例による画像処理システム1と同様の構成及び動作については、同一番号を付し、詳細説明を省略する。第2の変形例も、第1の変形例と同様に、上記実施の形態の例えば、S224のペア選択処理の変形例である。第2の変形例において、システムの構成は画像処理システム1と同様である。
図15は、ペア選択処理において、適切なセットを選択する例を示す図である。図15に示すように、第1の画像121における特徴点A〜Eと、第2の画像129における特徴点A’〜E’とがそれぞれペア135〜139と判別されている。このとき、例えば、特徴点ペアAA’を第1の特徴点ペアとすると、特徴点ペアAA’と特徴点ペアBB’とのセットは、第1のベクトルABと第2のベクトルA’B’とがなす角度が閾値θthを超えているため、不適切なセットとなる。このとき、m=4である場合に可能な組合せ、すなわち第3のペア候補は、以下の2組となる。2組とは、特徴点ペアAA’、CC’、DD’、EE’の組合せ、および、特徴点ペアBB’、CC’、DD’、EE’の組合せである。
図16は、第2の変形例によるペア選択処理の一例を示すフローチャートである。図16に示すように、ペア選択部29は、例えばペア候補テーブル140を参照して、適切と判定されたセットからランダムに1つのセットを選択する(S251)。ペア選択部29は、選択したセットに含まれる2つの特徴点ペアを第3のペア候補として保存し、保存済ペア数i=2とする(S252)。
ペア選択部29は、i≧mの場合には(S253:YES)、図12のS225に処理を進め、i<mの場合には(S253:NO)、S254に処理を進める。ペア選択部29は、例えばペア候補テーブル140を参照して、不適切と判定されていない第2のペア候補から、ランダムにペアを一つ選択する(S254)。
ペア選択部29は、選択したペアが保存済ペアと適切な組合せか判定する。すなわち、ペア選択部29は、選択したペアが、保存済ペアのいずれかと重複している場合には(S255:YES)、S254から処理を繰り返す。ペア選択部29は、選択したペアが第3のペア候補の保存済ペアと重複していない場合には(S245:NO)、保存済みペアと不適切なセットとなる組合せがあるか否か判別する(S256)。不適切なセットとは、上述したように、判定角度θが閾値θthを超えている場合である。
例えば、図15において、特徴点ペアBB’と特徴点ペアCC’とが保存されている場合、S254で、特徴点ペアDD’が選択されたとする。このとき、ペア選択部29は、特徴点ペアBB’と特徴点ペアDD’のセット、および 特徴点ペアCC’と特徴点ペアDD’のセットが適切なセットであるか否か判定する。不適切な組合せがある場合には(S256:YES)、ペア選択部29は、S254から処理を繰り返す。
不適切な組合せがない場合には(S256:NO)、例えばペア候補テーブル140を参照し、対象のセットがなす角度の角度差φ=θ1−θ2が閾値φthを超えているか否かを判別する(S257)。このときθ1及びθ2は、2つのセットのそれぞれの判定角度である。角度差φが閾値φthを超えている場合には(S257:YES)、ペア選択部29は、S254から処理を繰り返す。超えていない場合には(S257:NO)、選択したペアを第3のペア候補として保存し、i=i+1として、処理をS253に戻す(S258)。
2画像間がなす角度が一定値以内であるという前提条件が定められたとき、判定角度θは、上述のように閾値θth以内に収まる。さらに、適切な2つのセットに注目したとき、2つのセットの角度差の最大値φthは、φth<2θthとなる。したがって、S256において不適切なセットがない場合、S257において保存済ペアの中のいずれかの2つのセットの角度差を求め、φ>φthであれば、ペア選択部29は、S254に処理を戻す。φ≦φthとなる場合は、ペア選択部29は、処理をS258に進める。S254〜S258の処理は、第3のペア候補としての保存済ペア数がm以上になるまで繰り返され、結果は、図12のS225の処理に引き渡される。
2つのセットの判定角度の角度差の最大値φthは、判定角度の閾値θthと同様に、2画像間の想定角度x、y、zを用いて決定することができる。例えば、四角形の4隅の座標をx、y、zを用いて回転・透視投影変換し、変換前後の座標のペアを2つ組み合わせてセット、およびセットがなす角度を求める。セットを2つ組み合わせて角度差φ=|θi―θj|(θi、θjは、互いに異なるセットの判定角度)を、求める処理をセットの組み合わせを変えながら行い、最大角度を最大値φthとする。
以上説明したように、第2の変形例による画像処理システム1によれば、上記実施の形態による画像処理システム1の効果に加え、第3のペア候補の中に、不適切なセットが含まれなくなる。よって、さらに適切に第3のペア候補を選択することが可能になり、精度の高い画像照合が可能になる。なお例えば、S257の処理を行わず、S256の処理の後にS258の処理に進むようにしても、上記効果を得ることは可能である。
(第3の変形例)
以下、第3の変形例について説明する。第3の変形例において、上記実施の形態、第1の変形例、または第2の変形例による画像処理システム1と同様の構成及び動作については、同一番号を付し、詳細説明を省略する。第3の変形例は、第2の変形例のS241のセット選択処理の変形例である。第3の変形例において、システムの構成は画像処理システム1と同様である。
図17は、第3の変形例によるセット選択の一例を示すフローチャートである。図17に示すように、ペア選択部29は、例えばペア候補テーブル140を参照し、適切と判定されたセットを入力する(S261)。ペア選択部29は、入力されたセットのそれぞれについて、式3に基づき重みW(θi)を計算する(S262)。ペア選択部29は、計算された重みW(θi)に基づき、重みの総和Wsumを計算する(S263)。ペア選択部29は、0からWsumの中から乱数rを決定する(S264)。ペア選択部29は、乱数rに対応するセットjを決定する(S235)。
以上説明したように、第3の変形例による画像処理システム1によれば、第2の変形例の効果に加え、頻度が高い判定角度を持つセットが優先的に選択されることが期待されるので、さらに適切に第3のペア候補を選択することが可能になり、精度の高い画像照合が可能になる。
なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。例えば、第2の画像もクライアント11からサーバ3に送信するようにしてもよい。また、カメラ22により撮影された画像でなく記憶装置19に記憶された画像を第1の画像または第2の画像としてサーバ3に送信するようにしてもよい。さらに、サーバ3またはクライアント11に記憶される画像は、特徴点の座標と特徴量のみでもよい。また、上記実施の形態及び第1から第3の変形例は、互いに論理の矛盾がない限り様々に組み合わせることが可能である。
以下、上記実施の形態及び変形例1〜3による画像照合方法の動作をコンピュータに行わせるために共通に適用されるコンピュータの例について説明する。図18は、標準的なコンピュータのハードウエア構成の一例を示すブロック図である。図18に示すように、コンピュータ300は、Central Processing Unit(CPU)302、メモリ304、入力装置306、出力装置308、外部記憶装置312、媒体駆動装置314、ネットワーク接続装置等がバス310を介して接続されている。
CPU302は、コンピュータ300全体の動作を制御する演算処理装置である。メモリ304は、コンピュータ300の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。メモリ304は、例えばRandom Access Memory(RAM)、Read Only Memory(ROM)等である。入力装置306は、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をCPU302に送付する装置であり、例えばキーボード装置、マウス装置などである。出力装置308は、コンピュータ300による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、CPU302により送付される表示データに応じてテキストや画像を表示する。
外部記憶装置312は、例えば、ハードディスクなどの記憶装置であり、CPU302により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。媒体駆動装置314は、可搬記録媒体316に書き込みおよび読み出しを行うための装置である。CPU302は、可搬記録媒体316に記録されている所定の制御プログラムを、媒体駆動装置314を介して読み出して実行することによって、各種の制御処理を行うようにすることもできる。可搬記録媒体316は、例えばCompact Disc(CD)−ROM、Digital Versatile Disc(DVD)、Universal Serial Bus(USB)メモリ等である。ネットワーク接続装置318は、有線または無線により外部との間で行われる各種データの授受の管理を行うインタフェース装置である。バス310は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。
上記実施の形態及び変形例1〜3による画像照合方法をコンピュータに実行させるプログラムは、例えば外部記憶装置312に記憶させる。CPU302は、外部記憶装置312からプログラムを読み出し、コンピュータ300に画像照合の動作を行なわせる。このとき、まず、画像照合の処理をCPU302に行わせるための制御プログラムを作成して外部記憶装置312に記憶させておく。そして、入力装置306から所定の指示をCPU302に与えて、この制御プログラムを外部記憶装置312から読み出させて実行させるようにする。また、このプログラムは、可搬記録媒体316に記憶するようにしてもよい。
以上の実施形態に関し、さらに以下の付記を開示する。
(付記1)
画像処理装置が、
第1の画像と第2の画像とにおいてそれぞれ抽出された複数の特徴点から、互いに対応する前記第1の画像の第1の特徴点と前記第2の画像の第2の特徴点との特徴点ペアを複数含む第1のペア候補を生成し、
生成された前記第1のペア候補のうちの第1の特徴点ペアに対し、1つ以上の第2の特徴点ペアについて、前記第1の特徴点ペアの前記第1の特徴点と前記第2の特徴点ペアの前記第1の特徴点とを結ぶ第1のベクトルと、前記第1の特徴点ペアの前記第2の特徴点と前記第2の特徴点ペアの前記第2の特徴点とを結ぶ第2のベクトルとのなす角度と所定の角度との比較の結果に基づき、前記第1のペア候補から削除する前記第1の特徴点ペアを判定し、
前記第1のペア候補から、削除すると判定された前記第1の特徴点ペアを除いた第2のペア候補に含まれる前記特徴点ペアに基づき前記第1の画像と前記第2の画像との照合を行う
ことを特徴とする画像照合方法。
(付記2)
前記判定する処理においては、前記比較を行う前記第2の特徴点ペアの数に対する、前記角度が前記所定の角度を超えた場合の数の割合が所定値以上の場合に、前記第1のペア候補から削除する第1の特徴点ペアであると判定することを特徴とする付記1に記載の画像照合方法。
(付記3)
さらに、
前記第2のペア候補から2以上の第1の所定数の特徴点ペアを含む第3のペア候補を選択し、
前記第3のペア候補に基づき、前記第1の画像と前記第2の画像との照合に用いる行列を推定し、
前記判定する処理は、前記第3のペア候補に含まれる特徴点ペアが前記行列の推定を行うのに適切である確率として期待する確率に応じた個数以上の前記第2の特徴点に対して実行されることを特徴とする付記1または付記2に記載の画像照合方法。
(付記4)
前記行列を推定する処理は、前記第1の所定数の特徴点ペアの、第2の所定数の組に基づき行われ、前記第2の所定数は、前記第2の所定数の組に基づき前記行列を全く求められない確率として容認できる確率と、前記判定の結果、削除すると判定される確率とに応じた数であることを特徴とする付記2または付記3に記載の画像照合方法。
(付記5)
前記判定する処理により削除対象とならない互いに異なる2組の特徴点ペアに応じた前記角度の予測される分布を重み付けしてランダムに前記第2のペア候補から選択される、1以上の所定数の前記第1の特徴点ペア及び前記第2の特徴点ペアに基づき前記第3のペア候補を選択することを特徴とする付記2から付記4のいずれかに記載の画像照合方法。
(付記6)
前記第3のペア候補を選択する処理は、前記第2のペア候補から選択された第1の特徴点ペアに対し、第2の特徴点ペアについて、前記第1の特徴点ペアの前記第1の特徴点と前記第2の特徴点ペアの前記第1の特徴点とを結ぶ第1のベクトルと、前記第1の特徴点ペアの前記第2の特徴点と前記第2の特徴点ペアの前記第2の特徴点とを結ぶ第2のベクトルとのなす角度が前記所定の角度以内の場合であって、既に選択された前記第3のペア候補と重複しない前記第1及び前記第2の特徴点ペアを、前記第3のペア候補として選択する
ことを特徴とする付記3から付記5のいずれかに記載の画像照合方法。
(付記7)
前記第3のペア候補を選択する処理は、前記第2のペア候補から選択された2組の第1の特徴点ペアと第2の特徴点ペアの一方に応じた第1の前記角度と、他方に応じた第2の前記角度との差が所定条件を満たす場合に、2組の前記第1の特徴点ペアと前記第2の特徴点ペアを、前記第3のペア候補として選択する
ことを特徴とする付記3から付記6のいずれかに記載の画像照合方法。
(付記8)
前記第2のペア候補から前記第1の特徴点ペアおよび前記第2の特徴点ペアを選択する処理は、前記判定する処理により削除対象とならない互いに異なる2組の特徴点ペアに応じた前記角度の予測される分布を重み付けしてランダムに選択されることを特徴とする付記6または付記7に記載の画像照合方法。
(付記9)
第1の画像と第2の画像とにおいてそれぞれ抽出された複数の特徴点及び前記特徴点における特徴量を記憶した少なくとも一つの記憶装置と、
前記特徴点及び前記特徴量から、互いに対応する前記第1の画像の第1の特徴点と前記第2の画像の第2の特徴点との複数の特徴点ペアを含む第1のペア候補を生成し、いずれかの前記記憶装置に記憶させるペア生成部と、
生成された前記第1のペア候補のうちの第1の特徴点ペアに対し、1つ以上の第2の特徴点ペアについて、前記第1の特徴点ペアの前記第1の特徴点と前記第2の特徴点ペアの前記第1の特徴点とを結ぶ第1のベクトルと、前記第1の特徴点ペアの前記第2の特徴点と前記第2の特徴点ペアの前記第2の特徴点とを結ぶ第2のベクトルとのなす角度と所定の角度との比較の結果に基づき、前記第1のペア候補から削除する前記第1の特徴点ペアを判定し、判定結果を前記記憶部に記憶させるペア判定部と、
前記第1のペア候補から、削除すると判定された前記第1の特徴点ペアを除いた第2のペア候補に含まれる特徴点ペアに基づき前記第1の画像と前記第2の画像との照合を行う照合部と
を有することを特徴とする画像処理システム。
(付記10)
前記ペア判定部は、前記比較を行う前記第2の特徴点ペアの数に対する、前記角度が前記所定の角度を超えた場合の数の割合が所定値以上の場合に、前記第1のペア候補から削除する第1の特徴点ペアであると判定することを特徴とする付記9に記載の画像処理システム。
(付記11)
前記第2のペア候補から2以上の第1の所定数の特徴点ペアを含む第3のペア候補を選択するペア選択部と、
前記第3のペア候補に基づき、前記第1の画像と前記第2の画像との照合に用いる行列を推定する行列推定部と、
をさらに有し、
前記ペア判定部は、前記第3のペア候補に含まれる特徴点ペアが前記行列の推定を行うのに適切である確率として期待する確率に応じた個数以上の前記第2の特徴点に対して判定を行うことを特徴とする付記10に記載の画像処理システム。
(付記12)
前記行列推定部は、前記第1の所定数の特徴点ペアの、第2の所定数の組に基づき推定を行い、前記第2の所定数は、前記第2の所定数の組に基づき前記行列を全く求められない確率として容認できる確率と、前記判定の結果、削除すると判定される確率とに応じた数であることを特徴とする付記9または付記10に記載の画像処理システム。
(付記13)
前記ペア選択部は、前記判定する処理により削除対象とならない互いに異なる2組の特徴点ペアに応じた前記角度の予測される分布を重み付けしてランダムに前記第2のペア候補から選択される、1以上の所定数の前記第1の特徴点ペア及び前記第2の特徴点ペアに基づき前記第3のペア候補を選択することを特徴とする付記10から付記12のいずれかに記載の画像処理システム。
(付記14)
前記ペア選択部は、前記第2のペア候補から選択された第1の特徴点ペアに対し、第2の特徴点ペアについて、前記第1の特徴点ペアの前記第1の特徴点と前記第2の特徴点ペアの前記第1の特徴点とを結ぶ第1のベクトルと、前記第1の特徴点ペアの前記第2の特徴点と前記第2の特徴点ペアの前記第2の特徴点とを結ぶ第2のベクトルとのなす角度が前記所定の角度以内の場合であって、既に選択された前記第3のペア候補と重複しない前記第1及び前記第2の特徴点ペアを、前記第3のペア候補として選択する
ことを特徴とする付記11から付記13のいずれかに記載の画像処理システム。
(付記15)
第1の画像と第2の画像とにおいてそれぞれ抽出された複数の特徴点から、互いに対応する前記第1の画像の第1の特徴点と前記第2の画像の第2の特徴点との特徴点ペアを複数含む第1のペア候補を生成し、
生成された前記第1のペア候補のうちの第1の特徴点ペアに対し、1つ以上の第2の特徴点ペアについて、前記第1の特徴点ペアの前記第1の特徴点と前記第2の特徴点ペアの前記第1の特徴点とを結ぶ第1のベクトルと、前記第1の特徴点ペアの前記第2の特徴点と前記第2の特徴点ペアの前記第2の特徴点とを結ぶ第2のベクトルとのなす角度と所定の角度との比較の結果に基づき、前記第1のペア候補から削除する前記第1の特徴点ペアを判定し、
前記第1のペア候補から、削除すると判定された前記第1の特徴点ペアを除いた第2のペア候補に含まれる前記特徴点ペアに基づき前記第1の画像と前記第2の画像との照合を行う
処理をコンピュータに実行させるプログラム。
1 画像処理システム
3 サーバ
5 演算処理装置
7 通信装置
9 記憶装置
11 クライアント
13 演算処理装置
15 入力装置
17 表示装置
19 記憶装置
21 通信装置
22 カメラ
23 特徴点抽出部
25 ペア生成部
27 ペア判定部
29 ペア選択部
31 行列推定部
33 照合部
具体的な判定としては、例えば判定角度が所定角度以下の第2の特徴点ペアの数の割合が、判定角度を算出した第2の特徴点ペアの数に対し所定値以上であれば、第1の特徴点ペアは、行列を算出するために適切な特徴点ペアであると判定する。ペア判定部27は、適切であると判定されなかった第1の特徴点ペアを、第1のペア候補から削除する。削除後の第1のペア候補を、第2のペア候補という。なお、判定角度は、対象となる2つの特徴点ペアの各画像上の特徴点同士を結ぶ第1のベクトルと第2のベクトルとのなす、0度から180度以下の角度と定義することができる。
例えば、ペア候補テーブル140は、第1の特徴点がA、第2の特徴点がCのとき、判定角度は、予め決められた角度θth以下の角度θACであることを示している。例えば、ペア候補テーブル140は、第1の特徴点がA、第2の特徴点がBのとき、判定角度は、予め決められた角度θthより大きいことを「×」で示している。取り消し線142、特定の第1の特徴点ペアについて、判定角度が角度θthを超えているセットの割合が所定値を超えている場合、対応する第1の特徴点ペアが不適切な特徴点ペアであることを示している。ペア候補テーブル140の各行の特徴点ペアのうち、取り消し線142が引かれていない第1の特徴点ペアが、第2のペア候補となる。
εは、nth回セット判定を試行したときに、第2の特徴点ペアとして適切な第2の特徴点ペアが選択される割合と、第1のペア候補に含まれる適切な特徴点ペアの割合との誤差として容認できる割合とする。
行列推定部31は、試行回数lが閾値Lthより大きいか否か判別し(S227)、閾値Lth以下の場合には(S227:NO)、l=l+1とし(S228)、S224から処理を繰り返す。試行回数が閾値Lthを超えた場合には(S227:YES)、行列推定部31は、個の評価値のうち、最も高い評価値が算出された行列を、第1の画像と第2の画像との関係を示す変換行列と決定し(S229)、図10の処理に処理を戻す。
逆に、上下左右の反転やねじれのない画像を第1及び第2の画像として利用する場合には、不適切と判定される特徴点ペアが少ないことが期待されるので、より精度よく行列の推定及び画像の照合を行うことができる。上下左右の反転やねじれのない場合とは、例えば、固定されたカメラ位置から画像を撮影する場合などが該当する。
以上の実施形態に対し、さらに以下の付記を開示する。
(付記1)
画像処理装置が、
第1の画像と第2の画像とにおいてそれぞれ抽出された複数の特徴点から、互いに対応する前記第1の画像の第1の特徴点と前記第2の画像の第2の特徴点との特徴点ペアを複数含む第1のペア候補を生成し、
生成された前記第1のペア候補のうちの第1の特徴点ペアに対し、1つ以上の第2の特徴点ペアについて、前記第1の特徴点ペアの前記第1の特徴点と前記第2の特徴点ペアの前記第1の特徴点とを結ぶ第1のベクトルと、前記第1の特徴点ペアの前記第2の特徴点と前記第2の特徴点ペアの前記第2の特徴点とを結ぶ第2のベクトルとのなす角度と所定の角度との比較の結果に基づき、前記第1のペア候補から削除する前記第1の特徴点ペアを判定し、
前記第1のペア候補から、削除すると判定された前記第1の特徴点ペアを除いた第2のペア候補に含まれる前記特徴点ペアに基づき前記第1の画像と前記第2の画像との照合を行う
ことを特徴とする画像照合方法。
(付記2)
前記判定する処理においては、前記比較を行う前記第2の特徴点ペアの数に対する、前記角度が前記所定の角度を超えた場合の数の割合が所定値以上の場合に、前記第1のペア候補から削除する第1の特徴点ペアであると判定することを特徴とする付記1に記載の画像照合方法。
(付記3)
さらに、
前記第2のペア候補から2以上の第1の所定数の特徴点ペアを含む第3のペア候補を選択し、
前記第3のペア候補に基づき、前記第1の画像と前記第2の画像との照合に用いる行列を推定し、
前記判定する処理は、前記第3のペア候補に含まれる特徴点ペアが前記行列の推定を行うのに適切である確率として期待する確率に応じた個数以上の前記第2の特徴点に対して実行されることを特徴とする付記1または付記2に記載の画像照合方法。
(付記4)
前記行列を推定する処理は、前記第1の所定数の特徴点ペアの、第2の所定数の組に基づき行われ、前記第2の所定数は、前記第2の所定数の組に基づき前記行列を全く求められない確率として容認できる確率と、前記判定の結果、前記第1の特徴点ペアが削除すると判定される確率とに応じた数であることを特徴とする付記2または付記3に記載の画像照合方法。
(付記5)
前記判定する処理により削除対象とならない互いに異なる2組の特徴点ペアに応じた前記角度の予測される分布を重み付けしてランダムに前記第2のペア候補から選択される、1以上の所定数の前記第1の特徴点ペア及び前記第2の特徴点ペアに基づき前記第3のペア候補を選択することを特徴とする付記2から付記4のいずれかに記載の画像照合方法。
(付記6)
前記第3のペア候補を選択する処理は、前記第2のペア候補から選択された第1の特徴点ペアに対し、第2の特徴点ペアについて、前記第1の特徴点ペアの前記第1の特徴点と前記第2の特徴点ペアの前記第1の特徴点とを結ぶ第1のベクトルと、前記第1の特徴点ペアの前記第2の特徴点と前記第2の特徴点ペアの前記第2の特徴点とを結ぶ第2のベクトルとのなす角度が前記所定の角度以内の場合であって、既に選択された前記第3のペア候補と重複しない前記第1及び前記第2の特徴点ペアを、前記第3のペア候補として選択する
ことを特徴とする付記3から付記5のいずれかに記載の画像照合方法。
(付記7)
前記第3のペア候補を選択する処理は、前記第2のペア候補から選択された2組の第1の特徴点ペアと第2の特徴点ペアの一方に応じた第1の前記角度と、他方に応じた第2の前記角度との差が所定条件を満たす場合に、2組の前記第1の特徴点ペアと前記第2の特徴点ペアを、前記第3のペア候補として選択する
ことを特徴とする付記3から付記6のいずれかに記載の画像照合方法。
(付記8)
前記第2のペア候補から前記第1の特徴点ペアおよび前記第2の特徴点ペアを選択する処理は、前記判定する処理により削除対象とならない互いに異なる2組の特徴点ペアに応じた前記角度の予測される分布を重み付けしてランダムに選択されることを特徴とする付記6または付記7に記載の画像照合方法。
(付記9)
第1の画像と第2の画像とにおいてそれぞれ抽出された複数の特徴点及び前記特徴点における特徴量を記憶した少なくとも一つの記憶装置と、
前記特徴点及び前記特徴量から、互いに対応する前記第1の画像の第1の特徴点と前記第2の画像の第2の特徴点との複数の特徴点ペアを含む第1のペア候補を生成し、いずれかの前記記憶装置に記憶させるペア生成部と、
生成された前記第1のペア候補のうちの第1の特徴点ペアに対し、1つ以上の第2の特徴点ペアについて、前記第1の特徴点ペアの前記第1の特徴点と前記第2の特徴点ペアの前記第1の特徴点とを結ぶ第1のベクトルと、前記第1の特徴点ペアの前記第2の特徴点と前記第2の特徴点ペアの前記第2の特徴点とを結ぶ第2のベクトルとのなす角度と所定の角度との比較の結果に基づき、前記第1のペア候補から削除する前記第1の特徴点ペアを判定し、判定結果を前記記憶装置に記憶させるペア判定部と、
前記第1のペア候補から、削除すると判定された前記第1の特徴点ペアを除いた第2のペア候補に含まれる特徴点ペアに基づき前記第1の画像と前記第2の画像との照合を行う
を有することを特徴とする画像処理システム。
(付記10)
前記ペア判定部は、前記比較を行う前記第2の特徴点ペアの数に対する、前記角度が前記所定の角度を超えた場合の数の割合が所定値以上の場合に、前記第1のペア候補から削除する第1の特徴点ペアであると判定することを特徴とする付記9に記載の画像処理システム。
(付記11)
前記第2のペア候補から2以上の第1の所定数の特徴点ペアを含む第3のペア候補を選択するペア選択部と、
前記第3のペア候補に基づき、前記第1の画像と前記第2の画像との照合に用いる行列を推定する行列推定部と、
をさらに有し、
前記ペア判定部は、前記第3のペア候補に含まれる特徴点ペアが前記行列の推定を行うのに適切である確率として期待する確率に応じた個数以上の前記第2の特徴点に対して判定を行うことを特徴とする付記10に記載の画像処理システム。
(付記12)
前記行列推定部は、前記第1の所定数の特徴点ペアの、第2の所定数の組に基づき推定を行い、前記第2の所定数は、前記第2の所定数の組に基づき前記行列を全く求められない確率として容認できる確率と、前記判定の結果、前記第1の特徴点ペアが削除すると判定される確率とに応じた数であることを特徴とする付記9または付記10に記載の画像処理システム。
(付記13)
前記ペア選択部は、前記判定する処理により削除対象とならない互いに異なる2組の特徴点ペアに応じた前記角度の予測される分布を重み付けしてランダムに前記第2のペア候補から選択される、1以上の所定数の前記第1の特徴点ペア及び前記第2の特徴点ペアに基づき前記第3のペア候補を選択することを特徴とする付記10から付記12のいずれかに記載の画像処理システム。
(付記14)
前記ペア選択部は、前記第2のペア候補から選択された第1の特徴点ペアに対し、第2の特徴点ペアについて、前記第1の特徴点ペアの前記第1の特徴点と前記第2の特徴点ペアの前記第1の特徴点とを結ぶ第1のベクトルと、前記第1の特徴点ペアの前記第2の特徴点と前記第2の特徴点ペアの前記第2の特徴点とを結ぶ第2のベクトルとのなす角度が前記所定の角度以内の場合であって、既に選択された前記第3のペア候補と重複しない前記第1及び前記第2の特徴点ペアを、前記第3のペア候補として選択する
ことを特徴とする付記11から付記13のいずれかに記載の画像処理システム。
(付記15)
第1の画像と第2の画像とにおいてそれぞれ抽出された複数の特徴点から、互いに対応する前記第1の画像の第1の特徴点と前記第2の画像の第2の特徴点との特徴点ペアを複数含む第1のペア候補を生成し、
生成された前記第1のペア候補のうちの第1の特徴点ペアに対し、1つ以上の第2の特徴点ペアについて、前記第1の特徴点ペアの前記第1の特徴点と前記第2の特徴点ペアの前記第1の特徴点とを結ぶ第1のベクトルと、前記第1の特徴点ペアの前記第2の特徴点と前記第2の特徴点ペアの前記第2の特徴点とを結ぶ第2のベクトルとのなす角度と所定の角度との比較の結果に基づき、前記第1のペア候補から削除する前記第1の特徴点ペアを判定し、
前記第1のペア候補から、削除すると判定された前記第1の特徴点ペアを除いた第2のペア候補に含まれる前記特徴点ペアに基づき前記第1の画像と前記第2の画像との照合を行う
処理をコンピュータに実行させるプログラム。
例えば、ペア候補テーブル140は、第1の特徴点がA、第2の特徴点がCのとき、判定角度は、予め決められた角度θth以下の角度θACであることを示している。例えば、ペア候補テーブル140は、第1の特徴点がA、第2の特徴点がBのとき、判定角度は、予め決められた角度θthより大きいことを「×」で示している。取り消し線142は、特定の特徴点ペアについて、判定角度が角度θthを超えているセットの割合が所定値を超えている場合、対応する特徴点ペアが不適切な特徴点ペアであることを示している。ペア候補テーブル140の特徴点ペアのうち、取り消し線142が引かれていない特徴点ペアが、第2のペア候補となる。

Claims (10)

  1. 画像処理装置が、
    第1の画像と第2の画像とにおいてそれぞれ抽出された複数の特徴点から、互いに対応する前記第1の画像の第1の特徴点と前記第2の画像の第2の特徴点との特徴点ペアを複数含む第1のペア候補を生成し、
    生成された前記第1のペア候補のうちの第1の特徴点ペアに対し、1つ以上の第2の特徴点ペアについて、前記第1の特徴点ペアの前記第1の特徴点と前記第2の特徴点ペアの前記第1の特徴点とを結ぶ第1のベクトルと、前記第1の特徴点ペアの前記第2の特徴点と前記第2の特徴点ペアの前記第2の特徴点とを結ぶ第2のベクトルとのなす角度と所定の角度との比較の結果に基づき、前記第1のペア候補から削除する前記第1の特徴点ペアを判定し、
    前記第1のペア候補から、削除すると判定された前記第1の特徴点ペアを除いた第2のペア候補に含まれる前記特徴点ペアに基づき前記第1の画像と前記第2の画像との照合を行う
    ことを特徴とする画像照合方法。
  2. 前記判定する処理においては、前記比較を行う前記第2の特徴点ペアの数に対する、前記角度が前記所定の角度を超えた場合の数の割合が所定値以上の場合に、前記第1のペア候補から削除する第1の特徴点ペアであると判定することを特徴とする請求項1に記載の画像照合方法。
  3. さらに、
    前記第2のペア候補から2以上の第1の所定数の特徴点ペアを含む第3のペア候補を選択し、
    前記第3のペア候補に基づき、前記第1の画像と前記第2の画像との照合に用いる行列を推定し、
    前記判定する処理は、前記第3のペア候補に含まれる特徴点ペアが前記行列の推定を行うのに適切である確率として期待する確率に応じた個数以上の前記第2の特徴点に対して実行されることを特徴とする請求項1または請求項2に記載の画像照合方法。
  4. 前記行列を推定する処理は、前記第1の所定数の特徴点ペアの、第2の所定数の組に基づき行われ、前記第2の所定数は、前記第2の所定数の組に基づき前記行列を全く求められない確率として容認できる確率と、前記判定の結果、削除すると判定される確率とに応じた数であることを特徴とする請求項2または請求項3に記載の画像照合方法。
  5. 前記判定する処理により削除対象とならない互いに異なる2組の特徴点ペアに応じた前記角度の予測される分布を重み付けしてランダムに前記第2のペア候補から選択される、1以上の所定数の前記第1の特徴点ペア及び前記第2の特徴点ペアに基づき前記第3のペア候補を選択することを特徴とする請求項2から請求項4のいずれかに記載の画像照合方法。
  6. 前記第3のペア候補を選択する処理は、前記第2のペア候補から選択された第1の特徴点ペアに対し、第2の特徴点ペアについて、前記第1の特徴点ペアの前記第1の特徴点と前記第2の特徴点ペアの前記第1の特徴点とを結ぶ第1のベクトルと、前記第1の特徴点ペアの前記第2の特徴点と前記第2の特徴点ペアの前記第2の特徴点とを結ぶ第2のベクトルとのなす角度が前記所定の角度以内の場合であって、既に選択された前記第3のペア候補と重複しない前記第1及び前記第2の特徴点ペアを、前記第3のペア候補として選択する
    ことを特徴とする請求項3から請求項5のいずれかに記載の画像照合方法。
  7. 前記第3のペア候補を選択する処理は、前記第2のペア候補から選択された2組の第1の特徴点ペアと第2の特徴点ペアの一方に応じた第1の前記角度と、他方に応じた第2の前記角度との差が所定条件を満たす場合に、2組の前記第1の特徴点ペアと前記第2の特徴点ペアを、前記第3のペア候補として選択する
    ことを特徴とする請求項3から請求項6のいずれかに記載の画像照合方法。
  8. 前記第2のペア候補から前記第1の特徴点ペアおよび前記第2の特徴点ペアを選択する処理は、前記判定する処理により削除対象とならない互いに異なる2組の特徴点ペアに応じた前記角度の予測される分布を重み付けしてランダムに選択されることを特徴とする請求項6または請求項7に記載の画像照合方法。
  9. 第1の画像と第2の画像とにおいてそれぞれ抽出された複数の特徴点及び前記特徴点における特徴量を記憶した少なくとも一つの記憶装置と、
    前記特徴点及び前記特徴量から、互いに対応する前記第1の画像の第1の特徴点と前記第2の画像の第2の特徴点との複数の特徴点ペアを含む第1のペア候補を生成し、いずれかの前記記憶装置に記憶させるペア生成部と、
    生成された前記第1のペア候補のうちの第1の特徴点ペアに対し、1つ以上の第2の特徴点ペアについて、前記第1の特徴点ペアの前記第1の特徴点と前記第2の特徴点ペアの前記第1の特徴点とを結ぶ第1のベクトルと、前記第1の特徴点ペアの前記第2の特徴点と前記第2の特徴点ペアの前記第2の特徴点とを結ぶ第2のベクトルとのなす角度と所定の角度との比較の結果に基づき、前記第1のペア候補から削除する前記第1の特徴点ペアを判定し、判定結果を前記記憶部に記憶させるペア判定部と、
    前記第1のペア候補から、削除すると判定された前記第1の特徴点ペアを除いた第2のペア候補に含まれる特徴点ペアに基づき前記第1の画像と前記第2の画像との照合を行う照合部と
    を有することを特徴とする画像処理システム。
  10. 第1の画像と第2の画像とにおいてそれぞれ抽出された複数の特徴点から、互いに対応する前記第1の画像の第1の特徴点と前記第2の画像の第2の特徴点との特徴点ペアを複数含む第1のペア候補を生成し、
    生成された前記第1のペア候補のうちの第1の特徴点ペアに対し、1つ以上の第2の特徴点ペアについて、前記第1の特徴点ペアの前記第1の特徴点と前記第2の特徴点ペアの前記第1の特徴点とを結ぶ第1のベクトルと、前記第1の特徴点ペアの前記第2の特徴点と前記第2の特徴点ペアの前記第2の特徴点とを結ぶ第2のベクトルとのなす角度と所定の角度との比較の結果に基づき、前記第1のペア候補から削除する前記第1の特徴点ペアを判定し、
    前記第1のペア候補から、削除すると判定された前記第1の特徴点ペアを除いた第2のペア候補に含まれる前記特徴点ペアに基づき前記第1の画像と前記第2の画像との照合を行う
    処理をコンピュータに実行させるプログラム。
JP2014009859A 2014-01-22 2014-01-22 画像照合方法、画像処理システム、及びプログラム Expired - Fee Related JP6248647B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014009859A JP6248647B2 (ja) 2014-01-22 2014-01-22 画像照合方法、画像処理システム、及びプログラム
US14/567,451 US9424487B2 (en) 2014-01-22 2014-12-11 Image matching method and image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014009859A JP6248647B2 (ja) 2014-01-22 2014-01-22 画像照合方法、画像処理システム、及びプログラム

Publications (2)

Publication Number Publication Date
JP2015138413A true JP2015138413A (ja) 2015-07-30
JP6248647B2 JP6248647B2 (ja) 2017-12-20

Family

ID=53545075

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014009859A Expired - Fee Related JP6248647B2 (ja) 2014-01-22 2014-01-22 画像照合方法、画像処理システム、及びプログラム

Country Status (2)

Country Link
US (1) US9424487B2 (ja)
JP (1) JP6248647B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018124798A (ja) * 2017-02-01 2018-08-09 東芝テック株式会社 画像探索装置および画像探索プログラム
JP2021036456A (ja) * 2020-11-11 2021-03-04 日本電気株式会社 画像処理システム、画像処理方法及びプログラム
WO2022101998A1 (ja) * 2020-11-10 2022-05-19 日本電気株式会社 平面射影変換行列生成装置、制御方法、及びコンピュータ可読媒体

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6431302B2 (ja) * 2014-06-30 2018-11-28 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN105518709B (zh) * 2015-03-26 2019-08-09 北京旷视科技有限公司 用于识别人脸的方法、系统和计算机程序产品
JP6821303B2 (ja) * 2015-12-15 2021-01-27 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US10402675B2 (en) * 2016-08-30 2019-09-03 The Boeing Company 2D vehicle localizing using geoarcs
US10013798B2 (en) 2016-08-30 2018-07-03 The Boeing Company 3D vehicle localizing using geoarcs
US10691751B2 (en) * 2017-01-23 2020-06-23 The Trade Desk, Inc. Data processing system and method of associating internet devices based upon device usage
US20190155917A1 (en) * 2017-11-17 2019-05-23 Daniel Felipe Lopez Zuluaga Image-based deduplication process for digital content
US20190156442A1 (en) * 2017-11-17 2019-05-23 Daniel Felipe Lopez Zuluaga Generating missing attributes for deduplication process
JP7086630B2 (ja) * 2018-02-09 2022-06-20 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US20190306420A1 (en) * 2018-03-31 2019-10-03 Takashi Okaki Image processing apparatus, image capturing system, image processing method, and recording medium
JP6973285B2 (ja) * 2018-05-15 2021-11-24 日本電信電話株式会社 テンプレート姿勢推定装置、方法、及びプログラム
CN112668474B (zh) * 2020-12-28 2023-10-13 北京字节跳动网络技术有限公司 平面生成方法和装置、存储介质和电子设备
CN114693532A (zh) * 2020-12-28 2022-07-01 富泰华工业(深圳)有限公司 图像校正方法及相关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001109886A (ja) * 1999-10-05 2001-04-20 Sony Corp 画像処理方法及び画像処理装置
JP2003242509A (ja) * 2001-12-13 2003-08-29 Toshiba Corp パターン認識装置及びその方法
JP2006065399A (ja) * 2004-08-24 2006-03-09 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
US20100310177A1 (en) * 2009-05-06 2010-12-09 University Of New Brunswick Method of interest point matching for images
JP2011066535A (ja) * 2009-09-15 2011-03-31 Tokyo Metropolitan Industrial Technology Research Institute 画像合成装置及び画像合成方法
JP2012234258A (ja) * 2011-04-28 2012-11-29 Sony Corp 画像処理装置と画像処理方法およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2361272C2 (ru) 2005-01-31 2009-07-10 Присайз Биометрикс Аб Способ и устройство для улучшенного сличения отпечатков пальцев
JP4753072B2 (ja) 2005-11-14 2011-08-17 独立行政法人産業技術総合研究所 映像内の複数広告看板の認識方法
CN102197412B (zh) 2008-10-28 2014-01-08 日本电气株式会社 伪装检测系统和伪装检测方法
JP5175754B2 (ja) 2009-02-04 2013-04-03 株式会社東芝 線形変換行列算出装置、その方法、及び、そのプログラム
JP5290867B2 (ja) 2009-05-25 2013-09-18 キヤノン株式会社 画像検索装置およびその方法
KR101165359B1 (ko) * 2011-02-21 2012-07-12 (주)엔써즈 이미지와 이미지 또는 이미지와 동영상 사이의 상호 관계 분석 장치 및 방법
US9070216B2 (en) * 2011-12-14 2015-06-30 The Board Of Trustees Of The University Of Illinois Four-dimensional augmented reality models for interactive visualization and automated construction progress monitoring

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001109886A (ja) * 1999-10-05 2001-04-20 Sony Corp 画像処理方法及び画像処理装置
JP2003242509A (ja) * 2001-12-13 2003-08-29 Toshiba Corp パターン認識装置及びその方法
JP2006065399A (ja) * 2004-08-24 2006-03-09 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
US20100310177A1 (en) * 2009-05-06 2010-12-09 University Of New Brunswick Method of interest point matching for images
JP2011066535A (ja) * 2009-09-15 2011-03-31 Tokyo Metropolitan Industrial Technology Research Institute 画像合成装置及び画像合成方法
JP2012234258A (ja) * 2011-04-28 2012-11-29 Sony Corp 画像処理装置と画像処理方法およびプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018124798A (ja) * 2017-02-01 2018-08-09 東芝テック株式会社 画像探索装置および画像探索プログラム
WO2022101998A1 (ja) * 2020-11-10 2022-05-19 日本電気株式会社 平面射影変換行列生成装置、制御方法、及びコンピュータ可読媒体
JPWO2022101998A1 (ja) * 2020-11-10 2022-05-19
JP7448034B2 (ja) 2020-11-10 2024-03-12 日本電気株式会社 平面射影変換行列生成装置、制御方法、及びプログラム
JP2021036456A (ja) * 2020-11-11 2021-03-04 日本電気株式会社 画像処理システム、画像処理方法及びプログラム
JP7147828B2 (ja) 2020-11-11 2022-10-05 日本電気株式会社 画像処理システム、画像処理方法及びプログラム

Also Published As

Publication number Publication date
JP6248647B2 (ja) 2017-12-20
US9424487B2 (en) 2016-08-23
US20150206029A1 (en) 2015-07-23

Similar Documents

Publication Publication Date Title
JP6248647B2 (ja) 画像照合方法、画像処理システム、及びプログラム
CN110363817B (zh) 目标位姿估计方法、电子设备和介质
WO2019011249A1 (zh) 一种图像中物体姿态的确定方法、装置、设备及存储介质
US10346996B2 (en) Image depth inference from semantic labels
CN111046125A (zh) 一种视觉定位方法、系统及计算机可读存储介质
JP5261501B2 (ja) 不変の視覚場面及び物体の認識
US10713530B2 (en) Image processing apparatus, image processing method, and image processing program
CN113744328B (zh) 医学图像标记点识别方法、装置、电子设备及存储介质
CN110956131B (zh) 单目标追踪方法、装置及系统
US20180302553A1 (en) Camera system and image-providing method
WO2022116678A1 (zh) 目标物体位姿确定方法、装置、存储介质及电子设备
CN104700393A (zh) 多个激光扫描的配准
JP2018206252A (ja) 画像処理システム、評価モデル構築方法、画像処理方法及びプログラム
JP2018055199A (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
WO2022247126A1 (zh) 视觉定位方法、装置、设备、介质及程序
JP2015184054A (ja) 同定装置、方法及びプログラム
CN113538291B (zh) 卡证图像倾斜校正方法、装置、计算机设备和存储介质
CN113469091B (zh) 人脸识别方法、训练方法、电子设备及存储介质
JP7003617B2 (ja) 推定装置、推定方法、及び推定プログラム
JP2012123631A (ja) 注目領域検出方法、注目領域検出装置、及びプログラム
CN116740498B (zh) 模型预训练方法、模型训练方法、对象处理方法及装置
US20180137391A1 (en) System and method for training image classifier
JP6655513B2 (ja) 姿勢推定システム、姿勢推定装置、及び距離画像カメラ
JP2013239011A (ja) 移動物体上動きベクトル検出装置、移動物体上動きベクトル検出方法、およびプログラム
JP2016162072A (ja) 特徴量抽出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161004

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171106

R150 Certificate of patent or registration of utility model

Ref document number: 6248647

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees