JP2012234258A - 画像処理装置と画像処理方法およびプログラム - Google Patents
画像処理装置と画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP2012234258A JP2012234258A JP2011100836A JP2011100836A JP2012234258A JP 2012234258 A JP2012234258 A JP 2012234258A JP 2011100836 A JP2011100836 A JP 2011100836A JP 2011100836 A JP2011100836 A JP 2011100836A JP 2012234258 A JP2012234258 A JP 2012234258A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature points
- reliability
- thinning
- feature point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
Landscapes
- Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
【課題】簡単な構成で高速に特徴点を空間的に均一に間引くことができるようにする。
【解決手段】特徴点検出部211は、画像から特徴点を検出する。信頼度算出部212は、検出した特徴点の信頼度を算出する。間引き処理部22は、画像を複数領域に分割して、分割領域毎に特徴点が予め設定した特徴点制限数以内となるように、検出した特徴点の間引きを信頼度に基づいて行う。例えば特徴点が特徴点制限数以内となるように信頼度の低い順から間引きする。特徴点の数は、分割領域毎に特徴点制限数以内の数となるので、特徴点を空間的に均一に間引くことができる。
【選択図】 図2
【解決手段】特徴点検出部211は、画像から特徴点を検出する。信頼度算出部212は、検出した特徴点の信頼度を算出する。間引き処理部22は、画像を複数領域に分割して、分割領域毎に特徴点が予め設定した特徴点制限数以内となるように、検出した特徴点の間引きを信頼度に基づいて行う。例えば特徴点が特徴点制限数以内となるように信頼度の低い順から間引きする。特徴点の数は、分割領域毎に特徴点制限数以内の数となるので、特徴点を空間的に均一に間引くことができる。
【選択図】 図2
Description
この技術は、画像処理装置と画像処理方法およびプログラムに関する。詳しくは、画像から検出した特徴点を空間的に均一に間引くことができるようにする。
従来、画像中のオブジェクト検索、画像シーケンス中の移動オブジェクトの検出、複数画像の位置合わせなど様々な状況で、複数画像間でのオブジェクトの対応付けが必要となっている。
オブジェクトの対応付けの手法としては、ブロックマッチングと呼ばれる手法や、特徴点ベースの手法が用いられている。
ブロックマッチングでは、ある画像をブロックごとの領域に分割して、差分絶対値和(SAD:Sum of Absolute Difference)や正規化相互相関(NCC:Normalized Cross Correlation)が算出される。また、算出された差分絶対値和や正規化相互相関に基づき、それぞれのブロックと類似度の高い領域がもう一枚の画像中から探索される。この手法は、探索範囲内でブロック中心座標を少しずつずらしながら、ブロック領域の類似度を計算する必要があるため、計算コストが非常に高い。更に、対応付けが難しい領域も対応する位置を探す必要があるために処理効率も悪い。
特徴点ベースの手法は、初めに、画像中の物体や絵柄のコーナーなど対応付けのしやすい位置を特徴点として検出する。特徴点の検出手法は様々あるが、代表的なものとして、Harrisコーナー検出器(非特許文献1参照)やFAST(非特許文献2参照)、DoG(Difference of Gaussian)maxima(非特許文献3参照)などを挙げることができる。
このようにして検出された特徴点に対して、二画像間で対応付けを行うことで画像の位置合わせが可能となる。例えば、特徴点座標と対応関係からロバスト推定手法を用いて、二画像間の座標系の関係を記述する最適なアフィン変換行列や射影変換行列(Homography)などの画像変換行列を求める。この画像変換行列を用いることで、画像の位置合わせが可能となる。
また、細かい絵柄の多い画像(例えば木や草の多い画像)に対して特徴点の検出を行うと、大量の特徴点が検出されることがある。ここで、大量の特徴点が検出されると、特徴点に対応ずる対応点の探索や画像変換行列の算出に要する時間が長くなってしまう。このため、特徴点とみなす閾値を調整する第1の手法を用いることで特徴点の数を制御することができる。しかし、閾値を調整して特徴点の数を制御すると特徴点が空間的に偏った分布となってしまう場合がある。また、「Non Maximum Suppression」と呼ばれる第2の手法では、特徴点毎に特徴点としての信頼度(スコア)を求め、周囲の隣接する特徴点と比べてスコアの高い特徴点のみを残すことで、特徴点の数を削減する。この第2の手法では、スコアの高い特徴点がすべて残るため、特徴点数は絵柄依存となり、所望の特徴点数に制御することができない。また、空間的に均一に間引くことはできない。このため、第1および第2の手法を改善した「ANMS(Adaptive Non Maximal Suppression)」と呼ばれる手法が提案されている (非特許文献4参照)」。
C. Harris, M.J. Stephens, "A combined corner and edge detector", In Alvey Vision Conference, pp. 147-152, 1988
Edward Rosten, Tom Drummond, "Machine learning for high-speed corner detection", European Conference on Computer Vision (ICCV), Vol. 1, pp. 430-443, 2006
David G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision (IJCV), Vol. 60, No. 2, pp. 91-110, 2004
M. Brown, R. Szeliski, S. Winder, "Multi-Image Matching Using Multi-Scale Oriented Patches", Computer Vision and Pattern Recognition (CVPR), Vol. 1, pp. 510-517, 2005
ところで、ANMSは、特徴点数の上限をパラメータで制御しつつ、空間的に均一に間引くことができる。この手法は初めに、各特徴点に対して、自身のスコアより大きなスコアを持つ特徴点のうち、最も座標の近い特徴点までの距離(以下、半径と呼ぶ)を計算する必要がある。更に、すべての特徴点の座標とその半径をメモリに保持する必要がある。半径のサイズを初め「0」にセットし、そのときの特徴点数をカウントし、設定した上限数と比較して大きかった場合は、半径のサイズを少し大きくする。これを繰り返し、設定した上限数以下に収まった時に間引き終了となる。このため、高速なCPUと容量の大きいメモリが必要となってしまう。
そこで、本技術では、簡単な構成で高速に特徴点を空間的に均一に間引くことができる画像処理装置と画像処理方法およびプログラムを提供することを目的とする。
この技術の第1の側面は、画像から特徴点を検出する特徴点検出部と、前記検出した特徴点の信頼度を算出する信頼度算出部と、前記画像を複数領域に分割して、該分割領域毎に特徴点の数が特徴点制限数以内となるように、前記検出した特徴点の間引きを前記信頼度に基づいて行う間引き処理部とを備える画像処理装置にある。
この技術においては、特徴点検出部によって、画像から特徴点が検出される。また、信頼度算出部によって、検出した特徴点の信頼度が算出される。さらに間引き処理部では、画像を複数領域に分割して、特徴点の数が分割領域毎に設定されている特徴点制限数以内となるように、検出した特徴点が信頼度の低い特徴点から間引きされる。ここで、画像から特徴点としてコーナーが検出される場合、コーナーの強度が信頼度として用いられる。また、画像をあらかじめ定められた平滑度で段階的に平滑化して生成したスケール画像の差分に基づいて特徴点の抽出が行われる場合、差分値が信頼度として用いられる。また、二次元の画像に新たな次元を加えた三次元領域を複数の領域に分割して、分割領域毎に間引きが行われる。
この技術の第2の側面は、画像から特徴点を検出する工程と、前記検出した特徴点の信頼度を算出する工程と、前記画像を複数領域に分割して、該分割領域毎に特徴点の数が特徴点制限数以内となるように、前記検出した特徴点の間引きを前記信頼度に基づいて行う工程とを備える画像処理方法にある。
この技術の第3の側面は、画像から特徴点を検出する手順と、前記検出した特徴点の信頼度を算出する手順と、前記画像を複数領域に分割して、該分割領域毎に特徴点の数が特徴点制限数以内となるように、前記検出した特徴点の間引きを前記信頼度に基づいて行う手順とをコンピュータで実行させるプログラムにある。
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
この技術によれば、画像から特徴点が検出される。また、検出した特徴点の信頼度が算出される。さらに、画像を複数領域に分割して、分割領域毎に特徴点の数が特徴点制限数以内となるように、検出した特徴点の間引きが信頼度に基づいて行われる。このため、簡単な構成で高速に特徴点を空間的に均一に間引くことができるようになる。
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
1.撮像装置の概略構成
2.画像処理部においてオブジェクトの対応付け処理を行う部分の構成
3.間引き処理
1.撮像装置の概略構成
2.画像処理部においてオブジェクトの対応付け処理を行う部分の構成
3.間引き処理
<1.撮像装置の構成>
図1は、本技術の実施の形態における画像処理装置を用いた撮像装置の概略構成を示す図である。
図1は、本技術の実施の形態における画像処理装置を用いた撮像装置の概略構成を示す図である。
撮像装置10は、レンズユニット11、撮像部12、画像処理部20、表示部31、メモリ部32、記録デバイス部33、操作部34、センサ部35、制御部40を有している。また、各部はバス45を介して接続されている。
レンズユニット11は、フォーカスレンズやズームレンズ、絞り機構等を有している。レンズユニット11は、制御部40からの指示に従いレンズを駆動して、被写体の光画像を撮像部12の撮像面上に結像させる。また、レンズユニット11は、撮像素子の12の撮像面上に結像される光学像が所望の明るさとなるように、絞り機構を調整する。
撮像部12は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像素子と、撮像素子を駆動する駆動回路等を有している。撮像部12は、光電変換を行い、撮像素子の撮像面上に結像された光画像を電気信号に変換する。さらに、撮像部12は電気信号のノイズ除去やアナログ/デジタル変換を行い、画像信号を生成して画像処理部20、または画像処理部20を介してメモリ部32に出力する。
画像処理部20は、画像信号に対して、種々のカメラ信号処理、画像信号の符号化処理や復号処理等を制御部40からの制御信号に基づいて行う。さらに、画像処理部20は、オブジェクトの対応付け処理、対応付け結果を用いた画像処理を、制御部40からの制御信号に基づいて行う。なお、オブジェクトの対応付け処理、対応付け結果を用いた画像処理については後述する。
表示部31は、液晶表示素子等を用いて構成されており、画像処理部20によって処理された画像信号や、メモリ部32に格納されている画像信号に基づき画像表示を行う。
メモリ部32は、DRAM(Dynamic Random Access Memory)などの半導体メモリから構成されており、画像処理部20で処理する画像データや画像処理部20で処理された画像データ、制御部40における制御プログラム及び各種データなどが一時記憶される。
記録デバイス部33では、フラッシュメモリなどの半導体メモリ、磁気ディスク、光ディスク、光磁気ディスクなどの記録メディアが用いられている。記録デバイス部33は、例えば撮影時に撮像部12で生成されて画像処理部20で所定の符号化方式で符号化されてメモリ部32に格納された画像信号を記録メディアに記録する。また、記録デバイス部33は、記録メディアに記録されている画像信号をメモリ部32に読み出す。
操作部34は、シャッターボタンなどのハードウェアキー、操作ダイアル、タッチパネルなどの入力デバイスで構成されている。操作部34は、ユーザの入力操作に応じた操作信号を生成して制御部40に出力する。
センサ部35は、ジャイロセンサ、加速度センサ、地磁気センサ、位置測位センサなどで構成され、各種情報の検出を行う。これらの情報は、撮影された画像データに対して、メタデータとして付加されるほか、各種画像処理、制御処理にも利用される。
制御部40は、操作部34から供給された操作信号に基づき各部の動作を制御して、撮像装置10の動作がユーザ操作に応じた動作となるように各部を制御する。
<2.画像処理部においてオブジェクトの対応付け処理を行う部分の構成>
図2は、画像処理部20においてオブジェクトの対応付け処理を行う部分の構成を例示している。画像処理部20には、特徴点検出処理部21と特徴点の間引きを行う間引き処理部22が設けられている。さらに、二画像間で同一オブジェクトの対応付けを行うために用いる特徴量を生成する特徴量生成処理部23、特徴量に基づいてオブジェクトの対応付けを行うための対応点探索処理部24と変換行列算出処理部25が設けられている。
図2は、画像処理部20においてオブジェクトの対応付け処理を行う部分の構成を例示している。画像処理部20には、特徴点検出処理部21と特徴点の間引きを行う間引き処理部22が設けられている。さらに、二画像間で同一オブジェクトの対応付けを行うために用いる特徴量を生成する特徴量生成処理部23、特徴量に基づいてオブジェクトの対応付けを行うための対応点探索処理部24と変換行列算出処理部25が設けられている。
特徴点処理部21は、撮像画像に対して特徴点の検出を行う特徴点検出部211と、検出した特徴点の信頼度を算出する信頼度算出部212を有している。特徴点検出部211は、例えばHarrisコーナー検出器、FAST、DoGmaximaなどを用いて特徴点を検出する。また、Hessianフィルタ等を用いて特徴点を検出してもよい。信頼度算出部212は、特徴点検出部211で検出された特徴点について、特徴点としての信頼度(スコア)を算出する。特徴点処理部21は、検出した特徴点の座標および信頼度を間引き処理部22に出力する。
間引き処理部22は、特徴点処理部21で検出された特徴点の間引き処理を行う。検出された特徴点が多いと、その後に行われる対応点探索処理等で処理時間が長くなってしまう。また、隣接する特徴点や多すぎる特徴点は画像間での誤対応を引き起こす傾向にある。したがって、間引き処理部22は、特徴点が空間的に均一となるように、特徴点毎の信頼度(スコア)を利用して特徴点の間引きを行う。具体的には、画像を複数領域に分割して、分割領域毎に特徴点の数が特徴点制限数以内となるように、特徴点毎の信頼度を利用して特徴点の間引きを行う。なお、間引き処理については後述する。
特徴量生成処理部23は、特徴点を中心とした局所領域を記述する特徴量の生成を行う。特徴量生成処理部23は、間引き処理後に残った特徴点に対して特徴量生成処理を行い、特徴点毎に特徴点を中心とした局所領域に応じた特徴量を生成する。特徴量の生成は、SIFTやSURFなど様々な手法を用いることができる。また、特徴量生成処理では、任意の座標の二画素を選択して、その二画素の画素値の差分を計算する。この計算結果を閾値と比較して、比較結果に基づき二値化情報を生成して特徴量の一成分としてもよい。
対応点探索処理部24は、画像間で類似する特徴量を探索して、最も類似した特徴量の特徴点同士を同一オブジェクトの対応する点とする。特徴量の成分は、二値化データであることから、特徴量の成分毎に排他論理和を算出する。排他論理和の演算結果は、成分が等しい場合に排他論理和が「0」、成分が異なる場合に排他論理和が「1」となる。したがって、対応点探索処理部24は、各成分の排他論理和の演算結果の合計が最も小さい特徴点を類似度が最も高い特徴点である対応点とする。
変換行列算出処理部25は、特徴点の座標と対応点探索処理部24で得られた対応点の座標からロバスト推定手法を用いて、2枚間の座標系の関係を記述する最適なアフィン変換行列や射影変換行列(Homography)を求める。なお、これらの行列を画像変換行列と呼ぶ。すなわち、画像変換行列を用いれば、一方の画像を他方の画像の座標系に変換することが可能となる。このため、例えば複数の撮像画像を用いて、オブジェクトの画像で欠落部分や重複部分を生じないように正しく画像を繋ぎ合わせてパノラマ画像を生成することができる。また、複数の撮像画像を生成するとき、撮像装置の傾き等生じても精度良く画像の繋ぎ合わせを行うことができる。
<3.間引き処理>
次に、間引き処理について説明する。間引き処理部22は、画像をブロック単位に分割する。図3は、ブロックのサイズを縦方向「W」、横方向「H」とした場合を例示している。なお、所定サイズで画像を複数ブロックに分割する場合、画像端で所定サイズよりも小さいサイズのブロックが生じてもよい。
次に、間引き処理について説明する。間引き処理部22は、画像をブロック単位に分割する。図3は、ブロックのサイズを縦方向「W」、横方向「H」とした場合を例示している。なお、所定サイズで画像を複数ブロックに分割する場合、画像端で所定サイズよりも小さいサイズのブロックが生じてもよい。
図4は、間引き処理を説明するための図である。図4の(A)(B)に示すように、分割後の1つのブロックにおいて、例えば特徴点検出処理によって7点の特徴点が検出されたとする。間引き処理部22は、検出された特徴点の順位付けを、特注点の信頼度(スコア)に基づいて行う。なお、図4の(B)では、信頼度の高い順に「a1,a2,a3,・・・,a7」と定義している。
特徴点の信頼度としては、例えば特徴点検出処理でHarrisコーナー検出を行って特徴点を検出した場合、コーナー検出で算出されたコーナーらしさを示す関数値(コーナー強度)を信頼度として用いて、関数値が大きい特徴点を信頼度の高い特徴点とする。すなわち画像のある位置(x,y)における画素値をI(x,y)とするとき、式(1)に示す行列Mの固有値を求める。
行列Mの2個の固有値α,βが共に大きいときにはその位置にコーナーが存在する事を示していることから、コーナーらしさを示す関数値、つまり式(2)に示す特徴点検出関数Rの関数値を信頼度として用いる。なお、式(2)において、Det(M)は式(3)、Tr(M)は式(4)に示す値である。また、式(4)におけるkは定数である。
また、DoG(Difference of Gaussian)maximaによって特徴点を検出した場合、DoGを信頼度として用いて、DoG値が大きい特徴点を信頼度の高い特徴点とすればよい。ここで、位置(x,y)における画素値をI(x,y)とするとき、式(5)から平滑画像L(x,y,σ)を生成できる。なお、式(5)において、「G(x,y,σ)」は式(6)に示すガウス関数である。
さらに、式(7)および図5に示すように、スケールの異なる平滑画像との差分を算出することで、DoG画像D(x,y,σ)を生成できる。すなわちDoG値を算出できる。なお、式(7)および図5におけるkは、増加率を示している。
間引き処理部22は、特徴点の信頼度に基づき、信頼度の高い順から所望の数の特徴点を選択して、選択されていない特徴点の間引きを行う。例えば、ブロック毎の特徴点制限数を4とする場合、図4の(C)に示すように、間引き処理部22は、信頼度の高い4つの特徴点a1〜a4を選択して、特徴点a5〜a7を間引く。なお、ブロック内の特徴点が4つ以下である場合は、間引かれる特徴点がない。
間引き処理部22は、上述のように、特徴点の信頼度に基づき、信頼度の高い順から所望の数の特徴点を選択して残りの特徴点を間引く処理をブロック毎に行う。したがって、間引き処理部22で間引き処理が行われた後の特徴点は、画像の一部に偏ることなく画像全体に分散した状態となる。
間引き処理部22は、このような間引き処理を行うことにより、簡単な構成で高速に特徴点を空間的に均一となるように間引くことができる。
また、画像処理部20では、特徴点の検出と間引き処理を、異なるスケールの画像毎に行うようにしてもよい。この場合、特徴点処理部21から対応点探索処理部24までの処理を異なるスケールの画像毎に行い、スケールの画像毎に検出した特徴点と対応点を用いて変換行列算出処理部25で画像変換行列を算出する。また、特徴点処理部21から間引き処理部22までの処理を異なるスケールの画像毎に行い、スケールの画像毎に検出した特徴点を用いて、特徴量生成処理部23から変換行列算出処理部25までの処理を行うようにしてもよい。なお、異なるスケールの画像から検出した特徴点や対応点の位置は、所定のスケールの画像例えば入力画像に対応させた位置に変換して、変換後の位置の特徴点や対応点を用いて変換行列算出処理や特徴量生成処理を行う。
特徴点制限数は、予め設定されている値でもよく、ブロックのサイズやブロックの位置に応じて設定してもよい。例えばブロックサイズの面積が1/2倍のブロックについては特徴点制限数を1/2倍とする。また、所望のオブジェクトが特定の範囲内の位置となることが明らかな場合には、特定の範囲を除くブロックについての特徴点制限数を少なくするようにしてもよい。
特徴点の間引きは、二次元の画像に新たな次元を加えた三次元領域を複数の領域に分割して、分割領域毎に間引きを行うことで、3次元空間で特徴点が均一となるように間引きを行うようにしてもよい。例えば、特徴点の検出において画像中の位置(x, y)だけでなく、スケール(s)の異なる画像を用いる。このような場合、特徴点は(x, y, s)の3次元空間上に分布していると考えられる。この空間を直方体で分割して、各直方体に含まれる特徴点の数の上限を設定して、各直方体に含まれる特徴点の数が上限値以内となるように、信頼度の低い順から間引きする。このような間引き処理を各直方体に対して行うことで、三次元空間においても、簡単な構成で高速に特徴点の数が空間的に均一となるように間引くことができる。また、XY平面の二次元空間に対して、XY平面と直交するZ方向を含めた三次元空間で、特徴点の数が空間的に均一となるように間引きを行うようにしてもよい。
このように、本技術によれば、特徴点の数を空間的に均一に間引くことが可能となり、特徴点の対応付けの精度を向上させることができる。また、画像間で重なり領域が少ない場合でも安定して位置合わせを行うことが可能となる。
さらに、ブロック内の特徴点の数が特徴点制限数以内となるように、信頼度の低い特徴点を間引くことから、間引き処理を簡単な構成で高速に行うことができる。したがって、限られたリソースの組み込み機器でも高速な位置合わせが可能となる。
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやROM(Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからLAN(Local Area Network)やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
さらに、本技術は、上述した実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
なお、本技術は以下のような構成も取ることができる。
(1) 画像から特徴点を検出する特徴点検出部と、
前記検出した特徴点の信頼度を算出する信頼度算出部と、
前記画像を複数領域に分割して、該分割領域毎に特徴点の数が特徴点制限数以内となるように、前記検出した特徴点の間引きを前記信頼度に基づいて行う間引き処理部と
を備える画像処理装置。
(2) 前記間引き処理部は、前記信頼度の低い特徴点から順に間引きする(1)に記載の画像処理装置。
(3) 前記間引き処理部は、前記領域毎に前記特徴点制限数を設定する(1)または(2)に記載の画像処理装置。
(4) 前記特徴点検出部は、前記画像から特徴点としてコーナーを検出し、
前記信頼度算出部は、前記コーナーの強度を前記信頼度とする(1)乃至(3)の何れかに記載の画像処理装置。
(5) 前記特徴点検出部は、前記画像をあらかじめ定められた平滑度で段階的に平滑化して生成したスケール画像に基づいて前記特徴点を抽出し、
前記信頼度算出部は、前記スケール画像間の差分値を前記信頼度とする(1)乃至(3)の何れかに記載の画像処理装置。
(6) 前記間引き処理部は、二次元の前記画像に新たな次元を加えた三次元領域を複数の領域に分割して、該分割領域毎に間引きを行う(1)乃至(5)の何れかに記載の画像処理装置。
(7) 前記間引き処理部は、二次元の前記画像にスケールを含めて三次元領域を設定する(6)に記載の画像処理装置。
(1) 画像から特徴点を検出する特徴点検出部と、
前記検出した特徴点の信頼度を算出する信頼度算出部と、
前記画像を複数領域に分割して、該分割領域毎に特徴点の数が特徴点制限数以内となるように、前記検出した特徴点の間引きを前記信頼度に基づいて行う間引き処理部と
を備える画像処理装置。
(2) 前記間引き処理部は、前記信頼度の低い特徴点から順に間引きする(1)に記載の画像処理装置。
(3) 前記間引き処理部は、前記領域毎に前記特徴点制限数を設定する(1)または(2)に記載の画像処理装置。
(4) 前記特徴点検出部は、前記画像から特徴点としてコーナーを検出し、
前記信頼度算出部は、前記コーナーの強度を前記信頼度とする(1)乃至(3)の何れかに記載の画像処理装置。
(5) 前記特徴点検出部は、前記画像をあらかじめ定められた平滑度で段階的に平滑化して生成したスケール画像に基づいて前記特徴点を抽出し、
前記信頼度算出部は、前記スケール画像間の差分値を前記信頼度とする(1)乃至(3)の何れかに記載の画像処理装置。
(6) 前記間引き処理部は、二次元の前記画像に新たな次元を加えた三次元領域を複数の領域に分割して、該分割領域毎に間引きを行う(1)乃至(5)の何れかに記載の画像処理装置。
(7) 前記間引き処理部は、二次元の前記画像にスケールを含めて三次元領域を設定する(6)に記載の画像処理装置。
この技術の画像処理装置と画像処理方法およびプログラムでは、画像から特徴点が検出される。また、検出した特徴点の信頼度が算出される。さらに、画像を複数領域に分割して、分割領域毎に特徴点が予め設定した特徴点制限数以内となるように、検出した特徴点の間引きが信頼度に基づいて行われる。このため、簡単な構成で高速に特徴点を空間的に均一に間引くことができるようになる。したがって、複数の画像間の特徴点の対応関係から同一オブジェクトを探索する場合、効率よく同一オブジェクトを探索できるようになり、例えばオブジェクトの画像で欠落部分や重複部分を生じないように正しく画像を繋ぎ合わせてパノラマ画像を容易に生成できるようになる。
10・・・撮像装置、11・・・レンズユニット、12・・・撮像部、20・・・画像処理部、21・・・特徴点処理部、22・・・間引き処理部、23・・・特徴量生成処理部、24・・・対応点探索処理部、25・・・変換行列算出処理部、31・・・表示部、32・・・メモリ部、33・・・記録デバイス部、34・・・操作部、35・・・センサ部、40・・・制御部、45・・・バス、211・・・特徴点検出部、212・・・信頼度算出部
Claims (9)
- 画像から特徴点を検出する特徴点検出部と、
前記検出した特徴点の信頼度を算出する信頼度算出部と、
前記画像を複数領域に分割して、該分割領域毎に特徴点の数が特徴点制限数以内となるように、前記検出した特徴点の間引きを前記信頼度に基づいて行う間引き処理部と
を備える画像処理装置。 - 前記間引き処理部は、前記信頼度の低い特徴点から順に間引きする
請求項1記載の画像処理装置。 - 前記間引き処理部は、前記領域毎に前記特徴点制限数を設定する
請求項1記載の画像処理装置。 - 前記特徴点検出部は、前記画像から特徴点としてコーナーを検出し、
前記信頼度算出部は、前記コーナーの強度を前記信頼度とする
請求項1記載の画像処理装置。 - 前記特徴点検出部は、前記画像をあらかじめ定められた平滑度で段階的に平滑化して生成したスケール画像に基づいて前記特徴点を抽出し、
前記信頼度算出部は、前記スケール画像間の差分値を前記信頼度とする
請求項1記載の画像処理装置。 - 前記間引き処理部は、二次元の前記画像に新たな次元を加えた三次元領域を複数の領域に分割して、該分割領域毎に間引きを行う
請求項1記載の画像処理装置。 - 前記間引き処理部は、二次元の前記画像にスケールを含めて三次元領域を設定する
請求項6記載の画像処理装置。 - 画像から特徴点を検出する工程と、
前記検出した特徴点の信頼度を算出する工程と、
前記画像を複数領域に分割して、該分割領域毎に特徴点の数が特徴点制限数以内となるように、前記検出した特徴点の間引きを前記信頼度に基づいて行う工程と
を備える画像処理方法。 - 画像から特徴点を検出する手順と、
前記検出した特徴点の信頼度を算出する手順と、
前記画像を複数領域に分割して、該分割領域毎に特徴点の数が特徴点制限数以内となるように、前記検出した特徴点の間引きを前記信頼度に基づいて行う手順と
をコンピュータで実行させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011100836A JP2012234258A (ja) | 2011-04-28 | 2011-04-28 | 画像処理装置と画像処理方法およびプログラム |
US13/423,867 US8792727B2 (en) | 2011-04-28 | 2012-03-19 | Image processing device, image processing method, and program |
CN2012101198557A CN102760291A (zh) | 2011-04-28 | 2012-04-23 | 图像处理装置、图像处理方法和程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011100836A JP2012234258A (ja) | 2011-04-28 | 2011-04-28 | 画像処理装置と画像処理方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012234258A true JP2012234258A (ja) | 2012-11-29 |
Family
ID=47054744
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011100836A Withdrawn JP2012234258A (ja) | 2011-04-28 | 2011-04-28 | 画像処理装置と画像処理方法およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8792727B2 (ja) |
JP (1) | JP2012234258A (ja) |
CN (1) | CN102760291A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015138413A (ja) * | 2014-01-22 | 2015-07-30 | 富士通株式会社 | 画像照合方法、画像処理システム、及びプログラム |
US9591220B2 (en) | 2013-09-06 | 2017-03-07 | Canon Kabushiki Kaisha | Selection apparatus, selection method, and storage medium |
KR20180030167A (ko) | 2016-03-15 | 2018-03-21 | 오므론 가부시키가이샤 | 물체 검출 장치, 물체 검출 방법, 및 프로그램 |
JP2018156544A (ja) * | 2017-03-21 | 2018-10-04 | Kddi株式会社 | 情報処理装置及びプログラム |
JP2019021100A (ja) * | 2017-07-19 | 2019-02-07 | 東芝テック株式会社 | 画像探索装置、商品認識装置および画像探索プログラム |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8953893B2 (en) * | 2012-05-31 | 2015-02-10 | Qualcomm Incorporated | System and method to determine feature candidate pixels of an image |
US9147123B2 (en) | 2012-05-31 | 2015-09-29 | Qualcomm Incorporated | System and method to perform feature detection and to determine a feature score |
US20140125831A1 (en) * | 2012-11-06 | 2014-05-08 | Mediatek Inc. | Electronic device and related method and machine readable storage medium |
TW201421423A (zh) * | 2012-11-26 | 2014-06-01 | Pixart Imaging Inc | 影像感測器及其運作方法 |
CN103973968B (zh) * | 2013-02-01 | 2017-06-13 | 宏达国际电子股份有限公司 | 电子装置及其影像合成方法 |
JP6802848B2 (ja) * | 2016-10-03 | 2020-12-23 | オリンパス株式会社 | 画像処理装置、撮像システム、画像処理方法および画像処理プログラム |
JP6997369B2 (ja) * | 2017-02-28 | 2022-02-04 | 富士通株式会社 | プログラム、測距方法、及び測距装置 |
WO2018216500A1 (ja) * | 2017-05-26 | 2018-11-29 | ソニー株式会社 | 画像処理装置および方法 |
CN109785390B (zh) * | 2017-11-13 | 2022-04-01 | 虹软科技股份有限公司 | 一种用于图像矫正的方法和装置 |
CN109785225B (zh) * | 2017-11-13 | 2023-06-16 | 虹软科技股份有限公司 | 一种用于图像矫正的方法和装置 |
CN109064393B (zh) * | 2018-08-17 | 2023-06-30 | 广州酷狗计算机科技有限公司 | 人脸特效处理方法及装置 |
CN111680549B (zh) * | 2020-04-28 | 2023-12-05 | 肯维捷斯(武汉)科技有限公司 | 一种纸纹识别方法 |
CN113298187B (zh) * | 2021-06-23 | 2023-05-12 | 展讯通信(上海)有限公司 | 图像处理方法及装置、计算机可读存储介质 |
CN116684701B (zh) * | 2023-06-20 | 2024-08-13 | 深圳市视壮科技有限公司 | 一种机顶盒节目搜索方法及系统 |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5818959A (en) * | 1995-10-04 | 1998-10-06 | Visual Interface, Inc. | Method of producing a three-dimensional image from two-dimensional images |
US6041133A (en) * | 1996-12-13 | 2000-03-21 | International Business Machines Corporation | Method and apparatus for fingerprint matching using transformation parameter clustering based on local feature correspondences |
US6975755B1 (en) * | 1999-11-25 | 2005-12-13 | Canon Kabushiki Kaisha | Image processing method and apparatus |
JP4612760B2 (ja) * | 2000-04-25 | 2011-01-12 | キヤノン株式会社 | 画像処理装置およびその方法 |
US7027642B2 (en) * | 2000-04-28 | 2006-04-11 | Orametrix, Inc. | Methods for registration of three-dimensional frames to create three-dimensional virtual models of objects |
US20050088515A1 (en) * | 2003-10-23 | 2005-04-28 | Geng Z. J. | Camera ring for three-dimensional (3D) surface imaging |
JP4482795B2 (ja) * | 2004-03-05 | 2010-06-16 | ソニー株式会社 | 画像処理装置、移動物体追跡方法、移動物体追跡プログラム、監視装置及びゲーム装置 |
CA2568852C (en) * | 2004-06-03 | 2013-01-22 | Japan Science And Technology Agency | High-speed high-accuracy matrix singular value decomposition method, program, and device |
JP4363295B2 (ja) * | 2004-10-01 | 2009-11-11 | オムロン株式会社 | ステレオ画像による平面推定方法 |
JP4142732B2 (ja) * | 2005-06-08 | 2008-09-03 | 富士通株式会社 | 画像処理装置 |
US7856125B2 (en) * | 2006-01-31 | 2010-12-21 | University Of Southern California | 3D face reconstruction from 2D images |
US8433157B2 (en) * | 2006-05-04 | 2013-04-30 | Thomson Licensing | System and method for three-dimensional object reconstruction from two-dimensional images |
JP4961850B2 (ja) * | 2006-06-15 | 2012-06-27 | ソニー株式会社 | 動き検出方法、動き検出方法のプログラム、動き検出方法のプログラムを記録した記録媒体及び動き検出装置 |
JP5017666B2 (ja) * | 2006-08-08 | 2012-09-05 | 国立大学法人京都大学 | 固有値分解装置、及び固有値分解方法 |
KR100884066B1 (ko) * | 2007-03-30 | 2009-02-19 | 한국전자통신연구원 | Svd 기반의 영상 비교시스템 및 방법 |
JP4361946B2 (ja) * | 2007-08-07 | 2009-11-11 | シャープ株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、およびそのプログラムが格納された記録媒体 |
JP5238220B2 (ja) * | 2007-10-29 | 2013-07-17 | 株式会社東芝 | 解像度変換装置、方法およびプログラム |
GB0807411D0 (en) * | 2008-04-23 | 2008-05-28 | Mitsubishi Electric Inf Tech | Scale robust feature-based indentfiers for image identification |
US20090295791A1 (en) * | 2008-05-29 | 2009-12-03 | Microsoft Corporation | Three-dimensional environment created from video |
JP4964852B2 (ja) * | 2008-09-24 | 2012-07-04 | 富士フイルム株式会社 | 画像処理装置、方法及びプログラム |
US8259998B2 (en) * | 2008-09-30 | 2012-09-04 | Mazda Motor Corporation | Image processing device for vehicle |
JP4623199B2 (ja) * | 2008-10-27 | 2011-02-02 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP4852591B2 (ja) * | 2008-11-27 | 2012-01-11 | 富士フイルム株式会社 | 立体画像処理装置、方法及び記録媒体並びに立体撮像装置 |
JP4760973B2 (ja) * | 2008-12-16 | 2011-08-31 | カシオ計算機株式会社 | 撮像装置及び画像処理方法 |
JP5700219B2 (ja) * | 2009-07-23 | 2015-04-15 | 日本電気株式会社 | マーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びプログラム |
JP5644097B2 (ja) * | 2009-12-08 | 2014-12-24 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
US8971632B2 (en) * | 2010-08-19 | 2015-03-03 | Sharp Laboratories Of America, Inc. | System for feature detection for low contrast images |
US8554016B2 (en) * | 2010-11-10 | 2013-10-08 | Raytheon Company | Image registration system and method for registering images for deformable surfaces |
JP5648452B2 (ja) * | 2010-12-03 | 2015-01-07 | 富士通株式会社 | 画像処理プログラムおよび画像処理装置 |
US9036031B2 (en) * | 2010-12-23 | 2015-05-19 | Samsung Electronics Co., Ltd. | Digital image stabilization method with adaptive filtering |
JP5158223B2 (ja) * | 2011-04-06 | 2013-03-06 | カシオ計算機株式会社 | 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム |
-
2011
- 2011-04-28 JP JP2011100836A patent/JP2012234258A/ja not_active Withdrawn
-
2012
- 2012-03-19 US US13/423,867 patent/US8792727B2/en not_active Expired - Fee Related
- 2012-04-23 CN CN2012101198557A patent/CN102760291A/zh active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9591220B2 (en) | 2013-09-06 | 2017-03-07 | Canon Kabushiki Kaisha | Selection apparatus, selection method, and storage medium |
JP2015138413A (ja) * | 2014-01-22 | 2015-07-30 | 富士通株式会社 | 画像照合方法、画像処理システム、及びプログラム |
KR20180030167A (ko) | 2016-03-15 | 2018-03-21 | 오므론 가부시키가이샤 | 물체 검출 장치, 물체 검출 방법, 및 프로그램 |
US10657392B2 (en) | 2016-03-15 | 2020-05-19 | Omron Corporation | Object detection device, object detection method, and program |
JP2018156544A (ja) * | 2017-03-21 | 2018-10-04 | Kddi株式会社 | 情報処理装置及びプログラム |
JP2019021100A (ja) * | 2017-07-19 | 2019-02-07 | 東芝テック株式会社 | 画像探索装置、商品認識装置および画像探索プログラム |
Also Published As
Publication number | Publication date |
---|---|
CN102760291A (zh) | 2012-10-31 |
US20120275711A1 (en) | 2012-11-01 |
US8792727B2 (en) | 2014-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2012234258A (ja) | 画像処理装置と画像処理方法およびプログラム | |
CN109313799B (zh) | 图像处理方法及设备 | |
EP3093822B1 (en) | Displaying a target object imaged in a moving picture | |
CN106469455B (zh) | 图像处理方法、图像处理设备以及记录介质 | |
JP5631086B2 (ja) | 情報処理装置及びその制御方法、プログラム | |
JP2012234257A (ja) | 画像処理装置と画像処理方法およびプログラム | |
US10565726B2 (en) | Pose estimation using multiple cameras | |
CN104583902A (zh) | 改进的手势的识别 | |
JP2008084014A (ja) | 画像領域検出方法、該プログラム、及び該装置 | |
JPWO2013054499A1 (ja) | 画像処理装置、撮像装置および画像処理方法 | |
US11070729B2 (en) | Image processing apparatus capable of detecting moving objects, control method thereof, and image capture apparatus | |
JP5468824B2 (ja) | 3次元における形状の一致を判定する方法および装置 | |
US10404912B2 (en) | Image capturing apparatus, image processing apparatus, image capturing system, image processing method, and storage medium | |
WO2018147059A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP6025467B2 (ja) | 画像処理装置及び画像処理方法 | |
KR102082300B1 (ko) | 삼차원 영상 생성 또는 재생을 위한 장치 및 방법 | |
US8520950B2 (en) | Image processing device, image processing method, program, and integrated circuit | |
JP5656768B2 (ja) | 画像特徴量抽出装置およびそのプログラム | |
KR101456172B1 (ko) | 이동로봇의 위치인식 장치, 방법 및 이동로봇 | |
US9706121B2 (en) | Image processing apparatus and image processing method | |
CN105208263B (zh) | 图像处理装置及其控制方法 | |
JP6530432B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2001266128A (ja) | 奥行き情報取得方法,装置および奥行き情報取得プログラムを記録した記録媒体 | |
JP5973767B2 (ja) | 対応点探索装置、そのプログラム及びカメラパラメータ推定装置 | |
JP2018092354A (ja) | 物体検出装置および物体検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140701 |