JP2010266964A - 画像検索装置及びその制御方法並びにプログラム - Google Patents
画像検索装置及びその制御方法並びにプログラム Download PDFInfo
- Publication number
- JP2010266964A JP2010266964A JP2009115917A JP2009115917A JP2010266964A JP 2010266964 A JP2010266964 A JP 2010266964A JP 2009115917 A JP2009115917 A JP 2009115917A JP 2009115917 A JP2009115917 A JP 2009115917A JP 2010266964 A JP2010266964 A JP 2010266964A
- Authority
- JP
- Japan
- Prior art keywords
- image
- similarity
- feature amount
- calculation
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】 全体特徴方式と局所特徴方式とが相互補完可能となるように構成する。すなわち,従来技術の局所特徴方式を使って検索結果候補を得た後,当該検索結果候補画像について,すでにデータベースに登録されている全体特徴をさらに照合する。なお,当該全体特徴の照合位置は,局所特徴を使って推定する。
【選択図】 図1
Description
図1(a)は、本実施形態における画像登録装置100の構成例を示すブロック図である。106は画像特徴データベースであり、画像登録装置100により登録画像101から抽出された画像特徴がここに登録される。図1(b)は、本実施形態における画像検索装置200の構成例を示すブロック図である。クエリ画像201と類似した画像が画像特徴データベース106から検索される。211は検索結果であり、画像検索装置200が画像特徴データベース106を検索した結果として出力される画像と当該画像の関連情報である。以下、本実施形態に係る画像検索装置の動作例を説明する。
図2のフローチャートを参照して、画像の登録処理の手順を説明する。まず、画像入力部102において登録画像101を読み込む(S301)。次に、局所特徴抽出部103で、登録画像101から局所特徴点を抽出する(S302)。次に、抽出した特徴点ごとに周辺画素値を使って局所特徴量を算出する(S303)。なお、局所特徴点の抽出方法および特徴量の算出方法については、非特許文献1をはじめとして様々な方法が提案されており、これら既存の方法を利用可能である。
次に、図3のフローチャートを参照して、画像の検索処理の手順を説明する。まず、図1(b)の画像入力部202においてクエリ画像201を読み込む(S401)。局所特徴抽出部203では、画像の登録処理と同じ方法により、クエリ画像201から局所特徴点を抽出する(S402)。次に、ステップS402で抽出された特徴点ごとに周辺画素値を使って局所特徴量を算出する(S403)。なお、局所特徴点の抽出方法および特徴量の算出方法については、非特許文献1をはじめとして様々な方法が提案されており、これら既存の方法を利用可能である。
上記第1の実施形態では、候補画像検索部204において、局所特徴量を使って画像特徴データベース106を検索し、局所特徴類似度順に検索結果の上位からあらかじめ定めた枚数を検索結果候補画像として取得した。また、検索結果候補画像は幾何変換パラメータ算出部に渡され、局所特徴類似度は総合類似度算出部209に渡されるようにした。本実施形態では、局所特徴類似度に基づいてステップS405からS409の処理(全体特徴比較処理)を実行する/しないを制御する制御ステップを追加する。
上記第2の実施形態では、局所特徴類似度に基づいて全体特徴比較処理の実行/非実行を制御する制御ステップを追加した。本実施形態では、局所特徴類似度の最大値が所定のしきい値より小さい場合にだけ全体特徴比較処理を実行するよう制御が行われる。本実施形態では、局所特徴類似度の最大値が所定のしきい値以上の場合には全体特徴比較処理をスキップするように構成する。このため、全体特徴比較が不要な場合には検索精度低下を防ぎつつ計算コストの抑制が可能になる。
上記第2の実施形態では、局所特徴類似度に基づいて全体特徴比較処理の実行/非実行を制御する制御ステップを追加した。本実施形態では、局所特徴類似度の最大値と2番目に大きい値との比を候補画像類似度比として算出する。そして、当該候補画像類似度比が所定のしきい値より小さい場合にだけ全体特徴比較処理を実施する。本実施形態では、局所特徴類似度の最大値があらかじめ定めたしきい値以上の場合には全体特徴比較処理をスキップするように構成する。これにより全体特徴比較が不要な場合には検索精度低下を防ぎつつ計算コストの抑制が可能になる。
上記第2の実施形態では、局所特徴類似度に基づいて全体特徴比較処理の実行/非実行を制御するステップを追加した。本実施形態では、局所特徴類似度の最大値が第1のしきい値より小さい場合にはさらに局所特徴類似度の最大値と二番目に大きい値との比を候補画像類似度比として算出する。当該候補画像類似度比が第2のしきい値より小さい場合にだけ全体特徴比較処理を実施する。本実施形態では、局所特徴類似度の最大値があらかじめ定めたしきい値以上の場合には全体特徴比較処理をスキップするように構成する。これにより全体特徴比較が不要な場合には検索精度低下を防ぎつつ計算コストの抑制が可能になる。
上記第1の実施形態では、入力画像全体特徴領域確定部206では、ステップS406により、幾何変換パラメータを使って検索結果候補画像が登録時に設定された各ブロックのクエリ画像201上での全体特徴量の計算領域を確定した。その後の処理は全体特徴量の計算領域内の情報は何の検査も受けることなくそのまま次のステップであるステップS407に移った。本実施形態では、全体特徴量の計算領域の確定後、当該計算領域ごとに当該計算領域内の情報を検査して入力画像の全体特徴量と候補画像の全体特徴量とを比較すべきか否かを判定する全体特徴量比較是非判定ステップを追加する。比較すべきでないと判定した場合には、当該計算領域についてはステップS408からステップS409の処理をスキップするように構成する。
上記第6の実施形態では、入力画像の全体特徴量の計算領域ごとに当該計算領域内の情報を検査して入力画像の全体特徴量と候補画像の全体特徴量とを比較すべきか否かを判定する全体特徴量比較是非判定ステップを追加した。比較すべきでないと判定した場合には、当該計算領域についてはステップS408からステップS409の処理をスキップした。本実施形態では、当該全体特徴量比較是非判定ステップにおいてエッジを検出するエッジ検出ステップを追加する。当該計算領域内にエッジが存在する場合には、当該計算領域についてはステップS408からステップS409の処理をスキップする。
上記第7の実施形態では、計算領域内にエッジが含まれる場合には、当該計算領域についてはステップS408からステップS409の処理をスキップするようにした。本実施形態では、エッジ検出ステップにおいて、前記計算領域内の画素値の勾配振幅値を算出する。当該振幅値があらかじめ定めたしきい値以上となる画素だけを抽出したエッジとして出力するように構成する。
上記第7の実施形態では、入力画像の全体特徴量の計算領域内にエッジが含まれる場合には、当該計算領域についてはステップS408からステップS409の処理をスキップするようにした。本実施形態では、エッジ検出ステップにおいて、前記計算領域内の画素値の勾配振幅値を算出する。さらに当該振幅値の最大値を最大振幅値として求め、当該振幅値と当該最大振幅値との比があらかじめ定めたしきい値以上の画素だけを抽出したエッジとして出力するように構成する。
上記第1の実施形態では、入力画像全体特徴領域確定部206において、ステップS406により、前記幾何変換パラメータを使って検索結果候補画像が登録時に設定された各ブロックについてクエリ画像201上での全体特徴量の複数の計算領域を確定した。その後、計算領域それぞれについてステップS407およびステップS408の処理を実行するようにした。本実施形態では、入力画像上の全体特徴量の複数の計算領域を結合して結合計算領域を生成する。その後、結合計算領域内で全体特徴量を結合全体特徴量として算出し、候補画像の結合全体特徴量と入力画像の結合全体特徴量とを比較するように構成する。これにより、回転画像や切取り画像の検索を可能としつつ、局所特徴方式だけを使って検索した場合に検索精度が低下するような画像の検索時にも検索精度の低下を防止可能となる。さらに局所的に付加されるノイズの影響を抑えることが可能になる。
上記第10の実施形態では、入力画像上の全体特徴量の複数の計算領域を結合して結合計算領域を生成する。その後、当該結合計算領域内で全体特徴量を結合全体特徴量として算出し、候補画像の結合全体特徴量と入力画像の結合全体特徴量とを比較するように構成した。本実施形態では、結合計算領域の生成に利用する入力画像上の全体特徴量の計算領域は互いに隣接していることを条件とするように構成する。
上記第1の実施形態では、入力画像全体特徴領域確定部206において、ステップS406により、幾何変換パラメータを使って検索結果候補画像が登録時に設定された各ブロックについてクエリ画像201上での全体特徴量の複数の計算領域を確定した。その後、全体特徴量の複数の計算領域のそれぞれについてステップS407およびステップS408の処理を実施するようにした。本実施形態では、全体特徴量の計算領域の確定後、各計算領域に対して画像処理を施す。ステップS407では、画像処理後の計算領域から全体特徴を算出し、画像処理後全体特徴を生成する。その後ステップS408にて画像処理後全体特徴を比較する。ここで、画像処理はどのような処理でもよいが、本実施形態ではフーリエ変換や離散コサイン変換(DCT:Discrete Cosine Transform)などの空間周波数変換処理を例に説明する。
以上、本発明の実施形態を詳述したが、前述の各実施形態における処理は、複数のハードウェアとソフトウエアの協働によって実現するようにしてもよい。この場合、ネットワーク又は各種記憶媒体を介して取得したソフトウエア(プログラム)をコンピュータ等の処理装置(CPU、プロセッサ)にて実行することで実現できる。
Claims (10)
- 入力画像から局所的な特徴量である局所特徴量を抽出する抽出手段と、
前記局所特徴量と画像特徴データベースに登録されている各画像の局所特徴量との類似度である局所特徴類似度を算出し、算出した局所特徴類似度に基づいて複数の候補画像を取得する検索手段と、
前記局所特徴量を用いて各候補画像と前記入力画像との幾何変換パラメータを算出するパラメータ算出手段と、
前記幾何変換パラメータを用いて、各候補画像に対し予め計算されている全体特徴量の計算領域に対応する前記入力画像上の計算領域を確定する確定手段と、
前記確定手段により確定された計算領域の全体特徴量を算出する特徴量算出手段と、
各全体特徴量と前記全体特徴量とを比較して各候補画像と前記入力画像との類似度を算出する類似度算出手段と、
各候補画像を前記類似度の順に出力する出力手段と、
を有することを特徴とする画像検索装置。 - 前記検索手段により算出された前記局所特徴類似度に基づいて、前記パラメータ算出手段、前記確定手段、前記特徴量算出手段、及び前記類似度算出手段による各処理の実行を制御する制御手段を更に有することを特徴とする請求項1に記載の画像検索装置。
- 前記制御手段は、前記検索手段により算出された前記局所特徴類似度の最大値が所定のしきい値以上である場合、前記パラメータ算出手段、前記確定手段、前記特徴量算出手段、及び前記類似度算出手段による各処理を実行しないよう制御することを特徴とする請求項2に記載の画像検索装置。
- 前記制御手段は、前記検索手段により算出された前記局所特徴類似度の最大値と2番目に大きい値との比が所定のしきい値以上である場合、前記パラメータ算出手段、前記確定手段、前記特徴量算出手段、及び前記類似度算出手段による各処理を実行しないよう制御することを特徴とする請求項2に記載の画像検索装置。
- 前記確定手段により確定された前記入力画像上の計算領域内に存在するエッジを検出するエッジ検出手段と、
前記エッジ検出手段により前記入力画像上の計算領域内に存在するエッジが検出された場合、前記パラメータ算出手段、前記確定手段、前記特徴量算出手段、及び前記類似度算出手段による各処理を実行しないよう制御する制御手段と、
を更に有することを特徴とする請求項1に記載の画像検索装置。 - 前記確定手段により得られた、前記入力画像上の全体特徴量の複数の計算領域を結合して得た結合計算領域を生成する生成手段を更に有し、
前記特徴量算出手段は、前記結合計算領域内で全体特徴量を結合全体特徴量として算出し、
前記類似度算出手段は、各候補画像の結合全体特徴量と前記入力画像の結合全体特徴量とを比較して各候補画像と前記入力画像との類似度を算出する
ことを特徴とする請求項1に記載の画像検索装置。 - 前記複数の計算領域は互いに隣接していることを特徴とする請求項6に記載の画像検索装置。
- 前記確定手段により得られた、前記入力画像上の全体特徴量の複数の計算領域に画像処理を施す画像処理手段を更に有し、
前記特徴量算出手段は、画像処理後の前記複数の計算領域から全体特徴量を計算し、
前記類似度算出手段は、前記入力画像上の各全体特徴量と前記画像処理後の全体特徴量とを比較して各候補画像と前記入力画像との類似度を算出する
ことを特徴とする請求項1に記載の画像検索装置。 - 画像検索装置の制御方法であって、
抽出手段が、入力画像から局所的な特徴量である局所特徴量を抽出する抽出ステップと、
検索手段が、前記局所特徴量と画像特徴データベースに登録されている各画像の局所特徴量との類似度である局所特徴類似度を算出し、算出した局所特徴類似度に基づいて複数の候補画像を取得する検索ステップと、
パラメータ算出手段が、前記局所特徴量を用いて各候補画像と前記入力画像との幾何変換パラメータを算出するパラメータ算出ステップと、
確定手段が、前記幾何変換パラメータを用いて、各候補画像に対し予め計算されている全体特徴量の計算領域に対応する前記入力画像上の計算領域を確定する確定ステップと、
特徴量算出手段が、前記確定ステップで確定された計算領域の全体特徴量を算出する特徴量算出ステップと、
類似度算出手段が、各全体特徴量と前記全体特徴量とを比較して各候補画像と前記入力画像との類似度を算出する類似度算出ステップと、
出力手段が、各候補画像を前記類似度の順に出力する出力ステップと、
を有することを特徴とする画像検索装置の制御方法。 - コンピュータを請求項1乃至8のいずれか1項に記載の画像検索装置が有する各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009115917A JP5210241B2 (ja) | 2009-05-12 | 2009-05-12 | 画像検索装置及びその制御方法並びにプログラム |
US12/764,660 US8280196B2 (en) | 2009-05-12 | 2010-04-21 | Image retrieval apparatus, control method for the same, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009115917A JP5210241B2 (ja) | 2009-05-12 | 2009-05-12 | 画像検索装置及びその制御方法並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010266964A true JP2010266964A (ja) | 2010-11-25 |
JP5210241B2 JP5210241B2 (ja) | 2013-06-12 |
Family
ID=43363910
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009115917A Active JP5210241B2 (ja) | 2009-05-12 | 2009-05-12 | 画像検索装置及びその制御方法並びにプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5210241B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012102018A1 (ja) * | 2011-01-25 | 2012-08-02 | 三菱電機株式会社 | 画像検索装置及び方法、画像処理装置及び方法 |
JP2013089085A (ja) * | 2011-10-19 | 2013-05-13 | Toshiba Tec Corp | 情報処理装置、情報処理方法及びプログラム |
WO2014030400A1 (ja) * | 2012-08-23 | 2014-02-27 | 日本電気株式会社 | 物体識別装置、物体識別方法、及びプログラム |
JP2015064761A (ja) * | 2013-09-25 | 2015-04-09 | 日本電信電話株式会社 | マッチング処理装置およびマッチング方法 |
JP2015111339A (ja) * | 2013-12-06 | 2015-06-18 | 株式会社デンソーアイティーラボラトリ | 画像検索システム、画像検索装置、検索サーバ装置、画像検索方法、及び画像検索プログラム |
US9633278B2 (en) | 2012-12-28 | 2017-04-25 | Nec Corporation | Object identification device, method, and storage medium |
CN111522986A (zh) * | 2020-04-23 | 2020-08-11 | 北京百度网讯科技有限公司 | 图像检索方法、装置、设备和介质 |
WO2023042422A1 (ja) * | 2021-09-15 | 2023-03-23 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003216931A (ja) * | 2002-01-28 | 2003-07-31 | Matsushita Electric Works Ltd | 特定パターン認識方法、特定パターン認識プログラム、特定パターン認識プログラム記録媒体および特定パターン認識装置 |
JP2005208740A (ja) * | 2004-01-20 | 2005-08-04 | Ricoh Co Ltd | 部分画像検索装置及び部分画像検索プログラム |
JP2007034613A (ja) * | 2005-07-26 | 2007-02-08 | Canon Inc | 画像処理装置及びその方法 |
JP2008203916A (ja) * | 2007-02-16 | 2008-09-04 | Hitachi Ltd | 画像処理装置、プログラム及び画像処理方法 |
-
2009
- 2009-05-12 JP JP2009115917A patent/JP5210241B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003216931A (ja) * | 2002-01-28 | 2003-07-31 | Matsushita Electric Works Ltd | 特定パターン認識方法、特定パターン認識プログラム、特定パターン認識プログラム記録媒体および特定パターン認識装置 |
JP2005208740A (ja) * | 2004-01-20 | 2005-08-04 | Ricoh Co Ltd | 部分画像検索装置及び部分画像検索プログラム |
JP2007034613A (ja) * | 2005-07-26 | 2007-02-08 | Canon Inc | 画像処理装置及びその方法 |
JP2008203916A (ja) * | 2007-02-16 | 2008-09-04 | Hitachi Ltd | 画像処理装置、プログラム及び画像処理方法 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2012102018A1 (ja) * | 2011-01-25 | 2014-06-30 | 三菱電機株式会社 | 画像検索装置及び方法、画像処理装置及び方法 |
WO2012102018A1 (ja) * | 2011-01-25 | 2012-08-02 | 三菱電機株式会社 | 画像検索装置及び方法、画像処理装置及び方法 |
JP2013089085A (ja) * | 2011-10-19 | 2013-05-13 | Toshiba Tec Corp | 情報処理装置、情報処理方法及びプログラム |
JPWO2014030400A1 (ja) * | 2012-08-23 | 2016-07-28 | 日本電気株式会社 | 物体識別装置、物体識別方法、及びプログラム |
WO2014030400A1 (ja) * | 2012-08-23 | 2014-02-27 | 日本電気株式会社 | 物体識別装置、物体識別方法、及びプログラム |
US9679221B2 (en) | 2012-08-23 | 2017-06-13 | Nec Corporation | Object identification apparatus, object identification method, and program |
US9633278B2 (en) | 2012-12-28 | 2017-04-25 | Nec Corporation | Object identification device, method, and storage medium |
JP2015064761A (ja) * | 2013-09-25 | 2015-04-09 | 日本電信電話株式会社 | マッチング処理装置およびマッチング方法 |
JP2015111339A (ja) * | 2013-12-06 | 2015-06-18 | 株式会社デンソーアイティーラボラトリ | 画像検索システム、画像検索装置、検索サーバ装置、画像検索方法、及び画像検索プログラム |
CN111522986A (zh) * | 2020-04-23 | 2020-08-11 | 北京百度网讯科技有限公司 | 图像检索方法、装置、设备和介质 |
CN111522986B (zh) * | 2020-04-23 | 2023-10-10 | 北京百度网讯科技有限公司 | 图像检索方法、装置、设备和介质 |
US11836186B2 (en) | 2020-04-23 | 2023-12-05 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for retrieving image, device, and medium |
WO2023042422A1 (ja) * | 2021-09-15 | 2023-03-23 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5210241B2 (ja) | 2013-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5210241B2 (ja) | 画像検索装置及びその制御方法並びにプログラム | |
US10936911B2 (en) | Logo detection | |
JP4348353B2 (ja) | パターン認識装置,パターン認識方法及びその方法を実現したプログラムを格納した記録媒体 | |
JP5096776B2 (ja) | 画像処理装置及び画像検索方法 | |
JP5183392B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6431302B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US9916521B2 (en) | Depth normalization transformation of pixels | |
JP5261501B2 (ja) | 不変の視覚場面及び物体の認識 | |
KR20150114950A (ko) | 이미지 스트림의 프레임 레이트 증가 | |
US8842917B2 (en) | Local feature extraction apparatus, control method therefor, and computer-readable medium | |
JP5430243B2 (ja) | 画像検索装置及びその制御方法並びにプログラム | |
JP2007066019A (ja) | 画像検索方法及び装置 | |
CN108876812B (zh) | 用于视频中物体检测的图像处理方法、装置及设备 | |
US11210551B2 (en) | Iterative multi-directional image search supporting large template matching | |
JP2011002965A (ja) | 画像検索方法および装置 | |
CN110603535B (zh) | 支持大模板匹配的迭代多方向图像搜索 | |
KR101373397B1 (ko) | 증강현실의 호모그래피 정확도 향상을 위한 csp 기반의 ransac 샘플링 방법 | |
JP6116271B2 (ja) | 特徴量算出装置、方法及びプログラム | |
JP6399651B2 (ja) | 登録装置及び検索装置並びに方法及びプログラム | |
JP6336827B2 (ja) | 画像検索装置、画像検索方法および検索システム | |
US11861879B2 (en) | Information processing device, information processing method, and storage medium | |
JP5227251B2 (ja) | カメラ校正装置およびカメラ校正プログラム | |
JP2017138742A (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN117475265A (zh) | 示教装置、示教方法以及存储介质 | |
JP2019008841A (ja) | シーン推定装置及び方法、コンピュータプログラム並びに記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121108 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121112 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130125 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130222 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160301 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5210241 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160301 Year of fee payment: 3 |