JP2007102634A - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP2007102634A
JP2007102634A JP2005293917A JP2005293917A JP2007102634A JP 2007102634 A JP2007102634 A JP 2007102634A JP 2005293917 A JP2005293917 A JP 2005293917A JP 2005293917 A JP2005293917 A JP 2005293917A JP 2007102634 A JP2007102634 A JP 2007102634A
Authority
JP
Japan
Prior art keywords
image
fitness
value
template
template image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005293917A
Other languages
English (en)
Inventor
Kaname Ogawa
要 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005293917A priority Critical patent/JP2007102634A/ja
Priority to KR1020060097330A priority patent/KR20070038891A/ko
Priority to TW095136497A priority patent/TW200801996A/zh
Priority to EP06020869A priority patent/EP1783637A3/en
Priority to US11/544,545 priority patent/US20070081729A1/en
Priority to CNB2006101404474A priority patent/CN100524308C/zh
Publication of JP2007102634A publication Critical patent/JP2007102634A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

【課題】テンプレート画像を含む画像の検索を高速に高い精度で行う。
【解決手段】領域選択受付部601からの画像の領域の選択に基づいてテンプレート画像生成部301はテンプレート画像を生成する。このテンプレート画像および検索対象になるターゲット画像は、画像縮小部302において所定の縮小率に縮小される。個体抽出部311において生成されたターゲット画像とテンプレート画像とを照合する領域の情報を有する染色体の適応度が、ターゲット画像準備値テーブル320およびテンプレート画像準備値テーブル321に保持された準備値を用いて適応度算出部313において算出された後、遺伝的アルゴリズム処理部314で選択、交配および突然変異が行われる。以上の処理を所定世代数繰り返した後に、準最適解に対応する適応値が所定の閾値を超えているか否かが類似画像判断部318で判断される。
【選択図】図3

Description

本発明は、画像を検索する画像処理装置に関し、特に、高速にテンプレート画像と類似する画像を検索する画像処理装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
近年、メモリの価格の低減やメモリに関する技術の発達により、デジタルスチルカメラおよびデジタルビデオカメラ等の撮像装置におけるメモリの容量は増加している。これに伴い、撮像装置に保持される静止画像や動画像の数も増えている。このような状況下においては、ユーザーが閲覧したい静止画像や動画像を探し出すことが困難になってきている。
このような問題点を解決するため、ユーザーが所望する画像をテンプレート画像として指定して、検索対象画像中よりそのテンプレート画像とマッチングする画像を検索する画像検索方法が提案されている(例えば、特許文献1参照。)。
特開平8−263522号公報(図2)
一般に、撮像装置においては、装置自体の小型化やコストの低減等の要請から高い演算処理能力を持つCPU(Central Processing Unit)を搭載することが難しい状況にある。このような撮像装置に、上述の画像検索方法を実現させたとしても、検索の演算処理に多くの時間を要し、実用性に欠くこととなる。このため、演算処理に要する時間を低減させる必要性は高い。また、演算処理にかかる時間を低減させるとともに、検索の精度を下げないようにすることも必要である。
そこで、本発明は、画像の検索を高速に高い精度で行う画像処理装置を提供することを目的とする。
本発明は、上記課題を解決するためになされたものであり、その第1の側面は、検索の対象になる複数のターゲット画像を保持するターゲット画像保持手段と、上記複数のターゲット画像の何れか一つに対する所定の領域の選択を受け付ける領域選択受付手段と、上記選択を受け付けた領域の画像をテンプレート画像として生成するテンプレート画像生成手段と、上記テンプレート画像および上記ターゲット画像を上記テンプレート画像の縦幅および横幅に応じた縮小率に縮小する画像縮小手段と、上記縮小されたターゲット画像において上記縮小されたテンプレート画像と類似する画像を含む上記縮小されたターゲット画像を遺伝的アルゴリズムにより検索する類似画像検索手段とを具備することを特徴とする画像処理装置である。これにより、選択されたテンプレート画像の横幅および縦幅に応じた縮小率にテンプレート画像およびターゲット画像を縮小してテンプレート画像に類似する画像が含まれたターゲット画像を高速に検索させるという作用をもたらす。すなわち、テンプレート画像およびターゲット画像を縮小することによって、テンプレート画像とターゲット画像とを照合する面積が低減されるため、照合に要する演算量を低減することができる。
また、この第1の側面において、上記画像縮小手段は、上記テンプレート画像の縦幅と横幅との積が所定値以下の場合は上記画像縮小手段における縮小は行わないことを特徴とするものである。これにより、選択されたテンプレート画像の横幅および縦幅が小さい場合に検索精度を低減させないという作用をもたらす。
また、この第1の側面において、上記テンプレート画像生成手段は、上記選択された所定の領域を所定の倍率で拡大または縮小した画像を上記テンプレート画像として生成することを特徴とするものである。これにより、テンプレート画像を拡大、縮小および回転させた画像と類似する画像をも検索させるという作用をもたらす。
また、上記類似画像検索手段は、上記類似画像検索手段は、上記縮小されたターゲット画像よりランダムに複数の個体を抽出して上記個体の座標および上記テンプレート画像の拡大または縮小における上記所定の倍率に基づいた染色体情報を有する染色体を生成する個体抽出手段と、上記染色体情報および画素値に基づいて上記染色体の適応度を算出する適応度算出手段と、上記適応度算出手段において上記適応度を算出された上記染色体に対して選択、交配および突然変異のうち少なくとも1つの処理を行って新たな染色体情報を有する染色体を生成して上記適応度算出手段において上記新たな染色体情報を有する染色体についての適応度を算出させる遺伝的アルゴリズム処理手段と、所定の条件に従って繰り返し行われる上記遺伝的アルゴリズム処理手段における処理の終了を指示する処理終了指示手段と、上記適応度算出手段において最後に算出された適応度のうち最も値の大きい適応度を準最適解として判断する準最適解判断手段と、上記準最適解が第1の閾値を超えた場合に上記縮小されたテンプレート画像に類似する画像が上記縮小されたターゲット画像に含まれると判断する類似画像判断手段とを具備することを特徴とするものである。ここで第1の閾値とは、テンプレート画像がターゲット画像に含まれるか否かを判断する際の基準となる値を言う。すなわち、準最適解とされた適応度の値が第1の閾値を超えていればテンプレート画像がターゲット画像に含まれることになり、準最適解とされた適応度の値が第1の閾値を超えていなければテンプレート画像がターゲット画像に含まれないことになる。これにより、遺伝的アルゴリズムにおいてテンプレート画像とターゲット画像とを照合する領域についての情報を染色体に持たせ、その染色体の適応度に基づいてテンプレート画像に類似する画像が含まれたターゲット画像を高速に検索させるという作用をもたらす。
また、上記画素値は、YUV、RGBおよびHSVの何れかを用いて表される量であることを特徴とするものである。これにより、YUV、RGBおよびHSVに基づいて遺伝的アルゴリズムにおける染色体の適応度を算出させるという作用をもたらす。
また、当該画像処理装置は、上記ターゲット画像における上記染色体に対応する領域の上記画素値の平均値と上記テンプレート画像における領域の上記画素値の平均値との差の絶対値を算出し、上記差の絶対値が第2の閾値を超えたか否かを判断する適応度算出前処理手段をさらに具備し、上記適応度算出手段は、上記適応度前処理手段において上記差の絶対値が上記第2の閾値を超えたと判断された場合には上記類似画像判断手段における前記判断の対象から除外される十分に小さい値を上記適応度として設定することを特徴とするものである。ここで第2の閾値とは、ターゲット画像における染色体に対応する領域の画素値の平均値とテンプレート画像における領域の画素値の平均値との差の絶対値に基づいて適応度を評価する際に基準となる値を言う。これにより、遺伝的アルゴリズムにおける染色体の適応度を演算量の少ない方法で決定させるという作用をもたらす。
また、当該画像処理装置は、上記染色体に対応する上記ターゲット画像における領域の上記画素値の標準偏差および上記テンプレート画像における領域の上記画素値の標準偏差のそれぞれを2乗したものの比を算出し、上記比が所定の範囲内にあるか否かを判断する適応度算出前処理手段をさらに具備し、上記適応度算出手段は、上記適応度前処理手段において上記比が所定の範囲内にあると判断された場合には上記類似画像判断手段における前記判断の対象から除外される十分に小さい値を上記適応度として設定することを特徴とするものである。これにより、遺伝的アルゴリズムにおける染色体の適応度を演算量の少ない方法で決定させるという作用をもたらす。
また、当該画像処理装置は、上記染色体に対応する上記ターゲット画像における領域の中央点の上記画素値と上記テンプレート画像における領域の中央点の上記画素値との差の絶対値を算出し、上記差の絶対値が第2の閾値を超えたか否かを判断する適応度算出前処理手段をさらに具備し、上記適応度算出手段は、上記適応度前処理手段において上記差の絶対値が第2の閾値を超えたと判断された場合には上記類似画像判断手段における前記判断の対象から除外される十分に小さい値を上記適応度として設定することを特徴とするものである。ここで第2の閾値とは、ターゲット画像における領域の中央点の画素値と上記テンプレート画像における領域の中央点の画素値との差の絶対値に基づいて適応度を評価する際に基準となる値を言う。これにより、遺伝的アルゴリズムにおける染色体の適応度を演算量の少ない方法で決定させるという作用をもたらす。
また、上記適応度算出手段は、上記画素値および上記染色体情報に基づいて上記染色体の適応度を相互相関関数により算出することを特徴とするものである。これにより、ターゲット画像とテンプレート画像との相互の関連性がどれくらいあるかという観点から遺伝的アルゴリズムにおける染色体の適応度を算出させるという作用をもたらす。
また、上記適応度算出手段は、上記ターゲット画像における任意の座標の上記画素値と上記ターゲット画像および上記テンプレート画像が重なり合う領域における上記ターゲット画像の上記画素値の平均値との差、および、上記テンプレート画像における任意の座標の上記画素値と上記ターゲット画像および上記テンプレート画像が重なり合う領域における上記テンプレート画像の上記画素値の平均値との差の積を、上記ターゲット画像および上記テンプレート画像が重なり合う領域全ての座標において積算したものを正規化した関数を上記相互相関関数として用いることを特徴とするものである。これにより、画素値についてターゲット画像とテンプレート画像との相互の関連性がどれくらいあるかというという観点から遺伝的アルゴリズムにおける染色体の適応度を算出させるという作用をもたらす。
また、当該画像処理装置は、上記縮小されたテンプレート画像および上記縮小されたターゲット画像における原点から任意の座標までの上記画素値を積算した準備値を上記縮小されたテンプレート画像および上記縮小されたターゲット画像の全ての座標において算出する準備値算出手段と、上記縮小されたテンプレート画像における上記準備値を上記縮小されたテンプレート画像の座標と対応付けて保持するテンプレート画像準備値テーブルと、上記縮小されたターゲット画像における上記準備値を上記縮小されたターゲット画像の座標と対応付けて保持するターゲット画像準備値テーブルとをさらに具備し、上記適応度算出手段は、上記準備値を用いて上記相互相関関数における上記画素値を上記ターゲット画像および上記テンプレート画像が重なり合う領域全ての座標において積算する計算を行い、上記染色体の適応度を算出することを特徴とするものである。これにより、遺伝的アルゴリズムにおける染色体の適応度の算出する際の演算量を低減させるという作用をもたらす。
また、上記適応度算出手段は、上記ターゲット画像における任意の座標の上記画素値と上記ターゲット画像および上記テンプレート画像が重なり合う領域における上記ターゲット画像の上記画素値の平均値との差、および、上記テンプレート画像における任意の座標の上記画素値と上記ターゲット画像および上記テンプレート画像が重なり合う領域における上記テンプレート画像の上記画素値の平均値との差の積を、上記ターゲット画像および上記テンプレート画像が重なり合う領域全ての座標において積算したものを正規化した関数を上記相互相関関数として用い、上記画素値を構成する複数の要素それぞれについての上記相互相関関数による算出値を2乗したものの和の平方根を正規化したものを上記適応度として算出することを特徴とするものである。これにより、画素値におけるそれぞれの要素を総合してターゲット画像とテンプレート画像との相互の関連性がどれくらいあるかというという観点から遺伝的アルゴリズムにおける染色体の適応度を算出させるという作用をもたらす。
また、 上記適応度算出手段は、上記ターゲット画像における任意の座標の上記画素値と上記ターゲット画像および上記テンプレート画像が重なり合う領域における上記テンプレート画像の上記画素値の平均値との差、および、上記テンプレート画像における任意の座標の上記画素値と上記ターゲット画像および上記テンプレート画像が重なり合う領域における上記ターゲット画像の上記画素値の平均値との差の積を、上記ターゲット画像および上記テンプレート画像が重なり合う領域全ての座標において積算したものを正規化した関数を上記相互相関関数として用いることを特徴とするものである。これにより、ターゲット画像およびテンプレート画像の直流成分をも加味して染色体の適応度を算出させるという作用をもたらす。すなわち、テンプレート画像に類似する画像が含まれたターゲット画像を精度よく検索させることができる。
また、上記適応度算出手段は、上記相互相関関数として座標(X,Y)における相互相関関係を表す以下の式を用いることを特徴とするものである。なお、以下の式において、w、hは、それぞれ上記テンプレート画像の幅と高さを表す。また、Target(X+i、Y+j)は、上記ターゲット画像の座標(X+i、Y+j)における画素値を表す。また、Template(i、j)は、上記テンプレート画像の座標(i、j)における画素値を表す。また、Mtargetは、上記ターゲット画像および上記テンプレート画像が重なり合う領域における画素値の平均値を表す。また、Mtemplateは、上記テンプレート画像の画素値の平均値を表す。これにより、ターゲット画像およびテンプレート画像の直流成分をも加味して染色体の適応度を算出させるという作用をもたらす。すなわち、テンプレート画像に類似する画像が含まれたターゲット画像を精度よく検索させることができる。
また、本発明の第2の側面は、検索の対象になる複数のターゲット画像を保持するターゲット画像保持手段と、上記複数のターゲット画像の何れか一つに対する所定の領域の選択を受け付ける領域選択受付手段と、上記選択を受け付けた領域における画像およびその領域における画像を所定の倍率で拡大または縮小した画像をテンプレート画像として生成するテンプレート画像生成手段と、上記縮小されたターゲット画像よりランダムに複数の個体を抽出して上記個体の座標および上記テンプレート画像の拡大または縮小における上記所定の倍率に基づいた染色体情報を有する染色体を生成する個体抽出手段と、上記染色体情報および画素値に基づいて上記染色体の適応度を算出する適応度算出手段と、上記適応度算出手段において上記適応度を算出された上記染色体に対して選択、交配および突然変異のうち少なくとも1つの処理を行って新たな染色体情報を有する染色体を生成して上記適応度算出手段において上記新たな染色体情報を有する染色体についての適応度を算出させる遺伝的アルゴリズム処理手段と、所定の条件に従って繰り返し行われる上記遺伝的アルゴリズム処理手段における処理の終了を指示する処理終了指示手段と、上記適応度算出手段において最後に算出された適応度のうち最も値の大きい適応度を準最適解として判断する準最適解判断手段と、上記準最適解に対応する上記ターゲット画像の領域を囲む所定の領域の全てにおいて上記所定の領域における適応度を算出してその適応度のうち最も値の大きい適応度を上記所定の領域における準最適解として判断する近傍領域準最適解判断手段と、上記準最適解判断手段において判断された上記準最適解および上記近傍領域準最適解判断手段において判断された上記所定の領域における準最適解のうち最も大きい値が所定の閾値を超えた場合に上記縮小されたテンプレート画像に類似する画像が上記縮小されたターゲット画像に含まれると判断する類似画像判断手段とを具備することを特徴とする画像処理装置である。これにより、テンプレート画像に類似する画像が含まれたターゲット画像の検索漏れが生じる可能性を低減させるという作用をもたらす。
また、本発明の第3の側面は、検索の対象になるターゲット画像を保持するターゲット画像保持手段を備えた画像処理装置において以下の手順を実行する処理方法または以下の手順をコンピュータに実行させるプログラムであって、上記複数のターゲット画像の何れか一つに対する所定の領域の選択を受け付ける領域選択受付手順と、上記選択を受け付けた領域の画像をテンプレート画像として生成するテンプレート画像生成手順と、上記テンプレート画像および上記ターゲット画像を上記テンプレート画像の縦幅および横幅に応じた縮小率に縮小する画像縮小手順と、上記縮小されたターゲット画像において上記縮小されたテンプレート画像と類似する画像を含む上記縮小されたターゲット画像を遺伝的アルゴリズムにより検索する類似画像検索手順とを具備することを特徴とする処理方法またはこれらの手順をコンピュータに実行させるプログラムである。これにより、選択されたテンプレート画像の横幅および縦幅に応じた縮小率にテンプレート画像およびターゲット画像を縮小してテンプレート画像に類似する画像が含まれたターゲット画像を高速に検索させるという作用をもたらす。
本発明によれば、画像の検索を高速に高い精度で行うことができるという優れた効果を奏し得る。
次に本発明の実施の形態について図面を参照して詳細に説明する。なお、本発明の実施の形態においては、画像処理装置の一例として撮像装置について説明する。
図1は、本発明の実施の形態における撮像装置100の一例である撮像装置100aおよび100bの外観図である。撮像装置100aは、主として静止画像を撮像するものであり、撮像装置100bは、主として動画像を撮像するものである。
図1(a)は、撮像装置100aの正面図である。撮像装置100aは、レンズ部110aから被写体を撮像する。そして、撮像装置100aは、シャッター部120aが押下されると静止画を生成する。図1(b)は、撮像装置100aの背面図である。レンズ部110aによって捕らえられた被写体の動きはディスプレイ部130aに映し出される。また、生成された静止画もディスプレイ部130aに映し出される。
図1(c)は、撮像装置100bの正面図である。撮像装置100bは、レンズ部110bから被写体を撮像する。そして、撮像装置100bは、(図示しない)録画ボタンが押下されると動画を生成する。図1(d)は、撮像装置100bの背面図である。レンズ部110bによって捕らえられた被写体の動きはディスプレイ部130bに映し出される。また、生成された動画もディスプレイ部130bに映し出される。また、撮像装置100bは、静止画も生成する機能を有しており、生成された静止画もディスプレイ部130bに映し出される。
本発明の実施の形態においては、ディスプレイ部130aおよび130bに映し出された静止画の一部を選択して切り出し、その切り出された静止画をテンプレート画像とするものである。本発明の実施の形態において静止画の一部を選択する操作は、ディスプレイ部130aおよび130bを直接押下することにより指定するタッチパネル方式を想定しているが、これに限るものではない。
このテンプレート画像は、撮像装置100aおよび100bに内蔵された(図示しない)記憶装置に保持された画像から所望の画像を検索する際に用いられるものである。以下において、検索の対象になる記憶装置に保持された画像をターゲット画像と呼ぶ。そして、本発明の実施の形態においては、テンプレート画像に類似する画像が含まれたターゲット画像を検索する。検索に際しては、まず、テンプレート画像およびターゲット画像をテンプレート画像の縦幅および横幅に応じた縮小率に縮小した後、遺伝的アルゴリズム(GA:Genetic Algorithm)を用いてテンプレート画像に類似する画像が含まれたターゲット画像を検索する。
なお、遺伝的アルゴリズムとは、生物の進化過程に倣って確率論的なデータ処理によって最適解を得ようとする手法である。その手法の具体的内容は、まずランダムに個体を抽出して、染色体をその個体数だけ生成して初期集団を生成する。次に初期集団に属する各染色体に対して適応度を求める。なお、適応度とは、本発明の実施の形態においては、テンプレート画像に類似する画像がターゲット画像に含まれるか否かを評価するための評価値である。
適応度を求めた後に、選択、交配および突然変異の処理を行い、新たな染色体を生成する。新たな染色体が生成されると、さらにその新たな染色体について上記と同様に適応度を求める。所定の終了条件を満たすと以上の処理は終了し、適応度の高い染色体が準最適解とされる。この準最適解が予め定めた所定の閾値を超える場合に、そのターゲット画像はテンプレート画像に類似する画像を含むものと判断されて、検索結果として出力される。
図2は、本発明の実施の形態における撮像装置100の構成を示す図である。本発明の実施の形態における撮像装置100は、撮像部10と、記録再生処理部20と、制御部30と、バス40と、キー入力部50と、タッチパネル部60、記憶装置70とを備える。
撮像部10は、撮像素子部11と、撮像制御部12と、画像処理部13とを備える。撮像素子部11は、内部に、被写体を撮像するためのレンズ群(図1におけるレンズ部110aおよび110bに対応)、絞り調整機構、フォーカス調整機構および例えばCCD(Charge Coupled Devices)などの撮像素子などを備えており、レンズ群を通じた像がCCDなどの撮像素子の結像面に結像される。撮像素子部11は、シャッター操作に応じて制御部30からバス40を通じて供給される画像取り込みタイミング信号を受けて、撮像素子の結像面に結像されている被写体像を撮像信号に変換し、画像処理部13に供給する。
撮像制御部12は、制御部30からバス40を通じて供給される制御信号を受けて、撮像素子部11に供給する制御信号を生成する。また、撮像制御部12は、生成した制御信号を撮像素子部11に供給して、ズーム制御、シャッター制御および露出制御などを行う。
画像処理部13は、制御部30からバス40を通じて供給される制御信号に基づいて、撮像信号についてのガンマ補正やAGC(Auto Gain Control)などの処理を行うとともに、撮像信号をデジタル信号としての画像信号に変換する処理も行う。
記録再生処理部20は、画像符号化/復号部21と、記録制御部22と、SDRAM(Synchronous Dynamic Random Access Memory)23とを備える。画像符号化/復号部21は、撮像部10からバス40を通じて供給される画像信号などを符号化し多重化して圧縮データに変換する符号化機能を有する。また、画像符号化/復号部21は、圧縮データから画像信号を復号する復号機能を有する。
記録制御部22は、画像符号化/復号部21から圧縮データを受けて記憶装置70に書き込む。また、記録制御部22は、記憶装置70から圧縮データを読み出して画像符号化/復号部21に供給する。なお、記憶装置70は、撮像装置100に外付けされたものでも内蔵されたものであってもよい。また、記憶装置70としては、フラッシュメモリ(Flash memory)をカード型にパッケージしたメモリカード、ハードディスク等の磁気ディスク、DVD等の光ディスク(Optical Disk)およびMO等の光磁気ディスク(Magneto-Optical disk)のいずれかが想定されるが、これに限るものではない。SDRAM23は、符号化/復号部21における符号化または復号のための作業領域として利用される。
制御部30は、システム制御部31と、入力制御部32と、表示制御部33と、出力画像処理部34と、外部機器制御部35と、ネットワーク制御部36とを備える。
システム制御部31は、制御部30全体の処理を司るものである。入力制御部32に接続されるキー入力部50には、撮影モードと再生モードなどの他のモードとを切り換えるモード切り換えキー、ズーム調整キー、露出調整のためのキー、シャッターキー(図1におけるシャッター部120aに対応)、動画撮影用キーなどの複数のキーが設けられている。また、入力制御部32に接続されるタッチパネル入力部62は、表示部61に表示されるメニューの選択や画像データの所定領域の指定を受け付けるものである。
入力制御部32は、キー入力部50およびタッチパネル入力部62からの操作信号をシステム制御部31に伝える。システム制御部31は、キー入力部50およびタッチパネル入力部62においていずれのキー等が操作されたかを判別し、その判別結果に応じた制御処理を行う。
表示制御部33に接続される表示部61は、例えばLCD(Liquid Crystal Display)などにより構成され、システム制御部31の制御の下に、撮像部10からバス40を通じて供給される画像信号や、記憶装置70から読み出された画像信号を表示する。なお、表示部61は、図1におけるディスプレイ部130aおよび130bに対応するものである。
出力画像処理部34は、画像データ再生時において画像データに所定の修飾処理を施すものである。修飾処理とは、例えば画像データの色補正等が想定される。なお、出力画像処理部34で行われる画像データに対する処理をシステム制御部31で行うように構成してもよい。
外部機器制御部35に接続される外部機器80は、例えばパーソナルコンピュータ(Personal Computer)等が想定されるが、これに限るものではない。なお、外部機器80と外部機器制御部35との間は、例えばUSB(Universal Serial Bus)ケーブルによって接続されることが想定されるが、これに限るものではない。外部機器制御部35は、撮像装置100と外部機器80との間のデータのやりとりを制御するものである。
ネットワーク制御部36は、撮像装置100とネットワーク網90との間でやりとりされるデータを制御するものである。なお、ネットワーク網としては、インターネットやLAN(Local Area Network)が想定されるが、これに限るものではない。
図3は、本発明の実施の形態における画像検索機能の構成の一例を示す図である。この画像検索機能は、領域選択受付部601と、テンプレート画像生成部301と、画像縮小部302と、図1において説明したターゲット画像を複数保持するターゲット画像保持部231と、類似画像検索部310とを備える。
領域選択受付部601は、ターゲット画像保持部231に保持された複数のターゲット画像のうち何れか一つのターゲット画像の選択およびそのターゲット画像中においてテンプレート画像として切り出すべき領域の選択を受け付けるものである。
テンプレート画像生成部301は、領域選択受付部601において受け付けられたターゲット画像におけるテンプレート画像として切り出すべき領域をターゲット画像から切り出すことによってテンプレート画像を生成するものである。
また、テンプレート画像生成部301は、上記切り出すことによって生成されたテンプレート画像を所定の倍率で拡大および縮小した画像も生成する。この拡大および縮小した画像もテンプレート画像として用いられる。また、テンプレート画像生成部301は、上記切り出すことによって生成されたテンプレート画像、拡大および縮小した画像を所定角度回転させた画像も生成する。この所定角度回転させた画像もテンプレート画像として用いられる。
画像縮小部302は、テンプレート画像生成部301において生成されたテンプレート画像およびターゲット画像をテンプレート画像の縦幅および横幅に応じた縮小率に縮小するものである。ターゲット画像およびテンプレート画像を縮小することによって、後に行われる検索処理における計算量を減らすことができ、検索処理を高速に行うことを可能とする。また、ターゲット画像およびテンプレート画像を縮小すると、検索において画像細部の本質的ではない差異やノイズが検出され難くなるため、検索精度も向上する。
しかしながら、テンプレート画像の大きさが比較的小さい場合には、縮小することによってさらに小さくなると検索精度が低くなる可能性がある。このため、例えばテンプレート画像の縦幅と横幅との積が所定値以下の場合は、ターゲット画像およびテンプレート画像の縮小率を1とする(縮小しない)ことによって検索精度の低下を防ぐことができる。
類似画像検索部310は、遺伝的アルゴリズムを用いてテンプレート画像と類似する画像を含むターゲット画像を検索するものであり、個体抽出部311と、適応度算出前処理部312と、適応度算出部313と、遺伝的アルゴリズム処理部314と、処理終了指示部315と、準最適解判断部316と、近傍領域準最適解判断部317と、類似画像判断部318と、準備値算出部319と、ターゲット画像準備値テーブル320と、テンプレート画像準備値テーブル321とを備える。
個体抽出部311は、画像縮小部302において縮小されたターゲット画像よりランダムに複数の個体を抽出して、個体のターゲット画像上における座標およびテンプレート画像の拡大または縮小における所定の倍率に基づいた染色体情報を有する染色体を個体数だけ生成するものである。これにより、図1において述べた遺伝的アルゴリズムにおける初期集団が生成される。
上記染色体情報における個体のターゲット画像上における座標およびテンプレート画像の拡大または縮小における所定の倍率が表しているのは、ターゲット画像と所定の倍率に拡大または縮小したテンプレート画像とを重ね合わせて照合(マッチング)を行うマッチング領域である。このマッチング領域としては、例えば、所定の倍率に拡大または縮小したテンプレート画像の原点をテンプレート画像の左上端に定めて、その左上端を染色体のターゲット画像上における座標に位置させた場合に、ターゲット画像とテンプレート画像が重なり合う領域が想定される。
適応度算出前処理部312は、マッチング領域におけるターゲット画像およびテンプレート画像の画素値の平均値の差の絶対値を算出するものである。なお、本発明の実施の形態において画素値とは、例えばYUV、RGBおよびHSVの何れかを用いて表される量であり、その量としては輝度[0]や色差などが想定される。この場合、適応度算出前処理部312は、マッチング領域におけるターゲット画像およびテンプレート画像の輝度[0]または色差の平均値の差の絶対値を算出することになる。
適応度算出前処理部312においてマッチング領域におけるターゲット画像およびテンプレート画像の画素値の平均値の差の絶対値が所定の閾値を超えていると判断されると、後述する適応度算出部313においてそのマッチング領域に対応する染色体の適応度は、ゼロを含む十分に小さい値とされる。すなわち、適応度算出前処理部312においてマッチング領域におけるターゲット画像およびテンプレート画像の画素値の平均値の差の絶対値が所定の閾値を超えていると判断された場合は、適応度を計算するまでもなくそのターゲット画像のマッチング領域にはテンプレート画像に類似する画像は含まれないと推定する。したがって、この場合に適応度算出部313によって設定される適応度は、類似判断から除外されるために十分に小さい値(ゼロを含む)が設定される必要がある。
また、適応度算出前処理部312は、マッチング領域におけるターゲット画像およびテンプレート画像の画素値の標準偏差を2乗したものの比を算出して、適応度計算の要否を判断してもよい。この場合、適応度算出前処理部312において画素値の標準偏差を2乗したものの比が所定の範囲にないと判断されると、後述する適応度算出部313においてそのマッチング領域に対応する染色体の適応度は、ゼロを含む十分に小さい値とされる。すなわち、適応度算出前処理部312において画素値の標準偏差を2乗したものの比が所定の範囲にないと判断された場合は、適応度を計算するまでもなくそのターゲット画像のマッチング領域にはテンプレート画像に類似する画像は含まれないと推定する。したがって、この場合に適応度算出部313によって設定される適応度は、類似判断から除外されるために十分に小さい値(ゼロを含む)が設定される必要がある。
また、適応度算出前処理部312は、マッチング領域の中央点におけるターゲット画像およびテンプレート画像の画素値の差の絶対値を算出して、適応度計算の要否を判断してもよい。この場合、マッチング領域の中央点における画素値の平均値の差の絶対値が所定の閾値を超えていると判断されると、後述する適応度算出部313においてそのマッチング領域に対応する染色体の適応度は、ゼロを含む十分に小さい値とされる。すなわち、マッチング領域の中央点における画素値の平均値の差の絶対値が所定の閾値を超えていると判断された場合は、適応度を計算するまでもなくそのターゲット画像のマッチング領域にはテンプレート画像に類似する画像は含まれないと推定する。したがって、この場合に適応度算出部313によって設定される適応度は、類似判断から除外されるために十分に小さい値(ゼロを含む)が設定される必要がある。
以上のマッチング領域におけるターゲット画像およびテンプレート画像の画素値の平均値の差の絶対値による染色体の適応度の評価、マッチング領域におけるターゲット画像およびテンプレート画像の画素値の標準偏差を2乗したものの比による染色体の適応度の評価、および、マッチング領域の中央点におけるターゲット画像およびテンプレート画像の画素値の差の絶対値による染色体の適応度の評価は、全て行うようにしてもよく、また何れかを選択して行うようにしてもよい。なお、適応度算出前処理部312における各染色体に対する適応度の評価についての詳細は後述する。
適応度算出部313は、染色体情報および画素値に基づいて個体抽出部311において抽出された個体から生成された染色体の適応度の算出を行うものである。この適応度によりターゲット画像にテンプレート画像と類似する画像が含まれるか否かの評価が行われる。すなわち、適応度が所定の閾値より高い場合、ターゲット画像にテンプレート画像と類似する画像が含まれると評価される。本発明の実施の形態においては、適応度を算出する際に用いられる関数として相互相関関数を想定しており、その相互相関関数の一例を数1に示す。
数1に示す相互相関関数は、マッチング領域におけるターゲット画像とテンプレート画像との類似の度合いを与える関数で、−1≦f(X、Y)≦1の範囲の値を与える。マッチング領域におけるターゲット画像とテンプレート画像とが完全に一致する場合には、f(X、Y)=1になる。なお、数1において、w、hは、それぞれテンプレート画像の幅と高さを表す。また、Target(X+i、Y+j)は、ターゲット画像の座標(X+i、Y+j)における画素値を表す。また、Template(i、j)は、テンプレート画像の座標(i、j)における画素値を表す。また、Mtargetは、ターゲット画像のマッチング領域における画素値の平均値を表す。また、Mtemplateは、テンプレート画像の画素値の平均値を表す。
なお、適応度算出部313において適応度を算出する際に用いられる相互相関関数として、数1に示す相互相関関数以外にも数2に示す相互相関関数を用いて適応度を算出してもよい。数2に示す相互相関関数は、数1におけるMtargetとMtemplateとを入れ替えたものであり、それ以外は数1において説明したことと同様である。
ここで数2の式を数1と比較して説明する。数1の相互相関関数における「Target(X+i、Y+j)−Mtarget」はターゲット画像における画素値からターゲット画像における画素値の直流成分を除いたターゲット画像における画素値の交流成分のみを表すものであり、「Template(i、j)−Mtemplate」はテンプレート画像における画素値からテンプレート画像における画素値の直流成分を除いたテンプレート画像における画素値の交流成分のみを表すものである。数1によると、分子は、ターゲット画像における画素値の交流成分とテンプレート画像における画素値の交流成分の積になるため、直流成分を加味した結果が得られない。このため、ターゲット画像とテンプレート画像とをマッチングした場合、両者は類似していないにも関わらず、f(X、Y)の値としては高い値が出ることがあり得る。
一方、数2の相互相関関数における「Target(X+i、Y+j)−Mtemplate」はターゲット画像における画素値からテンプレート画像における画素値の直流成分を除いたものであり、「Template(i、j)−Mtarget」はテンプレート画像における画素値からターゲット画像における画素値の直流成分を除いたものである。この場合、ターゲット画像の直流成分とテンプレート画像の直流成分に差がある場合、Target(X+i、Y+j)−MtemplateおよびTemplate(i、j)−Mtargetには、交流成分のみならず直流成分も残る。すなわち、直流成分も加味された結果が出てくる。このため、数1により適応度を算出するよりも精度の高い検索ができる。
また、数1および数2を利用して適応度算出部313において適応度を算出する際に用いられる関数として数3に示す関数を用いても良い。
数3は、画素値としてYUVを用いて表した場合における適応度を算出する際に用いられる関数である。f_Y(X、Y)は、数1または数2におけるf(X、Y)における画素値としてY成分(輝度)を用いたことを表す式である。また、f_U(X、Y)は、数1または数2におけるf(X、Y)における画素値としてU成分(輝度信号と青色成分の差)を用いたことを表す式である。また、f_V(X、Y)は、数1または数2におけるf(X、Y)における画素値としてV成分(輝度信号と赤色成分の差)を用いたことを表す式である。
数3は、f_Y(X、Y)、f_U(X、Y)およびf_V(X、Y)のそれぞれを2乗して足し合わせたものの平方根をとっている。そして、f_Y(X、Y)、f_U(X、Y)およびf_V(X、Y)のそれぞれを2乗して足し合わせたものの平方根を正規化するために3の平方根で除している。数3においてはYUVを1:1:1で合成したが、YUVのいずれかの成分を重視して別の比率で合成してもよい。
数3によれば、Y成分(輝度)のみならずU成分(輝度信号と青色成分の差)およびV成分(輝度信号と赤色成分の差)も加味した結果が得られるため、高精度なマッチングが可能である。
なお、以上、数1乃至数3において説明したf(X、Y)は、−1から1の範囲となるが、適応度算出部313における算出結果として0から1の範囲を示す適応度「f´(X、Y)=(f(X、Y)+1)/2」を供給することが想定される。
遺伝的アルゴリズム処理部314は、適応度算出部313において適応度を算出された染色体に対して選択、交配および突然変異の処理を行って新たな染色体情報を有する染色体を生成するものである。なお、選択とは、適応度算出部313において算出された適応度に基づいて染色体を所定数選択する処理を言う。また、交配とは、例えば上記選択によって選択された染色体のペアを作りそのペアになった染色体における染色体情報の一部を入れ換える処理を言う。また、突然変異とは、所定の確率で染色体における染色体情報の一部の値を変える処理を言う。
ただし、以上の選択、交配および突然変異は所定の確率をもって行われるため、遺伝的アルゴリズム処理部314における処理の後には、染色体情報に変化のない染色体および新たな染色体情報を持った染色体が混合した集団となり得る。そして、遺伝的アルゴリズム処理部314において選択、交配および突然変異の処理を行った後に、再び適応度算出前処理部312および適応度算出部313における処理が行われる。
処理終了指示部315は、所定の条件に従って、適応度算出前処理部312、適応度算出部313および遺伝的アルゴリズム処理部314で繰り返し行われる処理の終了を指示するものである。所定の条件として、例えば適応度算出前処理部312、適応度算出部313および遺伝的アルゴリズム処理部314で50世代分の処理を行った後に終了させることが想定されるが、これに限るものではない。
適応度算出部313は、処理終了指示部315より処理の終了の指示を受けると最後に算出した複数の適応度を準最適解判断部316に供給する。準最適解判断部316は、適応度算出部313より供給された複数の適応度のうち最も高い適応度に対応する染色体を準最適解として判断するものである。
近傍領域準最適解判断部317は、準最適解判断部316において準最適解と判断された染色体に対応するマッチング領域の周りの所定領域全てについてターゲット画像とテンプレート画像との照合を行い、照合を行う各マッチング領域において、例えば上記数1乃至数3に示した関数を用いて適応度を算出するものである。そして、算出した適応度のうち最も高い適応度を有する染色体を近傍領域準最適解判断部317における準最適解と判断する。
準最適解判断部316において準最適解と判断された染色体に対応するマッチング領域の周りの所定領域の広さは、例えばマッチング領域の境界から所定ピクセルの範囲というように予め設定された広さとすることが想定される。近傍領域準最適解判断部317において準最適解と判断された染色体に対応するマッチング領域の周りの所定領域についてさらにターゲット画像とテンプレート画像の照合を行うのは、遺伝的アルゴリズムを用いてターゲット画像とテンプレート画像との照合をおこなった場合、毎回ターゲット画像とテンプレート画像とが照合する最適な場所を発見できるわけではないためである。
類似画像判断部318は、準最適解判断部316において判断された最も高い適応度と、近傍領域準最適解判断部317において算出された適応度とのうち、高い方の適応度が予め設定された所定の閾値を超えているか否かを判断するものである。類似画像判断部318において高い方の適応度が所定の閾値を超えていると判断されると、テンプレート画像に類似する画像がそのターゲット画像に含まれているとされ、検索結果として出力される。
準備値算出部319は、画像縮小部302において縮小されたテンプレート画像および縮小されたターゲット画像における原点から任意の座標までの画素値を積算した準備値(以下、準備値と呼ぶ。)を算出するものである。この準備値の算出は、縮小されたテンプレート画像および縮小されたターゲット画像の全ての座標において行われる。準備値をii(X、Y)、ターゲット画像の(X´、Y´)における画素値をi(X´、Y´)とすると、準備値ii(X、Y)を表す式は数4のように表せる。
数4は、ターゲット画像の左上を原点とし、左方向をX´の正方向および下方向をY´の正方向としたX´Y´座標空間を考えたときに、0≦X´≦X、0≦Y´≦Yで表された領域内の各座標における画素値を積算した形になっている。この準備値を計算するために、さらに中間値s(X、Y)を考えると、準備値ii(X、Y)とターゲット画像の(X´、Y´)における画素値i(X´、Y´)と中間値s(X、Y)の関係は数5に示すようになる。なお、ii(0、0)の計算に必要なs(X、−1)およびii(−1、Y)の値はそれぞれ0とする。
上記数4および数5を用いて算出された準備値は、準備値算出部319においてターゲット画像の各座標毎に全て算出されて、その結果がターゲット画像準備値テーブル320において保持される。また、テンプレート画像についても上記説明したのと同様の考え方で準備値算出部319においてテンプレート画像の各座標毎に準備値が算出されて、その結果がテンプレート画像準備値テーブル321において保持される。
また、各座標における画素値を2乗したものを積算した準備値iii(X、Y)も上記と同様の考え方によりターゲット画像およびテンプレート画像の各座標毎に全て算出して、それぞれターゲット画像準備値テーブル320およびテンプレート画像準備値テーブル321に保持させる。なお、iii(X、Y)は数6のように表せる。
上記準備値は、上記説明した数1乃至数3を用いた計算において適応度算出部313で利用されるものである。数1乃至数3を計算する際の準備値の利用の仕方については、図4において説明する。
図4は、本発明の実施の形態における準備値を説明するための図である。図4(a)は、ターゲット画像200を示す図である。準備値は、(0、0)および(X、Y)で特定される領域201内のターゲット画像における画素値を積算したものである。(X、Y)はそれぞれ0≦X≦X、0≦Y≦Yの範囲をとり、この範囲における(X、Y)全てについての準備値が求められる。
この準備値は、例えば画素値を輝度とした場合には各座標が積算される程値が大きくなるため右下方向に行く程画像が明るくなり、例えば図4(b)に示すようなグラデーション画像202として表すことができる。
このターゲット画像200の領域203における適応度を算出する場合、図3において説明した数1乃至数3を用いる。領域203における適応度を算出する際に、数1を用いた場合における準備値の数1への用い方について以下、図4(c)および図4(d)を用いて説明する。
図4(c)における点Aを(X、Y)、AB間の長さをw、AC間の長さをhとすると、領域203における適応度は数1に示す式を計算することにより求められる。数1の計算において数1の分母のうちターゲット画像に関する式を展開した式を数7に示す。
数7において項a1は、座標(X、Y)の点Aと座標(X+w、Y+h)の点Dで特定される領域203内の画素値の2乗を積算した形になっている。この項a1は、ターゲット画像における準備値iii(X、Y)を用いて計算できる。すなわち、図4(d)に示す準備値を示すグラデーション画像202における領域203内の値を2乗して積算したものが項a1である。したがって、項a1は、図3で説明したターゲット画像におけるiii(X、Y)を用いて、iii(A)+iii(D)−iii(B)−iii(C)で求められる。なお、iii(A)は、点Aの座標における準備値iii(X、Y)の値を示すものであり、その他についても同様の用い方をするものとする。
項a2は、座標(X、Y)の点Aと座標(X+w、Y+h)の点Dで特定される領域203内の画素値を積算したものと2Mtargetとの積になっている。この項a2は、ターゲット画像における準備値ii(X、Y)を用いて計算できる。項a2も項a1と同様に考えると、2Mtarget{ii(A)+ii(D)−ii(B)−ii(C)}で求められる。項a3は、Mtargetwhと表せる。以上より数1の分母のうちターゲット画像に関する式は、ターゲット画像におけるii(X、Y)およびiii(X、Y)を用いて求めることができる。数1の分母のうちテンプレート画像に関する式も同様の考え方で求めることができる。なお、ii(A)は、点Aの座標における準備値ii(X、Y)の値を示すものであり、その他についても同様の用い方をするものとする。
次に、数1の計算において数1の分子を展開した式を数8に示す。
数8において項b1は、準備値を利用して計算できない。項b2は、上記数7と同様に考えると、テンプレート画像における準備値ii(X、Y)を用いて、Mtarget{ii(A)+ii(D)−ii(B)−ii(C)}で求められる。また、項b3は、ターゲット画像における準備値ii(X、Y)を用いて、Mtemplate{ii(A)+ii(D)−ii(B)−ii(C)}で求められる。また、項b3は、Mtargettemplatewhと表せる。以上より数1の分子は、ターゲット画像およびテンプレート画像におけるii(X、Y)およびiii(X、Y)を用いて求めることができる。
なお、以上は数1を例にして準備値の用い方を説明したが、数2および数3についても同様の考え方により準備値を用いて計算できる。準備値を用いて数1乃至数3を計算することによって計算量を低減することができるため、高速な検索処理を実現することができる。
図5は、本発明の実施の形態におけるターゲット画像準備値テーブル320を示す図である。ターゲット画像準備値テーブル320は、座標3201と、準備値ii(X、Y)3202と、準備値iii(X、Y)3203とを備える。
座標3201は、ターゲット画像の全ての座標が含まれ、その座標に対応する準備値ii(X、Y)3202と準備値iii(X、Y)3203とが保持されている。ii(A)およびiii(A)は、それぞれAの座標における準備値ii(X、Y)、準備値iii(X、Y)を表しており、その他についても同様の用い方をするものとする。このターゲット画像準備値テーブル320を参照して適応度算出部313は、各染色体について適応度を算出する。なお、テンプレート画像準備値テーブル321についても内容は上記と同様に考えることができる。
図6は、本発明の実施の形態においてテンプレート画像の領域を選択する様子を示す図である。本発明の実施の形態において表示画面600に一度に表示させることができるターゲット画像の枚数は図6(a)に示すように、例えば4枚とする。他のターゲット画像を表示画面600に表示させたい場合は、「前へ」ボタン621または「次へ」ボタン622を、例えばスタイラス501により押下する。これにより、他のターゲット画像が表示される。なお、本発明の実施の形態においては、操作方式として表示画面を直接押下することによって操作の入力を行うタッチパネル方式を想定しているが、これに限るものではない。
上記操作により所望の画像を表示画面600に表示させた後に、スタイラス501により所望のターゲット画像を押下して、OKボタン623を選択する。これにより図6(b)に示すように、その選択されたターゲット画像611が表示画面600に表示される。
表示画面600に図6(b)に示すターゲット画像611が表示されると、次にターゲット画像における領域を選択する。この選択した領域に含まれる画像がテンプレート画像になる。ターゲット画像における領域の選択においては、例えばスタイラス502により点612を選択した後に、スタイラス503により点613を選択する。スタイラス503により点613を選択すると、点612および点613を結んだ線を対角線とする領域614が表示される。
領域614が表示された後に、OKボタン624を選択すると、テンプレート画像が生成される。一方、領域614が表示された後に、違う領域を選択する場合は、戻るボタン625を選択して再びターゲット画像611における領域を選択する。
図7は、本発明の実施の形態におけるテンプレート画像データ生成のイメージを示す図である。ターゲット画像における領域が選択されると、テンプレート画像生成部301においてターゲット画像における選択された領域は切り出され、図7(a)に示すテンプレート画像615が生成される。
また、テンプレート画像生成部301は、テンプレート画像615を拡大および縮小した画像であるテンプレート画像615a乃至615dも生成する。テンプレート画像615a乃至615dは、それぞれテンプレート画像615を、例えば1.21倍、1.1倍、1.0倍、0.909倍、0.826倍したものが想定される。なお、図7(a)においては、テンプレート画像615以外のテンプレート画像データは4つしかないが、これに限るものではなくいくつあってもよい。
ここで、1.21、1.1、1.0、0.909、0.826の数列は、(1.1)、(1.1)、(1.1)、(1.1)−1、(1.1)−2であり、すなわち、公比が1.1の等比数列である。なお、公比を大きくするとテンプレート画像を用いて画像の検索を行う際に検索漏れを生じる可能性が高くなり、一方、公比を小さくするとテンプレート画像を用いて画像の検索を行う際に計算量が増えるという弊害が生じる。このため、公比は、1.1程度が好ましいが、これに限るものではなく、例えば1.09や1.2等でも良い。
また、テンプレート画像として、テンプレート画像615を拡大および縮小した画像データのみならず、図7(b)に示すように、さらに回転させたテンプレート画像616をも生成してもよい。
図8は、本発明の実施の形態における画像縮小部302においてターゲット画像およびテンプレート画像を縮小する様子を示す図である。図8(a)は、画像縮小部302において縮小される前のターゲット画像617およびテンプレート画像615を示す図である。
ターゲット画像617およびテンプレート画像615は、テンプレート画像の縦幅および横幅に応じた縮小率kに縮小される。縮小率kとして、例えば数9に示すような縮小率とすることが想定される。なお、テンプレート画像615の横幅をa、縦幅をbとする。
図8(b)は、画像縮小部302においてターゲット画像およびテンプレート画像を縮小した図である。画像縮小部302において縮小されると、ターゲット画像の横幅はcからkcになり、ターゲット画像の縦幅はdからkdになる。また、画像縮小部302において縮小されると、テンプレート画像の横幅はaからkaになり、テンプレート画像の縦幅はbからkbになる。
このようにターゲット画像およびテンプレート画像を縮小することによって、後に行われる検索処理における計算量を減らすことができ、検索処理を高速に行うことを可能とする。また、ターゲット画像およびテンプレート画像を縮小すると、検索において画像細部の本質的ではない差異やノイズが検出され難くなるため、検索精度も向上する。
図9は、本発明の実施の形態における染色体の染色体情報400の一例を示す図である。本発明の実施の形態における染色体情報400においては、個体抽出部311において抽出された個体のターゲット画像上における座標として、ターゲット画像とテンプレート画像の照合(マッチング)を行う位置のX座標401と、ターゲット画像とテンプレート画像の照合(マッチング)を行う位置のY座標402とを想定し、テンプレート画像の拡大または縮小における所定の倍率として、ターゲット画像と照合(マッチング)されるテンプレート画像の倍率403を想定している。
X座標401およびY座標402は、それぞれグレイコードに変換した上で染色体情報にコードする。また、倍率403は、倍率そのものを染色体情報にコードするのではなく、例えば倍率をインデックス化してグレイコードに変換した上で染色体情報にコードする。
図10は、本発明の実施の形態における遺伝的アルゴリズムの選択において使用されるルーレット410を示す図である。選択は、図3において説明したように適応度算出部313において適応度を算出された染色体を所定数選択する処理である。ルーレット410の領域を染色体の数だけ分割する。この分割においては、ルーレット410を占める面積が、適応度算出部313において算出された適応度f´(X、Y)に比例するように設定する。
例えば、個体抽出部311において個体がn個抽出されて、染色体がn個生成されたとする。この場合、ルーレット410は、n個の領域に分割される。そして、染色体における適応度が、染色体A、染色体B、染色体C、染色体D、・・・の順に高いとする。この場合、ルーレット410を占める面積は、適応度の高いものに大きな面積の領域を与えるため、図10に示すようになる。
ここでルーレット410を図10に示す矢印の方向に回す。そして、ルーレット410が止まった所において、選択ポイント411が指す染色体が選択により残った染色体となる。この処理を例えばn回繰り返して、n個の染色体から、n個の染色体を選択する。なお、ルーレット410において占める面積の大きい染色体が残る確率が高いため、ルーレット410により選択を行った後は、適応度の高い染色体が多くなる可能性が高い。
図11は、本発明の実施の形態における遺伝的アルゴリズムの交配の様子を示す図である。交配は、図3において説明したように、例えば上記選択によって選択された染色体のペアを作りそのペアになった染色体における染色体情報の一部を交換する処理である。
図11(a)は、染色体のペアとして染色体A421および染色体B422を示す図である。染色体A421および染色体B422における所定の位置を選択する。この所定の位置は、図11(a)において点線で示される。この点線より右側における染色体情報を交換する。この交換により、図11(b)に示す染色体C423および染色体D424が生成される。
図12は、本発明の実施の形態における遺伝的アルゴリズムの突然変異の様子を示す図である。突然変異は、図3において説明したように所定の確率で染色体における染色体情報の一部の値を変える処理である。この所定の確率は、極めて低い確率であり、その確率により選択された染色体情報431を有する染色体におけるランダムな位置432の染色体情報をビット反転させる。これにより、新たな染色体が生成される。
以上、図10乃至図12において説明した選択、交配および突然変異を繰り返すことによって適応度の高い染色体が多く残る。そして、予め設定した終了条件に達したら、処理を終了させて、そのうち最も適応度の高い染色体に対応するマッチング領域にテンプレート画像と類似する画像が含まれる可能性が高くなる。この最も高い適応度が所定の閾値を超えた場合は、テンプレート画像と類似する画像がそのターゲット画像に含まれるものと推定され、類似する画像として出力される。
図13は、本発明の実施の形態における適応度算出前処理部312における処理の様子を示す図である。テンプレート画像640と類似する領域をターゲット画像より探索する場合、図13に示す所定の染色体に対応するマッチング領域631は明らかに類似する領域とは言えない。適応度算出部313において上記のような染色体について適応度の算出を行うことは画像検索の高速化の妨げになる。
このため、本発明の実施の形態においては、適応度算出部313における演算量を低減させるために、マッチング領域631のようなマッチング領域については数1乃至数3による適応度の算出を省く必要性がある。本発明の実施の形態においては、図3において説明したように、適応度算出前処理部312においてマッチング領域におけるターゲット画像およびテンプレート画像の画素値の平均値の差の絶対値による染色体の適応度の評価、マッチング領域におけるターゲット画像およびテンプレート画像の画素値の標準偏差を2乗したものの比による染色体の適応度の評価、および、マッチング領域の中央点におけるターゲット画像およびテンプレート画像の画素値の差の絶対値による染色体の適応度の評価を行う。以上において適応度の評価が悪いものについては、適応度算出部313において数1乃至数3により適応度を算出することなく、類似判断から除外されるために十分に小さい値(ゼロを含む)を適応度として設定する。適応度の評価の具体例を以下説明する。
画素値をYUVで表した場合、染色体の適応度計算をなるべく省くための、マッチング領域におけるターゲット画像およびテンプレート画像の画素値の平均値の差の絶対値に関する条件の一例を数10に示す。なお、M target、M target、M targetは、それぞれターゲット画像におけるY成分(輝度)、U成分(輝度信号と青色成分の差)およびV成分(輝度信号と赤色成分の差)の平均値である。また、M template、M template、M templateは、それぞれテンプレート画像におけるY成分(輝度)、U成分(輝度信号と青色成分の差)およびV成分(輝度信号と赤色成分の差)の平均値である。
適応度算出前処理部312において算出されたマッチング領域におけるターゲット画像およびテンプレート画像の画素値の平均値の差の絶対値が数10に示す式全ての条件を満たした場合、適応度算出部313は類似判断から除外されるために十分に小さい値(ゼロを含む)を適応度として設定する。
画素値をYUVで表した場合、染色体の適応度計算をなるべく省くための、マッチング領域におけるターゲット画像およびテンプレート画像の画素値の標準偏差を2乗したものの比に関する条件の一例を数11に示す。なお、σ target、σ targetは、それぞれターゲット画像におけるU成分(輝度信号と青色成分の差)およびV成分(輝度信号と赤色成分の差)の平均値である。また、σ template、σ templateは、それぞれテンプレート画像におけるU成分(輝度信号と青色成分の差)およびV成分(輝度信号と赤色成分の差)の平均値である。
なお、ターゲット画像におけるY成分(輝度)の標準偏差σ targetは、ターゲット画像におけるY成分(輝度)の平均値M targetを用いると数12のように表すことができる。
適応度算出前処理部312において算出されたマッチング領域におけるターゲット画像およびテンプレート画像の画素値の標準偏差を2乗したものの比が数11に示す式全ての条件を満たした場合、適応度算出部313は類似判断から除外されるために十分に小さい値(ゼロを含む)を適応度として設定する。
画素値をYUVで表した場合、染色体の適応度計算をなるべく省くための、マッチング領域の中央点におけるターゲット画像およびテンプレート画像の画素値の差の絶対値に関する条件の一例を数13に示す。なお、C target、C targetは、それぞれターゲット画像におけるマッチング領域の中央点についてのU成分(輝度信号と青色成分の差)およびV成分(輝度信号と赤色成分の差)である。また、C template、C templateは、それぞれテンプレート画像におけるマッチング領域の中央点についてのU成分(輝度信号と青色成分の差)およびV成分(輝度信号と赤色成分の差)である。
適応度算出前処理部312において算出されたマッチング領域の中央点におけるターゲット画像およびテンプレート画像の画素値の差の絶対値が数13に示す式全ての条件を満たした場合、適応度算出部313は類似判断から除外されるために十分に小さい値(ゼロを含む)を適応度として設定する。
すなわち、数10、数11および数13の何れかにより適応度を評価した結果、評価の悪いものについては、適応度算出部313は適応度の算出にf(X、Y)を用いることなく、類似判断から除外されるために十分に小さい値(ゼロを含む)を適応度として設定する。これにより、適応度の算出にf(X、Y)を用いないため、テンプレート画像に類似する画像を含むターゲット画像を高速に検索することが可能となる。
図14は、本発明の実施の形態における遺伝的アルゴリズムによって求められた準最適解に対応するマッチング領域の周辺領域を示す図である。図14においては、テンプレート画像660と準最適解とされた染色体に対応するマッチング領域における画像652は、位置が少しずれている。マッチング領域を少しずらした画像653の方が画像652よりもテンプレート画像660に類似する画像と評価できる。
遺伝的アルゴリズムにおいては、ターゲット画像の全領域について詳細に評価するわけではないため、遺伝的アルゴリズムによって求められた準最適解の周辺領域にさらによい準最適解が存在する可能性が高い。このため、本発明の実施の形態においては、準最適解が求められた後に、その準最適解に対応するマッチング領域の周辺領域にマッチング領域をずらした上でさらに適応度を求める。この適応度は、図3で説明した数1乃至数3を用いて近傍領域準最適解判断部317において求められる。なお、マッチング領域の周辺領域は、例えばマッチング領域の境界より所定ピクセル離れた領域を周辺領域とする、といった具合に予め定めておく。
近傍領域準最適解判断部317において求められた上記周辺領域における適応度のうち最も高い適応度が、準最適解判断部316において準最適解と判断された適応度よりも高い場合は、近傍領域準最適解判断部317において求められた上記周辺領域における適応度のうち最も高い適応度が新たな準最適解とされる。この判断は、類似画像判断部318において行われ、その準最適解と判断された適応度が、予め定められた所定の閾値を超える場合には、そのターゲット画像にはテンプレート画像に類似する画像が含まれると推定する。
図15は、本発明の実施の形態においてテンプレート画像に類似する画像を含むターゲット画像を検索している際の表示画面600を示す図である。図15(a)は、テンプレート画像に類似する画像を含むターゲット画像を検索している最中の表示画面600を示す図である。
テンプレート画像に類似する画像を含むターゲット画像が検索されると、そのターゲット画像671は、表示画面600に表示される。この表示させるターゲット画像671は、サムネイルとすることが想定される。また、表示画面600に表示させるターゲット画像の順番としては、適応度の高い順番が想定される。また、表示画面600に一度に表示させるターゲット画像の枚数は、例えば2枚として、スクロール673を用いてその他の検索されたターゲット画像を表示する。
さらに、表示画面600に検索の進行具合を表す検索経過表示672を設けることによってユーザーに現在どの程度検索が進行しているかを認識させることができる。また、検索処理を中断させる中断ボタン674を設けると、ユーザーが所望するターゲット画像が検索結果として表示されてさらなる検索処理が不要な場合に有用である。
図15(b)は、テンプレート画像に類似する画像を含むターゲット画像の検索が終了した後の表示画面600である。検索が終了すると検索結果として、テンプレート画像に類似する画像を含むターゲット画像681が表示画面600に表示される。表示画面600に一度に表示させるターゲット画像の枚数は、例えば4枚として、スクロール682を用いてその他の検索されたターゲット画像を表示する。
次に本発明の実施の形態における撮像装置100の動作について図面を参照して説明する。
図16は、本発明の実施の形態におけるテンプレート画像に類似する画像を含むターゲット画像を検索する流れを示す図である。まず、領域選択受付部601においてターゲット画像保持部231に保持されたターゲット画像のうちの何れか一つの選択およびそのターゲット画像における領域の選択を受け付ける(ステップS911)。この選択が受け付けられると、検索処理が開始する。
次に、選択を受け付けたターゲット画像の領域に基づいてテンプレート画像生成部301においてテンプレート画像が生成される(ステップS912)。なお、ステップS912においては、例えば選択を受け付けられたターゲット画像の領域に対応する画像を拡大または縮小または回転させた画像もテンプレート画像として生成される。
画像縮小部302においてステップS912で生成されたテンプレート画像がそのテンプレート画像の縦幅および横幅に応じた縮小率に縮小される(ステップS913)。そして、縮小されたテンプレート画像における準備値が準備値算出部319において算出される(ステップS914)。
次に、ターゲット画像保持部231に未検索のターゲット画像が存在するか否かが判断される(ステップ915)。未検索のターゲット画像がなければ処理は終了する。一方、未検索のターゲット画像が存在すると判断されると、画像縮小部302において未検索のターゲット画像のうちの所定のターゲット画像が縮小される(ステップS916)。なお、ステップS916における縮小における縮小率は、ステップS913におけるテンプレート画像の縮小率と同じである。そして、縮小されたターゲット画像における準備値が準備値算出部319において算出される(ステップS917)。
以上の処理が終了すると、ステップS917において縮小された所定のターゲット画像にテンプレート画像と類似する画像が含まれるか否かを評価するための適応度が算出されて、適応度のうち最も高い適応度が準最適解とされる(ステップS918)。
ステップS918において準最適解とされた適応度が、予め定められた所定の閾値よりも高いか否かが類似画像判断部318において判断される(ステップS919)。ステップS918において準最適解とされた適応度が、予め定められた所定の閾値よりも高いと判断されると、そのターゲット画像はテンプレート画像に類似する画像を含むとされて類似画像として出力される(ステップS920)。一方、ステップS918において準最適解とされた適応度が、予め定められた所定の閾値よりも低いと判断されると、そのターゲット画像はテンプレート画像に類似する画像を含まないとされる。以上の処理を、ステップS915において、ターゲット画像保持部231に未検索のターゲット画像が存在しないと判断されるまで繰り返す。
図17は、図16におけるステップS918の準最適解算出処理の流れを示す図である。まず、ターゲット画像より個体をランダムに抽出する。この抽出された個体数だけ所定の染色体情報を有する染色体が生成される(ステップS921)。この染色体情報は、ターゲット画像上における座標およびテンプレート画像の拡大または縮小における所定の倍率に基づいて生成される。
次に、各染色体の適応度が算出される(ステップS922)。この適応度の算出は、適応度算出前処理部312および適応度算出部313において2段階に分けて行われる。
適応度算出前処理部312においては、各染色体に対応するマッチング領域におけるターゲット画像およびテンプレート画像の画素値の平均値の差の絶対値、または各染色体に対応するマッチング領域におけるターゲット画像およびテンプレート画像の画素値の標準偏差を2乗したものの比、または、各染色体に対応するマッチング領域の中央点におけるターゲット画像およびテンプレート画像の画素値の差の絶対値を算出する。適応度算出前処理部312は、これらの値を例えば数10乃至数13により評価して、類似判断から除外すべきか否かを判断する。
適応度算出部313においては、適応度算出前処理部312において類似判断から除外すべきと判断されなかった染色体について、例えば数1乃至数3を用いて適応度を算出する。適応度算出前処理部312において予め類似判断から除外すべき染色体を判断することによって適応度算出部313における計算量を低減できるため、高速な検索処理を実現することができる。
次に、ステップS922において適応度が算出された染色体より所定数の染色体を選択する(ステップS923)。本発明の実施の形態において染色体の選択は、例えば図10において説明したルーレットを用いて行うことを想定しているが、これに限るものではない。
次に、ステップS923において選択された所定数の染色体に対して交配を行う(ステップS924)。本発明の実施の形態における交配は、例えば図11において説明した方法で交配を行うことを想定しているが、これに限るものではない。
次に、染色体に対して突然変異を行う(ステップS925)。本発明の実施の形態における突然変異は、例えば図12において説明した方法で行うことを想定しているが、これに限るものではない。
以上のステップS922乃至ステップS925の処理は、例えば50世代繰り返した後に終了させる等の処理を終了させるための条件が予め設定されている。この処理を終了させる条件を満たしたか否かが処理終了指示部315においてステップS925の後に判断される(ステップS926)。
ステップS922乃至ステップS925の処理を終了させると判断されると、最後の処理において算出された適応度のうち最も高いものが準最適解判断部316において準最適解と判断される(ステップS927)。次に、ステップS927において判断された準最適解に対応するマッチング領域の周辺領域において適応度の算出が近傍領域準最適解判断部317において行われる(ステップS928)。
そして、準最適解判断部316において判断された準最適解に対応する適応度よりもよい適応度が近傍領域準最適解判断部317において算出されたか否かが判断される(ステップS929)。準最適解判断部316において判断された準最適解に対応する適応度よりもよい適応度が近傍領域準最適解判断部317において算出された場合は、近傍領域準最適解判断部317において算出された適応度のうち最も高い適応度が準最適解とされて、その結果が上書きされる(ステップS930)。
このように、本発明の実施の形態によれば、画像縮小部302においてテンプレート画像の横幅および縦幅に応じた縮小率でテンプレート画像およびターゲット画像が縮小されるため、テンプレート画像およびターゲット画像を照合する面積が低減され、演算量も低減される。これにより、高速な検索処理が可能となる。また、ターゲット画像およびテンプレート画像を縮小すると、検索において画像細部の本質的ではない差異やノイズが検出され難くなるため、検索精度も向上する。
また、適応度算出部313における染色体の適応度算出前に、適応度算出前処理部312において演算量の少ない方法で適応度を決定することによって、適応度算出部313における演算量を低減させることができる。また、適応度算出部313における相互相関関数の計算において準備値を用いることによって、相互相関関数の計算量を低減させることができる。以上の2つの効果によって、高速な検索処理が可能となる。
また、遺伝的アルゴリズムにおいて準最適解を算出した後に、その準最適解に対応するマッチング領域の周辺についてもさらに近傍領域準最適解判断部317において適応度を算出することによって、さらに良い値の適応度を算出でき得る。これにより、画像の検索精度を向上させることができる。
なお、本発明の実施の形態では、撮像装置を例に説明したが、その他画像についての処理を行うことができる電子機器において本発明を適用することは可能である
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
すなわち、請求項1において、ターゲット画像保持手段は、例えばターゲット画像保持部231に対応する。また、領域選択受付手段は、例えば領域選択受付部601に対応する。また、テンプレート画像生成手段は、例えばテンプレート画像生成部301に対応する。また、画像縮小手段は、例えば画像縮小部302に対応する。また、類似画像検索手段は、例えば類似画像検索部310に対応する。
また、請求項4において、個体抽出手段は、例えば個体抽出部311に対応する。また、適応度算出手段は、例えば適応度算出部313に対応する。また、遺伝的アルゴリズム処理手段は、例えば遺伝的アルゴリズム処理部314に対応する。また、処理終了指示手段は、例えば処理終了指示部315に対応する。また、準最適解判断手段は、例えば準最適解判断部316に対応する。また、類似画像判断手段は、例えば類似画像判断部318に対応する。
また、請求項6乃至8において、適応度算出前処理手段は、例えば適応度算出前処理部312に対応する。
また、請求項11において、準備値算出手段は、例えば準備値算出部319に対応する。また、テンプレート画像準備値テーブルは、例えばテンプレート画像準備値テーブル321に対応する。また、ターゲット画像準備値テーブルは、例えばターゲット画像準備値テーブル320に対応する。
また、請求項15において、ターゲット画像保持手段は、例えばターゲット画像保持部231に対応する。また、領域選択受付手段は、例えば領域選択受付部601に対応する。また、テンプレート画像生成手段は、例えばテンプレート画像生成部301に対応する。また、個体抽出手段は、例えば個体抽出部311に対応する。また、適応度算出手段は、例えば適応度算出部313に対応する。また、遺伝的アルゴリズム処理手段は、例えば遺伝的アルゴリズム処理部314に対応する。また、処理終了指示手段は、例えば処理終了指示部315に対応する。また、準最適解判断手段は、例えば準最適解判断部316に対応する。また、近傍領域準最適解判断手段は、例えば近傍領域準最適解判断部317に対応する。また、類似画像判断手段は、例えば類似画像判断部318に対応する。
また、請求項16および17において、ターゲット画像保持手段は、例えばターゲット画像保持部231に対応する。また、領域選択受付手順は、例えばステップS911に対応する。また、テンプレート画像生成手順は、例えばステップS912に対応する。また、画像縮小手順は、例えばステップS913およびステップS916に対応する。また、類似画像検索手順は、例えばステップS915、ステップS918およびステップS919に対応する。
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
本発明の実施の形態における撮像装置100の一例である撮像装置100aおよび100bの外観図である。 本発明の実施の形態における撮像装置100の構成を示す図である。 本発明の実施の形態における画像検索機能の構成の一例を示す図である。 本発明の実施の形態における準備値を説明するための図である。 本発明の実施の形態におけるターゲット画像準備値テーブル320を示す図である。 本発明の実施の形態においてテンプレート画像の領域を選択する様子を示す図である。 本発明の実施の形態におけるテンプレート画像データ生成のイメージを示す図である。 本発明の実施の形態における画像縮小部302においてターゲット画像およびテンプレート画像を縮小する様子を示す図である。 本発明の実施の形態における染色体の染色体情報400の一例を示す図である。 本発明の実施の形態における遺伝的アルゴリズムの選択において使用されるルーレット410を示す図である。 本発明の実施の形態における遺伝的アルゴリズムの交配の様子を示す図である。 本発明の実施の形態における遺伝的アルゴリズムの突然変異の様子を示す図である。 本発明の実施の形態における適応度算出前処理部312における処理の様子を示す図である。 本発明の実施の形態における遺伝的アルゴリズムによって求められた準最適解に対応するマッチング領域の周辺領域を示す図である。 本発明の実施の形態においてテンプレート画像に類似する画像を含むターゲット画像を検索している際の表示画面600を示す図である。 本発明の実施の形態におけるテンプレート画像に類似する画像を含むターゲット画像を検索する流れを示す図である。 図16におけるステップS918の準最適解算出処理の流れを示す図である。
符号の説明
10 撮像部
11 撮像素子部
12 撮像制御部
13 画像処理部
20 記録再生処理部
21 画像符号化/復号部
22 記録制御部
23 SDRAM
30 制御部
31 システム制御部
32 入力制御部
33 表示制御部
34 出力画像処理部
35 外部機器制御部
36 ネットワーク制御部
40 バス
50 キー入力部
60 タッチパネル部
61 表示部
62 タッチパネル入力部
70 記憶装置
80 外部機器
90 ネットワーク網
100 撮像装置
231 ターゲット画像保持部
301 テンプレート画像生成部
302 画像縮小部
310 類似画像検索部
311 個体抽出部
312 適応度算出前処理部
313 適応度算出部
314 遺伝的アルゴリズム処理部
315 処理終了指示部
316 準最適解判断部
317 近傍領域準最適解判断部
318 類似画像判断部
319 準備値算出部
320 ターゲット画像準備値テーブル
321 テンプレート画像準備値テーブル
601 領域選択受付部

Claims (17)

  1. 検索の対象になる複数のターゲット画像を保持するターゲット画像保持手段と、
    前記複数のターゲット画像の何れか一つに対する所定の領域の選択を受け付ける領域選択受付手段と、
    前記選択を受け付けた領域の画像をテンプレート画像として生成するテンプレート画像生成手段と、
    前記テンプレート画像および前記ターゲット画像を前記テンプレート画像の縦幅および横幅に応じた縮小率に縮小する画像縮小手段と、
    前記縮小されたターゲット画像において前記縮小されたテンプレート画像と類似する画像を含む前記縮小されたターゲット画像を遺伝的アルゴリズムにより検索する類似画像検索手段と
    を具備することを特徴とする画像処理装置。
  2. 前記画像縮小手段は、前記テンプレート画像の縦幅と横幅との積が所定値以下の場合は前記画像縮小手段における縮小は行わないことを特徴とする請求項1記載の画像処理装置。
  3. 前記テンプレート画像生成手段は、前記選択された所定の領域を所定の倍率で拡大または縮小した画像を前記テンプレート画像として生成することを特徴とする請求項1記載の画像処理装置。
  4. 前記類似画像検索手段は、
    前記縮小されたターゲット画像よりランダムに複数の個体を抽出して前記個体の座標および前記テンプレート画像の拡大または縮小における前記所定の倍率に基づいた染色体情報を有する染色体を生成する個体抽出手段と、
    前記染色体情報および画素値に基づいて前記染色体の適応度を算出する適応度算出手段と、
    前記適応度算出手段において前記適応度を算出された前記染色体に対して選択、交配および突然変異のうち少なくとも1つの処理を行って新たな染色体情報を有する染色体を生成して前記適応度算出手段において前記新たな染色体情報を有する染色体についての適応度を算出させる遺伝的アルゴリズム処理手段と、
    所定の条件に従って繰り返し行われる前記遺伝的アルゴリズム処理手段における処理の終了を指示する処理終了指示手段と、
    前記適応度算出手段において最後に算出された適応度のうち最も値の大きい適応度を準最適解として判断する準最適解判断手段と、
    前記準最適解が第1の閾値を超えた場合に前記縮小されたテンプレート画像に類似する画像が前記縮小されたターゲット画像に含まれると判断する類似画像判断手段と
    を具備することを特徴とする請求項3記載の画像処理装置。
  5. 前記画素値は、YUV、RGBおよびHSVの何れかを用いて表される量であることを特徴とする請求項4記載の画像処理装置。
  6. 前記ターゲット画像における前記染色体に対応する領域の前記画素値の平均値と前記テンプレート画像における領域の前記画素値の平均値との差の絶対値を算出し、前記差の絶対値が第2の閾値を超えたか否かを判断する適応度算出前処理手段をさらに具備し、
    前記適応度算出手段は、前記適応度前処理手段において前記差の絶対値が前記第2の閾値を超えたと判断された場合には前記類似画像判断手段における前記判断の対象から除外される十分に小さい値を前記適応度として設定することを特徴とする請求項5記載の画像処理装置。
  7. 前記染色体に対応する前記ターゲット画像における領域の前記画素値の標準偏差および前記テンプレート画像における領域の前記画素値の標準偏差のそれぞれを2乗したものの比を算出し、前記比が所定の範囲内にあるか否かを判断する適応度算出前処理手段をさらに具備し、
    前記適応度算出手段は、前記適応度前処理手段において前記比が所定の範囲内にあると判断された場合には前記類似画像判断手段における前記判断の対象から除外される十分に小さい値を前記適応度として設定することを特徴とする請求項5記載の画像処理装置。
  8. 前記染色体に対応する前記ターゲット画像における領域の中央点の前記画素値と前記テンプレート画像における領域の中央点の前記画素値との差の絶対値を算出し、前記差の絶対値が第2の閾値を超えたか否かを判断する適応度算出前処理手段をさらに具備し、
    前記適応度算出手段は、前記適応度前処理手段において前記差の絶対値が第2の閾値を超えたと判断された場合には前記類似画像判断手段における前記判断の対象から除外される十分に小さい値を前記適応度として設定することを特徴とする請求項5記載の画像処理装置。
  9. 前記適応度算出手段は、前記画素値および前記染色体情報に基づいて前記染色体の適応度を相互相関関数により算出することを特徴とする請求項5記載の画像処理装置。
  10. 前記適応度算出手段は、前記ターゲット画像における任意の座標の前記画素値と前記ターゲット画像および前記テンプレート画像が重なり合う領域における前記ターゲット画像の前記画素値の平均値との差、および、前記テンプレート画像における任意の座標の前記画素値と前記ターゲット画像および前記テンプレート画像が重なり合う領域における前記テンプレート画像の前記画素値の平均値との差の積を、前記ターゲット画像および前記テンプレート画像が重なり合う領域全ての座標において積算したものを正規化した関数を前記相互相関関数として用いることを特徴とする請求項9記載の画像処理装置。
  11. 前記縮小されたテンプレート画像および前記縮小されたターゲット画像における原点から任意の座標までの前記画素値を積算した準備値を前記縮小されたテンプレート画像および前記縮小されたターゲット画像の全ての座標において算出する準備値算出手段と、
    前記縮小されたテンプレート画像における前記準備値を前記縮小されたテンプレート画像の座標と対応付けて保持するテンプレート画像準備値テーブルと、
    前記縮小されたターゲット画像における前記準備値を前記縮小されたターゲット画像の座標と対応付けて保持するターゲット画像準備値テーブルと
    をさらに具備し、
    前記適応度算出手段は、前記準備値を用いて前記相互相関関数における前記画素値を前記ターゲット画像および前記テンプレート画像が重なり合う領域全ての座標において積算する計算を行い、前記染色体の適応度を算出することを特徴とする請求項9記載の画像処理装置。
  12. 前記適応度算出手段は、前記ターゲット画像における任意の座標の前記画素値と前記ターゲット画像および前記テンプレート画像が重なり合う領域における前記ターゲット画像の前記画素値の平均値との差、および、前記テンプレート画像における任意の座標の前記画素値と前記ターゲット画像および前記テンプレート画像が重なり合う領域における前記テンプレート画像の前記画素値の平均値との差の積を、前記ターゲット画像および前記テンプレート画像が重なり合う領域全ての座標において積算したものを正規化した関数を前記相互相関関数として用い、前記画素値を構成する複数の要素それぞれについての前記相互相関関数による算出値を2乗したものの和の平方根を正規化したものを前記適応度として算出することを特徴とする請求項8記載の画像処理装置。
  13. 前記適応度算出手段は、前記ターゲット画像における任意の座標の前記画素値と前記ターゲット画像および前記テンプレート画像が重なり合う領域における前記テンプレート画像の前記画素値の平均値との差、および、前記テンプレート画像における任意の座標の前記画素値と前記ターゲット画像および前記テンプレート画像が重なり合う領域における前記ターゲット画像の前記画素値の平均値との差の積を、前記ターゲット画像および前記テンプレート画像が重なり合う領域全ての座標において積算したものを正規化した関数を前記相互相関関数として用いることを特徴とする請求項8記載の画像処理装置。
  14. 前記適応度算出手段は、wを前記テンプレート画像の幅とし、hを前記テンプレート画像の高さとし、前記ターゲット画像の座標(X+i、Y+j)における画素値をTarget(X+i、Y+j)とし、前記テンプレート画像の座標(i、j)における画素値をTemplate(i、j)とし、前記ターゲット画像および前記テンプレート画像が重なり合う領域における画素値の平均値をMtargetとし、前記テンプレート画像の画素値の平均値をMtemplateとし、前記相互相関関数として座標(X,Y)における相互相関関係を表す以下の式
    を用いることを特徴とする請求項8記載の画像処理装置。
  15. 検索の対象になる複数のターゲット画像を保持するターゲット画像保持手段と、
    前記複数のターゲット画像の何れか一つに対する所定の領域の選択を受け付ける領域選択受付手段と、
    前記選択を受け付けた領域における画像およびその領域における画像を所定の倍率で拡大または縮小した画像をテンプレート画像として生成するテンプレート画像生成手段と、
    前記縮小されたターゲット画像よりランダムに複数の個体を抽出して前記個体の座標および前記テンプレート画像の拡大または縮小における前記所定の倍率に基づいた染色体情報を有する染色体を生成する個体抽出手段と、
    前記染色体情報および画素値に基づいて前記染色体の適応度を算出する適応度算出手段と、
    前記適応度算出手段において前記適応度を算出された前記染色体に対して選択、交配および突然変異のうち少なくとも1つの処理を行って新たな染色体情報を有する染色体を生成して前記適応度算出手段において前記新たな染色体情報を有する染色体についての適応度を算出させる遺伝的アルゴリズム処理手段と、
    所定の条件に従って繰り返し行われる前記遺伝的アルゴリズム処理手段における処理の終了を指示する処理終了指示手段と、
    前記適応度算出手段において最後に算出された適応度のうち最も値の大きい適応度を準最適解として判断する準最適解判断手段と、
    前記準最適解に対応する前記ターゲット画像の領域を囲む所定の領域の全てにおいて前記所定の領域における適応度を算出してその適応度のうち最も値の大きい適応度を前記所定の領域における準最適解として判断する近傍領域準最適解判断手段と、
    前記準最適解判断手段において判断された前記準最適解および前記近傍領域準最適解判断手段において判断された前記所定の領域における準最適解のうち最も大きい値が所定の閾値を超えた場合に前記縮小されたテンプレート画像に類似する画像が前記縮小されたターゲット画像に含まれると判断する類似画像判断手段と
    を具備することを特徴とする画像処理装置。
  16. 検索の対象になるターゲット画像を保持するターゲット画像保持手段を備えた画像処理装置における処理方法であって、
    前記複数のターゲット画像の何れか一つに対する所定の領域の選択を受け付ける領域選択受付手順と、
    前記選択を受け付けた領域の画像をテンプレート画像として生成するテンプレート画像生成手順と、
    前記テンプレート画像および前記ターゲット画像を前記テンプレート画像の縦幅および横幅に応じた縮小率に縮小する画像縮小手順と、
    前記縮小されたターゲット画像において前記縮小されたテンプレート画像と類似する画像を含む前記縮小されたターゲット画像を遺伝的アルゴリズムにより検索する類似画像検索手順と
    を具備することを特徴とする処理方法。
  17. 検索の対象になるターゲット画像を保持するターゲット画像保持手段を備えた画像処理装置に、
    前記複数のターゲット画像の何れか一つに対する所定の領域の選択を受け付ける領域選択受付手順と、
    前記選択を受け付けた領域の画像をテンプレート画像として生成するテンプレート画像生成手順と、
    前記テンプレート画像および前記ターゲット画像を前記テンプレート画像の縦幅および横幅に応じた縮小率に縮小する画像縮小手順と、
    前記縮小されたターゲット画像において前記縮小されたテンプレート画像と類似する画像を含む前記縮小されたターゲット画像を遺伝的アルゴリズムにより検索する類似画像検索手順と
    を実行させることを特徴とするプログラム。
JP2005293917A 2005-10-06 2005-10-06 画像処理装置 Pending JP2007102634A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2005293917A JP2007102634A (ja) 2005-10-06 2005-10-06 画像処理装置
KR1020060097330A KR20070038891A (ko) 2005-10-06 2006-10-02 화상 처리 장치
TW095136497A TW200801996A (en) 2005-10-06 2006-10-02 Image processor
EP06020869A EP1783637A3 (en) 2005-10-06 2006-10-04 Image processing apparatus
US11/544,545 US20070081729A1 (en) 2005-10-06 2006-10-05 Image processing apparatus
CNB2006101404474A CN100524308C (zh) 2005-10-06 2006-10-08 图像处理装置和处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005293917A JP2007102634A (ja) 2005-10-06 2005-10-06 画像処理装置

Publications (1)

Publication Number Publication Date
JP2007102634A true JP2007102634A (ja) 2007-04-19

Family

ID=37671165

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005293917A Pending JP2007102634A (ja) 2005-10-06 2005-10-06 画像処理装置

Country Status (6)

Country Link
US (1) US20070081729A1 (ja)
EP (1) EP1783637A3 (ja)
JP (1) JP2007102634A (ja)
KR (1) KR20070038891A (ja)
CN (1) CN100524308C (ja)
TW (1) TW200801996A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009277155A (ja) * 2008-05-16 2009-11-26 Ricoh Co Ltd 画像検索装置、画像検索方法、情報処理プログラム及び記録媒体
JP2010026945A (ja) * 2008-07-23 2010-02-04 Nikon Corp 画像フィルタ生成装置、画像フィルタ生成方法およびプログラム
JP2010026944A (ja) * 2008-07-23 2010-02-04 Nikon Corp 画像フィルタ生成装置、画像フィルタ生成方法およびプログラム
WO2011064918A1 (ja) * 2009-11-24 2011-06-03 株式会社ソニー・コンピュータエンタテインメント 画像データ作成支援装置および画像データ作成支援方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4290193B2 (ja) * 2006-12-26 2009-07-01 三洋電機株式会社 画像処理装置
JP2009140076A (ja) * 2007-12-04 2009-06-25 Sony Corp 認証装置及び認証方法
JP2009141475A (ja) * 2007-12-04 2009-06-25 Nikon Corp カメラ
CN101520890B (zh) * 2008-12-31 2011-04-20 广东威创视讯科技股份有限公司 一种基于灰度特征图像的粘连染色体自动分割方法
US8948513B2 (en) * 2009-01-27 2015-02-03 Apple Inc. Blurring based content recognizer
CN101499165B (zh) * 2009-03-09 2011-01-26 广东威创视讯科技股份有限公司 交叉重叠染色体的分割方法
WO2010144259A1 (en) * 2009-06-09 2010-12-16 Arizona Board Of Regents Acting For And On Behalf Of Arizona State University Ultra-low dimensional representation for face recognition under varying expressions
KR101395367B1 (ko) * 2009-09-07 2014-05-14 노키아 코포레이션 장치
BR112012015945A2 (pt) 2009-12-30 2019-02-12 Nokia Corp métodos e aparelhos para facilitar a recuperação de imagem baseada em conteúdo
US8905314B2 (en) 2010-09-30 2014-12-09 Apple Inc. Barcode recognition using data-driven classifier
US8523075B2 (en) 2010-09-30 2013-09-03 Apple Inc. Barcode recognition using data-driven classifier
WO2013019743A2 (en) * 2011-07-29 2013-02-07 Reconrobotics, Inc. Apparatus and methods for object recognition using a genetically-defined feature space transform
US9092695B1 (en) * 2013-03-13 2015-07-28 Google Inc. High-accuracy real-time road sign detection from images
US20160125266A1 (en) * 2013-06-17 2016-05-05 Konica Minolta, Inc. Image Processing Method, Image Processing Device, And Image Processing Program
US10515110B2 (en) * 2013-11-12 2019-12-24 Pinterest, Inc. Image based search
CN103927767B (zh) * 2014-04-18 2018-05-04 北京智谷睿拓技术服务有限公司 图像处理方法及图像处理装置
JP6344469B2 (ja) * 2014-06-11 2018-06-20 富士通株式会社 プログラム生成装置、プログラム生成方法およびプログラム
CN110019908A (zh) * 2017-12-13 2019-07-16 南京机器人研究院有限公司 一种图像内容搜索方法
CN111147891B (zh) * 2019-12-31 2022-09-13 杭州威佩网络科技有限公司 视频画面中对象的信息的获取方法、装置及设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000172852A (ja) * 1998-09-28 2000-06-23 Canon Inc 画像処理方法、装置および記録媒体
CN1405727A (zh) * 2002-11-07 2003-03-26 上海交通大学 基于遗传算法的图像内容检索方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009277155A (ja) * 2008-05-16 2009-11-26 Ricoh Co Ltd 画像検索装置、画像検索方法、情報処理プログラム及び記録媒体
JP2010026945A (ja) * 2008-07-23 2010-02-04 Nikon Corp 画像フィルタ生成装置、画像フィルタ生成方法およびプログラム
JP2010026944A (ja) * 2008-07-23 2010-02-04 Nikon Corp 画像フィルタ生成装置、画像フィルタ生成方法およびプログラム
WO2011064918A1 (ja) * 2009-11-24 2011-06-03 株式会社ソニー・コンピュータエンタテインメント 画像データ作成支援装置および画像データ作成支援方法
JP2011114401A (ja) * 2009-11-24 2011-06-09 Sony Computer Entertainment Inc 画像データ作成支援装置および画像データ作成支援方法
US8670046B2 (en) 2009-11-24 2014-03-11 Sony Corporation Image data creation support device and image data creation support method

Also Published As

Publication number Publication date
EP1783637A3 (en) 2007-06-20
TW200801996A (en) 2008-01-01
CN100524308C (zh) 2009-08-05
EP1783637A2 (en) 2007-05-09
CN1945580A (zh) 2007-04-11
KR20070038891A (ko) 2007-04-11
US20070081729A1 (en) 2007-04-12

Similar Documents

Publication Publication Date Title
JP2007102634A (ja) 画像処理装置
JP4241709B2 (ja) 画像処理装置
US10250801B2 (en) Camera system and image-providing method
JP5630541B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20110134208A1 (en) Panoramic image synthesizer, panoramic image synthesis method, and program
KR20130120175A (ko) 캐리커처 자동 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
JP4772819B2 (ja) 画像検索装置および画像検索方法
KR20160130769A (ko) 화상을 프로세싱하기 위한 방법 및 디바이스
CN111353965B (zh) 图像修复方法、装置、终端及存储介质
US8391544B2 (en) Image processing apparatus and method for processing image
JP6075294B2 (ja) 画像処理システム及び画像処理方法
EP2423850B1 (en) Object recognition system and method
US11138759B2 (en) Image processing apparatus and image processing method
JP2006303707A (ja) 画像処理装置及び画像処理方法
US20190180503A1 (en) Estimation apparatus, estimation method, and non-transitory computer-readable storage medium for storing estimation program
US9117110B2 (en) Face detection-processing circuit and image pickup device including the same
JP6121810B2 (ja) シフトアルゴリズムを用いて大容量ソースイメージの特徴点情報を抽出する装置及び方法
JP6817779B2 (ja) 画像処理装置、その制御方法、プログラムならびに記録媒体
JP2020098575A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP4966080B2 (ja) 対象物検出装置
JP2015060421A (ja) 類似画像検索方法及び類似画像検索装置
JPWO2007001026A1 (ja) 画像処理装置及び画像処理方法
JP7232663B2 (ja) 画像処理装置及び画像処理方法
JP5083162B2 (ja) 画像データ判定装置、画像データ判定システム、及びプログラム
JP2007034710A (ja) 画像処理装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090210

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090616