JP2009187581A - 情報の検索および検索システム - Google Patents

情報の検索および検索システム Download PDF

Info

Publication number
JP2009187581A
JP2009187581A JP2009120185A JP2009120185A JP2009187581A JP 2009187581 A JP2009187581 A JP 2009187581A JP 2009120185 A JP2009120185 A JP 2009120185A JP 2009120185 A JP2009120185 A JP 2009120185A JP 2009187581 A JP2009187581 A JP 2009187581A
Authority
JP
Japan
Prior art keywords
image
region
images
target
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009120185A
Other languages
English (en)
Inventor
Pamela R Lipson
リプソン，パメラ・アール
Pawan Sinha
シンハ，パワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Massachusetts Institute of Technology
Original Assignee
Massachusetts Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Massachusetts Institute of Technology filed Critical Massachusetts Institute of Technology
Publication of JP2009187581A publication Critical patent/JP2009187581A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y10S707/99934—Query formulation, input preparation, or translation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y10S707/99936—Pattern matching access

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Processing (AREA)

Abstract

【課題】比較的大きな情報量の比較を迅速に行う。
【解決手段】イメージ処理システムは、検索エンジン３６と、検索エンジン３６に結合され、該検索エンジンから与えられた第１および第２のイメージを比較するイメージ・アナライザ３８と、検索エンジンと前記イメージ・アナライザの一方に結合され、各々がイメージ・アナライザに特定アプリケーションに固有の情報を提供する１つ以上の特徴モジュール３０と、を備える。１つ以上の前記特徴モジュールの各々が、少なくとも１つの前記特定のイメージ領域の各々にピクセルについてイメージの少なくとも１つの特定の領域と少なくとも１つの特定の測定を規定する。検索エンジンとイメージ・アナライザと特徴モジュールの１つに結合され、少なくとも１つのイメージが記憶された記憶装置を更に備える。
【選択図】図２

Description

本発明は、情報検索および検索システムに関し、特にイメージ処理技術を全体的もしくは部分的に利用する検索および検索システムに関する。
（関連出願の相互引照）
本願は、１９９７年１０月２７日出願の米国特許出願第６０／０６３，６２３号のＵＳＣ§１１９（ｅ）に基く優先権を主張するものである。
当技術において周知のように、ディジタル・イメージとは、各々がディジタル・ワードにより表わされるピクセルのアレイとして表わされるイメージである。しばしば、このアレイは、ピクセルの２次元アレイとして提供される。得られるディジタル画像数が増加すると、更に完全かつ有効な注釈（イメージに対する識別ラベルの添付）および指標（データベースからの特定イメージのアクセス）システムに対する必要が生じてきた。ディジタル・イメージ／ビデオ・データベース注釈および指標サービスは、広告、新しいエージェンシーおよび雑誌出版社などのユーザに、イメージ・サーチ・システムに対する照会を介して一覧し、イメージまたはビデオのセグメントをこのようなデータベースから検索する能力を提供する。
これもまた周知のように、内容ベースのイメージ検索システムは、イメージの内容を直接に用いることにより、ディジタル・ライブラリからのイメージを分類し検出し検索するイメージ検索システムである。内容ベース・イメージ処理システムは、イメージ内の主題を分類あるいは他の方法で識別することにより、イメージにおける情報を処理するシステムを指す。このようなシステムは、限定するものではないが美術館および博物館の管理、建築のイメージおよび設計、インテリア・デザイン、地球資源の遠隔探査および管理、地理的情報システム、科学技術データベース管理、天候の予報、小売、製造およびファッションのデザイン、商標および版権データベース管理、法律施行および犯罪の調査および写真の保管、回路検査システムを含む通信システムおよび検査システムを含む種々のアプリケーションにおいて用いられる。
従来の内容ベースのイメージ／ビデオ検索システムは、イメージと関連する説明記事あるいはキーワードに対応するテキストで補完されたイメージあるいはビデオ・フレームを用いる。ユーザは、例えば、これらキーワードの１つまたは組合わせを用いてシステムへ文字による照会を入れることによって、所望のイメージをイメージ・データベースから検索する。このようなシステムにおける１つの問題は、データベースにおける静止イメージまたはビデオ・イメージの内容ではなく、予め規定された限定された文章による注釈にこれらシステムが依存することである。
更に他のシステムは、特定の形状に基きイメージを検索しようとする。例えば、魚のイメージを見つけるため、このようなシステムは魚の形状の仕様が与えられることになる。このような仕様は、データベースにおける魚のイメージを見つけるために用いられることになる。しかし、このような手法における１つの問題は、魚が標準的な形状を持たず、このため、形状の仕様は、同じ形状かあるいは非常によく似た形状を有する魚の分類あるいは識別に限定される。
更に他のシステムは、色およびテクスチャを含むイメージ統計を用いることによりイメージあるいはビデオ・フレームを分類する。これらのシステムにおける問題点は、所与の照会イメージに対して、システムにより見出されたイメージがイメージ例と同じ色、テクスチャその他の統計的特性を持つものであっても、イメージは照会イメージと同じ種類の一部でないかも知れないことである。即ち、照会イメージが人間のフェースとして識別されたイメージの種類に属すならば、色およびテクスチャを含むイメージあるいはビデオ・フレームに基くイメージを分類するシステムは、所望の色およびテクスチャのイメージ統計例に該当するが人間のフェースではないイメージを返すことができる。
このように、全般的なイメージ検索および検索システムにおいて用いることができ、かつ人間または動物のフェースに限定されない、構造パターン、シンボル、ロゴ、美術館および博物館の管理、建築のイメージおよびデザイン、インテリア・デザイン、地球資源の遠隔探査および管理、地理的情報システム、科学技術データベース管理、天候の予報、小売、製造およびファッション・デザイン、商標および版権データベース管理、法律の施行および犯罪調査、画像記録、回路検査システムを含む通信システムおよび検査システム、を含む複数の異なる種類のイメージの検索を許容するシステムおよび技術を提供することが望ましい。特定のイメージあるいは特定の種類のイメージについての検索に最も重要な因子がどれであるか自動的に学習することが可能なシステムを備えることが特に望ましい。
本発明によれば、イメージ処理システムは、イメージ・アナライザに結合された検索エンジンを含んでいる。イメージ・アナライザと検索エンジンとは、特定のアプリケーションに対してイメージ・アナライザをどのように最適化するかの記述に必要な情報を提供する１つ以上の特徴モジュールに結合されている。このような特定の構成により、主要イメージを目標イメージに迅速にマッチさせることができるイメージ処理システムが提供される。各特徴モジュールは、所与のアプリケーションのために、イメージの特定の領域と、規定されたイメージ領域内のピクセルについて行う特定の計測、ならびに隣接するイメージ領域において隣接するピクセルについて行う特定の計測とを規定する。このように、この特徴モジュールは、特定のイメージの一致／検索ルーチンにおいて重要であるパラメータと特性とを規定する。プラグイン・モジュールは、このようなアプリケーションの特定情報をイメージ・アナライザへ送る。特定の特徴モジュールにより規定された情報は、特定のアプリケーションに従って著しく変動する。特徴モジュールを用いることにより、汎用検索エンジンおよびイメージ・アナライザを用いることができる。このため、当該システムは、印刷回路ボードあるいは集積回路の検査から商標イメージについての検索までのような広く変化するアプリケーションにおける動作に迅速に適合させることができる。各アプリケーションにおいて、重要である特定のパラメータおよび特性が特徴モジュールによって提供される。
このため、本発明の技術が広範囲の異なる種類のイメージ処理アプリケーションに対する適合性を備えることに注目すべきである。例えば、この技術は、特定の人間あるいは事物の同一性を識別しあるいは検証するために生物測定アプリケーションおよびシステム、完全に組立てられおよび／または完全に装填された種々の素材ボードからの全ての製造過程における（任意の形式の回路ボードまたはモジュールまたは集積回路に制約なしに含む）印刷回路ボードおよび（ハイブリッドを含む）副組立体の検査およびテストを含み、ハンダ付けジョイント、ポスト・ペースト（ｐｏｓｔ ｐａｓｔｅ）検査およびポスト実装検査、ウエーハから仕上げチップまでの全製造過程における半導体チップの検査およびテストを含む検査システム、特定種類のイメージあるいは特定種類のビデオ・チップのイメージまたはビデオ・アーカイブの検索に用いられるイメージまたはビデオ分類システム、および腫瘍のようなイメージにおける特定の特性を識別する医療用イメージ処理アプリケーションにおいて用いることができる。このように、本文に用いられる用語「イメージ処理アプリケーション」、更に簡単に「アプリケーション」とは、広範囲のアプリケーションを意味する。
本発明の更なる特質によれば、２つのイメージを比較するプロセスは、（ａ）目標イメージと選択されたイメージとを整合し、（ｂ）選択されたイメージを複数のイメージ領域へ分け、（ｃ）予め定めたイメージ領域内に特性を組込み、（ｄ）主要なイメージ領域を選択し、（ｅ）目標イメージ領域を選択し、（ｆ）選択された主要イメージ領域の１つ以上の特性を目標イメージ領域における１つ以上の対応する特性に比較するステップを含んでいる。このような特定の構成により、２つのイメージを迅速に比較する技術が提供される。２つのイメージ間を比較するため予め定めた特徴およびイメージ領域を選択することにより、イメージの処理に要する時間量が短縮される。簡明な表示となるようにイメージの選択領域に特徴を組合わせあるいは組込むことにより、比較的大きな情報量の比較を迅速に行うことができる。
本発明の更に他の特質によれば、印刷回路ボードを製造する方法は、（ａ）印刷回路ボードにおける製造オペレーションを実施し、（ｂ）行われている実際のオペレーションのイメージを製造オペレーションの目標イメージに比較することにより、製造オペレーションの結果を検査するステップを含んでいる。このような特定の構成により、印刷回路ボードの製造コストを低減しながら、印刷回路ボードの製造効率が増進される。製造は、印刷回路ボード（ＰＣＢ）の製造プロセスにおける任意の１つ以上の工程に対応し得る。例えば、製造プロセスがソルダー（ハンダ付け）製造プロセスに対応するとき、ポスト・ペースト、ポスト実装およびポスト・リフローの諸オペレーションの前および（または）後に、検査技術が用いられる。例えば、製造プロセスは、ソルダー実施の前後の検査、構成要素の実装、ソルダー・リフロー、ソルダー・ジョイント検査、あるいは他の製造工程を含み得る。製造プロセスにおける予め定めた工程後に検査することにより、製造プロセスを継続する前に補正が可能である製造プロセスにおける欠陥を早期に検出することが可能である。製造プロセスにおける欠陥を早期に検出することにより、最終的な検査テストを通ることができないＰＣＢの製造と関連する経費および時間が提供される。
実施の一形態において、カメラが、印刷回路ボードのイメージを捕捉し、このイメージを目標イメージに比較する。目標イメージは、製造プロセスの当該部分において適正に製造されたＰＣＢのイメージに対応する。例えば、問題の製造工程がソルダー・ペースト塗布工程であるならば、捕捉されたものは、ソルダー・ペーストが塗布された印刷回路ボード（あるいは、その一部）のイメージに対応する。目標イメージは、ソルダー・ペーストが適正に塗布されたＰＣＢ（またはその一部）のイメージに対応する。２つのイメージの予め定めた特徴が比較され、比較の結果に基いて、その時製造プロセスの過程にあるＰＣＢにソルダー・ペーストが適正に塗布されたか否かについて判定がなされる。
イメージ検索および検索システムのブロック図である。 照会イメージと照会イメージを図１のイメージ検索および検索システムへ提供した結果得られる複数のイメージとを示す図である。 複数のプラグイン・モジュールを含むイメージ処理システムのブロック図である。 ２つのイメージを比較するため図１および図２のイメージ処理システムにより行われた処理を表わすフロー図である。 ２つのイメージを比較するため図１および図２のイメージ処理システムにより行われた処理を表わすフロー図である。 ２つのイメージを比較するため図１および図２のイメージ処理システムにより行われた処理を表わすフロー図である。 照会イメージと目標イメージからの属性のプロットである。 分割および組込みオペレーション後のイメージを示す一連のイメージである。 目標イメージと整合する領域の変形を示す図である。 目標イメージと整合する領域の変形を示す図である。 主要イメージと目標イメージの整合状態を示す概略図である。 主要イメージと目標イメージの整合状態を示す概略図である。 主要イメージと目標イメージの整合状態を示す概略図である。 検索結果を生成するため行われた処理を示すフロー図である。 イメージ検索エンジンへ与えられる組込みイメージを生成するため入力イメージの領域の組込み時に含まれる工程を示す一連のイメージを示す図である。 イメージ検索エンジンへ与えられる組込みイメージを生成するため入力イメージの領域の組込み時に含まれる工程を示す一連のイメージを示す図である。 組込まれたコア・イメージの組込まれたデータベース・イメージに対する比較を示す一連のイメージを示す図である。 組込まれたコア・イメージの組込まれたデータベース・イメージに対する比較を示す一連のイメージを示す図である。 リプル特徴点を示す一連の概略図である。 リプル特徴点を示す一連の概略図である。 リプル特徴点を実現する工程を説明するフロー図である。 イメージ検索の結果として生じた１つ以上のイメージの選択を示す図である。 照会イメージがどのように得られ、照会イメージの１つ以上の部分をどのように強調するかを示す一連のイメージを示す一連の図である。 照会イメージがどのように得られ、照会イメージの１つ以上の部分をどのように強調するかを示す一連のイメージを示す一連の図である。 照会イメージがどのように得られ、照会イメージの１つ以上の部分をどのように強調するかを示す一連のイメージを示す一連の図である。 照会イメージがどのように得られ、照会イメージの１つ以上の部分をどのように強調するかを示す一連のイメージを示す一連の図である。 照会イメージがどのように得られ、照会イメージの１つ以上の部分をどのように強調するかを示す一連のイメージを示す一連の図である。 照会イメージがどのように得られ、照会イメージの１つ以上の部分をどのように強調するかを示す一連のイメージを示す一連の図である。 照会イメージがどのように得られ、照会イメージの１つ以上の部分をどのように強調するかを示す一連のイメージを示す一連の図である。 主要イメージの多数の部分を用いて目標を処理する工程を示すフロー図である。 目標イメージ上の選択イメージ領域の配置を示す一連のイメージを示す図である。 目標イメージ上の選択イメージ領域の配置を示す一連のイメージを示す図である。 目標イメージ上の選択イメージ領域の配置を示す一連のイメージを示す図である。 スコアを計算して出力をユーザへ与える工程を示すフロー図である。 集計スコアを計算する工程を示すフロー図である。 分割法を用いてスコアを計算する工程を示すフロー図である。 テキストによりソートし次いで視覚的類似性によりソートする工程を示すフロー図である。 イメージを見出し次いで見出されたイメージを視覚的類似性によりソートするため用いられた文字による注釈を示す一連の図である。 イメージを見出し次いで見出されたイメージを視覚的類似性によりソートするため用いられた文字による注釈を示す一連の図である。 イメージを見出し次いで見出されたイメージを視覚的類似性によりソートするため用いられた文字による注釈を示す一連の図である。 イメージを見出し次いで見出されたイメージを視覚的類似性によりソートするため用いられた文字による注釈を示す一連の図である。 回路構成要素と回路線に接続された回路リード線を示す概略側面図である。 回路構成要素と回路線に接続された回路リード線を示す概略側面図である。 回路検査システムにおけるイメージ処理を行う工程を示すフロー図である。 印刷回路ボードを製造する工程を示す図である。
本発明の上記の特徴ならびに発明自体については、以降の図面の詳細な記述から更によく理解されよう。
イメージの検索および検索システム、およびこれと関連する手法を説明する前に、幾つかの紹介概念および用語について説明する。
スチール写真のようなアナログ即ち連続的なパラメータ・イメージが、ディジタル値のマトリックスとして示され、コンピュータまたは他のディジタル処理装置の記憶装置に記憶される。このため、本文に述べるように、ディジタル・データ値のマトリックスは「ディジタル・イメージ」更に簡単に「イメージ」と一般的に呼ばれ、例えば１つの状景における異なる波長のエネルギの空間的な分散を示す数のアレイとしてメモリのようなディジタル・データ記憶装置に記憶される。
同様に、例えば移動するローラ・コースタの画像のようなイメージ・シーケンスが、公知のようにディジタル・ビデオ信号に変換される。ディジタル・ビデオ信号が、一連の離散的ディジタル・イメージあるいはフレームから与えられる。各フレームは、コンピュータまたは他のデータ処理装置の記憶装置に記憶されるディジタル・データ値のマトリックスとして表わされる。このため、ビデオ信号の場合は、本文に述べるように、ディジタル・データ値のマトリックスは、一般に「イメージ・フレーム」、あるいは更に簡単に「イメージ」または「フレーム」と呼ばれる。ディジタル・ビデオ信号におけるイメージは各々、例えば、スチール写真のイメージが記憶される方法と類似の方法である状景における異なる波長のエネルギの空間的分散を表わす数のアレイとしてメモリのようなディジタル・データ記憶装置に記憶される。
スチール写真またはビデオ・シーケンスのどちらから与えられるかに拘わらず、アレイにおける各数は、典型的に「画像要素」または「ピクセル」あるいは「イメージ・データ」と呼ばれるディジタル・ワード（例えば、８ビットの２進値）に対応する。イメージは、各々がディジタル・ワードにより表わされる２次元のピクセル・アレイへ分けられる。
本文においては、唯一つの輝度成分をもつカラー・イメージを参照されたい。このようなイメージは、グレースケール・イメージとして知られる。このため、１つのピクセルは、イメージにおける特定の空間座標におかれる１つのサンプルを表わす。本文に記載される手法はグレースケール・イメージあるいはカラー・イメージのいずれにも等しく適用されることに注目すべきである。
グレースケール・イメージの場合は、各ディジタル・ワードの値は、このピクセルの強さ、従ってこの特定のピクセル位置におけるイメージに対応する。
カラー・イメージの場合は、本文では時に、各ピクセルごとのカラーおよび輝度値がＲＧＢ値から計算することができるいわゆるＲＧＢカラー体系を用いて、カラー赤（Ｒビット）を表わす予め定めたビット数（例えば、８ビット）、カラー緑（Ｇビット）を表わす予め定めたビット数（例えば、８ビット）、およびカラー青（Ｂビット）を表わす予め定めたビット数（例えば、８ビット）により表わされる各ピクセルを指す。このため、８ビット・カラーのＲＧＢ表示においては、１つのピクセルは２４ビットのディジタル・ワードにより表わされる。
無論、ＲＧＢ値の各々に対して８ビット以上あるいは８ビット以下を用いることは可能である。また、色相、飽和、明るさ（ＨＳＢ）体系、あるいはシアン、マゼンタ、イエロー、ブラック（ＣＭＹＫ）体系のような他のカラー体系を用いてカラー・ピクセルを表わすことも可能である。このように、本文に述べる技術が先に述べたＲＧＢ、ＨＳＢ、ＣＭＹＫの諸体系、ならびに視感度−カラー軸ａ＆ｂ（Ｌａｂ）ＹＵＶカラー差カラー座標系、カルーネン―レーベ（Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ）カラー座標系、網膜コーン・カラー座標系およびＸ，Ｙ，Ｚ体系に限定しないがこれを含む複数のカラー体系に適用し得ることに注意すべきである。
また、本文では、２次元ピクセル・アレイとしてのイメージとも呼ばれる。アレイ・サイズの一例は、５１２×５１２のサイズである。当業者は、無論、本文に述べる技術が不規則な形状のピクセル・アレイを含む種々のサイズおよび形状のピクセル・アレイに対して適用できることを認識されよう。
「状景」とは、イメージ、あるいは内容およびイメージ内で関連する関係が１つの語彙上の意味を割当て得るビデオの１つの典型的なフレームである。静止イメージは、例えば、５１２行および５１２列を持つピクセル・アレイとして表わされる。「オブジェクト」は、静止イメージにおける１つの状景における識別可能なエンティティ、あるいはビデオ・イメージにおける動きのあるか動きのないエンティティである。例えば、ボートは状景における１つのオブジェクトに対応し得るが、１つの状景は１つのイメージ全体に対応する。このため、状景は、オブジェクトは１つの状景内の１つのエンティティに対応するが、典型的に、多くのオブジェクトおよびイメージ領域を含む。
「イメージ領域」あるいは更に簡単に「領域」は、イメージの一部である。例えば、イメージが３２×３２ピクセル・アレイとして提供されるならば、領域は３２×３２ピクセル・アレイの４×４部分に対応する。
イメージにおいて実施される処理を記述する前に、明瞭度を改善する試みにおいて、本文ではイメージの「ブロック」または「領域」における１つ以上の「特徴」または「情報」を参照することを理解すべきである。特徴が同じかあるいは異なるイメージ内の他のブロックに対する関係を含むブロックの任意の特性に対応し得ることを理解すべきである。また、このようなイメージのブロックまたは領域がイメージの部分の任意の特定の種類、サイズあるいは形状に限定されない（即ち、ブロックは方形または矩形状の形状を持つ必要がない）ものと理解すべきである。また、イメージが何ら特定の種類のイメージである必要がないことを理解すべきである。
同様に、本文では、１つ以上のブロックにおける「特徴」または「情報」を１つ以上の他のブロックにおける「特徴」または「情報」に比較するため参照される。この他のブロックは、第１のブロックと同じかあるいは異なるイメージからのものである。また、ブロックの処理は、任意の特定種類のイメージ処理アプリケーションのものである必要がない。むしろ、ブロックの処理は広範囲のイメージ処理アプリケーションに適用する。
従って、当業者は、「ブロック」と「領域」に生じる記述および処理が任意のサイズの方形、矩形状、三角形状、円形状あるいは楕円形状を有するイメージの各部にも等しく生じ得ることを理解されよう。同様に、本発明のイメージ処理システムおよび手法が用いられる特定の分野は、限定するものではないが特定の人間または事物の同一性を識別し、かつまたは検証する生物計測アプリケーションおよびシステムを含み、完全に組立てられおよび（または）構成要素および（ハイブリッドを含む）副組立体が完全に装填された素材ボードからの全ての製造過程における印刷回路ボード（任意の種類の回路ボードまたはモジュールまたは集積回路を含む）の検査およびテストを含み、ソルダー・ジョイント検査、ポスト・ペースト検査およびポスト実装検査を含み、ウエーハから仕上げチップへの全ての製造過程における半導体チップの検査およびテストを含む検査システム、特定の種類のイメージまたは特定の種類のビデオ・チップに対するイメージまたはビデオ・アーカイブを検索するため使用されるイメージまたはビデオ分類システム、および腫瘍のようなイメージにおける特定の特性を識別する医療用のイメージ処理アプリケーションを含んでいる。
次に、図１および図１Ａを参照して、イメージ検索および検索システム１０が、結合された入力システム１４と出力システム１６とを有するイメージ処理システム１２を含んでいる。入力システム１４は、本例では、グラフィカル・ユーザ・インターフェース（ＧＵＩ）１４ａと、ファクシミリ・システム１４ｂと、例えばディジタル・カメラあるいはフレーム・グラバに接続されたカメラを含むカメラ・システム１４ｃと、スキャナ１４ｄと、ネットワーク結線１４ｅと、例えばビデオ・カメラを含むビデオ・システム１４Ｎと、当業者には公知であるイメージをキャプチャまたは他の方法で取得し、送信あるいは他の方法でイメージ・データをイメージ処理システムから利用可能にする他の任意の手段とを含むように示される。
例えば、ネットワーク結線１４ｅは、入力システム１４がグローバル情報ネットワーク（例えば、インターネット）、またはイントラネットまたは他の任意の種類のローカル・ネットワークあるいはグローバル・ネットワークからイメージ・データを受取ることを許容する。またイメージ処理システム１２に結合されるのは、例えば全体的に２０で示される複数のイメージ２０ａ〜２０Ｎが記憶された１つ以上のデータベースがイメージとして提供されるイメージ記憶装置１８である。イメージ２０は、静止イメージあるいは静止イメージとして取扱われるビデオ信号の選択されたフレームに対応するイメージとして提供される。
イメージ処理システム１２はまた、イメージ記憶装置１８からイメージを検索するイメージの検索をも含む。あるいはまた、イメージは、マイクロソフト・ペイントあるいは任意の類似のパッケージのような多数の市販ドローイング・パッケージの１つを用いて、グラフィカル・ユーザ・インターフェース１４を介してイメージ処理システム１２へ与えられる。あるいは更に、イメージを処理システム１２へ送るためにカメラ１４ｃのようなカメラまたは他のイメージ・キャプチャ装置を用いることもできる。このように、システム１２は、データベースその他の記憶装置からイメージを検索する代わりに、リアルタイム即ち「ライブ」のカメラ・イメージを検索することができる。あるいはまた更に、ファクシミリ・システム１４ｂ、スキャナ１４ｄなどを介して、イメージをイメージ処理システム１２へ送ることもできる。どのようにイメージがイメージ処理システム１２へ送られようとも、イメージ処理システム１２は、イメージを受取ってこれらイメージを図２ないし図８Ｂに関して以下に述べる手法に従って処理する。
概要において図１Ａに示されるように、照会イメージ２０は、入力システム１４を介してイメージ処理システム１２へ与えられる。イメージ処理システム１２は、照会イメージ２０を記憶装置１８におけるイメージの各々に比較して定量値即ち照会イメージに対する一致の近さを表わす「スコア」を計算する。記憶装置がイメージ・データベースとして提供される場合、処理システム１２はデータベース照会を介してデータベースにアクセスする。
イメージ処理システム１２は、照会の結果を複数のイメージ２２ａないし２２ｈとして図式フォーマットで出力システム１６へ与える。結果のイメージ２２ａないし２２ｈの各々は、これと関連する定量値２４ａないし２４ｈを有する。定量値２４ａないし２４ｈは、照会イメージと記憶装置１８に記憶されたイメージとの間の一致の近さを表示する。ゼロ以上の値は近くない一致を示すのに対し、ゼロに最も近い定量値２４は最も近い一致を表わす。この定量値は、イメージ処理システム１２が結果のイメージを配列することを可能にする。各イメージと関連する定量値間の相対差は、照会イメージとの一致が最も近いことに基いてイメージのグループをまとめるのに用いることができる。例えば、イメージ２２ｂおよび２２ｃと関連するソース間に比較的大きな相違が存在する。このことは、イメージ２２ａと２２ｂが視覚的な類似性に関してイメージ２２ｃ、２２ｄ以上よりも照会イメージ２０に近いということを示す。２２ｆと２２ｇ間のスコアの差は、２２ｂと２２ｃ間のスコアの差よりはるかに小さい。このことは、照会イメージ２０に対してイメージ２２ｆと２２ｇが非常に類似することを示す。このように、サーチの結果として見出されるイメージを順序付けるために絶対値のスコアよりもスコアの相対値を用いることができることを理解すべきである。
次に図２において、イメージ処理システム１２は、イメージ・プロセッサ２４と、検索エンジン３６と、イメージ・アナライザ３８と、記憶装置インターフェース３９とを含んでいる。イメージ・プロセッサ２４は、全体的に３０で示される複数のプラグイン・モジュール３０ａないし３０Ｎの１つとインターフェースする。
プラグイン・モジュール３０の機能は、特定のアプリケーションに対してイメージ・アナライザ３８をどのように最適化するかの記述に必要な情報を提供することである。プラグイン・モジュール３０はそれぞれ、１つのイメージの特定領域と、イメージ領域内のピクセルについて行う特定の測定ならびに所与のアプリケーションに対して隣接するイメージ領域における隣接するピクセルについて行う測定とを規定する。例えば、モジュール３０ａは、商標イメージ検索を行うときに用いられるパラメータ、拘束条件および特性を規定する。モジュール３０ｂは、フェースのイメージについて検索を行うときに用いられるパラメータ、拘束条件および特性を規定する。モジュール３０ｋは、状景（例えば、滝、野原などのイメージ）の検索を行うときに用いられるパラメータ、拘束条件および特性を規定する。モジュール３０ｌは、構造について検索を行うときに用いられるパラメータ、拘束条件および特性を規定する。モジュール３０ｊは、印刷回路ボードの検査を行うときに用いられるパラメータ、拘束条件および特性を規定する。モジュール３０Ｎは、ビデオ・イメージのストリームについて検索を行うときに用いられるパラメータ、拘束条件および特性を規定する。このように、プラグイン・モジュール３０は、特定のイメージの一致／検索ルーチンにおいて重要なパラメータおよび特性を規定する。プラグイン・モジュールは、このようなアプリケーション固有の情報をイメージ・アナライザ３８へ通信する。
プラグイン・モジュール３０は、色々な方法で実現される。モジュール３０自体は、２つ以上のイメージ領域を入力として用い、これらイメージ領域を相互に比較し、これら領域が相互にどのように類似するかのスコアを返す手法を実現する。プラグイン・モジュール３０は、色、輝度およびテクスチャのような特定のアプリケーションに対するイメージの類似性を計算するために重要なイメージ属性のリストを含む。プラグイン・モジュールはまた、イメージが記憶装置インターフェース３９からイメージ・アナライザ３８へ送られる前にイメージを予め処理する方法をも示唆する。
例えば、照会イメージが商標イメージであり、かつ商標イメージについて記憶装置１８（図１）を検索することが望ましいならば、商標プラグイン・モジュール３０ａは配向の情報が重要であることを記述する。このことは、イメージ・アナライザに対して、色の情報を無視するように、かつ白の背景における黒の図形と黒の背景における白の図形を同じように取扱うように指示する。商標プラグイン・モジュールはまた、配向情報を計算する方法と更に有効な処理のため当該情報をコンパクト化する方法とを記述する。これらの手法については、図６ないし図６Ｃにおいて更に詳細に記述する。
一方、アプリケーションがフェースの認識であり、照会イメージが人間のフェースを含むならば、フェースのオプティマイザに対応するプラグイン・モジュール３０ｂが用いられる。フェースのプラグイン・モジュール３０ｂは、グローバルな形態が重要であること、および相対輝度または相対色情報が照明の変化に対して強固な突合わせプロセスにおいて用いられるべきことを記載した情報を含んでいる。必須ではないが、プラグイン・モジュール３０ｂがイメージにおけるフェースの輪郭を描く手法を実現することもできる。この手法は、分析に先立って照会イメージと目標イメージを予め処理するために用いられる。このような手法は、（図３のステップに示されるように）照会イメージと目標イメージを整合させるために用いられる。
状景プラグイン・モジュール３０ｋは、２つの状景の比較において重要な属性として色と、ローカル構造およびグローバル構造とを強調する。ファブリックオプティマイザ３０ｉは、入力としてファブリックサンプルの２つ以上のイメージを用いる類似性メトリックにおいて色、テクスチャ、ローカル構造およびグローバル構造の重みづけされた組合わせを用いる。ビデオ・シーケンス・プラグイン・モジュールもまた用いることができる。ビデオ・オプティマイザ３０Ｎの場合、１つの静止イメージを別のイメージに突合わせる方法を記述しなければならず、またこれらのイメージが時間シーケンサの一部であることを考慮に入れる方法についても記述しなければならない。例えば、オブジェクトを時間的に追跡することが重要であり得る。相対的位置、色あるいは他の属性を時点ｔ１におけるフレームおよび時点ｔ２におけるフレームから計算することもまた重要である。これらの計算は、２つ以上のイメージ・シーケンスに対して独立的に行うことができる。次いで、処理されたイメージ・シーケンスが比較される。
イメージ・アナライザ３８が２つのイメージを比較するために予め規定された特殊なプラグイン・モジュールを備えることは必要でない。イメージ・アナライザは、未知の内容の２つ以上のイメージを比較する全体的な偏りを含むデフォルト・プラグイン・モジュール３０ｋを用いる。例えば、デフォルト・プラグイン・モジュール３０ｋは、色、輝度およびローカル相対的構造を用いる。フィードバックがイメージ・プロセッサ２４およびプラグイン・モジュールへ与えられるならば、デフォルトならば、プラグイン・モジュール３０ｘは重要なイメージ属性に対する相関のリストを生成することができる。従って、これらの属性を計測して比較することは、他の属性の計測および比較に優先する。学習ステップにおいて、デフォルト・プラグイン・モジュール３０ｋは、顕著な内部パラメータおよび範囲をそれらの値について識別することもできる。このような学習手順即ち洗練手順は、デフォルト・プラグイン・モジュール３０ｋあるいは任意のアプリケーション特化プラグイン・モジュール３０ａないし３０ｎに対して適用することができる。この学習手順は、新たなプラグイン・モジュールに対して１組のパラメータ、特性および拘束条件を生成するため、あるいは新たなアプリケーションに対する１組のパラメータ、特性および拘束条件を用いるように現在あるプラグイン・モジュールを鍛えるために用いることができる。
先に述べた多くのアプリケーションは、イメージ検索アプリケーションである。基本的な前提は、１つ以上のイメージが正または負の事例あるいはサンプルとしてイメージ・プロセッサ２４に対して提供されることである。これら事例が集まってイメージの意味的分類を定義する。イメージ・プロセッサ２４の仕事は、このような分類における他のイメージを見出すため（１つ以上のデータベースに格納される）１つ以上のイメージを検索することである。検索エンジン３６は、検索を迅速に行うように最適化することができる。その最も普遍的な形態では、検索エンジン３６は、記憶装置からイメージを検索しこれらイメージを順次あるいは回分単位でイメージ・アナライザに対して運ぶために用いられる。イメージ・アナライザ３８によりあるいはユーザにより識別される検索エンジン３６からのイメージは、検索を洗練するため、あるいは新たな検索を行うために用いられる。このことは、図１ないし図１２に関して以下において更に説明される。
図３ないし図３Ｂ、図５、図６Ｄ、図７Ｂ、図１０、図１１Ｄ、図１１Ｅ、図１２および図１４は、種々の異なるアプリケーションにおける色々な種類のイメージの処理を可能にするため、例えば、図１および図２に示されたもののようなイメージ処理システムの一部として提供される処理装置により行われる処理を示す一連のフロー図である。フロー図における矩形状のブロック（図３のブロック４０により典型的に示される）は、本文では「処理ブロック」と示され、コンピュータのソフトウエアの命令あるいは命令群を表わす。（図３Ａのブロック５４により典型的に示される）フロー図におけるひし形ブロックは、本文では「判断ブロック」と示され、処理ブロックの処理に影響を及ぼすコンピュータのソフトウエアの命令あるいは命令群を表わす。
あるいはまた、処理ブロックは、ディジタル信号プロセッサ回路あるいはアプリケーション特化集積回路（ＡＳＩＣ）のような機能的に相等の回路により行われるステップを表わす。フロー図は、特定のプログラミング言語の構文を示すものではない。むしろ、フロー図は、当業者の一人が回路を作るため、あるいは特定装置に要求される処理を行うコンピュータ・ソフトウエアを生成するため要求する機能的情報を示している。ループおよび変数の初期設定のような多くのルーチン・プログラム要素および一時的数値変数の使用は示されないことを知るべきである。
他の処理ブロックはコンピュータ・ソフトウエアの命令または命令群を表わすことができるが、ある処理ブロックは実験的手順または手動手順あるいはデータベース機能を表わすことができる。このように、他のステップが異なる方法、例えば手動で、あるいは実験的手順を介して、あるいは手動手順および実験的手順の組合わせを介して実現されるが、フロー図に述べるステップの一部はコンピュータ・ソフトウエアを介して実現される。
当業者は、本文において他の記述がなければ、本文に述べる特定のステップ・シーケンスは、例示に過ぎず、本発明の趣旨から逸脱することなく変更できることを理解されよう。
次に図３ないし図３Ｂにおいて、処理はステップ４０で開始し、ここで選択されたイメージあるいは主要イメージは目標イメージと位置合わせされる。この主要イメージは、目標イメージに突合わされるべきイメージである。他の実施の形態においては目標イメージはデータベースから検索されないが、ある実施の形態では、目標イメージはデータベース（図１におけるデータベースの如き）に前に記憶されており、このデータベースから検索される。
アライメント・ステップの後あるいは前に、主要イメージおよび目標イメージはそれぞれ、ステップ４２に示されるように、複数のサブ領域（更に簡単には、領域）またはブロックへ分割あるいはセグメントに分けられる。分割ステップ４２はいわゆるインテリジェントな分割として行われることを知るべきである。イメージのインテリジェント分割は、類似する属性を持つピクセルの領域がグループに形成される手順である。一例は、領域を色に従って分類することである。青空と緑の草原とがある野原の状景の場合、インテリジェント分割はイメージを青と緑の部分へ分ける。インテリジェント分割の別の例は、同じオブジェクトに属するピクセルを分類することである。例えば、印刷回路ボードのイメージにおいては、インテリジェント分割は，同じ構成要素に属するイメージ領域を分類することになる。代替的な実施の形態においては、インテリジェント分割は、主要イメージの代わりにあるいは主要イメージに加えて、目標イメージについて行うことができる。
ステップ４４において、主要イメージのサブ領域またはブロックの予め定めたものにおける特性は、主要イメージの比較的コンパクトな表示を得るため組合わされあるいは「縮小される：ｃｏｌｌａｐｓｅｄ」。データをサブ領域に縮小する特定の一方法は、サブ領域全体にわたり特定のパラメータの平均値を取得することである。例えば、このような縮小ステップは、サブ領域の平均輝度を見出すことであり得る。ブロック特性を組合わせる別の特定手法については、以下本文において図６ないし図６Ｄに関して記述される。ステップ４４が任意のステップであること、ある実施の形態においては、縮小ステップを行うことは不必要であるか望ましいことを知るべきである。しかし、他の実施の形態において、主要イメージおよび目標イメージの突合わせの速度を増すためには、縮小ステップを実施することが望ましいか必要であり得る。分割ステップ４２が縮小ステップ４４の前または後に行われることを知るべきである。
次に、処理はステップ４６へ進み、ここで主要イメージ内の領域またはブロック（本文では、主要イメージ領域と呼ぶ）が選定される。各主要イメージ領域は、１組のプロパティ即ち特性あるいは特徴を自らと関連させている。ある実施の形態においては、主要イメージ領域の予め定めた距離内の主要イメージ領域（単数または複数：本文では、近傍領域と呼ぶ）が突合わせプロセスにおいて用いられる。
近傍領域が用いられる場合は、主要イメージと近傍領域の両者のプロパティは、突合わせプロセスにおいて用いられる。実施の一形態において、更なる処理のため主要イメージ領域の周囲のどの近傍領域を含むかを判定するために半径Ｒ１が選定される。例えば、ゼロの半径（即ち、Ｒ１＝０）は、近傍領域が含まれなかったことを示し、この場合ゼロより大きな半径（例えば、Ｒ１＝１）は少なくともある近傍領域が含まれるべきことを示す。含むべき特定数の近傍領域が、限定しないが特定のアプリケーション、処理速度および突合わせプロセスにおける特定構造の相対的重要性を含む種々の要因に従って選定されねばならない。このように、近傍領域を突合わせプロセスにおいて含める１つの理由は、近傍に含まれる構造が突合わせプロセスにおける重要な考察であるかどうかである。例えば、フェースのイメージを比較するとき、フェースの構造が非常に重要である。全ての場合において、目、鼻、口、頬、などに対応する領域があるはずである。これらは、正しい空間的構成において形作られねばならない（例えば、頬は鼻の両側になければならない。）半径Ｒ１の大きさは、構造が重要であるレベルを示す。比較的小さな値を持つ半径Ｒ１は、局部的な構造が重要であることを示す。半径Ｒ１の値がイメージの高さと幅の限度まで増加するに従って、グローバルな構造が強調される。
主要イメージ領域の周囲の全ての近傍領域が重要であるとは限らないことを知るべきである。例えば、ソルダー・ジョイントのイメージを比較するとき、ソルダー・ジョイントがイメージにおいて縦方向に配置されるものと仮定すると、主要イメージ領域の上下の領域のみが計算に含まれねばならないこともあろう。また、このことは近傍領域が主要イメージ領域に対する共通な境界を持つためには不必要である。例えば、近傍の１つの定義が主要イメージ領域から１領域だけ離れている領域であることもある。
次に、処理はステップ４８へ進み、ここで目標イメージ領域またはブロックが選定される。主要イメージ領域の選定に似た方法で、目標イメージ領域に対する近傍である領域を選定することもあり得る。この場合、近傍領域は目標イメージ領域と関連する。例えば、目標イメージ領域から予め定めた距離内にある近傍領域を決定するために半径Ｒ２が用いられる。大部分の場合において、主要イメージ領域および目標イメージ領域に対する近傍は同じ方法で計算されねばならない。そうでない場合、例えば、半径Ｒ１が２より大きいかこれと等しく（即ち、Ｒ１≧２）かつ半径Ｒ２が１に等しく（即ち、Ｒ２＝１）設定されるならば、主要イメージ領域および目標イメージ領域から１ステップ離れた近傍領域のみが計算において考察されねばならない。Ｒ２がゼロに設定されると、主要イメージ領域および目標イメージ領域の１つ以上のプロパティ間の比較が行われる。
次いで、処理はステップ５０へ進み、ここで選定された主要イメージ領域と任意の近傍領域との１つ以上のプロパティが目標イメージ領域と任意の近傍領域とにおいて対応するプロパティに比較される。ステップ５２において、主要イメージ領域とその近傍間、および目標イメージ領域とその近傍間の差異を示すスコアが計算されて目標イメージ領域と関連付けられる。スコアは、例えば、輝度と位置の特性に準拠され得る。半径Ｒ１とＲ２が０であるならば、スコアは、主要イメージ領域と主要目標イメージ領域の輝度における絶対差と位置における絶対差との一次的組合わせとして計算することができる。半径Ｒ１とＲ２がゼロより大きければ、スコアは、対応する主要イメージ領域と目標イメージ領域の近傍の輝度と位置における差異において加算することによって増補することができる。近傍の特性における差異は、しばしば領域自体における差異より小さく重みづけされる。例えば、近傍の重みづけは、主要イメージ領域の場所を中心とするガウス関数により計算することができる。他の重みづけ関数も無論用いられる。
半径Ｒ１とＲ２がゼロより大きければ、主要イメージ領域とその近傍間、あるいは近傍相互間に相対的な計測を行うことができる。例えば、近傍領域が主要イメージ領域に対して大きいか、小さいか、あるいは等しい輝度を持つかどうかを計算することができる。主要目標イメージ領域とその近傍間に同じ計算を行うことができる。主要イメージ領域と目標イメージ領域間の差異は、これらの相対的関係の順序が目標イメージ領域において乱されるならば、大きくなる。相対的計測値における差異は、重みづけされて合計スコアへ加算される。
次に、処理は判断ブロック５４へ進み、ここで主要イメージ領域のプロパティを次の主要な目標イメージ領域のプロパティに対して比較することが必要であるかどうかが判定される。主要イメージ領域を次の目標イメージ領域に比較することが必要であるならば、処理はステップ５６へ進み、ここで次の目標イメージ領域が選定され、次いでステップ５８へ進み、ここで比較の目的のため主要イメージ領域が次の主要目標イメージ領域と整合される。処理は次にステップ４８へ戻る。このように、ステップ５４、５６および５８は、主要イメージ領域が予め定めた数の主要目標イメージ領域にわたり移動されるループを実現する。ある場合、主要イメージ領域は目標イメージにおける全てのイメージ領域にわたって移動されあるいはその全てに比較される。他の場合は、主要イメージ領域は目標イメージにおける選択された数のイメージ領域にわたってのみ移動される。
判定ステップ５４において次の目標イメージへの主要イメージの移動を行わない判定がいったん行われると、処理はステップ５８へ進み、ここでステップ５２において計算されたスコアを比較することにより主要イメージ領域と目標イメージの主要領域間に最良の突合わせが見出される。
次いで、処理はステップ６２へ進み、ここで更に多くの主要イメージ領域を処理すべきかどうかについて判定が行われる。更に多くの主要イメージ領域の処理が残っているならば、処理はステップ６４へ進み、ここで次の主要イメージ領域が選定される。ある場合には、主要イメージの各サブ領域が処理される主要イメージのサブ領域として選定されることに注意すべきである。しかし、他の場合は、主要イメージにおける各イメージ領域を用いることが望ましいか、あるいは必要でない。主要イメージ領域における全てより少数のサブ領域を処理することにより、主要イメージと目標イメージとが一致させられる速度を増加することが可能である。ステップ６４の後、処理はステップ４８へ戻り、処理すべき主要イメージがなくなるまでステップ４８〜６２が反復される。
判断ブロック６２において、処理する主要イメージ領域がもうないという判定がなされると、処理はステップ６６へ進み、ここで主要イメージを目標イメージへマップするのにどれだけ多くの変形が必要であったかのスコアを提供するため、各主要イメージ領域と関連する最良のスコアが組合わされる。変形量を計算する１つの方法は、各主要イメージ領域と関連する最良のスコアを一緒に加算することである。
次いで、処理はステップ６８へ進み、ここで出力がユーザへ提供される。
次に、図３Ｃにおいて、照会イメージＱと候補即ち目標イメージＣとの間の変形距離を計算することによるスコアを計算する手法が示される。参照番号ｃ１−ｃ８は目標イメージのイメージ領域を表わし、参照番号ｑ１−ｑ８の各々は照会イメージのイメージ領域を表わす。このため、ｃｊは目標イメージＣのｊ番目のイメージ領域を示すが、ｑｉは照会イメージＱのｉ番目のイメージ領域を示す。
このような特定の事例において、デカルト座標系の３つの異なる軸が１つのイメージの３つの異なる属性、即ち、属性１、属性２および属性３を表わす。イメージ領域ｃ１−ｃ８およびｑ１−ｑ８は、前記軸に沿ってプロットされる。照会イメージにおける属性と候補イメージにおける属性との間の距離が計算される。点ｃ１−ｃ８とｑ１−ｑ８との間の距離の和が合計され、最小値が最良の一致に対応する距離として選定される。このように、最良の一致は照会イメージに関する最小量の変形を持つイメージとして定義される。この距離は、照会イメージのプロパティと候補イメージのプロパティとの関数として計算される。使用された関数は、例えば、重みづけ値で乗じられる、ｉ番目の照会イメージのプロパティ（ｐｒｏｐ（ｑｉ）として示される）とｊ番目の候補イメージのプロパティ（ｐｒｏｐ（ｃｊ）として示される）との間の絶対差であり得る。
次に図３Ｄないし図３Ｆにおいて、除算ステップとクラスプ（ｃｌａｓｐ）ステップが行われた後のイメージ２０′がイメージ２１として示される。主要イメージ領域と近傍領域とはイメージ領域２３として示される。このように、イメージ領域２３は、主要イメージ・ブロック２３ａと近傍ブロック２３ｂ〜２３ｐとから与えられる。線６９の各々は領域間の相対的関係を示す。本文では、主要イメージ・ブロック２３ａと近傍ブロック２３ｂ〜２３ｄ、２３ｅ、２３ｆ、２３ｉおよび２３ｍ間の関係が示されるが、２つの近傍ブロック（例えば、ブロック２３ｃと２３ｄ）間の関係を定義することもまた可能であることに注意すべきである。
図３Ｅおよび図３Ｆにおいて、主要イメージ領域２３′は、主要イメージと目標イメージ間の一致を見出すため、変形されるように示される１つのイメージに主要イメージ領域ブロック２３ａ′と近傍ブロック２３ｂ′、２３ｃ′とを含む。図３Ｅと図３Ｆにおける主要領域の形状が図３Ｄに示される主要イメージ領域と同じではないことに注意すべきである。図３Ｅおよび図３Ｆにおいて、主要イメージ領域２３′は、目標イメージ７１における２つの異なる場所間に移動されるように示される。イメージ領域２３′の変形は、ばね２５によって示される。このばね２５は、主要イメージ領域が主要イメージに存在するところで始まる。良好な一致を見出すため、イメージ領域は目標イメージ７１上の点から移動される。ばね２５は、主要イメージが目標イメージと一致するように変形される量の視覚的表示を与える。目標イメージにおける良好な一致を見出すためばね２５が伸ばされるほど、変形は大きくなる。ばねは、色々な方法で実現される。例えば、ばねは、それ自体が移動された距離の関数および他のプロパティを含む関数が与えられる。このばね手法は、距離の計測を行い、これに重みづけ値を割当てることによって実現される。この重みづけは、限定はしないが１つのパラメータ（例えば、距離のパラメータ）対別の異なるパラメータ（例えば、色のパラメータ）が割当てられるべき強調を含む種々の因子に従って選定される。このため、他のあるパラメータより大きな空間的距離に対する配慮を払うことが望ましければ、重みづけ値が然るべく選定される。
次に図４ないし図４Ｂにおいて、主要イメージ（ＰＩ）７０が複数の行７０ａ〜７０ｈと列７２ａ〜７２ｈへ分割されている。これにおいては８つの行および列が示されるが、当業者は、８つより大きな行および列が用いられることを理解されよう。当業者はまた、行の数が列の数と等しい必要がないことも理解されよう。むしろ、行の数は列の数より多いか少ない。
行および列の交差により形成される各ブロックは７６ＸＸとして表わされ、ここでＸＸは特定のブロックに対する指標識別子に対応する。例えば、参照番号７６ｈｈは主要イメージ７０の右下隅におけるブロックを表わすが、参照番号７６ａａはイメージ７０の左上隅におけるブロックを表わす。このブロック構造は格子と呼ぶことができる。
イメージ・ブロックを生成する任意の特定アプリケーションにおいて用いられる特定数の行および列が、限定しないが１つ以上のブロックにより仕切られたイメージにおける顕著な即ち重要な特徴を持つという要件を含む種々の因子に従って選択される。重要な領域が空と野原とに対応する領域である野原の状景について考察しよう。イメージの多くの重要な特徴が一緒にマージされる非常に粗い格子を持つことは望ましくない。このような粗さの最も極端な事例は、イメージ全体を１つのブロック（１つの行および１つの列）と見なすことである。この場合、空を野原から弁別することはできない。また、イメージにおいて重要でないディテールがブロックにより分けられる格子を持つことも望ましくない。同じ野原の状景と、草の各葉を描写する細かな格子とを考察しよう。最も極端な場合では、ブロックは個々のピクセルからなっている。
ここでは主要イメージ７０が四角い形状を持つように示されるが、当業者は、他の形状も用いられることを理解されよう。主要イメージ７０が同じ大きさの複数の四角の領域へ分けられているが、当業者は、あるアプリケーションでは他の大きさまたは形状の領域を用いることが望ましく、かつ異なる領域の参照方法を用いることもできることを理解されよう。例えば、あるアプリケーションでは、処理速度を改善することができ、あるいは特定の計算の複雑さを矩形、円形あるいは三角形の形状を持つブロックを選択することにより簡単にすることができる。
目標イメージ８０は、同様に予め定めた数の行および予め定めた数の列へ分けられている。主要イメージと同じように目標イメージを分けるのが最も一般的である。このような場合、目標イメージ８０は、主要イメージ７０と同数の行および列を有する。
主要イメージ７０は、目標イメージ８０と整合される。このようなステップは、イメージを領域またはブロックへ分ける前または後に行うことができる。
主要イメージ７０においては、第１の主要イメージ・ブロック７６ｂｇが選択される。次に、複数の近傍即ち近い主要イメージ・ブロック７６ｂｇが選択される。この場合、近傍ブロックは７６ａｆ、７６ａｇ、７６ｂｆ、７６ｃｆおよび７６ｃｇである。主要イメージ・ブロック７６ｂｇと近傍ブロック７６ａｆ、７６ａｇ、７６ｂｆ、７６ｃｆおよび７６ｃｇとは、選択されたイメージ領域７８を形成する。
第１の主要領域を選定した後、目標イメージ・ブロックが選定される。また、近傍領域が目標イメージ・ブロックの周囲に限定される。このような特定例においては、第１の目標主要ブロック８６ｇｂが識別され、近傍ブロック８６ｆａ、８６ｆｂ、８６ｇａ、８６ｈａ、８６ｈｂもまた選択される。このように、目標イメージ領域８８は、目標イメージ内に限定される。
当該特定例においては、主要イメージ領域７８および目標イメージ領域８８の大きさおよび形状が同じに選択されていることに注意すべきである。しかし、領域７８および８８の大きさが同じであることは必要でないことに注意すべきである。例えば、ある実施の形態においては、ブロック８６ｇｂに隣接する任意のブロックを識別しないことが望ましい。この場合、一致を判定するためには領域７６ｂｇのプロパティのみが領域８６ｇｂのプロパティと比較される。
しかし、図示のように、領域７８内の各ブロックの１つ以上の選択されたプロパティが、領域８８内のブロックの同じプロパティと比較される。
次に、領域７８は、目標イメージの次の部分へ移動される。主要イメージ領域に対する理想的な一致のためには、理想的な場所が目標イメージにおける領域８６ｂｇでなければならないことを知るべきである。
また、ある実施の形態においては、領域７８が置かれる目標イメージ８０内の位置に対して制限を付すことが望ましいか必要であることも注意すべきである。例えば、図４Ｂに仮想的に示されるように、近傍の１つが図４Ｂで８９により示される如く目標イメージの境界外にあるように領域７８を配置させないことが望ましい。
選択された領域が目標イメージの領域と比較されるときに近傍プロパティが突合わされるが、近傍に対する重みづけは主要イメージ領域より少ない重みづけが付される。例えば、実施の一形態において、ガウス重みづけ方式を用いることができる。
このように、ブロック７６ａｇのプロパティはブロック８６ｆｂのプロパティと比較されるが、主要イメージ領域７６ｂｇのプロパティは目標イメージ領域のブロック８６ｇｂのプロパティと比較される。ブロック７６ａｆのプロパティはブロック８６ｆａのプロパティと比較され、ブロック７６ｂｆのプロパティはブロック８６ｇａのプロパティと比較される。近傍ブロック７６ｃｆのプロパティはブロック８６ｈａのプロパティと比較され、近傍ブロック７６ｃｇのプロパティはブロック８６ｈｂのプロパティと比較される。
適切なプラグイン・モジュール（例えば、図１におけるモジュール３０）が、どんな特定の対比およびプロパティがなされるかを判定する。これはアプリケーションによって変化することを知るべきである。例えば、フェースの検出のようなアプリケーションにおいては、第２のおそらくは完全に異なる組のプロパティと比較が用いられるが、印刷回路ボードの検査に関するイメージ処理アプリケーションにおいては、１組の比較とプロパティが用いられる。プラグイン・モジュールは、異なる目標の近傍８６ｆｂのプロパティを第１の主要イメージ領域の近傍７６ａｇのプロパティと関係付けるよう規定する。プラグイン・モジュールはまた、ブロックの関連するプロパティを主要イメージおよび目標イメージの領域と比較するように規定する。例えば、プラグイン・モジュールは、領域７６ｂｇおよび７６ｂｆ間の関連するプロパティ（関連する輝度など）を比較するよう規定する。このような関連するプロパティは、対応する目標ブロック８６ｇｂおよび８６ｇａ間の関連するプロパティに比較することができる。
プロパティが一貫しなければ、特定の場所における一致について全スコアを計算するときこの因子が考慮に入れられる。
全スコアがある主要イメージ領域および目標イメージ領域を呈示すると、１組のプロパティが主要イメージ領域および目標イメージ領域におけるプロパティの実際値の各々間の差の関数として計算される。この関数の簡単な例は、主要イメージ領域および目標イメージ領域における差により線形に増加する関数である。
次に図５において、２つのイメージ間の対称的計測を行う処理ステップが示される。図３ないし図３Ｂに示される方法は、主要イメージが目標イメージにどれだけ似ているかを計算する。図４において、主要イメージ７０と目標イメージ８０との間で比較がなされる（即ち、主要イメージ７０が目標イメージ８０と比較された）。このような比較に基いて、類似性のスコアが計算された。
イメージ８０が主要イメージと見なされ、イメージ７０が目標イメージと見なされるならば、図３ないし図３Ｂに示された比較法を用いて、主要イメージ８０が目標イメージ７０と比較することができる。このような比較に基いて、第２の類似性スコアを計算することができる。第２の類似性スコア（主要イメージ８０を目標イメージ７０と比較することにより計算される）が第１の類似性スコア（主要イメージ７０を目標イメージ８０と比較することにより計算される）と異なることがあり得る。
このような点を示すため１つの事例を用いることができる。イメージ７０における領域が全て黒であるとしよう。イメージ８０の中心における１つの領域が黒であり、残りが白であるとしよう。輝度が考察されるべき唯一のプロパティであるとしよう。イメージ７０がイメージ８０と比較されるとき、イメージ７０における全ての領域がイメージ８０における中間領域と輝度が正確に一致することが判る。このため、この場合におけるイメージ７０とイメージ８０間の一致は、望み得る最良の一致である０である。ここで、この２つのイメージの役割を逆にしよう。イメージ７０がイメージ８０と比較されるとき、中心の黒の領域のみがイメージ７０における領域に対する良好な輝度の一致を呈することになる。残りは、イメージ７０における全ての領域に対して高い輝度差を呈する。イメージ７０に対するイメージ８０の一致は、低度の類似性（即ち、高い一致スコア）を呈する。このように、このような一致の比較は対称的にならない。
時に、対称的な計測を行うことが望ましい。例えば、このことは、類似する照会イメージにおけるデータベースのサーチ結果と同じイメージが返されることの保証に役立つ。例えば、図１Ａにおいて、イメージ２０が照会イメージとして用いられ、イメージ２２ａ〜２２ｈはサーチの結果として見出されたイメージである。２回目のサーチがイメージ２２ａ〜２２ｈの１つを照会イメージ（例えば、イメージ２２ｂ）として用いて行われたならば、ユーザは、多くの同じイメージ２２ａおよび２２ｃ〜２２ｈがサーチの結果に現われることを予期する。図５に示されるステップは、対称的計測を行い、従ってこのようなユーザの期待を満たすのに役立つ手法を示す。
処理はステップ９０で始まり、ここで第１のイメージ（イメージＡ）が第２のイメージ（例えば、イメージＢ）に突合わされ、全スコアが計算される。イメージＡをイメージＢに突合わせるため行われた処理は、図３ないし図４Ｂに関して先に述べた処理である。
次に、処理はステップ９２へ進み、ここで第２のイメージ（即ち、イメージＢ）が第１のイメージ（即ち、イメージＡ）に突合わされ、第２の全スコアが図３ないし図４Ｄに関して先に述べた処理ステップを用いて計算される。
次に、処理ステップ９４に示されるように、２つのサーチからのスコアが組合わされて複合スコアを生じる。このスコアは、例えば、数学的平均を単に計算することにより組合わされ、あるいはまた、スコアは重みづけ関数を含む別の数学的手法あるいはスコアの１つを強調する他の手法を用いて組合わされる。
また、図５のステップ９０および９２において各プロパティに対するスコアを保持することもできる。ステップ９４は、各プロパティに対するスコアを独立的に平均化することができ、次いで結果をイメージＢに対するイメージＡおよびイメージＡに対するイメージＢの全一致へ組合わせることができる。
次に図６ないし図６Ｃにおいて、イメージ１００は、イメージ領域１００ａ〜１００ｐを含んでいる。語彙では、イメージは、図示のように、部分即ち線１０２ａ〜１０２ｐを持つ四角形の絵を表わす。１つのイメージ領域に該当するイメージ部分１０２ａ〜１０２ｐの各々は組合わされ即ち縮小されて、当該イメージ領域内でコンパクトな方法で各イメージ領域内に含まれる全ての情報を表わす。例えば、イメージ領域１００ｂはイメージ部分１０２ａ、１０２ｂを含んでいる。このため、イメージ部分１０２ａ、１０２ｂは組合わされて、イメージ部分１０４ａ（図３Ａ）としてイメージ領域１００ｂ（図６Ａ）内に表わされる。
同様なイメージ部分１０２ｃ、１０２ｄが組合わされてイメージ領域１００ｈ内にイメージ部分１０４ｂとして表わされ、イメージ部分１０２ｅ、１０２ｆは組合わされて、イメージ領域１００ｊ内にイメージ部分１０４ｃとして表わされ、イメージ部分１０２ｇ、１０２ｈは組合わされて、イメージ領域１００ｅ内にイメージ部分１０４ｄとして表わされる。このように、イメージ１０２は、イメージ部分１０４ａ〜１０４ｄを含むイメージ１０４としてコンパクトかつ有効に表わされる。イメージ１０４は、データベース１８（図１）のようなイメージ・データベース内のサーチを行うため用いられる。以上のプロセスは、オプティマイザ３０の適切な１つにより行うことができる。
データベース１８内の各イメージは、２つのイメージが比較されるとき、比較的大きな量のイメージ情報が比較的コンパクトな表示内に含まれるように同様にコンパクトに表わされ、これにより迅速な比較を可能にする。また、「縮小イメージ」法を用いることにより、イメージを比較的小さな量の記憶スペース内に記憶することができる。
次に図６Ｂ、図６Ｃにおいて、イメージ部分１０６ａ〜１０６ｄを含む縮小された照会イメージは、イメージ部分１０８ａ〜１０８ｆを含む例示的に縮小されたデータベース・イメージ１０８と比較することができる。データベース・イメージ１０８に対する照会イメージ１０６の一致の近さは、データベース・イメージ１０８に割当てされた値即ちスコアを決定し、このスコアが照会イメージとデータベース・イメージとの間の一致の近さを表わす。スコアを計算するために、照会イメージ１０６をデータベース・イメージ１０８と一致させるには照会イメージの変形量がどれだけ生じなければならないかを決定するために評定が行われる。
例えば、照会イメージ部分１０６ａがデータベース・イメージと同じイメージ・セグメントに現われ、このため２つのイメージ部分の一致のための照会イメージの変形は要求されない。照会イメージ部分１０６ｂは、データベース・イメージ・セグメント１０８ｃと整合するように１つのイメージ・セグメントだけ下方向に変形あるいは移動されねばならない。照会イメージ部分１０６ａ〜１０６ｄの各部に対して、データベース・イメージ１０８の各セグメントおよび部分に関して同じ一致工程が行われる。照会イメージ部分１０６ａ〜１０６ｄの各々が一致についていったんテストされると、このプロセスは、例えばイメージ・データベースから検索される次の目標イメージに対して繰返される。
図７ないし図７Ｂは、商標検索システムの関連において図１ないし図６Ｄに関して先に述べたイメージ処理および突合わせ手法を示している。無論、図７ないし図７Ｂに関して述べた概念を、検査システム、フェース認識システム、状景分類およびイメージ検索システム、生物工学分析および検索システム、およびファブリック／織物管理および検索システムに限定はしないがこれを含む色々な他のアプリケーションにおいても用いることができることを理解すべきである。
次に、同じ参照番号表示を持つ類似の要素が設けられる図７ないし図７Ｂにおいて、出力表示スクリーン１３０が、ツール・バー１３２、照会イメージ選択領域１３４、選択された照会イメージ領域１３６および結果イメージ領域１３８を含んでいる。結果領域１３８において各イメージ１３８ａ〜１３８ｈの下方に表示されるのは、イメージ１３８ａ〜１３８ｈの各々の照会イメージ１３６に対する類似性（または一致）を示す測定値即ちスコアと対応する対応値１３９ａ〜１３９ｈである。図７において判るように、イメージ１３８ａは明らかに照会イメージ１３６と一致し、このため照会イメージ１３６と、例えばイメージ・データベース・システムのような記憶装置に格納される目標イメージとの間の可能なかぎり最良の一致を示すゼロ（０）のスコアを受取る。
選択された照会イメージ１３６部分がただ１つのイメージに限定されるものでないことを知るべきである。結果セクション１３８は、図示のように、必ずしも８つのイメージでなく１以上の結果を含み得る。結果セクション１３８におけるイメージは、選択され選択照会イメージ領域１３６へ入れられることも可能である。
このような特定の事例では、照会選択として３つのイメージ１３４ａ〜１３４ｃの表示が示される。最も右方のイメージ１３４ｃ（渦巻きを持つ三角形）が照会イメージとして選択され、照会ロケーション１３６に置かれた。図１ないし図６Ｄに関して先に述べた手法を用いる検索システムが、照会イメージ１３６をイメージ・データベースにおけるイメージに突合わせた。表示スクリーンの最下部のステータス・バーは、システムがデータベースにおいてどれだけ多くのイメージを調べたかの表示数のリアルタイムあるいは疑似リアルタイム定量表示を提供する。当例においては、ステータス・バー１４０は出発点からの距離の約１／３であり、システムが照会イメージをデータベースの３３％に対して突合わせたことを意味する。
当該システムは、各データベースのイメージが照会イメージに対してどれだけ類似しているかに照らしてデータベース全体を整列させる。これは、照会イメージに対するその計算された視覚的類似性の順に結果を表示する図７において、最下位のスコアを持つ８つの結果イメージが結果セクション１３８に示される。
図７の場合、図１ないし図６Ｃに関して述べたように、システムは、照会イメージ１３６とデータベースにおける全てのイメージとの間の類似性スコアを計算した。このスコアは、データベースにおけるその対応するイメージと関連させられた。このように、データベースにおけるイメージは、これらの類似性スコアに基づいて分類され順序付けることができる。これらのスコアは、図７において１３９として示される。しかし、類似性の計算のため図１ないし図６Ｄに関して述べた方法を用いる必要はない。照会イメージとデータベースにおけるイメージとの間の類似性の計算のために、他のアルゴリズムを用いてもよい。このように、データベースにおけるイメージは、これらの異なる種類の計算に基いて順序付けることができる。
図７から判るように、照会イメージと最も近く一致すると検索システムにより判定されたこれらイメージの検索結果が表示される。この特定例においては、データベースからの最も近い８つの一致イメージが、類似性スコアと共にユーザに対して表示される。結果の各イメージ１３８に隣接する情報ボタン１４１が、イメージと関連する情報を検索する手段を提供する。例えば、この場合、イメージは商標イメージに対応する。このため、関連するイメージ情報は、商標を所有し出願した主体の名前、商標の出願日付、商標の登録日付（登録されたならば）および商標が使用される商品の種類を含む。
印刷回路ボード検査システムのような検査システムの場合は、イメージは回路構成要素あるいは印刷回路ボードに対応する。この場合、関連する情報は構成要素のタイプについての情報に対応し得、あるいは印刷回路ボードまたは回路構成要素に関する製造情報を含む。
検索中は表示が動的に更新されることを知るべきである。図７におけるイメージ１３８ａ〜１３８ｈの位置を図７Ａにおけるそれらの位置に比較することにより、検索システムのいわゆる「リップル特徴」が明らかにされる。先に述べたように、図７は、データベースにおけるイメージの３３％を処理した後のイメージ検索の状態を示している。ステータス・バー１４０から判るように、図７Ａは、データベースにおけるイメージの約６６％を処理した後のイメージ検索システムの状態を示している。イメージを動的に表示することにより、最上部の８つのイメージが周期的に（例えば、２秒ごとに）更新されて任意の１つの離散的瞬間における最良のイメージを示す。
例えば、図７のイメージ１３８からの結果のイメージの順序を図７Ａの結果イメージ１３８の順序に比較することにより、イメージ１３８ｂが、（データベースにおいて処理されるイメージの約３３％が処理された後の）次に優れたイメージとして図７におけるその位置から、（データベースにおけるイメージの約６６％が処理された後の）５番目に優れたイメージとして図７Ａにおける位置へ移動したことが判る。このことは、データベースの中間の３番目において処理されたこれら３つのイメージがデータベースの最初の３番目に見出されたイメージ１３８ｂより更に近い照会イメージと一致することを示す。
このようなイメージの更新は、リアルタイムまたは疑似リアルタイムにおいてユーザへ提示することができる。あるイメージが１つの場所から別の場所へ移動し、あるイメージがディスプレイから外れ、他の新たなイメージがディスプレイに現われるこのような動的な更新プロセスを見たユーザには、この効果が「リップル効果」として見える。
次に図７Ｂにおいて、上記の「リップル効果」を実現するため要求されるステップを説明するフロー図が示される。このような特定の事例（ならびに、図７および図７Ａに関して先に述べた記述）が１組のイメージがイメージ・データベースに格納されるものと仮定することに注意すべきである。しかし、本文において先に述べこれから述べる概念は、イメージがデータベースあるいは他の記憶装置のいずれに格納されるかに拘わらず適用することができる。また、図７および図７Ａにおける事例が唯一つの照会イメージを有することにも注意すべきである。先に述べたこの概念は、図１１ないし図１１Ｂに関して以下に述べるような多数の照会イメージにも適用することができる。
処理はブロック１６０で開始し、ここで照会イメージおよび１組の目標イメージが処理のため選択される。典型的には、予め定めた数の目標イメージ（Ｎ）が処理のため選択される。次いで、処理はブロック１６２へ進み、ここで照会イメージが目標イメージのサブセットと比較される。この比較は、図３ないし図３Ｄに関して先に述べた手法を用いて行われる。時間目標イメージのサブセットの大きさは「ｘ」として表わされ、ここでｘは予め定めた数の目標イメージＮより小さい。（「ｘ」がループ１６２〜１７２の全ての反復にわたって同じ値である必要はないことに注目されたい。）類似性スコアは、当該サブセットにおける各目標イメージと関連している。
次いで、処理はブロック１６４へ進み、ここで処理された目標イメージおよびその各スコアが処理済みイメージに格納される。次にブロック１６６に示されるように、処理済みイメージのリストがそれらの類似性スコアにより分類される。
ブロック１６８において、処理済み目標イメージのセットが目標イメージのデータベースから移動され、Ｎの値が減算される。当例においては、Ｎとして示される処理し残されたイメージ数は、ｘに対応する値だけ減じられる。次いで、処理はブロック１７０へ進み、ここで最良のＭ個のイメージがユーザに対して呈示される。次いで、処理は判断ブロック１７２へ進み、ここで処理すべき目標イメージがこれ以上あるかについて判定がなされる。処理されるべき目標イメージが更にあれば、処理はブロック１６２へ進み、処理すべき更なる目標イメージがなくなるまでブロック１６２〜１７０における処理が反復される。
次に図８において、イメージ検索の結果として生じるイメージ１８２ａ〜１８２ｈの視覚的表示１８０が示される。完了前にイメージ検索が割込みされるか停止されることがあり、この時点における結果のイメージに対応するイメージが表示されることに注意すべきである。
検索を停止して検索の完了に先立つ（例えば、データベースにおける全てのイメージの完了に先立つ）時点において結果のイメージを見ることができることが望ましいが、これは結果として得るイメージ１８２ａ〜１８２ｈのいずれかが選択され新たな検索の開始点として用いることができるからである。例えば、図８に示されるように、イメージ１８２ｃが選択され、イメージ処理システム（例えば、図１におけるシステム１０）がイメージ１８２ｃを検索の実施のため照会イメージとして用いることができる。
また、ユーザにとって興味のある結果のイメージ１８２ａ〜１８２ｈを格納できるように、検索を停止することも望ましい。図７において、要素１３２ｆが処理の停止のため用いられる休止ボタンに対応する。アイコン１３２ｆをエンゲージング（例えば、ポインタによるアイコンの「クリック」または押すことまたは選択すること）により検索を再開する。
更にまた、検索に割込みさせることにより、視覚的表示を注視するユーザは、イメージ処理システムがデータベース全体の検索を完了するのを待つことなく、これにより照会を満たすのに必要な時間量を減じて、一致が見出されるならば検索を停止することができ、この場合類似商標あるいは侵害商標を見出す。
ここでは図８におけるイメージ１８２ａ〜１８２ｈが任意の形状として示されるが、例えば印刷回路ボードおよび集積回路の処理および検査に同じ原理が妥当することを理解すべきである。例えば、印刷回路ボードの処理システムにおいては、データベースに格納されたイメージは、良好なおよび（または）不良なソルダー・ジョイントまたは構成要素の実装のイメージに対応し得る。このような場合、製造中あるいは検査中の印刷回路ボード（または、その一部）のイメージがデータベースにおける前に格納されたイメージに対比される。問題のイメージをデータベースにおけるイメージに突合せることにより、良好な／不良なソルダー・ジョイントまたは構成要素の実装が存在するかどうかについての判定を行うことができる。
次に図９ないし図９Ｆにおいて、照会イメージが得られる方法が示される。照会イメージは、図７および図７Ａに示されるように、データベースに存在するイメージであり得る。（図９は、検索の実施のため用いられる照会イメージを示す。）照会イメージは、ハード・コピーから走査され、あるいはカメラからキャプチャされる。このイメージは、図９Ａに示されるように手で描かれてもよい。照会イメージは、既知のイメージのオペレーションされたバージョンでもよい。例えば、図９Ｂは、イメージ面内で９０度時計方向に回転された図９を示す。図９Ｃは、垂直軸の周囲で裏返された図９を示す。図９Ｄは、コントラストが逆になった図９を示す。また、照会イメージは、最初の検索が行われた後に（図８に関して先に論じたように）結果として得るイメージの１つでもある。
次に図９および図９Ｅないし図９Ｆにおいて、１つの照会イメージの１つ以上の部分が強調される方法が示される。図９は、照会イメージ１９０を示している。このイメージの各部は、その重要性に従って強調される。図９Ｅは、重要としてマークされた２つの領域１９２、１９４を示している。領域１９２は、イメージ１９０の渦巻き領域に対応する。これは、イメージの渦巻きパターンが突合せプロセスのためイメージの残部より更に重みづけされるべきことを示す。領域１９４は、イメージ１９０の三角形領域に対応する。このことは、イメージ１９０の領域１９４のスケールが突合せプロセスのためイメージの残部より更に重みづけされると見なされるべきことを示す。
また、領域１９２と１９４間のような選択されたイメージ領域の各々の間に、相対的関係を規定することができる。領域間の相対的関係の一例は、空間的な関係である。図９Ｅの場合、１９２に類似する領域が１９４に似た領域より「下方」であるべきである。目標イメージにおける２つの領域が領域１９２および１９４と充分に一致することが見出され、かつ前に規定された相対的関係がこの目標イメージにおいて満たされるならば、この一致は、相対的関係が破られるものより更に重みづけされるべきである。
また、イメージの各部が１つの特徴を完全に減殺するように除去あるいは消去されることにも注意すべきである。例えば、図９Ｆにおけるイメージは、三角形部分が完全に消去されたイメージ１９０に対応している。このため、イメージ１９０は、「渦巻き」部分のみを示すイメージ１９６を呈示するように改変することができる。従って、イメージ１９６は、照会イメージとして用いることができる。
次に図１０および図１０Ａにおいて、イメージ全体の選択部分を用いてイメージを処理するために生じる処理が示される。処理はステップ２００で開始し、ここで主要イメージのサブ領域（「主要サブ領域」）が選択される。図１０Ａに示されるように、イメージ２２０全体が選択されたサブ領域２２２を有する。
次に処理は判断ブロック２０２へ進み、ここで目標サブ領域即ち主要サブ領域がサイズ変更されるべきかについて判定がなされる。イメージの１つ（例えば、主要サブ領域）をサイズ変更すると判定されるならば、処理はブロック２０４へ進み、ここで１つ以上のサイズ変更されたイメージが生成される。あるアプリケーションにおいては、目標イメージと主要サブ領域を同じサイズとなるようにサイズ変更することが望ましいことを理解すべきであり、この場合処理はブロック２０６へ進み、図３ないし図３Ｄに関して実施されたステップが行われる。しかし、他のアプリケーションにおいては、いわゆるイメージ・ピラミッドを生成することが望ましいこともある。
処理は次に判断ブロック２０７へ進み、ここで更に多くのサイズ変更されたイメージが処理されるべきかについて判定が行われる。更なるイメージが処理されるべきであるならば、処理はブロック２０５へ戻る。処理されるべきイメージがなければ、処理が終了する。
イメージ・ピラミッドの場合、イメージ・ピラミッドにおける各イメージは異なるスケールにおける主要サブ領域に対応している。この場合は、スケールされた各主要サブ領域が目標イメージに比較され、イメージ・ピラミッドにおける各イメージの元のイメージが特定の場所において目標イメージと整合される。次いで、図３ないし図３Ｄに関して先に述べたステップに従ってイメージを比較する処理が、ブロック２０６に示されるように行われる。イメージ・ピラミッドにおける各イメージの元のイメージを目標イメージにおける多くの異なる場所に置くことができること、ピラミッド・イメージと目標イメージとの間の比較が図３ないし図３Ｄに関して先に述べた処理に従って行われることを理解すべきである。これは、各ピラミッド・イメージごとに図１０のステップ２０８〜２１２により処理することによって行われる。ブロック２０８〜２１２において行われる処理は、ブロック２１４〜２１８において行われた処理と同じものであり、以下においてブロック２１４〜２１８に従って説明する。
判断ブロック２０２においてイメージをサイズ変更をしないように判定されるならば、処理はブロック２１４へ進み、ここで選択された領域の原点の領域が目標イメージが選択された基準点と整合される。
次いで、処理はブロック２１５へ進み、ここである条件および拘束条件が規定される。例えば、境界の条件が規定される。境界の条件は、例えば、領域２２２が目標イメージに関して配置される位置に対して制限を課すことができる。例えば、１つの境界条件は、領域２２２のどの部分も目標イメージの任意の領域外にないことである。
原点の領域を選択するとき、サブ領域（図１０Ａにおける領域２２２）を目標イメージの境界外へ移動させる基準点を選択しないように注意を払うべきである。このような拘束条件は、目標イメージにあり得る多くの基準点が無効となるゆえに、選択されたサブ領域を目標イメージに一致させるのに要する時間量を短縮する上で役立つ。通常は、これらの無効な基準点は目標イメージの最上部、左上部および右部分にあり、回転したＬ字形をなしている。
ある実施の形態においては、基準点の選択に先立ち境界条件を指定することが望ましい。ステップ２１４および２１５が行われる順序に拘わらず、境界条件が選択される基準点と比較されて、選択された基準点が有効であるかどうかを判定する。
このような特定例においては、サブ領域２２２はその左上の隅部に原点を持つものと仮定される。しかし、他の原点もまたサブ領域２２２に対して選択され得ることを理解すべきである。例えば、サブ領域２２２の右下隅部もまた原点として働き得る。このため、当例においては原点が左上隅部にあるものと仮定されるが、これがそうである必要はない。
サブ領域２２２の原点と目標イメージ２２４におけるその基準点とがいったん識別されると、サブ領域２２２を目標イメージ２２４における前記基準点に置くこともあり得る。このような特定例では、サブ領域２２２はその原点が目標イメージ２２４の原点と同じ位置に置かれて示される。
サブ領域と目標イメージとが同じサイズでなければ、サブ領域２２２の原点を目標イメージ２２４の原点に置く必要がないことを知るべきである。サブ領域２２２の原点は、他の全ての制約（境界条件を含む）が満たされる限り、目標イメージ２２４内部の任意の場所に置くことができる。
あるアプリケーションにおいては、目標イメージに対する突合せを行うため主要イメージの１つ以上の領域を選択することが望ましいことを知るべきである。このことは、領域２２６、２２８が選択される図９Ｆに示される。２つのイメージ領域がステップ２１４および２１５において選択される場合は、各サブ領域に対する目標イメージの基準点が識別されねばならず、２つの選択されたイメージ領域のプロパティ間の制限が考慮に入れられるべきである。
次いで、処理はブロック２１６へ進み、ここで図３ないし図３Ｄに関して先に述べたステップに従ってイメージを比較する処理が行われる。選択された基準点の処理からのデータは、記憶装置（例えば、プロセッサのメモリ）に格納され、処理は判断ブロック２１８へ進み、ここで別の基準点が選択されるべきかが判定される。
判断ブロック２１８においてこれ以上の基準点が処理されるべきと判定されるならば、処理はブロック２１５へ戻る。これ以上の基準点が処理されるべきでなければ、処理は終了する。
イメージ処理システム１２（図１）に対する照会は１つ以上のイメージを含む。図１１は、多数の照会イメージを１組の目標イメージに突合せる一般的手法を示す。図１１Ａおよび図１１Ｂは、各目標イメージに対する総スコアを計算してユーザへ出力を行う２つの方法を示している。
次に図１１において、処理がステップ２３０で開始し、ここで最初の主要イメージが選択される。次いで、処理はステップ２３２へ進み、ここで最初の目標イメージが記憶装置から選定される。ステップ２３４において、主要イメージと目標イメージ間の類似性スコアが計算され、主要イメージ識別子、目標イメージ識別子、および目標イメージおよび主要イメージと関連するスコアからなるレコードが記憶装置に格納され、この記憶装置は一時記憶装置（例えば、ランダム・アクセス・メモリー：ＲＡＭ）あるいは磁気テープまたはコンパクト・ディスク読出し専用メモリー（ＣＤ ＲＯＭ）のような恒久的記憶装置でよい。
次いで、処理は判断ブロック２３６へ進み、ここで更なる目標イメージが同じ主要イメージで処理されるべきかについて判定が行われる。更なる目標イメージを処理する判定がなされると、処理はブロック２４０へ進み、ここで次の目標イメージが選択され、主要イメージと次の選択目標イメージとの間の類似性スコアが再び計算される。主要イメージおよび目標イメージの識別子と、関連するスコアとが記憶装置に再び格納される。このループは、更なる目標イメージを選択することが要求されなくなるまで反復される。
次いで、処理は判断ブロック２３８へ進み、ここで更なる主要イメージが処理されるべきかについて判定が行われる。更なる主要イメージを処理する判定がなされると、処理はステップ２４２へ進み、ここで次の主要イメージが処理され、更なる主要イメージの処理が要求されなくなるまで、ブロック２３２ないし２４２が反復される。次いで、処理はブロック２４４へ進み、ここでスコアが計算され、出力がユーザに対して与えられる。これらのスコアを計算できる特定の方法については、図１１Ａおよび図１１Ｂに関して以下に述べる。
図１１Ａは、全ての主要イメージあるいは照会イメージにわたる各目標イメージに対する平均スコアを計算する方法を示す。これは、図１１のステップ２４４において用いられる多くの手法の１つである。図１１Ａにおいて、処理が実施ブロック２４６で開始し、ここで最初の目標イメージが選択される。ブロック２４８において、目標イメージｉｄを持つ全てのレコードが記憶装置から検索される。このイメージと関連するスコアは、主要イメージの数により加算され除される。
次いで、処理はブロック２５０へ進み、ここで総スコアが目標イメージと関連付けられる。次いで、処理は判断ブロック２５２へ進み、ここで更なる目標イメージが処理されるべきかについて判定が行われる。更なる目標イメージが処理されるべきであるならば、処理はブロック２５４へ進み、ブロック２４８と２５０とが反復される。このループは、処理する目標イメージがなくなるまで反復される。判断ブロック２５２においてこれ以上の目標イメージがないとの判定が行われると、処理はブロック２５６へ進み、ここで目標イメージがその総スコアに従って分類される。次いで、処理はブロック２５８へ進み、ここで分類されたイメージおよび関連するスコアがユーザへ呈示される。このような出力は、視覚的表示、音響的表示あるいは印刷された表示の形態で与えられる。
図１１Ｂは、多くの照会イメージからのスコアを組合わせるという別の試みを示す。図１１Ｂにおいて、処理がブロック２６０で開始し、ここで最初の主要イメージが選択される。次いで、処理はブロック２６２へ進み、ここで主要イメージｉｄを持つ全てのレコードが検索される。このようなレコードのセットから、全ての目標イメージが主要イメージと関連するスコアに従って分類される。ブロック２６４において、分類された目標イメージと主要イメージと関連付けられるそのスコアのリストが記憶装置に格納される。判断ブロック２６６において、更なる主要イメージが処理されるべきかについて判定が行われる。更なる主要イメージを処理するという判定が行われると、処理はブロック２６８へ進み、ここで次の主要イメージが選択され、次いで処理はブロック２６２ないし２６４へ進む。
判断ブロック２６６において主要イメージをこれ以上処理しないという判定が行われると、処理はブロック２７０へ進み、ここで閾値が選択される。ブロック２７２において、主要イメージと関連する全てのリストにおける最初のＮ個の位置にある目標イメージが識別される。ブロック２７４において、結果として得るサブセットの目標イメージが最良のスコアあるいは最良の平均スコアにより分類されてユーザへ呈示される。この情報は、視覚的表示、音響的表示あるいは印刷された表示の形態で呈示され、あるいは当業者には周知の他の任意の表示手法を用いて呈示される。
多くの照会イメージまたは主要イメージのセットに基いて類似性スコアを計算する他の多くの手法がある。例えば、各主要イメージを各目標イメージに個々に突合せる。次いで、スコアは各目標イメージと関連付けられ、このレコードがリストに入れられる。このリストは、計算されたスコアに基いて分類することができる。システムは、少なくとも１つの主要イメージに対する最小の個々のスコアを持つイメージの重ならないセットを返さなければならない。
多数の主要イメージから得る多数のスコアを組合わせるのではなく、これらの特性を具現する新たな「コンデンスされた」照会イメージを生じるため主要イメージにおける共通特性を計算することもできる。このような突合せは、この新たな照会イメージと図３ないし図３Ｂにおいて示された如き目標とを用いて行われる。出力は、コンデンスされた照会イメージと目標との間の類似性スコアである。目標イメージは、その各々のスコアに基いて分類される。
あるいはまた、目標イメージの処理の前に多数の照会イメージを相互に突合せることもできる。目標は、照会イメージ間で計算される最も一貫した最良の類似性スコアを見出すシステムのパラメータを見出すことである。換言すれば、目標は、照会イメージ間の類似性を最もよく説明するシステム・パラメータを見出すことである。これらのシステム・パラメータおよび１つ以上の照会イメージは、目標イメージに対する類似性スコアを計算するために用いられる。
また、照会が正の事例を用いて洗練されることを知るべきである。結果は、１つ以上の照会イメージにより計算することができる。システム・パラメータは、「正の事例」として結果のセットからイメージをユーザに選定させることにより洗練される。パラメータを洗練する１つの方法は、結果として得る類似性の測定値が正の事例に対する最低の（即ち、最良の）スコアを与えるようにこれらパラメータを変更することである。
あるいはまた、負の事例を用いても照会が洗練されることを知るべきである。結果は１つ以上の照会イメージにより計算することができ、この場合ユーザが正の事例（特定の基準に適合しあるいは知覚概念を具現するイメージ）と負の事例（知覚概念を具現しないイメージ）の両方を指定することができる。正と負の事例を包含する１つの方法は、結果として得る類似性の測定値が正の事例と負の事例に対するスコア間に最大の相違を生じるようにシステム・パラメータを変更することである。別の方法は、正の事例間の共通属性を計算し、次いで負の事例に含まれる特徴を除去することである。正の事例の特性を具現し負の事例の特性は含まない新たな照会イメージを得て、突合せを行うために用いることもできる。
次に図１２において、テキストにより次いで視覚の類似性によりイメージを最初に分類するステップが示される。処理は、主要イメージが検索されるブロック２７６において開始する。ブロック２７８において、イメージと関連するテキストもまた検索される。このテキストは、格納された情報からユーザにより入力されたデータにより検索される。ブロック２８０において、少なくとも１つの共通に関連単語を持つ他の全てのイメージが検索される。ブロック２８２においては、これらのイメージが目標イメージのリストへグループ化される。これが、テキスト・ステップによる検索を完了する。テキスト・ステップは、その視覚的な類似性による目標イメージのリストを照会イメージまたは主要イメージへ分類することである。ブロック２８４において、主要イメージがリストにおける各目標イメージに対比される。この比較は、図３ないし図３Ｄに関して先に述べた手法を用いて行われる。
ブロック２８６において、リストの各目標イメージと共に類似性スコアが格納される。ブロック２８８において目標イメージのリストが類似性スコアにより分類され、ブロック２９０において分類されたリストの出力がユーザへ呈示される。
次に図１２Ａにおいて、事例のデータ・フォーマット２９２が示される。当該事例では、データ・ストリング２９２がイメージ識別フィールド２９４と、イメージ・データ・フィールド２９６と、関連テキスト・フィールド２９８とを含んでいる。イメージ識別子フィールド２９４は、例えばイメージが格納される記憶装置におけるイメージの位置を示す英数字あるいは数字識別子として呈示される。例えば、イメージ・データは、磁気テープ、磁気ディスク、読出し専用メモリー、ＣＤ ＲＯＭあるいは当業者には周知の他の任意の記憶装置に格納される。イメージＩＤは、イメージがディスクに格納される順序と関連しあるいは関連せず、ある実施の形態ではイメージＩＤフィールドは省略されることもある。イメージ・データ・フィールド２９６は、適正に解釈されるとイメージの表示を結果として生じる値（例えば、ディジタル値）に対応する。この値は、カラー・イメージまたはグレースケール・イメージ、あるいは当業者には公知の他の任意の種類のイメージ表示を示すように作られる。
各イメージ・データ・フィールド２９６と関連するのはテキスト・フィールド２９８である。テキスト・フィールド２９８は、イメージ・データ２９６により与えられるイメージの文字による記述を含む。このため、当該事例では、イメージ２９６ａが三角形の渦巻きまたは幾何学的オブジェクトとしてテキスト２９８ａにより記述される。各イメージと関連するこの特定のテキストは、典型的には特定のイメージの主部および述部である。イメージ２９６ｂは、リンゴのイメージであり、このためイメージ２９６ｂと関連するテキスト２９８ｂはリンゴ、フルーツおよび食物である。他の関連するテキストもまた、例えば赤の色のようなリンゴと関連付けることができる。更に、テキスト情報は、有意の単語からならない。イメージを記述するため、商標イメージを記すため米国特許意匠庁により用いられる数値コーディング方式のようなコードが、しばしば用いられる。このようなコードの一例は、５つの尖端の星と関連するものであることが知られるテキスト・ストリング０１．０１．０３である。
図１２Ａにおける事例では、データ・フォーマット２９２がフィールド２９４、２９６および１９８を連続的に示す。しかし、あるアプリケーションにおいては、情報は連続して格納されず、その代わり１つのフィールドから次のフィールドへリンクにより関連付けられる。このため、記憶装置においてイメージ・データがメモリの一部に格納され、イメージ・データと関連するテキスト・フィールドはメモリの別の部分に格納される。
図１２Ｂは照会イメージ（リンゴ）を示すが、図１２Ｃは単語「リンゴ」と関連付けられたデータベースにおける最初の８つのイメージを示している。結果は、これらイメージがデータベースにおいて現われる順序（照会イメージに対してどれだけ視覚的に類似するかとは関係がない）で示される。図１２Ｄは、注釈「リンゴ」が照会イメージ（図１２Ｃ）に対する視覚的類似性により分類されたイメージのセットを示す。最良の８つのイメージが図１２Ｄに示される。図１２Ｃにおいて、照会イメージ３１０に非常によく似たイメージ３１５ｃおよび３１５ｄが３番目と４番目の位置にあることに注意すべきである。視覚的類似性による分類の後に、これらイメージが図１２Ｄの最初と２番目の位置に現われる。視覚的な類似性の突合わせ後の３１５ａおよび３１５ｂの記録もまた注目すべきである。これらは、照会イメージに対してそれほど視覚的に似ていない。図１２Ｄに示されるように、イメージ３１５ａは４番目の位置へ移動され、イメージ３１５ｂは３番目の位置へ移動される。照会イメージに視覚的に全く似ていないイメージ３１５ｇは最上位の８つのイメージから完全に外される。このイメージは、図１２Ｄには出てこない。
視覚的な類似性の突合わせ（マッチング）によるテキスト・ベースの検索の使用は、幾つかの良好な属性を有する。このテキスト・ベースの検索は、返される目標イメージがなんらかの点で照会イメージと関連付けられることを保証する。不都合なことに、結果として得るイメージのセットは、非常に長くかつ未分類である。視覚的な類似性のマッチングを用いなければ、ユーザは最良の一致を見出すために各イメージを見なければならないことになる。視覚的な類似性のマッチングは、照会イメージに対する視覚的な相似に関して結果として得るイメージのセットを分類する。このため、視覚的に最も似た目標イメージがそれほど似ていないイメージのリストにおいて優先順位が与えられる。この最後のステップは、最初に最も目立つイメージをユーザの注意を向けさせる。ユーザは、イメージのリストを見ることを止めるときを判定するため類似性スコアを用いる。スコアが高くなるかあるいはスコアに大きな飛躍があるならば、この情報はユーザに対してこの点以降のイメージが照会イメージとの多くの視覚的な類似性を持たないことを知らせる。
図１２ないし図１２Ｄは、照会イメージを１組の目標イメージに対比する２段階のプロセスとしてテキストと視覚的な類似性のマッチングの使用法を示している。しかし、この２つの検索は統合される。目標イメージは、テキストの一致と視覚的な類似性スコアの組合わせであるスコアが与えられる。
次に図１３において、リード線３３２がソルダー・ジョイント３３６を介して回路線３３４に結合された回路要素３３０が示される。このような回路要素は、印刷回路ボードに載置され、典型的にはエッチング法またはデポジション法により印刷回路ボード部分に作り込まれる回路線に対して結合される。
回路要素３３０、回路線３３４およびリード線３３２の特定の方法、ならびに回路線にリード線を結合するため用いられるソルダー法が、検査プロセスにおいて生じる特定の処理に対してインパクトを生じる。しかし、回路要素の検査の間、別の特徴あるいは特性が、回路要素を実装し回路要素を回路線へ結合して回路線を作るため用いられる方法および（または）技法に従って多少とも重要となり得る。
このような特定例では、ガルウィング形のリード線３３２とソルダー・ジョイント３３６の検査について記述する。当該例においては、ソルダー・ジョイント３３６およびその付近における予め定めた領域間の相対的明るさを良好あるいは不良なソルダー・ジョイントとしてジョイントを検証するために使用可能であることが認められる。特に、回路要素３３０の頂面は、ある量の光を反射する。リード線３３２の角度を付した部分３３２ａはより少ない光を反射し、これにより領域３３０ａより暗く見える。同様に、平坦なリード線部分３３２ｂはリード線３３２ａより明るく見え、ソルダー・ジョイントの第１の部分３３６ａはリード線部分３３２ｂより暗く見える。ソルダー部が回路線と接する角度のため、ソルダー・ジョイントの部分３３６ｂは領域３３６ａより明るく見え、ソルダー・ジョイントの部分３３６ｃは領域３３６ｂより暗く見える。回路線部分３３４ａは回路線３３４の平坦部に対応し、このためソルダー・ジョイントの領域３３６ｃと異なる角度で光を反射し、またこれによりソルダー・ジョイントの領域３３６ｂより明るく見える。このように、ソルダー・ジョイント３３６を検査するとき、各領域の相対的輝度は検査プロセスにおいて用いることができ、プラグイン・モジュールにおいて指定することができ、これによりイメージ・マッチング・プロセスを速めるのは、これらの相対的輝度特性である。
次に図１４において、回路要素の検査システムにおいてイメージを処理するステップが示される。処理はステップ３４０において開始し、ここでイメージがキャプチャされる。図１３および図１３Ａを簡単に参照して、イメージが図１３Ａに示されるように構成要素とこの構成要素からのリード線を含む印刷回路ボード全体の一部であり得る（図１３Ａでは、１本のリード線しか示されないことに注意）。このため、このイメージは、回路要素３３０の平面図と、リード線３３２の平面図と、ソルダー・ジョイント３３６の平面図と、回路線３３４の平面図とを含んでいる。次いで、処理はステップ３４２へ進み、ここでハンダ付けされた要素の存在が検証される。これは、図１３ａのイメージ部分の回路要素を回路要素の記憶されるイメージにマッチングするだけで行うことができる。次に、図示のようにステップ３４４において、回路接続点（即ち、回路のリード線３３２）が識別される。リード線は、回路要素のイメージをキャプチャされたイメージにマッチングし、とりわけリード線が回路要素に関してどこにあるかを知ることによって識別することができる。
次に、処理はステップ３４６へ進み、ここで各リード線とソルダー・ジョイントが主要イメージとして示される。目標イメージは、良好なリード線とソルダー・ジョイントの別の記憶されたイメージ（単数または複数の）か、あるいはリード線とジョイントの合成イメージか複合イメージである。目標のリード線／ジョイントは、図３ないし図３Ｂに関して先に述べたリード・プラグイン・モジュール（図１３の説明ではこのように呼ぶ）を用いるステップに従って処理される。ステップ３４６の処理からの出力値（即ち、スコア）が閾値と対比される。処理ステップ３４６からのスコアが予め定めた閾値より大きければ、リード線／ソルダー・ジョイントは不良な接続として分類される。（低いスコアは良好な一致に対応するものとし、ここで０なるスコアは完全な一致である）。次いで、処理が終了する。
閾値は異なる種類のリード線について調整されねばならないことに注意すべきである。リード線は、形状、サイズおよびピッチのような多くの特質において変動し得る。また、閾値は製造者の目標に準じて変化し得る。製造者は、生産ラインをセットアップする際、誤ったある正集団の犠牲において全ての不良リード線を見出したいと欲する。この場合、ステップ３４８における閾値は低い側へ偏るはずである。製造者は、どこでかつなぜ不良リード線が生じてこれらのエラーを補償するため生産プロセスを変更させるかを分析することができる。（このことについては、図１４に関して本文中に更に詳細に説明する）あるいはまた、生産プロセスがフル稼働状態にあるとき、製造者は少数の不良リード線を失う犠牲により全ての良好なリード線を受入れるため閾値を高い側へ偏らせたいと欲しよう。
ステップ３４６において、目標イメージは不良リード線の図（実画像あるいは複合画像）であり得ることを知るべきである。目標イメージの当該セットが全種のリード線およびジョイントの欠陥にわたるならば、理想的である。また、目標イメージの各々がどんな欠陥を描くかに関する情報を持つならば、これもまた望ましい。この場合、図１３Ａにおけるイメージ部分３３２〜３３４のような新たなリード線が目標イメージに対比される。類似性が主要イメージと任意の目標イメージ間で高い（低いスコア）であるならば、主要イメージは欠陥があるものと分類されるべきである。システムは、最良の類似性スコアのみでなく、このスコアを生じた目標イメージをも記録すべきである。この情報は、リード線とジョイントが不良であることのみでなく、なぜこれらが不良であるかもシステムへ通告することになる。
１つの構成要素が多くの側における多数のリード線を有することは非常に一般的である。構成要素からのリード線の１本（以上）のイメージが主要イメージとしてふるまうことに注意すべきである。構成要素からのリード線の残部のイメージは、目標イメージとして働く。例えば、ステップ３４６において、図３ないし図３Ｂに関して先に述べたように、イメージ３３７を主要イメージとして取扱うことができる。ここでの前提は、構成要素が相互によく似たように見えるリード線とジョイントを持つべきことである。１本以上の良好に見えるリード線とジョイントが主要イメージとして働くべきである。欠陥を有する構成要素からのリード線とジョイントは、主要イメージとは非常に異なって見える。主要イメージが欠陥を有するならば、このイメージは構成要素からの他のリード線とは異なるように見えねばならない。１つの要素からのリード線は、別のボードについても対比することができる。
目標イメージは、リード線とジョイントの両者を含む必要はない。図１３Ａの領域３３９に示される如きソルダー・ジョイントを処理することができる。このため、スコア値は、イメージ３３９と良好なソルダー・ジョイントのイメージである目標イメージとの類似性を表わすことになる。このように、完全な一致は、イメージ領域３３９もまた良好なソルダー・ジョイントのイメージであることを示すことになる。目標イメージと主要イメージ３３９間の一致が良好でなければ、このことは目標イメージが良好なソルダー・ジョイントのイメージではないことを示す。また、回路要素の平面図が主要イメージと目標イメージの両方として用いられることにも注目すべきである。
次に図１５のブロック３５０において、電気回路線がエッチングされ、デポジションされあるいは他の方法で載置された実装されない印刷回路ボードがブロック３５２で示される如きソルダー・ペースト・ステーションへ提供される。ソルダー・ペースト塗布ステーションは、印刷回路ボードへソルダー・ペーストを塗布する例えば網点プリンタまたは当業者には周知の他の装置として設けられる。一部の実施の形態においては、ソルダー・ペーストは手によって塗布される。ソルダー・ペーストを印刷回路ボードへ塗布するため用いられる特定の方法または技法の如何によらず、ソルダー・ペーストは印刷回路ボードの予め定めた領域へ塗布される。ソルダー・ペーストは、所与の範囲内の予め定めた量で塗布されねばならない。次いで、処理はブロック５４へ進み、ここでソルダー・ペースト検査システムが印刷回路ボードの予め定めた領域へ塗布されるソルダー・ペーストを検査する。ソルダー・ペースト検査システムは、ソルダー・ペーストが塗布されて検査が必要である印刷回路ボードの領域の１つ以上のイメージをキャプチャする。ペースト検査システムによりキャプチャされたイメージは、例えば、印刷回路ボード全体のイメージであり得、この場合印刷回路ボードのイメージの選択されたイメージ領域は識別され目標イメージに対比することができる。目標イメージは、ソルダー・ペーストが適正に塗布された類似する印刷回路ボードの領域のイメージに対応する。キャプチャされたイメージ領域を目標イメージに対比し、図３ないし図１４に関して先に述べたイメージ処理手法を実施することにより、ブロック３５２において塗布されたソルダー・ペーストが印刷回路ボードの適切な各領域に適正に塗布されたかどうかについて判定を行うことができる。ソルダー・ペーストが１つ以上の検査領域において適正に塗布されなかったことの判定がなされると、印刷回路ボードはブロック３５２へ戻され、ここで最初の時点で適正に塗布されなかった各領域においてソルダー・ペーストが再び塗布される。このように、ブロック３５２およびブロック３５４は、ペースト検査システムがソルダー・ペーストが適切な各領域において適正に塗布されたと判定するまで反復される。
次いで処理はｂｌ３５６へ進み、ここでソルダー・ペーストが適正に塗布された印刷回路ボードが構成要素実装ステーションへ提供される。構成要素実装ステーションは、いわゆるピック／設置機械を含むことができ、あるいは実装ステーションは印刷回路ボードに対する回路要素の手動の設置を含む。自動化されあるいは手動による構成要素の設置手法を使用する決定は、回路要素の複雑さ、手動あるいは機械の取扱いに対する回路要素の感度、特定のサイズおよび形状の回路要素を取扱う自動化システムの技術的制限、および自動化システム対手動システムのコスト効率に限定しないがこれを含む種々の因子に従って行われる。
回路要素がいったん印刷回路ボード上に置かれると、処理はブロック３５８へ進み、ここで設置検査ステーションが印刷回路要素の検査を行う。設置検査システムは、問題となる各回路要素のイメージをキャプチャするイメージ・キャプチャ装置を含む。回路要素のキャプチャされたイメージが、先に図３ないし図１４に関して本文に述べた手法を用いて、設置された回路要素の目標イメージに対比される。ブロック３５８において設置検査ステーションからの命令に応答して、処理は、ブロック３５８における設置検査ステーションの結果に従って、処理ブロック３５２あるいは処理ブロック３５６へ戻ることができる。
ブロック３５８において、回路要素が適正に設置され他の欠陥が検出さないことの判定がいったんなされると、処理はブロック３６０へ進み、ここでソルダー・リフロー・ステーションがソルダーをリフローし、これにより回路要素を印刷回路ボードへ結合する。ソルダー・リフロー・ステーションは、自動化されたステーションとして、あるいは手動のステーションとして提供される。ブロック３６０におけるソルダー・リフローの後、処理はブロック３６２へ進み、ここで設置およびソルダー・ジョイント検査ステーションが問題となる各回路要素とソルダー・ジョイントを検査する。欠陥が検出されなければ、処理はブロック３６４へ進み、ここで実装された印刷回路ボードが提供される。
以上の記述において、目標イメージが全てペースト塗布、構成要素の設置あるいはリフローされたソルダー・ジョイントの良好な事例であることに注意すべきである。目標イメージにおいて良好と不良の両方の事例の混成した実装を生じることもあり得る。入力イメージを良好および不良の事例にマッチングした結果は、システムに対し、イメージが不良の事例ではなく良好な事例により近く見える（あるいは、その逆）を通知することになる。このような識別は、イメージの合否の判定において非常に重要であり得る。特定の不良の事例に対する主要イメージの類似性は、欠陥のタイプに関する情報を提供することができる。このような情報は、生産プロセスを同調させる目的のためには非常に望ましい。
良好および不良の事例は、多数のボードが図１５におけるステップ３５０ないし３６２に送られる時間にわたって集めることができる。これらの事例は、３つの段階の各々に対する目標イメージの生成あるいは追補のため用いることができる。
各検査段階（ステップ３５４、３５８および３６２）は、見出された欠陥の数および種類に関してデータを収集することができる。このデータは、プロセスの同調のため分析されシステムへフィードバックすることができる。例えばステップ３５４において、ペースト事後検査段階がボード全体における不充分なペーストを一貫してレポートすることができる。このことは、充分でないペーストがステップ３５２において塗布されつつあることを意味する。検査システムは、ボードの１つの領域における不充分なペーストについて一貫的なレポートを行い、ペーストのステンシルにおける開口の閉塞を示唆する。設置後およびリフロー後の欠陥について同様な分析が行われる。エラーに関するフィードバックは、この検査段階に先立ち検査ステーションからプロセスの任意の部分へ送られる。例えば、ステップ３６２（リフロー後）における不充分なソルダーの一貫した検出は、充分でないペーストがステップ３５２（リフロー前）において塗布されつつあることを意味する。
本発明の望ましい実施の形態について記述したが、当業者には、他の概念を盛込んだ他の実施の形態を適用可能であることが明らかであろう。従って、これらの実施の形態は本文に開示した実施の形態に限定されるべきではなく、頭書の請求の範囲の趣旨によってのみ限定されるべきものである。本文に引用された全ての刊行物および引例は、その主体において参考のため本文に明示的に援用されるものである。

Claims (20)

  1. イメージ処理システムであって、
    （ａ）検索エンジンと、
    （ｂ）前記検索エンジンに結合され、該検索エンジンから与えられた第１および第２のイメージを比較するイメージ・アナライザと、
    （ｃ）前記検索エンジンと前記イメージ・アナライザの一方に結合され、各々が前記イメージ・アナライザに特定アプリケーションに固有の情報を提供する１つ以上の特徴モジュールと、
    を備えるイメージ処理システム。
  2. 前記検索エンジンと前記イメージ・アナライザの一方に結合され、グラフィカル・ユーザ・インターフェースとファクシミリ・システムとカメラ・システムとスキャナとネットワーク接続とビデオ・システムの少なくとも１つを含む入力システムを更に備える請求項１記載のシステム。
  3. １つ以上の前記特徴モジュールの各々が、少なくとも１つの前記特定のイメージ領域の各々にピクセルについてイメージの少なくとも１つの特定の領域と少なくとも１つの特定の測定を規定する請求項２記載のシステム。
  4. １つ以上の前記特徴モジュールの各々が、１つの特定のイメージ領域に近傍のイメージにおける１つ以上のピクセルについて少なくとも１つの測定を規定する請求項３記載のシステム。
  5. 前記検索エンジンと前記イメージ・アナライザと前記特徴モジュールの１つに結合され、少なくとも１つのイメージが記憶された記憶装置を更に備える請求項３記載のシステム。
  6. ２つのイメージを対比するプロセスであって、
    （ａ）目標イメージと、少なくとも１つのプロパティを有する前記目標イメージの選択されたイメージとを整合させるステップと、
    （ｂ）選択されたイメージを各々が少なくとも１つのプロパティを有する複数のイメージ領域へ分割するステップと、
    （ｃ）前記複数のイメージ領域の予め定めたものにおけるプロパティを組合わせるステップと、
    （ｄ）選択されたイメージにおける主要イメージ領域を選択するステップと、
    （ｅ）目標イメージ領域を選択するステップと、
    （ｆ）選択されたイメージにおける主要イメージ領域の１つ以上のプロパティを目標イメージ領域における１つ以上の対応するプロパティに対比するステップと、
    を含むプロセス。
  7. （ｇ）選択されたイメージにおける主要イメージ領域の１つ以上のプロパティと、目標イメージ領域における１つ以上の対応するプロパティとの間の差異を示すスコアを割当てるステップと、
    （ｈ）目標イメージにおける次の領域を選択するステップと、
    （ｉ）選択されたイメージにおける主要イメージ領域の１つ以上のプロパティを次の目標イメージ領域における１つ以上の対応するプロパティに対比するステップと、
    （ｊ）選択されたイメージにおける主要イメージ領域の１つ以上のプロパティと、次の目標イメージ領域における１つ以上の対応するプロパティとの間の差異を示すスコアを割当てるステップと、
    を更に含む請求項６記載のプロセス。
  8. 目標イメージにおける予め定めた数の領域の各々に対して前記ステップ（ｈ）ないし（ｊ）を反復するステップを更に含む請求項７記載のプロセス。
  9. 主要イメージ領域と、目標イメージにおける予め定めた領域の１つとの間の最良の一致を見出すステップを更に含む請求項８記載のプロセス。
  10. 選択されたイメージにおける次の主要イメージ領域を選択するステップと、
    所望の各主要イメージ領域に対して前記ステップ（ｈ）ないし（ｊ）を反復するステップと、
    を更に含む請求項９記載のプロセス。
  11. 印刷回路ボードを製造する方法であって、
    （ａ）印刷回路ボード上で製造オペレーションを実施するステップと、
    （ｂ）実施中の実際のオペレーションのイメージを検査中の製造オペレーションの目標イメージに対比することにより製造オペレーションの結果を検査するステップと、
    を含む方法。
  12. 前記検査ステップが、
    キャプチャされたイメージ領域が製造オペレーションが適用される印刷回路ボードのイメージを含む、印刷回路ボードの一部のイメージをキャプチャするステップと、
    キャプチャされた前記イメージの領域を選択するステップと、
    目標イメージが印刷回路ボードのイメージに対応するイメージに対応し、該印刷回路ボードが製造プロセスの特定部分において適正に製造され、前記目標イメージと選択されたイメージの各々が少なくとも１つのプロパティを有する、目標イメージとキャプチャされたイメージの選択された領域とを整合するステップと、 選択されたイメージを、各々が少なくとも１つのプロパティを有する複数のイメージ領域へ分割するステップと、
    複数の前記イメージ領域の予め定めたものにおけるプロパティを組合わせるステップと、
    選択されたイメージ内に主要イメージ領域を選択するステップと、
    目標イメージ領域を選択するステップと、
    選択されたイメージ内の主要イメージ領域の１つ以上のプロパティを、目標イメージ領域における１つ以上の対応するプロパティに対比するステップと、
    を含む請求項１１記載の方法。
  13. 選択されたイメージ内の主要イメージ領域における１つ以上のプロパティと、目標イメージ領域における１つ以上の対応するプロパティとの間の差異を示すスコアを割当てるステップと、
    目標イメージにおける次の領域を選択するステップと、
    選択されたイメージ内の主要イメージ領域の１つ以上のプロパティを、次の目標イメージ領域における１つ以上の対応するプロパティに対比するステップと、
    選択されたイメージ内の主要イメージ領域における１つ以上のプロパティと、次の目標イメージ領域における１つ以上の対応するプロパティとの間の差異を示すスコアを割当てるステップと、
    を更に含む請求項１２記載のプロセス。
  14. 目標イメージにおける予め定めた数の領域の各々に対し、（ａ）目標イメージにおける次の領域を選択するステップと、（ｂ）選択されたイメージ内の主要イメージ領域の１つ以上のプロパティを次の目標イメージ領域における１つ以上の対応するプロパティに対比するステップと、（ｃ）選択されたイメージ内の主要イメージ領域における１つ以上のプロパティと、次の目標イメージ領域における１つ以上の対応するプロパティとの間の差異を示すスコアを割当てるステップと、を反復するステップを更に含む請求項１３記載のプロセス。
  15. 主要イメージ領域と、目標イメージにおける予め定めた領域の１つとの間の最良の一致を見出すステップを更に含む請求項１４記載のプロセス。
  16. 選択されたイメージにおける次の主要イメージ領域を選択するステップと、
    所望の各主要イメージ領域に対して、（ａ）目標イメージにおける次の領域を選択するステップと、（ｂ）選択されたにおける内の主要イメージ領域の１つ以上のプロパティを、次の目標イメージ領域における１つ以上の対応するプロパティに対比するステップと、（ｃ）選択されたイメージ内の主要イメージ領域における１つ以上のプロパティと、次の目標イメージ領域における１つ以上の対応するプロパティとの間の差異を示すスコアを割当てるステップとを反復するステップと、
    を更に含む請求項１５記載のプロセス。
  17. 前記製造オペレーションがソルダー・ペースト塗布ステップに対応する請求項１６記載のプロセス。
  18. 前記製造オペレーションが構成要素設置オペレーションに対応する請求項１６記載のプロセス。
  19. 前記製造オペレーションがソルダー・リフローオペレーションに対応する請求項１６記載のプロセス。
  20. 前記製造オペレーションがソルダー・ジョイント検査オペレーションに対応する請求項１６記載のプロセス。
JP2009120185A 1997-10-27 2009-05-18 情報の検索および検索システム Pending JP2009187581A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US6362397P 1997-10-27 1997-10-27

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2000518343A Division JP2001521250A (ja) 1997-10-27 1998-10-26 情報の検索および検索システム

Publications (1)

Publication Number Publication Date
JP2009187581A true JP2009187581A (ja) 2009-08-20

Family

ID=22050433

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2000518343A Pending JP2001521250A (ja) 1997-10-27 1998-10-26 情報の検索および検索システム
JP2006046487A Pending JP2006202314A (ja) 1997-10-27 2006-02-23 情報の検索および検索システム
JP2009120185A Pending JP2009187581A (ja) 1997-10-27 2009-05-18 情報の検索および検索システム

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2000518343A Pending JP2001521250A (ja) 1997-10-27 1998-10-26 情報の検索および検索システム
JP2006046487A Pending JP2006202314A (ja) 1997-10-27 2006-02-23 情報の検索および検索システム

Country Status (5)

Country Link
US (11) US6463426B1 (ja)
EP (1) EP1025517A1 (ja)
JP (3) JP2001521250A (ja)
AU (1) AU1365699A (ja)
WO (1) WO1999022318A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101083245B1 (ko) * 2011-01-31 2011-11-14 주식회사 서전지구 지역정보 추출방법, 지역정보 출력방법, 및 이를 위한 장치

Families Citing this family (355)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7562392B1 (en) 1999-05-19 2009-07-14 Digimarc Corporation Methods of interacting with audio and ambient music
US6650761B1 (en) * 1999-05-19 2003-11-18 Digimarc Corporation Watermarked business cards and methods
US8180844B1 (en) 2000-03-18 2012-05-15 Digimarc Corporation System for linking from objects to remote resources
AU6760898A (en) 1997-03-13 1998-09-29 Jentek Sensors, Inc. Magnetometer detection of fatigue damage in aircraft
US6735253B1 (en) 1997-05-16 2004-05-11 The Trustees Of Columbia University In The City Of New York Methods and architecture for indexing and editing compressed video over the world wide web
US6463426B1 (en) * 1997-10-27 2002-10-08 Massachusetts Institute Of Technology Information search and retrieval system
US20020036694A1 (en) * 1998-05-07 2002-03-28 Merril Jonathan R. Method and system for the storage and retrieval of web-based educational materials
US7689898B2 (en) * 1998-05-07 2010-03-30 Astute Technology, Llc Enhanced capture, management and distribution of live presentations
JP2000148795A (ja) * 1998-08-31 2000-05-30 Canon Inc 画像検索装置及びその方法、コンピュ―タ可読メモリ
US6373507B1 (en) * 1998-09-14 2002-04-16 Microsoft Corporation Computer-implemented image acquistion system
JP3619685B2 (ja) * 1998-09-25 2005-02-09 コニカミノルタビジネステクノロジーズ株式会社 情報処理装置、情報処理方法、及び、記録媒体
US7143434B1 (en) * 1998-11-06 2006-11-28 Seungyup Paek Video description system and method
IL143573A0 (en) 1998-12-09 2002-04-21 Network Ice Corp A method and apparatus for providing network and computer system security
AUPP764398A0 (en) * 1998-12-11 1999-01-14 Canon Kabushiki Kaisha Method and apparatus for computing the similarity between images
JP2000285140A (ja) * 1998-12-24 2000-10-13 Ricoh Co Ltd 文書処理装置、文書分類装置、文書処理方法、文書分類方法およびそれらの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
US7016916B1 (en) * 1999-02-01 2006-03-21 Lg Electronics Inc. Method of searching multimedia data
GB9908631D0 (en) * 1999-04-15 1999-06-09 Canon Kk Search engine user interface
US20070055884A1 (en) * 1999-05-19 2007-03-08 Rhoads Geoffrey B User control and activation of watermark enabled objects
US7206820B1 (en) 2000-03-18 2007-04-17 Digimarc Corporation System for linking from object to remote resource
JP3593302B2 (ja) * 1999-06-15 2004-11-24 株式会社ミツトヨ 画像測定装置及び方法
US6477275B1 (en) * 1999-06-16 2002-11-05 Coreco Imaging, Inc. Systems and methods for locating a pattern in an image
US7346605B1 (en) * 1999-07-22 2008-03-18 Markmonitor, Inc. Method and system for searching and monitoring internet trademark usage
US7346929B1 (en) 1999-07-29 2008-03-18 International Business Machines Corporation Method and apparatus for auditing network security
US6751363B1 (en) * 1999-08-10 2004-06-15 Lucent Technologies Inc. Methods of imaging based on wavelet retrieval of scenes
JP3897494B2 (ja) * 1999-08-31 2007-03-22 キヤノン株式会社 画像管理検索装置、画像管理検索方法及び記憶媒体
US8375438B1 (en) * 1999-10-25 2013-02-12 Siemens Aktiengesellschaft System and method for preventing unauthorized access to modules, especially in automation systems
JP2001134685A (ja) * 1999-11-02 2001-05-18 Fuji Photo Film Co Ltd 画像選択装置
US6999636B1 (en) * 1999-11-09 2006-02-14 Canon Kabushiki Kaisha Image search method and apparatus
US8006243B2 (en) 1999-12-07 2011-08-23 International Business Machines Corporation Method and apparatus for remote installation of network drivers and software
US6792144B1 (en) * 2000-03-03 2004-09-14 Koninklijke Philips Electronics N.V. System and method for locating an object in an image using models
JP2001282846A (ja) * 2000-03-29 2001-10-12 Canon Inc 画像検索方法及び装置
WO2001084775A2 (en) 2000-04-28 2001-11-08 Internet Security Systems, Inc. System and method for managing security events on a network
JP2001337996A (ja) * 2000-05-24 2001-12-07 Canon Inc 画像処理装置及びその制御方法並びに記憶媒体
US7281220B1 (en) * 2000-05-31 2007-10-09 Intel Corporation Streaming video programming guide system selecting video files from multiple web sites and automatically generating selectable thumbnail frames and selectable keyword icons
WO2002017144A2 (en) * 2000-08-25 2002-02-28 Serrano Rafael A Method for indexing, searching for, and retrieving images on a computer
US7016899B1 (en) * 2000-09-21 2006-03-21 Lenovo (Singapore) Pte. Ltd. Camera device, methods and program products for location and environmental stamping of images, communications and other applications
US9027121B2 (en) * 2000-10-10 2015-05-05 International Business Machines Corporation Method and system for creating a record for one or more computer security incidents
US20020048403A1 (en) * 2000-10-24 2002-04-25 Electronic Warfare Associates, Inc Mark recognition system and method for identification of one or more marks on an object
US7130466B2 (en) * 2000-12-21 2006-10-31 Cobion Ag System and method for compiling images from a database and comparing the compiled images with known images
US20020147803A1 (en) 2001-01-31 2002-10-10 Dodd Timothy David Method and system for calculating risk in association with a security audit of a computer network
SE520533C2 (sv) 2001-03-13 2003-07-22 Picsearch Ab Metod, datorprogram och system för indexering av digitaliserade enheter
US20040217984A1 (en) * 2001-03-29 2004-11-04 Borden George R Digital imaging system
US7194490B2 (en) * 2001-05-22 2007-03-20 Christopher Zee Method for the assured and enduring archival of intellectual property
US6804684B2 (en) * 2001-05-07 2004-10-12 Eastman Kodak Company Method for associating semantic information with multiple images in an image database environment
US6643665B2 (en) * 2001-05-10 2003-11-04 Hewlett-Packard Development Company, Lp. System for setting image intent using markup language structures
US6993532B1 (en) * 2001-05-30 2006-01-31 Microsoft Corporation Auto playlist generator
US7773800B2 (en) * 2001-06-06 2010-08-10 Ying Liu Attrasoft image retrieval
US7657419B2 (en) 2001-06-19 2010-02-02 International Business Machines Corporation Analytical virtual machine
US7003566B2 (en) * 2001-06-29 2006-02-21 International Business Machines Corporation Method and system for predictive directional data caching
US7117434B2 (en) * 2001-06-29 2006-10-03 International Business Machines Corporation Graphical web browsing interface for spatial data navigation and method of navigating data blocks
US7188141B2 (en) * 2001-06-29 2007-03-06 International Business Machines Corporation Method and system for collaborative web research
US20030004996A1 (en) * 2001-06-29 2003-01-02 International Business Machines Corporation Method and system for spatial information retrieval for hyperlinked documents
FR2832236B1 (fr) * 2001-11-13 2004-04-16 Inst Nat Rech Inf Automat Interface graphique de portail web semantique
US7339992B2 (en) * 2001-12-06 2008-03-04 The Trustees Of Columbia University In The City Of New York System and method for extracting text captions from video and generating video summaries
GB2384095B (en) * 2001-12-10 2004-04-28 Cybula Ltd Image recognition
US6690883B2 (en) * 2001-12-14 2004-02-10 Koninklijke Philips Electronics N.V. Self-annotating camera
US20030123734A1 (en) * 2001-12-28 2003-07-03 Koninklijke Philips Electronics N.V. Methods and apparatus for object recognition
WO2003058451A1 (en) 2002-01-04 2003-07-17 Internet Security Systems, Inc. System and method for the managed security control of processes on a computer system
WO2003091850A2 (en) * 2002-04-26 2003-11-06 The Trustees Of Columbia University In The City Of New York Method and system for optimal video transcoding based on utility function descriptors
US7246322B2 (en) * 2002-07-09 2007-07-17 Kaleidescope, Inc. Grid-like guided user interface for video selection and display
US20070245247A1 (en) * 2002-05-14 2007-10-18 Kaleidescape, Inc. Grid-like guided user interface for video selection and display
US7231607B2 (en) * 2002-07-09 2007-06-12 Kaleidescope, Inc. Mosaic-like user interface for video selection and display
US7190839B1 (en) * 2002-06-12 2007-03-13 Cadence Design System, Inc. Methods and apparatus for generating multi-level graphics data
JP2004030122A (ja) * 2002-06-25 2004-01-29 Fujitsu Ltd 図面検索支援装置および図面検索方法
US7003131B2 (en) * 2002-07-09 2006-02-21 Kaleidescape, Inc. Watermarking and fingerprinting digital content using alternative blocks to embed information
WO2004006579A1 (en) * 2002-07-09 2004-01-15 Kaleidescape, Inc. Content and key distribution system for digital content representing media streams
US7111171B2 (en) * 2002-07-09 2006-09-19 Kaleidescope, Inc. Parallel distribution and fingerprinting of digital content
US6792385B2 (en) * 2002-09-01 2004-09-14 Agilent Technologies, Inc. Methods and apparatus for characterizing board test coverage
US6948140B2 (en) * 2002-09-01 2005-09-20 Agilent Technologies, Inc. Methods and apparatus for characterizing board test coverage
US6895565B2 (en) * 2002-10-08 2005-05-17 Agilent Technologies, Inc. Methods for predicting board test coverage
US8225194B2 (en) * 2003-01-09 2012-07-17 Kaleidescape, Inc. Bookmarks and watchpoints for selection and presentation of media streams
US7913303B1 (en) 2003-01-21 2011-03-22 International Business Machines Corporation Method and system for dynamically protecting a computer system from attack
WO2004070998A2 (en) 2003-01-31 2004-08-19 Kaleidescape, Inc. Recovering from de-synchronization attacks against watermarking and fingerprinting
US20040172385A1 (en) * 2003-02-27 2004-09-02 Vikram Dayal Database query and content transmission governor
US7738704B2 (en) * 2003-03-07 2010-06-15 Technology, Patents And Licensing, Inc. Detecting known video entities utilizing fingerprints
US7809154B2 (en) 2003-03-07 2010-10-05 Technology, Patents & Licensing, Inc. Video entity recognition in compressed digital video streams
US20050177847A1 (en) * 2003-03-07 2005-08-11 Richard Konig Determining channel associated with video stream
US7694318B2 (en) * 2003-03-07 2010-04-06 Technology, Patents & Licensing, Inc. Video detection and insertion
US20050149968A1 (en) * 2003-03-07 2005-07-07 Richard Konig Ending advertisement insertion
US7353373B2 (en) * 2003-03-31 2008-04-01 Sharp Laboratories Of America, Inc. Intelligent printer installation
US20050050103A1 (en) * 2003-07-15 2005-03-03 Kaleidescape Displaying and presenting multiple media streams from multiple DVD sets
US8572104B2 (en) * 2003-04-18 2013-10-29 Kaleidescape, Inc. Sales of collections excluding those already purchased
US20050086069A1 (en) * 2003-07-15 2005-04-21 Kaleidescape, Inc. Separable presentation control rules with distinct control effects
US20050125405A1 (en) * 2003-04-18 2005-06-09 Kaleidescape, Inc. Distinct display of differentiated rights in property
JP2004334789A (ja) * 2003-05-12 2004-11-25 Canon Inc 情報処理装置及び情報処理方法
EP1496451A3 (en) * 2003-05-16 2005-11-30 Sap Ag Computer system, searching method for in a computer system, a computer program product and an article of manufacture
US20040243560A1 (en) * 2003-05-30 2004-12-02 International Business Machines Corporation System, method and computer program product for performing unstructured information management and automatic text analysis, including an annotation inverted file system facilitating indexing and searching
JP2004361987A (ja) * 2003-05-30 2004-12-24 Seiko Epson Corp 画像検索システム、画像分類システム、画像検索プログラム及び画像分類プログラム、並びに画像検索方法及び画像分類方法
US7139752B2 (en) * 2003-05-30 2006-11-21 International Business Machines Corporation System, method and computer program product for performing unstructured information management and automatic text analysis, and providing multiple document views derived from different document tokenizations
US7146361B2 (en) * 2003-05-30 2006-12-05 International Business Machines Corporation System, method and computer program product for performing unstructured information management and automatic text analysis, including a search operator functioning as a Weighted AND (WAND)
US20040243556A1 (en) * 2003-05-30 2004-12-02 International Business Machines Corporation System, method and computer program product for performing unstructured information management and automatic text analysis, and including a document common analysis system (CAS)
US20050043897A1 (en) * 2003-08-09 2005-02-24 Meyer Robert W. Biometric compatibility matching system
JP4129819B2 (ja) * 2003-10-06 2008-08-06 インターナショナル・ビジネス・マシーンズ・コーポレーション データベース検索システム及びその検索方法並びにプログラム
US20050083413A1 (en) * 2003-10-20 2005-04-21 Logicalis Method, system, apparatus, and machine-readable medium for use in connection with a server that uses images or audio for initiating remote function calls
US20060288006A1 (en) * 2003-10-23 2006-12-21 Xerox Corporation Methods and systems for attaching keywords to images based on database statistics
US7657938B2 (en) 2003-10-28 2010-02-02 International Business Machines Corporation Method and system for protecting computer networks by altering unwanted network data traffic
US20050111756A1 (en) * 2003-11-25 2005-05-26 Turner Robert W. System and method for generating coherent data sets of images from various sources
US7548968B1 (en) 2003-12-10 2009-06-16 Markmonitor Inc. Policing internet domains
US20050163378A1 (en) * 2004-01-22 2005-07-28 Jau-Yuen Chen EXIF-based imaged feature set for content engine
US7872669B2 (en) * 2004-01-22 2011-01-18 Massachusetts Institute Of Technology Photo-based mobile deixis system and related techniques
US7624123B2 (en) * 2004-02-26 2009-11-24 Ati Technologies, Inc. Image processing system and method
US7657124B2 (en) * 2004-02-27 2010-02-02 The Boeing Company Multiple image data source information processing systems and methods
US7788258B1 (en) * 2004-06-21 2010-08-31 Google Inc. Automatic determination of whether a document includes an image gallery
US7610274B2 (en) 2004-07-02 2009-10-27 Canon Kabushiki Kaisha Method, apparatus, and program for retrieving data
JP4539207B2 (ja) * 2004-07-21 2010-09-08 株式会社日立製作所 プレイリスト作成装置、その方法、ダビングリスト作成装置、及びその方法
JP4498071B2 (ja) * 2004-09-01 2010-07-07 キヤノン株式会社 撮像装置、該撮像装置の制御方法、制御プログラム及び記憶媒体
JP4541811B2 (ja) 2004-09-13 2010-09-08 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
FR2875627B1 (fr) * 2004-09-21 2007-03-16 Canon Res Ct France S A S Soc Procede de determination d'un descripteur d'image, procede de comparaison d'images, procede de recherche d'image et dispositifs associes
US20060083442A1 (en) * 2004-10-15 2006-04-20 Agfa Inc. Image archiving system and method
JP4506409B2 (ja) * 2004-10-27 2010-07-21 株式会社デンソー 領域分割方法及び装置、画像認識処理装置、プログラム、記録媒体
US20070124282A1 (en) * 2004-11-25 2007-05-31 Erland Wittkotter Video data directory
WO2006085151A2 (en) 2004-12-06 2006-08-17 Dspv, Ltd System and method of generic symbol recognition and user authentication using a communication device with imaging capabilities
US20070214415A1 (en) * 2004-12-14 2007-09-13 Williams John M Systems and Methods for Logo Design
US20060195859A1 (en) * 2005-02-25 2006-08-31 Richard Konig Detecting known video entities taking into account regions of disinterest
US20060195860A1 (en) * 2005-02-25 2006-08-31 Eldering Charles A Acting on known video entities detected utilizing fingerprinting
WO2006096612A2 (en) 2005-03-04 2006-09-14 The Trustees Of Columbia University In The City Of New York System and method for motion estimation and mode decision for low-complexity h.264 decoder
US9092458B1 (en) 2005-03-08 2015-07-28 Irobot Corporation System and method for managing search results including graphics
US7690011B2 (en) 2005-05-02 2010-03-30 Technology, Patents & Licensing, Inc. Video stream modification to defeat detection
US7962462B1 (en) 2005-05-31 2011-06-14 Google Inc. Deriving and using document and site quality signals from search query streams
US20070067270A1 (en) * 2005-09-21 2007-03-22 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Searching for possible restricted content related to electronic communications
US7599527B2 (en) * 2005-09-28 2009-10-06 Facedouble, Inc. Digital image search system and method
JP5009577B2 (ja) * 2005-09-30 2012-08-22 富士フイルム株式会社 画像検索装置および方法並びにプログラム
US20070124330A1 (en) * 2005-11-17 2007-05-31 Lydia Glass Methods of rendering information services and related devices
US8259995B1 (en) 2006-01-26 2012-09-04 Adobe Systems Incorporated Designating a tag icon
US7978936B1 (en) * 2006-01-26 2011-07-12 Adobe Systems Incorporated Indicating a correspondence between an image and an object
US7813557B1 (en) 2006-01-26 2010-10-12 Adobe Systems Incorporated Tagging detected objects
US7813526B1 (en) 2006-01-26 2010-10-12 Adobe Systems Incorporated Normalizing detected objects
WO2007106826A2 (en) 2006-03-13 2007-09-20 Markmonitor Inc. Domain name ownership validation
US20070226321A1 (en) * 2006-03-23 2007-09-27 R R Donnelley & Sons Company Image based document access and related systems, methods, and devices
US7672508B2 (en) 2006-04-11 2010-03-02 Sony Corporation Image classification based on a mixture of elliptical color models
US8341112B2 (en) * 2006-05-19 2012-12-25 Microsoft Corporation Annotation by search
US7437207B2 (en) * 2006-06-03 2008-10-14 Electro Scientific Industries, Inc. Method and apparatus for automatically processing multiple applications in a predetermined order to affect multi-application sequencing
US20080027917A1 (en) * 2006-07-31 2008-01-31 Siemens Corporate Research, Inc. Scalable Semantic Image Search
WO2008018064A2 (en) * 2006-08-07 2008-02-14 Yeda Research And Development Co. Ltd. Data similarity and importance using local and global evidence scores
JP2008042617A (ja) * 2006-08-08 2008-02-21 Eastman Kodak Co デジタルカメラ
US8429702B2 (en) * 2006-09-11 2013-04-23 At&T Intellectual Property I, L.P. Methods and apparatus for selecting and pushing customized electronic media content
US8966389B2 (en) * 2006-09-22 2015-02-24 Limelight Networks, Inc. Visual interface for identifying positions of interest within a sequentially ordered information encoding
US7917492B2 (en) * 2007-09-21 2011-03-29 Limelight Networks, Inc. Method and subsystem for information acquisition and aggregation to facilitate ontology and language-model generation within a content-search-service system
US8396878B2 (en) 2006-09-22 2013-03-12 Limelight Networks, Inc. Methods and systems for generating automated tags for video files
US9015172B2 (en) 2006-09-22 2015-04-21 Limelight Networks, Inc. Method and subsystem for searching media content within a content-search service system
US8204891B2 (en) * 2007-09-21 2012-06-19 Limelight Networks, Inc. Method and subsystem for searching media content within a content-search-service system
US20100306318A1 (en) * 2006-09-28 2010-12-02 Sfgt Inc. Apparatuses, methods, and systems for a graphical code-serving interface
US8407220B2 (en) * 2006-09-28 2013-03-26 Augme Technologies, Inc. Apparatuses, methods and systems for ambiguous code-triggered information querying and serving on mobile devices
US8661029B1 (en) 2006-11-02 2014-02-25 Google Inc. Modifying search result ranking based on implicit user feedback
US8090222B1 (en) * 2006-11-15 2012-01-03 Google Inc. Selection of an image or images most representative of a set of images
US20080181534A1 (en) * 2006-12-18 2008-07-31 Masanori Toyoda Image processing method, image processing apparatus, image reading apparatus, image forming apparatus and recording medium
US7465241B2 (en) * 2007-03-23 2008-12-16 Acushnet Company Functionalized, crosslinked, rubber nanoparticles for use in golf ball castable thermoset layers
US8132096B1 (en) * 2007-03-26 2012-03-06 Hewlett-Packard Development Company, L.P. Image composition evaluation
US8356035B1 (en) 2007-04-10 2013-01-15 Google Inc. Association of terms with images using image similarity
US20080267504A1 (en) * 2007-04-24 2008-10-30 Nokia Corporation Method, device and computer program product for integrating code-based and optical character recognition technologies into a mobile visual search
CN101295305B (zh) * 2007-04-25 2012-10-31 富士通株式会社 图像检索装置
US9092510B1 (en) 2007-04-30 2015-07-28 Google Inc. Modifying search result ranking based on a temporal element of user feedback
US8055664B2 (en) 2007-05-01 2011-11-08 Google Inc. Inferring user interests
US7904461B2 (en) * 2007-05-01 2011-03-08 Google Inc. Advertiser and user association
US7716399B2 (en) * 2007-05-25 2010-05-11 Red Hat, Inc. Method and system for data management interface with intelligent plugins that determine whether to perform the requested data operation received from an application
US7856517B2 (en) * 2007-05-25 2010-12-21 Red Hat, Inc. Data management interface with configurable plugins that determines whether to monitor for configuration data
US8019742B1 (en) 2007-05-31 2011-09-13 Google Inc. Identifying related queries
US8769291B2 (en) * 2007-07-23 2014-07-01 Red Hat, Inc. Certificate generation for a network appliance
GB0715576D0 (en) 2007-08-09 2007-09-19 Syngenta Ltd Novel herbicides
US20090076897A1 (en) * 2007-09-13 2009-03-19 Robert Ennals Location-based filtering and advertising enhancements for merged browsing of network contents
US8943038B2 (en) 2007-10-04 2015-01-27 Gefemer Research Acquisitions, Llc Method and apparatus for integrated cross platform multimedia broadband search and selection user interface communication
US8909655B1 (en) 2007-10-11 2014-12-09 Google Inc. Time based ranking
JP5187313B2 (ja) * 2007-10-12 2013-04-24 日本電気株式会社 文書重要度算出システム、文書重要度算出方法およびプログラム
US8332411B2 (en) * 2007-10-19 2012-12-11 Microsoft Corporation Boosting a ranker for improved ranking accuracy
US7779019B2 (en) * 2007-10-19 2010-08-17 Microsoft Corporation Linear combination of rankers
US7853622B1 (en) 2007-11-01 2010-12-14 Google Inc. Video-related recommendations using link structure
US8041082B1 (en) * 2007-11-02 2011-10-18 Google Inc. Inferring the gender of a face in an image
US8621027B2 (en) 2007-11-16 2013-12-31 Red Hat, Inc. Automatically providing identity information for a network appliance
US8191122B2 (en) * 2007-11-27 2012-05-29 Red Hat, Inc. Provisioning a network appliance
US8191123B2 (en) * 2007-11-27 2012-05-29 Red Hat, Inc. Provisioning a network appliance
US9189794B2 (en) * 2008-02-11 2015-11-17 Goldspot Media, Inc. Method and apparatus for maximizing brand exposure in a minimal mobile display
US10936650B2 (en) 2008-03-05 2021-03-02 Ebay Inc. Method and apparatus for image recognition services
US9495386B2 (en) 2008-03-05 2016-11-15 Ebay Inc. Identification of items depicted in images
WO2009126785A2 (en) * 2008-04-10 2009-10-15 The Trustees Of Columbia University In The City Of New York Systems and methods for image archaeology
US8504547B1 (en) 2008-04-23 2013-08-06 Google Inc. Customizing image search for user attributes
US8406531B2 (en) 2008-05-15 2013-03-26 Yahoo! Inc. Data access based on content of image recorded by a mobile device
CN103402070B (zh) 2008-05-19 2017-07-07 日立麦克赛尔株式会社 记录再现装置及方法
US9753948B2 (en) * 2008-05-27 2017-09-05 Match.Com, L.L.C. Face search in personals
US20090313239A1 (en) * 2008-06-16 2009-12-17 Microsoft Corporation Adaptive Visual Similarity for Text-Based Image Search Results Re-ranking
WO2009155281A1 (en) * 2008-06-17 2009-12-23 The Trustees Of Columbia University In The City Of New York System and method for dynamically and interactively searching media data
US8098894B2 (en) 2008-06-20 2012-01-17 Yahoo! Inc. Mobile imaging device as navigator
US9183323B1 (en) 2008-06-27 2015-11-10 Google Inc. Suggesting alternative query phrases in query results
US20090327272A1 (en) * 2008-06-30 2009-12-31 Rami Koivunen Method and System for Searching Multiple Data Types
US7961986B1 (en) 2008-06-30 2011-06-14 Google Inc. Ranking of images and image labels
US8538943B1 (en) 2008-07-24 2013-09-17 Google Inc. Providing images of named resources in response to a search query
US8520979B2 (en) 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
WO2010042703A2 (en) * 2008-10-09 2010-04-15 Hillcrest Laboratories, Inc. Methods and systems for analyzing parts of an electronic file
US8675220B2 (en) 2008-10-22 2014-03-18 J2 Global Communications, Inc. Internet fax message searching and fax content delivery using keyword detection
US10210179B2 (en) * 2008-11-18 2019-02-19 Excalibur Ip, Llc Dynamic feature weighting
US8413577B2 (en) * 2008-11-19 2013-04-09 Illinois Tool Works Inc. Vertically separated pass through conveyor system and method in surface mount technology process equipment
US8396865B1 (en) 2008-12-10 2013-03-12 Google Inc. Sharing search engine relevance data between corpora
US8671069B2 (en) 2008-12-22 2014-03-11 The Trustees Of Columbia University, In The City Of New York Rapid image annotation via brain state decoding and visual pattern mining
US8737741B2 (en) * 2009-01-29 2014-05-27 Quantum Signal, Llc Probability of accidental garment match
US8825660B2 (en) * 2009-03-17 2014-09-02 Ebay Inc. Image-based indexing in a network-based marketplace
CN101510218A (zh) * 2009-03-26 2009-08-19 阿里巴巴集团控股有限公司 实现图片搜索的方法及网站服务器
US8769589B2 (en) * 2009-03-31 2014-07-01 At&T Intellectual Property I, L.P. System and method to create a media content summary based on viewer annotations
US9009146B1 (en) 2009-04-08 2015-04-14 Google Inc. Ranking search results based on similar queries
US8321422B1 (en) 2009-04-23 2012-11-27 Google Inc. Fast covariance matrix generation
US8396325B1 (en) * 2009-04-27 2013-03-12 Google Inc. Image enhancement through discrete patch optimization
US8611695B1 (en) * 2009-04-27 2013-12-17 Google Inc. Large scale patch search
US8391634B1 (en) * 2009-04-28 2013-03-05 Google Inc. Illumination estimation for images
US8385662B1 (en) 2009-04-30 2013-02-26 Google Inc. Principal component analysis based seed generation for clustering analysis
US11461782B1 (en) * 2009-06-11 2022-10-04 Amazon Technologies, Inc. Distinguishing humans from computers
CN101692224B (zh) * 2009-07-08 2011-08-17 南京师范大学 融合空间关系语义的高分辨率遥感图像检索方法
US8447760B1 (en) 2009-07-20 2013-05-21 Google Inc. Generating a related set of documents for an initial set of documents
JP5428618B2 (ja) * 2009-07-29 2014-02-26 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
EP2465056B1 (en) * 2009-08-11 2019-07-31 Someones Group Intellectual Property Holdings Pty Method, system and controller for searching a database
US8498974B1 (en) 2009-08-31 2013-07-30 Google Inc. Refining search results
US8352465B1 (en) * 2009-09-03 2013-01-08 Google Inc. Grouping of image search results
JP5355316B2 (ja) * 2009-09-10 2013-11-27 キヤノン株式会社 テンプレート画像の評価方法及び生体運動検出装置
KR100971777B1 (ko) * 2009-09-16 2010-07-22 (주)올라웍스 파노라마 이미지 사이의 중복을 제거하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
US20110072047A1 (en) * 2009-09-21 2011-03-24 Microsoft Corporation Interest Learning from an Image Collection for Advertising
US8306922B1 (en) 2009-10-01 2012-11-06 Google Inc. Detecting content on a social network using links
US8311950B1 (en) 2009-10-01 2012-11-13 Google Inc. Detecting content on a social network using browsing patterns
US8972391B1 (en) 2009-10-02 2015-03-03 Google Inc. Recent interest based relevance scoring
EP2491452A4 (en) 2009-10-19 2015-03-11 Ventana Med Syst Inc IMAGING SYSTEM AND TECHNIQUES
JP5366756B2 (ja) * 2009-10-19 2013-12-11 キヤノン株式会社 情報処理装置及び情報処理方法
US8676803B1 (en) 2009-11-04 2014-03-18 Google Inc. Clustering images
US8390724B2 (en) * 2009-11-05 2013-03-05 Panasonic Corporation Image capturing device and network camera system
US8874555B1 (en) 2009-11-20 2014-10-28 Google Inc. Modifying scoring data based on historical changes
US9164577B2 (en) 2009-12-22 2015-10-20 Ebay Inc. Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
RU2533441C2 (ru) * 2009-12-30 2014-11-20 Нокиа Корпорейшн Способ и устройство для обеспечения поиска изображения по содержимому
US8849785B1 (en) 2010-01-15 2014-09-30 Google Inc. Search query reformulation using result term occurrence count
US8959093B1 (en) 2010-03-15 2015-02-17 Google Inc. Ranking search results based on anchors
US9298598B2 (en) * 2010-03-22 2016-03-29 Red Hat, Inc. Automated visual testing
WO2011135719A1 (ja) 2010-04-30 2011-11-03 富士通株式会社 基地局、通信システム、移動局および通信方法
US9026034B2 (en) 2010-05-04 2015-05-05 Project Oda, Inc. Automatic detection of broadcast programming
CN101877007B (zh) * 2010-05-18 2012-05-02 南京师范大学 融合空间方位关系语义的遥感图像检索方法
US8903798B2 (en) 2010-05-28 2014-12-02 Microsoft Corporation Real-time annotation and enrichment of captured video
US9703782B2 (en) 2010-05-28 2017-07-11 Microsoft Technology Licensing, Llc Associating media with metadata of near-duplicates
US8620912B2 (en) * 2010-06-16 2013-12-31 Microsoft Corporation Ranking advertisement(s) based upon advertisement feature(s)
US8713064B1 (en) * 2010-06-28 2014-04-29 Open Invention Network, Llc Attribute category enhanced search
US9623119B1 (en) 2010-06-29 2017-04-18 Google Inc. Accentuating search results
US8832083B1 (en) 2010-07-23 2014-09-09 Google Inc. Combining user feedback
US8498473B2 (en) * 2010-08-24 2013-07-30 Compuware Corporation System for computationally quantifying similarities between images
US8724910B1 (en) 2010-08-31 2014-05-13 Google Inc. Selection of representative images
US10127606B2 (en) 2010-10-13 2018-11-13 Ebay Inc. Augmented reality system and method for visualizing an item
US20120092357A1 (en) * 2010-10-14 2012-04-19 Microsoft Corporation Region-Based Image Manipulation
US8559682B2 (en) 2010-11-09 2013-10-15 Microsoft Corporation Building a person profile database
US8675957B2 (en) 2010-11-18 2014-03-18 Ebay, Inc. Image quality assessment to merchandise an item
US8798393B2 (en) 2010-12-01 2014-08-05 Google Inc. Removing illumination variation from images
US8438163B1 (en) * 2010-12-07 2013-05-07 Google Inc. Automatic learning of logos for visual recognition
US8532377B2 (en) * 2010-12-22 2013-09-10 Xerox Corporation Image ranking based on abstract concepts
US9002867B1 (en) 2010-12-30 2015-04-07 Google Inc. Modifying ranking data based on document changes
US8407208B2 (en) * 2011-02-02 2013-03-26 Nanorep Technologies Ltd Method for matching queries with answer items in a knowledge base
US9639602B2 (en) * 2011-02-02 2017-05-02 Nanoprep Technologies Ltd. Method for matching queries with answer items in a knowledge base
US20130097090A1 (en) * 2011-02-18 2013-04-18 Southern Taiwan University Of Technology Trademark map construction method
US20120215548A1 (en) * 2011-02-18 2012-08-23 Southern Taiwan University Of Technology Trademark map construction method
US9152861B2 (en) 2011-03-04 2015-10-06 Nec Corporation Individual product identification system, individual product identification method, and device and program used by same
US8811711B2 (en) * 2011-03-08 2014-08-19 Bank Of America Corporation Recognizing financial document images
US9317860B2 (en) 2011-03-08 2016-04-19 Bank Of America Corporation Collective network of augmented reality users
US9773285B2 (en) 2011-03-08 2017-09-26 Bank Of America Corporation Providing data associated with relationships between individuals and images
US9224166B2 (en) 2011-03-08 2015-12-29 Bank Of America Corporation Retrieving product information from embedded sensors via mobile device video analysis
US9317835B2 (en) 2011-03-08 2016-04-19 Bank Of America Corporation Populating budgets and/or wish lists using real-time video image analysis
CN102694826B (zh) * 2011-03-22 2018-09-07 百度在线网络技术（北京）有限公司 一种用于获取与现实场景相关的共享对象的设备和方法
JP2012203668A (ja) * 2011-03-25 2012-10-22 Sony Corp 情報処理装置、物体認識方法、プログラム及び端末装置
US9055279B2 (en) * 2011-04-15 2015-06-09 Tektronix, Inc. System for natural language assessment of relative color quality
US8634654B2 (en) 2011-04-15 2014-01-21 Yahoo! Inc. Logo or image recognition
US9678992B2 (en) 2011-05-18 2017-06-13 Microsoft Technology Licensing, Llc Text to image translation
US20120303633A1 (en) * 2011-05-26 2012-11-29 International Business Machines Corporation Systems and methods for querying column oriented databases
JP2012253667A (ja) * 2011-06-06 2012-12-20 Sony Corp 画像処理装置、画像処理方法、及びプログラム
US8577131B1 (en) * 2011-07-12 2013-11-05 Google Inc. Systems and methods for visual object matching
US8732739B2 (en) 2011-07-18 2014-05-20 Viggle Inc. System and method for tracking and rewarding media and entertainment usage including substantially real time rewards
US9015143B1 (en) 2011-08-10 2015-04-21 Google Inc. Refining search results
US9075825B2 (en) 2011-09-26 2015-07-07 The University Of Kansas System and methods of integrating visual features with textual features for image searching
US9449342B2 (en) 2011-10-27 2016-09-20 Ebay Inc. System and method for visualization of items in an environment using augmented reality
US9411830B2 (en) * 2011-11-24 2016-08-09 Microsoft Technology Licensing, Llc Interactive multi-modal image search
JP5841418B2 (ja) * 2011-12-01 2016-01-13 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US9218365B2 (en) 2011-12-15 2015-12-22 Yeda Research And Development Co. Ltd. Device, system, and method of visual inference by collaborative composition
KR101812585B1 (ko) * 2012-01-02 2017-12-27 삼성전자주식회사 Ｕｉ 제공 방법 및 이를 적용한 영상 촬영 장치
CN103207879B (zh) 2012-01-17 2016-03-30 阿里巴巴集团控股有限公司 图像索引的生成方法及设备
US9239848B2 (en) 2012-02-06 2016-01-19 Microsoft Technology Licensing, Llc System and method for semantically annotating images
KR101191172B1 (ko) * 2012-02-15 2012-10-15 (주)올라웍스 이미지 데이터베이스의 이미지들을 관리하는 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
US9129420B2 (en) 2012-03-07 2015-09-08 3D Printlife Llc Detection of protected subject matter in three dimensional print media
US9934522B2 (en) 2012-03-22 2018-04-03 Ebay Inc. Systems and methods for batch- listing items stored offline on a mobile device
US8938119B1 (en) 2012-05-01 2015-01-20 Google Inc. Facade illumination removal
DE202012102237U1 (de) * 2012-06-18 2012-07-17 Wipotec Wiege- Und Positioniersysteme Gmbh Kontrollvorrichtung für eine Kennzeichnung, mit einer Erfassungs- und Verarbeitungseinrichtung zur Erfassung der Kennzeichnung
US10846766B2 (en) 2012-06-29 2020-11-24 Ebay Inc. Contextual menus based on image recognition
CN103546803B (zh) * 2012-07-11 2016-09-21 腾讯科技（深圳）有限公司 一种图像处理的方法、客户端和图像处理的系统
US10095789B2 (en) * 2012-08-26 2018-10-09 Derek A. Devries Method and system of searching composite web page elements and annotations presented by an annotating proxy server
JP5619095B2 (ja) * 2012-09-03 2014-11-05 東芝テック株式会社 商品認識装置及び商品認識プログラム
US8898150B1 (en) * 2012-09-10 2014-11-25 Google Inc. Collecting image search event information
EP2713307B1 (en) 2012-09-28 2018-05-16 Accenture Global Services Limited Liveness detection
JP2016502181A (ja) * 2012-11-01 2016-01-21 グーグル インコーポレイテッド 画像比較プロセス
JP6099931B2 (ja) * 2012-11-01 2017-03-22 株式会社東芝 画像同期装置及びシステム
CN107087388B (zh) * 2012-11-06 2020-02-28 株式会社高永科技 基板检查装置系统及基板检查方法
US9110989B2 (en) 2012-12-04 2015-08-18 At&T Intellectual Property I, L.P. Methods, systems, and products for recalling and retrieving documentary evidence
TWI480751B (zh) 2012-12-27 2015-04-11 Ind Tech Res Inst 互動式關聯物件檢索方法與系統
US9081800B2 (en) * 2013-03-01 2015-07-14 Adobe Systems Incorporated Object detection via visual search
US20140351245A1 (en) * 2013-03-13 2014-11-27 Paige Johnson Search engine system and method employing wave equations for classifying and ranking search results
US9678993B2 (en) 2013-03-14 2017-06-13 Shutterstock, Inc. Context based systems and methods for presenting media file annotation recommendations
CN103152574B (zh) * 2013-03-15 2016-01-20 清华大学 基于特征配准的速率受限的遥感图像传输系统
US9247685B2 (en) * 2013-03-15 2016-01-26 John S. Youngquist Multi-component nozzle system
CN114220116A (zh) 2013-04-02 2022-03-22 3M创新有限公司 用于管理便条的系统和方法
US10127196B2 (en) 2013-04-02 2018-11-13 3M Innovative Properties Company Systems and methods for managing notes
CN105144198B (zh) 2013-04-02 2021-09-14 3M创新有限公司 用于便笺识别的系统和方法
EP2787486A1 (en) * 2013-04-04 2014-10-08 Océ-Technologies B.V. Method for estimating the amount of an unconsumed part of a consumable
US9773023B2 (en) * 2013-04-25 2017-09-26 Autodesk, Inc. Image selection using automatically generated semantic metadata
US9208548B1 (en) * 2013-05-06 2015-12-08 Amazon Technologies, Inc. Automatic image enhancement
CN104142920A (zh) * 2013-05-06 2014-11-12 苏州搜客信息技术有限公司 一种在线图像检索系统
US9529824B2 (en) * 2013-06-05 2016-12-27 Digitalglobe, Inc. System and method for multi resolution and multi temporal image search
US8891862B1 (en) 2013-07-09 2014-11-18 3M Innovative Properties Company Note recognition and management using color classification
CN103390170A (zh) * 2013-07-22 2013-11-13 中国科学院遥感与数字地球研究所 一种基于多光谱遥感图像纹理元的地物类型纹理分类方法
PL2840874T3 (pl) * 2013-08-19 2020-03-31 Asm Assembly Systems Gmbh & Co. Kg Zmiana parametrów sterujących drukowaniem na podstawie zmierzonych depozytów pasty lutowniczej na pewnych podobszarach płytki drukowanej
WO2015057778A1 (en) 2013-10-16 2015-04-23 3M Innovative Properties Company Note recognition and association based on grouping
EP3644224B1 (en) 2013-10-16 2023-09-27 3M Innovative Properties Company Note recognition for overlapping physical notes
US10175845B2 (en) 2013-10-16 2019-01-08 3M Innovative Properties Company Organizing digital notes on a user interface
US9274693B2 (en) 2013-10-16 2016-03-01 3M Innovative Properties Company Editing digital notes representing physical notes
TWI637325B (zh) 2013-10-16 2018-10-01 ３Ｍ新設資產公司 使用多顏色通道無記號偵測之便箋辨識與管理
TWI653571B (zh) 2013-10-16 2019-03-11 ３Ｍ新設資產公司 用於處理數位便箋之方法、電腦系統、非暫時性電腦可讀取媒體及計算裝置
US9830567B2 (en) 2013-10-25 2017-11-28 Location Labs, Inc. Task management system and method
US10438225B1 (en) 2013-12-18 2019-10-08 Amazon Technologies, Inc. Game-based automated agent detection
US9985943B1 (en) 2013-12-18 2018-05-29 Amazon Technologies, Inc. Automated agent detection using multiple factors
EP3100208B1 (en) 2014-01-31 2021-08-18 3M Innovative Properties Company Note capture and recognition with manual assist
US10394882B2 (en) 2014-02-19 2019-08-27 International Business Machines Corporation Multi-image input and sequenced output based image search
US9183225B2 (en) 2014-02-21 2015-11-10 Siemens Energy, Inc. Computerized method for transforming an image from an image-searchable domain to a pixel-searchable domain
US9990433B2 (en) * 2014-05-23 2018-06-05 Samsung Electronics Co., Ltd. Method for searching and device thereof
US11151630B2 (en) 2014-07-07 2021-10-19 Verizon Media Inc. On-line product related recommendations
WO2016038535A1 (en) * 2014-09-10 2016-03-17 Koninklijke Philips N.V. Image report annotation identification
US10740552B2 (en) * 2014-10-08 2020-08-11 Stryker Corporation Intra-surgical documentation system
US10786948B2 (en) 2014-11-18 2020-09-29 Sigma Labs, Inc. Multi-sensor quality inference and control for additive manufacturing processes
JP6463095B2 (ja) * 2014-11-25 2019-01-30 キヤノン株式会社 画像検索装置及び方法
TWI646503B (zh) * 2014-12-30 2019-01-01 香港商富智康〈香港〉有限公司 照片方位校正系統及方法
KR102393228B1 (ko) 2015-05-11 2022-04-29 매직 립, 인코포레이티드 뉴럴 네트워크들을 활용하여 생체 인증 사용자 인식을 위한 디바이스들, 방법들 및 시스템들
US10176148B2 (en) * 2015-08-27 2019-01-08 Microsoft Technology Licensing, Llc Smart flip operation for grouped objects
US10207489B2 (en) * 2015-09-30 2019-02-19 Sigma Labs, Inc. Systems and methods for additive manufacturing operations
US9659214B1 (en) * 2015-11-30 2017-05-23 Yahoo! Inc. Locally optimized feature space encoding of digital data and retrieval using such encoding
AU2016370667A1 (en) * 2015-12-14 2018-07-05 Patrick Lucey System for interactive sports analytics using multi-template alignment and discriminative clustering
US10311332B2 (en) * 2016-01-26 2019-06-04 Huawei Technologies Co., Ltd. Orientation-based subject-matching in images
JP6889728B2 (ja) 2016-03-11 2021-06-18 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 畳み込みニューラルネットワークにおける構造学習
US10176198B1 (en) * 2016-05-09 2019-01-08 A9.Com, Inc. Techniques for identifying visually similar content
US9977990B1 (en) * 2017-01-08 2018-05-22 International Business Machines Corporation Cognitive method for visual classification of very similar planar objects
US10572907B2 (en) * 2017-01-31 2020-02-25 Walmart Apollo, Llc Systems and methods for a search engine marketing internal auction system
US10977624B2 (en) 2017-04-12 2021-04-13 Bank Of America Corporation System for generating paper and digital resource distribution documents with multi-level secure authorization requirements
US10122889B1 (en) 2017-05-08 2018-11-06 Bank Of America Corporation Device for generating a resource distribution document with physical authentication markers
US10621363B2 (en) 2017-06-13 2020-04-14 Bank Of America Corporation Layering system for resource distribution document authentication
CN107369203B (zh) * 2017-07-14 2020-04-28 北京航空航天大学 室内三维场景自适应构建方法及装置
US10353951B1 (en) * 2017-09-15 2019-07-16 Sutterstock, Inc. Search query refinement based on user image selections
KR102457568B1 (ko) * 2017-09-29 2022-10-21 삼성전자주식회사 입력된 정보와 관련된 이미지를 제공하기 위한 전자 장치 및 그의 동작 방법
CN111819554A (zh) 2017-12-29 2020-10-23 电子湾有限公司 计算机视觉和图像特征搜索
US10614118B2 (en) 2018-02-28 2020-04-07 Microsoft Technology Licensing, Llc Increasing inclusiveness of search result generation through tuned mapping of text and images into the same high-dimensional space
JP7018001B2 (ja) 2018-09-20 2022-02-09 株式会社日立製作所 情報処理システム、情報処理システムを制御する方法及びプログラム
CA3135216A1 (en) 2019-05-20 2020-11-26 Rezolve Ltd. Initiating requests in response to triggers on client
EP3973468A4 (en) 2019-05-21 2022-09-14 Magic Leap, Inc. HANDPOSITION ESTIMATING
WO2020237069A1 (en) * 2019-05-21 2020-11-26 Shaw Industries Group, Inc. Methods and systems for measuring the texture of carpet
US10726246B1 (en) 2019-06-24 2020-07-28 Accenture Global Solutions Limited Automated vending machine with customer and identification authentication
USD963407S1 (en) 2019-06-24 2022-09-13 Accenture Global Solutions Limited Beverage dispensing machine
WO2021029625A1 (ko) * 2019-08-09 2021-02-18 레이디소프트 주식회사 투과영상 기반의 비파괴검사 방법, 비파괴검사 기능을 제공하는 방법 및 이를 위한 장치
CN112453750A (zh) * 2019-09-09 2021-03-09 英业达科技有限公司 依据标准值建立检测模型以确认焊接状态的系统及方法
EP3869395A1 (en) 2020-02-21 2021-08-25 Accenture Global Solutions Limited Identity and liveness verification
JP7400543B2 (ja) * 2020-02-28 2023-12-19 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP2022038652A (ja) * 2020-08-27 2022-03-10 株式会社リコー 情報処理装置、プログラム及び情報処理システム
EP4248354A1 (en) * 2020-11-17 2023-09-27 Fyusion, Inc. Damage detection portal
CN114691614A (zh) * 2020-12-29 2022-07-01 华为技术有限公司 应用程序搜索方法、设备及介质
US11544836B2 (en) * 2021-03-18 2023-01-03 Inventec (Pudong) Technology Corporation Grid clustering-based system for locating an abnormal area of solder paste printing and method thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0199174A (ja) * 1987-10-13 1989-04-18 Komatsu Ltd 形状認識装置
JPH01295380A (ja) * 1988-02-29 1989-11-29 Hitachi Ltd 物体認識装置
JPH07146871A (ja) * 1993-11-24 1995-06-06 Hitachi Ltd 静止画検索装置および静止画検索方法
JPH07160843A (ja) * 1993-12-02 1995-06-23 Toyota Motor Corp 画像認識プログラム構築装置及び方法
JPH0944518A (ja) * 1995-08-02 1997-02-14 Adoin Kenkyusho:Kk 画像データベースの構築方法と、画像データベースの検索方法及び検索装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5586058A (en) * 1990-12-04 1996-12-17 Orbot Instruments Ltd. Apparatus and method for inspection of a patterned object by comparison thereof to a reference
US5579471A (en) * 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
DE69323702T2 (de) * 1992-12-18 1999-07-22 Raytheon Co., El Segundo, Calif. Eine Kombination aus Beugungsgitter und Prisma
JP3234064B2 (ja) * 1993-09-02 2001-12-04 キヤノン株式会社 画像検索方法並びにその装置
JPH08101906A (ja) * 1994-09-30 1996-04-16 Fuji Xerox Co Ltd 画像処理装置
US5802361A (en) * 1994-09-30 1998-09-01 Apple Computer, Inc. Method and system for searching graphic images and videos
US6246804B1 (en) * 1994-11-15 2001-06-12 Canon Kabushiki Kaisha Image retrieval method and apparatus using a compound image formed from a plurality of detected regions
US5930786A (en) * 1995-10-20 1999-07-27 Ncr Corporation Method and apparatus for providing shared data to a requesting client
US5893095A (en) * 1996-03-29 1999-04-06 Virage, Inc. Similarity engine for content-based retrieval of images
US5911139A (en) * 1996-03-29 1999-06-08 Virage, Inc. Visual image database search engine which allows for different schema
US5982951A (en) * 1996-05-28 1999-11-09 Canon Kabushiki Kaisha Apparatus and method for combining a plurality of images
US5912984A (en) * 1996-12-19 1999-06-15 Cognex Corporation Method and apparatus for in-line solder paste inspection
US6317513B2 (en) * 1996-12-19 2001-11-13 Cognex Corporation Method and apparatus for inspecting solder paste using geometric constraints
US5901245A (en) * 1997-01-23 1999-05-04 Eastman Kodak Company Method and system for detection and characterization of open space in digital images
US6463426B1 (en) * 1997-10-27 2002-10-08 Massachusetts Institute Of Technology Information search and retrieval system
EP0990998A3 (en) * 1998-09-30 2005-04-20 Canon Kabushiki Kaisha Information search apparatus and method
US6584221B1 (en) * 1999-08-30 2003-06-24 Mitsubishi Electric Research Laboratories, Inc. Method for image retrieval with multiple regions of interest
US6804684B2 (en) * 2001-05-07 2004-10-12 Eastman Kodak Company Method for associating semantic information with multiple images in an image database environment
US6651012B1 (en) * 2001-05-24 2003-11-18 Simmonds Precision Products, Inc. Method and apparatus for trending and predicting the health of a component
JP5005466B2 (ja) 2007-08-09 2012-08-22 株式会社フジクラ 多周波アンテナ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0199174A (ja) * 1987-10-13 1989-04-18 Komatsu Ltd 形状認識装置
JPH01295380A (ja) * 1988-02-29 1989-11-29 Hitachi Ltd 物体認識装置
JPH07146871A (ja) * 1993-11-24 1995-06-06 Hitachi Ltd 静止画検索装置および静止画検索方法
JPH07160843A (ja) * 1993-12-02 1995-06-23 Toyota Motor Corp 画像認識プログラム構築装置及び方法
JPH0944518A (ja) * 1995-08-02 1997-02-14 Adoin Kenkyusho:Kk 画像データベースの構築方法と、画像データベースの検索方法及び検索装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101083245B1 (ko) * 2011-01-31 2011-11-14 주식회사 서전지구 지역정보 추출방법, 지역정보 출력방법, 및 이를 위한 장치
US8824805B2 (en) 2011-01-31 2014-09-02 Seojeon Globe Co., Ltd. Regional information extraction method, region information output method and apparatus for the same

Also Published As

Publication number Publication date
US20110106845A1 (en) 2011-05-05
JP2001521250A (ja) 2001-11-06
US20110262028A1 (en) 2011-10-27
US20110302206A1 (en) 2011-12-08
AU1365699A (en) 1999-05-17
US20030018631A1 (en) 2003-01-23
WO1999022318A9 (en) 1999-08-19
US6463426B1 (en) 2002-10-08
US20120121193A1 (en) 2012-05-17
US20050004897A1 (en) 2005-01-06
WO1999022318A1 (en) 1999-05-06
US20110219025A1 (en) 2011-09-08
EP1025517A1 (en) 2000-08-09
US20120002880A1 (en) 2012-01-05
US6721733B2 (en) 2004-04-13
US20110282481A1 (en) 2011-11-17
JP2006202314A (ja) 2006-08-03
US7860854B2 (en) 2010-12-28
US20110282900A1 (en) 2011-11-17

Similar Documents

Publication Publication Date Title
JP2009187581A (ja) 情報の検索および検索システム
US8582802B2 (en) Automatic method to generate product attributes based solely on product images
US6563959B1 (en) Perceptual similarity image retrieval method
US5802361A (en) Method and system for searching graphic images and videos
Chen et al. A region-based fuzzy feature matching approach to content-based image retrieval
US7046842B2 (en) System and method for color characterization using fuzzy pixel classification with application in color matching and color match location
US6535776B1 (en) Method for localizing and isolating an errant process step
US6963425B1 (en) System and method for locating color and pattern match regions in a target image
US6556710B2 (en) Image searching techniques
US6522782B2 (en) Image and text searching techniques
JP2010507139A (ja) 顔に基づく画像クラスタリング
KR20140031201A (ko) 웨브 기반 재료 내의 불균일성의 검출 시스템
JP5337673B2 (ja) 画像検索システム
KR100323364B1 (ko) 칼라 영상에서의 특징 벡타 추출 방법 및 이를 활용한 영상 검색 방법
WO1998052119A1 (en) Method and system for image retrieval
US6522779B2 (en) Representing an image with a posterized joint histogram
JP6684777B2 (ja) 製造物良・不良判定システムおよび製造物良・不良判定方法
Kiranyaz et al. Perceptual dominant color extraction by multidimensional Particle Swarm Optimization
JP2000082075A (ja) 直線による画像の検索装置，検索方法およびそのプログラム記録媒体
Worring et al. Interactive retrieval of color images
Al-Oraiqat et al. A modified image comparison algorithm using histogram features

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090617

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090807

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20091109

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20091112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100414

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100714

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100720

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110111