JP2013109773A - Feature matching method and article recognition system - Google Patents

Feature matching method and article recognition system Download PDF

Info

Publication number
JP2013109773A
JP2013109773A JP2013000553A JP2013000553A JP2013109773A JP 2013109773 A JP2013109773 A JP 2013109773A JP 2013000553 A JP2013000553 A JP 2013000553A JP 2013000553 A JP2013000553 A JP 2013000553A JP 2013109773 A JP2013109773 A JP 2013109773A
Authority
JP
Japan
Prior art keywords
feature
matching
image
image data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013000553A
Other languages
Japanese (ja)
Inventor
Yuichiro Akatsuka
祐一郎 赤塚
Takao Shibazaki
隆男 柴▲崎▼
Yukito Furuhashi
幸人 古橋
Kazuo Ono
和男 小野
Neumann Ulrich
ノイマン、ウルリヒ
Suya You
ユー、スヤ
Original Assignee
Olympus Corp
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp, オリンパス株式会社 filed Critical Olympus Corp
Priority to JP2013000553A priority Critical patent/JP2013109773A/en
Publication of JP2013109773A publication Critical patent/JP2013109773A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a feature matching method realizing acceleration with a simple system.SOLUTION: A feature matching method which recognizes a target in two dimensional or three dimensional image data includes: detecting features each having a local maximum and/or minimum of a prescribed attribute in the image (10); excluding features along an edge and a linear outline from the detected features (12); and allocating the rest of features on a plain surface, selecting a part of features from among the allocated features using local information, and performing a feature matching on the selected features (14). At least one of the detection of features, the exclusion of features, the allocation of the rest of features, the selection of part of features, and the matching of features is performed on plural pieces of image data having different scales formed from the two dimensional or the three dimensional image data.

Description

本発明は、2次元又は3次元画像データ内の対象を認識する特徴マッチング方法及びそれを用いた商品認識システムに関する。   The present invention relates to a feature matching method for recognizing an object in two-dimensional or three-dimensional image data and a product recognition system using the same.
特許文献1は、1つの対象領域に対して、複数の処理(バウンディングボックスの生成、幾何正規化、ウェーブレット分解、カラーキューブ分解、形状分解、低解像度のグレースケール画像の生成)を行うことで、対象を認識する手法を開示している。   Patent Document 1 performs a plurality of processes (bounding box generation, geometric normalization, wavelet decomposition, color cube decomposition, shape decomposition, generation of a low-resolution grayscale image) on one target region, A method for recognizing objects is disclosed.
米国特許第7,016,532号明細書US Pat. No. 7,016,532
上記特許文献1に開示された手法は、線、端面、領域などのラージスケール(large-scale)の特徴に関しては、安定した特徴マッチングを行うことができない。また、並列処理を行ったとしても、全ての対象領域に対して複数の処理を行うことによる処理速度の低下は避けられない。   The technique disclosed in Patent Document 1 cannot perform stable feature matching for large-scale features such as lines, end faces, and regions. Moreover, even if parallel processing is performed, a reduction in processing speed due to performing a plurality of processes on all target regions is unavoidable.
本発明は、上記の点に鑑みてなされたもので、簡素なシステムで高速化が可能な特徴マッチング方法及びそれを用いた商品認識システムを提供することを目的とする。   The present invention has been made in view of the above points, and an object thereof is to provide a feature matching method capable of speeding up with a simple system and a product recognition system using the feature matching method.
本発明の一態様による特徴マッチング方法は、
一つの2次元又は3次元画像データ内で所定の属性が極値(Local Maximum and/or Minimum)となる特徴(features)を検出し(10)、
上記検出した特徴からエッジ及び線の輪郭に沿って存在する特徴を除外し(12)、
上記残りの特徴を平面に割り当て(14)、
上記割り当てた特徴から局所情報(local information)を用いて一部の特徴を選択し(14)、
上記選択した特徴を対象に特徴マッチングを行う(14)、
2次元又は3次元画像データ内の対象を認識する特徴マッチング方法であって、
上記一つの2次元又は3次元画像データからスケールが異なる複数の画像データを作成し、
上記作成された異なる複数の画像データに対して、上記特徴の検出、上記特徴の除外、上記残りの特徴の割当て、上記一部の特徴の選択、及び上記特徴マッチングの実施のうち少なくとも一つが行われる、
ことを特徴とする。
また、本発明の一態様による商品認識システムは、
予め登録された複数の商品の特徴を記録するように構成された特徴記憶部(134)と、
商品を撮影するよう構成された画像入力部(130)と、
上記画像入力部で商品を撮影して得られた画像から特徴を抽出し、上記抽出した特徴を上記特徴記憶部に記録されている特徴と比較対照することにより、上記画像入力部で撮影した商品を自動認識するよう構成された自動認識部(132)と、
上記自動認識部の認識結果を利用して、精算処理を行う精算部(132)と、
を具備し、
上記自動認識部は、上記本発明の一態様による特徴マッチング方法を用いることを特徴とする。
A feature matching method according to an aspect of the present invention includes:
Detect features that have a specified attribute extreme value (Local Maximum and / or Minimum) in one 2D or 3D image data (10),
Excluding features present along the edges and line contours from the detected features (12);
Assign the remaining features to a plane (14),
Select some features from the assigned features using local information (14),
Perform feature matching on the selected feature (14),
A feature matching method for recognizing objects in 2D or 3D image data,
Creating a plurality of image data having different scales from the one two-dimensional or three-dimensional image data,
At least one of detection of the feature, exclusion of the feature, assignment of the remaining feature, selection of the partial feature, and execution of the feature matching is performed on the plurality of different created image data. Called
It is characterized by that.
A product recognition system according to an aspect of the present invention includes:
A feature storage unit (134) configured to record features of a plurality of pre-registered products;
An image input unit (130) configured to photograph a product;
The product photographed by the image input unit by extracting features from the image obtained by photographing the product by the image input unit and comparing and comparing the extracted features with the features recorded in the feature storage unit. An automatic recognition unit (132) configured to automatically recognize
A settlement unit (132) that performs a settlement process using the recognition result of the automatic recognition unit,
Comprising
The automatic recognition unit uses the feature matching method according to one aspect of the present invention.
本発明によれば、簡素なシステムで高速化が可能な特徴マッチング方法及びそれを用いた商品認識システムを提供することができる。   According to the present invention, it is possible to provide a feature matching method capable of speeding up with a simple system and a product recognition system using the feature matching method.
本発明の第1実施形態に係る特徴マッチング方法のブロック図である。It is a block diagram of the feature matching method concerning a 1st embodiment of the present invention. オリジナル画像を示す図である。It is a figure which shows an original image. 特徴を抽出するために使用された一連のマルチスケール画像を示す図である。FIG. 5 shows a series of multi-scale images used to extract features. マルチスケール特徴検出(multi-scale feature detection)によって抽出された特徴を示す図である。It is a figure which shows the feature extracted by the multiscale feature detection (multi-scale feature detection). オリジナル画像の特徴と該オリジナル画像を20画素分平行移動した画像の特徴とのマッチングを示す図である。It is a figure which shows matching with the feature of the image of the original image, and the image feature which moved the original image by 20 pixels in parallel. オリジナル画像の特徴と該オリジナル画像を0.7倍した画像の特徴とのマッチングを示す図である。It is a figure which shows the matching with the characteristic of the image of the original image, and the image of 0.7 times the original image. オリジナル画像の特徴と該オリジナル画像を30度回転した画像の特徴とのマッチングを示す図である。It is a figure which shows the matching with the characteristic of the original image, and the characteristic of the image which rotated the original image 30 degree | times. オリジナル画像の特徴と該オリジナル画像をアフィン3D変形に相当するように0.4の剪断(shearing)を行った画像の特徴とのマッチングを示す図である。It is a figure which shows the matching with the characteristic of the image which performed the shearing of 0.4 (shearing) so that it might correspond to the affine 3D deformation | transformation of the original image. データセットからの最終的なマッチング結果を示す図である。It is a figure which shows the final matching result from a data set. 本発明の第2実施形態に係る特徴マッチング方法における高速マッチングサーチ手法のブロック図である。It is a block diagram of a high-speed matching search method in the feature matching method according to the second embodiment of the present invention. 総当り(Brute-Force)マッチング法を説明するための図である。It is a figure for demonstrating a brute force (Brute-Force) matching method. 全数検索(exhaustive search)を用いた2つの多次元セットのマッチングサーチの例を示す図である。It is a figure which shows the example of the matching search of two multidimensional sets using exhaustive search (exhaustive search). 大量の特徴点(feature points)に対する全数検索を用いたマッチングサーチに要した時間の実験統計結果を示す図である。It is a figure which shows the experimental statistical result of the time required for the matching search using the exhaustive search with respect to a lot of feature points (feature points). 特徴空間(feature space)全体を幾つかのサブ空間(subspace)に階層的に分解する手順を示す図である。It is a figure which shows the procedure which decomposes | disassembles hierarchically the whole feature space into several subspaces (subspace). 階層的に分解されたサブ空間を示す図である。It is a figure which shows the subspace decomposed | disassembled hierarchically. スモールデータベースに対する総当たりマッチング法及び高速マッチング法の比較実験の統計結果を示す図である。It is a figure which shows the statistical result of the comparison experiment of the brute force matching method with respect to a small database, and a high-speed matching method. ラージデータベースに対する総当たりマッチング法及び高速マッチング法の比較実験の統計結果を示す図である。It is a figure which shows the statistical result of the comparison experiment of the brute force matching method with respect to a large database, and a high-speed matching method. 第1アプリケーションとしての情報検索システムの構成を示す図である。It is a figure which shows the structure of the information search system as a 1st application. 第1アプリケーションとしての情報検索システムの動作フローチャートを示す図である。It is a figure which shows the operation | movement flowchart of the information search system as a 1st application. 第1アプリケーションとしての情報検索システムの変形例の構成を示す図である。It is a figure which shows the structure of the modification of the information search system as a 1st application. 第2アプリケーションとしての情報検索システムの構成を示す図である。It is a figure which shows the structure of the information search system as a 2nd application. 第2アプリケーションとしての情報検索システムの変形例を説明するための図である。It is a figure for demonstrating the modification of the information search system as a 2nd application. 第2アプリケーションとしての情報検索システムの更に別の変形例の構成を示す図である。It is a figure which shows the structure of another modification of the information search system as a 2nd application. 図17の構成を適用した携帯電話機の動作フローチャートを示す図である。FIG. 18 is a diagram illustrating an operation flowchart of a mobile phone to which the configuration of FIG. 17 is applied. 第3アプリケーションとしての情報検索システムの構成を示す図である。It is a figure which shows the structure of the information search system as a 3rd application. 第4アプリケーションとしての商品認識システムの構成を示す図である。It is a figure which shows the structure of the goods recognition system as a 4th application. 予めデータベースに登録される特徴を説明するための図である。It is a figure for demonstrating the characteristic registered into a database previously. 第4アプリケーションとしての商品認識システムにおける商品精算のフローチャートを示す図である。It is a figure which shows the flowchart of goods settlement in the goods recognition system as a 4th application. 特徴の抽出、認識処理のフローチャートを示す図である。It is a figure which shows the flowchart of a feature extraction and recognition process. カメラからの画像の特徴と予め登録している参照画像の特徴との比較対象を説明するための図である。It is a figure for demonstrating the comparison object of the characteristic of the image from a camera, and the characteristic of the reference image registered beforehand. 第5アプリケーションとしての検索システムの概略構成を示す図である。It is a figure which shows schematic structure of the search system as a 5th application. 第5アプリケーションとしての検索システムのブロック構成図である。It is a block block diagram of the search system as a 5th application. 第5アプリケーションとしての検索システムの動作フローチャートを示す図である。It is a figure which shows the operation | movement flowchart of the search system as a 5th application. DBとのマッチング処理の詳細フローチャートを示す図である。It is a figure which shows the detailed flowchart of a matching process with DB. 画像候補を1点だけ表示する場合のデジタルカメラの表示部の表示画面を示す図である。It is a figure which shows the display screen of the display part of a digital camera in the case of displaying only one image candidate. 9点の画像候補を表示する場合の表示画面を示す図である。It is a figure which shows the display screen in the case of displaying nine image candidates. 特徴データベースの作成方法を説明するためのフローチャートを示す図である。It is a figure which shows the flowchart for demonstrating the preparation method of a characteristic database. 特徴データベースの作成方法の別の例を説明するためのフローチャートを示す図である。It is a figure which shows the flowchart for demonstrating another example of the production method of a characteristic database. 特徴データベースの作成方法の更に別の例を説明するためのフローチャートを示す図である。It is a figure which shows the flowchart for demonstrating another example of the production method of a characteristic database. 特徴データベースの作成方法の他の例を説明するためのフローチャートを示す図である。It is a figure which shows the flowchart for demonstrating the other example of the production method of a characteristic database. 看板として駅の駅名表示板を撮影した場合の動作概念を説明するための図である。It is a figure for demonstrating the operation | movement concept at the time of imaging | photography the station name display board of a station as a signboard. 地図上に写真を表示した例を示す図である。It is a figure which shows the example which displayed the photograph on the map. 地図上に写真を表示した別の例を示す図である。It is a figure which shows another example which displayed the photograph on the map. 写真が多い場合の地図上への写真の表示例を示す図である。It is a figure which shows the example of a display of the photograph on a map in case there are many photographs. 写真が多い場合の地図上への写真の別の表示例を示す図である。It is a figure which shows another example of a display of the photograph on the map in case there are many photographs. 第6アプリケーションとしての検索システムのブロック構成図である。It is a block block diagram of the search system as a 6th application. 第6アプリケーションとしての検索システムの動作フローチャートを示す図である。It is a figure which shows the operation | movement flowchart of the search system as a 6th application. プリントアウトの撮影処理の詳細フローチャートを示す図である。FIG. 6 is a diagram illustrating a detailed flowchart of printout shooting processing. 特徴データベースの作成方法を説明するためのフローチャートを示す図である。It is a figure which shows the flowchart for demonstrating the preparation method of a characteristic database. 第7アプリケーションとしての検索システムの適用されたカメラ付携帯電話機のブロック構成図である。It is a block block diagram of the mobile phone with a camera to which the search system as a 7th application was applied. 第8アプリケーションとしての検索システムの動作フローチャートを示す図である。It is a figure which shows the operation | movement flowchart of the search system as an 8th application. 第9アプリケーションとしての検索システムで用いられる概要特徴を説明するための図である。It is a figure for demonstrating the outline | summary characteristic used with the search system as a 9th application. 第9アプリケーションとしての検索システムで用いられる詳細特徴を説明するための図である。It is a figure for demonstrating the detailed feature used with the search system as a 9th application. 原画像データと概要テンプレート及び詳細テンプレートとの位置関係を説明するための図である。It is a figure for demonstrating the positional relationship of original image data, an outline template, and a detailed template. 第9アプリケーションとしての検索システムの動作フローチャートを示す図である。It is a figure which shows the operation | movement flowchart of the search system as a 9th application. 画像データの中央部に注目した詳細テンプレートを説明するための図である。It is a figure for demonstrating the detailed template which paid its attention to the center part of image data. 画像内に数箇所分散配置した詳細テンプレートを説明するための図である。It is a figure for demonstrating the detailed template distributed several places in the image. 注目領域を原画像データ撮影時の合焦位置においた詳細テンプレートを説明するための図である。It is a figure for demonstrating the detailed template which set the attention area | region in the focus position at the time of original image data imaging | photography. 概要テンプレートと同じ領域に対して作成した詳細テンプレートを説明するための図である。It is a figure for demonstrating the detailed template produced with respect to the same area | region as an outline template. 第10アプリケーションとしての検索システムの動作フローチャートを示す図である。It is a figure which shows the operation | movement flowchart of the search system as a 10th application. 第11アプリケーションとしての検索システムの構成を示す図である。It is a figure which shows the structure of the search system as an 11th application. 認識要素同定(identify)処理を示すフローチャートである。It is a flowchart which shows recognition element identification (identify) processing.
以下、図面を参照して、本発明の特徴マッチング方法を説明する。
[第1実施形態]
本発明の第1実施形態に係る特徴マッチング方法は、PBR(Point Based Recognition)とも称され、図1に示すように、特徴検出(Feature Detection)10、特徴選択(Feature Adoption)12、及び特徴認識(Feature Recognition)14の3つの部分からなる。なお、特徴は空間的、時間的に分散している。例えば、本方法の認識対象が画像の場合には、2次元的な広がりの中での特徴マッチング(Feature Matching)である。時間的な広がりを考慮すれば、動画の認識が行える。
The feature matching method of the present invention will be described below with reference to the drawings.
[First Embodiment]
The feature matching method according to the first embodiment of the present invention is also referred to as PBR (Point Based Recognition), and as shown in FIG. 1, feature detection (Feature Detection) 10, feature selection (Feature Adoption) 12, and feature recognition. (Feature Recognition) 14 consists of three parts. Note that the features are spatially and temporally dispersed. For example, when the recognition target of the present method is an image, the feature matching (Feature Matching) in a two-dimensional expanse. If the time spread is taken into account, the video can be recognized.
特徴検出10では、入力されたオブジェクトデータ、例えば画像から、スケールと配置に左右されない空間的に安定した特徴を検出する。特徴選択12は、特徴検出10で検出された特徴からロバストな認識を行うためのロバストで安定した部分を選択する。特徴認識14は、特徴選択12で抽出された特徴と付加的な制限とを用い、予め分析されてデータベース16に蓄積されているオブジェクトを、位置づけ(locate)、インデックス付け(index)、及び認識を行う(recognize)。   In the feature detection 10, spatially stable features that are not affected by scale and arrangement are detected from input object data, for example, images. The feature selection 12 selects a robust and stable portion for performing robust recognition from the features detected by the feature detection 10. Feature recognition 14 uses the features extracted in feature selection 12 and additional restrictions to locate, index, and recognize objects that have been previously analyzed and stored in database 16. Recognize.
以下、それら特徴検出10、特徴選択12、及び特徴認識14のそれぞれについて、詳細に説明する。   Hereinafter, each of the feature detection 10, feature selection 12, and feature recognition 14 will be described in detail.
まず、特徴検出10について説明する。
ロバストな認識ができるかどうかは、選ばれた特徴とマッチングのための手法の両方に依存する。良い特徴は、マッチングをより良くそしてロバストに行える。従って、最適な特徴の選択とマッチング方法を合わせる事で信頼性と安定性を増す事ができる。一般に、線、端面、領域などのラージスケール(large-scale)の特徴は、マッチング演算のためにより広範囲な情報を与えるため、その分マッチングは容易である。しかしながら、ラージスケールの特徴はまた、視点、幾何学的配置、照明の変化によって、大きな画像歪みを生じる傾向がある。それ故、マッチングのためにはそれらの歪みを補うために大きな制約条件と仮定が必要である。残念ながら、これらの制約条件をモデル化するのに必要な数式が一般的には未知なので、ラージスケールの特徴はしばしば近似的に画像の幾何学配置のみから復元(recover)される。
First, the feature detection 10 will be described.
Whether robust recognition is possible depends on both the selected feature and the matching technique. Good features make matching better and more robust. Therefore, reliability and stability can be increased by combining optimal feature selection and matching methods. In general, large-scale features such as lines, end faces, and regions give a wider range of information for matching operations, and matching is easier. However, large scale features also tend to cause large image distortion due to changes in viewpoint, geometry, and illumination. Therefore, large constraints and assumptions are necessary for matching in order to compensate for these distortions. Unfortunately, large scale features are often recovered approximately only from the image geometry, since the mathematical formulas needed to model these constraints are generally unknown.
画像認識のために、像空間における正確な2次元的な一致を復元する必要がある。点といったスモールスケール(Small Scale)の特徴は、対応する測定結果が少なくても、画素単位の精度を見込めるという優位性を持っている。さらに、点の特徴(point feature)は、(線、面などの)ラージスケールな特徴よりも、識別力、遮蔽時(特徴量の一部が隠された時)における強さ、アフィン変換における充分な不変性、の点で優位である。特徴点の不利な点は、しばしばまばらに点在する点群と測定結果だけしか使えず、局所情報しかないためにマッチングさせることが難しい場合があるという点である。しかしながらまた一方で、多くの特徴点が確実に検出されるならば、他の特徴の場合には必要となる制約や様々な条件によって生じる測定品質劣化も起こる事なしに、多くの画像の一致点を復元する事ができる。実際に、ラージスケールの特徴を用いた色々な手法による測定や、最も信頼出来る測定結果が現れる状態を示す完全なアフィン・フィールドの状態は、しばしば近傍の点(near feature points)の間で見られる。これらの要因を考慮して、我々は認識に使用する特徴として点(=特徴点)を使用する事を選んだ。   For image recognition, it is necessary to restore an exact two-dimensional match in image space. Small scale features, such as dots, have the advantage of being able to expect pixel-by-pixel accuracy even if the corresponding measurement results are small. Furthermore, the point feature is more discriminating power, strength at the time of occlusion (when part of the feature is hidden), and sufficient at affine transformation than large scale features (lines, surfaces, etc.) It is advantageous in that it is invariant. A disadvantage of feature points is that often only sparsely scattered point groups and measurement results can be used, and there are only local information, making matching difficult. However, on the other hand, if many feature points are reliably detected, many image coincidence points can be obtained without causing degradation of measurement quality caused by restrictions and various conditions required for other features. Can be restored. In fact, complete affine field conditions, often showing near feature points, with various methods using large-scale features and the state where the most reliable measurement results appear . Considering these factors, we have chosen to use points (= feature points) as features used for recognition.
一般的に特徴検出というものの持つ課題は小さくは無い。画像認識やマッチングの為に、たとえ現実世界の構造とまったく物理的に一致しない場合でも、検出された特徴はそれらがその認識方法の中で優れた信頼性と安定性を示す必要がある。言い換えると、特徴検出方法は、様々なアフィン条件の下でも識別可能で信頼性が高く再現性のある特徴を、出来る限り多く検出可能とするべきである。そうする事により、特徴量の多くが遮蔽によって使用出来なくなったとしても、更に画像マッチングとパラメータ復元を行う場合に充分な特徴量を確保できる事になる。   In general, the problem of feature detection is not small. For image recognition and matching, the detected features need to exhibit excellent reliability and stability in the recognition method, even if they do not physically match the real world structure at all. In other words, the feature detection method should be able to detect as many features as possible that are identifiable, reliable and reproducible under various affine conditions. By doing so, even if many of the feature quantities become unusable due to occlusion, a sufficient feature quantity can be secured for further image matching and parameter restoration.
本実施形態における特徴検出10では、リッチテクスチャ領域(rich-texture regions)を伴った特徴点(point feature)を検出する方法を用いる。この方法では、3つのフィルタが使用される。最初に、局所極大(Local Maximum)を持つ点を抽出する為に高域通過フィルタが使用される。Rは中心がPである3×3のウィンドウ、F(P)はそのポイントにおいて適用した高域通過フィルタFの出力値とする。   The feature detection 10 in the present embodiment uses a method for detecting a point feature with rich texture regions. In this method, three filters are used. First, a high pass filter is used to extract points with local maximum. R is a 3 × 3 window whose center is P, and F (P) is the output value of the high-pass filter F applied at that point.
もし、
F(P)=max{P>P:R}>Threshold (1)
ならば、点Pは特徴候補となり、次に続くチェックのためにキープされる。なお、このフィルタは、局所極小(Local Minimum)を抽出するものであっても良い。
if,
F (P) = max {P> P i : R}> Threshold (1)
If so, the point P becomes a feature candidate and is kept for the next check. Note that this filter may extract a local minimum.
2番目のフィルタは示唆的特徴フィルタ(distinctive feature filter)である。知られているように、エッジや線の輪郭に沿って存在する点はマッチングの為には安定していない。それは所謂、合っているように見えてしまう効果(matching arbitrary effect)が働くためであり、マッチングの信頼性の為にはそれらのポイントを外さなければならない。また、画像の共分散行列(covariance matrix)は小領域の画像の構造を表す良い指標であるというという事が知られている。共分散行列と画像構造の関係をまとめると、小さな固有値(eigen value)は領域内が比較的一様な強度である事を表している。大小ひと組の固有値は高いテクスチャパターンを表し、大きな固有値が二つある場合には線形な特徴、白黒が点在するテクスチャまたはその他のパターンを表している。従って、これらの特性を用いて線形な特徴点(feature points)を取り除くフィルタを設計する事が出来る。   The second filter is a distinctive feature filter. As is known, points that exist along the edge or line outline are not stable for matching purposes. This is because a so-called matching arbitrary effect works, and these points must be removed for the reliability of matching. It is also known that the image covariance matrix is a good indicator of the structure of a small area image. Summarizing the relationship between the covariance matrix and the image structure, a small eigenvalue represents a relatively uniform intensity within the region. A set of large and small eigenvalues represents a high texture pattern, and two large eigenvalues represent a texture or other pattern interspersed with linear features, black and white. Therefore, it is possible to design a filter that removes linear feature points using these characteristics.
Mを、以下のような画像導関数から算出された2×2の行列とし、   Let M be a 2 × 2 matrix calculated from the image derivatives as
また、λとλをMの固有値であるとすると、線形なエッジの度合い(measure)は、
R=det(M)−k(trace(M)) (3)
である。但し、det(M)=λλであり、trace(M)=λ+λである。
If λ 1 and λ 2 are eigenvalues of M, the linear edge degree (measure) is
R = det (M) −k (trace (M)) 2 (3)
It is. However, det (M) = λ 1 λ 2 and trace (M) = λ 1 + λ 2 .
それで、もしエッジの度合いが
R(P)>Threshold (4)
ならば、点Pは線形なエッジ点として扱われ、特徴候補(リスト)から外される。
So if the edge degree is R (P)> Threshold (4)
If so, the point P is treated as a linear edge point and removed from the feature candidate (list).
3番目のフィルタは、検出された点を繰り返しサブピクセル精度にリファインする内挿フィルタ(interpolation filter)である。アフィン平面が、局所的な点(local points)を連続的な平面に再構築する為にまず用いられる。その結果、最適解が収束しサブピクセル精度に到達するまで、このフィルタは繰り返しその点を再配列した平面の上に絞り込んでいく。   The third filter is an interpolation filter that repeatedly refines the detected points to sub-pixel accuracy. An affine plane is first used to reconstruct local points into a continuous plane. As a result, until the optimal solution converges and subpixel accuracy is reached, the filter repeatedly narrows the points down to the rearranged plane.
本実施形態の新規な面は、マルチ解像度(multi-resolution)手法を採用し、複数の解像度の画像、各々から特徴を抽出することによって、スケール不変性を向上させていることである。   A novel aspect of this embodiment is that scale invariance is improved by employing a multi-resolution technique and extracting features from multiple resolution images, each.
アフィン変換のスケール不変性を実現する為に、特徴検出処理の中でマルチ解像度手法が採用されている。これは、処理スピード向上を主目的とする従来のピラミッドの使用法とは異なるものである。言い換えれば、粗い検索からより細かい検索へ、即ち、効果的なアフィンスケール不変性を達成するために、異なるスケールにわたって有用な特徴を見つける事を目的としているので、ピラミッドのそれぞれのレベルの特徴を独立に処理する。   In order to realize the scale invariance of the affine transformation, a multi-resolution method is adopted in the feature detection processing. This is different from the conventional method of using a pyramid whose main purpose is to improve the processing speed. In other words, from the coarse search to the finer search, that is, to achieve useful affine scale invariance, the goal is to find useful features across different scales so that features at each level of the pyramid are independent. To process.
図2A乃至図2Cは、このアプローチ方法が雑然とした場面(cluttered scene)に適用された結果を示している。図2Aは原画像を、図2Bは特徴を抽出するために使用された一連のマルチスケール画像を、そして図2Cは抽出された特徴を、それぞれ示している。   2A to 2C show the result of applying this approach to a cluttered scene. FIG. 2A shows the original image, FIG. 2B shows a series of multi-scale images used to extract the features, and FIG. 2C shows the extracted features.
次に、特徴選択12について説明する。
上記特徴検出10においていったん検出されれば、その検出された特徴はロバストな認識の為のロバスト且つ安定した特徴として採用されなければならない。上述の如く、特徴点(point features)を使用する事における弱点は、初期の段階では、しばしば、まばらな点集合と単なる局所情報が利用できるだけなのでマッチングが難しいということである。適した特徴選択の方法を用いる事は、視点、幾何学的配置、照明などの変化を考慮すると大変重要である。
Next, the feature selection 12 will be described.
Once detected in the feature detection 10, the detected feature must be adopted as a robust and stable feature for robust recognition. As mentioned above, a weakness in using point features is that matching is difficult at an early stage, often because sparse point sets and mere local information can only be used. It is very important to use a suitable feature selection method in consideration of changes in viewpoint, geometric arrangement, lighting, and the like.
そのアプローチにおいて、本実施形態における特徴選択12では、アフィン領域と呼ぶ局所的な情報を用いた個々の特徴点(feature point)を選択(adopt)する。3つの制約条件が局所領域を決めるために用いられる。言い換えれば、3つの制限は、強度(intensity)、倍率(scale)、方向(orientation)である。強度の制約とは、その領域内の画素から計算された画像勾配値(image gradient value)G(x,y)であり、そしてそれは特徴のテクスチャの度合いを表している。   In the approach, in the feature selection 12 in the present embodiment, individual feature points using local information called affine regions are selected (adopt). Three constraints are used to determine the local region. In other words, the three limits are intensity, scale, and orientation. The intensity constraint is the image gradient value G (x, y) calculated from the pixels in the region, and it represents the degree of texture of the feature.
二つの画像のマッチングにおいて、ベースラインが小さい場合には、線形誤差が小さいため強度による特徴選択で画像のマッチングは十分行える。シンプルな相関によるマッチングを使う事ができる。さらに、もしマッチした画像が大きな画像歪みを持っている場合には、アフィン変換による変形マッチングはその歪み補正に有効である。 In the matching of two images, when the baseline is small, the linear error is small, so that image matching can be sufficiently performed by feature selection based on intensity. Simple correlation matching can be used. Furthermore, if the matched image has a large image distortion, deformation matching by affine transformation is effective for correcting the distortion.
しかしながら、大きな画像ベースライン(対応した画像が拡大縮小を含む幾何学的な変形や2D&3D回転を持つ)の状況下では、単純な強度選択だけでは充分ではない。単純な強度相関は拡大縮小・回転不変ではない事は良く知られている。このような場合、マッチする対応点を選択する為に、ロバスト且つ安定な利点をもつ特徴として考えられる全ての制約条件を熟考するべきである。倍率と局所的な方向の制約は、選択とマッチング処理の中に組み込まれている。まずはじめに、方向的に連続した空間が量子化され、離散的になる。   However, in the context of large image baselines (the corresponding image has geometric deformation including scaling and 2D & 3D rotation), simple intensity selection alone is not sufficient. It is well known that simple intensity correlation is not scaling / rotation invariant. In such a case, all constraints that can be considered as a feature with a robust and stable advantage should be considered in order to select matching corresponding points. Magnification and local orientation constraints are built into the selection and matching process. First of all, a directionally continuous space is quantized and becomes discrete.
それらの、量子化された方向成分が、その幾何学的配置空間を構成する。画像を分解したモデルを使う事で、特徴の全ての局所的な方向成分を離散的な基底空間(the discrete base space)に対して割り当てることが出来る。このようにすることで、それらの局所的な方向成分をコンパクトな数式で表す事ができる。全ての考えうる性質(qualities)(強度、倍率、方向)に対して当てはまる表現式(consistent)を形成するために、強度と倍率の値が用いられて特徴マッチングの為のあらゆる局所的な方向成分の重み付けがなされる。さらにその上、量子化効果(誤差)を低減する為に、ガウシャンによる平滑化関数(Gaussian smoothing processing)が使われ、重み付けが強調される。 Those quantized direction components constitute the geometric arrangement space. By using a model that decomposes the image, all local directional components of the feature can be assigned to the discrete base space. By doing in this way, those local direction components can be expressed by a compact mathematical expression. All local directional components for feature matching using intensity and magnification values to form a consistent expression for all possible qualities (intensity, magnification, direction) Are weighted. Furthermore, in order to reduce the quantization effect (error), a Gaussian smoothing function (Gaussian smoothing processing) is used to emphasize weighting.
以下の式(8)で示すような形で、特徴の周辺領域から正規化した方向の特徴を持つようにしていることが本実施形態の新規な面である。   A novel aspect of the present embodiment is to have the features in the direction normalized from the peripheral region of the features in the form shown by the following equation (8).
Rはスケールピラミッドを作るためのガウシアンフィルタによって定義される重み付けの範囲である。範囲内のすべての点P(x,y)において、その量子化された方向成分は式(8)で表される。 R is a weighting range defined by a Gaussian filter for creating a scale pyramid. At all the points P (x i , y i ) within the range, the quantized direction component is expressed by Equation (8).
ここで、G(x,y)は上記式(5)によって算出される勾配であり、Weight(x,y)は、処理された点(x,y)に中心がある以下の式(9)のようなガウシャン重み関数である。 Here, G (x i , y i ) is the gradient calculated by the above equation (5), and Weight (x i , y i ) is centered at the processed point (x, y) It is a Gaussian weighting function like Formula (9).
Weight(x,y)=exp(−((x−x)+(y−y))/σ) (9)
上述の選択方法は、画像の拡大縮小や面外での回転を取り扱う際に有効である。しかし、それは面内の方向成分(in plane orientation)に対して過敏である。このずれを補正する為に、アフィン領域は重み付けの計算の中で、同一の方向に正規化される。さらに回転方向の量子化誤差をキャンセルする為に、重−線形補間(bi-linear interpolation)とガウシャン平滑化処理(Gaussian smoothing processing)が処理ウィンドウの中で適用される。同様に、照明条件の変化に対するロバスト性を強める為に、入力画像は正規化される。
Weight (x i , y i ) = exp (− ((x i −x) 2 + (y i −y) 2 ) / σ 2 ) (9)
The above-described selection method is effective when dealing with enlargement / reduction of an image and rotation outside the plane. However, it is sensitive to the in-plane orientation. In order to correct this deviation, the affine region is normalized in the same direction in the weighting calculation. In addition, bi-linear interpolation and Gaussian smoothing processing are applied in the processing window to cancel the rotational quantization error. Similarly, the input image is normalized to enhance robustness against changes in lighting conditions.
特徴選択12の出力となるのは、各々の合致点と関連した領域(全ての制約が組み込まれ、アフィン変換で表され、照明不変性を達成する)を表す簡潔なベクトル表現(compact vector representation)である。   The output of feature selection 12 is a compact vector representation that represents the area associated with each match (all constraints are incorporated, represented by an affine transformation, and achieve illumination invariance). It is.
図3A乃至図3Dに、本アプローチにおいて異なるアフィン変換を行ったシーンに適用した結果を示す。図3Aはオリジナル画像を20画素分平行移動したシーン、図3Bはオリジナル画像を0.7倍したシーン、図3Cはオリジナル画像を30度回転したシーン、図3Dはオリジナル画像をアフィン3D変形に相当するように0.4の剪断(shearing)を行ったシーン、に適用した結果をそれぞれ示している。   FIGS. 3A to 3D show the results of applying this method to a scene that has undergone different affine transformations. 3A is a scene obtained by translating the original image by 20 pixels, FIG. 3B is a scene obtained by multiplying the original image by 0.7, FIG. 3C is a scene obtained by rotating the original image by 30 degrees, and FIG. 3D is equivalent to the affine 3D transformation of the original image. The results are shown respectively applied to a scene that has been sheared by 0.4.
次に、特徴認識14について説明する。
上記特徴検出10で検出され、上記特徴選択12で選択された特徴は、幾何学的不変性(geometry invariance)について良い特性を示している。マッチング処理は、選択された特徴に基づいて行なわれる。マッチング類似性の判定にはSSD(Sum of Square Difference)を用いる。すなわち、マッチング画像の各々の特徴Pに関する類似度(P)が計算され、そして、SSDサーチは最も類似性の高い最適合致点を発見する。もし、
Similarity(P)={P,P}>Threshold (10)
の関係があれば、Pは点Pと一致している。
Next, the feature recognition 14 will be described.
The features detected by the feature detection 10 and selected by the feature selection 12 exhibit good characteristics with respect to geometry invariance. The matching process is performed based on the selected feature. SSD (Sum of Square Difference) is used to determine matching similarity. That is, the similarity (P) for each feature P of the matching image is calculated, and the SSD search finds the best matching point with the highest similarity. if,
Similarity (P) = {P, P i }> Threshold (10)
If there is a relationship, P i coincides with the point P.
RANSAC(Random Sample Consensus)を利用したペアの評価手法を、画像認識の信頼性評価手法として利用していること、特に、マッチングした点が少ないときに、本手法で算出するアフィン変換行列から、認識時の姿勢を算出し、この姿勢に基づいて認識の信頼性を評価できることは効果的である。   The pair evaluation method using RANSAC (Random Sample Consensus) is used as a reliability evaluation method for image recognition. In particular, when there are few matching points, recognition is performed from the affine transformation matrix calculated by this method. It is effective to calculate the posture of the hour and to evaluate the reliability of recognition based on this posture.
実験結果は、上記複数の制約条件を満たす特徴部分が画像マッチングの良い特性を備えている事を示している。しかしながら、非常に雑然としたシーンでは、特に背景にある特徴量の為に、ミスマッチング(outliersと呼ぶ)が生じる場合がある。それらのミスマッチングを除去する目的で、基本的な幾何学的制約条件を満たすペアを探すためにRANSACに基づくアプローチが使われている。マッチした画像特徴が同じ対象物の場合には、二次元変換で(平面射影変換(homography)として)関係が表されることが知られている。計算の高速化の為に、特徴認識14では、2次元アフィン変換による制約を使用して平面射影変換を近似してミスマッチングの除去を行う。パラメータの変化を推定するためには3点あればよい。まず、RANSAC遂次代入は、最初の変換行列Minitを推定する為に、任意抽出された3特徴点を用いる。 The experimental result shows that the feature portion satisfying the plurality of constraint conditions has a good image matching characteristic. However, in very cluttered scenes, mismatching (called outliers) may occur, especially because of the feature quantities in the background. In order to eliminate these mismatches, a RANSAC based approach is used to find pairs that satisfy basic geometric constraints. It is known that when the matched image features are the same object, the relationship is expressed by two-dimensional transformation (as planar projection transformation (homography)). In order to speed up the calculation, the feature recognition unit 14 approximates the planar projective transformation using a constraint by two-dimensional affine transformation to remove mismatching. Three points are sufficient for estimating the change in parameters. First, RANSAC sequential assignment, in order to estimate the initial transformation matrix M init, using 3 feature points randomized.
推定された変換行列は、次に、マッチングする全ての特徴を用いて繰り返し絞り込まれていく。このミスマッチングはこれらのマッチング点が大きなマッチングずれを有する事を示している。 The estimated transformation matrix is then iteratively refined using all matching features. This mismatch indicates that these matching points have a large mismatch.
ここで、x は推定されたアフィン変換式によってxからx に向かってアフィン変形された点を表す。すなわち、 Here, x i t represents the point which has been affine deformation toward the x i to x i s by the affine transformation equation estimated. That is,
その特徴マッチングの最終アウトプットはミスマッチングかどうかの判定と推定された2次元パラメータ変換(アフィンパラメータ)が添付されたマッチング点のリストである。 The final output of the feature matching is a list of matching points attached with determination of whether or not mismatching and an estimated two-dimensional parameter transformation (affine parameter).
図4は、予め分析されデータベース16に蓄積されたオブジェクトデータセットからの、本特徴認識14で得られた最終的なマッチング結果の例を示している。   FIG. 4 shows an example of a final matching result obtained by the feature recognition 14 from an object data set analyzed in advance and stored in the database 16.
[第2実施形態]
本実施形態では、上記特徴認識14において、更なる高速化を図る高速マッチングサーチ手法を説明する。
[Second Embodiment]
In the present embodiment, a high-speed matching search method for further speeding up the feature recognition 14 will be described.
この高速マッチングサーチ手法は、dBTree(Data Base Tree)と呼ぶ。効果的な画像マッチングサーチ技術であるdBTreeは、上記第1実施形態で説明したようなPBR特徴点(feature points)が抽出されている多次元のデータベース16からマッチングする対を高速に復元できる。技術的には、この課題はNPデータクエリー問題である。言い換えると、N次元のデータベース上にある点とクエリーポイントqが与えられた時、qとデータベースの点間の最もマッチするもの(最近傍)を見つける事が課題となっている。本実施形態による高速マッチングサーチ手法は、効果的なデータ表現、マッチング、多次元の特徴空間のindexingを行うためのPBRの特徴の階層的な表現を形作る木構造のマッチングアプローチである。   This high-speed matching search method is called dBTree (Data Base Tree). The dBTree, which is an effective image matching search technique, can rapidly restore matching pairs from the multidimensional database 16 from which PBR feature points have been extracted as described in the first embodiment. Technically, this issue is the NP data query problem. In other words, when a point on an N-dimensional database and a query point q are given, finding the best match (nearest neighbor) between q and a point in the database is a problem. The fast matching search method according to the present embodiment is a tree-structured matching approach that forms a hierarchical representation of PBR features for effective data representation, matching, and indexing of a multidimensional feature space.
技術的には、dBTreeマッチングは、図5に示すように、dBTree構築(dBTree Construction)18、dBTree検索(dBTree Search)20、及びインデックスマッチング(Match Indexing)22から構成される。dBTree構築18では、高速な特徴検索、クエリーを実現するために、上記第1実施形態のようにして入力されたオブジェクトデータから得られたPBR特徴より、PBR特徴空間上の階層的なデータ表現(以下、dBTree表現)を作る。作られたdBTree表現はデータベース16に登録される。データベース16には、こうして多数のオブジェクトデータに対するdBTree表現が登録される。dBTree検索20では、入力されたオブジェクトデータから上記第1実施形態のようにして得られたPBR特徴の最近傍点を、上記データベース16に構成されたdBTree空間の上で検索する。インデックスマッチング22では、発見された最近傍(Nearest Neighbors; NNs)と更なるPBRの制限条件とから、マッチングペアを抽出、修正する。   Technically, the dBTree matching is composed of a dBTree Construction 18, a dBTree Search 20, and an Index Matching 22 as shown in FIG. In the dBTree construction 18, in order to realize a high-speed feature search and query, a hierarchical data representation on the PBR feature space (from the PBR feature obtained from the object data input as in the first embodiment above) ( Hereinafter, a dBTree expression) is created. The created dBTree expression is registered in the database 16. In the database 16, dBTree expressions for a large number of object data are registered in this way. In the dBTree search 20, the nearest neighbor point of the PBR feature obtained from the input object data as in the first embodiment is searched on the dBTree space configured in the database 16. In the index matching 22, a matching pair is extracted and corrected from the found nearest neighbors (NNs) and further PBR restriction conditions.
本実施形態におけるdBTreeアプローチの詳細を説明する前に、マッチングサーチの課題について説明しておく。   Before describing the details of the dBTree approach in the present embodiment, the problem of matching search will be described.
マッチングサーチのゴールは、多次元のデータベースにおいてあり得るマッチングの高速復元である。本実施形態では、PBR特徴マッチングといった固有のケースに注目しているけれども、本dBTree検索構造は一般のどのようなデータ検索アプリケーションにも適用できる。   The goal of matching search is fast restoration of matching, which can be in a multidimensional database. Although the present embodiment focuses on a unique case such as PBR feature matching, the present dBTree search structure can be applied to any general data search application.
二つの点群P={p,i=1,2,…,N}とQ={q,j=1,2,…,M}が与えられ、pとqがk次元ベクトルの場合に、ゴールはPとQ二つの点群の間で全ての可能なマッチングを見つける事である。言いかえれば、Matches={p<=>q}が確実な類似性を持っているという事である。 Two point groups P = {p i , i = 1, 2,..., N} and Q = {q j , j = 1, 2,..., M} are given, and p i and q i are k-dimensional vectors. In this case, the goal is to find all possible matches between the two point clouds P and Q. In other words, Matches = {p i <=> q j } has certain similarity.
PBR特徴点は特徴マッチングにおいては良い不変特性を持っているので、不変量特徴のユークリッド距離が類似性マッチングに使用されている。言いかえれば、各々の特徴p、類似度(p)はマッチした特徴qに対して算出される。そして、マッチングサーチは、最短のユークリッド距離を持つ最良合致点を見つけ出す。 Since PBR feature points have good invariant characteristics in feature matching, the Euclidean distance of invariant features is used for similarity matching. In other words, each feature p i and similarity (p i ) are calculated for the matched feature q j . The matching search then finds the best match with the shortest Euclidean distance.
明らかに、マッチング性能と速度はN、Mといった2つの点群の特徴点数に依存している。   Obviously, the matching performance and speed depend on the number of feature points of two point groups such as N and M.
二つのデータセットの点を合致させる時に、まず思い浮かぶのは恐らく“総当り(Brute-Force)方式による”労力のかかるサーチ方法だろう。図6に示した如く、総当りアプローチはセットPの全ての点を取っていき、そして、セットQの各々の点に対してその類似度を演算する。明らかに精緻な(exhaustive)検索のマッチングスピードはポイントセットの特徴の点数に直線的に比例し、トータルO(N×M)のアルゴリズム演算(ユークリッド距離演算)に帰着する。例として、547点と547点の二つの典型的なPBR特徴セットのマッチングの為に、総当りマッチングは1.7GHzのPCで3.79秒かかった。図7に、全数検索(exhaustive search)を用いた2つの多次元データセット(2955点×5729点)のマッチングの例を示す。結果的に169.89秒かかると推定できる。   Probably the first thing that comes to mind when matching points in two datasets is the “brute-force” search method. As shown in FIG. 6, the brute force approach takes all points of set P and computes their similarity for each point of set Q. Obviously the matching speed of the exhaustive search is linearly proportional to the number of features in the point set, resulting in a total O (N × M) algorithm computation (Euclidean distance computation). As an example, for the matching of two typical PBR feature sets of 547 points and 547 points, the brute force matching took 3.79 seconds on a 1.7 GHz PC. FIG. 7 shows an example of matching of two multidimensional data sets (2955 points × 5729 points) using exhaustive search. As a result, it can be estimated that it takes 169.89 seconds.
図8は、大量の特徴点(feature points)(入力画像特徴数Nとデータベース特徴数Mのトータルの特徴数N×M)に対して、(50超の実験画像の)総当り検索のマッチングに要した時間の実験統計結果を示している。   FIG. 8 shows the matching of a brute force search (of more than 50 experimental images) against a large number of feature points (total number N × M of input image feature number N and database feature number M). The experimental statistical results for the time required are shown.
以下、本実施形態におけるdBTreeアプローチの詳細を説明する。
まず、dBTree構築18について説明する。
Details of the dBTree approach in this embodiment will be described below.
First, the dBTree construction 18 will be described.
dBTreeマッチングのコアとなるデータ構造は、効果的な階層表現(超関数を特徴付ける)を形作るツリー構造である。行をスキャンしていく特徴の表現(言いかえれば、全ての特徴が表型構造(grid structure)の中に表されている)が総当り検索を使用しているのとは違って、dBTreeマッチングでは、全空間をツリーノードによって幾つかのサブスペースに分けて階層化した平衡二分木(Balanced-binary tree)でk次元のデータを表現する。このツリーのルートノードは全部のマッチング空間を表し、その枝ノードは下位空間に異なるキャラクターの特徴を持つ矩形のサブ空間を表す。サブ空間はオリジナルスペースと比べると比較的小さいため、入力特徴の数も少ないので、ツリー表現ではどんな入力特徴でもその位置によらず高速にアクセスできる。入力特徴を含んでいるサブスペースを見つけるまで階層をダウンさせる事によって、マッチングする点のサブスペースの中での同定(identify)を少数のノードをスキャンするだけで行える。   The data structure that is the core of dBTree matching is a tree structure that forms an effective hierarchical representation (characterizing superfunctions). Unlike the representation of features that scan a row (in other words, all features are represented in a grid structure) using a brute force search, dbTree matching Then, k-dimensional data is expressed by a balanced-binary tree in which the entire space is divided into several subspaces by tree nodes. The root node of this tree represents the entire matching space, and its branch node represents a rectangular subspace with different character features in the lower space. Since the subspace is relatively small compared to the original space, the number of input features is also small, so any input feature can be accessed at high speed regardless of its position in the tree representation. By down the hierarchy until a subspace containing input features is found, the matching points can be identified in the subspace by scanning a small number of nodes.
図9A及び図9Bは、dBTreeデータ構造を形成するために、特徴空間24全体を幾つかのサブ空間26の中に階層的に分解(decomposing)する手順を示している。まず、定義済みの分割方法に従って、入力点群を分割(セグメント化)する。ここでは中央値(メディアン)フィルタリングが使われているので、同数の点が分割した両方のサブ空間26に入る。ツリーの各々のノードは、1つのパラメータ次元の値により定義されており、サブ空間26の上下方向、左右方向のサブ空間26に点が分割され、親ノードの点のそれぞれ半分が入る。これらの子ノードは、別のパラメータ次元により同数の二組に再び分割される。このプロセスはそれぞれの葉に含まれる点の数がlog(N)レベルに達するまで繰り返される。   9A and 9B show a procedure for hierarchically decomposing the entire feature space 24 into several subspaces 26 to form a dBTree data structure. First, the input point group is divided (segmented) according to a predefined dividing method. Since median filtering is used here, the same number of points enter both subspaces 26 divided. Each node of the tree is defined by a value of one parameter dimension, and points are divided into the subspace 26 in the vertical and horizontal directions of the subspace 26, and half of the points of the parent node are entered. These child nodes are again split into the same number of two sets with different parameter dimensions. This process is repeated until the number of points contained in each leaf reaches the log (N) level.
次に、dBTree検索20について説明する。
(最近傍のサブ空間26をサーチし、その中でもっとも近いノードを探す為の)ツリーの中でクエリーの点を検索する為には二つのステップがある。まず、その木はクエリーポイントを含んだサブ空間26を見つける為に、横断的にサーチされる。サブ空間26の多くは比較的小さいので、素早く、単にlog(N)回の比較演算によりサブ空間26を見つける事が出来、そしてその空間がマッチングする点を含む確率は高い。いったんサブ空間26が見つけられたら、サブ空間26内の全てのノードのノードレベルの検索が行われ、マッチングポイントの同定が行われる。このプロセスは、クエリーの点に対して最も近いノードが見つかるまで繰り返される。
Next, the dBTree search 20 will be described.
There are two steps to search for a query point in the tree (to search the nearest subspace 26 and to find the nearest node in it). First, the tree is searched across to find a subspace 26 containing query points. Since many of the subspaces 26 are relatively small, the subspace 26 can be found quickly and simply by log (N) comparison operations, and the probability that the space includes a matching point is high. Once the subspace 26 is found, a node level search of all nodes in the subspace 26 is performed and matching points are identified. This process is repeated until the closest node for the query point is found.
上記検索方法による実験では、次元数の少ないデータセットのマッチングにおいては速度向上が確認できた。しかしながら驚くべきことに、大規模なデータセットに対してはまったく効果がみられず、総当り検索アプローチよりもさえ遅い。その理由には二つの側面がある。まず、古典的なツリー検索の効率は、もしクエリーポイントまでの距離が極端に遠いならば、たくさんの木の枝を刈り取る(無視できる)場合があるという事実に基づいており、そしてこの事で不必要な検索時間を大幅に削減する事ができている。これは、次元数の少ないデータセットに対してはよく起こるが、次元数が多くなると、中央の枝に隣接して存在する調べるべき枝が多くなりすぎる。枝を取り除き、ベストな検索パスを探すためには多くの計算が実行される事になり、その為ツリー型における労力を要するサーチとなってしまっている。第二に、サブ空間26の中でノードレベルの横断サーチにより、全ての下位ノード(どのくらいの下位ノードがあるかによるが)を調べる事になりこれも労力がかかる。多次元のデータセットでは各々のサブ空間26には、労力のかかる横断サーチが必要なノードが多く含まれすぎている。   In the experiment using the above search method, it was confirmed that the speed was improved in matching data sets with a small number of dimensions. Surprisingly, however, it has no effect on large data sets and is even slower than the brute force search approach. There are two aspects to this reason. First, the efficiency of classic tree searches is based on the fact that if the distance to the query point is extremely far, many tree branches may be pruned (ignored), and this is not good. The required search time can be greatly reduced. This is common for data sets with a small number of dimensions, but as the number of dimensions increases, there are too many branches to examine that are adjacent to the central branch. In order to remove the branches and find the best search path, a lot of calculations are performed, which makes the tree-type search difficult. Secondly, all subordinate nodes (depending on how many subordinate nodes) are examined by a cross-level search at the node level in the subspace 26, which is also labor intensive. In a multidimensional data set, each subspace 26 contains too many nodes that require laborious cross-search.
本実施形態では、これらの課題を解決し、多次元データセットにおいても効率的なマッチングを実現するために、二つの戦略(方法)を用いている。まず、ツリー・プルーニング・フィルタ(枝刈りフィルタ)が調査の必要な枝を切り落とす(減らす)のに使用される。ある数の近傍の枝の調査(即ち、探索ステップ)が終わったところで、探索は強制終了させられる。距離フィルタもこの目的で使う事ができるが、広範囲に及ぶ実験からは探索ステップフィルタの方が正しいマッチングペアを探す事と、計算コストを勘案するとよりよいパフォーマンスを示している。近似値による検索結果を見ることになるが、実験結果からは、近似によるミスマッチングの増加は2%以下である。   In the present embodiment, two strategies (methods) are used to solve these problems and realize efficient matching even in a multidimensional data set. First, a tree pruning filter (pruning filter) is used to cut (reduce) the branches that need to be investigated. When the search for a certain number of nearby branches (ie, the search step) has been completed, the search is forcibly terminated. A distance filter can also be used for this purpose, but from a wide range of experiments, the search step filter finds better performance when looking for the correct matching pair and considering the computational cost. The search result based on the approximate value will be seen. From the experimental result, the increase in mismatching due to the approximation is 2% or less.
二つ目の戦略(方法)は、ノード距離フィルタを導入する事による改善である。実世界における多くの場合のマッチングの制約条件に基づけば、正しいマッチングは点在している。そこで、全ての特徴ノードをサーチする代わりにサーチする範囲に距離の閾値を設ける。ノードサーチは円周パターンで行われ、ターゲットに近いノードが最初にサーチされる。検索限界に達するとすぐに、検索は強制的に止められ、そしてその時の最近傍(複数)が出力される。   The second strategy (method) is an improvement by introducing a node distance filter. Based on the matching constraints in many cases in the real world, correct matching is interspersed. Therefore, instead of searching for all feature nodes, a distance threshold is provided in the search range. The node search is performed with a circumferential pattern, and a node close to the target is searched first. As soon as the search limit is reached, the search is forcibly stopped and the nearest neighbors at that time are output.
次に、インデックスマッチング22について説明する。
最近傍が検出されると、次のステップでその最近傍(複数)が正しいマッチングかどうかが判定される。それが前述のPBRマッチングと同様に、正しいマッチングを選択するために、マッチングの閾値を設けている。例えば、1番目の最近傍までのと2番目の最近傍との類似度の差(1番目の最近傍までの距離/2番目の最近傍までの距離)が前もって定めた閾値以下であれば、その点は正しいマッチングであると判定される。
Next, the index matching 22 will be described.
When the nearest neighbor is detected, it is determined in the next step whether the nearest neighbors are correct matching. Similar to the PBR matching described above, a matching threshold is provided in order to select a correct matching. For example, if the difference in similarity between the first nearest neighbor and the second nearest neighbor (distance to the first nearest neighbor / distance to the second nearest neighbor) is equal to or less than a predetermined threshold value, That point is determined to be correct matching.
図10及び図11に(50を超えるテスト画像での)総当りとdBTreeマッチング法の比較実験の統計結果を示す。   FIG. 10 and FIG. 11 show statistical results of comparison experiments between the brute force and dBTree matching methods (with more than 50 test images).
なお、1番目と2番目の最近傍の類似度の差は、その点の類似度の同一性判定における正確性を表現するパラメータとなる。また、画像内のマッチング点の数そのものも、画像としての同一性判定における正確性を表現するパラメータとなる。さらに、上記式(13)で表現される画像内のマッチング点のアフィン変換における差分の総和(残差)も、画像としての同一性判定における正確性を表現するパラメータとなる。これらの一部を利用してもよいし、それぞれを変数とする変換式を定義し、これをマッチングにおける同一性判定の正確性としてもよい。   Note that the difference in similarity between the first and second nearest neighbors is a parameter that expresses the accuracy in determining the similarity of the similarities at that point. Also, the number of matching points in the image itself is a parameter expressing the accuracy in determining the identity of the image. Further, the sum of the differences (residuals) in the affine transformation of the matching points in the image expressed by the above equation (13) is also a parameter expressing the accuracy in determining the identity as the image. A part of these may be used, or a conversion formula with each as a variable may be defined, and this may be used as the accuracy of identity determination in matching.
そして、該正確性の値を利用することにより、マッチングした結果として複数の画像を一定の序列で出力することも可能となる。例えば、マッチング点の数を正確性として利用し、その数の降順でマッチング結果を表示することにより、より信頼できる画像から順に出力することになる。   By using the accuracy value, it is possible to output a plurality of images in a fixed order as a result of matching. For example, by using the number of matching points as accuracy and displaying the matching results in descending order of the number, the images are output in order from more reliable images.
以下、上記第1及び第2実施形態で説明したような特徴マッチング方法を利用したアプリケーションについて説明する。   Hereinafter, an application using the feature matching method as described in the first and second embodiments will be described.
[第1アプリケーション]
図12は、第1アプリケーションとしての情報検索システムの構成を示す図である。
[First application]
FIG. 12 is a diagram illustrating a configuration of an information search system as the first application.
この情報検索システムは、情報呈示装置100と、記憶部102と、データセットサーバ104と、情報サーバ106とからなる。上記情報呈示装置100は、プラットフォームハードウェアに構成される。上記記憶部102は、上記プラットフォーム内に設けられる。上記データセットサーバ104及び上記情報サーバ106は、上記プラットフォームハードウェアがアクセス可能なサイトに構成される。   This information retrieval system includes an information presentation device 100, a storage unit 102, a data set server 104, and an information server 106. The information presentation apparatus 100 is configured by platform hardware. The storage unit 102 is provided in the platform. The data set server 104 and the information server 106 are configured in a site accessible by the platform hardware.
ここで、上記情報呈示装置100は、撮影部108と、認識及び識別部110と、情報指定部112と、呈示画像生成部114と、画像表示装置116とから構成される。上記認識及び識別部110,情報指定部112,及び呈示画像生成部114は、プラットフォームハードウェア内に設置された情報呈示装置のアプリケーションソフトウェアにより実現される。   Here, the information presentation device 100 includes a photographing unit 108, a recognition and identification unit 110, an information designation unit 112, a presentation image generation unit 114, and an image display device 116. The recognition / identification unit 110, the information designation unit 112, and the presentation image generation unit 114 are realized by application software of an information presentation apparatus installed in the platform hardware.
なお、上記の撮影部108及び画像表示装置116は、プラットフォームハードウェアが物理的な構成として備えていたり、外部に接続されるものの場合もある。従って、上記の認識及び識別部110、情報指定部112及び呈示画像生成部114を情報呈示装置と称しても構わない。しかしながら、本アプリケーションでは、画像の撮影から最終的な画像の呈示までを行う装置としてとらえて、それら撮影部108、認識及び識別部110、情報指定部112、呈示画像生成部114、及び画像表示装置116を合わせて情報呈示装置と称する。   The photographing unit 108 and the image display device 116 may be provided with platform hardware as a physical configuration or connected to the outside. Therefore, the recognition and identification unit 110, the information specifying unit 112, and the presentation image generation unit 114 may be referred to as an information presentation device. However, in this application, it is considered as a device that performs from image shooting to final image presentation, and the shooting unit 108, the recognition and identification unit 110, the information designation unit 112, the presented image generation unit 114, and the image display device 116 is collectively referred to as an information presentation device.
ここで、上記撮影部108は、所定の撮影範囲を有するカメラ等である。上記認識及び識別部110は、上記撮影部108により撮影された画像から、上記撮影範囲内の個々の対象物を認識し識別するものである。上記情報指定部112は、上記認識及び識別部110によって識別された個々の対象物の情報に応じて、情報サーバ106より所定の情報(表示コンテンツ)を取得する。そして、上記情報指定部112は、上記所定の情報を関連情報として指定する。上記呈示画像生成部114は、上記情報指定部112により指定された関連情報を上記撮影部108により撮影された画像と関連させた呈示画像を生成する。そして、上記画像表示装置116は、上記呈示画像生成部114で生成された呈示画像を表示する液晶等のディスプレイである。   Here, the photographing unit 108 is a camera or the like having a predetermined photographing range. The recognition and identification unit 110 recognizes and identifies individual objects within the imaging range from the image captured by the imaging unit 108. The information specifying unit 112 acquires predetermined information (display content) from the information server 106 in accordance with the information on each object identified by the recognition and identification unit 110. Then, the information specifying unit 112 specifies the predetermined information as related information. The presented image generation unit 114 generates a presented image that associates the related information specified by the information specifying unit 112 with the image captured by the imaging unit 108. The image display device 116 is a display such as a liquid crystal that displays the presentation image generated by the presentation image generation unit 114.
また、該プラットフォーム内の記憶部102には、図示しない通信部或いは記憶媒体を介して、データセットサーバ104よりデータセット118が保存されている。但しこのデータセット118の導入(ダウンロード又はメディア交換)及び保存は、情報呈示装置100の起動前後を問わず可能である。   The storage unit 102 in the platform stores a data set 118 from the data set server 104 via a communication unit or storage medium (not shown). However, introduction (downloading or media exchange) and storage of the data set 118 can be performed regardless of whether the information presentation apparatus 100 is activated or not.
このような構成において、情報呈示装置100は、図13に示すように、まず、撮影部108によって画像を取得する(ステップS100)。次に、上記ステップS100にて取得した画像に対して、認識及び識別部110が、所定の対象物を抽出する(ステップS102)。続いて、認識及び識別部110が、上記ステップS102にて抽出した対象物の像(例えば四角形の枠内の画像)について上記プラットフォーム内記憶部102から読み出したデータセット118内の特徴を基に比較及び識別を行う。このようにして、認識及び識別部110が、一致する対象物像を検出する。そして、認識及び識別部110が、一致する対象物像を検出した場合には(ステップS104)、それを次ステップである情報指定部112において再度データセット118の対応するデータから取得すべき情報の在処及び/または取得方法を読み出して実行する(ステップS106)。一般的には、プラットフォームから通信等でネットワーク上などの外部に存在する情報サーバ106にアクセスし、情報を取得する。そして、呈示画像生成部114は、上記情報指定部112にて取得した情報(図示しない)をプラットフォーム内或いは外部にある画像表示装置116に表示可能なように加工して呈示画像を生成する。呈示画像生成部114から、この生成した呈示画像を画像表示装置116に送出することで、該画像表示装置116で情報を表示する(ステップS108)。ここで、場合によっては、撮影部108で取得した原画像上に上記で取得した情報を重畳させた呈示画像を生成して画像表示装置116に送出させることも有益な情報呈示である。従って、どのような手法で呈示を行うかは利用者により選択可能とする。   In such a configuration, the information presentation apparatus 100 first acquires an image by the photographing unit 108 as shown in FIG. 13 (step S100). Next, the recognition and identification unit 110 extracts a predetermined object from the image acquired in step S100 (step S102). Subsequently, the recognition and identification unit 110 compares the image of the object extracted in step S102 (for example, an image in a rectangular frame) based on the characteristics in the data set 118 read from the in-platform storage unit 102. And identification. In this way, the recognition and identification unit 110 detects a matching object image. When the recognition and identification unit 110 detects a matching object image (step S104), the information specifying unit 112, which is the next step, detects the information to be acquired from the corresponding data in the data set 118 again. The location and / or acquisition method is read and executed (step S106). In general, information is acquired by accessing the information server 106 that exists on the outside of the network or the like by communication from the platform. Then, the presentation image generation unit 114 processes the information (not shown) acquired by the information specifying unit 112 so that the information can be displayed on the image display device 116 inside or outside the platform, and generates a presentation image. By sending the generated presentation image to the image display device 116 from the presentation image generation unit 114, information is displayed on the image display device 116 (step S108). Here, in some cases, it is also useful information presentation that a presentation image in which the information acquired above is superimposed on the original image acquired by the photographing unit 108 is generated and sent to the image display device 116. Therefore, the user can select which method is used for presentation.
また、図14に示すように、認識及び識別部110と情報指定部112との間に、位置及び姿勢(orientation)算出部120を設けるようにしても良い。上記呈示画像生成部114は、上記情報指定部112により指定された関連情報を、上記撮影部108により撮影された画像に対して、上記位置及び姿勢算出部120で算出された位置及び姿勢で重畳表示するような呈示画像を生成する。   Further, as shown in FIG. 14, a position and orientation (orientation) calculation unit 120 may be provided between the recognition and identification unit 110 and the information specifying unit 112. The presented image generation unit 114 superimposes the related information specified by the information specifying unit 112 on the image captured by the imaging unit 108 at the position and orientation calculated by the position and orientation calculation unit 120. A presentation image to be displayed is generated.
なお、図12及び図14では図示されていないが、プラットフォームの記憶容量が大きい場合には、以下のようなことも可能である。すなわち、データセットサーバ104よりデータセット118を導入する際に、情報サーバ106とデータセットサーバ104とを通信させ、導入するデータセットサーバ104に対応する情報(表示コンテンツ)をプラットフォーム内記憶部102に予め導入即ち保存する。このようにすれば、情報呈示装置100の動作効率を高めることができる。   Although not shown in FIGS. 12 and 14, when the storage capacity of the platform is large, the following is also possible. That is, when the data set 118 is introduced from the data set server 104, the information server 106 and the data set server 104 communicate with each other, and information (display content) corresponding to the introduced data set server 104 is stored in the in-platform storage unit 102. Introduce or store in advance. If it does in this way, the operation efficiency of information presentation device 100 can be raised.
ここで、本第1アプリケーションを、カメラ付き携帯電話機をプラットフォームとした場合について説明する。携帯電話機は、基本的には個人で使用する機器である。近年そのほとんどの機種には、アプリケーションソフトウェアを携帯電話機でアクセス可能なインターネットサイト(以下、携帯サイトと略記)上から導入可能(いわゆるダウンロードによるインストール可能)である。本情報呈示装置100も基本的にはそういった機種の携帯電話機を前提にしている。つまり、携帯電話機の記憶部102に本情報呈示装置100のアプリケーションソフトウェアをインストールする。またデータセット118は、特定の携帯サイト(図示しない)に繋がるデータセットサーバ104から通信を介して適宜当該携帯電話機の記憶部102に保存する。   Here, a case where the first application is a mobile phone with a camera will be described. A mobile phone is basically a device used by an individual. In recent years, it is possible to install application software on an Internet site (hereinafter abbreviated as “mobile site”) that can be accessed by a mobile phone (so-called downloadable installation). The information presenting apparatus 100 is basically based on such a cellular phone. That is, the application software of the information presenting apparatus 100 is installed in the storage unit 102 of the mobile phone. The data set 118 is appropriately stored in the storage unit 102 of the mobile phone via communication from the data set server 104 connected to a specific mobile site (not shown).
特に、携帯電話機での本情報呈示装置100の利用範囲としては、例えば以下のような利用方法が挙げられる。すなわち、雑誌または新聞等に存在する写真を対象物に予め指定しておき、それに関するデータセットを用意しておく。利用者は上記出版物の紙面から携帯電話機で対象物を撮影し、その対象物に関連した情報を携帯サイトから読み出す。こういった場合、あらゆる出版物の写真やアイコン、イラスト等を全てを特徴として保持することは不可能である。従って、特定の使用範囲等に限定して特徴を提供することが現実的である。即ち、ある特定の雑誌の「○月号に掲載された写真を対象物として参照するためのデータセット」といった纏め方で利用者に供給すればよい。このようにすれば、利用者側も利用しやすく、また上述のように一つのデータセットに参照画像を100〜数100程度であれば携帯電話機の記憶部102に充分収まり且つ認識及び識別処理時間も数秒以内で済む。また、本情報呈示装置100に利用される印刷物側の写真・イラスト等には特段の仕掛けや処理が不要である。   In particular, examples of the range of use of the information presenting apparatus 100 in a mobile phone include the following usage methods. That is, a photograph existing in a magazine or a newspaper is designated as an object in advance, and a data set related thereto is prepared. A user photographs an object with a mobile phone from the paper of the publication, and reads information related to the object from the mobile site. In such cases, it is impossible to keep all the photographs, icons, illustrations, etc. of all publications as features. Therefore, it is realistic to provide features limited to a specific use range. That is, what is necessary is just to supply to a user by the way of summarizing “a data set for referring to a photograph published in a monthly issue as an object” of a specific magazine. In this way, it is easy for the user to use, and as described above, if the reference image is about 100 to several hundreds in one data set, it can be sufficiently stored in the storage unit 102 of the mobile phone and can be recognized and identified. Can be done within seconds. In addition, no special device or processing is required for the photo / illustration on the printed matter side used in the information presenting apparatus 100.
以上のような第1アプリケーションによれば、利用者にとってはその利用しようとする範囲のデータを複数一括して情報呈示装置100に導入することが容易にでき、また、データセットの供給側も準備しやすく、また商業的に提供しやすいサービスを実現できるようになる。   According to the first application as described above, a user can easily introduce a plurality of data in a range to be used into the information presenting apparatus 100 in a batch, and the data set supply side is also prepared. Services that are easy to do and that are easy to provide commercially.
また、位置及び姿勢を算出する機能も備えた場合には、情報サーバ106から取得された情報を原画像上に、適切な位置及び姿勢をもって表示可能となる。すなわち、利用者の情報取得効果をより高めることに繋がる。   In addition, when a function for calculating the position and orientation is also provided, information acquired from the information server 106 can be displayed on the original image with an appropriate position and orientation. That is, it leads to improving the information acquisition effect of the user.
[第2アプリケーション]
次に、第2アプリケーションを説明する。
図15は、第2アプリケーションとしての情報検索システムの構成を示す図である。この情報検索システムの基本的な構成及び動作は、前述の第1アプリケーションと同様である。情報呈示装置100において特徴をセット単位で取り扱うことができることは、上述の通り利用者の利便性を増し、且つデータセットの供給を現実的にするものである。
[Second application]
Next, the second application will be described.
FIG. 15 is a diagram illustrating a configuration of an information search system as the second application. The basic configuration and operation of this information retrieval system are the same as those of the first application described above. The ability to handle features in units of sets in the information presenting apparatus 100 increases the convenience for the user as described above and makes the supply of data sets realistic.
しかしながら、情報呈示装置100が広く普及し、またデータセットも極めて多種多様に多くの事業者から供給される状況になった時には、以下のようにすることが望ましい。すなわち、情報呈示装置100の利用者において利用度の高いもの(以下、これを基本データ122と称する。)は、データセット118として別体で供給せずに、どんなデータセット118を選択していても利用可能なようにしておくことが望ましい。例えば、データセット118自体の索引情報に紐付く対象物や最も頻繁に利用される対象物等については、データセット118からそれらを除外し、情報呈示装置100のアプリケーションソフトウェア内にそれら数点の特徴のみを常駐させることが有効である。言い換えると、本第2アプリケーションにおいては、データセット118は、利用者の利用目的や対応させる出版物または対象物に応じてセットを組み、アプリケーションソフトウェアとは別体で供給する。しかしながら、特に利用頻度が大きいか必要性の高い対象物についての特徴等は、基本データ122としてアプリケーションソフトウェア自体に常駐或いは保有させる。   However, when the information presenting apparatus 100 is widely spread and the data set is supplied from an extremely wide variety of businesses, it is desirable to do the following. That is, a data set 118 that is highly used by the user of the information presenting apparatus 100 (hereinafter referred to as basic data 122) is not supplied as a separate data set 118, and any data set 118 is selected. It is desirable to make it available. For example, the objects associated with the index information of the data set 118 itself, the objects that are used most frequently, etc. are excluded from the data set 118, and these several features are included in the application software of the information presentation apparatus 100. It is effective to make only resident. In other words, in the second application, the data set 118 is assembled according to the purpose of use of the user and the publication or object to be associated, and supplied separately from the application software. However, characteristics or the like of an object that is particularly frequently used or highly necessary is resident or held in the application software itself as basic data 122.
ここで再度、携帯電話機がプラットフォームである場合を例に説明する。例えば、通常のデータセット118を所定の携帯サイトから通信を介してダウンロードする事が最も実用的である。しかしながら、この際、データセット118の索引サイト(携帯サイト上のページ)上で案内及び検索が可能なことが携帯電話機利用者に便利である。そのサイト自体へアクセスする場合も、それ専用の対象物を本情報呈示装置100に撮影させ、閲覧ソフトウェアに上記サイトへのURLを渡すことでアクセス可能とする為に、特にデータセット118の準備を必要としない。すなわち、アプリケーションソフトウェア内に当該対象物に対応する特徴を基本データ122として存在させる。この場合、特定のイラストやロゴ等を対象物としても良いし、どこでも入手できるような無地の4角形などを対象物として設定しておく。   Here, the case where the mobile phone is a platform will be described again as an example. For example, it is most practical to download a normal data set 118 from a predetermined mobile site via communication. However, at this time, it is convenient for the mobile phone user that guidance and search are possible on the index site (page on the mobile site) of the data set 118. Even when accessing the site itself, in order to make it accessible by letting the information presenting apparatus 100 photograph the object dedicated to the site and passing the URL to the site to the viewing software, it is necessary to prepare the data set 118 in particular. do not need. That is, the feature corresponding to the object is present as basic data 122 in the application software. In this case, a specific illustration, logo, or the like may be used as an object, or a plain quadrilateral that can be obtained anywhere is set as an object.
あるいは、基本データ122をアプリケーションソフトウェア自体に常駐或いは保有させる代わりに、図16に示すように、供給されるデータセット118において、何れのデータセット118にも必ず基本データ122となる同一のデータファイル(図では特徴「A」)が少なくとも一組は内包されるようにしても良い。   Alternatively, instead of making the basic data 122 resident or held in the application software itself, as shown in FIG. 16, in the supplied data set 118, the same data file (which is always the basic data 122) is included in any data set 118. In the figure, at least one set of features “A”) may be included.
即ち、前述の通り、情報呈示装置100において実際に動作させる場合には、利用者が任意のデータセット118を導入する。ここで、何れのデータセット118にも前出の基本データ122が少なくとも1種は含まれており、利用頻度が大きいか必要性の高い対象物については必ず対応できる。例えば、図16に示すように、データセット118が多数(データセット(1)〜(n))用意されており、その中で1組或いは複数組のデータセット118をプラットフォーム内記憶部102に導入及び保存した場合を考える。この場合、どのデータセット118を選択したとしても必ず1種又は複数種の基本データ122は含まれている。したがって、利用者は特段の配慮をせずに基本的な対象物を撮影し、基本的な動作をさせることができる。繰り返しになるが、基本的な動作とは「データセットの索引ページへのアクセス」であったり「該情報呈示装置100供給者へのサポート窓口へのアクセス」或いは所定地域内に於ける「天気情報サイトへのアクセス」、その他利用者の多くが望む動作である。つまり、基本的な動作とは、利用者による使用頻度の高い動作であると定義する。   That is, as described above, when the information presenting apparatus 100 is actually operated, the user introduces an arbitrary data set 118. Here, at least one type of the basic data 122 is included in any data set 118, and an object that is frequently used or highly necessary can be dealt with without fail. For example, as shown in FIG. 16, a large number of data sets 118 (data sets (1) to (n)) are prepared, and one or a plurality of data sets 118 are introduced into the in-platform storage unit 102. And consider the case of saving. In this case, regardless of which data set 118 is selected, one or more types of basic data 122 are always included. Therefore, the user can shoot a basic object and perform a basic operation without special consideration. Again, the basic operation is “access to the index page of the data set”, “access to the support window for the information presentation device 100 supplier”, or “weather information” in a predetermined area. “Access to the site” and other actions that many users want. That is, the basic operation is defined as an operation that is frequently used by the user.
また、図17に示すように、当該情報呈示装置100を起動させる際にデータセットサーバ104に接続して、必ず基本データ122をダウンロードし、他のデータセット118に取り込む或いは同時に参照可能とするようにしても良い。   In addition, as shown in FIG. 17, when the information presenting apparatus 100 is activated, it is connected to the data set server 104 so that the basic data 122 is always downloaded and taken into another data set 118 or can be referred to at the same time. Anyway.
この構成は、データセット118は別体で供給、特にネットワーク経由でデータセットサーバ104よりダウンロードされる形態の場合に有効な基本データ122の導入方法を提供するものである。即ち、図17に示す構成により、データセット118をネットワークを介して本情報呈示装置100に供給する場合、データセット118を利用者が選択してデータセットサーバ104よりダウンロードする際に、データセット118に加え、自動的に基本データ122についても同時にダウンロードすることができる。また、図17に示す構成により、既に本情報呈示装置100の存するプラットフォームの記憶部102に基本データ122が保存されている場合には、その基本データ122の更新を図ることができる。   This configuration provides a method for introducing the basic data 122 that is effective when the data set 118 is supplied separately, and is downloaded from the data set server 104 via the network. That is, when the data set 118 is supplied to the information presenting apparatus 100 via the network with the configuration shown in FIG. 17, when the user selects the data set 118 and downloads it from the data set server 104, the data set 118 is displayed. In addition, the basic data 122 can be automatically downloaded at the same time. In addition, with the configuration shown in FIG. 17, when the basic data 122 is already stored in the storage unit 102 of the platform in which the information presenting apparatus 100 exists, the basic data 122 can be updated.
これにより利用者は、特段の配慮をせずとも常に基本データ122を情報呈示装置100で利用可能となる。   Thus, the user can always use the basic data 122 with the information presenting apparatus 100 without special consideration.
例えば、近年、カメラ付き携帯電話機においてアプリケーションソフトを利用できるものが一般的に普及している。これをプラットフォームに本情報呈示装置100の撮影部108及び画像表示装置116を除く機能を有するアプリケーションソフトウェアをインストールしてある場合を考える。この場合、図18に示すように、該アプリケーションソフトウェアを使用するに当たり、データセット118を携帯電話機の通信を介して所定のデータセットダウンロードサイトを閲覧する(ステップS110)。次に、データセットサーバ104より初期的にダウンロードを行う(ステップS112)。それに引き続き、データセットサーバ104からは、基本データ122の更新の必要性を判定する(ステップS114)。   For example, in recent years, mobile phones with cameras that can use application software have become popular. Consider a case where application software having functions other than the photographing unit 108 and the image display device 116 of the information presenting device 100 is installed on the platform. In this case, as shown in FIG. 18, when using the application software, the data set 118 is browsed to a predetermined data set download site via communication of the mobile phone (step S110). Next, the data set server 104 is initially downloaded (step S112). Subsequently, the necessity of updating the basic data 122 is determined from the data set server 104 (step S114).
すなわち、該携帯電話機内に基本データ122が存在しない場合には、必要と判定する。また、該携帯電話機内の記憶部102に既に基本データ122が存在しても、その基本データ122のバージョンが、該データセットサーバ104が提供しようとする基本データ122のバージョンよりも古い場合には、更新が必要性と判定する。   That is, when the basic data 122 does not exist in the mobile phone, it is determined that it is necessary. Further, even if the basic data 122 already exists in the storage unit 102 in the mobile phone, the version of the basic data 122 is older than the version of the basic data 122 that the data set server 104 intends to provide. It is determined that updating is necessary.
続いて、基本データ122についても上記のデータセット118と同様にダウンロードを行う(ステップS116)。そして、そのダウンロードした基本データ122を該携帯電話機内の記憶部102に保存する(ステップS118)。また、上記ダウンロードしたデータセット118を該携帯電話機内の記憶部102に保存する(ステップS120)。   Subsequently, the basic data 122 is downloaded in the same manner as the data set 118 (step S116). Then, the downloaded basic data 122 is stored in the storage unit 102 in the mobile phone (step S118). The downloaded data set 118 is stored in the storage unit 102 in the mobile phone (step S120).
このように、該携帯電話機内の記憶部102に既に基本データ122が存在した場合は、バージョン比較により、更新の必要性を判定の上、基本データ122のダウンロード及び保存を行う。   As described above, when the basic data 122 already exists in the storage unit 102 in the mobile phone, the basic data 122 is downloaded and stored after determining the necessity of updating through version comparison.
以上のように、データセット118の必要性はある程度利用者の必要に応じたデータセット118に限り該携帯電話機に保存することで、対象物の識別処理速度の確保と利用者の必要性に不便を掛けないことを両立させる。   As described above, the necessity of the data set 118 is limited to a certain extent according to the needs of the user, and only the data set 118 is stored in the mobile phone, which is inconvenient for ensuring the object identification processing speed and the necessity of the user. Make sure not to multiply.
本情報呈示装置100の利用範囲としては新聞または雑誌などの出版物上の写真・イラストなどの意匠を対象物としてそれらに関係する、或いは起因する情報への携帯電話機よりのアクセスやそれらの情報をカメラで取得した像上に重畳表示する事による情報呈示の高度化がある。更に、印刷物に限らず物体や町中にある看板等も対象物として特徴に登録することも可能である。この場合、それらを携帯電話機から対象物として認識することで付加情報或いは最新情報の取得を行うことが可能である。   The scope of use of the information presenting apparatus 100 includes access from a mobile phone to information related to or resulting from designs such as photographs and illustrations on publications such as newspapers or magazines, and information thereof. There is sophistication of information presentation by superimposing on an image acquired by a camera. Furthermore, it is possible to register not only the printed matter but also an object, a signboard in the town, and the like as features. In this case, it is possible to acquire additional information or latest information by recognizing them as objects from the mobile phone.
更に携帯電話機を用いた利用形態として、CDやDVDといったパッケージを持った商品においては、そのジャケットデザインが様々であるため、それを対象物として利用することが可能である。例えば、店頭、或いは別途レコード会社等から当該ジャケット群に関するデータセットを利用者に配信することにより、CD及び/またはDVDショップ或いはレンタル店等において、各ジャケットを対象物として携帯電話機で認識できるようになる。このため、例えば、当該対象物にURLを関連づけておき、このURLにおいて、当該対象物に紐付く情報として例えば楽曲のさわり部分の音声配信等を携帯電話機に配信できる。また、この紐付く情報として、ジャケット面に応じたアノテーション(ジャケット写真の個別注釈)も適切に加えることが可能である。   Furthermore, as a usage form using a mobile phone, since products with packages such as CDs and DVDs have various jacket designs, they can be used as objects. For example, by distributing a data set related to the jacket group from a store or a separate record company to the user, each jacket can be recognized as a target by a mobile phone in a CD and / or DVD shop or a rental store. Become. For this reason, for example, a URL is associated with the target object, and, for example, voice distribution of a touch portion of music can be distributed to the mobile phone as information associated with the target object. In addition, as the information to be associated, an annotation corresponding to the jacket surface (individual annotation of the jacket photo) can be appropriately added.
即ち、携帯電話機を用いた利用形態として、CDやDVDといったパッケージを持った商品のジャケットデザインを対象物として利用する場合には、以下のようにすれば良い。まず、(1)音楽を固定した記録媒体又はその包装の外観イメージの少なくとも一部を対象物データとして携帯電話機に予め配信する。そして、(2)当該対象物によって導かれたアドレスにアクセスした上記携帯電話機に対して、上記固定された音楽に関連した所定の音楽情報(音声データや注釈情報)を配信する。   That is, when using a jacket design of a product having a package such as a CD or DVD as an object as a usage form using a mobile phone, the following may be performed. First, (1) at least a part of an appearance image of a recording medium on which music is fixed or its packaging is distributed in advance to a mobile phone as object data. Then, (2) predetermined music information (audio data or annotation information) related to the fixed music is distributed to the mobile phone that has accessed the address guided by the object.
このようにすれば、レコード会社側のプロモーションとしても有効であるし、また、店側としても試聴等の準備の手間が省ける等のメリットが生ずる。   In this way, it is effective as a promotion on the record company side, and there are merits that the store side can save time for preparations such as trial listening.
なお、上述した各アプリケーションで説明した、認識及び識別部、情報指定部、呈示画像生成部、位置及び姿勢算出部は、いずれも情報呈示装置が内蔵するCPU及び当該CPU上で動作するプログラムで実現するものとして記載した。しかし、例えば専用回路を設けるなど、他の態様でも実現可能なものである。   Note that the recognition and identification unit, information specifying unit, presentation image generation unit, position and orientation calculation unit described in each application described above are all realized by a CPU built in the information presentation device and a program operating on the CPU. It was described as to be. However, other modes such as providing a dedicated circuit can be realized.
また、プラットフォーム内記憶部の実現態様としては、外付けのデータパック、着脱自在の記憶媒体(例えば、フラッシュメモリ)などがあるが、これに限定されない。   In addition, examples of the implementation mode of the storage unit in the platform include an external data pack and a removable storage medium (for example, a flash memory), but are not limited thereto.
また、本第2アプリケーションにおいても、上記第1アプリケーションと同様に位置及び姿勢算出部120を備え、算出した位置及び姿勢に基づいて関連情報を呈示するようにしても良い。   The second application may also include the position and orientation calculation unit 120 as in the first application, and present related information based on the calculated position and orientation.
また、図12、図14乃至図17に破線で示すように、データセットサーバ104及び/又は情報サーバ106の代わりに、交換可能な記憶メディア124を使用するものであっても良い。この場合プラットフォーム記憶部102へのデータセット118や基本データ122の導入とは、その記憶メディア124から内部メモリへのデータの展開を意味する。   Further, as shown by broken lines in FIGS. 12 and 14 to 17, an exchangeable storage medium 124 may be used instead of the data set server 104 and / or the information server 106. In this case, the introduction of the data set 118 and the basic data 122 to the platform storage unit 102 means the development of data from the storage medium 124 to the internal memory.
[第3アプリケーション]
例えば、図12に示した第1アプリケーションとしての情報検索システムの構成は、図19に示すように変形することができる。すなわち、第1アプリケーションにおいて上記情報呈示装置100内に設けていた上記認識及び識別部110、及び上記記憶部102内に設けていた上記データセット118を、図19に示すようにサーバ側へ設けても勿論よい。なお、このような構成の情報検索システムとする場合には、上記記憶部102内に設けていた上記記憶メディア124は必要性を欠くので設けない。
[Third application]
For example, the configuration of the information search system as the first application shown in FIG. 12 can be modified as shown in FIG. That is, the recognition and identification unit 110 provided in the information presentation device 100 in the first application and the data set 118 provided in the storage unit 102 are provided on the server side as shown in FIG. Of course. In the case of an information search system having such a configuration, the storage medium 124 provided in the storage unit 102 is not provided because it is not necessary.
[第4アプリケーション]
次に、第4アプリケーションを説明する。
図20は、第4アプリケーションとしての商品認識システムの構成を示す図である。
[Fourth application]
Next, the fourth application will be described.
FIG. 20 is a diagram illustrating a configuration of a product recognition system as the fourth application.
この商品認証システムは、バーコードが取り付けられている商品の認識用のリーダであるバーコードスキャナ126と、商品の重量を量る重量秤128と、に加えて、商品を撮影するためのカメラ130を備えている。現金を収納するコントロール部/現金収納箱132は、認識用の商品特徴を登録したデータベース134により商品の認識を行い、認識した商品の種別、単価、合計価格をモニタ136に表示する。なお、カメラ130の視野138は、重量秤128の範囲と一致している。   This merchandise authentication system includes a bar code scanner 126 which is a reader for recognizing merchandise to which a bar code is attached, a weight scale 128 for weighing the merchandise, and a camera 130 for photographing the merchandise. It has. The control unit / cash storage box 132 for storing cash recognizes the product by the database 134 in which the product features for recognition are registered, and displays the type, unit price, and total price of the recognized product on the monitor 136. Note that the field of view 138 of the camera 130 matches the range of the weight scale 128.
このような商品認識システムにおいて、システム提供者は、予め認識が必要となる対象物の画像を撮影し、そこから抽出された特徴をデータベース134に登録しておく。例えば、スーパーマーケットでの使用においては、トマト、林檎、ピーマンといった野菜類をそれぞれ撮影し、図21に示すように、特徴140を抽出し、それぞれに対応した認識IDや名称などの識別指標を添付してデータベース134に格納する。また、必要に応じて、各対象物の平均重量、平均サイズといった補助情報についてもデータベース134に格納しておく。   In such a product recognition system, the system provider takes an image of an object that needs to be recognized in advance, and registers the features extracted from the image in the database 134. For example, when used in a supermarket, vegetables such as tomatoes, apples, and peppers are photographed, and as shown in FIG. 21, features 140 are extracted, and identification indices such as recognition IDs and names corresponding thereto are attached. Stored in the database 134. Further, auxiliary information such as the average weight and average size of each object is also stored in the database 134 as necessary.
図22は、本第4アプリケーションとしての商品認識システムにおける商品精算のフローチャートを示す図である。   FIG. 22 is a diagram showing a flow chart of product checkout in the product recognition system as the fourth application.
商品の購入者は、対象物である商品を持ってレジに設置されたカメラ130の視野138内に置くことで、当該商品の撮影を行う(ステップS122)。その商品撮影データは、カメラ130からコントロール部/現金収納箱132に転送され(ステップS124)、該コントロール部/現金収納箱132において、特徴の抽出と、データベース134を参照した商品の認識が行われる(ステップS126)。   The purchaser of the product takes the product as an object and places it in the field of view 138 of the camera 130 installed at the cash register, thereby photographing the product (step S122). The product photographing data is transferred from the camera 130 to the control unit / cash storage box 132 (step S124), and the control unit / cash storage box 132 performs feature extraction and product recognition with reference to the database 134. (Step S126).
そして、商品が認識されたならば、コントロール部/現金収納箱132は、データベース134より当該認識商品の設定価格を呼び出して(ステップS128)、価格をモニタ136に表示して、精算を行う(ステップS130)。   If the product is recognized, the control unit / cash storage box 132 calls the set price of the recognized product from the database 134 (step S128), displays the price on the monitor 136, and performs settlement (step S128). S130).
購入者がトマト、ピーマンの二種類の購入を行う場合、まずカメラ130でトマトを撮影することで、コントロール部/現金収納箱132は、その撮影データ中の特徴を抽出しデータベース134との照合が行われる。そして、照合後に対象物である商品が一つに特定された場合には、その価格、従量制ならば重さに応じた係数をデータベース134から読み出して、価格をモニタ136に出力する。次に、ピーマンについても同様に、対象商品の同定、価格の出力が行われる。そして最終的に、商品の合計価格を演算してモニタ136に出すことで精算が行われる。   When the purchaser purchases two types of tomatoes and peppers, first, the camera 130 captures the tomatoes, and the control unit / cash storage box 132 extracts the features in the captured data and compares them with the database 134. Done. Then, when a single commodity as a target is specified after collation, a coefficient corresponding to the price or weight if the pay-as-you-go system is read out from the database 134 and the price is output to the monitor 136. Next, for the bell pepper, the target product is identified and the price is output. Finally, the total price of the merchandise is calculated and sent to the monitor 136 for settlement.
なお、照合後に類似度(similarity)の閾値を越えた対象候補が複数出た場合には、(1)モニタ136に候補を表示し選ばせる、(2)再度対象物の撮影を行う、といった方法を採り、対象物の確定(establish)を行う。   In addition, when a plurality of target candidates that exceed the similarity threshold after collation appear, (1) the candidate is displayed and selected on the monitor 136, and (2) the target is imaged again. The target is established (establish).
なお、上記ではカメラ130による撮影は一商品ずつ行われる例を示したが、複数種類の対象商品を一度に撮影し、照合を行うことも可能である。   In the above description, an example in which shooting by the camera 130 is performed for each product is shown. However, it is also possible to capture a plurality of types of target products at a time and perform collation.
また、購入者が自らこれらの処理を行えば、自動レジが実現できる。
図23は、上記ステップS126での特徴の抽出、認識処理のフローチャートを示す図である。
In addition, if the purchaser performs these processes, an automatic cash register can be realized.
FIG. 23 is a flowchart of the feature extraction / recognition process in step S126.
即ち、カメラ130から入力された画像(商品撮影データ)の中から複数の特徴を抽出し(ステップS132)、また、データベース134から予め登録してある対象物の特徴を比較データとして読み出す(ステップS134)。そして、図24に示すように、上記カメラ130からの画像142の特徴と予め登録している参照画像144の特徴との比較対象を行い(ステップS136)、対象物の同定を判断する(ステップS138)。ここで、同一でないと判断された場合には(ステップS140)、データベース134から次の予め登録している対象物の特徴を比較データとして読み出して(ステップS142)、上記ステップS136に戻る。   That is, a plurality of features are extracted from the image (product photographing data) input from the camera 130 (step S132), and the features of the object registered in advance from the database 134 are read out as comparison data (step S134). ). Then, as shown in FIG. 24, the feature of the image 142 from the camera 130 is compared with the feature of the reference image 144 registered in advance (step S136), and the identification of the target is judged (step S138). ). If it is determined that they are not identical (step S140), the feature of the next object registered in advance is read out from the database 134 as comparison data (step S142), and the process returns to step S136.
これに対して、同一であると判断されたならば(ステップS140)、現在比較中の対象物と入力画像内の商品とが同一であると判定する(ステップS144)。   On the other hand, if it is determined that they are the same (step S140), it is determined that the object currently being compared and the product in the input image are the same (step S144).
以上のように、第4アプリケーションとしての商品認識システムでは、商品にバーコードやRFタグなどの認識指標を取り付けることなく、商品の認識が可能となる。特に、工業製品のように印刷等で簡単に認識指標を取り付けられるものと異なり、認識指標の取付けに大変に手間がかかる野菜等の農産物、肉、魚等の商品を自動認識できるので、特に有効である。   As described above, in the product recognition system as the fourth application, the product can be recognized without attaching a recognition index such as a barcode or an RF tag to the product. In particular, it is particularly effective because it can automatically recognize agricultural products such as vegetables, meat, fish, etc. that require a lot of effort to install the recognition indicators, unlike those that can be easily attached with recognition indicators such as industrial products. It is.
また、そのような認識指標を取り付けにくい対象物としては、鉱物なども挙げられ、その自動分別等のような工業的な用途にも適用できる。   In addition, examples of objects that are difficult to attach such a recognition index include minerals, and can be applied to industrial uses such as automatic sorting.
[第5アプリケーション]
次に、第5アプリケーションを説明する。
図25は、第5アプリケーションとしての検索システムの構成を示す図である。同図に示すように、この検索システムは、デジタルカメラ146と、ストレージ148と、プリンタ150とから構成される。ここで、ストレージ148は、複数の画像データを格納するもので、プリンタ150は、そのストレージ148に格納された画像データをプリントアウトする。
[Fifth application]
Next, the fifth application will be described.
FIG. 25 is a diagram illustrating a configuration of a search system as the fifth application. As shown in the figure, the search system includes a digital camera 146, a storage 148, and a printer 150. Here, the storage 148 stores a plurality of image data, and the printer 150 prints out the image data stored in the storage 148.
例えば、ストレージ148は、デジタルカメラ146に内蔵乃至は脱着可能なメモリであって、プリンタ150は、デジタルカメラ146からのプリントアウト指示に従って、そのストレージ148であるメモリ内の画像データをプリントアウトする。あるいは、ストレージ148は、デジタルカメラ146に接続端子,ケーブル,あるいは無線/有線ネットワークを介して接続される、もしくは、デジタルカメラ146から取り外されたメモリを装着して、画像データを転送可能なデバイスであっても良い。その場合には、プリンタ150は、ストレージ148に接続または一体的に構成され、デジタルカメラ146からのプリントアウト指示に従ってプリントアウトを実行するようなものであっても良い。   For example, the storage 148 is a memory built in or removable from the digital camera 146, and the printer 150 prints out image data in the memory that is the storage 148 in accordance with a printout instruction from the digital camera 146. Alternatively, the storage 148 is a device that can be connected to the digital camera 146 via a connection terminal, a cable, or a wireless / wired network, or can be loaded with a memory removed from the digital camera 146 and transfer image data. There may be. In that case, the printer 150 may be connected to or integrated with the storage 148 and execute a printout in accordance with a printout instruction from the digital camera 146.
なお、ストレージ148は、特徴量によって画像データが検索可能に構成されたデータベースの機能も備える。即ち、ストレージ148は、原画像のデジタルデータより作成された特徴群を格納した特徴データベースを構成している。   Note that the storage 148 also has a database function configured so that image data can be searched based on feature amounts. That is, the storage 148 constitutes a feature database that stores feature groups created from digital data of the original image.
このような構成の検索システムは、以下のように動作する。
(1) まず、デジタルカメラ146は、プリンタ150によって一旦プリントアウトされた検索元プリントアウト152の画像を含む被写体を撮影する。そして、得られた撮影画像データから、その検索元プリントアウト152の画像に対応する領域を抽出し、その抽出した領域の特徴を抽出する。
The search system having such a configuration operates as follows.
(1) First, the digital camera 146 shoots a subject including an image of the search source printout 152 once printed out by the printer 150. Then, an area corresponding to the image of the search source printout 152 is extracted from the obtained photographed image data, and features of the extracted area are extracted.
(2) そして、デジタルカメラ146は、その抽出した特徴によってストレージ148に格納された特徴群とマッチング処理を実行する。   (2) Then, the digital camera 146 performs matching processing with the feature group stored in the storage 148 by the extracted feature.
(3) その結果、デジタルカメラ146は、マッチした特徴に対応する画像データを、上記検索元プリントアウト152の原画像データであるとして、ストレージ148から読み出す。   (3) As a result, the digital camera 146 reads the image data corresponding to the matched feature from the storage 148 as the original image data of the search source printout 152.
(4) これにより、デジタルカメラ146は、その読み出した原画像データを、再び、プリンタ150でプリントアウトすることができる。   (4) Thereby, the digital camera 146 can print out the read original image data with the printer 150 again.
なお、検索元プリントアウト152としては、1枚単位で出力されたプリントアウト以外に、複数の縮小画像をまとめて出力したインデックスプリントを使うことも可能である。これは、インデックスプリントから必要なものを選択して、焼き増しする方がコスト面や利便性が良いためである。   As the search source printout 152, an index print in which a plurality of reduced images are output together can be used in addition to the printout output in units of one sheet. This is because it is more cost-effective and convenient to select the necessary ones from the index print and print them.
また、検索元プリントアウト152については、システム内のストレージ148に構成した特徴データベースに原画像データがある画像であれば、システム外(図示せず)のプリンタでプリントアウトしたものであっても構わない。   Further, the search source printout 152 may be printed out by a printer outside the system (not shown) as long as the original image data is in the feature database configured in the storage 148 in the system. Absent.
以下、本第5アプリケーションとしての検索システムを、図26に示すブロック構成図及び図27に示す動作フローチャートを参照して、詳細に説明する。なお、デジタルカメラ146は、通常の撮影モードとは別に、撮影済みデータの検索モードを有し、図27の動作フローチャートは、その検索モードに設定されている場合の処理を示している。   Hereinafter, the search system as the fifth application will be described in detail with reference to a block configuration diagram shown in FIG. 26 and an operation flowchart shown in FIG. Note that the digital camera 146 has a captured data search mode in addition to the normal shooting mode, and the operation flowchart of FIG. 27 shows processing when the search mode is set.
即ち、ユーザは、上記検索モードに設定した後、再度プリントアウトすることを望む検索元プリントアウト152を、テーブル上或いは壁面等に貼付した状態で、デジタルカメラ146の撮影部154により、撮影する(ステップS146)。   In other words, after setting the search mode, the user photographs the search source printout 152 desired to be printed out again with the photographing unit 154 of the digital camera 146 on a table or a wall surface ( Step S146).
次に、特徴抽出部156によって、特徴を抽出する処理を行う(ステップS148)。なお、特徴は、画像データ内の特徴点を使うものであっても良いし、所定のルールに従った画像データ内の分割エリア、つまり予め定められた格子により割り付けられた小領域の相対濃度などを使うものでも構わないし、分割エリア毎のフーリエ変換値などに基づいたものでも構わない。なお、上記特徴点が保持する情報には、点の配置情報が含まれていることが望ましい。   Next, the feature extraction unit 156 performs a process of extracting features (step S148). The feature may be a feature point in the image data, or a divided area in the image data according to a predetermined rule, that is, a relative density of a small area allocated by a predetermined grid, etc. May be used, or may be based on a Fourier transform value for each divided area. It is desirable that the information held by the feature points includes point arrangement information.
次に、マッチング部158により、上記特徴抽出部156で抽出した特徴を、ストレージ148に構成した撮影済み画像データの特徴データベース(特徴テンプレート)と比較し、その類似度の高いものを順に抽出するDBとのマッチング処理を実行する(ステップS150)。   Next, the matching unit 158 compares the features extracted by the feature extraction unit 156 with the feature database (feature template) of the photographed image data configured in the storage 148, and sequentially extracts those having high similarity. A matching process is executed (step S150).
即ち、このDBとのマッチング処理は、図28に示すように、まず、各撮影済み画像データの特徴との類似度を算出し(ステップS152)、類似度に基づいてソートする(ステップS154)。そして、その類似度に従って原画像候補を選出する(ステップS156)。なお、この選出は、閾値を設定しても良いし、類似度の高い順に上位のものを指定しても良い。何れにしても、類似度の最上位のものを1点選出する方法と、類似度の高いものから複数点を選出する方法の2種の方法がある。   That is, in the matching process with the DB, as shown in FIG. 28, first, the similarity with the feature of each photographed image data is calculated (step S152), and sorted based on the similarity (step S154). Then, original image candidates are selected according to the similarity (step S156). In this selection, a threshold value may be set, or a higher order may be designated in descending order of similarity. In any case, there are two methods: a method of selecting one point with the highest degree of similarity and a method of selecting a plurality of points from those with a high degree of similarity.
その後、表示部160に、上記選出された原画像候補の画像データをストレージ148から読み出して、抽出すべき画像候補として表示し(ステップS158)、ユーザによる選択を受け付ける(ステップS160)。   Thereafter, the selected original image candidate image data is read from the storage 148 on the display unit 160 and displayed as an image candidate to be extracted (step S158), and selection by the user is accepted (step S160).
図29は、画像候補を1点だけ表示する場合の表示部160の表示画面を示している。この表示画面では、画像候補162の表示の横に、他の画像候補の表示を指示する際に操作すべきボタンを表す『前』及び『次』アイコン164と、当該画像候補162を所望の画像データとして指示する際に操作すべきボタンを表す『決定』アイコン166とが配置される。『前』及び『次』アイコン164は、デジタルカメラ146が通常備える所謂十字キーの左キー及び右キーであることを表し、『決定』アイコン166はその十字ボタンの真ん中に配置されるエンターキーであることを表す。   FIG. 29 shows a display screen of the display unit 160 when only one image candidate is displayed. In this display screen, a “previous” and “next” icons 164 representing buttons to be operated when instructing the display of other image candidates are displayed next to the display of the image candidates 162, and the image candidates 162 are displayed as desired images. A “decision” icon 166 representing a button to be operated when instructing as data is arranged. The “Previous” and “Next” icons 164 represent the left and right keys of the so-called cross key that the digital camera 146 normally has, and the “OK” icon 166 is an enter key arranged in the middle of the cross button. Represents something.
ここで、『前』又は『次』アイコン164に相当する十字キーが操作された場合には(ステップS162)、上記ステップS158に戻って、画像候補162を更新表示する。これに対して、『決定』アイコン166に相当するエンターキーが操作された場合には(ステップS162)、マッチング部158は、ストレージ148に格納されている当該画像候補162に対応する原画像データを、接続されたプリンタ150に送り、再度プリントアウトする(ステップS164)。また、プリンタ150に有線/無線で直接接続されていない場合には、ストレージ148に格納されている当該画像候補162に対応する原画像データに、フラグを追記する等の所定のマーキングを行う処理を実行することで、該ストレージ148にアクセス可能なプリンタ150でプリントアウトすることを可能とする。   If the cross key corresponding to the “previous” or “next” icon 164 is operated (step S162), the process returns to step S158 to update and display the image candidate 162. On the other hand, when the enter key corresponding to the “OK” icon 166 is operated (step S162), the matching unit 158 stores the original image data corresponding to the image candidate 162 stored in the storage 148. Then, the data is sent to the connected printer 150 and printed again (step S164). If the printer 150 is not directly connected by wire / wireless, a process of performing predetermined marking such as adding a flag to the original image data corresponding to the image candidate 162 stored in the storage 148 is performed. By executing this, it is possible to print out by the printer 150 that can access the storage 148.
なお、上記ステップS158の画像候補の表示において、複数の候補を同時に表示するようにしても構わない。この場合、通常デジタルカメラ146に設置されている表示部160は当然数インチの小型のものであるため、4点或いは9点程度の表示が使い易い。図30は、9点の画像候補162を表示するようにした例を示している。この場合、『前』又は『次』アイコン164に相当する十字キーの左キー又は右キーの操作に応じて、選択画像を示す太枠168が移動される。なお、特に図示はしていないが、十字キーの上キー及び下キーの操作に応じて、9点の画像候補162の表示を前及び次の9点の画像候補の表示に変更する、所謂ページ切り替え表示を行うようにしても良い。   In addition, in the display of the image candidates in step S158, a plurality of candidates may be displayed at the same time. In this case, since the display unit 160 normally installed in the digital camera 146 is naturally a small size of several inches, display of about 4 or 9 points is easy to use. FIG. 30 shows an example in which nine image candidates 162 are displayed. In this case, the thick frame 168 indicating the selected image is moved according to the operation of the left key or the right key of the cross key corresponding to the “previous” or “next” icon 164. Although not specifically illustrated, a so-called page is displayed in which the display of the nine image candidates 162 is changed to the display of the previous and the next nine image candidates in accordance with the operation of the up key and the down key of the cross key. A switching display may be performed.
なお、上記ステップS150において用いられる比較対象としてのストレージ148に構成した撮影済み画像データの特徴データベースについては、予め、ストレージ148中の原画像データを元に作成しておく必要がある。また、このストレージ148は、デジタルカメラ146に付属するメモリであっても良いし、図26に破線で示すような通信部170を介してアクセス可能なデータベースであっても良い。   It should be noted that the feature database of captured image data configured in the storage 148 as a comparison target used in step S150 needs to be created in advance based on the original image data in the storage 148. Further, the storage 148 may be a memory attached to the digital camera 146, or may be a database accessible via the communication unit 170 as indicated by a broken line in FIG.
この特徴データベースの作成には、各種の方法が考えられる。
例えば、原画像撮影時にその撮影画像データをデジタルカメラ146のメモリ領域に保存する際に、特徴算出とそのデータベース登録を行う方法である。即ち、図31に示すように、デジタルカメラ146にて撮影を行い(ステップS166)、その撮影画像データをデジタルカメラ146のメモリ領域に保存する(ステップS168)。そして、その保存した撮影画像データから特徴を算出して(ステップS170)上記撮影画像データに関連付けて保存する(ステップS172)。従って、ストレージ148がデジタルカメラ146の内蔵するメモリであれば、データベースが構築されることになる。また、ストレージ148がデジタルカメラ146と別体の場合には、デジタルカメラ146のメモリ領域に保存された撮影画像データと特徴が共にストレージ148に転送され、データベースが構築されることになる。
Various methods are conceivable for creating this feature database.
For example, when the captured image data is stored in the memory area of the digital camera 146 when the original image is captured, the feature is calculated and the database is registered. That is, as shown in FIG. 31, the digital camera 146 performs shooting (step S166), and the captured image data is stored in the memory area of the digital camera 146 (step S168). Then, a feature is calculated from the stored photographed image data (step S170) and stored in association with the photographed image data (step S172). Therefore, if the storage 148 is a memory built in the digital camera 146, a database is constructed. When the storage 148 is separate from the digital camera 146, the captured image data and features stored in the memory area of the digital camera 146 are transferred to the storage 148 and a database is constructed.
また、ストレージ148に蓄積された原画像データをプリンタ150でプリントアウトする際に、そのプリントアウト指示と同時に特徴抽出処理を行い、データベースに蓄積することもプロセス的に効率が良い方法である。即ち、図32に示すように、ストレージ148に蓄積された原画像データをプリントアウトする際、通常、ユーザ指示により、プリントアウトする原画像データが選択され(ステップS174)、また、プリント条件が設定されて(ステップS176)、プリントが実行される(ステップS178)。通常はここでプリント処理は終了であるが、本例では、更に続けて、その選択された原画像データから特徴を算出して(ステップS180)、その作成した特徴をその原画像データに関連付けて保存する(ステップS182)。なお、特徴作成の際に、プリント条件を反映させることで、検索元プリントアウト152と特徴とのマッチング精度を向上させることができる。このような方法によれば、マッチング処理が実施されるかもしれない原画像データについてのみしか特徴を作成しないので、不必要な特徴の作成時間及び保存容量を省略することができる。   In addition, when the original image data stored in the storage 148 is printed out by the printer 150, the feature extraction processing is performed simultaneously with the print-out instruction and stored in the database is also a process-efficient method. That is, as shown in FIG. 32, when printing out the original image data stored in the storage 148, the original image data to be printed is usually selected by a user instruction (step S174), and the print conditions are set. In step S176, printing is executed (step S178). Normally, the printing process is ended here, but in this example, the feature is further calculated from the selected original image data (step S180), and the created feature is associated with the original image data. Save (step S182). Note that the accuracy of matching between the search source printout 152 and the features can be improved by reflecting the print conditions when creating the features. According to such a method, since the feature is created only for the original image data that may be subjected to the matching processing, unnecessary feature creation time and storage capacity can be omitted.
また、勿論、バッチ処理で行っても構わない。即ち、図33に示すように、ユーザからの一括特徴作成実行指示があったとき(ステップS184)、ストレージ148内の特徴未作成原画像データを選別して(ステップS186)、それら選別した特徴未作成原画像データに対して一括特徴作成処理を実行する(ステップS188)。この一括特徴作成処理は、個々の特徴未作成原画像データから特徴を抽出して特徴を作成し(ステップS190)、それら作成した特徴を対応する原画像データに関連付けてストレージ148に保存するものである(ステップS192)。   Of course, it may be performed by batch processing. That is, as shown in FIG. 33, when there is a collective feature creation execution instruction from the user (step S184), the feature-uncreated original image data in the storage 148 is selected (step S186), and the selected features are not yet displayed. A batch feature creation process is executed on the created original image data (step S188). In this collective feature creation process, features are extracted from individual feature-uncreated original image data to create features (step S190), and the created features are associated with the corresponding original image data and stored in the storage 148. Yes (step S192).
さらには、ユーザの指示入力によって、個別に処理しても良い。即ち、図34に示すように、ユーザが、ストレージ148内の原画像データの一つを選択し(ステップS194)、その選択した原画像データについて特徴の作成の指示を行うことで(ステップS196)、その選択された原画像データから特徴を抽出して(ステップS198)、特徴を上記選択された原画像データに関連付けてストレージ148に保存する(ステップS200)。プリントアウトしたい写真をマークすることが特徴作成の指示であってもよい。   Furthermore, it may be processed individually by user input. That is, as shown in FIG. 34, the user selects one of the original image data in the storage 148 (step S194), and gives an instruction to create a feature for the selected original image data (step S196). Then, features are extracted from the selected original image data (step S198), and the features are associated with the selected original image data and stored in the storage 148 (step S200). Marking a photo to be printed out may be a feature creation instruction.
これまで、プリントアウトしてしまった画像データを再プリントしようとするとき、画像データの付帯情報(ファイル名、撮影日時、等)を参考にユーザが検索する事が多かった。本アプリケーションとしての検索システムによれば、デジタルカメラ146にて所望の検索元プリントアウト152の画像を撮影するだけで、原画像のファイル(画像データ)にアクセスすることが可能となり、直感的且つユーザの使い勝手の良い検索方法を提供することが可能である。   Up to now, when trying to reprint image data that has been printed out, the user often searches with the accompanying information (file name, shooting date, etc.) of the image data as a reference. According to the search system as this application, it is possible to access a file (image data) of an original image simply by taking an image of a desired search source printout 152 with the digital camera 146, which is intuitive and user-friendly. It is possible to provide an easy-to-use search method.
加えて、原画像データそのもののみならず、類似の画像構成の画像データを検索することも可能であり、副次的ながら新規な用途を提供できる。即ち、街頭の看板やポスター等をこの所謂検索モードで撮影し、デジタルカメラ146に付属するメモリや通信を介してアクセス可能なデータベース等のストレージ148に存在する画像データ及びその特徴の中から類似或いは同一の画像データを容易に検索可能となる。   In addition, it is possible to search not only the original image data itself but also image data having a similar image configuration, and can provide a secondary but novel application. That is, street signs, posters, and the like are photographed in this so-called search mode, and the image data existing in the storage 148 such as a memory attached to the digital camera 146 or a database accessible via communication and the features thereof are similar or different. The same image data can be easily searched.
また、図35に示すように、例えば看板として駅の駅名表示板を撮影したならば、その画像データの中からその駅名を認識することで、撮影者の位置認識が可能となる。そこで、その認識した位置周辺つまり駅周辺の地図情報、その位置に関連する画像情報、同じく文字情報、などの関連情報を、デジタルカメラ146に付属するメモリや通信を介してアクセス可能なデータベース等のストレージ148に存在する関連情報の中から検索して提供することができる。なお、駅名の認識方法としては、文字認識、パターン認識、類似した画像の検索による認識推定などがあり、マッチング部158の機能として実施可能である。   As shown in FIG. 35, for example, if a station name display board of a station is photographed as a signboard, the position of the photographer can be recognized by recognizing the station name from the image data. Therefore, the map information around the recognized position, that is, around the station, the image information related to the position, the character information, and the like can be accessed via a memory attached to the digital camera 146 or a communication database. It is possible to search and provide from related information existing in the storage 148. The station name recognition method includes character recognition, pattern recognition, recognition estimation by searching for similar images, and the like, and can be implemented as a function of the matching unit 158.
また、例えば東京タワーを撮影し、デジタルカメラ146に付属するメモリや通信を介してアクセス可能なデータベース等のストレージ148内の画像を検索することにより、東京タワーはもとより、世界各地のタワー状の建造物の写真を検索抽出することができる。そして、更には、その検索抽出した写真の付帯情報としての位置情報に基づき、各タワーの場所を知らしめたり、図36や図37に示すように地図上の該当の場所に写真を重ねて表示することも可能である。この場合、地図及び写真が関連情報である。   In addition, for example, by taking images of Tokyo Tower and searching for images in storage 148 such as a database that can be accessed via memory or communication attached to digital camera 146, not only Tokyo Tower but also tower-like buildings around the world. It is possible to search and extract photographs of objects. Further, based on the position information as supplementary information of the photo extracted and extracted, the location of each tower is informed, and the photo is superimposed and displayed at the corresponding location on the map as shown in FIGS. It is also possible to do. In this case, a map and a photograph are related information.
なお、地図上に写真を重ねて表示する場合に、地図の縮尺、写真の大きさ、その場所に関連した写真の枚数などの要因により、多くの画像が重なって見にくくなることがある。その場合には、図38に示すように地図縮尺に応じて写真の表示サイズを変えたり、枚数が多い場合には図39に示すように枚数に比例した表示サイズでの写真の表示を行う代わりに代表的な写真1枚だけを表示する、といった工夫を行う。また、単に重なりあう、集まりすぎていることによって見にくくなる集合を代表する写真1枚だけを表示してもよい。この代表写真は、該集合内で最も類似度が高いものや、最も多く閲覧されているもの等、様々な観点で選択できる。   Note that when displaying photographs on a map in an overlapping manner, many images may overlap and become difficult to see due to factors such as the scale of the map, the size of the photographs, and the number of photographs associated with the location. In that case, instead of changing the display size of the photo according to the map scale as shown in FIG. 38 or displaying the photo with a display size proportional to the number of photos as shown in FIG. 39 when the number is large. To display only one representative photo. In addition, only one photograph representing a set that overlaps and becomes difficult to see due to being too gathered may be displayed. This representative photograph can be selected from various viewpoints such as the one with the highest similarity in the set and the one most frequently viewed.
なお、上記ステップS148乃至S162の処理は、デジタルカメラ146内で実施するものとして説明したが、デジタルカメラ146と別体でストレージ148を存在させる場合には、そのような処理をソフトウェアとしてストレージ148にて起動させる、或いはデジタルカメラ146とストレージ148とに分割した形で起動させることで実際に動作させることも可能である。   The processing in steps S148 to S162 has been described as being performed in the digital camera 146. However, when the storage 148 exists separately from the digital camera 146, such processing is stored in the storage 148 as software. It is also possible to actually activate the digital camera 146 and the storage 148 in a divided manner.
[第6アプリケーション]
次に、図25を参照して、第6アプリケーションとしての検索システムの概略を説明する。
[Sixth application]
Next, an outline of a search system as the sixth application will be described with reference to FIG.
即ち、本検索システムは、デジタルカメラ146と、ストレージ148と、プリンタ150と、パーソナルコンピュータ(PC)172とから構成される。ここで、ストレージ148は、PC172に内蔵乃至は通信を介してPCによってアクセス可能な記憶装置である。また、PC172は、デジタルカメラ146に無線/有線接続される、もしくは、デジタルカメラ146から取り外されたメモリを装着して、デジタルカメラ146のメモリに保存された画像データを読み出し可能に構成されている。   In other words, the search system includes a digital camera 146, a storage 148, a printer 150, and a personal computer (PC) 172. Here, the storage 148 is a storage device built in the PC 172 or accessible by the PC via communication. Further, the PC 172 is configured to be able to read out image data stored in the memory of the digital camera 146 by attaching a memory that is wirelessly or wiredly connected to the digital camera 146 or attached to the digital camera 146. .
このような構成の検索システムは、以下のように動作する。
(1) まず、デジタルカメラ146は、プリンタ150によって一旦プリントアウトされた検索元プリントアウト152の画像を含む被写体を撮影する。
The search system having such a configuration operates as follows.
(1) First, the digital camera 146 shoots a subject including an image of the search source printout 152 once printed out by the printer 150.
(5) PC172は、得られた撮影画像データから、その検索元プリントアウト152の画像に対応する領域を抽出し、その抽出した領域の特徴を抽出する。   (5) The PC 172 extracts an area corresponding to the image of the search source printout 152 from the obtained photographed image data, and extracts features of the extracted area.
(6) そして、PC172は、その抽出した特徴によってストレージ148に格納された特徴とマッチング処理を実行する。   (6) Then, the PC 172 executes a matching process with the feature stored in the storage 148 by the extracted feature.
(7) その結果、PC172は、マッチした特徴に対応する画像データを、ストレージ148から上記検索元プリントアウト152の原画像データであるとして読み出す。   (7) As a result, the PC 172 reads the image data corresponding to the matched feature as the original image data of the search source printout 152 from the storage 148.
(8) これにより、PC172は、その読み出した原画像データを、再び、プリンタ150でプリントアウトすることができる。   (8) Thereby, the PC 172 can print out the read original image data with the printer 150 again.
以下、本第6アプリケーションとしての検索システムを、図40に示すブロック構成図及び図41に示す動作フローチャートを参照して、詳細に説明する。なお、これらの図において、上記第5アプリケーションと対応するものについては、同一の参照番号を付してある。   Hereinafter, the search system as the sixth application will be described in detail with reference to a block configuration diagram shown in FIG. 40 and an operation flowchart shown in FIG. In these drawings, the same reference numerals are assigned to those corresponding to the fifth application.
即ち、本アプリケーションは、デジタルカメラ146で撮影された画像データをそのユーザが特定するPC172に内蔵又は接続されたストレージ148に蓄積し、且つ図41にPC側として示す処理がアプリケーションソフトウェアとしてPC172にて動作する場合である。なお、PC172とデジタルカメラ146を有線或いは無線で接続し、通信状態を確立した状態で、本アプリケーションソフトウェアを立ち上げるものである。これは、デジタルカメラ146に設定された“検索モード”等といったスイッチを入れる操作によって機能が起動される状態でも構わない。   That is, this application stores the image data captured by the digital camera 146 in the storage 148 built in or connected to the PC 172 specified by the user, and the processing shown as the PC side in FIG. This is the case when it operates. The application software is launched in a state where the PC 172 and the digital camera 146 are connected by wire or wirelessly and the communication state is established. This may be a state where the function is activated by an operation of turning on a switch such as “search mode” set in the digital camera 146.
このように本アプリケーションソフトウェアが動作したところで、デジタルカメラ146側にて、プリントアウトの撮影処理が実行される(ステップS146)。即ち、図42に示すように、ユーザが、再度プリントアウトすることを望む検索元プリントアウト152をテーブル上或いは壁面等に貼付した状態で、デジタルカメラ146の撮影部154により、少なくとも上記検索元プリントアウト152の欠けが無いように撮影する(ステップS202)。これにより、得られた撮影画像データがデジタルカメラ146内のメモリである記憶部174に保存される。そして、その保存された撮影画像データが、有線或いは無線で、接続されたPC172に転送される(ステップS204)。   When the application software operates in this way, a printout shooting process is executed on the digital camera 146 side (step S146). That is, as shown in FIG. 42, at least the search source print is taken by the photographing unit 154 of the digital camera 146 with the search source printout 152 that the user desires to print out again on the table or the wall surface. Photographing is performed so that the out 152 is not missing (step S202). As a result, the obtained captured image data is stored in the storage unit 174 that is a memory in the digital camera 146. The stored photographed image data is transferred to the connected PC 172 by wire or wireless (step S204).
すると、PC172においては、アプリケーションソフトウェアにより実現される特徴抽出部176は、上記送信されてきた撮影画像データ中から特徴を抽出する処理を行う(ステップS148)。なお、上記特徴量抽出処理は、デジタルカメラ146側で行うようにしても良い。そのようにすれば、デジタルカメラ146からPC172への通信量を少なくすることができる。   Then, in the PC 172, the feature extraction unit 176 realized by application software performs a process of extracting features from the transmitted captured image data (step S148). The feature amount extraction process may be performed on the digital camera 146 side. By doing so, the amount of communication from the digital camera 146 to the PC 172 can be reduced.
その後、アプリケーションソフトウェアにより実現されるマッチング部178により、上記抽出した特徴を、ストレージ148に構成した撮影済み画像データの特徴データベースと比較し、その類似度の高いものを順に抽出するDBとのマッチング処理を実行する(ステップS150)。即ち、算出された特徴を元にPC172側のマッチング部178にて、ストレージ148の画像データそれぞれに同梱される(或いは包括的にデータベース化された)特徴と比較し、最も近いものを選び出す。設定により、最も近い複数の特徴候補を選出する事も使い勝手において有効である。この特徴には、その特徴を算出した原画像データの指定情報が含まれており、それに従い候補画像を呼び出す。   Thereafter, the matching unit 178 realized by the application software compares the extracted features with the feature database of the photographed image data configured in the storage 148, and performs matching processing with a DB that sequentially extracts the features with high similarity. Is executed (step S150). That is, based on the calculated feature, the matching unit 178 on the PC 172 side compares the feature included in each image data of the storage 148 (or comprehensively databased), and selects the closest one. Selecting a plurality of closest feature candidates by setting is also effective for usability. This feature includes designation information of the original image data for which the feature is calculated, and the candidate image is called up accordingly.
その後、上記選出された原画像候補(或いは候補画像)の画像データをストレージ148から読み出して、該PC172のディスプレイである表示部180に抽出すべき画像候補として表示し(ステップS158)、ユーザによる選択を受け付ける。このとき、上記選出された原画像候補(或いは候補画像)の画像データをそのままか、適宜圧縮した状態で、PC172よりデジタルカメラ146に転送し、デジタルカメラ146の表示部160上に表示するようにしても構わない(ステップS206)。   Thereafter, the image data of the selected original image candidate (or candidate image) is read from the storage 148 and displayed as an image candidate to be extracted on the display unit 180 which is the display of the PC 172 (step S158), and selected by the user Accept. At this time, the image data of the selected original image candidate (or candidate image) is transferred to the digital camera 146 from the PC 172 as it is or appropriately compressed, and displayed on the display unit 160 of the digital camera 146. It does not matter (step S206).
そして、マウス等の操作による選択に応じて、ストレージ148に格納されている当該画像候補に対応する原画像データを、接続されたプリンタ150に送り、再度プリントアウトする(ステップS164)。即ち、上記表示された原画像候補をユーザの判断により決定し、印刷プロセスに渡すことにより当初の目的であるプリントアウト済み画像の再印刷がユーザにとっては簡単に行えるものである。なおこのとき、単純に印刷するばかりではなく、候補画像として複数選択した中でユーザ判断によっては、「狙いの元画像とは異なるが、類似の画像を集めた」ことになり、類似の画像データを一括検索する機能の実現にも繋がっている。   Then, in accordance with the selection by operating the mouse or the like, the original image data corresponding to the image candidate stored in the storage 148 is sent to the connected printer 150 and printed out again (step S164). That is, the displayed original image candidate is determined by the user's judgment and passed to the printing process, so that the user can easily reprint the printed out image, which is the original purpose. At this time, it is not only simply printed, but depending on the user judgment among a plurality of candidate images selected, it means that “similar to the target original image, but similar images are collected”, and similar image data This also leads to the realization of a function for batch search.
なお、本アプリケーションにおいては、特徴データベースの作成は、デジタルカメラ146からPC172を介したストレージ148への撮影画像データの転送時に行うようにしても良い。即ち、図43に示すように、デジタルカメラ146からPC172への撮影画像データの転送を開始し(ステップS208)、PC172により、その転送されてきた撮影画像データをストレージ148に保存すると共に(ステップS210)、その撮影画像データから特徴を作成する(ステップS212)。そして、その作成した特徴をストレージ148に上記撮影画像データに関連付けて保存する(ステップS214)。   In this application, the feature database may be created when the captured image data is transferred from the digital camera 146 to the storage 148 via the PC 172. That is, as shown in FIG. 43, transfer of captured image data from the digital camera 146 to the PC 172 is started (step S208), and the transferred captured image data is stored in the storage 148 by the PC 172 (step S210). ), A feature is created from the captured image data (step S212). Then, the created feature is stored in the storage 148 in association with the captured image data (step S214).
以上のように、本第6アプリケーションにおいても、上記第5アプリケーションと同様、デジタルカメラ146にて所望の検索元プリントアウト152の画像を撮影するだけで、原画像のファイル(画像データ)にアクセスすることが可能となり、直感的且つユーザの使い勝手の良い検索方法を提供することが可能である。   As described above, in the sixth application as well, as in the fifth application, a file (image data) of an original image is accessed simply by taking a desired search source printout 152 image with the digital camera 146. Therefore, it is possible to provide an intuitive and user-friendly search method.
加えて、原画像データそのもののみならず、類似の画像構成の画像データを検索することも可能であり、副次的ながら新規な用途を提供できる。即ち、街頭の看板やポスター等をこの所謂検索モードで撮影し、デジタルカメラ146に付属するメモリや図40に破線で示すような通信部182を介してアクセス可能な外部データベース等のストレージ148に存在する画像データ及びその特徴の中から類似或いは同一の画像データを容易に検索可能となる。更には、そのデータに紐付くインターネットサイトをPC172やデジタルカメラ等のディスプレイで表示したり、特定のアプリケーション(音声・動画(movies)等)を作動させることなどが可能となる。   In addition, it is possible to search not only the original image data itself but also image data having a similar image configuration, and can provide a secondary but novel application. That is, street signs and posters are photographed in this so-called search mode, and exist in the storage 148 such as a memory attached to the digital camera 146 or an external database accessible via the communication unit 182 as indicated by a broken line in FIG. It is possible to easily search for similar or identical image data from the image data to be processed and its features. Furthermore, an Internet site associated with the data can be displayed on a display such as a PC 172 or a digital camera, or a specific application (such as voice / movie (movies)) can be activated.
なお、上記説明では、デジタルカメラ146を用いたが、本アプリケーションはそれに限定されるものではなく、スキャナであっても構わない。   In the above description, the digital camera 146 is used. However, the present application is not limited thereto, and may be a scanner.
また、実際にプリントアウトした検索元プリントアウト152をデジタルカメラ146で撮影しているが、例えば検索元プリントアウト152を撮影した画像を表示しているディスプレイをデジタルカメラ146で撮影しても同様に実施可能である。   Further, the search source printout 152 actually printed out is photographed by the digital camera 146. However, for example, even when the display displaying the image obtained by photographing the search source printout 152 is photographed by the digital camera 146, it is the same. It can be implemented.
[第7アプリケーション]
次に、第7アプリケーションとしての検索システムを説明する。本アプリケーションは、図44に示すようなカメラ186付の携帯電話機184のアプリケーションソフトウェア188に適用した例である。
[Seventh application]
Next, a search system as the seventh application will be described. This application is an example applied to application software 188 of a mobile phone 184 with a camera 186 as shown in FIG.
即ち、携帯電話機のアプリケーションソフトウェアは現在ほとんどの携帯電話機にて利用可能となっており、且つその画像データは内部メモリ或いは外部メモリカード等に数多くを蓄積可能である。更に、特定の携帯サイト(携帯電話機向けインターネットサイト)においては、ユーザを特定した画像ファイルなどの蓄積サービスも行われている。このような状況は極めて多大な画像データを蓄積し、自己の活動記録や業務など多彩に利用できる反面、携帯電話機という比較的ユーザインタフェースに自由度がないハードウェアにとっては所望の画像データの検索は面倒であった。実際には画像データのタイトルや日時等によるテキストのリストからの検索が中心であり、画像データが多数となった場合は極めて面倒で、またテキストを打ち込む場合も複数の単語や長い名称等の入力は不自由であると言わざるを得ない。   That is, application software for mobile phones is currently available on most mobile phones, and a large amount of image data can be stored in an internal memory or an external memory card. Furthermore, in a specific mobile site (Internet site for mobile phones), a storage service for image files specifying a user is also provided. In such a situation, a very large amount of image data is accumulated and can be used in a variety of ways such as own activity records and business operations. It was troublesome. Actually, searching from a list of text by title, date, etc. of image data is the center, it is extremely troublesome when there are a lot of image data, and multiple words or long names etc. are input even when entering text Must be said to be inconvenient.
本検索システムの導入に依れば、カメラ付携帯電話機のアプリケーションとして動作させることにより「画像入力機能」を立ち上げ、所望の「関心領域を切り出し」、「特徴の算出」を行う。この特徴(データ)は携帯回線を介して対応するサーバに送られる。この対応するサーバは、上記のカメラと一対一対応するものであっても良いし、一対多のカメラに対応するものであっても構わない。上記のサーバに送られた特徴は、サーバに搭載されている「マッチング機能」により、サーバの要求するデータベースから読み込まれた特徴と実際にマッチング処理を行い、類似性の高い画像データを抽出する。この抽出された画像データをサーバから上記発信元の携帯電話機に返送し、携帯電話機から特定しないプリンタにより該画像データを出力する事が出来る。しかし、ここでサーバが抽出した画像データに対し、更にその画像データに関連する様々な情報が付加されている場合は、「その情報を携帯電話機に返送する」、と言った機能の拡張が可能であるし、抽出した画像データに高い圧縮をかけて携帯電話機に返送し、ユーザが所望の画像データであると確認の上、携帯電話機のメモリ領域に格納、あるいは携帯電話機のディスプレイ190上に表示するだけであっても利用価値があることは言うまでも無い。   According to the introduction of this search system, an “image input function” is activated by operating as an application of a camera-equipped mobile phone, and a desired “interesting region extraction” and “feature calculation” are performed. This feature (data) is sent to the corresponding server via the mobile line. The corresponding server may correspond to the above camera on a one-to-one basis, or may correspond to a one-to-many camera. The feature sent to the server is actually matched with the feature read from the database requested by the server by the “matching function” installed in the server, and image data with high similarity is extracted. This extracted image data can be returned from the server to the mobile phone of the transmission source, and the image data can be output from the mobile phone by an unspecified printer. However, if various information related to the image data is added to the image data extracted by the server here, it is possible to expand the function such as “send the information back to the mobile phone”. Then, the extracted image data is highly compressed and returned to the mobile phone, and the user confirms that the image data is the desired image data, and then stores it in the memory area of the mobile phone or displays it on the display 190 of the mobile phone. Needless to say, even just doing it is worth using.
[第8アプリケーション]
次に、第8アプリケーションとしての検索システムを説明する。
[Eighth application]
Next, a search system as the eighth application will be described.
本アプリケーションは、その構成として、通信機能を備えたデジタルカメラ146と、通信により接続されたサーバとにより構成され、画像検索のための機能がデジタルカメラ146とサーバとに分割設置されたものである。通信機能を備えたデジタルカメラ146は、撮影機能付通信装置として機能し、カメラ付携帯電話機が含まれることは勿論である。   This application is configured by a digital camera 146 having a communication function and a server connected by communication, and a function for image search is divided and installed in the digital camera 146 and the server. . The digital camera 146 having a communication function functions as a communication device with a photographing function, and of course includes a camera-equipped mobile phone.
この場合、前述の第5アプリケーションと同様に、デジタルカメラ146には撮影機能とその画像データから特徴を算出する機能を有する。上記第5乃至第7アプリケーションの場合、比較参照する特徴(或いは特徴データベース)は元々ユーザ或いは当該のデジタルカメラ146にて撮影及び印刷された画像を基にして作られたものである。これは、当初の目的が、既に撮影された画像データが印刷されたプリントアウトを撮影して検索するためである。これに対して、本アプリケーションはこの目的を拡張し、一般に街頭の看板、ポスターや印刷物、出版物の画像を基に算出された特徴も、サーバに配されたストレージ148に構成されたデータベースに取り込まれている点が大きく異なる。   In this case, like the fifth application described above, the digital camera 146 has a photographing function and a function for calculating features from the image data. In the case of the fifth to seventh applications, the feature (or feature database) to be compared and referred to is originally created based on an image photographed and printed by the user or the digital camera 146. This is because the initial purpose is to photograph and search for a printout on which image data that has already been photographed is printed. On the other hand, this application extends this purpose, and generally features calculated based on street signs, posters, printed materials, and publication images are also captured in the database configured in the storage 148 arranged on the server. The point is greatly different.
プリントアウトに限らず、データベース上にある画像からの抽出が行えることはいうまでもない。   Needless to say, it is possible to perform extraction from an image on a database as well as printout.
また、撮影した画像から抽出した特徴をデータベースに追加することもできる。   In addition, features extracted from the captured image can be added to the database.
登録の際には、画像に関連した位置情報を手動、GPSなどのセンサ、前出の文字認識などで認識して登録する。こうすることで、次に同様な場所で画像の撮影する時にデータベースを検索することにより、類似した画像を抽出することでその撮影画像に付加すべき位置情報を抽出することが可能となる。   At the time of registration, the position information related to the image is recognized and registered manually, by a sensor such as GPS, or the character recognition described above. By doing this, it is possible to extract the position information to be added to the captured image by extracting a similar image by searching the database when the image is captured next in the same place.
図45は、本アプリケーションとしての検索システムの動作フローチャートを示す図である。なお、同図において、上記第5アプリケーションと対応するものについては、同一の参照番号を付してある。   FIG. 45 is a diagram showing an operation flowchart of the search system as this application. In the figure, the same reference numerals are assigned to the components corresponding to the fifth application.
即ち、本アプリケーションにおいては、例えばデジタルカメラ146にて街頭に存在する商品広告などのポスターを撮影する(ステップS146)。すると、その撮影画像データからデジタルカメラ146にて、特徴抽出処理が実行される(ステップS148)。そして、その抽出された特徴は、デジタルカメラ146に内蔵又付属された通信部170により所定のサーバに送られる。   In other words, in this application, for example, a poster such as a product advertisement existing on the street is photographed by the digital camera 146 (step S146). Then, a feature extraction process is executed from the photographed image data by the digital camera 146 (step S148). Then, the extracted features are sent to a predetermined server by the communication unit 170 built in or attached to the digital camera 146.
サーバにおいては、そのサーバがアクセス可能なストレージ148に構成された特徴データベースを参照して、上記デジタルカメラ146から送られた特徴を比較し(ステップS150)、類似な特徴を持つ類似画像候補を抽出する(ステップS216)。これら抽出された類似画像候補の画像データは、必要により、所定の圧縮処理が施されて通信量を少なくした上で、上記デジタルカメラ146に送信され、デジタルカメラ146の表示部160で簡易表示されることができる(ステップS218)。これにより、上記第5アプリケーションと同様、ユーザの選択が可能である。   The server refers to the feature database configured in the storage 148 accessible by the server, compares the features sent from the digital camera 146 (step S150), and extracts similar image candidates having similar features. (Step S216). The extracted image data of similar image candidates is subjected to a predetermined compression process as necessary to reduce the amount of communication, and then transmitted to the digital camera 146 and simply displayed on the display unit 160 of the digital camera 146. (Step S218). Thereby, the user can select the same as in the fifth application.
そして、上記抽出され(更に選択され)た画像候補の画像データがデジタルカメラ146に送信出力される、或いは、上記抽出され(更に選択され)た画像候補の特徴に紐付いている特定情報に基づいて次の段階の動作を行う(ステップS220)。この次の動作とは、上記の商品広告であれば、その商品の解説や通信販売サイトヘの接続であっても良いし、そのサイト画面を画像データとしてデジタルカメラ146に返送しても良い。また、街頭の看板を撮影した場合は、看板の周辺情報も特徴として取り込んだり、通信時の無線基地局所在地のデータも比較したりすることにより、場所や住所の特定を情報としてユーザに呈示することも可能となる。   Then, the image data of the extracted (further selected) image candidate is transmitted and output to the digital camera 146, or based on the specific information associated with the extracted (further selected) image candidate feature. The next stage of operation is performed (step S220). The next operation may be an explanation of the product or connection to a mail order site if it is the above product advertisement, or the site screen may be returned to the digital camera 146 as image data. In addition, when a street signboard is photographed, the surrounding information of the signboard is taken in as a feature, and the location of the radio base station location at the time of communication is compared to present the location and address as information to the user. It is also possible.
[第9アプリケーション]
次に、第9アプリケーションとしての検索システムを説明する。
[9th application]
Next, a search system as the ninth application will be described.
本アプリケーションは、撮影した検索元プリントアウト152の画像を基にして、第1の特徴を使ったマッチングによりストレージ148から複数の画像データを検索し、その検索した結果の複数の画像データから、上記第1の特徴より狭い、もしくは同じ領域で且つ解像度の高い第2の特徴を使って、特徴マッチングにより単一又は複数の画像データを検索するものである。   This application retrieves a plurality of image data from the storage 148 by matching using the first feature based on the image of the photographed search source printout 152, and from the plurality of image data as a result of the retrieval, A single feature or a plurality of pieces of image data are searched by feature matching using a second feature that is narrower than the first feature or in the same region and has a high resolution.
本アプリケーションとしての検索システムは、前述した第5アプリケーションと同様の構成であるが、特に、本アプリケーションにおいては、ストレージ148に、第1の特徴としての概要特徴を登録した全体特徴データベースと、第2の特徴としての詳細特徴を登録した詳細特徴データベースとが構成されている。   The search system as this application has the same configuration as that of the fifth application described above. In particular, in this application, the entire feature database in which the summary feature as the first feature is registered in the storage 148, and the second feature database. And a detailed feature database in which detailed features are registered as features.
ここで、概要特徴は、図46に示すように、画像データの全体(100%)のほとんど(例えば約90%)を含む領域を比較的粗い解像度で特徴を抽出することで得られたものである。また、詳細特徴は、図47に示すように、画像データの中央領域部分(例えば中央約25%)を含む領域を、上記概要特徴の解像度に比べて高い解像度で特徴を抽出することで得られたものである。なお、原画像データと上記概要特徴及び詳細特徴との位置関係は、図48に示すようになる。   Here, as shown in FIG. 46, the outline feature is obtained by extracting a feature with a relatively coarse resolution in an area including most (for example, about 90%) of the entire image data (100%). is there. In addition, as shown in FIG. 47, the detailed features are obtained by extracting features with a higher resolution than the outline feature resolution in the region including the central region portion (for example, about 25% of the center) of the image data. It is a thing. Note that the positional relationship between the original image data and the outline features and detailed features is as shown in FIG.
図49は、本アプリケーションとしての検索システムの動作フローチャートである。なお、同図において、上記第5アプリケーションと対応するものについては、同一の参照番号を付してある。   FIG. 49 is an operation flowchart of the search system as this application. In the figure, the same reference numerals are assigned to the components corresponding to the fifth application.
即ち、本アプリケーションでは、まず、上記第5アプリケーションと同様に、検索モードに設定したデジタルカメラ146の撮影部154により、再度プリントアウトすることを望む検索元プリントアウト152をテーブル上或いは壁面等に貼付した状態で、少なくとも上記検索元プリントアウト152の欠けが無いように撮影する(ステップS146)。   That is, in this application, first, similarly to the fifth application, the search source printout 152 that is desired to be printed out again is pasted on the table or the wall by the photographing unit 154 of the digital camera 146 set to the search mode. In this state, photographing is performed so that at least the search source printout 152 is not missing (step S146).
そして次に、特徴抽出部156によって、撮影部154で撮影された画像データ全体から特徴を抽出する全体特徴抽出処理を行い(ステップS222)、その抽出した全体特徴を、マッチング部158により、ストレージ148に構成した上記概要特徴を登録した全体特徴データベースと比較し、その類似度の高いものを順に抽出する全体特徴DBとのマッチング処理を実行する(ステップS224)。   Then, the feature extraction unit 156 performs an overall feature extraction process for extracting features from the entire image data captured by the imaging unit 154 (step S222), and the matching unit 158 stores the extracted overall features in the storage 148. Compared with the registered overall feature database configured as described above, matching processing is executed with the overall feature DB that sequentially extracts the features with the highest similarity (step S224).
その後、上記特徴抽出部156にて、上記得られた関心領域全体の画像データから、更に詳細検索対象領域、この例では上記関心領域の中央領域部の画像データを詳細検索対象画像データとして抽出する(ステップS226)。そして、特徴抽出部156によって、上記抽出した詳細検索対象画像データから特徴を抽出する詳細特徴抽出処理を行う(ステップS228)。次に、マッチング部158により、その抽出した詳細特徴データを、ストレージ148に構成した上記詳細特徴を登録した詳細特徴データベースと比較し、その類似度の高いものを順に抽出する詳細特徴DBとのマッチング処理を実行する(ステップS230)。但しこの場合、詳細特徴データベースに登録された全ての詳細特徴との特徴マッチングを行うのではなく、上記ステップS224の全体特徴DBとのマッチング処理で抽出された複数の画像データに対応する詳細特徴についてのみ特徴マッチングが実行される。従って、解像度が高いため処理時間を要する詳細特徴との特徴マッチング処理は、必要最低限で済むことになる。なお、上記ステップS224の全体特徴DBとのマッチング処理での抽出する基準としては、類似度に閾値を設ける方法や上位500個分固定的に選択する等といった方法で行う。   Thereafter, the feature extraction unit 156 further extracts, as detailed search target image data, the detailed search target region, in this example, the image data of the central region of the region of interest, from the obtained image data of the entire region of interest. (Step S226). Then, the feature extraction unit 156 performs a detailed feature extraction process for extracting features from the extracted detailed search target image data (step S228). Next, the matching unit 158 compares the extracted detailed feature data with the detailed feature database registered in the storage 148 and registered with the detailed feature database. Processing is executed (step S230). However, in this case, feature matching is not performed with all the detailed features registered in the detailed feature database, but the detailed features corresponding to a plurality of image data extracted by the matching processing with the overall feature DB in step S224 described above. Only feature matching is performed. Therefore, feature matching processing with detailed features that require processing time due to high resolution is minimized. In addition, as a reference to be extracted in the matching process with the entire feature DB in step S224, a method of setting a threshold value for similarity or a method of selecting a fixed number for the top 500 is performed.
而して、この詳細特徴DBとのマッチング処理にて類似度の高い画像データが原画像候補として抽出されたならば、表示部160に、それらを抽出すべき画像候補として表示し(ステップS158)、ユーザによる選択を受け付けて、ユーザ所望の画像が決定されたならば(ステップS162)、マッチング部158は、ストレージ148に格納されている当該画像候補に対応する原画像データを、接続されたプリンタ150に送り、再度プリントアウトする(ステップS164)。   Thus, if image data with a high degree of similarity is extracted as an original image candidate in the matching process with the detailed feature DB, it is displayed on the display unit 160 as an image candidate to be extracted (step S158). When the user's selection is accepted and the user's desired image is determined (step S162), the matching unit 158 converts the original image data corresponding to the image candidate stored in the storage 148 to the connected printer. 150 and print out again (step S164).
このような本アプリケーションによれば、原画像データの検索結果の質(満足度)向上と、妥当な検索時間の両立ができる。   According to such an application, it is possible to improve both the quality (satisfaction) of the search result of the original image data and an appropriate search time.
また、撮影者の注目領域を考慮した検索結果を得ることができる。即ち、通常、撮影者は主要被写体を画像領域中央に捕らえて撮影するので、図50に示すように、画像データの中央部に注目した詳細特徴を使用することで、良好な検索結果を得ることができる。従って、プリントアウトした写真である検索元プリントアウト152から、その原画像データを検索抽出し、焼き増しを容易に行うシステムにおいて、そのプリント写真の検索において効果が高い。   In addition, it is possible to obtain a search result in consideration of the region of interest of the photographer. In other words, since the photographer normally captures and captures the main subject in the center of the image area, good search results can be obtained by using the detailed features focused on the center of the image data as shown in FIG. Can do. Therefore, in a system that easily retrieves the original image data from the search source printout 152, which is a printed photo, and easily reprints it, the print photo is highly effective.
さらに、キーワード分類などが難しい原画像母集団に対する検索において、高速に細部の違いを判別する手段としての効果が高い。即ち、大規模な母集団に対する、段階的な検索結果絞り込みが可能となる。   Furthermore, it is highly effective as a means for quickly discriminating differences in details in a search for an original image population that is difficult to classify by keywords. In other words, it is possible to narrow down the search results in stages for a large-scale population.
なお、本アプリケーションにおいても、予め、一つの原画像データについて、概要特徴と詳細特徴とを作成してデータベースに登録しておく必要があり、その登録は、上記第5アプリケーションで説明したようにして行えば良い。但し、必ずしも同時に両特徴を作成する必要は無く、例えば、詳細特徴は、2次検索を実行する段階で必要になったときに作成する方法でも良い。   Also in this application, it is necessary to create an outline feature and a detailed feature for one original image data in advance and register them in the database, and the registration is performed as described in the fifth application. Just do it. However, it is not always necessary to create both features at the same time. For example, a detailed feature may be created when it becomes necessary at the stage of executing the secondary search.
また、詳細特徴は、図47や図50に示したように、画像データの中央部に注目したものに限定するものではない。   Further, the detailed features are not limited to those focused on the central portion of the image data as shown in FIGS.
例えば、図51に示すように、画像内に数箇所、詳細特徴を設定しても良い。このように詳細特徴を分散配置することで、プリント撮影条件による失敗を回避できる。即ち、位置や数を動的に変化させて絞り込みが行える。   For example, as shown in FIG. 51, several detailed features may be set in the image. By disposing detailed features in this manner, failure due to print shooting conditions can be avoided. That is, it is possible to narrow down by dynamically changing the position and number.
また、図52に示すように、注目領域を原画像撮影時の合焦位置においた詳細特徴としても良い。このような詳細特徴では、撮影者の意図を反映した結果が見込める。   Also, as shown in FIG. 52, the attention area may be a detailed feature at the in-focus position at the time of photographing the original image. With such detailed features, a result reflecting the photographer's intention can be expected.
さらに、図53に示すように、詳細特徴を概要特徴と同じ領域について作成しデータベースに登録しておき、実際の詳細特徴との特徴マッチング時には、その内の一部の領域、つまり図50乃至図52に示すような領域を参照領域192として使用し、他の領域を非参照領域194とするようにしても良い。   Further, as shown in FIG. 53, detailed features are created for the same region as the summary features and registered in the database, and at the time of feature matching with actual detailed features, some of the regions, that is, FIGS. An area as shown in FIG. 52 may be used as the reference area 192 and another area may be used as the non-reference area 194.
なお、本アプリケーションは、上記第5アプリケーションに対応させて説明したが、上記第6乃至第8アプリケーションについても同様に適用可能なことはもちろんである。   In addition, although this application was demonstrated corresponding to the said 5th application, of course, it is applicable similarly to the said 6th thru | or 8th application.
[第10アプリケーション]
次に、第10アプリケーションとしての検索システムを説明する。
[10th application]
Next, a search system as the tenth application will be described.
本アプリケーションは、通信機能を備えたデジタルカメラ146を使う例であり、予め登録した画像を撮影する事により、その画像を認識し、認識結果に応じて所定の動作(例えば音声出力や所定のプログラムの起動、或いは所定のURLの表示)をさせる場合に適用するものである。通信機能を備えたデジタルカメラ146は、撮影機能付通信装置として機能し、カメラ付携帯電話機が含まれることは勿論である。   This application is an example in which a digital camera 146 having a communication function is used, and by capturing a pre-registered image, the image is recognized, and a predetermined operation (for example, audio output or a predetermined program) is performed according to the recognition result. This is applied to the case of starting (or displaying a predetermined URL). The digital camera 146 having a communication function functions as a communication device with a photographing function, and of course includes a camera-equipped mobile phone.
画像を認識する場合、参照するデータベース(いわゆる辞書データ)として画像データは登録するが、画像をそのまま比較するのではなく、画像の特徴を比較するのが効率が良く実際的である為、画像から抽出した特徴データベースを使う。またこのデータベースは内蔵でも通信を介したサーバ上に存在するものでも構わない。   When recognizing an image, the image data is registered as a database to be referred to (so-called dictionary data), but it is efficient and practical to compare the features of the image rather than comparing the images as they are. Use the extracted feature database. This database may be built-in or may exist on a server through communication.
本アプリケーションでは、画像の特徴点の配置関係をベクトル量の組み合わせとして算出し、その多数組を特徴として定義する。そのとき、この特徴は特徴点の現れる数によってその精度が異なり、原画像データの精細度が高ければ特徴点が数多く検出可能であるため、同じ原画像データに対し、なるべく高精細な条件で特徴を算出する。このとき、同じ画像素材に対して精細度を低下させた画像データを基に特徴を算出すると、特徴点が比較的少なくなるため特徴自体は小さい容量となる。容量が小さいことはマッチング精度には劣るものの、マッチング速度が高速であることや、通信速度が速い等のメリットがある。   In this application, the arrangement relation of the feature points of the image is calculated as a combination of vector quantities, and a large number of sets are defined as features. At that time, the accuracy of this feature differs depending on the number of feature points that appear, and if the definition of the original image data is high, a large number of feature points can be detected. Is calculated. At this time, if features are calculated on the same image material based on image data with reduced definition, the number of feature points is relatively small, so the features themselves have a small capacity. A small capacity is inferior in matching accuracy, but has advantages such as a high matching speed and a high communication speed.
本アプリケーションにおいてはここに着眼し、画像データを参照データ(特徴)として登録する際、一つの画像素材の登録に際し異なる複数の精細度から特徴を算出し、それぞれの精細度に個別化したデータベースを構成する。そのそれぞれのデータベースには、それぞれに対応するマッチングサーバが接続し、並列動作可能な配置とする。即ち、図54に示すように、1次特徴のマッチングサーバ及び1次情報DB196−1、2次特徴量のマッチングサーバ及び2次情報DB196−2、…、n次特徴量のマッチングサーバ及びn次情報DB196−nを準備する。なお、2次特徴量のマッチングサーバ及び2次情報DB196−2乃至n次特徴量のマッチングサーバ及びn次情報DB196−nは、1次特徴量のマッチングサーバ及び1次情報DB196−1よりも高精細な特徴量又は特別なカテゴリのデータベースである。   This application focuses on this, and when registering image data as reference data (features), a feature is calculated from a plurality of different resolutions when registering one image material, and a database that is individualized for each resolution is created. Configure. A matching server corresponding to each database is connected to each database so that the databases can operate in parallel. That is, as shown in FIG. 54, a primary feature matching server and primary information DB 196-1, secondary feature quantity matching server and secondary information DB 196-2,. Information DB196-n is prepared. The secondary feature quantity matching server and the secondary information DB 196-2 to the n-th feature quantity matching server and the n-order information DB 196-n are higher than the primary feature quantity matching server and the primary information DB 196-1. A database of fine features or special categories.
このようなマッチング処理系を準備した上で、図54に示すように、通信機能を備えたデジタルカメラ146から、既に登録されている意匠(対象物)を撮影し(ステップS232)、上記デジタルカメラ146に内蔵されるアプリケーションソフトウェアにより特徴点の配置関係から特徴を算出する(ステップS148)。そして、その特徴を通信を介して各マッチングサーバに送信することで、各DBとのマッチング処理が行われる(ステップS150)。このマッチング処理によって、マッチする結果が得られたならば、その結果に紐付く動作情報(例えばURLのリンク等)が取得され(ステップS234)、その動作情報がデジタルカメラ146に送信されて、例えば3Dオブジェクト取得と表示といった指定動作が遂行される(ステップS236)。なお、デジタルカメラ146は撮影した画像全体、もしくはその一部をマッチングサーバへ送信し、ステップS148をマッチングサーバ上で実行させてもよいことは勿論である。   After preparing such a matching processing system, as shown in FIG. 54, an already registered design (object) is photographed from a digital camera 146 having a communication function (step S232), and the digital camera The feature is calculated from the arrangement relationship of the feature points by the application software built in 146 (step S148). And the matching process with each DB is performed by transmitting the characteristic to each matching server via communication (step S150). If a matching result is obtained by this matching processing, operation information (for example, a URL link) associated with the result is acquired (step S234), and the operation information is transmitted to the digital camera 146, for example, A designated operation such as 3D object acquisition and display is performed (step S236). Of course, the digital camera 146 may transmit the entire captured image or a part thereof to the matching server, and may execute step S148 on the matching server.
なお、このときのカメラ解像度が200万画素級であったとすれば、通信を介してマッチングサーバにて検索する場合も200万画素級の解像度の特徴データベースからのデータでマッチングを行えば誤認識率が少ない。しかしながら、同時に動作する低解像度(例えばVGAクラスの解像度)の特徴データベースでのマッチングは高速に応答するため、先にデジタルカメラ146に結果が送付される。このようにマッチングサーバを解像度別に並列配置する事は速度的、認識精度的に有利である。なお、後追いの高解像度マッチングサーバからの回答が既に先に出ている低解像度マッチングサーバと異なる場合があり、そのような場合には、まず早いほうの結果に基づく表示が行われ、その後に、後追いの結果に基づく表示に更新される。例えば、紙幣などを認識しようとすると、低解像度マッチングでの回答が『100$札』と言ったレベルであっても、高解像度マッチングにおいては『100$札でナンバーがHD85866756A』と言った回答のように、より精細度が高いことによる詳しい或いは正しい結果が得られる。また、低解像度の結果では複数の候補が得られ、高解像度の結果が到着するに従って、結果の候補が絞り込まれていく表示も効果的である。   Assuming that the camera resolution at this time is 2 million pixel class, even when searching with a matching server via communication, if the matching is performed with the data from the feature database of the resolution of 2 million pixel class, the false recognition rate Less is. However, since matching in the feature database of low resolution (for example, VGA class resolution) that operates simultaneously responds at high speed, the result is sent to the digital camera 146 first. Thus, it is advantageous in terms of speed and recognition accuracy to arrange matching servers in parallel for each resolution. In addition, the response from the follow-up high-resolution matching server may differ from the low-resolution matching server that has already appeared first. In such a case, the display based on the earlier result is performed first, The display is updated based on the follow-up result. For example, when trying to recognize a banknote or the like, even if the answer in the low resolution matching is “100 dollar bill”, the answer in the high resolution matching is “100 dollar bill is HD85866756A”. Thus, detailed or correct results due to higher definition can be obtained. In addition, it is also effective to display a plurality of candidates for the low resolution result and narrow down the result candidates as the high resolution result arrives.
また、上述した通り高解像度マッチングサーバにおいては特徴自体の容量が大きく、XGAクラスの特徴量は40kB程度に肥大するが、予め低解像度マッチングによりおよそ10kB程度までに小さくなる。また、2次以降のマッチングサーバ及びデータベースにおいては、より低解像データベースとの差分のみを保持すれば、より小さいデータベース構成を実現し、それは認識処理の高速化につながる。なお、特徴に特徴(エリア割付を行い、各々の濃度値を比較する方式)での抽出を進めた場合、一般的に10kB以下であり、適宜両方式を組み合わせた多次元特徴も認識精度の向上に有効であることを確認している。   Further, as described above, in the high resolution matching server, the capacity of the feature itself is large and the feature amount of the XGA class is enlarged to about 40 kB, but is reduced to about 10 kB in advance by the low resolution matching. In the second and subsequent matching servers and databases, if only the difference from the lower resolution database is held, a smaller database configuration is realized, which leads to speeding up of recognition processing. In addition, when extraction with features (a method of assigning areas and comparing density values) is advanced, it is generally 10 kB or less, and multidimensional features combining both methods are also improved in recognition accuracy. It is confirmed that it is effective.
このように、撮影画像面の一部又は全面の解像度を多段階化し、実質上のマッチング階層化を実現することは、単純に複数のマッチングサーバをクラスター的に分散処理する場合に比べて認識速度、認識精度の両面で効果がある。   In this way, the resolution of a part or the whole of the captured image plane is multi-staged, and the realization of the matching hierarchy is substantially faster than the case where a plurality of matching servers are distributed and processed in a cluster manner. It is effective in both recognition accuracy.
特に、予めデータベース登録した画像が極めて多数(1000以上)の場合に効果がある方式であり、また、類似性の高い画像がその中に含まれている場合にも効果を有する。   In particular, this method is effective when the number of images registered in the database in advance is very large (1000 or more), and it is also effective when images with high similarity are included therein.
[第11アプリケーション]
次に、第11アプリケーションとしての検索システムを説明する。
[11th application]
Next, a search system as the eleventh application will be described.
本第11アプリケーションとしての検索システムは、図55に示すように、カメラ186付の携帯電話機184と、検索部と、から構成されるものである。上記カメラ186付の携帯電話機184は、画像を入力するカメラ186と検索結果の画像を出力するディスプレイ190とを含む。上記検索部は、上記カメラ186で入力した画像を基にして、階層管理された特徴を用いて、データベースから画像を検索する。なおここで、上記検索部は、カメラ186付の携帯電話機184のアプリケーションソフトウェア188と、上記カメラ186付の携帯電話機184と通信可能なサーバ198に構成されたマッチング処理部200とによって実現される。   As shown in FIG. 55, the search system as the eleventh application includes a mobile phone 184 with a camera 186 and a search unit. The mobile phone 184 with the camera 186 includes a camera 186 that inputs an image and a display 190 that outputs an image of a search result. The search unit searches for an image from the database using the hierarchically managed features based on the image input by the camera 186. Here, the search unit is realized by the application software 188 of the mobile phone 184 with the camera 186 and the matching processing unit 200 configured in the server 198 that can communicate with the mobile phone 184 with the camera 186.
上記サーバ198は、更に、複数の特徴が登録され、それらを階層管理する特徴管理データベース(DB)202を有している。この特徴管理DB202に登録されるテンプレートは、デスクトップパブリッシング(DTP)210で紙面208に配置した対象画像206から、特徴作成部204によって作成されたものである。   The server 198 further includes a feature management database (DB) 202 in which a plurality of features are registered and the layers are hierarchically managed. The template registered in the feature management DB 202 is created by the feature creation unit 204 from the target image 206 arranged on the paper surface 208 by the desktop publishing (DTP) 210.
即ち、本アプリケーションとしての検索システムでは、予め、DTP210によって、紙面208に対象画像206を印刷すると共に、特徴作成部204でその対象画像206の特徴を作成する。そして、その作成した特徴をサーバ198の特徴管理DB202に登録しておく。なお、登録する対象画像206が多数あれば、そのような特徴の作成と登録を繰り返す。   That is, in the search system as this application, the target image 206 is printed on the paper surface 208 by the DTP 210 in advance, and the feature creation unit 204 creates the feature of the target image 206. Then, the created feature is registered in the feature management DB 202 of the server 198. If there are many target images 206 to be registered, the creation and registration of such features are repeated.
そして、検索を望むユーザが、紙面208から携帯電話機184のカメラ186を使って対象画像206を取り込むと、アプリケーションソフトウェア188は、その入力画像から画像の特徴抽出を行う。そして、アプリケーションソフトウェア188は、抽出した特徴をサーバ198のマッチング処理部200に送る。そして、該マッチング処理部200は特徴管理DB202に登録されている特徴とマッチングを行う。マッチング結果が取得されたならば、マッチング処理部200は、該マッチング結果情報をカメラ186付の携帯電話機184のアプリケーションソフトウェア188に送る。アプリケーションソフトウェア188はディスプレイ190に上記結果情報を表示する。   Then, when a user who desires to retrieve the target image 206 from the paper 208 using the camera 186 of the mobile phone 184, the application software 188 performs image feature extraction from the input image. Then, the application software 188 sends the extracted features to the matching processing unit 200 of the server 198. The matching processing unit 200 performs matching with the features registered in the feature management DB 202. If the matching result is acquired, the matching processing unit 200 sends the matching result information to the application software 188 of the mobile phone 184 with the camera 186. The application software 188 displays the result information on the display 190.
このように、本第11アプリケーションにおいては、入力画像の中から複数の特徴を抽出し、それら特徴から成る特徴群を、予め登録してある対象物ごとの特徴群と比較対照する(マッチング処理する)ことにより、同一の対象物の同定を行う。   As described above, in the eleventh application, a plurality of features are extracted from the input image, and a feature group composed of these features is compared with a feature group for each target object registered in advance (matching processing is performed). ) To identify the same object.
ここでいう画像の中の特徴とは、他の画素との差異が一定レベル以上あるものを指し、例えば明暗のコントラスト、色、周囲の画素の分布、微分成分値、及び特徴同士の配置等を挙げることができる。本第11アプリケーションにおいては、上記特徴を抽出した後、対象物毎に登録しておく。そして、実際の同定時においては、入力画像の中をサーチして特徴を抽出し、予め登録されているデータとの比較を行う。   The feature in the image here means that the difference from other pixels is a certain level or more, for example, contrast of light and darkness, color, distribution of surrounding pixels, differential component value, arrangement of features, etc. Can be mentioned. In the eleventh application, after extracting the feature, it is registered for each object. At the time of actual identification, the input image is searched to extract features and compared with pre-registered data.
以下、図56を参照して、本第11アプリケーションにおけるマッチング処理部200での同定処理の動作制御の流れを説明する。まず、予め登録してある対象物Z(例えば対象画像206)の認識要素の特徴を、特徴点群が記録されている特徴管理DB202から読み出す(ステップS238)。続いて、上記特徴を、特徴の比較を行うマッチング処理部200へ入力する(ステップS240)。そして、上記マッチング処理部200にて、上記特徴と、入力された対象物の特徴との比較対照を行う(ステップS242)。その後、上記対象物Zと、入力された対象物との同一性を判断する(ステップS244)。そして、一致する特徴の個数が所定の値(ここではX個とする)以上であるか否かを判断する(ステップS246)。このステップS246をNOに分岐する場合は、上記ステップS242へ戻る。一方、上記ステップS246をYESに分岐する場合は、現在比較中の対象物Zの認識要素と、入力された対象物とが同一であると判定する(ステップS248)。   Hereinafter, with reference to FIG. 56, the flow of operation control of identification processing in the matching processing unit 200 in the eleventh application will be described. First, the feature of the recognition element of the target Z (for example, the target image 206) registered in advance is read from the feature management DB 202 in which the feature point group is recorded (step S238). Subsequently, the feature is input to the matching processing unit 200 that performs feature comparison (step S240). Then, the matching processing unit 200 compares and compares the feature with the feature of the input object (step S242). Thereafter, the identity of the object Z and the input object is determined (step S244). Then, it is determined whether or not the number of matching features is equal to or greater than a predetermined value (here, X) (step S246). When step S246 is branched to NO, the process returns to step S242. On the other hand, when step S246 is branched to YES, it is determined that the recognition element of the object Z currently being compared is the same as the input object (step S248).
その後、全ての認識要素についての比較を終了したか否かを判断する(ステップS250)。このステップS250をNOに分岐する場合は、次の認識要素の特徴群における、特徴を、上記マッチング処理部200へ比較データとして入力し(ステップS252)、上記ステップS242へ戻る。   Thereafter, it is determined whether or not the comparison has been completed for all recognition elements (step S250). When step S250 is branched to NO, the feature in the feature group of the next recognition element is input as comparison data to the matching processing unit 200 (step S252), and the process returns to step S242.
ところで、上記ステップS250をYESに分岐する場合は、一致する特徴の個数が所定の値(ここではY個とする)以上あるか否かを判断する(ステップS254)。ここで、このステップS254をYESに分岐する場合には、入力された対象物と、対象物Zとは一致すると判定し、その旨をディスプレイ190に表示してユーザに知らせる(ステップS256)。他方、上記ステップS254をNOに分岐する場合は、入力された対象物と、対象物Zとは一致しないと判定する(ステップS258)。   When step S250 is branched to YES, it is determined whether or not the number of matching features is equal to or greater than a predetermined value (here, Y) (step S254). Here, when this step S254 is branched to YES, it is determined that the input object and the object Z coincide with each other, and this is displayed on the display 190 to notify the user (step S256). On the other hand, when step S254 is branched to NO, it is determined that the input object does not match the object Z (step S258).
なお、実際の同定時においては、類似している度合いを示す数値(特徴同士の各成分の差異)が、予め設定した閾値を越えた場合に、当該特徴を類似特徴と判定する。そして、更に複数の特徴が一致した対象物を、入力画像の対象物と同一であると判定する。この際、入力画像の中の特徴と、予め登録されている特徴群とを、以下のように比較する。   At the time of actual identification, when a numerical value indicating the degree of similarity (difference between components of features) exceeds a preset threshold value, the feature is determined as a similar feature. Then, it is determined that an object having a plurality of matching features is the same as the object of the input image. At this time, the features in the input image are compared with the feature groups registered in advance as follows.
第1に、対象物の中を複数の要素に分割して登録しておく。これにより、対象物同士の比較対照時に、複数の要素(例えば3個)を認識しないと当該対象物を認識したとしない、との判定ロジックで認識させる。   First, the object is divided into a plurality of elements and registered. Thereby, at the time of comparison of objects, it is made to recognize with the judgment logic that the said object will not be recognized if a some element (for example, 3 pieces) is not recognized.
第2に、対象物の認識に際し、似ている対象物が画像内に写っている場合に、例えば、対象物OBJ1(特徴;A,B,C)を自社のロゴマークとしているS社と、対象物OBJ2(特徴;E,F,G)を自社のロゴマークとしているM社とを想定する。ここで、S社とM社とは競合している会社であるとする。このような場合には、当然、両者のロゴマークの混同は極力避けなければならない。このような事情に鑑みて、本第11アプリケーションにおいては、特徴AとEとが同一画面内から同時に検出された場合には、どちらの対象物共、認識をしない。すなわち、認識判定を厳しくする。   Secondly, when a similar object is shown in the image when the object is recognized, for example, the company S that uses the object OBJ1 (feature; A, B, C) as its own logo mark; Assume that the company M uses the object OBJ2 (feature; E, F, G) as its own logo mark. Here, it is assumed that Company S and Company M are competing companies. In such a case, naturally, confusion between the two logo marks should be avoided as much as possible. In view of such circumstances, in the eleventh application, when the features A and E are simultaneously detected from the same screen, neither object is recognized. That is, the recognition determination is made strict.
第3に、従来は、特徴の数を認識した場合であっても、認識結果をユーザに伝達する文章表現が同一である点である。この為、例えば一部の特徴のみ認識できた場合、つまり入力画像と比較画像との一致度合いが不確定性を含む一致度合いである場合に、その旨をユーザに伝達することができない。一方、本第11アプリケーションにおいては、認識要素数が少ない場合には、結果の表示方法(表現方法)を変え、不確定性を含む表現にする。   Thirdly, conventionally, even when the number of features is recognized, the sentence expression for transmitting the recognition result to the user is the same. For this reason, for example, when only a part of the features can be recognized, that is, when the matching degree between the input image and the comparison image is a matching degree including uncertainty, this fact cannot be transmitted to the user. On the other hand, in the eleventh application, when the number of recognition elements is small, the result display method (expression method) is changed to an expression including uncertainty.
上記のそれぞれの工夫により、それぞれ以下の効果が得られる。
第1に、対象物の一部だけが一致することによる誤認識を起こす確率を低く抑えることができる。
The following effects can be obtained by the above-described devices.
First, it is possible to reduce the probability of erroneous recognition due to matching only a part of the object.
第2に、対象物の誤認識を特に避けたい場合の判定基準を厳しくすることができる。   Secondly, it is possible to tighten the criteria for particularly avoiding erroneous recognition of an object.
第3に、対象物の同一性判定の正確性が所定の値よりも低い場合にも、ユーザに対して注意を喚起した上で、ユーザに一致判定結果を知らせることができる。   Thirdly, even when the accuracy of the identity determination of an object is lower than a predetermined value, it is possible to notify the user of the match determination result after alerting the user.
ところで、対象物の中の特徴が分割して登録されている対象物OBJ1(特徴;A,B,C)及びOBJ2(特徴;E,F,G)の場合には、以下のような判定ロジックによる認識を行う。   By the way, in the case of the objects OBJ1 (features; A, B, C) and OBJ2 (features: E, F, G) in which the features in the object are divided and registered, the following determination logic is used. Recognition by.
第1に、“A and B and C”でないと対象物OBJ1の認識成功としない。   First, the recognition of the object OBJ1 is not successful unless “A and B and C”.
すなわち、認識要素である特徴A,B,Cからなる対象物OBJ1の認識をする場合に、A,B,Cいずれか1つまたは2つの特徴の認識の状態では対象物OBJ1の認識が成功したという形にはしない。   That is, when the object OBJ1 composed of the features A, B, and C as recognition elements is recognized, the object OBJ1 is successfully recognized in the state of recognition of one or two features of A, B, and C. Don't make it a form.
またこの変形例として、特徴A,B,Cに評価点としての重み付けを行う。例えば、それぞれ1.0、0.5、0.3と重み付けする。ここで、合計評価点が1.5を超えたときに認証するとすれば、特徴A及びBが認識要素として見つかった場合には合計評価点が1.5となるので対象物OBJ1を認識する。一方、特徴B及びCが見つかった場合には対象物OBJ1は認識しない。   As a modification, the features A, B, and C are weighted as evaluation points. For example, the weights are 1.0, 0.5, and 0.3, respectively. Here, if authentication is performed when the total evaluation score exceeds 1.5, when the features A and B are found as recognition elements, the total evaluation score is 1.5, so the object OBJ1 is recognized. On the other hand, when the features B and C are found, the object OBJ1 is not recognized.
これら認識要素の評価点については、認識要素の特徴と共に管理することが可能である。   The evaluation points of these recognition elements can be managed together with the characteristics of the recognition elements.
また、論理式として、各要素の優先度を変える事も可能であり、“A and B and C”以外にも、例えば“A and (B or C)”や、“A or (B and C)”といった組み合わせが可能である。これらの例は、認識成功とする為には、いずれも特徴Aが必須要素である例である。   In addition, it is possible to change the priority of each element as a logical expression. In addition to “A and B and C”, for example, “A and (B or C)” or “A or (B and C)” Is possible. These examples are examples in which the feature A is an essential element for successful recognition.
なお、上記の評価点及び論理式の例は、組み合わせて用いることが可能である。すなわち、論理式の優先度と各要素の重み付けとを組み合わせて用いることができる。   It should be noted that the above evaluation points and logical expression examples can be used in combination. In other words, the logical expression priority and the weighting of each element can be used in combination.
第2に、“E and A”が抽出された場合には決して、対象物OBJ1も対象物OBJ2も共に認識したとしない。   Second, when “E and A” is extracted, it is never assumed that both the object OBJ1 and the object OBJ2 are recognized.
例えば対象物OBJ1をロゴとして用いているS社と、対象物OBJ2をロゴとしているM社とが競合関係であって、両者の混同を極力避けたい場合、S社のロゴである対象物OBJ1とM社のロゴである対象物OBJ2とが同一画面内に写っている場合には、どちらのロゴも認識したとしない。この場合には、ユーザに対して、認識できない理由は、対象画像が検出されていないからではなく、(A,B,C)及び(E,F,G)の両方から認識要素が検出されているからであるという旨の表示を行う。   For example, if company S, which uses the object OBJ1 as a logo, and company M, which uses the object OBJ2 as a logo, have a competitive relationship and want to avoid confusion between them as much as possible, When the object OBJ2, which is a logo of M company, is shown on the same screen, neither logo is recognized. In this case, the reason why the user cannot recognize the target image is not because the target image is not detected, but because the recognition element is detected from both (A, B, C) and (E, F, G). It is displayed that it is because it is.
このように、本第11アプリケーションでは、互いに競合関係にある会社等のロゴの同定に関しては、例えばS社のロゴである対象物OBJ1のみか又はM社のロゴである対象物OBJ2のみか、どちらか一方だけが撮影した画像内にある状態になったときにのみ、当該ロゴの認識をするようにする。具体的には、(A,B,C)のうちのいずれかのみ、または(E,F,G)のうちのいずれかのみを、一画像内で検出した場合にのみ、対象物OBJ1または対象物OBJ2の認識を行う。換言すれば、(A,B,C)のうちのいずれかと、(E,F,G)のうちのいずれかとが一画像内で検出された場合、対象物OBJ1も対象物OBJ2も共に認識をしない。   In this way, in the eleventh application, regarding the identification of logos of companies that are in a mutually competitive relationship, for example, only the object OBJ1 that is the logo of the S company or only the object OBJ2 that is the logo of the M company, The logo is recognized only when only one of them is in the captured image. Specifically, the object OBJ1 or the object only when only one of (A, B, C) or only one of (E, F, G) is detected in one image. The object OBJ2 is recognized. In other words, when any one of (A, B, C) and any one of (E, F, G) is detected in one image, both the object OBJ1 and the object OBJ2 are recognized. do not do.
第3に、“A and B”など一部だけが抽出された場合には結果の提示方法を変える(不確定性を含む表現に守る)
例えば、対象物OBJ1の認識に関して、認識要素の特徴A,B,Cの全てが認識できた場合には『対象物OBJ1が認識されました』との強い表現にて認識結果をユーザに提示する。また、認識要素の特徴A及び特徴B、特徴B及び特徴C、或いは特徴A及び特徴C等、2つの認識要素を認識できた場合には、例えば『対象物OBJ1だと思われます』とのやや確信を弱めた表現にて、認識結果をユーザに提示する。更に認識できた認識要素が1つだった場合には、『対象物OBJ1が認識された可能性があります』というように、不確定性を含んだ表現にて認識結果をユーザに提示する。
Third, when only a part such as “A and B” is extracted, the presentation method of the result is changed (prevents the expression including uncertainty)
For example, regarding the recognition of the object OBJ1, when all the features A, B, and C of the recognition element are recognized, the recognition result is presented to the user with a strong expression “object OBJ1 has been recognized”. . In addition, when two recognition elements such as feature A and feature B, feature B and feature C, or feature A and feature C of the recognition element can be recognized, for example, “It seems to be the object OBJ1” The recognition result is presented to the user in a slightly weakened expression. Further, when there is one recognition element that can be recognized, the recognition result is presented to the user in an expression including uncertainty such as “the object OBJ1 may be recognized”.
なお、本第11アプリケーションの変形例として、上述した重み付けの評価点を用いた場合に、その合計評価点に基づく認識結果を、ユーザへ提示する際の表現方法における上記のような工夫も考えられる。また、ユーザへ認識結果を提示する際の上記のような表現方法の工夫は、様々な場面において適用可能なのは勿論である。例えば、所望の認識要素単体の認識においても適用が可能である。また、例えば認識要素内における一致特徴の数、抽出特徴と登録済み特徴との一致度合いによって、ユーザへ認識結果を提示する際の上記のような表現方法を適用することができる。   As a modification of the eleventh application, when the above-described weighted evaluation points are used, the above-described device in the expression method when presenting the recognition result based on the total evaluation points to the user can be considered. . In addition, it goes without saying that the idea of the above-described expression method when presenting the recognition result to the user can be applied in various scenes. For example, the present invention can be applied to recognition of a desired recognition element alone. In addition, for example, the above-described expression method when presenting the recognition result to the user can be applied depending on the number of matching features in the recognition element and the matching degree between the extracted feature and the registered feature.
なお、本第11アプリケーションにおいては、上記特徴作成部204はサーバ198上で動作していても勿論よい。また、上記紙面208は表示面を意味し、必ずしも紙であることに限定されない。例えば、金属、プラスチック等の別の素材であってもよいし、液晶モニタやプラズマテレビなどのような映像表示装置であってもよい。勿論、それらに表示される情報は、人間にとっての可視光領域で表示されるものへ対応しているのは当然のことである。しかしながら、カメラ186へ入力可能な情報であれば、人間にとって不可視な情報であっても勿論良い。また、画像として取得可能なもの全てが対象であるので、例えば、X線画像やサーモグラフィといった画像であってもよい。   In the eleventh application, the feature creation unit 204 may of course operate on the server 198. The paper surface 208 means a display surface and is not necessarily limited to paper. For example, it may be another material such as metal or plastic, or may be a video display device such as a liquid crystal monitor or a plasma television. Of course, it is natural that the information displayed on them corresponds to that displayed in the visible light region for humans. However, as long as the information can be input to the camera 186, information that is invisible to humans may be used. In addition, since anything that can be acquired as an image is a target, for example, an image such as an X-ray image or a thermography may be used.
なお、図55において、上記カメラ186から入力される対象画像を含む画像は、カメラ186付の携帯電話機184からサーバ198における上記マッチング処理部200へ送信される。このとき、上記カメラ186が取得した画像をそのまま画像データとして送信することは勿論のこと、画像を縮小して送信しても勿論良い。また、当該画像から、マッチングで用いる特徴を抽出し、これを送信しても勿論良い。さらには、上記画像と上記特徴との両方を送信するとしても勿論良い。つまり、当該画像から導き出すことが可能な態様のデータであれば、どういった態様のデータを送信しても構わない。   In FIG. 55, an image including a target image input from the camera 186 is transmitted from the mobile phone 184 with the camera 186 to the matching processing unit 200 in the server 198. At this time, the image acquired by the camera 186 may be transmitted as it is as image data, or may be transmitted by reducing the image. Of course, features used for matching may be extracted from the image and transmitted. Of course, both the image and the feature may be transmitted. In other words, any form of data may be transmitted as long as the data can be derived from the image.
10…特徴検出、 12…特徴選択、 14…特徴認識、 16,134…データベース、 18…dBTree構築、 20…dBTree検索、 22…インデックスマッチング、 24…特徴空間、 26…サブ空間、 100…情報呈示装置、 102…記憶部、 104…データセットサーバ、 106…情報サーバ、 108,154…撮影部、 110…認識及び識別部、 112…情報指定部、 114…呈示画像生成部、 116…画像表示装置、 118…データセット、 120…位置及び姿勢算出部、 122…基本データ、 124…記憶メディア、 126…バーコードスキャナ、 128…重量秤、 130,186…カメラ、 132…コントロール部/現金収納箱、 136…モニタ、 138…視野、 140…特徴、 142…画像、 144…参照画像、 146…デジタルカメラ、 148…ストレージ、 150…プリンタ、 152…検索元プリントアウト、 156,176…特徴抽出部、 158,178…マッチング部、 160,180…表示部、 162…画像候補、 164…『前』及び『次』アイコン、 166…『決定』アイコン、 168…太枠、 170,182…通信部、 172…パーソナルコンピュータ(PC)、 174…記憶部、 184…携帯電話機、 188…アプリケーションソフトウェア、 190…ディスプレイ、 192…参照領域、 194…非参照領域、 196−1…1次特徴のマッチングサーバ及び1次情報DB、 196−2…2次特徴のマッチングサーバ及び2次情報DB、 196−n…n次特徴のマッチングサーバ及びn次情報DB、 198…サーバ、 200…マッチング処理部、 202…特徴管理データベース(DB)、 204…特徴作成部、 206…対象画像、 208…紙面、 210…デスクトップパブリッシング(DTP)。     DESCRIPTION OF SYMBOLS 10 ... Feature detection, 12 ... Feature selection, 14 ... Feature recognition, 16, 134 ... Database, 18 ... dBTree construction, 20 ... dBTree search, 22 ... Index matching, 24 ... Feature space, 26 ... Subspace, 100 ... Information presentation Device: 102 Storage unit 104 Data set server 106 Information server 108, 154 Imaging unit 110 Recognition / identification unit 112 Information specifying unit 114 Presentation image generation unit 116 Image display device 118 ... Data set, 120 ... Position and orientation calculation unit, 122 ... Basic data, 124 ... Storage media, 126 ... Bar code scanner, 128 ... Weigh scale, 130,186 ... Camera, 132 ... Control unit / cash storage box, 136: Monitor, 138: Field of view, 140: Feature, 1 42 ... Image, 144 ... Reference image, 146 ... Digital camera, 148 ... Storage, 150 ... Printer, 152 ... Search source printout, 156,176 ... Feature extraction unit, 158,178 ... Matching unit, 160,180 ... Display unit 162 ... Image candidates, 164 ... "Previous" and "Next" icons, 166 ... "Determination" icon, 168 ... Thick frame, 170, 182 ... Communication part, 172 ... Personal computer (PC), 174 ... Storage part, 184 ... mobile phone, 188 ... application software, 190 ... display, 192 ... reference area, 194 ... non-reference area, 196-1 ... primary feature matching server and primary information DB, 196-2 ... secondary feature matching server And secondary information DB, 196-n ... n-order feature matchons 198 ... server, 200 ... matching processing unit, 202 ... feature management database (DB), 204 ... feature creation unit, 206 ... target image, 208 ... paper surface, 210 ... desktop publishing (DTP).

Claims (11)

  1. 一つの2次元又は3次元画像データ内で所定の属性が極値(Local Maximum and/or Minimum)となる特徴(features)を検出し(10)、
    上記検出した特徴からエッジ及び線の輪郭に沿って存在する特徴を除外し(12)、
    上記残りの特徴を平面に割り当て(14)、
    上記割り当てた特徴から局所情報(local information)を用いて一部の特徴を選択し(14)、
    上記選択した特徴を対象に特徴マッチングを行う(14)、
    2次元又は3次元画像データ内の対象を認識する特徴マッチング方法であって、
    上記一つの2次元又は3次元画像データからスケールが異なる複数の画像データを作成し、
    上記作成された異なる複数の画像データに対して、上記特徴の検出、上記特徴の除外、上記残りの特徴の割当て、上記一部の特徴の選択、及び上記特徴マッチングの実施のうち少なくとも一つが行われる、
    ことを特徴とする特徴マッチング方法。
    Detect features that have a specified attribute extreme value (Local Maximum and / or Minimum) in one 2D or 3D image data (10),
    Excluding features present along the edges and line contours from the detected features (12);
    Assign the remaining features to a plane (14),
    Select some features from the assigned features using local information (14),
    Perform feature matching on the selected feature (14),
    A feature matching method for recognizing objects in 2D or 3D image data,
    Creating a plurality of image data having different scales from the one two-dimensional or three-dimensional image data,
    At least one of detection of the feature, exclusion of the feature, assignment of the remaining feature, selection of the partial feature, and execution of the feature matching is performed on the plurality of different created image data. Called
    A feature matching method characterized by that.
  2. 上記一部の特徴の選択は、特徴のテクスチャの度合い(texture-ness)による制約(constraint)を用いることを特徴とする請求項1に記載の特徴マッチング方法。   2. The feature matching method according to claim 1, wherein the selection of some of the features uses a constraint based on a texture-ness of the feature.
  3. 上記一部の特徴の選択は、さらに、方向成分(orientation)による制約を用いることを特徴とする請求項2に記載の特徴マッチング方法。   The feature matching method according to claim 2, wherein the selection of the part of the features further uses a restriction by an orientation component.
  4. 上記一部の特徴の選択は、さらに、倍率(scale)による制約を用いることを特徴とする請求項3に記載の特徴マッチング方法。   4. The feature matching method according to claim 3, wherein the selection of some of the features further uses a constraint based on a scale.
  5. 上記特徴マッチングの実施は、RANSAC手法を用いることを特徴とする請求項1に記載の特徴マッチング方法。   The feature matching method according to claim 1, wherein the feature matching is performed using a RANSAC method.
  6. 上記特徴マッチングの実施は、dBTree手法(18、20、22)を用いることを特徴とする請求項1に記載の特徴マッチング方法。   The feature matching method according to claim 1, wherein the feature matching is performed using a dBTree method (18, 20, 22).
  7. さらに、
    上記特徴マッチングの実施の正確性を算出し(22)、
    上記算出した正確性に基づいて、複数の認識結果を出力する(22)、
    ことを特徴とする請求項1に記載の特徴マッチング方法。
    further,
    Calculating the accuracy of the above feature matching (22),
    A plurality of recognition results are output based on the calculated accuracy (22),
    The feature matching method according to claim 1, wherein:
  8. 上記特徴マッチングの実施は、論理式で表現されたデータベースに登録された複数の画像データの組み合わせ条件に基づいて、上記2次元又は3次元画像データのマッチングを行う(S242)ことを特徴とする請求項1に記載の特徴マッチング方法。   The feature matching is performed by matching the two-dimensional or three-dimensional image data based on a combination condition of a plurality of image data registered in a database expressed by a logical expression (S242). Item 2. The feature matching method according to Item 1.
  9. 上記特徴の検出は、上記2次元又は3次元画像データのポイントに高域通過フィルタを適用し、該高域通過フィルタの出力値を閾値と比較することによって行うことを特徴とする請求項1に記載の特徴マッチング方法。   The feature detection is performed by applying a high-pass filter to a point of the two-dimensional or three-dimensional image data, and comparing an output value of the high-pass filter with a threshold value. The feature matching method described.
  10. 予め登録された複数の商品の特徴を記録するように構成された特徴記憶部(134)と、
    商品を撮影するよう構成された画像入力部(130)と、
    上記画像入力部で商品を撮影して得られた画像から特徴を抽出し、上記抽出した特徴を上記特徴記憶部に記録されている特徴と比較対照することにより、上記画像入力部で撮影した商品を自動認識するよう構成された自動認識部(132)と、
    上記自動認識部の認識結果を利用して、精算処理を行う精算部(132)と、
    を具備し、
    上記自動認識部は、請求項1に記載の特徴マッチング方法を用いることを特徴とする商品認識システム。
    A feature storage unit (134) configured to record features of a plurality of pre-registered products;
    An image input unit (130) configured to photograph a product;
    The product photographed by the image input unit by extracting features from the image obtained by photographing the product by the image input unit and comparing and comparing the extracted features with the features recorded in the feature storage unit. An automatic recognition unit (132) configured to automatically recognize
    A settlement unit (132) that performs a settlement process using the recognition result of the automatic recognition unit,
    Comprising
    The product recognition system according to claim 1, wherein the automatic recognition unit uses the feature matching method according to claim 1.
  11. 上記予め登録された複数の商品の、重量及びサイズ少なくとも一方をそれぞれ含む特定情報を記録するように構成された特定情報記憶部(134)を有し、
    上記自動認識部は、上記商品の認識精度を高めるために、上記特定情報記憶部に記録された特定情報を用いる、
    ことを特徴とする請求項10に記載の商品認識システム。
    A specific information storage unit (134) configured to record specific information including at least one of weight and size of the plurality of pre-registered products,
    The automatic recognition unit uses specific information recorded in the specific information storage unit in order to increase the recognition accuracy of the product.
    The product recognition system according to claim 10.
JP2013000553A 2013-01-07 2013-01-07 Feature matching method and article recognition system Pending JP2013109773A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013000553A JP2013109773A (en) 2013-01-07 2013-01-07 Feature matching method and article recognition system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013000553A JP2013109773A (en) 2013-01-07 2013-01-07 Feature matching method and article recognition system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009549056A Division JP2010518507A (en) 2007-02-13 2007-02-13 Feature matching method

Publications (1)

Publication Number Publication Date
JP2013109773A true JP2013109773A (en) 2013-06-06

Family

ID=48706400

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013000553A Pending JP2013109773A (en) 2013-01-07 2013-01-07 Feature matching method and article recognition system

Country Status (1)

Country Link
JP (1) JP2013109773A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015069319A (en) * 2013-09-27 2015-04-13 株式会社ダスキン Information search device, information search method, and information search program
JP2015115723A (en) * 2013-12-10 2015-06-22 Kddi株式会社 Video instruction method capable of superposing instruction picture on imaged moving picture, system, terminal, and program
US9971939B2 (en) 2015-06-23 2018-05-15 Toshiba Tec Kabushiki Kaisha Image processing apparatus, display state determination apparatus, and image processing method
US10528844B2 (en) 2017-02-28 2020-01-07 Fujitsu Limited Method and apparatus for distance measurement
KR102243266B1 (en) * 2019-11-04 2021-04-21 정호철 Smart trade cost management apparatus, controlling method thereof ant storage medium for storing a program for processing smart trade cost management

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09161075A (en) * 1995-12-07 1997-06-20 Sony Corp Feature point detecting device, its method, area dividing device, picture encoding device, and recording medium
JP2000030067A (en) * 1998-05-19 2000-01-28 Lucent Technol Inc Method for recognizing object
US20040165775A1 (en) * 2001-07-27 2004-08-26 Christian Simon Model-based recognition of objects using a calibrated image system
JP2006065399A (en) * 2004-08-24 2006-03-09 Sony Corp Image processing device and method, storage medium and program
JP2006170993A (en) * 2004-12-10 2006-06-29 Microsoft Corp Matching of asynchronous image parts
JP2006350618A (en) * 2005-06-15 2006-12-28 Kddi Corp Moving image processor

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09161075A (en) * 1995-12-07 1997-06-20 Sony Corp Feature point detecting device, its method, area dividing device, picture encoding device, and recording medium
JP2000030067A (en) * 1998-05-19 2000-01-28 Lucent Technol Inc Method for recognizing object
US20040165775A1 (en) * 2001-07-27 2004-08-26 Christian Simon Model-based recognition of objects using a calibrated image system
JP2006065399A (en) * 2004-08-24 2006-03-09 Sony Corp Image processing device and method, storage medium and program
JP2006170993A (en) * 2004-12-10 2006-06-29 Microsoft Corp Matching of asynchronous image parts
JP2006350618A (en) * 2005-06-15 2006-12-28 Kddi Corp Moving image processor

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNG199700171015; 福井和広 外1名: '形状抽出とパターン照合の組合せによる顔特徴点抽出' 電子情報通信学会論文誌 情報・システムII-情報処理 第J80-D-II巻 第8号, 19970825, 2170〜2177, 社団法人電子情報通信学会 *
JPN6013051016; 福井和広 外1名: '形状抽出とパターン照合の組合せによる顔特徴点抽出' 電子情報通信学会論文誌 情報・システムII-情報処理 第J80-D-II巻 第8号, 19970825, 2170〜2177, 社団法人電子情報通信学会 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015069319A (en) * 2013-09-27 2015-04-13 株式会社ダスキン Information search device, information search method, and information search program
JP2015115723A (en) * 2013-12-10 2015-06-22 Kddi株式会社 Video instruction method capable of superposing instruction picture on imaged moving picture, system, terminal, and program
US9971939B2 (en) 2015-06-23 2018-05-15 Toshiba Tec Kabushiki Kaisha Image processing apparatus, display state determination apparatus, and image processing method
US10528844B2 (en) 2017-02-28 2020-01-07 Fujitsu Limited Method and apparatus for distance measurement
KR102243266B1 (en) * 2019-11-04 2021-04-21 정호철 Smart trade cost management apparatus, controlling method thereof ant storage medium for storing a program for processing smart trade cost management

Similar Documents

Publication Publication Date Title
JP2010518507A (en) Feature matching method
US20100092093A1 (en) Feature matching method
KR101887002B1 (en) Systems and methods for image-feature-based recognition
JP5427859B2 (en) System for image capture and identification
KR101856120B1 (en) Discovery of merchants from images
US9535930B2 (en) System and method for using an image to provide search results
US20140254942A1 (en) Systems and methods for obtaining information based on an image
WO2016004330A1 (en) Interactive content generation
JP2010530998A (en) Image-based information retrieval method and system
CN104991954B (en) Shopping search system based on picture search and its implementation
JP2013109773A (en) Feature matching method and article recognition system
US10031925B2 (en) Method and system of using image recognition and geolocation signal analysis in the construction of a social media user identity graph
JP5848833B2 (en) Method and system for comparing images
CN101133429A (en) Document/image searching method and program, and document/image recording and searching device
CN101292259A (en) Method and system for image matching in a mixed media environment
JP2015504215A5 (en)
Marder et al. Using image analytics to monitor retail store shelves
Tonioni et al. Product recognition in store shelves as a sub-graph isomorphism problem
CN101261638B (en) Image search method and apparatus
Brogan et al. Spotting the difference: Context retrieval and analysis for improved forgery detection and localization
JP2009258953A (en) Image processing method, program for executing the method, storage medium, imaging apparatus, and image processing system
JP6211407B2 (en) Image search system, image search device, search server device, image search method, and image search program
JP5625246B2 (en) Image search apparatus and image search method
JP2009032109A (en) Document image search method, document image registration method, and program and apparatus for the same
JP5278093B2 (en) Article related information providing method, apparatus, program, and recording medium

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131015

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140610