JP2002216131A - Image collating device, image collating method and storage medium - Google Patents
Image collating device, image collating method and storage mediumInfo
- Publication number
- JP2002216131A JP2002216131A JP2001005853A JP2001005853A JP2002216131A JP 2002216131 A JP2002216131 A JP 2002216131A JP 2001005853 A JP2001005853 A JP 2001005853A JP 2001005853 A JP2001005853 A JP 2001005853A JP 2002216131 A JP2002216131 A JP 2002216131A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- distance
- reference image
- comparing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、２以上の画像を比
較照合する画像照合装置及び画像照合方法に係り、例え
ば、テンプレート・マッチングやパターン・マッチング
などのような手法に基づいて画像どうしを比較照合する
画像照合装置及び画像照合方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image matching apparatus and an image matching method for comparing and matching two or more images, and for example, comparing images based on a technique such as template matching or pattern matching. The present invention relates to an image matching device and an image matching method for matching.
【０００２】更に詳しくは、本発明は、被写体に対して
さまざまな距離から撮像された画像どうしを比較照合す
る画像照合装置及び画像照合方法に係り、特に、撮影し
た距離の相違に応じて撮影画像中における大きさが異な
る被写体の画像どうしを比較照合する画像照合装置及び
画像照合方法に関する。More specifically, the present invention relates to an image collating apparatus and an image collating method for comparing and collating images captured from various distances with respect to a subject, and more particularly, to an image collating method according to a difference in photographed distance. The present invention relates to an image matching apparatus and an image matching method for comparing and matching images of subjects having different sizes in the inside.
【０００３】[0003]
【従来の技術】昨今の情報処理技術の革新に伴い、印刷
物や写真など人の視覚を以って画像と認められる情報が
デジタル化され、計算機システム上で取り扱われるよう
になってきた。いわゆる「画像処理」技術である。デジ
タル画像は、例えば、ＣＣＤ（Charge Coupled Devic
e：電荷結合素子）やＣＭＯＳ（Complementary Metal O
xide Semiconductor）センサなどの撮像素子を用いたカ
メラ、あるいはスキャナなどを介して計算機システムに
取り込まれる。2. Description of the Related Art With the recent innovation of information processing technology, information that is recognized as an image by human vision, such as a printed matter or a photograph, has been digitized and handled on a computer system. This is a so-called "image processing" technique. The digital image is, for example, a CCD (Charge Coupled Device)
e: Charge-coupled device and CMOS (Complementary Metal O)
(xide Semiconductor) A computer using an image sensor such as a sensor or a scanner is taken into a computer system.
【０００４】画像情報を用いて、被写体が何であるかを
認識する技術を「画像認識」と呼ぶ。画像認識には、テ
ンプレート・マッチングが多く採用される。テンプレー
ト・マッチングは、あらかじめ撮影しておいた（あるい
はその他の手段によりあらかじめ画像入力された）基準
画像を幾つか記憶しておき、被写体の画像とこの基準画
像とを１枚ずつ比較照合して、最も確からしいものを被
写体として特定する手法である。テンプレート・マッチ
ングは、アルゴリズムの簡便さから、画像処理分野では
一般的な手法となっている。A technique for recognizing what a subject is by using image information is called "image recognition". For image recognition, template matching is often used. In the template matching, several reference images that have been photographed in advance (or previously input by other means) are stored, and an image of a subject is compared with this reference image one by one. This is a method of identifying the most probable object as a subject. Template matching is a common technique in the image processing field because of the simplicity of the algorithm.
【０００５】しかしながら、テンプレート・マッチング
においては、比較照合する基準画像と被写体の画像と
を、ある範囲内において１画素１画素ずつ比較して、両
画像間の類似度の総和を求める必要がある。このため、
画像のサイズや傾きが異なれば比較照合結果が著しく劣
化してしまい、現実の被写体は同じ「もの」であって
も、画像としては異なるものだと判断される場合が少な
くない。However, in template matching, it is necessary to compare the reference image to be compared with the image of the subject one pixel at a time within a certain range one pixel at a time to obtain the sum of similarities between the two images. For this reason,
If the size or the inclination of the image is different, the comparison and collation result is significantly deteriorated, and even if the actual subject is the same “thing”, it is often the case that it is determined that the image is different.
【０００６】このため、テンプレート・マッチングを行
う場合には、サイズや傾きが可能な限り同じようになる
ように被写体の位置など（例えばカメラから被写体まで
の距離や視線方向）を限定したり、あるいは、基準画像
のサイズや傾きにたくさんのバリエーションを持たせて
各基準画像と被写体画像とを何回も何回も比較照合を行
ったり、あるいは、被写体の画像のサイズや傾きを徐々
に変化させて撮像して、その都度基準画像と比較照合を
行う、といったような面倒な処理が必要となってくる。For this reason, when performing template matching, the position of the subject (for example, the distance from the camera to the subject or the direction of the line of sight) is limited so that the size and the inclination are the same as much as possible. By comparing and comparing each reference image and the subject image many times and by giving many variations to the size and inclination of the reference image, or by gradually changing the size and inclination of the image of the subject. A troublesome process such as taking an image and performing comparison and collation with the reference image each time is required.
【０００７】このような従来の画像認識方法では、比較
照合に要する時間が極端に長くなるとともに、計算機負
荷も著しく増大する。このため、即時性が求められる応
用分野、例えば、工場における部品の認識や位置決めと
いった産業応用、不審人物の追跡といったセキュリティ
分野、あるいは、ロボットによる人物認識といったホー
ム・エンタテインメント分野においては不都合が多い。
また、この種の適用分野の多くにおいては、カメラと被
写体との距離や撮影方向などの物理的な配置関係には一
意性はなく、撮像画像中の被写体のサイズや傾きも不定
である。[0007] In such a conventional image recognition method, the time required for comparison and collation becomes extremely long, and the load on the computer increases significantly. For this reason, there are many inconveniences in application fields that require immediacy, such as industrial applications such as recognition and positioning of parts in factories, security fields such as tracking of suspicious persons, and home entertainment fields such as human recognition using robots.
Further, in many application fields of this type, there is no unique physical arrangement relationship such as a distance between a camera and a subject and a photographing direction, and the size and inclination of a subject in a captured image are not fixed.
【０００８】例えば、ソニー株式会社は、１１月１６日
にエンターティンメント型の４足歩行ロボット"ＡＩＢ
Ｏ ＥＲＳ−２１０"シリーズの受注を開始するととも
に、１１月２５日に２足歩行の人間型ロボット"ＳＤＲ
−３Ｘ"を公表した。今後、さまざまなタイプの自律型
ロボットが普及し、家庭内など各種の住環境に深く浸透
してくれば，目の前の人物が家族の誰であるかという認
識に加え、飼い主と外部からの侵入者を識別することが
非常に重要になってくるが、このような対象物の認識処
理には画像認識処理は欠かすことができない。For example, on November 16th, Sony Corporation announced that the entertainment-type quadruped walking robot "AIB"
Orders for the OERS-210 "series have started and on November 25, a bipedal humanoid robot" SDR "
-3X ". In the future, if various types of autonomous robots become widespread and penetrate deeply into various living environments such as at home, it will be possible to recognize who the person in front is of the family. In addition, it becomes very important to distinguish between the owner and an intruder from outside, but image recognition processing is indispensable for such target object recognition processing.
【０００９】例えば、ロボットは無人環境下で自律的に
行動することから、人物認識や侵入者識別などの画像認
識処理も、ロボットのような単一のスタンドアロン・シ
ステム上で実行できることが好ましい。そこで、テンプ
レート・マッチングのアルゴリズムの簡便さを残しつ
つ、被写体サイズの違いを吸収するような画像認識手法
が望まれているという次第である。For example, since a robot behaves autonomously in an unmanned environment, it is preferable that image recognition processing such as person recognition and intruder identification can be executed on a single stand-alone system such as a robot. Therefore, there is a demand for an image recognition method that absorbs the difference in subject size while leaving the simplicity of the template matching algorithm.
【００１０】サイズの違いを考慮しなければならない状
況下では、サイズに依存しない比較照合手段が必要であ
る。その１つが特徴量をベースとした照合処理である。
しかしながら、画像の中から特徴量を求めるためには、
前処理と呼ばれるさまざまな画像処理が必要であること
に加えて、特徴量の選び方によっては比較照合の結果が
大きく異なるといった問題がある。In a situation in which a difference in size must be considered, a comparison and collation means independent of size is required. One of them is a matching process based on a feature amount.
However, in order to obtain a feature amount from an image,
In addition to the need for various types of image processing called pre-processing, there is a problem that the results of comparison and comparison greatly differ depending on how to select the feature amounts.
【００１１】[0011]
【発明が解決しようとする課題】本発明の目的は、テン
プレート・マッチングやパターン・マッチングなどのよ
うな手法に基づいて画像どうしを好適に比較照合するこ
とができる、優れた画像照合装置及び画像照合方法を提
供することにある。SUMMARY OF THE INVENTION An object of the present invention is to provide an excellent image collating apparatus and image collating apparatus capable of suitably comparing and collating images based on techniques such as template matching and pattern matching. It is to provide a method.
【００１２】本発明の更なる目的は、カメラなど被写体
に対してさまざまな距離から撮像された画像どうしを好
適に比較照合することができる、優れた画像照合装置及
び画像照合方法を提供することにある。A further object of the present invention is to provide an excellent image matching apparatus and an excellent image matching method capable of suitably comparing and matching images captured from various distances with respect to a subject such as a camera. is there.
【００１３】本発明の更なる目的は、撮影した距離の相
違に応じて撮影画像中における大きさが異なる被写体の
画像どうしを比較照合することができる、優れた画像照
合装置及び画像照合方法を提供することにある。It is a further object of the present invention to provide an excellent image matching apparatus and method capable of comparing and matching images of subjects having different sizes in a shot image in accordance with a difference in shooting distance. Is to do.
【００１４】[0014]
【課題を解決するための手段及び作用】本発明は、上記
課題を参酌してなされたものであり、その第１の側面
は、さまざまな距離から撮影した被写体画像を基準画像
と比較照合する画像照合装置又は画像照合方法であっ
て、被写体の画像情報を取得する画像取得手段又はステ
ップと、被写体までの距離を測定する距離測定手段又は
ステップと、被写体までの距離に応じて被写体の画像を
拡大／縮小して正規化する手段又はステップと、被写体
を識別するための基準画像を記憶する基準画像記憶手段
又はステップと、基準画像と拡大／縮小された被写体の
正規化画像とを比較照合する比較照合手段又はステップ
と、を具備することを特徴とする画像照合装置又は画像
照合方法である。SUMMARY OF THE INVENTION The present invention has been made in consideration of the above problems, and a first aspect of the present invention is an image for comparing and comparing a subject image taken from various distances with a reference image. A collating apparatus or an image collating method, comprising: an image acquiring unit or step for acquiring image information of a subject; a distance measuring unit or step for measuring a distance to the subject; and an image of the subject according to the distance to the subject. Means / step for reducing / normalizing, reference image storing means / step for storing a reference image for identifying a subject, and comparison for comparing and collating the reference image with the normalized image of the enlarged / reduced subject An image matching device or an image matching method, comprising: a matching unit or a step.
【００１５】本発明の第１の側面に係る画像照合装置又
は画像照合方法によれば、基準画像を記憶したときの被
写体までの距離と、比較照合するときに撮影したときの
被写体までの距離とが異なっていても、被写体までの距
離に応じて画像を拡大又は縮小して、基準画像を記憶し
たときの被写体画像の大きさに正規化することによっ
て、基準画像と被写体画像の比較照合を容易にすること
ができる。According to the image collating apparatus or the image collating method according to the first aspect of the present invention, the distance to the subject when the reference image is stored and the distance to the subject when photographed during the comparison and collation Is different, the image is enlarged or reduced according to the distance to the subject, and normalized to the size of the subject image when the reference image is stored, so that the comparison and comparison between the reference image and the subject image can be easily performed. Can be
【００１６】本発明の第１の側面に係る画像照合装置又
は画像照合方法は、基準画像と拡大／縮小された被写体
の正規化画像のサイズを比較する画像サイズ比較手段又
はステップをさらに備えていてもよい。そして、両画像
のサイズが近い場合のみ、前記比較照合手段又はステッ
プによる基準画像と拡大／縮小された被写体の正規化画
像の比較照合処理を付勢するようにしてもよい。The image collating apparatus or method according to the first aspect of the present invention further comprises image size comparing means or a step for comparing the size of the normalized image of the subject enlarged and reduced with the reference image. Is also good. Then, only when the sizes of both images are close to each other, the comparison and collation processing of the reference image and the normalized image of the enlarged / reduced subject by the comparison / comparison means or step may be activated.
【００１７】基準画像と正規化された画像のサイズすな
わち画素数が極端に異なる場合には、画像どうしを比較
するまでもなく、異なる画像であることを判断できる。
したがって、基準画像と正規化された画像のサイズが近
くない場合には、不要な画像比較照合のための演算処理
を減勢することによって、計算機負荷が軽減されるとと
もに計算時間が短縮する。When the size of the normalized image and the normalized image, that is, the number of pixels are extremely different, it is possible to determine that the images are different without comparing the images.
Therefore, when the size of the reference image is not close to the size of the normalized image, the computation load for unnecessary image comparison and collation is reduced, thereby reducing the computer load and the calculation time.
【００１８】また、本発明の第２の側面は、さまざまな
距離から撮影した被写体画像を基準画像と比較照合する
画像照合処理をコンピュータ・システム上で実行するよ
うに記述されたコンピュータ・ソフトウェアをコンピュ
ータ可読形式で物理的に格納した記憶媒体であって、前
記コンピュータ・ソフトウェアは、被写体の画像情報を
取得する画像取得ステップと、被写体までの距離を取得
する距離取得ステップと、被写体までの距離に応じて被
写体の画像を拡大／縮小して正規化するステップと、被
写体を識別するための基準画像を記憶する基準画像記憶
ステップと、基準画像と拡大／縮小された被写体の正規
化画像とを比較照合する比較照合ステップと、を具備す
ることを特徴とする記憶媒体である。According to a second aspect of the present invention, there is provided a computer software which is described to execute, on a computer system, image matching processing for comparing and matching subject images taken from various distances with a reference image. A storage medium physically stored in a readable format, wherein the computer software includes: an image acquisition step of acquiring image information of a subject; a distance acquisition step of acquiring a distance to the subject; Enlarging / reducing the image of the subject by normalizing, storing a reference image for identifying the subject, and comparing the reference image with the normalized image of the enlarged / reduced subject And a comparing and collating step.
【００１９】本発明の第２の側面に係るコンピュータ可
読記憶媒体は、例えば、様々なプログラム・コードを実
行可能な汎用コンピュータ・システムに対して、コンピ
ュータ・ソフトウェアをコンピュータ可読な形式で提供
する媒体である。このような媒体は、例えば、ＣＤ（Co
mpact Disc）やＦＤ（Floppy Disc）、ＭＯ（Magneto-O
ptical disc）などの着脱自在で可搬性の記憶媒体であ
る。あるいは、ネットワーク（ネットワークは無線、有
線の区別を問わない）などの伝送媒体などを経由してコ
ンピュータ・ソフトウェアを特定のコンピュータ・シス
テムに提供することも技術的に可能である。The computer-readable storage medium according to the second aspect of the present invention is a medium that provides computer software in a computer-readable format to a general-purpose computer system that can execute various program codes. is there. Such a medium is, for example, a CD (Co
mpact Disc), FD (Floppy Disc), MO (Magneto-O)
It is a removable and portable storage medium such as a ptical disc. Alternatively, it is technically possible to provide computer software to a specific computer system via a transmission medium such as a network (a network may be either wireless or wired).
【００２０】このような記憶媒体は、コンピュータ・シ
ステム上で所定のコンピュータ・ソフトウェアの機能を
実現するための、コンピュータ・ソフトウェアと記憶媒
体との構造上又は機能上の協働的関係を定義したもので
ある。換言すれば、本発明の第３の側面に係る記憶媒体
を介して所定のコンピュータ・ソフトウェアをコンピュ
ータ・システムにインストールすることによって、コン
ピュータ・システム上では協働的作用が発揮され、本発
明の第１の側面に係る画像照合装置又は画像照合方法と
同様の作用効果を得ることができる。Such a storage medium defines a structural or functional cooperative relationship between the computer software and the storage medium in order to realize predetermined computer software functions on a computer system. It is. In other words, by installing predetermined computer software into the computer system via the storage medium according to the third aspect of the present invention, a cooperative action is exhibited on the computer system, and the third aspect of the present invention is realized. The same operation and effect as those of the image matching device or the image matching method according to the one aspect can be obtained.
【００２１】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施例や添付する図面に基づくより詳
細な説明によって明らかになるであろう。Still other objects, features and advantages of the present invention are:
It will become apparent from the following more detailed description based on the embodiments of the present invention and the accompanying drawings.
【００２２】[0022]
【発明の実施の形態】以下、図面を参照しながら本発明
の実施例を詳解する。Embodiments of the present invention will be described below in detail with reference to the drawings.
【００２３】本発明は、被写体の画像情報と被写体まで
の距離情報を同時に取得して、距離情報を用いて撮像画
像上における被写体の大きさを正規化することによっ
て、基準画像との比較照合処理を容易且つ正確に行うも
のである。図１には、距離による被写体の画像サイズ
（画素数）を正規化する処理の概念図を示している。The present invention obtains image information of a subject and distance information to the subject at the same time, normalizes the size of the subject on a captured image using the distance information, and performs comparison and collation processing with a reference image. Is performed easily and accurately. FIG. 1 shows a conceptual diagram of processing for normalizing the image size (the number of pixels) of a subject based on distance.
【００２４】撮像素子（撮像平面）２００は、レンズ２
１０からその焦点距離ｆだけ離れた位置に設置されてい
る。The image pickup device (image pickup plane) 200 includes a lens 2
It is installed at a position that is away from 10 by its focal length f.
【００２５】一方、Ｗのサイズを持つ被写体は、レンズ
２１０を挟んで撮像素子２００と反対側に置かれてい
る。図示の通り、レンズ２１０からの距離がＬNのとき
の被写体をＰN２２０とし、距離がＬRのときの被写体を
ＰR２３０とし、距離がＬFのときの被写体をＰF２４０
とする。そして、基準画像を取得する位置を距離ＬRと
定義しておく。On the other hand, a subject having a size of W is placed on the opposite side of the image sensor 200 with the lens 210 interposed therebetween. As illustrated, the subject when the distance from the lens 210 is L N is P N 220, the subject when the distance is L R is P R 230, and the subject when the distance is L F is P F 240
And Then, you define the position for obtaining the reference image and a distance L R.
【００２６】同じサイズの複数の被写体２２０，２３
０，２４０が撮像素子２００から異なる距離ＬN，ＬR，
ＬFに置かれている状況では、撮像素子２００上に結像
する被写体の像のサイズ、すなわち画素数は区々とな
る。被写体までの距離が既知である場合には、この画素
数を正規化することが可能である。このことを以下で説
明する。A plurality of subjects 220, 23 of the same size
0, 240 are different distances L N , L R ,
In the situation placed on L F, the size of the image of the subject to be imaged on the image pickup device 200, i.e. the number of pixels becomes Amblyseius. When the distance to the subject is known, the number of pixels can be normalized. This will be described below.
【００２７】まず、幾何学的な条件に基づいて、サイズ
Ｗの各被写体２２０，２３０，２４０がレンズ２００の
位置からそれぞれＬN，ＬR，ＬFだけ離れた位置にある
とき、撮像素子２００上での各被写体２２０，２３０，
２４０のサイズ（画素数）をそれぞれＰN，ＰR，ＰFと
すると、[0027] First, based on a geometric condition, when the respective objects 220, 230, 240 of the size W is in the position L N, apart L R, only L F from each position of the lens 200, the imaging device 200 Each of the subjects 220, 230,
If the size (number of pixels) of 240 is P N , P R , and P F , respectively,
【００２８】[0028]
【数１】 ＰF／ｆ ＝ Ｗ／ＬF （１） ＰR／ｆ ＝ Ｗ／ＬR （２） ＰN／ｆ ＝ Ｗ／ＬN （３）P F / f = W / L F (1) P R / f = W / L R (2) P N / f = W / L N (3)
【００２９】の３式が成立する。したがって、以下の式
が成立する。The following three equations hold. Therefore, the following equation is established.
【００３０】[0030]
【数２】 ＰF×ＬF ＝ ＰN×ＬN ＝ ＰR×ＬR ＝ Ｗ×ｆ （４）P F × L F = P N × L N = P R × L R = W × f (4)
【００３１】上記式より、それぞれの被写体が、ＬF及
びＬNではなくＬRの位置にあるとすれば、撮像素子上で
のサイズはそれぞれ下式のように表すことができる。す
なわち、From the above equations, assuming that each subject is at the position of L R instead of L F and L N , the size on the image sensor can be expressed as the following equations. That is,
【００３２】[0032]
【数３】 ＰF（ＬR) ＝ ＰF×ＬF／ＬR （５） ＰN（ＬR）＝ ＰN×ＬN／ＬR （６）P F (L R ) = P F × L F / L R (5) P N (L R ) = P N × L N / L R (6)
【００３３】そして、上記の各被写体２２０，２３０，
２４０の場合、同じサイズＷを持っているので、式
（５）並びに式（６）のいずれもＰRに一致するはずで
ある。Then, each of the subjects 220, 230,
For 240, because it has the same size W, should any of the formulas (5) and equation (6) matches the P R.
【００３４】一般的には、距離Ｌにある被写体が撮像素
子上でＰのサイズ（画素数)を持つとき、この被写体が
ＬRの距離にあったと仮定した場合の撮像素子上でのサ
イズ（画素数）Ｐ（ＬR）は下式のようになる。すなわ
ち、In general, when an object at a distance L has a size P (number of pixels) on the image sensor, the size on the image sensor when the object is assumed to be at a distance L R ( The number of pixels P (L R ) is given by the following equation. That is,
【００３５】[0035]
【数４】 Ｐ（ＬR） ＝ Ｐ×Ｌ／ＬR （７）P (L R ) = P × L / L R (7)
【００３６】よって、このＰ（ＬR）がＰRに等しけれ
ば、被写体のサイズも基準画像の被写体と同じサイズで
あことが判明する。逆に、Ｐ（ＬR）とＰRの差により、
実際の被写体のサイズの相違を検出することが可能とな
る。Therefore, if P (L R ) is equal to P R , it is found that the size of the subject is the same as the size of the subject in the reference image. Conversely, the difference between P (L R ) and P R gives
It is possible to detect a difference in the size of the actual subject.
【００３７】本来、被写体が置かれている距離が異なれ
ば、撮像素子上では異なる画素数で像が得られる。した
がって、上記のようにして、基準となる位置に被写体が
あると想定した場合の撮像素子上でのサイズ(画素数)が
得られる。Originally, if the distance at which the subject is placed is different, an image can be obtained with a different number of pixels on the image sensor. Therefore, as described above, the size (the number of pixels) on the image sensor when the subject is assumed to be at the reference position can be obtained.
【００３８】しかも、上式（７）を用いれば、被写体の
実際のサイズＷやレンズ２１０の焦点距離ｆが不明であ
っても、被写体までの距離が既知であれば、被写体のサ
イズ（画素数）を正規化することが可能である。Furthermore, using the above equation (7), even if the actual size W of the subject and the focal length f of the lens 210 are unknown, if the distance to the subject is known, the size of the subject (the number of pixels) ) Can be normalized.
【００３９】次いで、被写体のサイズを距離情報によっ
て正規化した後、基準となる画像との照合を行う方法に
ついて説明する。画像の比較照合の手法としては、「テ
ンプレート・マッチング」が一般的によく知られており
（前述）、なかでも正規化相関を用いたテンプレート・
マッチングは、明るさの一様な変化にも追従できる非常
に有効な手法である。Next, a method of collating with a reference image after normalizing the size of a subject by distance information will be described. As a method of image comparison and matching, “template matching” is generally well known (described above), and among them, template matching using normalized correlation
Matching is a very effective method that can follow a uniform change in brightness.
【００４０】ここでは、代表的な正規化相関の原理を説
明するが、もちろん他の比較照合手法を適用することも
可能である。以下、図２を参照しながら解説する。Here, the principle of typical normalized correlation will be described, but it is needless to say that other comparison and collation methods can be applied. This will be described below with reference to FIG.
【００４１】同図において、基準画像すなわちテンプレ
ートのサイズを横Ｈ画素、縦Ｖ画素とする。そして、
（ｈ，ｖ）のアドレスで示される各画素の持つ輝度値を
Ｐ（ｈ，ｖ）とする（但し、ｈ＝１，２，…，Ｈとし、
ｖ＝１，２，…，Ｖとする）。In the figure, the size of the reference image, that is, the template, is H horizontal pixels and V vertical pixels. And
The luminance value of each pixel indicated by the address of (h, v) is P (h, v) (where h = 1, 2,..., H,
v = 1, 2,..., V).
【００４２】一方、比較対象となる画像のうち、テンプ
レートと同じサイズ（横Ｈ画素，縦Ｖ画素）に切り出さ
れた画像を、例えば紙面左上のアドレスで識別し（ｈ，
ｖ）のアドレスで示される画素の輝度値をＱij（ｈ，
ｖ）とする（但し、ｈ＝１，２，…，Ｈとし、ｖ＝１，
２，…，Ｖとする）。On the other hand, among the images to be compared, an image cut out to the same size as the template (horizontal H pixels, vertical V pixels) is identified by, for example, an upper left address on the paper (h,
The luminance value of the pixel indicated by the address v) is represented by Q ij (h,
v) (where h = 1, 2,..., H, and v = 1,
2,..., V).
【００４３】このとき、テンプレートと切り出された画
像との正規化相関Ｃijは、下式のように表される。At this time, the normalized correlation C ij between the template and the clipped image is represented by the following equation.
【００４４】[0044]
【数５】 Ｃij＝Ｓt×Ｓij／Ｓtij （８）## EQU5 ## C ij = S t × S ij / S tij (8)
【００４５】但し、以下が成立するものとする。However, it is assumed that the following holds.
【００４６】[0046]
【数６】 (Equation 6)
【００４７】比較対象画像の左上から右下に向かって、
ラスタスキャン順にテンプレートをずらしながら正規化
相関による照合を繰り返し、各テンプレート位置におけ
る正規化相関値Ｃijを算出する。そして、正規化相関値
Ｃijが最大となる位置（ｉ，ｊ）が、その比較対象画像
の中で最もテンプレートに近い、若しくは最も似ている
画像であると判断する。From the upper left to the lower right of the image to be compared,
The matching based on the normalized correlation is repeated while shifting the template in the raster scan order, and the normalized correlation value C ij at each template position is calculated. Then, it is determined that the position (i, j) where the normalized correlation value C ij is the largest is the image closest to or similar to the template among the comparison target images.
【００４８】このとき、テンプレートのずらし方は１画
素ずつとするのが最も精度はよいが、当然にして画像全
体を探索するための処理時間が長くなる。一方、テンプ
レートを１度に数画素ずつずらして照合すると処理時間
の短縮にはなるが、相関値が最も高くなる場所を発見で
きない可能性もあるので注意が必要である。At this time, it is best to shift the template one pixel at a time, but the processing time for searching the entire image naturally becomes long. On the other hand, if the template is shifted by several pixels at a time and collated, the processing time is shortened, but care must be taken since a place where the correlation value becomes the highest may not be found.
【００４９】さて、上記の（８）式から（１３）式で分
かることは、基準画像と比較対象画像の被写体が同じ
「もの」であっても、画像上でのサイズ、すなわち画素
数が異なれば、相関値は小さくなってしまい、この結
果、同じ「もの」であると判断されにくくなるというこ
とである。From the above equations (8) and (13), it can be seen that even if the subject of the reference image and the comparison target image is the same "object", the size on the image, that is, the number of pixels is different. For example, the correlation value becomes small, and as a result, it is difficult to determine the same "thing".
【００５０】しかも、相関値Ｃijが低い場合には、サイ
ズ以外の要因でも同じ症状が発生するので、もともと被
写体が違う「もの」なのか、大きさが違うだけなのか、
あるいは見える角度が違うのかなど、その原因を判断す
ることができない。In addition, when the correlation value C ij is low, the same symptom occurs due to factors other than the size, so whether the subject is originally a different “thing” or only the size is different,
Or, the cause cannot be determined, such as whether the viewing angle is different.
【００５１】そこで、本実施形態に係る画像照合方式に
おいては、少なくとも大きさだけは正規化しておくこと
によって、相関値が低くなった場合の原因の特定を、大
きさを正規化しない場合よりも格段に容易化した。Therefore, in the image collation method according to the present embodiment, at least only the magnitude is normalized so that the cause when the correlation value becomes low can be specified more than when the magnitude is not normalized. It is much easier.
【００５２】なお、（８）式に基づいて正規化相関を計
算する場合、基準画像と被写体がまったく同じものであ
れば、そのときの相関値は最大である１を取り得る。逆
に言えば、相関値Ｃijが１に近ければ近いほど基準画像
と被写体が似ていると言うことができる。When calculating the normalized correlation based on the equation (8), if the reference image and the subject are exactly the same, the correlation value at that time can take the maximum value of 1. Conversely, it can be said that the closer the correlation value C ij is to 1, the more similar the subject is to the reference image.
【００５３】図３には、本発明に係る画像照合方式を実
現する画像処理システム１の機能構成を模式的に示して
いる。以下、同図を参照しながら、画像処理システム１
の構成について説明する。FIG. 3 schematically shows a functional configuration of an image processing system 1 for realizing the image collating method according to the present invention. Hereinafter, the image processing system 1 will be described with reference to FIG.
Will be described.
【００５４】画像センサ１０は、被写体の画像情報を取
得するセンサである。一般的には、ＣＣＤ（Charge Cou
pled Device：電荷結合素子）やＣＭＯＳ（Complementa
ry Metal Oxide Semiconductor）センサなどのデバイス
で構成される撮像素子を画像センサとして用いることが
多い。ここで言う画像センサ１０は、単に光電変換を行
う撮像素子モジュールだけでなく、素子の駆動に必要な
信号処理系、並びに撮像素子出力信号処理系も含めたシ
ステム一式を指すものとする。The image sensor 10 is a sensor for acquiring image information of a subject. Generally, a CCD (Charge Cou
pled Device: charge-coupled device and CMOS (Complementa
An image sensor constituted by a device such as a ry Metal Oxide Semiconductor (sensor) sensor is often used as an image sensor. The image sensor 10 referred to here refers to not only an image sensor module for performing photoelectric conversion but also a complete system including a signal processing system necessary for driving the element and an image sensor output signal processing system.
【００５５】画像データ・メモリ２０は、画像センサ２
０の出力を一時的に蓄えておくためのメモリであり、一
般的にはＳＲＡＭ（Static Random Access Memory）チ
ップやＤＲＡＭ（Dynamic RAM）チップで構成されるこ
とが多い。The image data memory 20 stores the image sensor 2
This is a memory for temporarily storing the output of “0”, and is generally composed of an SRAM (Static Random Access Memory) chip or a DRAM (Dynamic RAM) chip.
【００５６】距離センサ３０は、被写体までの距離情報
を取得するセンサであり、例えば、ＣＣＤセンサやＣＭ
ＯＳセンサなどの撮像素子と投光系を用いたアクティブ
・タイプの距離センサや、ＣＣＤセンサやＣＭＯＳセン
サなどの撮像素子を複数個用いたいわゆるステレオ処理
方式に基づくものが一般的である。ここでは、それらの
付属システムや信号処理系も含めた一式を距離センサと
する。The distance sensor 30 is a sensor for acquiring information on the distance to the subject, and is, for example, a CCD sensor or a CM.
An active type distance sensor using an image sensor such as an OS sensor and a light projecting system, and a so-called stereo processing method using a plurality of image sensors such as a CCD sensor and a CMOS sensor are generally used. Here, a set including those attached systems and the signal processing system is defined as a distance sensor.
【００５７】距離データ・メモリ４０は、距離センサ３
０の出力を一時的に蓄えておくメモリであり、一般的に
は、ＳＲＡＭチップやＤＲＡＭチップで構成されること
が多い。The distance data memory 40 includes the distance sensor 3
This is a memory for temporarily storing the output of 0, and is generally composed of an SRAM chip or a DRAM chip in many cases.
【００５８】距離データ処理部５０は、距離データ・メ
モリ４０に格納されているデータを読み出して、距離の
最大値、最小値検出、平均、分散の計算、距離によるマ
スク・データ作成など、さまざまなデータ処理を行うよ
うになっている。また、本発明に係る画像照合方式にお
いて主要な処理となる距離による正規化の倍率計算も、
この距離データ処理部５０で実行される。The distance data processing section 50 reads data stored in the distance data memory 40 and detects various values such as detection of maximum value and minimum value of distance, calculation of average and variance, creation of mask data based on distance, and the like. Data processing is performed. Further, the magnification calculation of the normalization by distance, which is the main processing in the image matching method according to the present invention,
The processing is executed by the distance data processing unit 50.
【００５９】一般的にはＤＳＰ（Digital Signal Proce
ssor）やＣＰＵ（Central Processing Unit）、あるい
はＦＰＧＡ（Field Programmable Gate Array）といっ
たデバイスを用いて所定のプログラム・コードを実行す
るという形態によって距離データ処理部５０を構成する
ことができる。また、距離データ処理部５０において実
行される処理や機能は、与えられるプログラム・コード
の内容に応じて自在に変更することができる。In general, a DSP (Digital Signal Processor)
The distance data processing unit 50 can be configured by executing a predetermined program code using a device such as a ssor), a CPU (Central Processing Unit), or an FPGA (Field Programmable Gate Array). Further, the processing and functions executed in the distance data processing unit 50 can be freely changed according to the contents of the given program code.
【００６０】画像抽出処理部６０は、距離データ処理部
５０から送られてくるマスク・データに基づき、画像を
部分的に抜き出す処理を行う。より具体的には、画像抽
出処理部６０は、マスク・データの有無に応じて、マス
ク・データがある画素に対する画像はそのまま残し、マ
スク・データがない画素に対応する画像はゼロにすると
いった処理が挙げられる。あるいはその逆の処理も行う
ことができる。The image extraction processing unit 60 performs a process of partially extracting an image based on the mask data sent from the distance data processing unit 50. More specifically, the image extraction processing unit 60 leaves the image corresponding to the pixel having the mask data as it is and sets the image corresponding to the pixel having no mask data to zero according to the presence or absence of the mask data. Is mentioned. Alternatively, the reverse process can be performed.
【００６１】一般的にはＤＳＰやＣＰＵ、ＦＰＧＡとい
ったデバイスを用いて所定のプログラム・コードを実行
するという形態によって画像抽出処理部６０を構成する
ことができる。画像抽出処理部６０において実行される
処理や機能は、与えられるプログラム・コードの内容に
応じて自在に変更することができる。Generally, the image extraction processing unit 60 can be configured by executing a predetermined program code using a device such as a DSP, a CPU, or an FPGA. The processes and functions executed in the image extraction processing unit 60 can be freely changed according to the contents of the given program code.
【００６２】拡大／縮小処理部７０は、距離データ処理
部５０から送られてくる倍率データに従って、画像抽出
処理部６０で抽出された画像を拡大もしくは縮小する。
一般的にはＤＳＰやＣＰＵ、ＦＰＧＡといったデバイス
を用いて所定のプログラム・コードを実行するという形
態によって拡大／縮小処理部７０を構成することができ
る。The enlargement / reduction processing unit 70 enlarges or reduces the image extracted by the image extraction processing unit 60 according to the magnification data sent from the distance data processing unit 50.
Generally, the enlargement / reduction processing unit 70 can be configured by executing a predetermined program code using a device such as a DSP, a CPU, or an FPGA.
【００６３】比較照合処理部８０は、Ｐ個の基準画像メ
モリ１４０−１，１４０−２，…，１４０−Ｐのうち１
つの基準画像メモリに格納されている基準画像と、拡大
/縮小処理部７０から送られてくる拡大若しくは縮小さ
れた撮像画像とを比較照合するようになっている。比較
照合の手段としては，図２を参照しながら説明したよう
なテンプレート・マッチングが一般的であるが、勿論、
それ以外の画像照合方式を実装してもよい。.., 140-P. One of the P reference image memories 140-1, 140-2,.
Reference image stored in one reference image memory
The image is compared with the enlarged or reduced captured image sent from the / reduction processing unit 70. As a means for comparison and collation, template matching as described with reference to FIG. 2 is generally used.
Other image matching methods may be implemented.
【００６４】一般的にはＤＳＰやＣＰＵ、ＦＰＧＡとい
ったデバイスを用いて所定のプログラム・コードを実行
するという形態によって比較照合処理部８０を構成する
ことができる。また、比較照合処理部８０において実行
される比較照合処理の方式は、与えられるプログラム・
コードの内容に応じて自在に変更することができる。In general, the comparison / collation processing unit 80 can be configured by executing a predetermined program code using a device such as a DSP, a CPU, or an FPGA. The method of the comparison / collation processing executed in the comparison / collation processing unit 80 is based on a given program
It can be changed freely according to the contents of the code.
【００６５】上記の距離データ処理部５０、画像抽出処
理部６０、拡大／縮小処理部７０、比較照合処理部８０
において実行される各プログラム・コードは、プログラ
ム格納部１５０に格納されている。プログラム格納部１
５０は、磁気記録媒体や、光学式記録媒体、その他の記
録媒体で構成されている場合の他に、ＤＲＡＭやフラッ
シュ・メモリといった記憶媒体で構成されていたり、ネ
ットワークで構成された他の装置に接続されていて、外
部装置からプログラムをダウンロードできるようになっ
ている。The distance data processing section 50, the image extraction processing section 60, the enlargement / reduction processing section 70, the comparison / collation processing section 80
Are stored in the program storage unit 150. Program storage unit 1
Reference numeral 50 denotes a case where the recording medium 50 is formed of a magnetic recording medium, an optical recording medium, or another recording medium. It is connected so that programs can be downloaded from external devices.
【００６６】なお、画像処理システム１は、画像センサ
１０や距離センサ３０を装備してシステム１が自ら画像
データ及び距離データを生成する代わりに、入出力イン
ターフェースや通信インターフェース（いずれも図示し
ない）経由で外部装置から正規化処理が済んだ距離デー
タ付きの被写体画像が供給されるような構成であっても
よい。The image processing system 1 is equipped with an image sensor 10 and a distance sensor 30, and instead of generating the image data and the distance data by itself, via an input / output interface and a communication interface (neither is shown). In such a case, a configuration may be adopted in which a subject image with distance data subjected to normalization processing is supplied from an external device.
【００６７】比較照合結果格納部９０は、比較照合処理
部８０における結果を一時的に格納しておく機能モジュ
ールであり、異なる基準画像との比較照合結果をまとめ
て格納することができるようになっている。したがっ
て、この比較照合結果格納部９０に格納された情報を総
合的に用いることによって、どの基準メモリの画像が被
写体の画像と最も相関が高いかを判断できるようになっ
ている。最終的な比較照合結果としては、単なる照合の
演算結果である数値でもよいし、最も確からしいと判断
された基準画像そのものでもよい。あるいは、複数の基
準画像のうちで何番目に類似しているかを示す値であっ
てもよい。The comparison / comparison result storage section 90 is a functional module for temporarily storing the result of the comparison / comparison processing section 80, and can store the comparison / comparison results with different reference images collectively. ing. Therefore, by comprehensively using the information stored in the comparison / matching result storage unit 90, it is possible to determine which reference memory image has the highest correlation with the subject image. The final comparison / collation result may be a numerical value that is a mere comparison operation result, or the reference image itself that is determined to be most likely. Alternatively, a value indicating the order of similarity among the plurality of reference images may be used.
【００６８】出力部１００は、比較照合結果格納部９０
に格納されている結果を読み出して、外部に出力するよ
うになっている。The output unit 100 includes a comparison and collation result storage unit 90
Is read out and output to the outside.
【００６９】表示部１１０は、出力部１００から送られ
てくる比較照合結果を可視化して表現する装置である。
表示部１１０は、ＣＲＴ（Cathode Ray Tube：陰極線
管）ディスプレイやＬＣＤ（Liquid Crystal Display：
液晶表示ディスプレイ）のような一般的なディスプレイ
を利用して構成することができるし、単なるＬＥＤ（Li
ght Emitting Device）のような発光素子でもよい。あ
るいは、プリンタやその他のタイプの画像形成装置を利
用して表示部１１０を構成することもできる。The display unit 110 is a device for visualizing and expressing the comparison and collation results sent from the output unit 100.
The display unit 110 includes a CRT (Cathode Ray Tube) display and an LCD (Liquid Crystal Display:
It can be configured using a general display such as a liquid crystal display (LCD), and can simply be configured using an LED (Li
ght Emitting Device). Alternatively, the display unit 110 can be configured using a printer or another type of image forming apparatus.
【００７０】基準画像入力部１２０は、１以上の基準画
像メモリ１４０−１〜１４０−Ｐの各々に格納される基
準画像を、外部から入力する手段である。例えば、基準
画像入力部１２０画像を外部から受信できるような入出
力インターフェース又は通信インターフェースと、受信
画像をバッファリングする画像メモリとの組み合わせに
よって、基準画像入力部１２０を構成することができ
る。The reference image input section 120 is means for externally inputting reference images stored in each of the one or more reference image memories 140-1 to 140-P. For example, the reference image input unit 120 can be configured by a combination of an input / output interface or a communication interface that can externally receive the image of the reference image input unit 120 and an image memory that buffers received images.
【００７１】なお、本実施形態に係る画像処理システム
１においては、使用する基準画像を基準画像入力部１２
０経由で外部から入力する必要は必ずしもなく、被写体
の画像と同様に画像センサ１０から取り込まれた画像を
基に基準画像を生成して、各基準画像メモリ１４０−１
…に保管するようにしてもよい。In the image processing system 1 according to the present embodiment, the reference image to be used is
It is not always necessary to input from the outside via the image sensor 0, and a reference image is generated based on the image captured from the image sensor 10 in the same manner as the image of the subject, and each reference image memory 140-1 is generated.
… May be stored.
【００７２】選択部１３０は、基準画像入力部１２０か
ら送られてくる外部入力された基準画像と、画像抽出部
６０から送られてくる画像センサ１０で取得された画像
のなかから、基準画像として抽出した画像のいずれかを
選択して、基準画像メモリ１４０−１…に格納する機能
モジュールである。例えば、基準画像メモリ１４０−１
には画像センサ１０で取得された画像から抽出された画
像を基準画像として記憶しておき、他の基準画像メモリ
１４０−２…には基準画像入力部１２０を介して外部か
ら入力された画像を記憶しておくことが可能である。The selecting unit 130 selects a reference image from an externally input reference image sent from the reference image input unit 120 and an image acquired by the image sensor 10 sent from the image extracting unit 60 as a reference image. A function module for selecting any of the extracted images and storing the selected image in the reference image memories 140-1. For example, the reference image memory 140-1
, An image extracted from the image acquired by the image sensor 10 is stored as a reference image, and the other reference image memories 140-2,. It is possible to store it.
【００７３】また、選択部１３０は，比較照合処理部８
０で処理する際に必要な基準画像を、基準画像メモリ１
４０−１，１４０−２，…，１４０−Ｐのうちから１つ
ずつ選択する機能も有している。Further, the selection unit 130 is provided with the comparison / collation processing unit 8
0 is stored in the reference image memory 1
, 140-P are also selected one by one.
【００７４】基準画像メモリ１４０−１，１４０−２，
…，１４０−Ｐは、基準画像入力部１２０から入力した
画像若しくは画像抽出処理部６０で抽出された画像を、
比較照合の基準となる画像として記憶しておくために使
用される。これら基準画像メモリ１４０−１…は、例え
ばＤＲＡＭチップを用いたフレーム・メモリとして構成
される。但し、記憶すべき画像の容量が大きい場合に
は、磁気媒体若しくは光学式媒体など大容量の記憶媒体
を用いて基準画像メモリ１４０−１…を構成することも
考えられる。The reference image memories 140-1, 140-2,
.., 140-P represent the image input from the reference image input unit 120 or the image extracted by the image extraction processing unit 60.
It is used to store the image as a reference for comparison and collation. Are configured as frame memories using, for example, a DRAM chip. However, when the capacity of the image to be stored is large, it is conceivable to configure the reference image memories 140-1 using a large-capacity storage medium such as a magnetic medium or an optical medium.
【００７５】図４には、基準画像を基準画像メモリ１４
０−１…に記憶するための処理手順をフローチャートの
形式で示している。この処理手順は、上述した各処理部
が所定のプログラム・コードを実行するという形式で実
装される。以下、このフローチャートを参照しながら、
本実施形態に係る基準画像の記憶処理について説明す
る。In FIG. 4, the reference image is stored in the reference image memory 14.
The processing procedure for storing in 0-1... Is shown in the form of a flowchart. This processing procedure is implemented in such a form that each processing unit executes a predetermined program code. Hereinafter, referring to this flowchart,
The storage processing of the reference image according to the present embodiment will be described.
【００７６】ステップＳ２０において、基準画像として
記憶しておきたい被写体を画像センサ１０の視野内にセ
ットする。In step S20, a subject to be stored as a reference image is set in the field of view of the image sensor 10.
【００７７】ステップＳ３０において、最初に、距離セ
ンサ３０を用いて被写体までの距離を計測し、そのデー
タを距離データ・メモリ４０に格納しておく。In step S 30, first, the distance to the subject is measured using the distance sensor 30, and the data is stored in the distance data memory 40.
【００７８】次いで、ステップＳ４０において、画像セ
ンサ１０を用いて被写体の画像を撮影し、その撮像画像
データを画像データ・メモリ２０に一時的に記憶してお
く。Next, in step S 40, an image of the subject is photographed using the image sensor 10, and the photographed image data is temporarily stored in the image data memory 20.
【００７９】なお、上記のステップＳ３０とステップＳ
４０の順序は逆であってもよい。The above steps S30 and S30
The order of 40 may be reversed.
【００８０】次いで、ステップＳ５０において、ステッ
プＳ４０で撮影した被写体につき、その画像全てを基準
画像とするのか、それともその一部を基準画像とするの
かを決めるために、撮影画像のどの部分を抽出するか
を、距離データ処理部５０において設定する。これは、
システムに与えられた固定値でもよいし、プログラム格
納部１５０にプログラムと同時にデータを格納してお
き、その値を読出して用いるようにしてもよい。勿論、
コンソール（図示しない）経由で行われるユーザ入力に
従って設定してもよい。Next, in step S50, for the subject photographed in step S40, which part of the photographed image is extracted in order to determine whether to use the whole image as a reference image or a part thereof as a reference image. Is set in the distance data processing unit 50. this is,
A fixed value given to the system may be used, or data may be stored in the program storage unit 150 at the same time as the program, and the value may be read and used. Of course,
The setting may be made in accordance with a user input performed via a console (not shown).
【００８１】次いで、ステップＳ６０において、ステッ
プＳ５０で設定した値に基づき、その距離範囲にある部
分だけを距離データ・メモリ４０の中から探索し、その
部分をマスク領域として画像抽出処理部６０へ転送す
る。そして、そのマスク領域に対応する画像を、今度は
画像データ・メモリ２０の中から読み出し、選択部１３
０へ出力しておく。Next, in step S60, based on the value set in step S50, only a part within the distance range is searched from distance data memory 40, and the part is transferred to image extraction processing unit 60 as a mask area. I do. Then, the image corresponding to the mask area is read from the image data memory 20 this time, and
Output to 0.
【００８２】また、ステップＳ６０においては、抽出さ
れた領域のうち、最も手前の部分までの距離、若しくは
抽出された領域全体の重心までの距離を求めておき、そ
のデータも同時に記憶するようにしておく。このデータ
は、比較照合処理において、被写体までの距離に応じて
拡大／縮小処理を行う場合（後述）において重要なデー
タとなる。したがって、距離をどの部分で定義するかは
システム１で統一しておく必要がある。また、記憶すべ
き場所は、例えば距離データ処理部５０の内部メモリと
する。In step S60, the distance to the foremost part of the extracted area or the distance to the center of gravity of the entire extracted area is determined, and the data is stored at the same time. deep. This data is important data when performing enlargement / reduction processing according to the distance to the subject in the comparison / collation processing (described later). Therefore, it is necessary to unify which part of the distance is defined in the system 1. The location to be stored is, for example, the internal memory of the distance data processing unit 50.
【００８３】次いで、ステップＳ７０において、ステッ
プＳ６０で出力されている画像データを格納すべき基準
画像メモリ１４０−１…の中から１つを選択部１３０に
よって選択する。Then, in step S70, one of the reference image memories 140-1 to store the image data output in step S60 is selected by the selection unit 130.
【００８４】次いで、ステップＳ８０において、ステッ
プＳ７０で選択された基準画像メモリ１４０に、ステッ
プＳ６０で出力されている画像データを、テンプレート
・マッチング用の基準画像として記録する。Next, in step S80, the image data output in step S60 is recorded in the reference image memory 140 selected in step S70 as a reference image for template matching.
【００８５】次いで、ステップＳ９０において、他にも
基準画像を記憶するかどうか判断する。そして、他の被
写体を用いて別の基準画像メモリに基準画像を記憶する
場合には、ステップＳ２０に戻って、上述と同様の基準
画像の記憶処理を繰り返し実行する。そうでなければ、
ステップＳ１００に進んで基準画像記憶処理を終了す
る。Next, in step S90, it is determined whether to store another reference image. When the reference image is stored in another reference image memory using another subject, the process returns to step S20, and the same reference image storage processing as described above is repeatedly executed. Otherwise,
Proceeding to step S100, the reference image storage processing ends.
【００８６】なお、上記処理の中で、基準画像入力部１
２０などを介して外部から基準画像を入力して記憶する
場合には、ステップＳ７０において、選択部１３０でデ
ータの転送経路を切り替えて、画像抽出部６０の代りに
基準画像入力部１２０と読み替えればよい。In the above processing, the reference image input unit 1
In the case where the reference image is input from the outside via the device 20 or the like and is stored, the data transfer path is switched by the selection unit 130 in step S70, and is read as the reference image input unit 120 instead of the image extraction unit 60. I just need.
【００８７】また、図５には、基準画像と対象画像（す
なわち被写体画像）を比較照合するための処理手順をフ
ローチャートの形式で示している。この処理手順は、上
述した各処理部が所定のプログラム・コードを実行する
という形式で実装される。以下、このフローチャートを
参照しながら、本実施形態に係る基準画像と対象画像の
比較照合処理について説明する。FIG. 5 is a flowchart showing a processing procedure for comparing and comparing the reference image and the target image (ie, the subject image). This processing procedure is implemented in such a form that each processing unit executes a predetermined program code. Hereinafter, with reference to this flowchart, the comparison and collation processing of the reference image and the target image according to the present embodiment will be described.
【００８８】ステップＳ２１０において、比較照合した
い被写体を画像センサ１０の視野内にセットする。In step S210, the subject to be compared and compared is set in the field of view of the image sensor 10.
【００８９】ステップＳ２２０において、最初に、距離
センサ３０を用いて被写体までの距離を計測して、その
距離データを距離データ・メモリ４０に格納しておく。In step S 220, first, the distance to the subject is measured using the distance sensor 30, and the distance data is stored in the distance data memory 40.
【００９０】次いで、ステップＳ２３０において、画像
センサ１０を用いて被写体の画像を撮影して、その撮像
画像データを画像データ・メモリ２０に記憶しておく。Next, in step S 230, an image of the subject is photographed using the image sensor 10, and the photographed image data is stored in the image data memory 20.
【００９１】なお、ステップＳ２２０とステップＳ２３
０の順序は逆であってもよい。Note that steps S220 and S23
The order of 0 may be reversed.
【００９２】次いで、ステップＳ２４０において、ステ
ップＳ２３０で撮影した被写体につき、その画像全てを
基準画像と比較照合するのか、それともその一部を比較
照合するのかを決めるために、被写体の撮像画像のどの
部分を比較照合の対象とするかを、距離データ処理部５
０において設定する。これは、システム１にあらかじめ
与えられた固定値でもよいし、プログラム格納部１５０
にプログラムと同時にデータを格納しておき、その値を
読み出して用いてもよい。勿論、コンソール（図示しな
い）経由で行われるユーザ入力に従って設定してもよ
い。Next, in step S240, for the subject photographed in step S230, which part of the captured image of the subject is determined in order to determine whether to compare or match all of the image with the reference image or to compare and match a part of the image. The distance data processing unit 5
Set at 0. This may be a fixed value given to the system 1 in advance, or the program storage 150
May be stored simultaneously with the program, and its value may be read and used. Of course, the setting may be made according to a user input performed via a console (not shown).
【００９３】次いで、ステップＳ２５０において、ステ
ップＳ２４０で設定した値に基づき、その距離範囲にあ
る部分だけを距離データ・メモリ４０から探索して、そ
の部分をマスク領域として画像抽出処理部６０へ転送す
る。そして、そのマスク領域に対応する画像を、今度は
画像データ・メモリ２０の中から読み出して、拡大／縮
小処理部７０へ出力しておく。Next, in step S250, based on the value set in step S240, only a part within the distance range is searched from distance data memory 40, and the part is transferred to image extraction processing unit 60 as a mask area. . Then, the image corresponding to the mask area is read from the image data memory 20 and output to the enlargement / reduction processing unit 70.
【００９４】次いで、ステップＳ２６０において、ステ
ップＳ２５０で抽出された領域のうち、最も手前にある
部分までの距離、あるいは抽出された領域全体の重心ま
での距離を、距離データ処理部５０で算出する。いずれ
を採用するかは、基準画像を記憶したときに採用した距
離の定義に従うことは言うまでもない。そして、基準画
像の距離データを距離データ処理部５０の内部メモリか
ら読出して、上記の（７）式に基づいて正規化するため
の倍率を計算し、同様に拡大／縮小処理部70に出力して
おく。Next, in step S260, the distance data processing unit 50 calculates the distance to the foremost part of the area extracted in step S250 or the distance to the center of gravity of the entire extracted area. It goes without saying that which one is adopted depends on the definition of the distance adopted when the reference image is stored. Then, the distance data of the reference image is read from the internal memory of the distance data processing unit 50, a magnification for normalization is calculated based on the above equation (7), and the magnification is similarly output to the enlargement / reduction processing unit 70. Keep it.
【００９５】次いで、ステップＳ２７０において、距離
データ処理部５０で得られた正規化倍率に基づき、ステ
ップＳ２５０で抽出された画像データを拡大若しくは縮
小する。そして、このステップの処理の結果として得ら
れた画像を比較照合処理部８０へ出力しておく。Next, in step S270, the image data extracted in step S250 is enlarged or reduced based on the normalized magnification obtained in the distance data processing section 50. Then, the image obtained as a result of the processing in this step is output to the comparison / collation processing unit 80.
【００９６】次いで、ステップＳ２８０において、比較
照合に用いる基準画像を、基準画像メモリ１４０−１〜
１４０−Ｐの中から選択部１３０を通して比較照合処理
部８０に入力する。そして、ステップＳ２７０で得られ
た正規化された画像との間でサイズ（すなわち画素数）
の比較を行う。Next, in step S280, the reference images used for comparison and collation are stored in the reference image memories 140-1 to 140-1.
140-P is input to the comparison / collation processing unit 80 through the selection unit 130. Then, the size (ie, the number of pixels) between the normalized image obtained in step S270 and
Is compared.
【００９７】ステップＳ２９０では、基準画像と正規化
された画像の画素数が互いの画素数が近いか否かを判別
する。基準画像と正規化された画像の画素数が極端に異
なる場合には、画像同士を比較するまでもなく、異なる
画像であることを判断できるので、ステップＳ３２０に
進み、画像の比較照合処理をスキップする。この結果、
不要な画像比較照合のための演算が省略されるので、計
算機負荷が軽減されるとともに計算時間が短縮する。他
方、互いの画素数が近いと判断された場合には、ステッ
プＳ３００に進み、画像同士の比較を行う。In step S290, it is determined whether or not the pixel numbers of the reference image and the normalized image are close to each other. If the number of pixels of the standard image and the normalized image is extremely different, it is possible to determine that the images are different without comparing the images. Therefore, the process proceeds to step S320, and the image comparison / collation processing is skipped. I do. As a result,
Unnecessary calculations for image comparison and collation are omitted, so that the computer load is reduced and the calculation time is shortened. On the other hand, if it is determined that the numbers of pixels are close to each other, the process proceeds to step S300, and the images are compared.
【００９８】ステップＳ３００において、比較照合処理
部８０では、基準画像と正規化された画像の比較を行
う。画像比較処理の方式は、先に説明した正規化相関で
もよいし、画素毎に求めた画素値の差分の絶対値につい
ての単純なる平均、若しくは画素毎の値の差の絶対値の
２乗平均であってもよい。いずれの画像比較方式を採用
する場合においても、最も相関の高い場所とその値が求
まる訳であるから、それらの情報を基に基準画像と正規
化された画像が似ているか否かを、当該ステップにおい
て判断することが可能である。In step S300, the comparison / collation processing unit 80 compares the reference image with the normalized image. The method of the image comparison processing may be the normalized correlation described above, a simple average of the absolute values of the pixel value differences obtained for each pixel, or the square average of the absolute values of the pixel value differences. It may be. Regardless of which image comparison method is adopted, the location having the highest correlation and its value are determined, so it is determined whether or not the reference image and the normalized image are similar based on the information. It can be determined in steps.
【００９９】そして、ステップＳ３１０においてその判
断を行う。画像が似ている（すなわち相関が高い）と判
断された場合には、ステップＳ３３０へ進む。他方、画
像が似ていない（すなわち相関が低い）と判断された場
合には、ステップＳ３２０へ進む。Then, the determination is made in step S310. If it is determined that the images are similar (that is, the correlation is high), the process proceeds to step S330. On the other hand, when it is determined that the images are not similar (that is, the correlation is low), the process proceeds to step S320.
【０１００】ステップＳ３２０において、比較照合を他
の基準画像に対して行うかどうか判断する。そして、比
較照合を続ける場合にはステップＳ２８０に進んで上述
と同様に基準画像との比較照合を繰り返し行い、そうで
ない場合はステップＳ３４０へ進む。In step S320, it is determined whether or not comparison and collation are performed on another reference image. If the comparison and collation are to be continued, the process proceeds to step S280 to repeat the comparison and collation with the reference image in the same manner as described above. If not, the process proceeds to step S340.
【０１０１】ステップＳ３３０において、比較照合処理
部８０での比較照合結果（最大相関値及びそれが得られ
た場所）を比較照合結果格納部９０に格納する。In step S330, the comparison / collation result (the maximum correlation value and the location where it was obtained) in the comparison / collation processing unit 80 is stored in the comparison / collation result storage unit 90.
【０１０２】ステップＳ３４０において、複数の基準画
像と比較照合を行った場合、それぞれの比較照合結果に
基づく最大相関値を、さらに大きさの順にソーティング
して、それらの中で最高となる相関値を求める必要があ
る。このような処理も、比較照合結果格納部９０で行っ
ておく。そして、被写体は最高の相関値を示した基準画
像の物体に最も似ていると判断することができる。但
し、最高の相関値がそれほど高い値でない場合には、ど
の基準画像の物体にも似ていないと判断することができ
る。In step S340, when comparison and collation are performed with a plurality of reference images, the maximum correlation values based on the respective comparison and collation results are further sorted in the order of magnitude, and the highest correlation value among them is determined. Need to ask. Such processing is also performed in the comparison / matching result storage unit 90. Then, it can be determined that the subject is most similar to the object of the reference image showing the highest correlation value. However, if the highest correlation value is not so high, it can be determined that the object does not resemble any reference image object.
【０１０３】このような判断結果は、出力部１００を通
して表示部１１０へ転送され、表示部１１０で表示され
るようになっている。The result of such determination is transferred to the display unit 110 via the output unit 100 and is displayed on the display unit 110.
【０１０４】そして、全ての照合処理を完了する（ステ
ップＳ３５０）。Then, all collation processing is completed (step S350).
【０１０５】図６〜図１１には、実際に異なる距離に置
かれた被写体の、画像上でのサイズを正規化した例を示
している。FIGS. 6 to 11 show examples in which the sizes of subjects actually placed at different distances on an image are normalized.
【０１０６】図７は、基準の位置に置かれた被写体の画
像を示している。また、図１０は、その画像から距離範
囲指定によって、背景と被写体を分離し，被写体だけを
残した画像を示している。FIG. 7 shows an image of a subject placed at a reference position. FIG. 10 shows an image in which the background and the subject are separated from the image by designating a distance range, and only the subject is left.
【０１０７】また、図６は、基準の位置より手前に被写
体を置いた画像を示している。画像上での被写体のサイ
ズは基準画像よりも大きいことが分かる。FIG. 6 shows an image in which the subject is placed before the reference position. It can be seen that the size of the subject on the image is larger than the reference image.
【０１０８】また、図８は、基準の位置より遠方に被写
体を置いた画像を示しており、画像上での被写体のサイ
ズは基準画像よりも小さいことが分かる。FIG. 8 shows an image in which the subject is placed farther from the reference position, and it can be seen that the size of the subject on the image is smaller than the reference image.
【０１０９】また、図９は、被写体までの距離が基準の
位置より約５０ｍｍ手前であるという情報を基に、画像
を０．８９倍して縮小し、さらに背景との分離を行って
被写体だけを残した画像を示している。FIG. 9 shows an image reduced by 0.89 times based on the information that the distance to the subject is about 50 mm before the reference position, and further separated from the background to obtain only the subject. Are shown.
【０１１０】また、図１１は、被写体までの距離が基準
の位置より約５０ｍｍ遠方であるという情報を基に、画
像を１．１２倍して拡大し、さらに背景との分離を行っ
て被写体だけを残した画像を示している。FIG. 11 shows an example in which the image is enlarged by 1.12 times based on the information that the distance to the subject is about 50 mm farther from the reference position, and further separated from the background to obtain only the subject. Are shown.
【０１１１】図６と図９、図８と図１１を比較して明ら
かなように、異なる距離に置かれた被写体であっても、
距離情報によって画像上でのサイズを正規化することに
よって、基準の位置に置かれたときのサイズに戻すこと
が可能である。As is clear from comparison between FIGS. 6 and 9, and FIGS. 8 and 11, even if the subject is placed at a different distance,
By normalizing the size on the image based on the distance information, it is possible to return to the size when placed at the reference position.
【０１１２】逆に、図６や図８の画像を用いて、図７あ
るいは図９の画像との比較照合を行えば、同じ被写体で
ありながら、サイズが相違するという原因のために相関
値が非常に小さな結果となってしまい、識別不可能であ
ることは容易に想像できるであろう。Conversely, if comparison and collation with the image in FIG. 7 or FIG. 9 is performed using the image in FIG. 6 or FIG. 8, the correlation value may differ due to the difference in size even for the same subject. It is easy to imagine that the result is so small that it is indistinguishable.
【０１１３】なお、上述した本発明の実施形態に画像の
比較照合処理を、専用のハードウェア装置上で実現する
以外にも、汎用性の計算機システム上で所定のコンピュ
ータ・ソフトウェア（例えば、図４、図５にそれぞれ示
されたフローチャートを実装したプログラム・コード）
を実行するという形式で実現することも可能である。例
えば、距離データ処理部５０、画像抽出処理部６０、拡
大／縮小処理部７０においてなされる各種処理を計算機
システム上における演算処理と置換することができる。In the above-described embodiment of the present invention, in addition to realizing the image comparison and collation processing on a dedicated hardware device, predetermined computer software (for example, FIG. , A program code implementing the flowchart shown in FIG. 5)
Can be implemented in the form of executing For example, various processes performed in the distance data processing unit 50, the image extraction processing unit 60, and the enlargement / reduction processing unit 70 can be replaced with arithmetic processing on a computer system.
【０１１４】図１２には、本発明に適用可能な計算機シ
ステム５００の構成を模式的に図解している。以下、図
１２を参照しながら、図４並びに図５にそれぞれ示され
たフローチャートを実装したプログラム・コードを実行
可能な計算機システム５００の機能構成について説明す
る。FIG. 12 schematically illustrates the configuration of a computer system 500 applicable to the present invention. Hereinafter, a functional configuration of a computer system 500 capable of executing a program code implementing the flowcharts illustrated in FIGS. 4 and 5 will be described with reference to FIG.
【０１１５】システム５００のメイン・コントローラで
あるＣＰＵ（Central Processing Unit）５０１は、オ
ペレーティング・システム（ＯＳ）の制御下で、各種の
アプリケーションを実行する。図示の通り、ＣＰＵ５０
１は、バス５０８によって他の機器類（後述）と相互接
続されている。A CPU (Central Processing Unit) 501 which is a main controller of the system 500 executes various applications under the control of an operating system (OS). As shown, the CPU 50
1 is interconnected with other devices (to be described later) by a bus 508.
【０１１６】メモリ５０２は、ＣＰＵ５０１において実
行されるプログラム・コードを格納したり、実行中の作
業データを一時保管するために使用される記憶装置であ
る。同図に示すメモリ５０２は、不揮発及び揮発メモリ
双方を含むものと理解されたい。The memory 502 is a storage device used to store program codes to be executed by the CPU 501 and temporarily store work data being executed. It should be understood that the memory 502 shown in the figure includes both non-volatile and volatile memories.
【０１１７】ディスプレイ・コントローラ５０３は、Ｃ
ＰＵ５０１が発行する描画命令を実際に処理するための
専用コントローラである。ディスプレイ・コントローラ
５０３において処理された描画データは、例えばフレー
ム・バッファ（図示しない）に一旦書き込まれた後、デ
ィスプレイ５１１によって画面出力される。ディスプレ
イ・コントローラ５０３並びにディスプレイ５１１は、
図３に示した画像処理システム１の出力部１００並びに
表示部１１０に相当する。The display controller 503 uses C
This is a dedicated controller for actually processing a drawing command issued by the PU 501. The drawing data processed by the display controller 503 is once written in, for example, a frame buffer (not shown), and then output to the screen by the display 511. The display controller 503 and the display 511 are
The output unit 100 and the display unit 110 of the image processing system 1 shown in FIG.
【０１１８】入力機器インターフェース５０４は、キー
ボード５１２やマウス５１３などのユーザ入力機器を計
算機システム５００に接続するための装置である。The input device interface 504 is a device for connecting user input devices such as a keyboard 512 and a mouse 513 to the computer system 500.
【０１１９】ネットワーク・インターフェース５０５
は、Ｅｔｈｅｒｎｅｔなどの所定の通信プロトコルに従
って、システム５００をＬＡＮ（Local Area Network）
などの局所的ネットワーク、さらにはインターネットの
ような広域ネットワークに接続することができる。Network interface 505
Uses a LAN (Local Area Network) according to a predetermined communication protocol such as Ethernet.
Etc., and even a wide area network such as the Internet.
【０１２０】ネットワーク上では、ＷＷＷ（World Wide
Web）サーバを始めとする各種の情報提供サーバなどが
トランスペアレントな状態で接続され、分散コンピュー
ティング環境が構築されている。ネットワーク上では、
ソフトウェア・プログラムやデータ・コンテンツなどの
配信が行うことができる。On the network, WWW (World Wide)
Various information providing servers including a Web server are connected in a transparent state, and a distributed computing environment is constructed. On the network,
Distribution of software programs and data contents can be performed.
【０１２１】例えば、本発明の実施形態において、距離
データ処理部５０、画像抽出処理部６０、拡大／縮小処
理部７０の各機能モジュールの相当する機能を実現した
プログラム・コードを、ネットワーク経由で所定の情報
提供サーバダウンロードすることができる。また、基準
画像や被写体に関する画像データ及び／又は距離データ
を、ネットワーク経由で所定の情報提供サーバからダウ
ンロードしたりすることもできる。For example, in the embodiment of the present invention, a program code that implements the functions corresponding to the function modules of the distance data processing unit 50, the image extraction processing unit 60, and the enlargement / reduction processing unit 70 is transmitted via a network to a predetermined location. The information providing server can be downloaded. Further, the image data and / or the distance data of the reference image and the subject can be downloaded from a predetermined information providing server via a network.
【０１２２】入出力インターフェース５０６は、各種の
入出力装置を計算機システム５００に接続するための装
置である。図示の例では、被写体の画像を取得するため
の画像センサ５１６や、画像センサ５１６の撮像面から
被写体までの距離を測定するための距離センサ５１７な
どを、入出力インターフェース５０６によって接続する
ことができる。The input / output interface 506 is a device for connecting various input / output devices to the computer system 500. In the illustrated example, an image sensor 516 for acquiring an image of the subject, a distance sensor 517 for measuring the distance from the imaging surface of the image sensor 516 to the subject, and the like can be connected by the input / output interface 506. .
【０１２３】外部機器インターフェース５０７は、ハー
ド・ディスク・ドライブ（ＨＤＤ）５１４やメディア・ド
ライブ５１５などの外部装置をシステム５００に接続す
るための装置である。The external device interface 507 is a device for connecting an external device such as a hard disk drive (HDD) 514 or a media drive 515 to the system 500.
【０１２４】ＨＤＤ５１４は、記憶担体としての磁気デ
ィスクを固定的に搭載した外部記憶装置であり（周
知）、記憶容量やデータ転送速度などの点で他の外部記
憶装置よりも優れている。ソフトウェア・プログラムを
実行可能な状態でＨＤＤ５１４上に置くことをプログラ
ムのシステムへの「インストール」と呼ぶ。通常、ＨＤ
Ｄ５１４には、ＣＰＵ５０１が実行すべきオペレーティ
ング・システムのプログラム・コードや、アプリケーショ
ン・プログラム、デバイス・ドライバなどが不揮発的に格
納されている。The HDD 514 is an external storage device in which a magnetic disk as a storage carrier is fixedly mounted (well-known), and is superior to other external storage devices in terms of storage capacity, data transfer speed, and the like. Placing a software program on the HDD 514 in an executable state is referred to as “installing” the program in the system. Usually HD
D514 stores, in a nonvolatile manner, an operating system program code to be executed by the CPU 501, an application program, a device driver, and the like.
【０１２５】例えば、本発明の実施形態において、距離
データ処理部５０、画像抽出処理部６０、拡大／縮小処
理部７０の各機能モジュールの相当する機能を実現した
プログラム・コードを、ＨＤＤ５１４上にインストール
することができる。また、配信用のコンテンツや、ネッ
トワーク経由で受信した各ユーザの嗜好情報・指示情報
をＨＤＤ５１４上に蓄積することができる。また、基準
画像や被写体に関する画像データ及び／又は距離データ
を、ＨＤＤ５１４上に蓄積することができる。For example, in the embodiment of the present invention, a program code that implements the functions corresponding to the function modules of the distance data processing unit 50, the image extraction processing unit 60, and the enlargement / reduction processing unit 70 is installed on the HDD 514. can do. In addition, content for distribution and preference information and instruction information of each user received via the network can be stored on the HDD 514. In addition, image data and / or distance data relating to a reference image and a subject can be stored on the HDD 514.
【０１２６】メディア・ドライブ５１５は、ＣＤ（Compa
ct Disc）やＭＯ（Magneto-Opticaldisc）、ＤＶＤ（Di
gital Versatile Disc）などの可搬型メディアを装填し
て、そのデータ記録面にアクセスするための装置であ
る。The media drive 515 stores a CD (Compa
ct Disc), MO (Magneto-Opticaldisc), DVD (Di
It is a device for loading a portable medium such as a digital versatile disc (Gital Versatile Disc) and accessing its data recording surface.
【０１２７】可搬型メディアは、主として、ソフトウェ
ア・プログラムやデータ・ファイルなどをコンピュータ可
読形式のデータとしてバックアップすることや、これら
をシステム間で移動（すなわち販売・流通・配布を含む）
する目的で使用される。The portable medium mainly backs up software programs, data files, and the like as computer-readable data, and moves them between systems (that is, includes sales, distribution, and distribution).
Used for the purpose.
【０１２８】例えば、本発明の実施形態において、距離
データ処理部５０、画像抽出処理部６０、拡大／縮小処
理部７０の各機能モジュールの相当する機能を実現した
プログラム・コードを、これら可搬型メデアを利用して
複数の機器間で物理的に流通・配布することができる。
また、基準画像や被写体に関する画像データ及び／又は
距離データを、これら可搬型メデアを利用して機器間で
物理的に流通・配布することができる。For example, in the embodiment of the present invention, the program code that realizes the functions corresponding to the function modules of the distance data processing unit 50, the image extraction processing unit 60, and the enlargement / reduction processing unit 70 is transferred to these portable media. Can be physically distributed / distributed among a plurality of devices.
In addition, image data and / or distance data relating to a reference image and a subject can be physically distributed and distributed between devices using these portable media.
【０１２９】なお、図１２に示すような計算機システム
５００の一例は、米ＩＢＭ社のパーソナル・コンピュー
タ"ＰＣ／ＡＴ（Personal Computer/Advanced Technolo
gy）"の互換機又は後継機である。勿論、他のアーキテ
クチャを備えたコンピュータを、本実施形態に係る計算
機システム５００として適用することも可能である。An example of the computer system 500 as shown in FIG. 12 is a personal computer "PC / AT (Personal Computer / Advanced Technolo
gy) ”or a successor thereof. Of course, a computer having another architecture can be applied as the computer system 500 according to the present embodiment.
【０１３０】［追補］以上、特定の実施例を参照しなが
ら、本発明について詳解してきた。しかしながら、本発
明の要旨を逸脱しない範囲で当業者が該実施例の修正や
代用を成し得ることは自明である。すなわち、例示とい
う形態で本発明を開示してきたのであり、限定的に解釈
されるべきではない。本発明の要旨を判断するために
は、冒頭に記載した特許請求の範囲の欄を参酌すべきで
ある。[Supplement] The present invention has been described in detail with reference to the specific embodiments. However, it is obvious that those skilled in the art can modify or substitute the embodiment without departing from the spirit of the present invention. That is, the present invention has been disclosed by way of example, and should not be construed as limiting. In order to determine the gist of the present invention, the claims described at the beginning should be considered.
【０１３１】[0131]
【発明の効果】以上詳記したように、本発明によれば、
カメラなど被写体に対してさまざまな距離から撮像され
た画像どうしを好適に比較照合することができる、優れ
た画像照合装置及び画像照合方法を提供することができ
る。As described above in detail, according to the present invention,
It is possible to provide an excellent image matching device and an excellent image matching method that can appropriately compare and match images captured from various distances with respect to a subject such as a camera.
【０１３２】また、本発明によれば、撮影した距離の相
違に応じて撮影画像中における大きさが異なる被写体の
画像どうしを比較照合することができる、優れた画像照
合装置及び画像照合方法を提供することができる。Further, according to the present invention, there is provided an excellent image collating apparatus and image collating method capable of comparing and collating images of subjects having different sizes in a photographed image according to a difference in photographed distance. can do.
【０１３３】本発明に係る画像の比較照合処理によれ
ば、サイズの違いによる照合間違いの発生を削減するこ
とができる。According to the image comparison / collation processing according to the present invention, it is possible to reduce the occurrence of collation errors due to differences in size.
【０１３４】また、本発明によれば、正規化された画像
のサイズ（画素数）だけを比較することによって、１次
的な照合を簡単に行う。このような１次的な照合処理の
結果、サイズが相違してそもそも同じ画像であると認め
られないような場合には、画像比較処理をスキップする
ことにより、処理全体の計算機負荷や計算時間を削減す
ることができる。Further, according to the present invention, the primary collation is easily performed by comparing only the normalized image size (the number of pixels). As a result of such primary collation processing, if the images differ in size and are not recognized as the same image in the first place, the image comparison processing is skipped, thereby reducing the computer load and calculation time of the entire processing. Can be reduced.
【０１３５】また、本発明に係る画像の比較照合方式に
よれば、撮像画像を距離に応じた正規化処理を施すこと
により、被写体を撮影する距離の違いによる画像サイズ
（画素数）の違いを考慮しなくて済むので、単純なテン
プレート・マッチングの手法を採用することができる。Further, according to the image comparison and collation method of the present invention, the difference in image size (the number of pixels) due to the difference in the distance at which the subject is photographed is obtained by subjecting the captured image to normalization processing according to the distance. Since there is no need to consider it, a simple template matching method can be adopted.
【０１３６】また、本発明に係る画像の比較照合方式に
よれば、距離の違いによる画像サイズ(画素数)の違いを
考慮しなくて済むので、特徴量をベースとする比較照合
処理を実行する必要がなくなる。Further, according to the image comparison / collation method of the present invention, it is not necessary to consider the difference in image size (the number of pixels) due to the difference in distance, so that the comparison / collation processing based on the feature amount is executed. Eliminates the need.
【０１３７】また、本発明に係る画像の比較照合方式に
よれば、被写体の実際のサイズやレンズの焦点距離が不
明な場合であっても、被写体までの距離さえ判ればサイ
ズの正規化を行うことが可能である。According to the image comparison and collation method of the present invention, even if the actual size of the subject or the focal length of the lens is unknown, the size is normalized as long as the distance to the subject is known. It is possible.
【０１３８】また、本発明に係る画像の比較照合方式に
よれば、距離情報を用いて基準画像を記憶するので、背
景を排除した被写体だけの画像を記憶することができ
る。Further, according to the image comparison / collation method of the present invention, since the reference image is stored using the distance information, it is possible to store an image of only the subject excluding the background.
【図１】距離による被写体の画像サイズ（画素数）を正
規化する処理の概念図である。FIG. 1 is a conceptual diagram of processing for normalizing an image size (the number of pixels) of a subject based on a distance.
【図２】被写体のサイズを距離情報によって正規化した
後、基準となる画像との照合を行う正規化相関の原理を
説明するための図である。FIG. 2 is a diagram for explaining the principle of normalized correlation in which the size of a subject is normalized by distance information and then collation with a reference image is performed.
【図３】本発明に係る画像照合方式を実現する画像処理
システム１の機能構成を模式的に示した図である。FIG. 3 is a diagram schematically showing a functional configuration of an image processing system 1 that realizes an image matching method according to the present invention.
【図４】基準画像を基準画像メモリ１４０−１…に記憶
するための処理手順を示したフローチャートである。FIG. 4 is a flowchart showing a processing procedure for storing a reference image in a reference image memory 140-1.
【図５】基準画像と対象画像（すなわち被写体画像）を
比較照合するための処理手順を示したフローチャートで
ある。FIG. 5 is a flowchart showing a processing procedure for comparing and collating a reference image and a target image (that is, a subject image).
【図６】実際に異なる距離に置かれた被写体の、画像上
でのサイズの違いを示した図である。FIG. 6 is a diagram illustrating a difference in size of an object actually placed at a different distance on an image.
【図７】実際に異なる距離に置かれた被写体の、画像上
でのサイズの違いを示した図である。FIG. 7 is a diagram illustrating a difference in size of an object actually placed at different distances on an image.
【図８】実際に異なる距離に置かれた被写体の、画像上
でのサイズの違いを示した図である。FIG. 8 is a diagram illustrating a difference in size of an object actually placed at a different distance on an image.
【図９】実際に異なる距離に置かれた被写体の、画像上
でのサイズを正規化した例を示した図である。FIG. 9 is a diagram showing an example in which the size of an object actually placed at different distances on an image is normalized.
【図１０】実際に異なる距離に置かれた被写体の、画像
上でのサイズを正規化した例を示した図である。FIG. 10 is a diagram illustrating an example in which the sizes of subjects actually placed at different distances on an image are normalized.
【図１１】実際に異なる距離に置かれた被写体の、画像
上でのサイズを正規化した例を示した図である。FIG. 11 is a diagram showing an example in which the size of an object actually placed at different distances on an image is normalized.
【図１２】本発明に適用可能な計算機システム５００の
構成を模式的に示した図である。FIG. 12 is a diagram schematically showing a configuration of a computer system 500 applicable to the present invention.
１…画像処理システム １０…画像センサ，２０…画像データ・メモリ ３０…距離センサ，４０…距離データ・メモリ ５０…距離データ処理部，６０…画像抽出処理部 ７０…拡大／縮小処理部，８０…比較照合処理部 ９０…比較照合結果格納部，１００…出力部 １１０…表示部，１２０…基準画像入力部 １３０…選択部，１４０…基準画像メモリ ２００…撮像素子 ２１０…レンズ ５００…計算機システム ５０１…ＣＰＵ，５０２…メモリ ５０３…ディスプレイ・コントローラ ５０４…入力機器インターフェース ５０５…ネットワーク・インターフェース ５０６…入出力インターフェース ５０７…外部機器インターフェース，５０８…バス ５１１…ディスプレイ，５１２…キーボード，５１３…
マウス ５１４…ハード・ディスク装置，５１５…メディア・ド
ライブDESCRIPTION OF SYMBOLS 1 ... Image processing system 10 ... Image sensor, 20 ... Image data memory 30 ... Distance sensor, 40 ... Distance data memory 50 ... Distance data processing part, 60 ... Image extraction processing part 70 ... Enlargement / reduction processing part, 80 ... Comparison / collation processing unit 90 ... Comparison / collation result storage unit, 100 ... Output unit 110 ... Display unit, 120 ... Reference image input unit 130 ... Selection unit, 140 ... Reference image memory 200 ... Imaging element 210 ... Lens 500 ... Computer system 501 ... CPU, 502, memory 503, display controller 504, input device interface 505, network interface 506, input / output interface 507, external device interface, 508, bus 511, display, 512, keyboard, 513
Mouse 514: Hard disk drive, 515: Media drive
Claims (16)
基準画像と比較照合する画像照合装置であって、 被写体の画像情報を取得する画像取得手段と、 被写体までの距離を取得する距離取得手段と、 被写体までの距離に応じて被写体の画像を拡大／縮小し
て正規化する手段と、 被写体を識別するための基準画像を記憶する基準画像記
憶手段と、 基準画像と拡大／縮小された被写体の正規化画像とを比
較照合する比較照合手段と、を具備することを特徴とす
る画像照合装置。An image collating apparatus for comparing and collating a subject image photographed from various distances with a reference image, comprising: image acquiring means for acquiring image information of the subject; and distance acquiring means for acquiring a distance to the subject. Means for enlarging / reducing the image of the subject according to the distance to the subject, normalizing the image of the subject, reference image storing means for storing a reference image for identifying the subject, An image matching device comprising: a comparison matching unit that compares and matches the normalized image.
化画像のサイズを比較する画像サイズ比較手段をさらに
備え、 両画像のサイズが近い場合のみ前記比較照合手段による
基準画像と拡大／縮小された被写体の正規化画像の比較
照合処理を付勢する、ことを特徴とする請求項１に記載
の画像照合装置。2. The image processing apparatus according to claim 1, further comprising: an image size comparing unit configured to compare a size of the normalized image of the subject enlarged and reduced with the reference image. The image collating apparatus according to claim 1, wherein the comparison collating process of the normalized image of the subject is activated.
写体を撮影してその画像情報を取得する、ことを特徴と
する請求項１に記載の画像照合装置。3. The apparatus according to claim 1, wherein said image acquisition means captures an image of a subject using an image sensor and acquires image information of the image of the subject.
てステレオ処理により被写体までの距離を測定する、こ
とを特徴とする請求項１に記載の画像照合装置。4. An apparatus according to claim 1, wherein said distance acquiring means measures a distance to a subject by stereo processing using a plurality of image pickup devices.
手段は、入出力インターフェース又は通信インターフェ
ースを介して外部装置から被写体の画像情報及び／又は
被写体までの距離情報を取得する、ことを特徴とする請
求項１に記載の画像照合装置。5. The image acquisition unit and / or the distance acquisition unit acquires image information of a subject and / or distance information to the subject from an external device via an input / output interface or a communication interface. The image collating apparatus according to claim 1, wherein:
フェースを介して外部装置から基準画像を入力する基準
画像入力手段をさらに備える、ことを特徴とする請求項
１に記載の画像照合装置。6. The image collating apparatus according to claim 1, further comprising a reference image input means for inputting a reference image from an external device via an input / output interface or a communication interface.
よって取得された画像を基準画像として記憶する、こと
を特徴とする請求項１に記載の画像照合装置。7. The image matching apparatus according to claim 1, wherein the reference image storage unit stores the image acquired by the image acquisition unit as a reference image.
基準画像と比較照合する画像照合方法であって、 被写体の画像情報を取得する画像取得ステップと、 被写体までの距離を取得する距離取得ステップと、 被写体までの距離に応じて被写体の画像を拡大／縮小し
て正規化するステップと、 被写体を識別するための基準画像を記憶する基準画像記
憶ステップと、 基準画像と拡大／縮小された被写体の正規化画像とを比
較照合する比較照合ステップと、を具備することを特徴
とする画像照合方法。8. An image matching method for comparing and matching subject images taken from various distances with a reference image, comprising: an image acquiring step of acquiring image information of a subject; and a distance acquiring step of acquiring a distance to the subject. A step of enlarging / reducing the image of the subject in accordance with the distance to the subject, and a step of storing a reference image for identifying the subject; a step of storing the reference image for identifying the subject; A comparison matching step of comparing and matching with a normalized image.
化画像のサイズを比較する画像サイズ比較ステップをさ
らに備え、 両画像のサイズが近い場合のみ前記比較照合ステップを
実行する、ことを特徴とする請求項８に記載の画像照合
方法。9. An image size comparing step for comparing a size of a normalized image of a subject enlarged and reduced with a reference image, wherein the comparing and matching step is executed only when the sizes of both images are close to each other. The image matching method according to claim 8, wherein
用いて被写体を撮影してその画像情報を取得する、こと
を特徴とする請求項８に記載の画像照合方法。10. The image collating method according to claim 8, wherein in the image acquiring step, a subject is photographed using an image pickup device and image information of the subject is acquired.
子を用いてステレオ処理により被写体までの距離を測定
する、ことを特徴とする請求項８に記載の画像照合方
法。11. The image matching method according to claim 8, wherein in the distance obtaining step, a distance to a subject is measured by stereo processing using a plurality of image sensors.
離取得ステップでは、入出力インターフェース又は通信
インターフェースを介して外部装置から被写体の画像情
報及び／又は被写体までの距離情報を取得する、ことを
特徴とする請求項８に記載の画像照合方法。12. In the image obtaining step and / or the distance obtaining step, image information of a subject and / or distance information to the subject are obtained from an external device via an input / output interface or a communication interface. The image matching method according to claim 8, wherein:
ーフェースを介して外部装置から基準画像を入力する基
準画像入力ステップをさらに備える、ことを特徴とする
請求項８に記載の画像照合方法。13. The method according to claim 8, further comprising a reference image input step of inputting a reference image from an external device via an input / output interface or a communication interface.
得ステップによって取得された画像を基準画像として記
憶する、ことを特徴とする請求項８に記載の画像照合方
法。14. The image matching method according to claim 8, wherein in the reference image storing step, the image obtained in the image obtaining step is stored as a reference image.
を基準画像と比較照合する画像照合処理をコンピュータ
・システム上で実行するように記述されたコンピュータ
・ソフトウェアをコンピュータ可読形式で物理的に格納
した記憶媒体であって、前記コンピュータ・ソフトウェ
アは、 被写体の画像情報を取得する画像取得ステップと、 被写体までの距離を取得する距離取得ステップと、 被写体までの距離に応じて被写体の画像を拡大／縮小し
て正規化するステップと、 被写体を識別するための基準画像を記憶する基準画像記
憶ステップと、 基準画像と拡大／縮小された被写体の正規化画像とを比
較照合する比較照合ステップと、を具備することを特徴
とする記憶媒体。15. A storage physically storing computer software in a computer-readable format, which is described in such a manner that image comparison processing for comparing and comparing a subject image photographed from various distances with a reference image is executed on a computer system. A medium, the computer software comprising: an image acquisition step of acquiring image information of a subject; a distance acquisition step of acquiring a distance to the subject; and an image of the subject being enlarged / reduced according to the distance to the subject. And a reference image storing step of storing a reference image for identifying the subject, and a comparison matching step of comparing and comparing the reference image with a normalized image of the enlarged / reduced subject. A storage medium characterized by the above-mentioned.
ズを比較する画像サイズ比較ステップをさらに備え、 両画像のサイズが近い場合のみ前記比較照合ステップを
実行する、ことを特徴とする請求項１５に記載の記憶媒
体。16. The computer software further comprising an image size comparing step of comparing a size of a normalized image of a scaled subject with a reference image, wherein the comparing and matching step is performed only when the sizes of both images are close to each other. The storage medium according to claim 15, wherein the storage medium is executed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001005853A JP2002216131A (en) | 2001-01-15 | 2001-01-15 | Image collating device, image collating method and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001005853A JP2002216131A (en) | 2001-01-15 | 2001-01-15 | Image collating device, image collating method and storage medium |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002216131A true JP2002216131A (en) | 2002-08-02 |
Family
ID=18873832
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001005853A Pending JP2002216131A (en) | 2001-01-15 | 2001-01-15 | Image collating device, image collating method and storage medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002216131A (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006043437A1 (en) * | 2004-10-21 | 2006-04-27 | Pioneer Corporation | Processing device, and processing program |
| JP2007004256A (en) * | 2005-06-21 | 2007-01-11 | Toyota Motor Corp | Image processing apparatus and image processing method |
| US7437398B2 (en) * | 2004-07-30 | 2008-10-14 | Intel Corporation | Pattern matching architecture |
| JP2009500963A (en) * | 2005-07-06 | 2009-01-08 | メディアポッド リミテッド ライアビリティ カンパニー | System and method for capturing visual and non-visual data for multi-dimensional video display |
| JP2011044064A (en) * | 2009-08-24 | 2011-03-03 | Nikon Corp | Image processing device and image processing program |
| JP2015138010A (en) * | 2014-01-24 | 2015-07-30 | 清水建設株式会社 | Position detection system and method for photographing camera |
| JP2016118824A (en) * | 2014-12-18 | 2016-06-30 | 清水建設株式会社 | Moving body position detection system and method |
| JP2016192091A (en) * | 2015-03-31 | 2016-11-10 | 日本電気株式会社 | Commodity registration device, control method, and program |
-
2001
- 2001-01-15 JP JP2001005853A patent/JP2002216131A/en active Pending
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7437398B2 (en) * | 2004-07-30 | 2008-10-14 | Intel Corporation | Pattern matching architecture |
| US8054726B2 (en) | 2004-10-21 | 2011-11-08 | Pioneer Corporation | Processor and processing program |
| JPWO2006043437A1 (en) * | 2004-10-21 | 2008-08-07 | パイオニア株式会社 | Processing device and processing program |
| JP4481996B2 (en) * | 2004-10-21 | 2010-06-16 | パイオニア株式会社 | Processing apparatus and processing program |
| WO2006043437A1 (en) * | 2004-10-21 | 2006-04-27 | Pioneer Corporation | Processing device, and processing program |
| JP2007004256A (en) * | 2005-06-21 | 2007-01-11 | Toyota Motor Corp | Image processing apparatus and image processing method |
| JP2009500963A (en) * | 2005-07-06 | 2009-01-08 | メディアポッド リミテッド ライアビリティ カンパニー | System and method for capturing visual and non-visual data for multi-dimensional video display |
| JP2011044064A (en) * | 2009-08-24 | 2011-03-03 | Nikon Corp | Image processing device and image processing program |
| CN101996389A (en) * | 2009-08-24 | 2011-03-30 | 株式会社尼康 | Image processing device, imaging device, and image processing program |
| US8355056B2 (en) | 2009-08-24 | 2013-01-15 | Nikon Corporation | Image processing device, imaging device, and image processing program |
| JP2015138010A (en) * | 2014-01-24 | 2015-07-30 | 清水建設株式会社 | Position detection system and method for photographing camera |
| JP2016118824A (en) * | 2014-12-18 | 2016-06-30 | 清水建設株式会社 | Moving body position detection system and method |
| JP2016192091A (en) * | 2015-03-31 | 2016-11-10 | 日本電気株式会社 | Commodity registration device, control method, and program |
| CN107533782A (en) * | 2015-03-31 | 2018-01-02 | 日本电气株式会社 | Goods registration device, control method and program |
| US10490032B2 (en) | 2015-03-31 | 2019-11-26 | Nec Corporation | Product registration apparatus for determining a correct product, control method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102574141B1 (en) | Image display method and device | |
| JP6732214B2 (en) | Image processing device, image processing method, template creating device, object recognition processing device, and program | |
| US10997465B2 (en) | Information processing device, information processing method, and storage medium | |
| WO2019042426A1 (en) | Augmented reality scene processing method and apparatus, and computer storage medium | |
| US10713530B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2018055259A (en) | Information processing apparatus, information processing method and program | |
| US20110158542A1 (en) | Data correction apparatus and method | |
| US10079974B2 (en) | Image processing apparatus, method, and medium for extracting feature amount of image | |
| JP2005190400A (en) | Face image detection method, system, and program | |
| JP4928822B2 (en) | Image recognition method that can recognize multiple objects without recording all images | |
| JP2010509651A (en) | Image recognition apparatus and method | |
| JP2002216131A (en) | Image collating device, image collating method and storage medium | |
| JP2014142832A (en) | Image processing apparatus, control method of image processing apparatus, and program | |
| JP2010102568A (en) | Information processing apparatus | |
| CN111797715A (en) | Parking space detection method and device, electronic equipment and storage medium | |
| JP6296769B2 (en) | Object detection device | |
| JP2006331266A (en) | Method and apparatus for detecting object | |
| JP2018092507A (en) | Image processing apparatus, image processing method, and program | |
| JP6555940B2 (en) | Subject tracking device, imaging device, and method for controlling subject tracking device | |
| US10380463B2 (en) | Image processing device, setting support method, and non-transitory computer-readable media | |
| JP4789526B2 (en) | Image processing apparatus and image processing method | |
| JP2012234500A (en) | Pattern identification device, pattern identification method and program | |
| JP6132996B1 (en) | Image processing apparatus, image processing method, and image processing program | |
| KR102444929B1 (en) | Method for processing image of object for identifying animal and apparatus thereof | |
| US11393124B2 (en) | Information processing apparatus, information processing method, and program |