JP2001177714A - Image composition method, image composition device, recording medium, and fingerprint input device - Google Patents

Image composition method, image composition device, recording medium, and fingerprint input device

Info

Publication number
JP2001177714A
JP2001177714A JP35630099A JP35630099A JP2001177714A JP 2001177714 A JP2001177714 A JP 2001177714A JP 35630099 A JP35630099 A JP 35630099A JP 35630099 A JP35630099 A JP 35630099A JP 2001177714 A JP2001177714 A JP 2001177714A
Authority
JP
Japan
Prior art keywords
image
partial
phase difference
quality
partial images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP35630099A
Other languages
Japanese (ja)
Other versions
JP3536908B2 (en
Inventor
Masaya Hirakawa
雅也 平川
Original Assignee
Nec Corp
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corp, 日本電気株式会社 filed Critical Nec Corp
Priority to JP35630099A priority Critical patent/JP3536908B2/en
Publication of JP2001177714A publication Critical patent/JP2001177714A/en
Application granted granted Critical
Publication of JP3536908B2 publication Critical patent/JP3536908B2/en
Anticipated expiration legal-status Critical
Application status is Expired - Fee Related legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To provide an image composition method and an image composition device that can generate one composite image from a plurality of temporally consecutive partial images obtained through photographing of an object moving in a prescribed direction and can maintain the continuity of the photographed object and provide the composite image with excellent image quality. SOLUTION: The image composition device is provided with an image positioning means that respectively obtains a phase difference denoting a spatial position offset of respective two adjacent partial images, an image weighting means that respectively gives a weight denoting to which area of a partial image and how much of the partial image is to be reflected on the composite image to each partial image, an image superimposing means that superimposes the weighted partial images with each other to generate a temporary composite image being an image on the way of composition and counts number of accumulated weights by each pixel of the temporarily composite image, and a composite image generating means that divides the luminance of each pixel of the temporarily composited image by each accumulated weight and outputs the composite image with the luminance as the result of the division.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、一定方向に移動する物体をカメラやスキャナあるいはイメージングセンサ等で撮像して得られる連続した複数の部分画像から、一枚の画像を再構成するための画像合成方法、画像合成装置及び記録媒体と、その画像合成装置を備えた指紋入力装置に関する。 The present invention relates to an image of moving objects from a plurality of partial images successively obtained by imaging by the camera or scanner or imaging sensors, etc., to reconstruct one image in a predetermined direction synthesis method, an image combining apparatus and a recording medium, a fingerprint input apparatus having the image synthesizing device.

【0002】 [0002]

【従来の技術】この種の画像合成方法としては、例えば、各部分画像の必要な部位を切り取って繋ぎ合わせる方法(以下、逐次追加法と呼ぶ)、あるいは全ての部分画像を重ねあわせ、その重なっている領域の輝度を平均化する方法(以下、平均画素値法と呼ぶ)等が考えられている。 2. Description of the Related Art As image synthesis method of this kind, for example, a method of joining cut the necessary portions of the partial images (hereinafter, sequentially referred to as additional method) together, or overlapping all partial images, overlapping the the brightness of that area method of averaging (hereinafter, referred to as the average pixel value method) are considered.

【0003】一方、従来の指紋入力装置は、プリズム式の光学装置、静電容量式半導体センサ、あるいは圧電効果や焦電効果を利用した指紋センサ等を用いて指紋画像を取り込むものが知られている。 Meanwhile, the conventional fingerprint input apparatus, a prism type optical device, an electrostatic capacitance type semiconductor sensor, or is known which captures a fingerprint image using the fingerprint sensor or the like using the piezoelectric effect and pyroelectric effect there.

【0004】 [0004]

【発明が解決しようとする課題】しかしながら上記したような従来の画像合成方法のうち、逐次追加法は、連続する部分画像間の空間的な位置ずれ量である位相差を用いて画像を合成するため、部分画像間の画像位置合わせ誤差や画像の局所的な歪みが大きい場合、合成した画像の連続性が保たれないという問題が発生する。 [SUMMARY OF THE INVENTION However among conventional image synthesis method as described above, the sequential addition method to synthesize an image using a phase difference is the spatial positional deviation amount between consecutive sub-images Therefore, if the local distortion of the image registration errors and image between partial images is large, a problem that is not maintained continuity of the synthesized image is generated. 例えば、 For example,
撮像対象が指紋の場合、指紋隆線がうまく繋がらない画像になってしまう。 If the imaging target of the fingerprint, resulting in the image of the fingerprint ridge does not lead well.

【0005】一方、平均画素値法は、隣接する二つの部分画像間の画像位置合わせ誤差の影響が上記逐次追加法よりも少なくて済み、撮像画像の背景等に存在するノイズも除去することができるため、例えば、撮像対象が指紋の場合、指紋隆線が平滑化されて汗腺孔等を目立たなくすることができる。 On the other hand, the average pixel value method is that the influence of the image registration error between two adjacent partial images fewer than the sequential addition method also removes noise present in the background or the like of the captured image can be, for example, if the imaging object is a fingerprint, it is possible to fingerprint ridge is inconspicuous is smoothed by sweat gland pore and the like.

【0006】しかしながら、全ての部分画像データを均等に用いて画像を合成するため、画像位置合わせ誤差の蓄積によって、合成画像が全体的にぼやけた感じになり不鮮明な領域が多くなってしまう。 However, for the synthesis of images using evenly all partial image data, by the accumulation of the image alignment errors, blurred areas will feel composite image is blurred as a whole becomes large. そのため、撮像画像が指紋等の場合は、指紋を照合するための特徴抽出に支障をきたしてしまう。 Therefore, if the captured image such as a fingerprint, thereby disturbed to feature extraction for matching fingerprints.

【0007】さらに、従来の画像合成方法では、画像位置合わせ処理の結果を信頼して画像を合成するが、画像位置合わせ処理の結果は毎回正確であるとは限らず、局所的な画像の歪みもあるため、これらの画像位置合わせ誤差が合成画像の画質を低下させる要因になる。 Furthermore, in the conventional image synthesis method, we trust the results of the image registration process for synthesizing an image, but the result of the image registration process is not necessarily the every correct distortion of local image because also, these image registration error becomes a factor of lowering the quality of the composite image.

【0008】加えて、合成画像に用いる部分画像自体の画質を考慮することなく各部分画像を画像位置合わせ処理結果にしたがって機械的に画像を切り取ったり重ね合わせたりしているため、画質の悪い部分画像や局所的にノイズや歪みが生じている部分画像がある場合に、その部分画像の画質が合成画像の画質を低下させてしまう。 [0008] In addition, since the or to mechanically overlapped or cut image in accordance with the image registration processing result of each partial image without considering the quality of the partial image itself is used in the composite image, bad part image quality If there is a partial image of the picture or locally noise and distortion is generated, the image quality of the partial image will reduce the quality of the composite image.

【0009】一方、従来の指紋入力装置では、指紋の認証に必要な指紋画像を得るために、指紋全体を覆える十分に広い面積を持つセンサ部を用いているため、指紋入力装置の製造コストが高くなる問題があった。 Meanwhile, in the conventional fingerprint input apparatus, since in order to obtain a fingerprint image required for authentication of the fingerprint, and using a sensor portion having a sufficiently large area Ooeru the entire fingerprint, the manufacturing cost of the fingerprint input apparatus there has been a problem that is high. また、指紋入力装置の規模が大きくなるためユーザの利便性を損なってしまう。 Further, impairs the convenience of the user for the scale of the fingerprint input apparatus is increased.

【0010】本発明は上記したような従来の技術が有する問題点を解決するためになされたものであり、画像位置合わせ結果の誤差や画質の悪い部分画像の影響を少なくして撮像対象の連続性を保つと共に、例えば、撮像対象が指紋の場合に、指紋照合における特徴抽出に支障を来さない良好な合成画像を得ることができる、複数の部分画像から一枚の合成画像を再構成する画像合成方法及び画像合成装置を提供することを目的とする。 [0010] The present invention has been made to solve the problems above-mentioned conventional techniques have, continuous imaging target image registration results the effects of errors and image quality poor partial image reduced to with keeping the sex, for example, when the imaging object is a fingerprint, it is possible to obtain an excellent synthetic image supplied which does not hinder the feature extraction in fingerprint collation, to reconstruct the single composite image from a plurality of partial images and to provide an image composition method and an image synthesizing apparatus.

【0011】また、製造コストを抑えると共にユーザの利便性を損なわない指紋入力装置を提供することを目的とする。 [0011] Another object of the invention is to provide a fingerprint input apparatus which does not impair convenience for the user while suppressing the manufacturing cost.

【0012】 [0012]

【課題を解決するための手段】上記目的を達成するため本発明の画像合成方法は、一定方向に移動する物体を撮像して得られる時間的に連続した複数の部分画像から、 Image composition method of the present invention for achieving the above object, according to an aspect of the plurality of partial images of a moving object has been continuously in time obtained by imaging in a certain direction,
それらを合成した合成画像を生成するための画像合成方法であって、前記複数の部分画像のうち、隣接する二つの部分画像の空間的な位置ずれ量である位相差をそれぞれ求め、前記部分画像のどの領域を前記合成画像にどの程度反映させるかを示す重みを前記部分画像に対してそれぞれ付与し、重み付けされた部分画像をそれぞれ重ね合わせて合成途中の画像である一時合成画像を生成すると共に、前記一時合成画像の各画素毎の重みの累積値を計数し、前記一時合成画像の各画素の輝度を各々の重みの累積値で除算し、該除算結果の輝度を備えた前記合成画像を出力する方法である。 An image synthesizing method for generating a composite image obtained by combining them, the plurality of partial images, determined phase difference is a spatial position displacement amount of two adjacent partial images, respectively, the partial image with each assigned a weight indicating whether to what extent reflects the area of ​​the throat to the composite image with respect to the partial image, by superimposing the weighted partial images each generate a temporary synthesized image is an image in the middle of synthesis the counts the cumulative value of the weight for each pixel of the temporary composite image, wherein divided by the accumulated value of the weights of each of the luminance of each pixel of the temporary composite image, the composite image having a brightness of 該除 calculation results it is a method of output.

【0013】このとき、隣接する二つの部分画像を重ね合わせた時の一致度を示す相関値に基づいて前記画像位置合わせ手段で求めた前記位相差の信頼度を設定し、該位相差の信頼度に基づいて前記部分画像に対してそれぞれ前記重みを付与してもよく、前記画像入力手段から出力された前記部分画像の画質、または該部分画像の局所的な画質の少なくとも一方を判定し、該画質の判定結果に基づいて前記部分画像に対してそれぞれ前記重みを付与してもよく、隣接する二つの部分画像を重ね合わせた時の一致度を示す相関値に基づいて前記画像位置合わせ手段で求めた前記位相差の信頼度を算出し、前記画像入力手段から出力された前記部分画像の画質、または該部分画像の局所的な画質の少なくとも一方を判定し、該位相差の信頼度及び [0013] In this case, setting the reliability of the phase difference obtained by the image registration means based on a correlation value indicating a degree of coincidence when overlapped two partial images adjacent confidence retardation may be imparted to the weights respectively the partial image based on the time, and determine at least one of the local quality of the image input unit of the output the partial images from the image quality or the partial image, may be based on the determination result of the pixel quality impart each of the weights to the partial image, the image registration means based on a correlation value indicating a degree of coincidence when overlapped two partial images adjacent in calculating the reliability of the phase difference obtained, the image input unit of the output the partial images from the image quality or to determine at least one of a local quality of partial images, said phase reliability of retardation and 画質の判定結果に基づいて前記部分画像に対してそれぞれ前記重みを付与してもよい。 It may be given the weight respectively the partial image based on the image quality of the determination result.

【0014】さらに、隣接する二つの部分画像を複数の画像領域にそれぞれ分割し、該二つの部分画像を重ね合わせた時の一致度を示す相関値を該画像領域毎にそれぞれ算出し、該相関値に基づいて部分画像の局所的な画質を判定してもよく、前記合成画像に最も強く反映させる部位にピークを持つ正規分布の密度関数を重みとして用いてもよい。 Furthermore, by dividing each of the two partial images adjacent to the plurality of image regions, correlation values ​​respectively calculated for each of said image areas indicating the degree of coincidence when superposed the two partial images, the correlation may determine a local quality of a partial image based on the value, it may be used density function of normal distribution with a peak at the site to reflect most strongly to the composite image as a weight.

【0015】一方、本発明の画像合成装置は、一定方向に移動する物体を撮像して得られる時間的に連続した複数の部分画像から、それらを合成した合成画像を生成する画像合成装置であって、前記複数の部分画像のうち、 Meanwhile, the image synthesizing apparatus of the present invention, a plurality of partial images temporally continuous obtained by imaging an object moving in a certain direction, there in the image synthesizing device which generates a composite image by synthesizing the Te, among the plurality of partial images,
隣接する二つの部分画像の空間的な位置ずれ量である位相差をそれぞれ求める画像位置合わせ手段と、前記部分画像のどの領域を前記合成画像にどの程度反映させるかを示す重みを前記部分画像に対してそれぞれ付与する画像重み付け手段と、重み付けされた部分画像をそれぞれ重ね合わせて合成途中の画像である一時合成画像を生成すると共に、前記一時合成画像の各画素毎の重みの累積値を計数する画像重ね合わせ手段と、前記一時合成画像の各画素の輝度を各々の重みの累積値で除算し、該除算結果の輝度を備えた前記合成画像を出力する合成画像生成手段と、を有する構成である。 And image registration means for determining the phase difference, respectively a spatial position displacement amount of the two partial images adjacent a weight indicating whether to what extent reflect any region of the partial image in the synthesized image to the partial image counting the image weighting means for applying respective, with each superimposed weighted partial images to generate a temporary synthesized image is an image in the middle of synthesis, the cumulative value of the weight for each pixel of the temporary composite image for means superimposed image, wherein divided by the accumulated value of the weights of each of the luminance of each pixel of the temporary composite image, the composite image generating means for outputting the synthesized image having a brightness of 該除 calculation result, a structure having is there.

【0016】このとき、隣接する二つの部分画像を重ね合わせた時の一致度を示す相関値に基づいて前記画像位置合わせ手段で求めた前記位相差の信頼度を設定し、前記画像重み付け手段に出力する位相差信頼度計算手段を有し、前記画像位置合わせ手段は前記相関値を算出して前記位相差信頼度計算手段に送出し、前記画像重み付け手段は前記位相差信頼度計算手段で算出された前記位相差の信頼度に基づいて前記部分画像に対してそれぞれ前記重みを付与してもよく、前記画像入力手段から出力された前記部分画像の画質、または該部分画像の局所的な画質の少なくとも一方を判定する部分画像画質判定手段を有し、前記画像重み付け手段は前記部分画像画質判定手段の画質判定結果に基づいて前記部分画像に対してそれぞれ前記重みを [0016] In this case, setting the reliability of the phase difference obtained by the image registration means based on a correlation value indicating a degree of coincidence when overlapped two partial images adjacent to the image weighting means a phase difference reliability calculating means for outputting, the image registration unit sends out the phase difference reliability calculation means calculates the correlation value, the image weighting means calculated by the phase difference reliability calculating means may be imparted to the weights respectively the partial image based on the reliability of has been the phase difference, the image quality of the partial image outputted from the image input means or local quality of partial images, of a partial image quality determining means for determining at least one, the image weighting means the weight respectively the partial image based on the image quality determination result of the partial image quality determination unit 与してもよく、隣接する二つの部分画像を重ね合わせた時の一致度を示す相関値に基づいて前記画像位置合わせ手段で求めた前記位相差の信頼度を算出し、前記画像重み付け手段に出力する位相差信頼度計算手段と、前記画像入力手段から出力された前記部分画像の画質、または該部分画像の局所的な画質の少なくとも一方を判定する部分画像画質判定手段とを有し、前記画像重み付け手段は前記位相差信頼度計算手段で算出された前記位相差の信頼度及び前記部分画像画質判定手段の画質判定結果に基づいて前記部分画像に対してそれぞれ前記重みを付与してもよい。 It may be given, to calculate the reliability of the phase difference obtained by the image registration means based on a correlation value indicating a degree of coincidence when overlapped two partial images adjacent to the image weighting means has a phase difference reliability calculating means, and determining the partial image quality determining unit of at least one of the local quality of the image input unit of the output the partial images from the image quality or the partial image, to be output, the image weighting means may be imparted to the weights respectively the partial image based on the image quality determination result of the reliability and the partial image quality determining unit of the phase difference calculated by the phase difference reliability calculating means .

【0017】さらに、前記部分画像画質判定手段は、隣接する二つの部分画像を複数の画像領域にそれぞれ分割し、該二つの部分画像を重ね合わせた時の一致度を示す相関値を該画像領域毎にそれぞれ算出し、該相関値に基づいて部分画像の局所的な画質を判定してもよく、前記重みは、前記合成画像に最も強く反映させる部位にピークを持つ正規分布の密度関数であってもよい。 Furthermore, the partial image quality determining means divides each of the two partial images adjacent to the plurality of image areas, the image area a correlation value indicating a degree of coincidence when superposed the two partial images each calculated for each may determine a local quality of a partial image based on the correlation value, the weights, a density function of a normal distribution with a peak at the site to reflect most strongly to the synthesized image it may be.

【0018】上記のような画像合成方法及び画像合成装置では、部分画像にそれぞれ重みを付与して画像を合成することで、部分画像の強く重み付けされた領域を合成画像に強く反映させ、弱く重み付けされた領域を合成画像に反映させないことができるため、画像位置合わせにおける位置合わせ誤差や画像の歪みを合成画像に反映させないようにすることができる。 [0018] In the image synthesizing method, and an image synthesizing device as described above, by applying a weighting each partial image by combining images, is reflected strongly strongly weighted areas of the partial images in the synthesized image, weakly weighted it is possible not to reflect the area which is in the composite image, the distortion of the positioning error and image in image registration can be made to not reflected in the composite image.

【0019】また、位相差の信頼度に基づいて重みを決定することで、画像の位置合わせ誤差や部分画像の局所的な歪み等に柔軟に対応することができる。 Further, by determining the weight based on the reliability of the phase difference, it is possible to flexibly cope with an image such as a local distortion of the positioning error or partial image.

【0020】さらに、部分画像の画質または部分画像の局所的な画質を考慮して重みを決定することで、画質の良い部分画像あるいはその領域を画像の合成に用いることができる。 Furthermore, by determining the weight in consideration of the local quality of the image quality or partial image of the partial image it can be used better partial image or region thereof of quality in the synthesis of the image.

【0021】また、指紋入力装置に、上記画像合成装置とセンサ部に押し当てられて移動する指を撮像して得られる指紋の複数の部分画像を出力する画像入力手段とを有することで、センサ部の面積が小さくて良好な画質の合成画像を生成することができる。 Further, the fingerprint input apparatus, by having an image input means for outputting a plurality of partial fingerprint image obtained by capturing a finger to move pressed against to the image synthesizing device and the sensor unit, the sensor a small area of ​​the section can generate a composite image of good image quality.

【0022】 [0022]

【発明の実施の形態】次に本発明について図面を参照して説明する。 DETAILED DESCRIPTION OF THE INVENTION the present invention will now be described with reference to the drawings.

【0023】(第1の実施の形態)図1は本発明の画像合成装置の第1の実施の形態の構成を示すブロック図である。 [0023] (First Embodiment) FIG. 1 is a block diagram showing a configuration of a first embodiment of the image synthesis apparatus of the present invention.

【0024】図1に示すように、本実施形態の画像合成装置は、画像入力手段10から出力される、一定方向に移動する物体を撮像して得られる時間的に連続した複数の部分画像から、それらを合成した合成画像を生成する処理装置1と、処理装置1の処理に必要な各種データを格納するための記憶装置2とを有する構成である。 As shown in FIG. 1, the image synthesizing apparatus of this embodiment, is outputted from the image input unit 10, a plurality of partial images of a moving object has been continuously in time obtained by imaging in a certain direction a configuration having a processing device 1 for generating a composite image obtained by combining them, and a storage device 2 for storing various data required for the processing apparatus 1.

【0025】処理装置1は、隣接する二つの部分画像の空間的な位置ずれ量である位相差をそれぞれ検出する画像位置合わせ手段11と、部分画像のどの領域を合成画像にどの程度強く反映させるかを示す重みを各部分画像毎にそれぞれ付与する画像重み付け手段12と、重み付けされた部分画像を重ね合わせて合成途中の画像である一時合成画像を生成すると共に、一時合成画像の各画素毎の重みの累積値を計数する画像重ね合わせ手段13 The processing apparatus 1 includes an image alignment means 11 for detecting the phase difference is the spatial positional deviation amount of two adjacent partial images, respectively, to how strongly reflect what region of the partial image in the synthesized image or an image weighting means 12 for imparting respective weight to each partial image showing a with superimposed weighted partial image generating temporary synthesized image of a middle synthesis, for each pixel of the temporary synthesized image It means superimposed image to count the accumulated value of weights 13
と、一時合成画像の各画素の輝度をそれぞれの重みの累積値で除算し、最終的な合成画像を出力する合成画像生成手段14とを有している。 When has one o'clock brightness of each pixel of the composite image was divided by the cumulative value of the respective weights, and a composite image generating unit 14 for outputting the final composite image.

【0026】また、記憶装置2は、画像入力手段10から出力された部分画像をそれぞれ格納する部分画像記憶部20と、画像位置合わせ手段11で検出された二つの部分画像間の位相差をそれぞれ格納する位相差記憶部2 Further, memory device 2, a partial image storing unit 20 for storing the output partial image from the image input unit 10, respectively, the phase difference between the two partial image detected by the image registration unit 11, respectively phase difference and stores the storage unit 2
1と、画像重み付け手段12で重み付けされた部分画像をそれぞれ格納する重み付け部分画像記憶部22と、画像重ね合わせ手段13で生成された一時合成画像をそれぞれ格納する一時合成画像記憶部23と、画像重ね合わせ手段13で計数された一時合成画像の各画素毎の重みの累積値を格納する重み累積値記憶部24とを有している。 1, a weighted partial image storing unit 22 for storing weighted by the image weighting means 12 partial images, respectively, a temporary combined image memory 23 for storing the image superposition temporary synthesized image generated by the means 13, respectively, the image and a weight accumulated value storage section 24 for storing the cumulative value of the weight for each pixel of the temporary composite image counted by superposing means 13.

【0027】画像入力手段10には、カメラ、スキャナ、イメージングセンサ等のように移動する撮像対象の部分画像を連続して得ることが可能なものが用いられる。 [0027] The image input unit 10, a camera, a scanner, as it can be continuously partial image of the imaging object moves as such imaging sensor is used. 例えば、撮像対象が指紋の場合は、「指紋パターンの自動分類(情報処理学会研究会資料,Vol. CV 18, No. For example, if the imaging target of the fingerprint, automatic classification of "fingerprint pattern (Information Processing Society of Japan Study Group materials, Vol. CV 18, No.
2, 1982, pp.1-8)」や「プリズムを用いた指紋情報検出方法−全反射法と光路分離法の比較(電子情報通信学会論文誌(D), Vol.J68-D,No.3, 1985, pp.414-415)」 2, 1982, pp.1-8) "and fingerprint information detecting method using" Prism - total reflection method and the comparison of the optical path separation method (IEICE Transactions (D), Vol.J68-D, No. 3, 1985, pp.414-415). "
に記載された光学式スキャナ、「ホログラフィック指紋センサを用いた個人照合装置(電子情報通信学会技術報告,Vol. PRU 87, No.31, 1987, pp.27-33)」に記載されたホログラムを用いたスキャナ、「Improvedimage qu And an optical scanner described in "Holographic Fingerprint Sensor personal verification apparatus using the (IEICE Technical Report, Vol. PRU 87, No.31, 1987, pp.27-33)" hologram described in scanner using, "Improvedimage qu
ality of live scan fingerprint scanners using acou ality of live scan fingerprint scanners using acou
sticbackscatter measurements (Proceedings of Biome sticbackscatter measurements (Proceedings of Biome
tric Consortium8th Meeting, 1996)」に記載された超音波を用いたスキャナ、「Thermalimaging fingerprint tric Consortium8th Meeting, 1996) scanner using ultrasound as described in "," Thermalimaging fingerprint
technology (Proceedings of Biometric Consortium9t technology (Proceedings of Biometric Consortium9t
h Meeting, 1997)」に記載された熱感知を利用する半導体センサのスキャナ、「Adirect fingerprint reader h Meeting, 1997) "semiconductor sensor of the scanner that utilizes heat sensing, which is described in" Adirect fingerprint reader
(Proceedings of CardTech/SecureTech,Vol.I:Technolo (Proceedings of CardTech / SecureTech, Vol.I: Technolo
gy, 1996, pp.271-279)」に記載された静電容量を利用する半導体センサのスキャナ、あるいは特開平10−9 gy, 1996, the scanner of the semiconductor sensor utilizing an electrostatic capacity described in Pp.271-279) "or JP-A 10-9,
1769号公報(指紋読み取りシステム)に記載された細長いバー形状の指紋スキャナ等がある。 There is a fingerprint scanner, or the like of the elongated bar-shaped as described in 1769 JP (fingerprint reading system).

【0028】画像位置合わせ手段11で実行する画像位置合わせ方法としては、「DigitalPicture Processing. [0028] image registration method performed in the image registration section 11, "DigitalPicture Processing.
Vol. I and II (Academic Press, Orlando, Fla.198 Vol. I and II (Academic Press, Orlando, Fla.198
2)」に記載された相互相関法、「A classof algorithms Cross-correlation method described in 2) "," A classof algorithms
for fast digital registration. (IEEE Trans. Compu for fast digital registration. (IEEE Trans. Compu
tC-21, 1972, pp.179-186)」に記載された逐次類似検出アルゴリズム(以下、逐次法と呼ぶ)、「Thephase c tC-21, 1972, the sequential similarity detection algorithm is described in Pp.179-186) "(hereinafter, referred to as sequential procedure)," Thephase c
orrelation image alignment method. (In Proceedings orrelation image alignment method. (In Proceedings
of theIEEE 1975 International Conference onCybern of theIEEE 1975 International Conference onCybern
etics and Society(Sept.). IEEE, New York, 1975, p etics and Society (Sept.). IEEE, New York, 1975, p
p.163-165)」に記載された位相相関法、「Registration Phase correlation method described in p.163-165) "," Registration
of translated and rotated images usingfinite Fouri of translated and rotated images usingfinite Fouri
er Transforms.(IEEE Trans. Pattern Anal. Machine I er Transforms. (IEEE Trans. Pattern Anal. Machine I
ntell. PAMI-9, 5 (Sept.),1987, pp.700-703)」に記載された画像の回転運動を考慮した位相相関法、「Digita ntell. PAMI-9, 5 (Sept.), 1987, pp.700-703) phase correlation method considering the rotational motion of the described image "," Digita
limage registration using projections. (IEEE Tran limage registration using projections. (IEEE Tran
s.Pattern Anal.Machine Intell. PAMI-8, 2 (Mar.), 1 s.Pattern Anal.Machine Intell. PAMI-8, 2 (Mar.), 1
986, pp.222-223)」に記載された1次元のフーリエ変換のみを用いた位相相関法、「Digitalregistrationtechn 986, pp.222-223) phase correlation method using only one-dimensional Fourier transform as described in "" Digitalregistrationtechn
iques for sequential Fundus images. (In IEEEProcee iques for sequential Fundus images. (In IEEEProcee
dings of SPIE:Applications of Digital Image Proces dings of SPIE: Applications of Digital Image Proces
sing X,Vol. 829. IEEE, New York, 1987,pp.293-30 sing X, Vol. 829. IEEE, New York, 1987, pp.293-30
0)」に記載されたパワースペクトラムを用いる手法、あるいは「マニューシャネットワーク特徴による自動指紋照合−照合過程−(電子情報通信学会論文誌(D-II), Vo 0) method using power spectrum described in "automatic fingerprint identification or by" minutiae network characteristics, - verification process - (IEICE (D-II), Vo
l.J72-D-II, No.5, 1989, pp.733-740)」や特許第26 l.J72-D-II, No.5, 1989, pp.733-740) "and No. 26
36736号公報(指紋合成装置)に記載されたマニューシャと呼ばれる指紋の特徴点を用いる手法等のように、隣接する二つの部分画像の位相差を検出することが可能な方法であればどのような方法であってもよい。 As a method of using a feature point of the fingerprint called minutiae described in 36736 JP (fingerprint synthesizer) What if capable of detecting a phase difference between two adjacent partial images METHOD it may be a method.

【0029】相互相関法では、まず、二つの画像データをそれぞれI 1 (x,y),I 2 (x,y)と表したときに、二つの部分画像間の類似性の測度C(u,v)を以下の式で求める。 [0029] In the cross-correlation method, firstly, respectively I 1 the two image data (x, y), I 2 (x, y) when expressed as a measure of the similarity between the two partial images C (u , v) obtained by the following equation.

【0030】 [0030]

【数1】 [Number 1]

【0031】例えば、I 1 (x,y)が(i,j)の変化によってI 2 (x,y)に一致したとすると、相互相関は(i,j)で最大となる。 [0031] For example, I 1 (x, y) is (i, j) by a change in I 2 (x, y) assuming that matches the cross-correlation is maximized by (i, j). すなわち、C(u,v) In other words, C (u, v)
が最大となる(i,j)を探すことで位相差を求めることができる。 There can be obtained a phase difference by looking for the maximum (i, j).

【0032】逐次法は、隣接する二つの部分画像の画素輝度の差の絶対値に基づいて位相差を求める方法であり、部分画像間の類似性の測度E(u,v)は以下の式で示される。 The sequential method is a method for determining the phase difference based on the absolute value of the difference between the pixel intensity of the two adjacent sub-images, the similarity measure E between the partial images (u, v) is the following formula in shown.

【0033】 [0033]

【数2】 [Number 2]

【0034】上記測度E(u,v)は二つの画像が一致する値(i,j)で最小の値となるため、最小値を超えたときに計算を中止して、次の画素の測度計算に移行することができるという特長を持つ。 [0034] For the measure E (u, v) is comprised of a minimum value in the values ​​of two images match (i, j), to cancel the calculated when it exceeds the minimum value, a measure of the next pixel It has the advantage that it is possible to move to the calculation.

【0035】また、位相相関法は、高速フーリエ変換を用いて位相差を算出する方法であり、隣接する二つの部分画像のフーリエ変換をF 1 (ω x ,ω y ),F 2 (ω x [0035] The phase correlation method is a method of calculating a phase difference using the fast Fourier transform, the Fourier transform of the two adjacent partial image F 1 (ω x, ω y ), F 2 (ω x ,
ω y ),で表すと、以下の式で示す相互パワースペクトルから二つの画像が一致する値(d x ,d y )を検出することで位相差を算出する。 omega y), expressed in the value of two of the images match the cross-power spectrum represented by the following formula (d x, calculates the phase difference by detecting the d y).

【0036】 [0036]

【数3】 [Number 3]

【0037】すなわち、上記相互パワースペクトルを逆フーリエ変換することでインパルス関数を得ることが可能であり、そのインパルス関数のピーク位置が求める(d x ,d y )となる。 [0037] That is, it is possible to obtain the impulse function by inverse Fourier transforming the cross power spectrum, the peak position of the impulse function sought (d x, d y) becomes.

【0038】画像の回転運動を考慮した位相相関法では、最初に回転角を求め、続いて上記位相相関法と同様に、二つの画像を一致させたときの一方の画像の移動量を求めることで位相差を算出する方法である。 [0038] In the phase correlation method considering the rotational motion of the image, first determine the angle of rotation, as with subsequently the phase correlation method, to determine the amount of movement of one of the image when the to match the two images in a method of calculating the phase difference. 二つの画像のフーリエ変換を、極座標(r,θ)を用いてF The Fourier transform of the two images, using polar coordinates (r, theta) F
1 (r,θ),F 2 (r,θ)で表したとき、以下の相互パワースペクトルG(r,θ,φ)を逆フーリエ変換することにより上記移動量を求めることができる。 1 (r, θ), when expressed in F 2 (r, θ), the following mutual power spectrum G (r, θ, φ) can be obtained the movement amount by performing inverse Fourier transform on.

【0039】 [0039]

【数4】 [Number 4]

【0040】1次元のフーリエ変換のみを用いた位相相関法は、各々の画像のx方向とy方向への投影値を用い、その投影ヒストグラムにフーリエ変換を適用する方法である。 The phase correlation method using only one-dimensional Fourier transform, using the projection values ​​of the x and y directions of each image, a method of applying a Fourier transform to the projection histogram.

【0041】パワースペクトラムを用いる手法は、相互パワースペクトルから求める位相相関法と類似しているが、本手法では相互パワースペクトルの対数で計算を行うため、画像データの掛け算の代わりに足し算で移動量を算出することが可能であり、計算コストを節約できる特長を持つ。 The method using the power spectrum is similar to the phase correlation method for obtaining the cross power spectrum, for performing calculations in a logarithmic cross power spectrum in the present method, the amount of movement in addition to the place of multiplication of the image data it is possible to calculate the, with features that can save computational cost.

【0042】特徴点を用いる手法は、各画像中からそれぞれ特徴点を抽出し、その特徴点が一致するように位置合わせを行う手法である。 The technique of using the feature points, respectively extracts feature points from in each image, a technique for aligning as its feature points are matched.

【0043】画像重み付け手段12は、合成画像に用いる部分画像のどの領域に重みを強く置くか、すなわち、 The image weighting means 12, place strong weight on which region of the partial image used in the composite image, i.e.,
部分画像のどの領域を合成画像に強く反映させるかを定め、部分画像の各画素輝度に重み関数w k (x,y)をそれぞれ乗算し、重み付け部分画像として重み付け部分画像記憶部22へ出力する。 Set whether to reflect strongly which region of the partial image in the synthesized image, by multiplying the weighting function w k (x, y) of the respective pixel luminance of the partial image, and outputs the weighted partial image to the weighted partial image storing unit 22 .

【0044】ここで、入力部分画像をI k (x,y)とすると、重み付け部分画像 [0044] Here, the input partial image I k (x, y) When the weighted partial image

【0045】 [0045]

【外1】 [Outside 1]

【0046】は、 [0046] is,

【0047】 [0047]

【数5】 [Number 5]

【0048】で表される。 Represented by [0048].

【0049】例えば、部分画像が、図2に示すようにx [0049] For example, the partial image, as shown in FIG. 2 x
方向に長いX×Yの矩形形状から構成され、中央ライン、すなわち、y=Y/2のラインを最も強調したい場合、重み関数w k (x,y)には以下に示すような中央ラインにピークを持つ正規分布の密度関数を適用するとよい。 Is composed of a rectangular shape of a long X × Y direction, the center line, i.e., y = want most emphasized Y / 2 line, the weighting function w k (x, y) to the center line as shown below in You may apply the normal density function with a peak.

【0050】 [0050]

【数6】 [6]

【0051】なお、図2は図1に示した画像重み付け手段で用いられる重み関数の一例を示す図であり、部分画像の形状とそれに付与される重み関数の関係を示す平面図である。 [0051] Incidentally, FIG. 2 is a diagram showing an example of a weighting function used in the image weighting means shown in FIG. 1 is a plan view showing the relationship between the shape and weight function to be applied to that of the partial image.

【0052】この標準偏差σ yの値を自由に設定することで、強調したいラインの幅と重みの強さを変えることができる。 [0052] By setting the value of the standard deviation sigma y freely, it is possible to vary the intensity of the width and weight of the want to stress line. すなわち、σ yの値を0に近づければ重み関数w k (x,y)はY/2でピークを持つインパルス関数に近づき、中央ライン上の画素輝度を他のライン上の画素輝度よりも著しく強調することができる。 That, sigma weighting function if brought close to the value of y to 0 w k (x, y) approaches an impulse function with a peak at Y / 2, even if the pixel brightness on the central line from the pixel luminance on the other line it can be significantly enhanced.

【0053】一方、σ yの値を∞に近づけると、重み関数w k (x,y)が広い分布を持つようになるため、全ラインにほぼ等しい強さの重みを与えることができる。 Meanwhile, the closer to the value of sigma y in ∞, for the weight function w k (x, y) is to have a wide distribution, it can be given a weight of approximately equal strength on all lines.

【0054】より一般的には、以下に示すような重み関数w k (x,y)を用いることで、任意のラインy=α [0054] More generally, the use of the weight function w k (x, y) as shown below, any line y = alpha
上の画素輝度を強調することができる。 It is possible to emphasize the pixel brightness above.

【0055】 [0055]

【数7】 [Equation 7]

【0056】また、中央ライン上の画素輝度を強調したい場合は、以下に示すような重み関数w k (x,y)を用いてもよい。 [0056] Moreover, if you want to emphasize the pixel brightness on the central line, the weighting function w k (x, y) as shown below may be used.

【0057】 [0057]

【数8】 [Equation 8]

【0058】これは、中央ライン(y=Y/2)の重みを100、y=0,y=Yのラインの重みを1とするような重み関数である。 [0058] This is a weighting function such that 100, the weight of y = 0, y = Y line and 1 the weight of the center line (y = Y / 2). さらに単純には、以下に示すような重み関数w k (x,y)を用いてもよい。 More simply, the weighting function w k (x, y) as shown below may be used.

【0059】 [0059]

【数9】 [Equation 9]

【0060】これは、中央ラインの重みが100、y= [0060] This is, the weight of the center line is 100, y =
0,y=Yのラインの重みが0となるような重みが線形に変化する関数である。 0, the weight as the weight of the line y = Y is 0 is a function that varies linearly.

【0061】さらに、ラインではなく画像中の任意の点(α,β)を強調する場合は、正規分布を2次元に拡張した以下の重み関数w k (x,y)を用いるとよい。 [0061] Further, the emphasize any point in the image (alpha, beta) rather than the line, the weighting function follows that extend normal distribution in a two-dimensional w k (x, y) may be used to.

【0062】 [0062]

【数10】 [Number 10]

【0063】以上説明したように、画像重み付け手段1 [0063] As described above, the image weighting means 1
2で用いる重み付け処理は、任意のラインまたは画素の輝度を強調できるものであれば、どのような重み関数を用いてもよい。 Weighting processing used in 2, as long as it can emphasize the luminance of any line or pixel, may be used any weighting function.

【0064】画像重ね合わせ手段13は、重み付け部分画像記憶部22から1フレーム毎に重み付け部分画像を読み出し、一時合成画像記憶部23から読み出した一時合成画像に重ね合わせて新たな一時合成画像を生成し、 [0064] the image superposition unit 13, weighting the partial image storing unit 22 reads out the weighted partial image for each frame, it generates a new temporary composite image by superimposing the temporary synthesized image read from the temporary combined image memory 23 and,
一時合成画像記憶部23に格納する。 Stored in the temporary combined image memory 23.

【0065】このとき、一時合成画像は、図3に示すように、位相差記憶部21から読み出された二つの部分画像に対応する位相差にしたがって重ね合わされる。 [0065] At this time, the temporary composite image, as shown in FIG. 3, are superimposed according to the phase difference corresponding to two partial image read from the phase difference storage unit 21. なお、図3は図1に示した画像重ね合わせ手段で用いられる画像重ね合わせの例を示す平面図である。 Incidentally, FIG. 3 is a plan view showing an example of an image superposition used in means superposed image shown in FIG.

【0066】すなわち、一時合成画像の同一画素に二つの画像が重なる場合は、各々の重み付け部分画像の画素輝度を累積する。 [0066] That is, when the two images overlap in the same pixel temporary composite image, accumulating the pixel intensity of each weighted partial images. この画素輝度を累積した合成画像を一時合成画像として一時合成画像記憶部23へ格納する。 Composite image obtained by accumulating the pixel intensity is stored in the temporary combined image memory 23 as a temporary synthesized image.
また、新たに生成した一時合成画像の各画素毎にそれぞれの重みを累積し、その重み累積値を重み累積値記憶部24へ格納する。 Moreover, accumulating respective weight for each pixel of the newly generated temporary synthesized image, and stores the weight accumulated value to the weight accumulated value storage section 24.

【0067】ここで、第kフレームの重み付け部分画像を [0067] In this case, the weighted partial image of the k-th frame

【0068】 [0068]

【外2】 [Outside 2]

【0069】、重み関数をw k (x,y)、第kフレームと第(k−1)フレームの部分画像の位相差をx k [0069] The weight function w k (x, y), the phase difference between the k-th frame and the (k-1) frame of the partial image x k,
k 、一時合成画像をJ(x,y)、一時合成画像J y k, a temporary composite image J (x, y), one o'clock composite image J
(x,y)の画素(x,y)の重なり開始部分画像フレーム番号をs(x,y)、重なり終了部分画像フレーム番号をe(x,y)とすると、一時合成画像J(x, (X, y) pixel (x, y) overlap start of the image frame number s of the (x, y), when the overlapping ends partial image frame numbers and e (x, y), the temporary composite image J (x,
y)と重み累積値w(x,y)は以下のように表すことができる。 y) and the weight accumulated value w (x, y) is can be expressed as follows.

【0070】 [0070]

【数11】 [Number 11]

【0071】合成画像生成手段14は、一時合成画像記憶部23から読み出した一時合成画像の各画素輝度を、 [0071] Synthetic image generating means 14, each pixel brightness of the temporary synthesized image read from the temporary combined image memory 23,
重み累積値記憶部24から読み出した一時合成画像の画素毎の重み累積値でそれぞれ除算し、その除算結果を最終的な合成画像の画素毎の画像輝度として出力する。 Dividing each by the weight accumulated value of each pixel of the temporary synthesized image read from the weight accumulated value storage section 24, and outputs the division result as the image brightness of each pixel in the final composite image. すなわち、重み付け合成画像 That is, the weighted synthesized image

【0072】 [0072]

【外3】 [Outside 3]

【0073】は以下の式で表される。 [0073] is represented by the following equation.

【0074】 [0074]

【数12】 [Number 12]

【0075】次に、本実施形態の画像合成装置の処理手順について図4を用いて説明する。 [0075] Next, a processing procedure of the image compositing apparatus of the present embodiment will be explained with reference to FIG.

【0076】図4は図1に示した画像合成装置の処理手順を示すフローチャートである。 [0076] FIG 4 is a flowchart showing a processing procedure of the image compositing apparatus shown in FIG.

【0077】図4において、処理装置1は、まず、画像入力手段10を用いて一定方向に移動している物体を撮像し(ステップA1)、画像入力手段10から出力された連続する部分画像I k (x,y)(1≦k≦N)をそれぞれ部分画像記憶部20に格納する(ステップA [0077] In FIG. 4, the processing apparatus 1, first, by imaging a moving object in a predetermined direction by using the image input unit 10 (step A1), the partial image I successive output from the image input unit 10 k (x, y) (1 ≦ k ≦ N) to store each partial image storing unit 20 (step a
2)。 2).

【0078】次に、部分画像間の画像位置合わせ処理が全て終了しているか否かを判定し(ステップA3)、画像位置合わせ処理が全て終了していればステップA6の処理へ移行する。 [0078] Next, it is determined whether or not image registration processing between partial images has been completed (step A3), image registration processing proceeds to step A6 if the completed. また、画像位置合わせ処理が全て終了していない場合は、画像位置合わせ手段11を用いて、 Further, if the image registration processing has not been completed, using the image registration unit 11,
部分画像記憶部20から隣接する二つの部分画像I k- 1 The two partial images I adjacent the partial image storing unit 20 k-1
(x,y),I k (x,y)(2≦k≦N)をそれぞれ読み出し(ステップA4)、それらのx方向及びy方向の位相差x k ,y k (2≦k≦N)をそれぞれ求め、求めた位相差を位相差記憶手段21に格納して(ステップA (X, y), I k (x, y) (2 ≦ k ≦ N) read respectively (step A4), the phase difference x k of their x and y directions, y k (2 ≦ k ≦ N) calculated respectively, and stores the phase difference obtained in the phase difference storage unit 21 (step a
5)ステップA3の処理に戻る。 5) returns to the processing of step A3.

【0079】続いて、処理装置1は、部分画像に対する重み付け処理が全て終了しているか否かを判定し(ステップA6)、重み付け処理が全て終了していればステップA9の処理へ移行する。 [0079] Subsequently, the processing apparatus 1, weighting processing for the partial images is determined whether all has ended (step A6), the weighting process proceeds to step A9 if the completed. また、重み付け処理が全て終了していない場合は、画像重み付け手段12を用いて、 Also, if the weighting processing is not completed, using the image weighting means 12,
部分画像記憶部20から1フレーム分の部分画像I Partial image I for one frame from the partial image storing unit 20
k (x,y)を読み出し(ステップA7)、当該部分画像に対して重み付け処理を行う。 k (x, y) read out (step A7), performs weighting processing on the partial image. また、その処理結果である重み付け部分画像 Further, the weighted partial image is a result of the processing

【0080】 [0080]

【外4】 [Outside 4]

【0081】を重み付け部分画像記憶部22に格納して(ステップA8)ステップA6の処理に戻る。 [0081] stores the weighted partial image storing unit 22 returns to the processing in (step A8) Step A6.

【0082】次に、処理装置1は、重み付け部分画像の重ね合わせ処理が全て終了しているか否かを判定し(ステップA9)、重ね合わせ処理が全て終了している場合は、合成画像生成手段14を用いて一時合成画像記憶部23から一時合成画像を読み出し(ステップA15)、 [0082] Next, the processing apparatus 1 is the superposition of the weighted partial image processing determines whether all has ended (step A9), when the composition processing is completed, the composite image generating unit 14 from the temporary combined image memory 23 by using the read temporary composite image (step A15),
その各画像輝度を、重み累積値記憶部24から読み出した(ステップA16)各画素の重み累積値で除算し、除算結果を画素輝度とする最終的な合成画像を出力する(ステップA17)。 The respective image brightness, read from the weight accumulated value storage section 24 (step A16) divided by the weight accumulated value of each pixel, the division result to output a final synthesized image to the pixel luminance (step A17).

【0083】一方、重ね合わせ処理が全て終了していない場合は、画像重ね合わせ手段13を用いて、重み付け部分画像記憶部22から1フレーム分の重み付け部分画像 [0083] On the other hand, when the composition processing is not completed, using means 13 superimposed image, the weighted partial image storing unit 22 of one frame weighting partial image

【0084】 [0084]

【外5】 [Outside 5]

【0085】を読み出し(ステップA10)、一時合成画像記憶部23から一つ前のフレームまで重ね合わせた一時合成画像J k-1 (x,y)を読み出し(ステップA1 [0085] reads (step A10), one o'clock composite image one o'clock superposed to the previous frame from the memory unit 23 the combined image J k-1 (x, y ) read out (Step A1
1)、位相差記憶手段21から当該部分画像と前フレームの部分画像の位相差x k ,y kを読み出して(ステップA12)、重み付け部分画像 1), the phase difference x k of the partial image and the previous frame of the partial image from the phase difference storage unit 21, reads out y k (step A12), the weighted partial image

【0086】 [0086]

【外6】 [Outside 6]

【0087】と一時合成画像J k-1 (x,y)とを位相差x k ,y kにしたがって重ね合わせ、新たな一時合成画像J k (x,y)を生成する(ステップA13)。 [0087] temporary synthesized image J k-1 (x, y ) and the phase difference x k, superimposed according y k, and generates a new temporary composite image J k (x, y) (step A13). また、生成した一時合成画像J k (x,y)の各画素毎の重み累積値を計数し、重み累積値記憶24に格納する(ステップA14)。 Further, the generated temporary synthesized image J k (x, y) counts the weighted accumulated value of each pixel of the stores in the weight accumulated value storage 24 (step A14).

【0088】以上説明したように、本実施形態の画像合成装置によれば、部分画像から合成画像を生成する際に、従来のように部分画像の全てを均等に重ね合わせる手法や部分画像の一部を切り取って繋ぎ合わせる手法を用いずに、部分画像にそれぞれ重みを付与して合成することで、部分画像の強く重み付けされた領域を合成画像に強く反映させ、弱く重み付けされた領域を合成画像に反映させないことができるため、画像位置合わせにおける位置合わせ誤差や画像の歪みを合成画像に反映させないようにすることができる。 [0088] As described above, according to the image synthesizing apparatus of this embodiment, when generating a composite image from the partial images, the techniques and the partial image to equally superimposed all conventional manner partial image one without using the technique of joining cut the part, by combining by applying a weighting each partial image, the strong weighted area of ​​the partial image is reflected strongly in the composite image, weakly weighted area synthesized image it is possible not to reflect the distortion of the positioning error and image in image registration can be made to not reflected in the composite image. したがって、撮像対象の連続性が保たれると共に、良好な画質の合成画像を得ることができる。 Accordingly, the continuity of the imaged object is maintained, it is possible to obtain a composite image of good image quality.

【0089】(第2の実施の形態)次に、本発明の第2 [0089] (Second Embodiment) Next, the second invention
の実施の形態について図面を参照して詳細に説明する。 With reference to the drawings in detail embodiments.
図5は本発明の画像合成装置の第2の実施の形態の構成を示すブロック図である。 Figure 5 is a block diagram showing a configuration of a second embodiment of the image synthesis apparatus of the present invention.

【0090】図5に示すように、本実施形態の画像合成装置は、処理装置に、画像位置合わせ手段で求めた隣接する二つの部分画像の位相差の信頼度を設定する位相差信頼度計算手段15を有し、記憶装置に、位相差信頼度計算手段15で求めた二つの部分画像の位相差信頼度を格納する位相差信頼度記憶部25を有する構成である。 [0090] As shown in FIG. 5, the image synthesizing apparatus of this embodiment, the processing apparatus, the phase difference reliability calculating for setting the reliability of the phase difference between the two partial images adjacent obtained in image registration means and means 15, the storage device is configured to have a phase difference reliability storage unit 25 for storing the phase difference reliability of the two partial images obtained by the phase difference reliability calculating unit 15.

【0091】また、処理装置が有する画像位置合わせ手段11aは隣接する二つの部分画像間の相関値を算出して位相差信頼度計算手段15に送出し、画像重み付け手段12aは位相差信頼度に基づいて重み関数を決定して重み付け部分画像を生成する点が第1の実施の形態と異なっている。 [0091] Further, image registration unit 11a of the processing apparatus has is sent to the phase difference reliability calculating unit 15 calculates the correlation value between two partial images adjacent image weighting means 12a to the phase difference reliability except a weighted partial images to determine the weighting function based is different from the first embodiment. その他の構成は第1の実施の形態と同様であるため、その説明は省略する。 The other configuration is the same as in the first embodiment, description thereof will be omitted.

【0092】位相差信頼度計算手段15は、画像位置合わせ手段11aで算出された二つの部分画像間の位相差の信頼度を計算するものであり、画像位置合わせ手段1 [0092] retardation reliability calculation means 15 is adapted to calculate the reliability of the phase difference between the two partial images calculated by the image registration unit 11a, image registration unit 1
1aから当該二つの部分画像間の相関値を受け取り、該相関値に基づいて位相差の信頼度を決定する。 1a receives the correlation value between the two partial images from determining the reliability of the phase difference based on correlation values. 相関値は、隣接する二つの部分画像を重ね合わせた時の一致度を示す値であり、例えば、第1の実施の形態で示した隣接する二つの部分画像間の類似性の測度等を用いるとよい。 Correlation value is a value indicating the matching degree when superposed two partial images adjacent, for example, using a similarity measure such as between two adjacent partial image shown in the first embodiment When may.

【0093】位相差信頼度計算手段15は、二つの部分画像間の相関が高いとき、すなわち相関値による一致度が高ければ信頼度を高くし、位置合わせ誤差や部分画像の局所的な歪み等によって二つの部分画像間の相関が低いとき、すなわち相関値による一致度が低ければ信頼度を低くするような関数を設定する。 [0093] phase difference reliability calculating unit 15, when the high correlation between the two partial images, i.e. the higher the degree of coincidence by the correlation values ​​to increase the reliability, local distortion of the positioning error and partial images when correlation is low between two partial images by, that sets a function that lowers the reliability a low degree of coincidence by the correlation value. 位相差信頼度計算手段15で設定された位相差信頼度は位相差信頼度記憶部25に格納される。 Retardation reliability set by the phase difference reliability calculating unit 15 is stored in the phase difference reliability storage unit 25.

【0094】本実施形態の画像重み付け手段12aは、 [0094] Image weighting means 12a of this embodiment,
第1の実施の形態と同様に、合成画像に用いる部分画像のどの領域に重みを強く置くか、すなわち、どの領域を合成画像にどの程度反映させるかを示す重み関数を定め、定められた重み関数に基づいて部分画像の各画素の輝度に重み関数w k (x,y)を乗算し、その結果を重み付け部分画像記憶部へ格納する。 Like the first embodiment, which region to put strong weight of partial image used in the composite image, that is, define a weighting function that indicates how to reflect which region in the composite image, the defined weight weight function w k (x, y) and multiplying the luminance of each pixel of the partial image based on the function, and stores the result to the weighted partial image storing unit.

【0095】ここで、重み関数w k (x,y)は、位相差信頼度記憶部25から読み出した2つの部分画像間の位相差信頼度に基づいて決定される。 [0095] Here, the weighting function w k (x, y) is determined based on the phase difference reliability between two partial images read from the phase difference reliability storage unit 25. すなわち、位相差信頼度が高ければ当該部分画像を合成画像に強く反映させたいので当該部分画像に対して強い重み付けを行う。 That is, the strong weighting with respect to the partial image we want to reflect strongly the partial image in the synthesized image the higher the phase difference reliability.
逆に、位相差信頼度が低ければ当該部分画像を合成画像に反映させたくないので当該部分画像に対して弱い重み付けを行う。 Conversely, it performs weak weighting with respect to the partial image because the phase difference reliability does not want the partial image is reflected in the composite image A low.

【0096】より具体的には、例えば、部分画像の任意のラインy=αを強調するために正規分布の重み関数w [0096] More specifically, for example, the weight function of a normal distribution to emphasize any line y = alpha partial images w
k (x,y)を考える。 k think about the (x, y).

【0097】 [0097]

【数13】 [Number 13]

【0098】この正規分布の標準偏差であるσ yの値を自由に設定することで、強調したいラインの幅と重みの強さを変えることができる。 [0098] By setting the value of the standard deviation is sigma y of the normal distribution freely, it is possible to vary the intensity of the width and weight of the want to stress line. すなわち、位相差信頼度が高い場合は、σ yの値を0に近づけることでラインy= That is, when a high retardation reliability, line by approximating the value of sigma y to 0 y =
αに強い重みを持たせることが可能であり、合成画像にラインy=α付近を強く反映させることが可能である。 It is possible to have a strong weight on alpha, it is possible to reflect strongly the near line y = alpha in the composite image.

【0099】一方、位相差信頼度が低い場合は、σ yの値を∞に近づけることで重み関数w k (x,y)が広い分布を持ち、全ラインにほぼ等しく低い重み付けがなされるため、当該部分画像の全領域を合成画像にあまり反映させないようにすることができる。 [0099] On the other hand, if a low retardation reliability, weight function w k (x, y) by approximating the value of sigma y to ∞ has a wide distribution, since approximately equal low weighting all the lines is made , it is possible to not less reflecting the entire region of the partial image in the synthesized image.

【0100】次に、本実施形態の画像合成装置の動作について図6を用いて説明する。 Next, the operation of the image synthesizing apparatus of this embodiment will be described with reference to FIG.

【0101】図6は図5に示した画像合成装置の処理手順を示すフローチャートである。 [0102] FIG 6 is a flowchart showing a processing procedure of the image compositing apparatus shown in FIG.

【0102】図6において、処理装置は、まず、画像入力手段を用いて一定方向に移動している物体を撮像し(ステップB1)、画像入力手段から出力された連続する部分画像I k (x,y)(1≦k≦N)をそれぞれ部分画像記憶部に格納する(ステップB2)。 [0102] In FIG. 6, the processing apparatus first imaging an object that is moving in a certain direction by using the image input unit (step B1), partially continuous output from the image input unit image I k (x , y) (1 ≦ k ≦ N) to store each partial image storing unit (step B2).

【0103】次に、部分画像間の画像位置合わせ処理が全て終了しているか否かを判定し(ステップB3)、画像位置合わせ処理が全て終了していればステップB7の処理へ移行する。 [0103] Next, it is determined whether or not image registration processing between partial images has been completed (step B3), image registration processing proceeds to step B7 if the completed. また、画像位置合わせ処理が全て終了していない場合は、画像位置合わせ手段11aを用いて、部分画像記憶部から隣接する二つの部分画像I k-1 Further, if the image registration processing has not been completed, using the image registration unit 11a, the two portions adjacent the partial image storing unit the image I k-1
(x,y),I k (x,y)(2≦k≦N)をそれぞれ読み出し(ステップB4)、x方向及びy方向の位相差x k ,y k (2≦k≦N)と相関値c kをそれぞれ求め、 (X, y), I k (x, y) and (2 ≦ k ≦ N) read respectively (step B4), the phase difference x k of the x-direction and y-direction, y k (2 ≦ k ≦ N) Correlation determine the value c k, respectively,
求めた位相差を位相差記憶手段に格納し(ステップB The phase difference obtained is stored in the phase difference memory means (Step B
5)、相関値c kを位相差信頼度計算手段15に出力する。 5), and it outputs the correlation value c k in the phase difference reliability calculating unit 15. 位相差信頼度計算手段15は、画像位置合わせ手段11aから受け取った二つの画像の相関値c kに基づいて当該部分画像間の位相差信頼度r kを計算し、その位相差信頼度r kを位相差信頼度記憶部25に格納して(ステップB6)、ステップB3の処理に戻る。 Phase difference reliability calculating unit 15, a phase difference reliability r k between the partial images calculated on the basis of the correlation values c k of the two images received from the image registration unit 11a, the phase difference reliability r k the stored in the phase difference reliability storage unit 25 (step B6), the process returns to step B3.

【0104】続いて、処理装置は、部分画像に対する重み付け処理が全て終了しているか否かを判定し(ステップB7)、重み付け処理が全て終了していればステップB11の処理へ移行する。 [0104] Subsequently, the processing unit determines whether weighting processing for the partial images is completed (step B7), the weighting processing proceeds to step B11 if the completed. また、重み付け処理が全て終了していない場合は、画像重み付け手段12aを用いて部分画像記憶部から1フレーム分の部分画像I k (x, Also, if the weighting processing is not completed, from the partial image storing unit with the image weighting means 12a for one frame partial image I k (x,
y)を読み出し(ステップB8)、位相差信頼度記憶部25から当該位相差信頼度r kを読み出し(ステップB y) read out (step B8), the phase difference reliability storage unit 25 reads the phase difference reliability r k (Step B
9)、当該位相差信頼度r kに基づいて重み関数w 9), the weighting function w, based on the phase difference reliability r k
k (x,y)を決定する。 k (x, y) to determine. そして、決定した重み関数w k Then, the weighting function w k determined
(x,y)を用いて当該部分画像に対して重み付け処理を行い、その処理結果である重み付け部分画像 (X, y) performs a weighting process on the partial image by using the weighted partial image is a result of the processing

【0105】 [0105]

【外7】 [Outside 7]

【0106】を重み付け部分画像記憶部に格納して(ステップB10)ステップB7の処理に戻る。 [0106] The stored in weighted partial image storing unit and the process returns to (step B10) Step B7.

【0107】次に、処理装置は、重み付け部分画像の重ね合わせ処理が全て終了しているか否かを判定し(ステップB11)、重ね合わせ処理が全て終了している場合は、合成画像生成手段を用いて一時合成画像記憶部から一時合成画像を読み出し(ステップB17)、その各画像輝度を重み累積値記憶部から読み出した(ステップB [0107] Next, the processing device, overlay weighted partial image processing determines whether all has ended (step B11), if the superposition processing is completed, the composite image generation means It reads the temporary synthesized image from the temporary combined image memory used (step B17), and reads out the respective image brightness from the weight accumulated value storing unit (step B
18)各画素の重み累積値で除算し、除算結果を画素輝度とする最終的な合成画像を出力する(ステップB1 18) divided by the weight accumulated value of each pixel, the division result to output a final synthesized image to the pixel luminance (Step B1
9)。 9).

【0108】一方、重ね合わせ処理が全て終了していない場合は、画像重ね合わせ手段を用いて、重み付け部分画像記憶部から1フレーム分の重み付け部分画像 [0108] On the other hand, when the composition processing is not completed, using means superimposed image, the weighted partial image storing unit of one frame weighting partial image

【0109】 [0109]

【外8】 [Outside 8]

【0110】を読み出し(ステップB12)、一時合成画像記憶部から一つ前のフレームまで重ね合わせた一時合成画像J k-1 (x,y)を読み出し(ステップB1 [0110] reads (step B12), one o'clock composite image one o'clock superposed to the previous frame from the memory unit composite image J k-1 (x, y ) read out (Step B1
3)、位相差記憶手段から当該部分画像と前フレームの部分画像の位相差x k ,y kを読み出して(ステップB1 3), the phase difference x k of the partial image and the previous frame of the partial image from the phase difference memory means, reads out y k (step B1
4)、重み付け部分画像 4), weighted partial image

【0111】 [0111]

【外9】 [Outside 9]

【0112】と一時合成画像J k-1 (x,y)とを位相差x k ,y kにしたがって重ね合わせ、新たな一時合成画像J k (x,y)を生成する(ステップB15)。 [0112] The temporary synthesized image J k-1 (x, y ) and superimposed in accordance with the phase difference x k, y k, and generates a new temporary composite image J k (x, y) (step B15). また、生成した一時合成画像J k (x,y)の各画素毎の重み累積値を計数し、重み累積値記憶に格納する(ステップB16)。 Further, the generated temporary synthesized image J k (x, y) counts the weighted accumulated value of each pixel of the stores in the weight accumulated value stored (step B16).

【0113】以上説明した本実施形態の画像合成装置によれば、画像位置合わせで得られた位相差の信頼度を考慮して重み付け処理を行うため、画像の位置合わせ誤差や部分画像の局所的な歪み等に柔軟に対応することが可能になり、信頼度の高い部分画像を画像の合成に用いることができるため、合成画像の画質をより向上させることができる。 [0113] According to the image synthesizing apparatus of this embodiment described above, for performing a weighting process by considering the reliability of the phase difference obtained by the image registration, local alignment error or partial image of the image flexible it is possible to correspond to a distortion or the like, it is possible to use a highly reliable partial image for synthesis of image, it is possible to further improve the quality of the composite image.

【0114】(第3の実施の形態)次に本発明の画像合成装置の第3の実施の形態について図面を参照して詳細に説明する。 [0114] With reference to the drawings in detail a third embodiment of the (Third Embodiment) Next image synthesizing apparatus of the present invention.

【0115】図7は本発明の画像合成装置の第3の実施の形態の構成を示すブロック図である。 [0115] FIG. 7 is a block diagram showing a configuration of a third embodiment of the image synthesis apparatus of the present invention.

【0116】図7に示すように、本実施形態の画像合成装置は、処理装置に、画像入力手段から出力される部分画像の画質、または部分画像の局所的な画質を判定する部分画像画質判定手段16を有し、記憶装置に、部分画像画質判定手段16の画質判定結果を格納する部分画像画質記憶部26を有し、処理装置が有する画像重み付け手段が位相差信頼度計算手段で判定された信頼度及び部分画像画質判定手段16の画質判定結果に基づいて重み関数を決定し、重み付け部分画像を生成する点が第2の実施の形態と異なっている。 [0116] As shown in FIG. 7, the image synthesizing apparatus of this embodiment, the processing apparatus, the image quality of the partial image output from the image input means or topical determines quality partial image quality determination of the partial images, and means 16, the storage device has a portion image quality storage unit 26 which stores the image quality determination result of the partial image quality determination unit 16, the image weighting means the processing device has is determined by the phase difference reliability calculating means reliability and on the basis of the partial image quality determination unit 16 of the quality determination results to determine the weighting function, that generates a weighted partial image is different from the second embodiment. その他の構成は第2の実施の形態と同様であるため、その説明は省略する。 Since the other configuration is similar to the second embodiment, a description thereof will be omitted.

【0117】部分画像画質判定手段16は、部分画像記憶部から読み出した部分画像の局所的なノイズ、ぼけ、 [0117] partial image quality determination unit 16, local noise of the read partial image from the partial image storage unit, blur,
かすれ、つぶれ等を検出し、その画質判定結果を部分画像画質記憶部26へ格納する。 Blurring, detecting a collapse like, and stores the image quality determination result to the partial image quality storage unit 26.

【0118】部分画像画質判定手段16で用いる画質判定方法としては、高速フーリエ変換を用いた周波数分析による判定方法、画像のコントラストによる判定方法、 [0118] The image quality determination method used in the partial image quality determination unit 16, the determination method by the determination method, the contrast of the image by the frequency analysis using fast Fourier transform,
あるいは抽出特徴点の有無による判定方法等がある。 Alternatively there is determination method due the presence or absence of the extraction feature points.

【0119】また、部分画像の局所的な画質判定方法としては、部分画像記憶部から読み出した隣接する二つの部分画像を複数の領域にそれぞれ分割し、位相差記憶部から読み出した部分画像間の位相差に基づいて当該二つの部分画像間の各領域毎に相関値をそれぞれ計算し、各領域間の相関値から部分画像の局所的な画質を判定する方法がある。 [0119] Further, as the local quality determination method of a partial image, the two partial images adjacent read from the partial image storage unit respectively divided into a plurality of regions, between the read partial image from the phase difference storage unit the correlation values ​​respectively calculated for each region between the two partial images based on the phase difference, there is a method of determining a local quality of the partial image from the correlation value between the regions.

【0120】本実施形態の画像重み付け手段12bは、 [0120] Image weighting means 12b in this embodiment,
第1の実施の形態及び第2の実施の形態と同様に、合成画像に用いる部分画像のどの領域に重みを強く置くか、 Similar to the first embodiment and the second embodiment, place strong weight on which region of the partial image used in the composite image,
すなわち、どの領域を合成画像に強く反映させるかを定め、定められた重み関数に基づいて部分画像の各画素輝度に重み関数w k (x,y)を乗算し、その結果を重み付け部分画像記憶部へ格納する。 That is, set whether to reflect strongly which region in the composite image, the weighting function w k to each pixel brightness of a partial image based on the determined weighting function (x, y) multiplied by the weighted partial image storing the result and stores it in the department.

【0121】ここで、重み関数w k (x,y)は、位相差信頼度記憶部から読み出した2つの部分画像間の位相差信頼度、及び部分画像画質記憶部26から読み出した当該部分画像の画質に基づいて決定される。 [0121] Here, the weighting function w k (x, y) is the phase difference reliability between two partial images read from the phase difference reliability storage unit, and the partial image read from the partial image quality storage unit 26 It is determined based on the image quality. すなわち、 That is,
位相差信頼度が高いか当該部分画像の画質が良ければ、 The better the phase difference reliability quality of high or the partial images,
当該部分画像を合成画像に強く反映させたいので当該部分画像に対して強い重み付けを行う。 Performing a strong weighting with respect to the partial image we want to reflect strongly the partial image in the synthesized image. 逆に、位相差信頼度が低いか当該部分画像の画質が悪ければ、当該部分画像を合成画像に反映させたくないので当該部分画像に対して弱い重み付けを行う。 Conversely, if the image quality of the phase difference reliability is low or the partial images is poor, perform weak weighting with respect to the partial image do not want to reflect the partial image in the synthesized image.

【0122】より具体的には、部分画像の任意の画素である(α,β)を強調するために正規分布の重み関数w [0122] More specifically, an arbitrary pixel of the partial image (alpha, beta) weight function of a normal distribution in order to emphasize the w
k (x,y)を考える。 k think about the (x, y).

【0123】 [0123]

【数14】 [Number 14]

【0124】この正規分布の標準偏差であるσ x及びσ y [0124] is a standard deviation of the normal distribution sigma x and sigma y
の値を自由に設定することで、強調したい画素付近の広がりと重みの強さを変えることができる。 By setting the value freely, it is possible to vary the intensity of the spread and the weight around the pixel to be emphasized. すなわち、位相差信頼度が高いか画素(α,β)付近の画質が良い場合は、標準偏差σ x及びσ yの値を0に近づけることで(α,β)付近に強い重みを持たせることができる。 That is, the phase difference reliability is high or pixels (alpha, beta) when the image quality in the vicinity of good causes the value of the standard deviation sigma x and sigma y by close to 0 (alpha, beta) have a strong weights around be able to.

【0125】一方、位相差信頼度が低いか(α,β)付近の画質が悪い場合は、標準偏差σ [0125] On the other hand, whether the low phase difference reliability (α, β) if the image quality in the vicinity is poor, the standard deviation σ x及びσ yの値を∞に近づけることで、重み関数w k (x,y)が広い分布を持ち、部分画像全体にほぼ等しく低い重み付けがなされるため、当該部分画像の全領域を合成画像にあまり反映させないようにすることができる。 By bringing the value of x and sigma y to ∞, has a weight function w k (x, y) is wide distribution, since approximately equal low weight the entire partial image is performed, the entire area of the partial image combined image it is possible to not much reflected in the.

【0126】次に、本実施形態の画像合成装置の動作について図8、図9を用いて説明する。 [0126] Next, the operation of the image synthesizing apparatus of the present embodiment 8 will be described with reference to FIG.

【0127】図8及び図9は図7に示した画像合成装置の処理手順を示すフローチャートである。 [0127] FIGS. 8 and 9 are flowcharts showing the processing procedure of the image compositing apparatus shown in FIG.

【0128】図8において、処理装置は、まず、画像入力手段を用いて一定方向に移動している物体を撮像し(ステップC1)、画像入力手段から出力された連続する部分画像I k (x,y)(1≦k≦N)をそれぞれ部分画像記憶部に格納する(ステップC2)。 [0128] In FIG. 8, the processing device first captured the moving object in a predetermined direction by using the image input unit (step C1), the partial image I k (x consecutive output from the image input unit , y) (1 ≦ k ≦ N) to store each partial image storing unit (step C2).

【0129】次に、部分画像間の画像位置合わせ処理が全て終了しているか否かを判定し(ステップC3)、画像位置合わせ処理が全て終了していればステップC8の処理へ移行する。 [0129] Next, it is determined whether or not image registration processing between partial images has been completed (step C3), image registration processing proceeds to step C8 if the completed. また、画像位置合わせ処理が全て終了していない場合は、画像位置合わせ手段を用いて、部分画像記憶部から隣接する二つの部分画像I k-1 (x, Further, if the image registration processing has not been completed, using the image registration unit, the two partial images adjacent the partial image storing unit I k-1 (x,
y),I k (x,y)(2≦k≦N)をそれぞれ読み出し(ステップC4)、x方向及びy方向の位相差x k y), I k (x, y) (2 ≦ k ≦ N) read respectively (step C4), x and y directions of the phase difference x k,
k (2≦k≦N)と相関値c kをそれぞれ求め、求めた位相差を位相差記憶手段に格納し(ステップC5)、相関値c kを位相差信頼度計算手段に出力する。 calculated y k (2 ≦ k ≦ N ) and the correlation value c k respectively, and stores the phase difference obtained in the phase difference memory means (step C5), and outputs the correlation value c k in the phase difference reliability calculation means. 位相差信頼度計算手段は、画像位置合わせ手段から受け取った二つの画像の相関値c kに基づいて当該部分画像間の位相差信頼度r kを計算し、その計算結果を位相差信頼度記憶部25に格納する(ステップC6)。 Phase difference reliability calculating means, the phase difference reliability r k between the partial images calculated on the basis of the correlation values c k of the two images received from the image registration means, the phase difference reliability stores the calculation result stored in section 25 (step C6). また、部分画像画質判定手段26は、部分画像記憶部から読み出した部分画像、及び位相差記憶部から読み出した当該部分画像の位相差に基づいて、当該部分画像の画質及び当該部分画像の局所的な画質を判定し、その判定結果を部分画像画質記憶部26に格納して(ステップC7)、ステップC3の処理に戻る。 The partial image quality determination unit 26, partial image read from the partial image storing unit, and based on the phase difference of the read-out the partial image from the phase difference storage unit, local quality and the partial image of the partial image image quality is determined, and stores the determination result in the partial image quality storage unit 26 (step C7), the process returns to step C3.

【0130】続いて、処理装置は、部分画像に対する重み付け処理が全て終了しているか否かを判定し(ステップC8)、重み付け処理が全て終了していれば、図9に示すステップC13の処理へ移行する。 [0130] Subsequently, the processing unit determines whether weighting processing for the partial images is completed (step C8), if the ends weighting processing is all, to step C13 shown in FIG. 9 Transition. また、重み付け処理が全て終了していない場合は、画像重み付け手段1 Also, if the weighting processing is not completed, the image weighting means 1
2bを用いて部分画像記憶部から1フレーム分の部分画像I k (x,y)を読み出し(ステップC9)、位相差信頼度記憶部から当該位相差信頼度r kを読み出し(ステップC10)、部分画像画質記憶部26から当該部分画像の画質の程度q kを読み出し(ステップC11)、 2b reads the partial image I k for one frame from the partial image storing unit (x, y) using (step C9), reads the phase difference reliability r k from the phase difference reliability storage unit (step C10), from the partial image quality storing unit 26 reads the degree q k in the quality of the partial image (step C11),
当該位相差信頼度r k及び当該画質の程度q kに基づいて重み関数w k (x,y)を決定する。 Determining a weight function w k (x, y) based on the degree q k of the phase difference reliability r k and the image quality. そして、決定した重み関数w k (x,y)を用いて当該部分画像に対して重み付け処理を行い、その処理結果である重み付け部分画像 Then, a weighting process on the partial image by using the determined weight function w k (x, y), which is the processing result weighted partial image

【0131】 [0131]

【外10】 [Outside 10]

【0132】を重み付け部分画像記憶部に格納して(ステップC12)ステップC8の処理に戻る。 [0132] The stored in weighted partial image storing unit and the process returns to (Step C12) Step C8.

【0133】次に、処理装置は、重み付け部分画像の重ね合わせ処理が全て終了しているか否かを判定し(ステップC13)、重ね合わせ処理が全て終了している場合は、合成画像生成手段を用いて一時合成画像記憶部から一時合成画像を読み出し(ステップC19)、その各画像輝度を重み累積値記憶部から読み出した(ステップC [0133] Next, the processing device, overlay weighted partial image processing determines whether all has ended (step C13), when the composition processing is completed, the composite image generation means It reads the temporary synthesized image from the temporary combined image memory used (step C19), and reads out the respective image brightness from the weight accumulated value storing unit (step C
20)各画素輝度毎の重み累積値で除算し、除算結果を画素輝度とする最終的な合成画像を出力する(ステップC21)。 20) divided by the weight accumulated value of each pixel brightness, the division result to output a final synthesized image to the pixel luminance (step C21).

【0134】一方、重ね合わせ処理が全て終了していない場合は、画像重ね合わせ手段を用いて、重み付け部分画像記憶部から1フレーム分の重み付け部分画像 [0134] On the other hand, when the composition processing is not completed, using means superimposed image, the weighted partial image storing unit of one frame weighting partial image

【0135】 [0135]

【外11】 [Outside 11]

【0136】を読み出し(ステップC14)、一時合成画像記憶部から一つ前のフレームまで重ね合わせた一時合成画像J k-1 (x,y)を読み出し(ステップC1 [0136] reads (step C14), one o'clock composite image one o'clock superposed to the previous frame from the memory unit composite image J k-1 (x, y ) read out (Step C1
5)、位相差記憶手段から当該部分画像と前フレームの部分画像の位相差x k ,y kを読み出して(ステップC1 5), the phase difference x k of the partial image and the previous frame of the partial image from the phase difference memory means, reads out y k (step C1
6)、重み付け部分画像 6), weighted partial image

【0137】 [0137]

【外12】 [Outside 12]

【0138】と一時合成画像J k-1 (x,y)とを位相差x k ,y kにしたがって重ね合わせ、新たな一時合成画像J k (x,y)を生成する(ステップC17)。 [0138] temporary synthesized image J k-1 (x, y ) and the phase difference x k, superimposed according y k, and generates a new temporary composite image J k (x, y) (step C17). また、生成した一時合成画像J k (x,y)の各画素毎の重み累積値を計数し、重み累積値記憶に格納する(ステップC18)。 Further, the generated temporary synthesized image J k (x, y) counts the weighted accumulated value of each pixel of the stores in the weight accumulated value stored (step C18).

【0139】本実施形態の画像合成方法では、部分画像の画質または部分画像の局所的な画質を考慮して重み付け処理を行うため、画質の良い部分画像あるいはその領域を画像の合成に用いることができるため、合成画像の画質を向上させることができる。 [0139] In the image synthesis method of the present embodiment, in order to perform the weighting process by considering the local quality of the image quality or partial image of the partial image, the use of good part image or region thereof of quality for the synthesis of the image because it can improve the quality of the composite image.

【0140】なお、本実施形態では処理装置に第2の実施の形態と同様の位相差信頼度計算手段及び位相差信頼度記憶部を有する場合で説明しているが、これらは無くてもよい。 [0140] In the present exemplary embodiment is described in case of having a second similar phase difference to the embodiment of the reliability calculation means and the phase difference reliability storage unit to the processing unit, it may be omitted . その場合、画像重み付け手段12bは部分画像画質判定手段16で判定された部分画像の画質あるいは部分画像の局所的な画質の程度のみに基づいて重み関数を設定し、重み付け処理を行う。 In that case, the image weighting means 12b sets the weight function based only on the degree of local image quality of the image quality or partial image of the determined partial image the partial image quality determination unit 16, performs the weighting process.

【0141】(第4の実施の形態)次に本発明の画像合成装置の第4の実施の形態について図面を参照して詳細に説明する。 [0141] With reference to the drawings in detail a fourth embodiment of the Fourth Embodiment Next image synthesizing apparatus of the present invention.

【0142】図10は本発明の画像合成装置の第4の実施の形態の構成を示すブロック図である。 [0142] FIG. 10 is a block diagram showing the configuration of a fourth embodiment of the image synthesis apparatus of the present invention.

【0143】図10に示すように、本実施形態の画像合成装置は、画像入力手段10aと、画像入力手段10a [0143] As shown in FIG. 10, the image synthesizing apparatus of this embodiment, an image input unit 10a, the image input unit 10a
で撮像して得られる連続する複数の部分画像から一枚の画像を合成するコンピュータ3と、コンピュータ3で合成された合成画像を出力するための出力装置4とを有する構成である。 In a configuration having a computer 3 for synthesizing one image from a plurality of partial images successively obtained by imaging, and an output device 4 for outputting the synthesized image synthesized in the computer 3.

【0144】コンピュータ3は、CPU31と、CPU [0144] computer 3, the CPU31, CPU
31の処理に必要な各種データを格納するための記憶装置32と、CPU31に所定の画像合成処理を実行させるための画像合成プログラムが記録された記録媒体33 A storage unit 32 for storing various data required for 31 of the processing, the recording medium 33 to the image synthesizing program for executing a predetermined image combining processing CPU31 is recorded
と、画像入力手段10a及び出力装置4との間で画像データを送受信するためのI/O装置34とを有し、CP If, and an I / O device 34 for transmitting and receiving image data between the image input unit 10a and an output device 4, CP
U31、記憶装置32、記録媒体33、及びI/O装置34は、バス35によってそれぞれ接続されている。 U31, storage device 32, a recording medium 33, and I / O device 34, are connected by a bus 35.

【0145】CPU31は記録媒体33に記録された画像合成プログラムを読み出し、読み出した画像合成プログラムにしたがって、上記第1の実施の形態〜第3の実施の形態に記載された処理装置(画像入力手段を除く) [0145] CPU31 reads an image synthesizing program recorded on the recording medium 33, the read-out according to the synthesis programs, the first Processing equipment according to the form of embodiment to the third embodiment of the embodiment (image input means except for)
と同様の処理を実行する。 It performs the same processing as that. なお、記録媒体33は、磁気ディスク、光ディスク、半導体メモリ及びその他の記録装置であってもよい。 The recording medium 33 is a magnetic disk, optical disk, or a semiconductor memory and other recording devices.

【0146】本実施形態の構成でも、上記第1の実施の形態〜第3の実施の形態と同様の効果を得ることができる。 [0146] Also in the configuration of the present embodiment, it is possible to obtain the same effect as in the first embodiment to the third embodiment.

【0147】 [0147]

【実施例】次に本発明の画像合成方法及び画像合成装置の実施例について説明する。 The following Examples of image composition method and an image synthesizing apparatus of the present invention will be described. なお、以下の各実施例は本発明の画像合成方法及び画像合成装置を指紋入力装置に適用した例である。 Incidentally, the following embodiments is an example of applying the image composition method and an image synthesizing apparatus of the present invention to the fingerprint input apparatus.

【0148】(第1実施例)本発明の指紋入力装置の第1実施例について図面を参照して説明する。 [0148] will be described with reference to the drawings a first embodiment of the (first embodiment) fingerprint input apparatus of the present invention. なお、第1 It should be noted that the first
実施例は上述した第1の実施の形態に対応するものである。 Examples are those corresponding to the first embodiment described above.

【0149】第1実施例の指紋入力装置は、画像入力手段として細長い矩形形状(300×30ピクセル)の指紋センサを用い、画像位置合わせ手段で逐次法を用い、 [0149] fingerprint input apparatus of the first embodiment, using a fingerprint sensor of an elongated rectangular shape (300 × 30 pixels) as the image input means, sequential method used in image registration means,
画像重み付け手段で図11及び以下の式で示す重み関数w k (x,y)を用いるものとする。 Weight function w k (x, y) shown FIG. 11 and the following equation in the image weighting means shall be used.

【0150】 [0150]

【数15】 [Number 15]

【0151】また、記憶装置にはRAM(Random Acces [0151] In addition, the storage device RAM (Random Acces
s Memory)を用いるものとする。 It is assumed that the use of the s Memory).

【0152】今、ユーザが画像入力手段であるバー状の指紋センサに指を押捺しながら、指紋センサの長手方向と垂直な方向に指を動かしたとする。 [0152] Now, the user while inked fingers into bars fingerprint sensor is an image input means, and moving the finger in a direction perpendicular to the longitudinal direction of the fingerprint sensor. 指紋センサはユーザの指紋画像を連続して取得し部分画像として記憶装置にそれぞれ格納する。 The fingerprint sensor is respectively stored in the storage device a fingerprint image of the user as acquired partial image continuously.

【0153】処理装置は、記憶装置に格納された指紋画像の隣接するフレーム間の画像位置合わせを逐次法を用いて行い、各フレーム間の位相差を算出してそれぞれ記憶装置に格納する。 [0153] processing apparatus is performed using sequential method of an image registration between adjacent frames of the stored fingerprint images in the storage device, and stores in the respective memory device to calculate a phase difference between the frames.

【0154】続いて、記憶装置に格納された各指紋画像の中央ラインを上記重み関数を用いて強調するための重み付け処理を行う。 [0154] Subsequently, the central line of each fingerprint image stored in the storage device performs weighting processing for emphasizing by using the weighting function. そして、中央ラインを強調した各指紋画像(重み付け部分画像)をフレーム間の位相差に基づいて逐次重ね合わせて一時合成画像を生成し、生成された一時合成画像を記憶装置に格納する。 Then, to generate a temporary synthesized image by superimposing successive based each fingerprint image that emphasizes the center line (weighted partial image) to the phase difference between the frames, to store temporary synthesized image generated in the storage device.

【0155】ここで、一時合成画像の重なっている領域では、各フレーム毎に画素輝度が累積される。 [0155] Here, in a region overlapping the one o'clock composite image pixel intensity is accumulated for each frame. 同時に、 at the same time,
重ね合わせて生成された一時合成画像の各画素毎の重みの累積値が記憶装置に格納される。 Cumulative value of the weight for each pixel of the superimposed one o'clock synthesized image generated by is stored in the storage device.

【0156】最後に、記憶装置に格納された一時合成画像の各画素輝度を、同じく記憶装置に格納された各画素の重み累積値で除算し、その除算結果を最終的な合成画像の画素輝度として出力する。 [0156] Finally, each pixel brightness of the temporary synthesized image stored in the storage device, also divided by the weight accumulated value of each pixel stored in the storage device, the pixel intensity of the final composite image the division result and outputs it as.

【0157】第1実施例の指紋入力装置は、バー形状の指紋センサを用いることでセンサ部の面積を小さくすることができるため、指紋入力装置の製造コストを低減することができる。 [0157] fingerprint input apparatus of the first embodiment, it is possible to reduce the area of ​​the sensor part by using a fingerprint sensor of a bar shape, it is possible to reduce the manufacturing cost of the fingerprint input apparatus. また、その形状とサイズを活かして、 In addition, taking advantage of its shape and size,
指紋センサを携帯電話やICカードに搭載することができるため、ユーザの利便性を向上させることができる。 It is possible to mount a fingerprint sensor on mobile phones and IC cards, it is possible to improve the convenience for the user.

【0158】さらに、指紋センサの面積が小さくて良好な画質の合成画像を生成することができるため、指紋認証を高精度に行うことができる。 [0158] Further, since it is possible to reduce the area of ​​the fingerprint sensor for generating a composite image of good image quality, it is possible to perform fingerprint authentication with high accuracy.

【0159】(第2実施例)次に本発明の指紋入力装置の第2実施例について図面を参照して説明する。 [0159] will be described with reference to the drawings a second embodiment of a fingerprint input apparatus (second embodiment) Next present invention. なお、 It should be noted that,
第2実施例は上述した第2の実施の形態に対応するものである。 The second embodiment corresponds to the second embodiment described above.

【0160】第2実施例の指紋入力装置は、画像入力手段として細長い矩形形状(300×30ピクセル)の指紋センサを用い、画像位置合わせ手段で逐次法を用い、 [0160] fingerprint input apparatus of the second embodiment, using a fingerprint sensor of an elongated rectangular shape (300 × 30 pixels) as the image input means, sequential method used in image registration means,
画像重み付け手段は位相差x k ,y kとその位相差における相関値c k (0≦c k ≦255)をそれぞれ出力するものとする。 Image weighting means and outputs the phase difference x k, y k and the correlation value in the phase difference c k a (0 ≦ c k ≦ 255), respectively.

【0161】また、位相差信頼度計算手段は位相差信頼度r kを以下の式を用いて算出する。 [0161] The phase difference reliability calculation means calculated using the following equation retardation reliability r k.

【0162】 [0162]

【数16】 [Number 16]

【0163】すなわち、相関値c kが小さい(相関が高い)ほど、位相差信頼度r kの値は大きくなる。 [0163] That is, as the correlation value c k is small (high correlation), the value of the phase difference reliability r k increases. さらに、画像重み付け手段は重み関数w k (x,y)として以下の式を用いるものとする。 Further, the image weighting means shall be used the following formula as a weight function w k (x, y).

【0164】 [0164]

【数17】 [Number 17]

【0165】ここで、σ yは位相差信頼度r kによって定まる値であり、以下の式で定義される。 [0165] Here, sigma y is a value determined by the phase difference reliability r k, is defined by the following equation.

【0166】 [0166]

【数18】 [Number 18]

【0167】なお、部分画像記憶部、位相差記憶部、位相差信頼度記憶部、重み付け画像記憶部、一時合成画像記憶部、重み累積値記憶部を含む記憶装置にはRAMを用いるものとする。 [0167] Incidentally, the partial image storing unit, a phase difference storage unit, the phase difference reliability storage unit, weighting the image storage unit, temporarily combined image memory, the memory device including a weighted accumulated value storing unit and those using RAM .

【0168】今、ユーザが画像入力手段であるバー状の指紋センサに指を押捺しながら、指紋センサの長手方向と垂直な方向に指を動かしたとする。 [0168] Now, the user while inked fingers into bars fingerprint sensor is an image input means, and moving the finger in a direction perpendicular to the longitudinal direction of the fingerprint sensor. 指紋センサはユーザの指紋画像を連続して取得し部分画像として記憶装置にそれぞれ格納する。 The fingerprint sensor is respectively stored in the storage device a fingerprint image of the user as acquired partial image continuously.

【0169】処理装置は、記憶装置に格納された指紋画像の隣接するフレーム間の画像位置合わせを逐次法を用いて行い、各フレーム間の位相差及び相関値を算出してそれぞれ記憶装置に格納する。 [0169] processor, stores the image registration between adjacent frames of the stored fingerprint images in the storage device performed using sequential method, each storage device by calculating the phase difference and the correlation value between the frames to.

【0170】次に、記憶装置に格納されたフレーム間の相関値に基づいて位相差信頼度を算出して記憶装置に格納する。 [0170] Next, and stores in the storage device to calculate the phase difference reliability based on the correlation value between stored in the storage device frame. ここで、最も相関の高い相関値c k =0のとき、位相差信頼度はr k =255となる。 Here, when the highest correlation the correlation value c k = 0, the phase difference reliability becomes r k = 255.

【0171】次に、記憶装置に格納されたフレーム間の位相差信頼度に基づいて、各指紋画像へ与える重みを決定する。 [0171] Next, based on the phase difference reliability between stored in the storage device frame, determines the weight given to each fingerprint image. 例えば、最も位相差信頼度の高いr k =255 For example, the highest phase difference reliability r k = 255
の場合σ y =1となり、重み関数w k (x,y)は図12 If sigma y = 1 next to the weighting function w k (x, y) is 12
に示すような1次元標準正規分布となる。 A one-dimensional standard normal distribution as shown in.

【0172】また、位相差信頼度の低いr k =230の場合、σ y =3となり、図13に示すように重み関数w k [0172] In the case of low r k = 230 phase difference reliability, sigma y = 3, and the weight function w k as shown in FIG. 13
(x,y)がより平坦化される。 (X, y) is more flattened.

【0173】次に、記憶装置に格納された入力指紋画像の中央ラインを上記の重み関数w k (x,y)に用いて強調する。 [0173] Next, emphasize the central line of the input fingerprint image stored in the storage device using the above weight function w k (x, y). そして、中央ラインを強調した指紋画像を1 Then, the fingerprint image that emphasizes the center line 1
フレーム毎に、フレーム間の位相差に基づいて逐次重ね合わせ、生成された一時合成画像を記憶装置に格納する。 For each frame, superimposed sequentially on the basis of the phase difference between the frames, to store temporary synthesized image generated in the storage device.

【0174】すなわち、一時合成画像の重なっている領域では各フレーム毎に画素輝度が累積される。 [0174] That is, the pixel luminance is accumulated for each frame in the overlapping region of one o'clock composite image. また、一時合成画像の各画素毎の重みの累積値がそれぞれ記憶装置に格納される。 Further, the cumulative value of the weight for each pixel of the temporary composite image is stored in the respective storage device.

【0175】最後に、記憶装置に格納された一時合成画像の各画素輝度を、同じく記憶装置に格納された各画素の重み累積値で除算し、その除算結果を最終的な合成画像の画素輝度として出力する。 [0175] Finally, each pixel brightness of the temporary synthesized image stored in the storage device, also divided by the weight accumulated value of each pixel stored in the storage device, the pixel intensity of the final composite image the division result and outputs it as.

【0176】第2実施例の指紋入力装置では、第1実施例の効果に加えて得られた位相差の信頼度を相関値を用いて決定し、その信頼度に基づいて重みを決定しているため、画像の位置合わせ誤差や部分画像の局所的な歪み等に柔軟に対応することができる。 [0176] In the fingerprint input apparatus of the second embodiment, the reliability of the phase difference obtained in addition to the effects of the first embodiment was determined using the correlation values, to determine the weights based on the reliability there is therefore possible to flexibly cope with local distortion of the positioning error and a partial image of the image or the like.

【0177】(第3実施例)次に本発明の指紋入力装置の第3実施例について図面を参照して説明する。 [0177] be described with reference to the drawings third embodiment (Third Embodiment) Next fingerprint input apparatus of the present invention. なお、 It should be noted that,
第2実施例は上述した第3の実施の形態に対応するものである。 The second embodiment corresponds to the third embodiment described above.

【0178】第3実施例の指紋入力装置は、第2実施例の構成に加えて、部分画像画質判定手段として2次元フーリエ変換を用い、部分画像画質記憶部としてRAMを用いるものである。 [0178] fingerprint input apparatus of the third embodiment, in addition to the configuration of the second embodiment, using a two-dimensional Fourier transform as the partial image quality determining unit, is to use a RAM as the partial image quality storage unit.

【0179】今、ユーザが画像入力手段であるバー状の指紋センサに指を押捺しながら、指紋センサの長手方向と垂直な方向に指を動かしたとする。 [0179] Now, the user while inked fingers into bars fingerprint sensor is an image input means, and moving the finger in a direction perpendicular to the longitudinal direction of the fingerprint sensor. 指紋センサはユーザの指紋画像を連続して取得し部分画像として記憶装置にそれぞれ格納する。 The fingerprint sensor is respectively stored in the storage device a fingerprint image of the user as acquired partial image continuously.

【0180】処理装置は、記憶装置に格納された指紋画像の隣接するフレーム間の画像位置合わせを逐次法を用いて行い、各フレーム間の位相差及び相関値を算出してそれぞれ記憶装置に格納する。 [0180] processor, stores the image registration between adjacent frames of the stored fingerprint images in the storage device performed using sequential method, each storage device by calculating the phase difference and the correlation value between the frames to.

【0181】次に、記憶装置に格納されたフレーム間の相関値に基づいて位相差信頼度を算出して記憶装置に格納する。 [0181] Next, and stores in the storage device to calculate the phase difference reliability based on the correlation value between stored in the storage device frame. また、部分画像を2次元フーリエ変換することで画質を判定し、画質の程度を記憶装置に格納する。 Also, the partial images to determine the image quality by two-dimensional Fourier transform, and stores the degree of quality in the storage device.

【0182】撮像対象が指紋の場合、指紋の隆線はほぼ周期的な縞模様を形成しており、その隆線間隔(以下、 [0182] If the imaging target of the fingerprint, ridge of the fingerprint forms a substantially periodic striped pattern, the ridge interval (hereinafter,
隆線ピッチと呼ぶ)がほぼ一定である。 Referred to as the ridge pitch) is approximately constant. そこで、入力画像の指紋らしさを判定するために、予め隆線ピッチの上限及び下限を決めておく。 Therefore, in order to determine the fingerprint likeness of the input image, it is determined in advance the upper and lower limits of the pre ridge pitch. そして、部分画像を2次元フーリエ変換することで画像の周波数ピッチを検出し、その周波数ピッチが前述の指紋ピッチと判定できる閾値内に収まっているか否かを調べ、その得られた周波数ピッチに基づいて部分画像の画質を判定する。 Then, a partial image to detect the frequency pitch of the image by two-dimensional Fourier transform, examines whether the frequency pitch is within the threshold value can be determined that the aforementioned fingerprint pitch, based on the obtained frequency pitch determining the quality of the partial image Te.

【0183】次に、記憶装置に格納されたフレーム間の位相差信頼度及び部分画像の画質にに基づいて各指紋画像へ与える重みを決定する。 [0183] Next, to determine the weight to give on the basis of the quality of the phase difference reliability and partial image among stored in the storage device frame to each fingerprint image. 例えば、入力画像の画質が悪ければ(指紋らしくなければ)、重み関数w k (x, For example, if the bad quality of the input image is (unless ish fingerprint), the weighting function w k (x,
y)=0とし、その部分画像を画像合成に用いないようにする。 And y) = 0, to avoid using the partial image to the image synthesis.

【0184】次に、記憶装置に格納された入力指紋画像の中央ラインを上記の重み関数w k (x,y)に用いて強調する。 [0184] Next, emphasize the central line of the input fingerprint image stored in the storage device using the above weight function w k (x, y). そして、中央ラインを強調した指紋画像を1 Then, the fingerprint image that emphasizes the center line 1
フレーム毎に、フレーム間の位相差に基づいて逐次重ね合わせ、生成された一時合成画像を記憶装置に格納する。 For each frame, superimposed sequentially on the basis of the phase difference between the frames, to store temporary synthesized image generated in the storage device.

【0185】すなわち、一時合成画像の重なっている領域では、各フレーム毎に画素輝度が累積される。 [0185] That is, in the overlapping region of one o'clock composite image pixel intensity is accumulated for each frame. 同時に、重ね合わせて生成された一時合成画像の各画素毎の重みの累積値がそれぞれ記憶装置に格納される。 At the same time, the accumulated value of the weight for each pixel of the temporary composite image generated by superimposing is stored in each storage device.

【0186】最後に、記憶装置に格納された一時合成画像の各画素輝度を、同じく記憶装置に格納された各画素の重み累積値で除算し、その除算結果を最終的な合成画像の画素輝度として出力する。 [0186] Finally, each pixel brightness of the temporary synthesized image stored in the storage device, also divided by the weight accumulated value of each pixel stored in the storage device, the pixel intensity of the final composite image the division result and outputs it as.

【0187】第3実施例の指紋入力装置では、部分画像を2次元フーリエ変換することで指紋らしさを判定しているため、指紋入力時の指紋センサと指の接触不良によって起こる部分的な指紋の未取得を検知することが可能であり、合成画像を生成する際に指紋の映っていない部分画像を排除することが可能である。 [0187] In the fingerprint input apparatus of the third embodiment, since the determined fingerprint ness by two-dimensional Fourier transform the partial image of the fingerprint sensor and the finger at the time of fingerprint input contact by partial fingerprint occurring defective it is possible to detect the non-acquired, it is possible to eliminate the partial image not reflected a fingerprint when generating a composite image. したがって、生成する合成画像の画質を高めることができる。 Therefore, it is possible to improve the image quality of the generated composite image.

【0188】 [0188]

【発明の効果】本発明は以上説明したように構成されているので、以下に記載する効果を奏する。 While preferred embodiments of the present invention is constructed as described above, the effects described below.

【0189】部分画像にそれぞれ重みを付与して画像を合成することで、部分画像の強く重み付けされた領域を合成画像に強く反映させ、弱く重み付けされた領域を合成画像に反映させないことができるため、画像位置合わせにおける位置合わせ誤差や画像の歪みを合成画像に反映させないようにすることができる。 [0189] each partial image by applying a weight to synthesize an image, it is possible to strongly weighted area of ​​the partial image is reflected strongly in the composite image, not reflected weakly weighted region in the composite image , the distortion of the positioning error and image in image registration can be made to not reflected in the composite image.

【0190】したがって、撮像対象の連続性が保たれると共に、良好な画質の合成画像を得ることができる。 [0190] Thus, the continuity of the imaged object is maintained, it is possible to obtain a composite image of good image quality.

【0191】また、位相差の信頼度に基づいて重みを決定することで、画像の位置合わせ誤差や部分画像の局所的な歪み等に柔軟に対応することができるため、合成画像の画質をより向上させることができる。 [0191] Moreover, by determining the weight based on the reliability of the phase difference, it is possible to flexibly cope with an image such as a local distortion of the positioning error and a partial image, the quality of the composite image more it is possible to improve.

【0192】さらに、部分画像の画質または部分画像の局所的な画質を考慮して重みを決定することで、画質の良い部分画像あるいはその領域を画像の合成に用いることができるため、合成画像の画質をより向上させることができる。 [0192] Further, by determining the weight in consideration of the local quality of the image quality or partial image of the partial image, it is possible to use a good part image or region thereof of quality for the synthesis of the image, the composite image it is possible to further improve the image quality.

【0193】また、指紋入力装置に、上記画像合成装置とセンサ部に押し当てられて移動する指を撮像して得られる指紋の複数の部分画像を出力する画像入力手段とを有することで、センサ部の面積が小さくて良好な画質の合成画像を生成することができるため、指紋認証を高精度に行うことができる。 [0193] Also, the fingerprint input apparatus, by having an image input means for outputting a plurality of partial fingerprint image obtained by capturing a finger to move pressed against to the image synthesizing device and the sensor unit, the sensor since a small area of ​​the section can generate a composite image of good image quality, it is possible to perform fingerprint authentication with high accuracy.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の画像合成装置の第1の実施の形態の構成を示すブロック図である。 1 is a block diagram showing a configuration of a first embodiment of the image synthesis apparatus of the present invention.

【図2】図1に示した画像重み付け手段で用いられる重み関数の一例を示す図であり、部分画像の形状とそれに付与される重み関数の関係を示す平面図である。 [Figure 2] is a diagram showing an example of a weighting function used in the image weighting means shown in FIG. 1 is a plan view showing the relationship between the shape and weight function to be applied to that of the partial image.

【図3】図1に示した画像重ね合わせ手段で用いられる画像重ね合わせの例を示す平面図である。 3 is a plan view showing an example of an image superposition used in image compositing unit shown in FIG.

【図4】図1に示した画像合成装置の処理手順を示すフローチャートである。 4 is a flowchart showing a processing procedure of the image compositing apparatus shown in FIG.

【図5】本発明の画像合成装置の第2の実施の形態の構成を示すブロック図である。 5 is a block diagram showing a configuration of a second embodiment of the image synthesis apparatus of the present invention.

【図6】図6は図5に示した画像合成装置の処理手順を示すフローチャートである。 Figure 6 is a flowchart showing a processing procedure of the image compositing apparatus shown in FIG.

【図7】本発明の画像合成装置の第3の実施の形態の構成を示すブロック図である。 7 is a block diagram showing a configuration of a third embodiment of the image synthesis apparatus of the present invention.

【図8】図7に示した画像合成装置の処理手順を示すフローチャートである。 8 is a flowchart showing a processing procedure of the image compositing apparatus shown in FIG.

【図9】図7に示した画像合成装置の処理手順を示すフローチャートである。 9 is a flowchart showing a processing procedure of the image compositing apparatus shown in FIG.

【図10】本発明の画像合成装置の第4の実施の形態の構成を示すブロック図である。 10 is a block diagram showing the configuration of a fourth embodiment of the image synthesis apparatus of the present invention.

【図11】本発明の指紋入力装置の第1実施例で用いる重み関数の一例を示すグラフである。 11 is a graph showing an example of a weighting function used in the first embodiment of the fingerprint input apparatus of the present invention.

【図12】本発明の指紋入力装置の第2実施例で用いる重み関数の一例を示す図であり、位相差信頼度が最も高い場合の様子を示すグラフである。 [Figure 12] is a diagram showing an example of a weighting function used in the second embodiment of the fingerprint input apparatus of the present invention, is a graph showing how a case is highest retardation reliability.

【図13】本発明の指紋入力装置の第2実施例で用いる重み関数の一例を示す図であり、位相差信頼度が低い場合の様子を示すグラフである。 [Figure 13] is a diagram showing an example of a weighting function used in the second embodiment of the fingerprint input apparatus of the present invention, is a graph showing how the case of low retardation reliability.

【符号の説明】 DESCRIPTION OF SYMBOLS

1 処理装置 2 記憶装置 10 画像入力装置 11、11a 画像位置合わせ手段 12、12a、12b 画像重み付け手段 13 画像重ね合わせ手段 14 合成画像生成手段 15 位相差信頼度計算手段 16 部分画像画質判定手段 20 部分画像記憶部 21 位相差記憶部 22 重み付け部分画像記憶部 23 一時合成画像記憶部 24 重ね累積値記憶部 25 位相差信頼度記憶部 26 部分画像画質記憶部 1 processor 2 memory device 10 an image input device 11,11a image alignment means 12, 12a, 12b image weighting means 13 the image superposition unit 14 the composite image generating unit 15 a phase difference reliability calculating unit 16 partial image quality determination unit 20 portion image storage unit 21 a phase difference storage unit 22 weighted partial image storing unit 23 one o'clock combined image memory 24 superimposed accumulated value storage section 25 phase difference reliability storage unit 26 partial image quality storage unit

───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5B057 AA20 BA02 BA12 BA19 CA02 CA08 CA12 CA16 CB02 CB08 CB12 CB16 CC02 CC03 CE01 CE08 CE10 CH08 CH11 DA07 DA17 DB02 DB05 DB09 DC03 DC34 5C076 AA12 AA36 BA06 CA10 ────────────────────────────────────────────────── ─── front page of continued F-term (reference) 5B057 AA20 BA02 BA12 BA19 CA02 CA08 CA12 CA16 CB02 CB08 CB12 CB16 CC02 CC03 CE01 CE08 CE10 CH08 CH11 DA07 DA17 DB02 DB05 DB09 DC03 DC34 5C076 AA12 AA36 BA06 CA10

Claims (20)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 一定方向に移動する物体を撮像して得られる時間的に連続した複数の部分画像から、それらを合成した合成画像を生成するための画像合成方法であって、 前記複数の部分画像のうち、隣接する二つの部分画像の空間的な位置ずれ量である位相差をそれぞれ求め、 前記部分画像のどの領域を前記合成画像にどの程度反映させるかを示す重みを前記部分画像に対してそれぞれ付与し、 重み付けされた部分画像をそれぞれ重ね合わせて合成途中の画像である一時合成画像を生成すると共に、前記一時合成画像の各画素毎の重みの累積値を計数し、 前記一時合成画像の各画素の輝度を各々の重みの累積値で除算し、該除算結果の輝度を備えた前記合成画像を出力する画像合成方法。 From 1. A plurality of partial images of a moving object has been continuously in time obtained by imaging in a certain direction, an image synthesizing method for generating a composite image obtained by combining them, the plurality of partial of the image, determined phase difference is a spatial position displacement amount of the two partial images adjacent to each weights indicating whether to what extent reflect any region of the partial image in the synthesized image with respect to the partial image each grant Te, with superimposed a weighted partial images each generate a temporary synthesized image is an image in the middle of synthesis, counts the cumulative value of the weight for each pixel of the temporary composite image, the temporary synthesized image image composition method by dividing the accumulated value of the weights of each the luminance of each pixel, and outputs the composite image having a brightness of 該除 calculation results of.
  2. 【請求項2】 隣接する二つの部分画像を重ね合わせた時の一致度を示す相関値に基づいて前記画像位置合わせ手段で求めた前記位相差の信頼度を設定し、 該位相差の信頼度に基づいて前記部分画像に対してそれぞれ前記重みを付与する請求項1記載の画像合成方法。 Wherein setting the reliability of the phase difference obtained by the image registration means based on a correlation value indicating a degree of coincidence when overlapped two partial images adjacent phase difference of confidence each image composition method according to claim 1 wherein applying the weights to the partial image based on the.
  3. 【請求項3】 前記画像入力手段から出力された前記部分画像の画質、または該部分画像の局所的な画質の少なくとも一方を判定し、 該画質の判定結果に基づいて前記部分画像に対してそれぞれ前記重みを付与する請求項1記載の画像合成方法。 Wherein determining at least one of the local quality of the image quality of the output the partial image from the input means or the partial images, each relative to the partial image based on the determination result of the pixel quality image composition method according to claim 1 wherein applying the weighting.
  4. 【請求項4】 隣接する二つの部分画像を重ね合わせた時の一致度を示す相関値に基づいて前記画像位置合わせ手段で求めた前記位相差の信頼度を算出し、 前記画像入力手段から出力された前記部分画像の画質、 4. calculating the reliability of the phase difference obtained by the image registration means based on a correlation value indicating a degree of coincidence when overlapped two partial images adjacent output from said image input means has been the partial image of the image quality,
    または該部分画像の局所的な画質の少なくとも一方を判定し、 該位相差の信頼度及び該画質の判定結果に基づいて前記部分画像に対してそれぞれ前記重みを付与する請求項1 Or determining at least one of a local quality of partial images, respectively applying the weights to the partial image based on the determination result of the reliability and 該画 quality of retardation claim 1
    記載の画像合成方法。 Image composition method according.
  5. 【請求項5】 隣接する二つの部分画像を複数の画像領域にそれぞれ分割し、 該二つの部分画像を重ね合わせた時の一致度を示す相関値を該画像領域毎にそれぞれ算出し、 該相関値に基づいて部分画像の局所的な画質を判定する請求項3または4記載の画像合成方法。 5. A dividing each two partial images adjacent to the plurality of image regions, a correlation value indicating a degree of coincidence when superposed the two partial images respectively calculated for each of said image areas, said correlator local claim 3 or 4 image composition method according determining the quality of a partial image based on the value.
  6. 【請求項6】 前記合成画像に最も強く反映させる部位にピークを持つ正規分布の密度関数を重みとして用いる請求項1乃至5のいずれか1項記載の画像合成方法。 6. The image composition method according to any one of claims 1 to 5 using the density function of a normal distribution with a peak at the site to reflect most strongly to the composite image as a weight.
  7. 【請求項7】 一定方向に移動する物体を撮像して得られる時間的に連続した複数の部分画像から、それらを合成した合成画像を生成する画像合成装置であって、 前記複数の部分画像のうち、隣接する二つの部分画像の空間的な位置ずれ量である位相差をそれぞれ求める画像位置合わせ手段と、 前記部分画像のどの領域を前記合成画像にどの程度反映させるかを示す重みを前記部分画像に対してそれぞれ付与する画像重み付け手段と、 重み付けされた部分画像をそれぞれ重ね合わせて合成途中の画像である一時合成画像を生成すると共に、前記一時合成画像の各画素毎の重みの累積値を計数する画像重ね合わせ手段と、 前記一時合成画像の各画素の輝度を各々の重みの累積値で除算し、該除算結果の輝度を備えた前記合成画像を出力する合 From 7. plurality of partial images of a moving object has been continuously be temporally acquired by imaging in a certain direction, an image synthesizing apparatus for generating a composite image obtained by combining them, the plurality of partial images among them, it said weight indicating the image registration means for determining the phase difference, respectively a spatial position displacement amount of two adjacent partial images, a which region of the partial image or to what extent reflected in the synthesized image portion an image weighting means for applying each to the image, with each superimposed weighted partial images to generate a temporary synthesized image is an image in the middle of synthesis, the cumulative value of the weight for each pixel of the temporary synthesized image means superimposing images counted, the divided by the accumulated value of the weights of each of the luminance of each pixel of the temporary composite image, and outputs the composite image having a brightness of 該除 calculation result if 画像生成手段と、を有する画像合成装置。 Image synthesis apparatus includes an image generating means.
  8. 【請求項8】 隣接する二つの部分画像を重ね合わせた時の一致度を示す相関値に基づいて前記画像位置合わせ手段で求めた前記位相差の信頼度を設定し、前記画像重み付け手段に出力する位相差信頼度計算手段を有し、 前記画像位置合わせ手段は前記相関値を算出して前記位相差信頼度計算手段に送出し、 前記画像重み付け手段は前記位相差信頼度計算手段で算出された前記位相差の信頼度に基づいて前記部分画像に対してそれぞれ前記重みを付与する請求項7記載の画像合成装置。 8. Set the reliability of the phase difference obtained by the image registration means based on a correlation value indicating a degree of coincidence when overlapped two partial images adjacent, output to the image weighting means a phase difference reliability calculating means for said image registration means is transmitted to the phase difference reliability calculation means calculates the correlation value, the image weighting means is calculated by the phase difference reliability calculating means image synthesizing apparatus according to claim 7 wherein applying the weighting respectively confidence in the partial image on the basis of the phase difference was.
  9. 【請求項9】 前記画像入力手段から出力された前記部分画像の画質、または該部分画像の局所的な画質の少なくとも一方を判定する部分画像画質判定手段を有し、 前記画像重み付け手段は前記部分画像画質判定手段の画質判定結果に基づいて前記部分画像に対してそれぞれ前記重みを付与する請求項7記載の画像合成装置。 9. of the partial image output from the image input means quality or have a partial image quality determining means for determining at least one of the local quality of partial images, the image weighting means said portion, image synthesizing apparatus according to claim 7 wherein applying the weighting respectively the partial image based on the image quality determination result of the image quality determination unit.
  10. 【請求項10】 隣接する二つの部分画像を重ね合わせた時の一致度を示す相関値に基づいて前記画像位置合わせ手段で求めた前記位相差の信頼度を算出し、前記画像重み付け手段に出力する位相差信頼度計算手段と、 前記画像入力手段から出力された前記部分画像の画質、 10. A calculates the reliability of the phase difference obtained by the image registration means based on a correlation value indicating a degree of coincidence when overlapped two partial images adjacent, output to the image weighting means to the phase difference reliability calculating means, the partial image output from the image input unit quality,
    または該部分画像の局所的な画質の少なくとも一方を判定する部分画像画質判定手段とを有し、 前記画像重み付け手段は前記位相差信頼度計算手段で算出された前記位相差の信頼度及び前記部分画像画質判定手段の画質判定結果に基づいて前記部分画像に対してそれぞれ前記重みを付与する請求項7記載の画像合成装置。 Or partial and a determining partial image quality determining unit of at least one of the local quality of the image, the image weighting means confidence and said portion of said phase difference calculated by the phase difference reliability calculating means image synthesizing apparatus according to claim 7 wherein applying the weighting respectively the partial image based on the image quality determination result of the image quality determination unit.
  11. 【請求項11】 前記部分画像画質判定手段は、 隣接する二つの部分画像を複数の画像領域にそれぞれ分割し、該二つの部分画像を重ね合わせた時の一致度を示す相関値を該画像領域毎にそれぞれ算出し、該相関値に基づいて部分画像の局所的な画質を判定する請求項9または10記載の画像合成装置。 Wherein said partial image quality determining means divides each of the two partial images adjacent to the plurality of image areas, the image area a correlation value indicating a degree of coincidence when superposed the two partial images each calculated, the image synthesizing apparatus according to claim 9 or 10 wherein determining a local quality of a partial image based on the correlation value for each.
  12. 【請求項12】 前記重みは、 前記合成画像に最も強く反映させる部位にピークを持つ正規分布の密度関数である請求項7乃至11のいずれか1項記載の画像合成装置。 12. The method of claim 11, wherein weights, image synthesizing apparatus according to any one of claims 7 to 11 is a density function of a normal distribution with a peak at the site to reflect most strongly to the composite image.
  13. 【請求項13】 一定方向に移動する物体を撮像して得られる時間的に連続した複数の部分画像から、コンピュータにそれらを合成した合成画像を生成させるためのプログラムが記録された記録媒体であって、 前記複数の部分画像のうち、隣接する二つの部分画像の空間的な位置ずれ量である位相差をそれぞれ算出させ、、 前記部分画像のどの領域を前記合成画像にどの程度反映させるかを示す重みを前記部分画像に対してそれぞれ付与させ、 重み付けされた部分画像をそれぞれ重ね合わせて合成途中の画像である一時合成画像を生成すると共に、前記一時合成画像の各画素毎の重みの累積値を計数させ、 前記一時合成画像の各画素の輝度を各々の重みの累積値で除算し、該除算結果の輝度を備えた前記合成画像を出力させるためのプログ From 13. plurality of partial images of a moving object has been continuously be temporally acquired by imaging in a certain direction, a recording medium having a program recorded thereon for generating a composite image by combining them into a computer Te, among the plurality of partial images, whether to what extent reflect what region in the composite image of ,, the partial image is calculated phase difference is the spatial positional deviation amount of two adjacent partial images, respectively is respectively assigned a weight indicating to the partial image, with superimposed a weighted partial images each generate a temporary synthesized image is an image in the middle of synthesis, the cumulative value of the weight for each pixel of the temporary synthesized image is counted, the is divided by the accumulated value of the weights of each of the luminance of each pixel of the temporary composite image, programming for outputting the composite image having a brightness of 該除 calculation results ムが記録された記録媒体。 Recording medium on which beam has been recorded.
  14. 【請求項14】 隣接する二つの部分画像を重ね合わせた時の一致度を示す相関値に基づいて前記画像位置合わせ手段で求めた前記位相差の信頼度を設定させ、 該位相差の信頼度に基づいて前記部分画像に対してそれぞれ前記重みを付与させるためのプログラムが記録された請求項13記載の記録媒体。 14. to set the reliability of the phase difference obtained by the image registration means based on a correlation value indicating a degree of coincidence when overlapped two partial images adjacent phase difference of confidence recording medium according to claim 13, wherein the program is recorded for imparting the weight respectively the partial image based on the.
  15. 【請求項15】 前記画像入力手段から出力された前記部分画像の画質、または該部分画像の局所的な画質の少なくとも一方を判定させ、 該画質の判定結果に基づいて前記部分画像に対してそれぞれ前記重みを付与させるためのプログラムが記録された請求項13記載の記録媒体。 15. The image input unit of the output the partial images from the image quality or to determine at least one of the local quality of partial images, each relative to the partial image based on the determination result of the pixel quality recording medium according to claim 13, wherein the program is recorded for imparting the weight.
  16. 【請求項16】 隣接する二つの部分画像を重ね合わせた時の一致度を示す相関値に基づいて前記画像位置合わせ手段で求めた前記位相差の信頼度を算出させ、 前記画像入力手段から出力された前記部分画像の画質、 16. is calculated reliability of the phase difference obtained by the image registration means based on a correlation value indicating a degree of coincidence when overlapped two partial images adjacent output from said image input means has been the partial image of the image quality,
    または該部分画像の局所的な画質の少なくとも一方を判定させ、 該位相差の信頼度及び該画質の判定結果に基づいて前記部分画像に対してそれぞれ前記重みを付与させるためのプログラムが記録された請求項13記載の記録媒体。 Or to determine at least one of the local quality of partial images, a program for imparting the weight respectively the partial image based on the determination result of the reliability and 該画 quality of the phase difference is recorded recording medium according to claim 13, wherein.
  17. 【請求項17】 隣接する二つの部分画像を複数の画像領域にそれぞれ分割させ、該二つの部分画像を重ね合わせた時の一致度を示す相関値を該画像領域毎にそれぞれ算出させ、該相関値に基づいて部分画像の局所的な画質を判定させるためのプログラムが記録された請求項15 17. is respectively divided two partial images adjacent to the plurality of image regions, a correlation value indicating a degree of coincidence when superposed the two partial images is calculated respectively for each of said image areas, said correlator claim program for determining a local quality of a partial image based on the value was recorded 15
    または16記載の記録媒体。 Or 16, wherein the recording medium.
  18. 【請求項18】 前記合成画像に最も強く反映させる部位にピークを持つ正規分布の密度関数を重みとして用いるためのプログラムが記録された請求項13乃至17のいずれか1項記載の記録媒体。 18. The recording medium of any one of claims 13 to 17 program is recorded for use density function of a normal distribution with a peak at the site to reflect most strongly to the composite image as a weight.
  19. 【請求項19】 請求項7乃至12のいずれか1項記載の画像合成装置と、 センサ部に押し当てられて移動する指を撮像して得られる指紋の前記複数の部分画像を出力する画像入力手段と、を有する指紋入力装置。 19. A picture synthesizing apparatus according to any one of claims 7 to 12, an image input and outputting the plurality of partial fingerprint image obtained by capturing a finger to move pressed against the sensor unit fingerprint input apparatus comprising a means.
  20. 【請求項20】 前記画像入力手段は、 細長い矩形形状のセンサ部を有する請求項19記載の指紋入力装置。 20. The image input means, a fingerprint input apparatus according to claim 19, further comprising a sensor portion of an elongated rectangular shape.
JP35630099A 1999-12-15 1999-12-15 Image composition method, image composition device, recording medium, and fingerprint input device Expired - Fee Related JP3536908B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP35630099A JP3536908B2 (en) 1999-12-15 1999-12-15 Image composition method, image composition device, recording medium, and fingerprint input device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP35630099A JP3536908B2 (en) 1999-12-15 1999-12-15 Image composition method, image composition device, recording medium, and fingerprint input device

Publications (2)

Publication Number Publication Date
JP2001177714A true JP2001177714A (en) 2001-06-29
JP3536908B2 JP3536908B2 (en) 2004-06-14

Family

ID=18448350

Family Applications (1)

Application Number Title Priority Date Filing Date
JP35630099A Expired - Fee Related JP3536908B2 (en) 1999-12-15 1999-12-15 Image composition method, image composition device, recording medium, and fingerprint input device

Country Status (1)

Country Link
JP (1) JP3536908B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009163744A (en) * 2008-01-09 2009-07-23 Sonavation Inc Method and system for swipe sensor image alignment using fourier phase analysis
JP2009187429A (en) * 2008-02-08 2009-08-20 Oki Semiconductor Co Ltd Image processor and image processing method
US7593553B2 (en) 2002-02-25 2009-09-22 Fujitsu Limited Image connection method, and program and apparatus therefor
US7627150B2 (en) 2002-09-17 2009-12-01 Fujitsu Limited Biometric information obtaining apparatus and biometric information verification apparatus
JP2009282818A (en) * 2008-05-23 2009-12-03 Oki Semiconductor Co Ltd Image processor
US7729563B2 (en) 2002-08-28 2010-06-01 Fujifilm Corporation Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames
KR101030435B1 (en) 2009-08-07 2011-04-20 포항공과대학교 산학협력단 Method of generating mosaic image in realtime using images on which parallax and moving object exist
JP2011521333A (en) * 2008-05-05 2011-07-21 ソナベーション, インコーポレイテッド Method and system for enhanced image alignment
JP2012156983A (en) * 2011-01-27 2012-08-16 Seiko Epson Corp Method for registration of multiple image frames, scanning devices, and computer readable media
US8285009B2 (en) 2004-02-12 2012-10-09 Nec Infrontia Corporation Fingerprint input apparatus

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7593553B2 (en) 2002-02-25 2009-09-22 Fujitsu Limited Image connection method, and program and apparatus therefor
US7609866B2 (en) 2002-02-25 2009-10-27 Fujitsu Limited Image connection method, and program and apparatus therefor
US8078010B2 (en) 2002-08-28 2011-12-13 Fujifilm Corporation Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames
US8805121B2 (en) 2002-08-28 2014-08-12 Fujifilm Corporation Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames
US8275219B2 (en) 2002-08-28 2012-09-25 Fujifilm Corporation Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames
US7729563B2 (en) 2002-08-28 2010-06-01 Fujifilm Corporation Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames
US7627150B2 (en) 2002-09-17 2009-12-01 Fujitsu Limited Biometric information obtaining apparatus and biometric information verification apparatus
US8285009B2 (en) 2004-02-12 2012-10-09 Nec Infrontia Corporation Fingerprint input apparatus
JP2009163744A (en) * 2008-01-09 2009-07-23 Sonavation Inc Method and system for swipe sensor image alignment using fourier phase analysis
JP2009187429A (en) * 2008-02-08 2009-08-20 Oki Semiconductor Co Ltd Image processor and image processing method
JP2011521333A (en) * 2008-05-05 2011-07-21 ソナベーション, インコーポレイテッド Method and system for enhanced image alignment
US8634604B2 (en) 2008-05-05 2014-01-21 Sonavation, Inc. Method and system for enhanced image alignment
JP2009282818A (en) * 2008-05-23 2009-12-03 Oki Semiconductor Co Ltd Image processor
KR101030435B1 (en) 2009-08-07 2011-04-20 포항공과대학교 산학협력단 Method of generating mosaic image in realtime using images on which parallax and moving object exist
JP2012156983A (en) * 2011-01-27 2012-08-16 Seiko Epson Corp Method for registration of multiple image frames, scanning devices, and computer readable media

Also Published As

Publication number Publication date
JP3536908B2 (en) 2004-06-14

Similar Documents

Publication Publication Date Title
Takacs Comparing face images using the modified Hausdorff distance
US7197168B2 (en) Method and system for biometric image assembly from multiple partial biometric frame scans
Takita et al. High-accuracy subpixel image registration based on phase-only correlation
JP3780830B2 (en) Fingerprint identification method and apparatus
Abate et al. 2D and 3D face recognition: A survey
JP3539788B2 (en) Image matching method
US7925048B2 (en) Feature point detecting device, feature point detecting method, and feature point detecting program
US7693310B2 (en) Moving object recognition apparatus for tracking a moving object based on photographed image
KR100453943B1 (en) Iris image processing recognizing method and system for personal identification
JP6567127B2 (en) Signal processing apparatus and method for estimating conversion between signals
KR101035930B1 (en) Image reading device, recording medium having image reading program, and image reading method
US20040086193A1 (en) Video image synthesis method, video image synthesizer, image processing method, image processor, and programs for executing the synthesis method and processing method
US7697735B2 (en) Image based multi-biometric system and method
Can et al. A feature-based technique for joint, linear estimation of high-order image-to-mosaic transformations: mosaicing the curved human retina
US7983451B2 (en) Recognition method using hand biometrics with anti-counterfeiting
US7616807B2 (en) System and method for using texture landmarks for improved markerless tracking in augmented reality applications
US20030235332A1 (en) System and method for pose-angle estimation
US7502496B2 (en) Face image processing apparatus and method
US6219462B1 (en) Method and apparatus for performing global image alignment using any local match measure
CN1332349C (en) Person tagging in an image processing system utilizing a statistical model based on both appearance and geometric features
JP4389371B2 (en) Image restoration apparatus and image restoration method
US20080186390A1 (en) Super-resolution device, super-resolution method, super-resolution program, and super-resolution system
AU708216B2 (en) Fingerprint/palmprint image processing apparatus
US7263212B2 (en) Generation of reconstructed image data based on moved distance and tilt of slice data
CN101263511B (en) Finger sensor apparatus using image resampling and associated methods

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040309

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080326

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090326

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090326

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100326

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100326

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110326

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110326

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120326

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120326

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140326

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees