JP2016076838A - Image processing apparatus and control method of image processing apparatus - Google Patents
Image processing apparatus and control method of image processing apparatus Download PDFInfo
- Publication number
- JP2016076838A JP2016076838A JP2014206415A JP2014206415A JP2016076838A JP 2016076838 A JP2016076838 A JP 2016076838A JP 2014206415 A JP2014206415 A JP 2014206415A JP 2014206415 A JP2014206415 A JP 2014206415A JP 2016076838 A JP2016076838 A JP 2016076838A
- Authority
- JP
- Japan
- Prior art keywords
- image
- conversion coefficient
- alignment
- alignment conversion
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は画像処理装置及び画像処理装置の制御方法に関し、特に、複数の画像を位置合わせ合成する技術に関するものである。 The present invention relates to an image processing apparatus and a control method for the image processing apparatus, and more particularly to a technique for aligning and synthesizing a plurality of images.
従来、基準画像に対して位置ずれを生じている複数枚画像を基準画像に対して位置合わせする処理において、基準画像に対して信頼度の高い変換係数が算出できなった場合には簡易的な位置合わせを行う方法が提案されている。また、少数の動きベクトルが算出できている場合にはそれらから画像の動きを検出する方法が提案されていた。 Conventionally, in the process of aligning a plurality of images that are misaligned with respect to a reference image with respect to the reference image, if a conversion coefficient with high reliability cannot be calculated for the reference image, it is simple. A method of aligning has been proposed. In addition, when a small number of motion vectors can be calculated, a method for detecting the motion of an image from them has been proposed.
例えば、特許文献１では、複数枚撮影した画像間で信頼度の高い変換係数を算出できなかった場合は、画像変形をせずに画像水平垂直シフトのみのグローバルマッチングで位置合わせする方法が開示されている。特許文献２では、動きベクトルの信頼度が高いときはその少数の動きベクトルから画像の動きを検出する方法が開示されている。 For example, Patent Document 1 discloses a method of performing alignment by global matching using only image horizontal and vertical shifts without image deformation when a conversion coefficient with high reliability cannot be calculated between images taken by a plurality of images. ing. Patent Document 2 discloses a method for detecting the motion of an image from a small number of motion vectors when the reliability of the motion vectors is high.
しかしながら、前述の特許文献１に開示された従来技術では、信頼度の低い変換係数しか算出できなかった場合においても水平垂直シフトのみの位置合わせを行う。このために、アオリや回転などシフトで表現できない位置ずれが含まれる場合には、精度の低い位置合わせしか行えない。 However, in the conventional technique disclosed in Patent Document 1 described above, only horizontal and vertical shifts are aligned even when only conversion coefficients with low reliability can be calculated. For this reason, when misalignment that cannot be expressed by shift, such as tilt or rotation, is included, only low-precision alignment can be performed.
また、前述の特許文献２に開示された従来技術では、信頼度の高い動きベクトルが算出できなかった場合の処理については特に言及されておらず位置合わせの精度が下がる可能性がある。
本発明は前述の問題点に鑑み、基準画像に対して信頼度の低い位置合わせ変換係数しか算出できないときにも精度の高い位置合わせ変換係数を算出できるようにすることを目的とする。
Further, in the prior art disclosed in the above-mentioned Patent Document 2, there is a possibility that the accuracy of alignment is lowered because there is no particular mention of processing when a highly reliable motion vector cannot be calculated.
In view of the above-described problems, an object of the present invention is to make it possible to calculate an alignment conversion coefficient with high accuracy even when only an alignment conversion coefficient with low reliability with respect to a reference image can be calculated.
本発明の画像処理装置は、画像間の特徴点の動きベクトルを算出する動きベクトル算出手段と、前記動きベクトルを用いて、画像間の位置合わせ変換係数とその信頼度を算出する位置合わせ変換係数算出手段と、前記位置合わせ変換係数を用いて、第２の画像を第1の画像に位置を合わせる位置合わせ手段とを有し、前記位置合わせ変換係数算出手段は、前記信頼度が閾値以下の場合には、前記第１の画像と第２の画像とは異なる、第３の画像と第２の画像の位置合わせ変換係数を算出し、前記第１の画像と第３の画像の位置合わせ変換係数と、前記第２の画像と第３の画像の位置合わせ変換係数を用いて、前記第１の画像と第２の画像の位置合わせ変換係数を算出することを特徴とする。 An image processing apparatus according to the present invention includes a motion vector calculation unit that calculates a motion vector of a feature point between images, and a registration conversion coefficient that calculates an alignment conversion coefficient between images and its reliability using the motion vector. A calculation unit; and a positioning unit that aligns the second image with the first image using the alignment conversion coefficient, wherein the alignment conversion coefficient calculation unit has a reliability equal to or lower than a threshold value. In the case, the first image and the second image are different from each other, a third image and a second image alignment conversion coefficient are calculated, and the first image and the third image are aligned and converted. The alignment conversion coefficient between the first image and the second image is calculated using the coefficient and the alignment conversion coefficient between the second image and the third image.
本発明によれば、基準画像に対して信頼度の低い位置合わせ変換係数しか算出できないときにも精度の高い位置合わせ変換係数を算出して、精度の高い位置合わせを行うことが可能となる。 According to the present invention, it is possible to calculate a highly accurate alignment conversion coefficient and perform highly accurate alignment even when only the alignment conversion coefficient with low reliability can be calculated with respect to the reference image.
［第１の実施形態］
以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。
図１は、本発明の実施形態に関わる画像処理装置の構成を表したブロック図である。
以下、図１と図２を参照して、本発明の第1の実施形態による位置合わせ変換係数算出処理について説明する。本実施形態では、基準画像に対して信頼度の低い位置合わせ変換係数しか算出できないときにも精度の高い位置合わせ変換係数を算出する。
[First Embodiment]
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to an embodiment of the present invention.
The alignment conversion coefficient calculation process according to the first embodiment of the present invention will be described below with reference to FIGS. In the present embodiment, the alignment conversion coefficient with high accuracy is calculated even when only the alignment conversion coefficient having low reliability with respect to the reference image can be calculated.
図１において、撮像レンズ１０２は、撮影像を光学的に撮像素子１０４上に結像させる。撮像素子１０４は、その撮影像をアナログの電気信号に変換する。また、撮像素子１０４は複数の色フィルタを有する。Ａ／Ｄ変換器１０６は、この撮像素子１０４から出力されるアナログ信号をデジタル信号に変換する。
In FIG. 1, the imaging lens 102 optically forms a captured image on the
制御部１０８は、Ａ／Ｄ変換器１０６、動きベクトル算出部１１０、位置合わせ変換係数算出部１１２、位置合わせ部１１４、画像信号処理部１１６の間のデータの流れの制御を行う。
The
動きベクトル算出部１１０は、画像間の特徴点の動きベクトルを領域毎に算出する。
位置合わせ変換係数算出部１１２は、動きベクトル算出部１１０で算出された動きベクトルをもとに位置合わせ変換係数を算出する。
The motion
The alignment conversion
位置合わせ部１１４は、位置合わせ変換係数算出部１１２で算出された位置合わせ変換係数に基づき、一方の画像を他方の画像に位置合わせする。
画像信号処理部１１６は、撮影された画像に対して、同時化処理、ホワイトバランス処理、γ処理、ＮＲ処理等の画像信号処理を行い、画像データを現像する。
The
The image
図２は、本発明の実施形態に関わる画像処理装置の処理手順の一例を示すフローチャートである。
Ｓ２０１において、複数枚の画像を撮影する処理が行なわれる。以下の説明において、撮影された画像は図３の画像３０１、画像３０２、画像３０３、画像３０４とする。Ｓ２０１における撮影は画像処理装置１００を撮影者が手で保持して行い、撮影された画像間には手振れによる位置ずれが発生している。
FIG. 2 is a flowchart illustrating an example of a processing procedure of the image processing apparatus according to the embodiment of the present invention.
In S201, a process of photographing a plurality of images is performed. In the following description, the captured images are assumed to be an image 301, an image 302, an image 303, and an image 304 in FIG. The photographing in S201 is performed by the photographer holding the
次に、Ｓ２０２において、撮影された複数枚の画像の中から基準画像を１つ設定する。本実施形態では画像３０１を基準画像(画像番号ａ＝１)として選択する。以降の処理では、画像３０２、画像３０３、画像３０４を基準画像である画像３０１と被写体の位置を一致させるような位置合わせ変換係数を算出する。 Next, in S202, one reference image is set from the plurality of captured images. In this embodiment, the image 301 is selected as a reference image (image number a = 1). In the subsequent processing, an alignment conversion coefficient is calculated so that the image 302, the image 303, and the image 304 match the position of the subject with the image 301 that is the reference image.
Ｓ２０３において、位置合わせ画像として、まず画像３０２(画像番号ｂ＝２)を選択する。
Ｓ２０４において、基準画像である画像３０１と画像３０２の位置合わせ変換係数Ｈ＿１２を算出するために動きベクトル算出部１１０において、まず画像間の動きベクトルを算出する。動きベクトルの算出方法は種々あるが、本実施形態では画像のテンプレートマッチングを用いる。テンプレートマッチングの方法について図６を用いて以下に説明する。
In S203, first, an image 302 (image number b = 2) is selected as the alignment image.
In step S204, in order to calculate the alignment conversion coefficient H_12 between the image 301 and the image 302 that are reference images, the motion
基準画像である画像３０１の所定位置をテンプレート領域６０１として設定し、テンプレート領域毎に動きベクトル算出部１１０を用い、画像３０１と画像３０２の位置ずれ量を表す動きベクトルを算出する。テンプレートマッチングでは、テンプレート領域６０１を画像３０２上で走査し、類似度が最も高い走査位置を動きベクトルとして算出する。類似度の評価としては、ＳＡＤ（差分絶対値和。Sum Of Absolute Difference）を用いる。テンプレート領域内の画素値の差分絶対値和が最も小さくなる位置をそのテンプレート領域における動きベクトルとする。
A predetermined position of the image 301 that is the reference image is set as the template region 601, and a motion vector representing the amount of positional deviation between the image 301 and the image 302 is calculated using the motion
基準画像である画像３０１のテンプレート領域はテンプレート領域６０１だけではなく、点線で囲まれた合計１２領域存在し、それぞれの領域毎に前述の動きベクトル算出処理を行い動きベクトルをテンプレート領域毎に算出する。ただし、テンプレート領域６０２のように低コントラストの領域は、精度の高い動きベクトルが算出できないため動きベクトル算出の対象から除外する。結果として、画像３０２上に図示した通り、画像３０１と画像３０２の間では７つの動きベクトルが算出される。 The template area of the image 301 that is the reference image is not limited to the template area 601, but there are a total of 12 areas surrounded by dotted lines. . However, a low-contrast region such as the template region 602 is excluded from motion vector calculation targets because a highly accurate motion vector cannot be calculated. As a result, as illustrated on the image 302, seven motion vectors are calculated between the image 301 and the image 302.
次に、Ｓ２０５において、基準画像である画像３０１と画像３０２の位置合わせ変換係数Ｈ＿１２と信頼度Ｒ＿１２を、位置合わせ変換係数算出部１１２において算出する。
位置合わせ変換係数算出部１１２において行なわれる、位置合わせ変換係数と信頼度の算出する方法について以下に説明する。
Next, in S205, the alignment conversion
A method of calculating the alignment conversion coefficient and the reliability performed in the alignment conversion
本実施形態では、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ ）アルゴリズムに基づく方法を用いて算出する。その方法を図７のフローチャートを用いて説明する。この処理は、制御部１０８が備えている不揮発性メモリに記録されたプログラムを、ワークメモリとして機能するメモリに展開して、同じく制御部１０８が備えているＣＰＵが実行することで実現する。
まず、Ｓ７０１において、算出されたＮ個の動きベクトルからｕ個をランダムに選択する。
次に、Ｓ７０２において、最小二乗法で位置合わせ変換係数Ｈを算出する。位置合わせ変換係数としては、例えば射影変換係数を用いる。ただし、位置合わせ変換係数として射影変換係数だけに限定するわけではなく、アフィン変換係数や水平垂直シフトのみの簡略化した位置合わせ変換係数を用いてもよい。
In the present embodiment, the calculation is performed using a method based on a RANSAC (RANdom Sample Sample Consensus) algorithm. The method will be described with reference to the flowchart of FIG. This process is realized by developing a program recorded in a nonvolatile memory included in the
First, in S701, u are randomly selected from the calculated N motion vectors.
Next, in S702, the alignment conversion coefficient H is calculated by the least square method. For example, a projective conversion coefficient is used as the alignment conversion coefficient. However, the alignment conversion coefficient is not limited to the projective conversion coefficient, and a simplified alignment conversion coefficient including only an affine conversion coefficient or a horizontal / vertical shift may be used.
次に、Ｓ７０３において、算出された位置合わせ変換係数Ｈを用いて、最初に選択されなかったＮ−ｕ個の動きベクトルに対応するテンプレートの中心座標位置の画素を座標変換する。そして、その座標と算出された動きベクトルとの距離差分をＮ−ｕ個分だけ積算し、その位置合わせ変換係数Ｈにおける誤差として算出する。なお、距離差分としてマンハッタン距離やユークリッド距離を用いる。 In step S <b> 703, using the calculated alignment conversion coefficient H, the pixel at the central coordinate position of the template corresponding to the Nu motion vectors not selected first is coordinate-converted. Then, the distance difference between the coordinates and the calculated motion vector is integrated by N−u and calculated as an error in the alignment conversion coefficient H. The Manhattan distance and the Euclidean distance are used as the distance difference.
Ｓ７０４において、Ｓ７０１からＳ７０３までの処理を所定回数繰り返しか否かを判断し、所定回数繰り返した場合には、Ｓ７０５において、誤差が最も小さい位置合わせ変換係数Ｈを仮の位置合わせ変換係数Ｈとして設定する。
次に、Ｓ７０６において、仮の位置合わせ変換係数Ｈを用いて、Ｎ個の動きベクトルに対応するテンプレートの中心座標位置の画素を座標変換し、その座標と算出された動きベクトルとの距離差分が閾値以下の動きベクトルを選択する。また、距離差分が閾値以下である距離差分の和も最終誤差値として保持しておく。
In S704, it is determined whether or not the processing from S701 to S703 is repeated a predetermined number of times. If the processing is repeated a predetermined number of times, the alignment conversion coefficient H with the smallest error is set as a temporary alignment conversion coefficient H in S705. To do.
Next, in S706, the pixel at the central coordinate position of the template corresponding to the N motion vectors is subjected to coordinate conversion using the temporary alignment conversion coefficient H, and the distance difference between the coordinates and the calculated motion vector is calculated. Select a motion vector below the threshold. Further, the sum of the distance differences whose distance difference is equal to or smaller than the threshold value is also held as the final error value.
最後に、Ｓ７０７において、選択された動きベクトルを用いて、最小二乗法を用いて最終的な位置合わせ変換係数Ｈを決定する。また、最終誤差値の逆数を信頼度Ｒ＿１２として設定する。なお、本実施形態では信頼度を最終誤差値の逆数としたがこの方法に限定されることなく、最終誤差値からテーブル参照した値を信頼度としたり、最終的に選択された動きベクトルの数を信頼度とすることもできる。
前述したように、動きベクトルと位置合わせ変換係数で座標変換した移動量の差異が小さいときに信頼度は高くする。
Finally, in S707, the final alignment transformation coefficient H is determined using the selected motion vector using the least square method. The reciprocal of the final error value is set as the reliability R_12. In this embodiment, the reliability is the reciprocal of the final error value. However, the present invention is not limited to this method, and the value referred to the table from the final error value is used as the reliability, or the number of motion vectors finally selected. Can also be used as the reliability.
As described above, the reliability is increased when the difference between the motion vector and the movement amount coordinate-converted by the alignment conversion coefficient is small.
また、前述では動きベクトルの数に言及しておらず位置合わせ変換係数Ｈが算出されることを前提にしていたが、動きベクトルの数が所定数以下の場合には位置合わせ変換係数Ｈが算出できない場合がある。例えば、位置合わせ変換係数として射影変換係数を用いる場合、射影変換係数は未知数が８つあるが動きベクトルが４つ以上算出できていない場合には、未知数を決定することができない。その場合には、信頼度Ｒ＿１２を後述する閾値より小さい値に設定する。 In the above description, it is assumed that the alignment conversion coefficient H is calculated without referring to the number of motion vectors. However, when the number of motion vectors is a predetermined number or less, the alignment conversion coefficient H is calculated. There are cases where it is not possible. For example, when a projective transformation coefficient is used as the alignment transformation coefficient, the unknown number cannot be determined when there are eight unknown unknowns but four or more motion vectors cannot be calculated. In that case, the reliability R_12 is set to a value smaller than a threshold value described later.
図２のフローチャートの説明に戻る。
次に、Ｓ２０６において、Ｈ＿１２の信頼度Ｒ＿１２が閾値以下であるか否かを判定する。本実施形態では、画像３０１と画像３０２の位置合わせ変換係数の信頼度Ｒ＿１２は閾値より大きいとする（Ｓ２０６でＮｏ）。
次に、Ｓ２１０において、算出された位置合わせ変換係数Ｈ＿１２を用いて、位置合わせ部１１４で画像３０２を幾何変換し、基準画像である画像３０１に位置を合わせる。
Returning to the flowchart of FIG.
Next, in S206, it is determined whether or not the reliability R_12 of H_12 is equal to or less than a threshold value. In the present embodiment, it is assumed that the reliability R_12 of the alignment conversion coefficient between the image 301 and the image 302 is larger than the threshold (No in S206).
Next, in S210, using the calculated alignment conversion coefficient H_12, the
次に、Ｓ２１１において、全画像の位置合わせ変換係数が算出できているか否かを判定する。本実施形態では画像３０３、画像３０４の位置合わせ変換係数がまだ算出されていないため、Ｓ２１１でＮｏの処理順に従いＳ２１２に進む。
Ｓ２１２においては、画像番号を１つ増やして画像番号ｂ＝３とする。その後、Ｓ２０３に戻る。
Next, in S211, it is determined whether or not the alignment conversion coefficients for all images have been calculated. In this embodiment, since the alignment conversion coefficients of the image 303 and the image 304 have not been calculated yet, the process proceeds to S212 according to the processing order of No in S211.
In S212, the image number is incremented by 1, and the image number b = 3. Thereafter, the process returns to S203.
Ｓ２０３においては、画像３０２の場合と同様に画像３０３を選択し、Ｓ２０５においては、基準画像である画像３０１の位置合わせ変換係数Ｈ＿１３と信頼度Ｒ＿１３を算出する。本実施形態では、信頼度Ｒ＿１３は閾値以下であるとし（Ｓ２０６でＹｅｓ）、算出した位置合わせ変換係数Ｈ＿１３は位置合わせには用いずに、別の手法で位置合わせ変換係数を算出し直す。 In S203, the image 303 is selected as in the case of the image 302, and in S205, the alignment conversion coefficient H_13 and the reliability R_13 of the image 301 that is the reference image are calculated. In the present embodiment, it is assumed that the reliability R_13 is equal to or less than the threshold (Yes in S206), and the calculated alignment conversion coefficient H_13 is not used for alignment, but the alignment conversion coefficient is recalculated by another method.
まず、Ｓ２０７において、基準画像である画像３０１と位置合わせ変換係数を算出済みである画像３０２を画像ｃ(画像番号ｃ＝２)として選択する。なお、本実施形態では位置合わせ変換係数を算出済みである画像３０２を選択したが、画像間の手振れ量がより少なくなる可能性の高い撮影時刻の近い画像を選択してもよい。また、信頼度の高い動きベクトルが算出される可能性の高い高周波成分を多く含む画像を選択してもよい。 First, in S207, an image 301 that is a reference image and an image 302 for which the alignment conversion coefficient has been calculated are selected as an image c (image number c = 2). In the present embodiment, the image 302 for which the alignment conversion coefficient has been calculated is selected. However, an image with a close shooting time that is likely to reduce the amount of camera shake between images may be selected. In addition, an image including many high-frequency components that are highly likely to be calculated as a highly reliable motion vector may be selected.
次に、Ｓ２０８において、画像３０２と画像３０３の位置合わせ変換係数Ｈ＿２３とその信頼度Ｒ＿２３を算出する。算出方法は、Ｓ２０５で説明した内容と同じ手法を用いればよいためここでは記載しない。 Next, in S208, the alignment conversion coefficient H_23 of the image 302 and the image 303 and its reliability R_23 are calculated. The calculation method is not described here because the same method as described in S205 may be used.
Ｓ２０９において、算出された位置合わせ変換係数Ｈ＿２３とＨ＿１２を用いて、基準画像である画像３０１と画像３０３の位置合わせ変換係数Ｈ＿１３を算出する。位置合わせ変換係数Ｈ＿２３を用いて画像３０３を画像３０２の位置に位置合わせした後に、さらに位置合わせ変換係数Ｈ＿１２を用いて基準画像である画像３０１に位置合わせすることで算出される。具体的には下記の式１で表現できる。
Ｈ＿１３＝Ｈ＿１２・Ｈ＿２３ ・・・（式１）
In step S209, using the calculated alignment conversion coefficients H_23 and H_12, the alignment conversion coefficient H_13 of the image 301 and the image 303 which are reference images is calculated. Calculation is performed by aligning the image 303 with the position of the image 302 using the alignment conversion coefficient H_23 and then aligning the image 303 with the reference image using the alignment conversion coefficient H_12. Specifically, it can be expressed by the following formula 1.
H — 13 = H — 12 · H — 23 (Expression 1)
前述したとおり、本実施形態では位置合わせ変換係数として射影変換係数を用いているため、Ｈ＿２３とＨ＿１２は共に３×３の行列であり、行列の積として記述できる。
次に、Ｓ２１０において、算出された位置合わせ変換係数Ｈ＿１３を用いて、位置合わせ部１１４で画像３０３を幾何変換し、基準画像である画像３０１に位置を合わせる。
As described above, since the projective transformation coefficient is used as the alignment transformation coefficient in this embodiment, both H_23 and H_12 are 3 × 3 matrices and can be described as matrix products.
Next, in S210, using the calculated alignment conversion coefficient H_13, the
次に、Ｓ２１１において、再度、全画像の位置合わせ変換係数が算出できているか判定する。本実施形態では画像３０４の位置合わせ変換係数がまだ算出されていないため、Ｓ２１１でＮｏの処理順に従い、Ｓ２１２に進んで画像番号を１つ増やしてｂ＝４とする。
その後、Ｓ２０３に戻り、画像３０４を選択し、その後、Ｓ２０５に進む。
Ｓ２０５においては、画像３０３の場合と同様に位置合わせ変換係数Ｈ＿１４と信頼度Ｒ＿１４を算出し、Ｓ２０６において、Ｈ＿１４の信頼度Ｒ＿１４が閾値以下であるか判定する。本実施形態においては、信頼度Ｒ＿１４が閾値以下であるとする（Ｓ２０６でＹｅｓ）。
Next, in S211, it is determined again whether the alignment conversion coefficients for all the images have been calculated. In this embodiment, since the alignment conversion coefficient of the image 304 has not yet been calculated, the process proceeds to S212 in accordance with the processing order of No in S211, and the image number is incremented by 1 to b = 4.
Thereafter, the process returns to S203, the image 304 is selected, and then the process proceeds to S205.
In S205, the alignment conversion coefficient H_14 and the reliability R_14 are calculated in the same manner as in the case of the image 303, and in S206, it is determined whether the reliability R_14 of H_14 is equal to or less than the threshold value. In the present embodiment, it is assumed that the reliability R_14 is equal to or less than the threshold (Yes in S206).
まず、Ｓ２０７において、基準画像である画像３０１と位置合わせ変換係数を算出済みである画像３０３を画像ｃ(画像番号ｃ＝３)として選択する。
次に、Ｓ２０８において、画像３０３と画像３０４の位置合わせ変換係数Ｈ＿３４とその信頼度Ｒ＿３４を算出する。算出方法は、Ｓ２０５で説明した内容と同じ手法を用いればよいためここでは記載しない。
First, in S207, the image 301 that is the reference image and the image 303 for which the alignment conversion coefficient has been calculated are selected as the image c (image number c = 3).
Next, in S208, the alignment conversion coefficient H_34 of the image 303 and the image 304 and its reliability R_34 are calculated. The calculation method is not described here because the same method as described in S205 may be used.
次に、Ｓ２０９において、算出された位置合わせ変換係数Ｈ＿３４とＨ＿２３とＨ＿１２を用いて、基準画像である画像３０１と画像３０３の位置合わせ変換係数Ｈ＿１３を算出する。最初に位置合わせ変換係数Ｈ＿３４を用いて画像３０４を画像３０３の位置に位置合わせした後に、位置合わせ変換係数Ｈ＿２３を用いて画像３０２の位置に位置合わせする。 Next, in S209, using the calculated alignment conversion coefficients H_34, H_23, and H_12, the alignment conversion coefficient H_13 of the image 301 and the image 303 that are reference images is calculated. First, after aligning the image 304 with the position of the image 303 using the alignment conversion coefficient H_34, the image 304 is aligned with the position of the image 302 using the alignment conversion coefficient H_23.
最後に、位置合わせ変換係数Ｈ＿１２を用いて基準画像である画像３０１に位置合わせすることで算出される。具体的には下記の式２で表現できる。
Ｈ＿１４＝Ｈ＿１２・Ｈ＿２３・Ｈ＿３４ ・・・（式２）
Finally, it is calculated by aligning the image 301 that is the reference image using the alignment conversion coefficient H_12. Specifically, it can be expressed by the following formula 2.
H — 14 = H — 12 · H — 23 · H — 34 (Expression 2)
前述したとおり、本実施形態では位置合わせ変換係数として射影変換係数を用いているため、Ｈ＿３４とＨ＿２３とＨ＿１２は共に３×３の行列であり、行列の積として記述できる。
次に、Ｓ２１０において、算出された位置合わせ変換係数Ｈ＿１４を用いて、位置合わせ部１１４で画像３０４を幾何変換し、基準画像である画像３０１に位置を合わせる。
次に、Ｓ２１１において、全画像の位置合わせ変換係数が算出できているか判定する。今度は画像３０２、画像３０３、画像３０４の位置合わせ変換係数が算出されたため、処理を終了する。
As described above, since the projective transformation coefficient is used as the alignment transformation coefficient in this embodiment, H_34, H_23, and H_12 are all 3 × 3 matrices and can be described as matrix products.
Next, in S210, using the calculated alignment conversion coefficient H_14, the
Next, in S211, it is determined whether or not the alignment conversion coefficients for all images have been calculated. Since the alignment conversion coefficients for the image 302, the image 303, and the image 304 have been calculated this time, the processing is terminated.
前述のように位置合わせ変換係数を算出することで、基準画像に対して直接対応する位置合わせ変換係数が算出できなかった場合においても、基準画像とは異なる画像との位置合わせ変換係数を算出するようにした。これにより、基準画像に対する位置合わせ変換係数を算出することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
By calculating the alignment conversion coefficient as described above, even when the alignment conversion coefficient directly corresponding to the reference image cannot be calculated, the alignment conversion coefficient with an image different from the reference image is calculated. I did it. Thereby, the alignment conversion coefficient with respect to the reference image can be calculated.
As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
［第２の実施形態］
以下、図４と図５を参照して、本発明の第２の実施形態による位置合わせ変換係数算出処理について説明する。構成は第１の実施形態と同様なので説明を省略する。処理についても第１の実施形態と同様の処理は説明を省略する。
[Second Embodiment]
Hereinafter, the alignment conversion coefficient calculation process according to the second embodiment of the present invention will be described with reference to FIGS. Since the configuration is the same as that of the first embodiment, the description thereof is omitted. Regarding the processing, the description of the same processing as in the first embodiment is omitted.
図４は、本発明の第２の実施形態に関わる画像処理装置の処理手順の一例を示すフローチャートである。この処理は、制御部１０８が備えている不揮発性メモリに記録されたプログラムを、ワークメモリとして機能するメモリに展開して、同じく制御部１０８が備えているＣＰＵが実行することで実現する。Ｓ２０１、Ｓ２０２、Ｓ２０３、Ｓ２０４、Ｓ２０５までは第１の実施形態のフローチャートである図２と同じ処理なので説明を省略する。
FIG. 4 is a flowchart illustrating an example of a processing procedure of the image processing apparatus according to the second embodiment of the present invention. This process is realized by developing a program recorded in a nonvolatile memory included in the
第１の実施形態では信頼度が閾値以下の場合に（Ｓ２０６でＹｅｓ）、位置合わせ変換係数を算出し直していた（Ｓ２０７、Ｓ２０８、Ｓ２０９）。
本実施形態では、位置合わせ変換係数の信頼度に関わらず、基準画像との位置合わせ変換係数算出済みの画像（画像番号ｃ）を選択し、その画像との位置合わせ変換係数と信頼度を算出する。
In the first embodiment, when the reliability is equal to or lower than the threshold value (Yes in S206), the alignment conversion coefficient is recalculated (S207, S208, S209).
In this embodiment, regardless of the reliability of the alignment conversion coefficient, an image (image number c) for which the alignment conversion coefficient has been calculated with respect to the reference image is selected, and the alignment conversion coefficient and reliability with the image are calculated. To do.
なお、本実施形態では位置合わせ変換係数を算出済みである画像３０２を選択したが、画像間の手振れ量がより少なくなる可能性の高い撮影時刻の近い画像を選択してもよい。また、信頼度の高い動きベクトルが算出される可能性の高い高周波成分を多く含む画像を選択してもよい。 In the present embodiment, the image 302 for which the alignment conversion coefficient has been calculated is selected. However, an image with a close shooting time that is likely to reduce the amount of camera shake between images may be selected. In addition, an image including many high-frequency components that are highly likely to be calculated as a highly reliable motion vector may be selected.
画像３０４を例にしてこの処理を説明する。ここで、位置合わせの基準画像として画像３０１を設定し、画像３０２、画像３０３は基準画像に対する位置合わせ変換係数が既に算出済みであるとする。
Ｓ２０５において、基準画像である画像３０１と画像３０４の間の位置合わせ変換係数Ｈ＿１４と信頼度Ｒ＿１４を算出する。
This process will be described using the image 304 as an example. Here, it is assumed that an image 301 is set as a reference image for alignment, and the alignment conversion coefficients for the images 302 and 303 have already been calculated.
In S205, a registration conversion coefficient H_14 and reliability R_14 between the image 301 and the image 304, which are reference images, are calculated.
次に、Ｓ２０７において、基準画像である画像３０１との位置合わせ変換係数算出済みである画像３０２を画像ｃ(画像番号ｃ＝２)として選択し、Ｓ２０８において、画像３０４の位置合わせ変換係数Ｈ＿２４とその信頼度Ｒ＿２４を算出する。 Next, in S207, the image 302 that has already been subjected to the calculation of the alignment conversion coefficient with the image 301 that is the reference image is selected as an image c (image number c = 2). In S208, the alignment conversion coefficient H_24 of the image 304 is selected. The reliability R_24 is calculated.
Ｓ２０９において、算出された位置合わせ変換係数Ｈ＿２４とＨ＿１２を用いて、基準画像である画像３０１と画像３０４の位置合わせ変換係数Ｈ＿１４＿１２４を算出する。位置合わせ変換係数Ｈ＿２４を用いて画像３０４を画像３０２の位置に位置合わせした後に、さらに位置合わせ変換係数Ｈ＿１２を用いて基準画像である画像３０１に位置合わせすることで算出される。具体的には、下記の式３で表現できる。
Ｈ＿１４＿１２４＝Ｈ＿１２・Ｈ＿２４ ・・・（式３）
In S209, using the calculated alignment conversion coefficients H_24 and H_12, an alignment conversion coefficient H_14_124 of the image 301 and the image 304, which are reference images, is calculated. Calculation is performed by aligning the image 304 with the position of the image 302 using the alignment conversion coefficient H_24 and then aligning the image 304 with the reference image 301 using the alignment conversion coefficient H_12. Specifically, it can be expressed by the following Equation 3.
H — 14 — 124 = H — 12 · H — 24 (Expression 3)
次に、Ｓ４０１で、変換係数算出の条件を満たしているか判定する。本実施形態では、基準画像との位置合わせ変換係数を算出済みの全画像に対し、位置合わせ変換係数と信頼度を算出することをその条件とする。画像３０４の場合は、画像３０１、画像３０２との位置合わせ変換係数とその信頼度は算出済みであるが、画像３０３との位置合わせ変換係数とその信頼度算出されていないため条件を満たしておらず、Ｓ２０７の処理に戻る。なお、判定条件は前述に限定されることなく、位置合わせ変換係数が所定数以上算出された場合に条件を満たすと判定するとしてもよい。 Next, in S401, it is determined whether the conversion coefficient calculation condition is satisfied. In this embodiment, the condition is that the alignment conversion coefficient and the reliability are calculated for all the images for which the alignment conversion coefficient with the reference image has been calculated. In the case of the image 304, the alignment conversion coefficient for the image 301 and the image 302 and the reliability thereof have been calculated, but the alignment conversion coefficient for the image 303 and the reliability thereof have not been calculated. Instead, the process returns to S207. Note that the determination condition is not limited to the above, and it may be determined that the condition is satisfied when a predetermined number or more of alignment conversion coefficients are calculated.
Ｓ２０７において、基準画像である画像３０１との位置合わせ変換係数算出済みである画像３０３を画像ｃ(画像番号ｃ＝３)として選択し、Ｓ２０８において、画像３０４の位置合わせ変換係数Ｈ＿３４とその信頼度Ｒ＿３４を算出する。
算出された位置合わせ変換係数Ｈ＿３４とＨ＿２３とＨ＿１２を用いて、基準画像である画像３０１と画像３０４の位置合わせ変換係数Ｈ＿１４＿１２３４を算出する（Ｓ２０９）。
In S207, an image 303 for which the alignment conversion coefficient has been calculated with respect to the image 301 that is the reference image is selected as an image c (image number c = 3). In S208, the alignment conversion coefficient H_34 of the image 304 and its reliability are selected. R_34 is calculated.
Using the calculated alignment conversion coefficients H_34, H_23, and H_12, an alignment conversion coefficient H_14_1234 of the image 301 and the image 304, which are reference images, is calculated (S209).
位置合わせ変換係数Ｈ＿３４を用いて画像３０４を画像３０３の位置に位置合わせした後に、さらに位置合わせ変換係数Ｈ＿２３を用いて画像３０２の位置に位置合わせする。最後に、位置合わせ変換係数Ｈ＿１２を用いて基準画像である画像３０１に位置合わせすることで算出される。具体的には下記の式４で表現できる。
Ｈ＿１４＿１２３４＝Ｈ＿１２・Ｈ＿２３・Ｈ＿３４ ・・・（式４）
After the image 304 is aligned with the position of the image 303 using the alignment conversion coefficient H_34, the image 304 is further aligned with the position of the image 302 using the alignment conversion coefficient H_23. Finally, it is calculated by aligning the image 301 that is the reference image using the alignment conversion coefficient H_12. Specifically, it can be expressed by the following Equation 4.
H — 14 — 1234 = H — 12 · H — 23 · H — 34 (Expression 4)
基準画像との位置合わせ変換係数を算出済みの全画像に対して、位置合わせ変換係数と信頼度を算出した（Ｓ４０１でＹｅｓ）。
次に、Ｓ４０２において、算出された３つの位置合わせ変換係数Ｈ＿１４＿１４、Ｈ＿１４＿１２４、Ｈ＿１４＿１２３４の中から1つを選択し、最終的に位置合わせに用いる変換係数を選択する。
The alignment conversion coefficient and the reliability are calculated for all the images for which the alignment conversion coefficient with the reference image has been calculated (Yes in S401).
Next, in S402, one of the calculated three alignment conversion coefficients H_14_14, H_14_124, and H_14_1234 is selected, and finally a conversion coefficient used for alignment is selected.
選択方法は、位置合わせ変換係数Ｈ＿１４＿１４、Ｈ＿１４＿１２４、Ｈ＿１４＿１２３４に対応する信頼度を以下の式で定め、信頼度が一番高い位置合わせ変換係数を優先的に選択する。
Ｒ＿１４＿１４＝Ｒ＿１４ ・・・（式５）
Ｒ＿１４＿１２４＝Ｒ＿１２・Ｒ＿２４ ・・・（式６）
Ｒ＿１４＿１２３４＝Ｒ＿１２・Ｒ＿２３・Ｒ＿３４ ・・・（式７）
In the selection method, the reliability corresponding to the alignment conversion coefficients H_14_14, H_14_124, and H_14_1234 is determined by the following formula, and the alignment conversion coefficient having the highest reliability is preferentially selected.
R — 14 — 14 = R — 14 (Formula 5)
R — 14 — 124 = R — 12 · R — 24 (Expression 6)
R — 14 — 1234 = R — 12 · R — 23 • R — 34 (Expression 7)
ここで、位置合わせ変換係数Ｈ＿１４、Ｈ＿１２、Ｈ＿２４、Ｈ＿２３、Ｈ＿３４は画像３０１と画像３０４、画像３０１と画像３０２、画像３０２と画像３０４、画像３０３と画像３０４の間の位置合わせ変換係数とする。Ｒ＿１４、Ｒ＿１２、Ｒ＿２４、Ｒ＿２３、Ｒ＿３４は、前述した位置合わせ変換係数に対応する信頼度とする。 Here, the alignment conversion coefficients H_14, H_12, H_24, H_23, and H_34 are alignment conversion coefficients between the image 301 and the image 304, the image 301 and the image 302, the image 302 and the image 304, and the image 303 and the image 304. R_14, R_12, R_24, R_23, and R_34 are the reliability corresponding to the alignment conversion coefficient described above.
選択方法は前述した方法に限定されることなく、位置合わせ変換係数を何回も掛け合わせると誤差が蓄積することを考慮し、信頼度が閾値以上かつ位置合わせ変換係数の掛け合わせ回数が最も少ない位置合わせ変換係数を選択してもよい。つまり、閾値＜Ｒ＿１４＿１２４＜Ｒ＿１４＿１２３４の場合に、位置合わせ変換係数の掛け合わせ回数がより少ない位置合わせ変換係数Ｈ＿１４＿１２４を最終的な位置合わせ変換係数として選択してもよい。 The selection method is not limited to the above-described method, and considering that the error is accumulated when the alignment conversion coefficient is multiplied many times, the reliability is equal to or higher than the threshold and the number of multiplications of the alignment conversion coefficient is the smallest. An alignment conversion factor may be selected. That is, when the threshold value <R_14_124 <R_14_1234, the alignment conversion coefficient H_14_124 with a smaller number of multiplications of the alignment conversion coefficient may be selected as the final alignment conversion coefficient.
次に、Ｓ２１０において、選択された位置合わせ変換係数を用いて、位置合わせ部１１４で画像３０３を幾何変換し、基準画像である画像３０１に位置合わせする。
Ｓ２１１において、画像３０２、画像３０３、画像３０４の位置合わせ変換係数が算出されたか否かを判断し、算出されたため、処理を終了する。
Next, in S210, the
In S211, it is determined whether or not the alignment conversion coefficients of the image 302, the image 303, and the image 304 have been calculated.
前述のように、位置合わせ変換係数を複数算出することで基準画像に対してより精度の高い位置合わせ変換係数を選択することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
As described above, by calculating a plurality of alignment conversion coefficients, it is possible to select an alignment conversion coefficient with higher accuracy with respect to the reference image.
As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other examples)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
１００ 画像処理装置
１０２ 撮像レンズ
１０４ 撮像素子
１０６ Ａ／Ｄ変換器
１０８ 制御部
１１０ 動きベクトル算出部
１１２ 位置合わせ変換係数算出部
１１４ 位置合わせ部
１１６ 画像処理部
DESCRIPTION OF
Claims (10)
前記動きベクトルを用いて、画像間の位置合わせ変換係数とその信頼度を算出する位置合わせ変換係数算出手段と、
前記位置合わせ変換係数を用いて、第２の画像を第1の画像に位置を合わせる位置合わせ手段とを有し、
前記位置合わせ変換係数算出手段は、
前記信頼度が閾値以下の場合には、前記第１の画像と第２の画像とは異なる、第３の画像と第２の画像の位置合わせ変換係数を算出し、
前記第１の画像と第３の画像の位置合わせ変換係数と、前記第２の画像と第３の画像の位置合わせ変換係数を用いて、前記第１の画像と第２の画像の位置合わせ変換係数を算出する
ことを特徴とする画像処理装置。 Motion vector calculating means for calculating a motion vector of feature points between images;
Using the motion vector, an alignment conversion coefficient between images and an alignment conversion coefficient calculating means for calculating the reliability thereof;
Alignment means for aligning the second image with the first image using the alignment transformation coefficient;
The alignment conversion coefficient calculation means includes:
When the reliability is less than or equal to a threshold, the first image and the second image are different from each other, and a third image and a second image alignment conversion coefficient are calculated,
Alignment conversion of the first image and the second image using the alignment conversion coefficient of the first image and the third image and the alignment conversion coefficient of the second image and the third image An image processing apparatus that calculates a coefficient.
ことを特徴とする請求項１に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the reliability is increased when a difference between a movement amount coordinate-converted by the motion vector and the alignment conversion coefficient is small.
ことを特徴とする請求項１に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the reliability is set to be equal to or less than the threshold value when an alignment conversion coefficient between the first image and the second image cannot be calculated.
前記第１の画像との位置合わせ変換係数に対応する前記信頼度が高い画像を優先的に選択する
ことを特徴とする請求項１に記載の画像処理装置。 The third image is
The image processing apparatus according to claim 1, wherein the image with high reliability corresponding to the alignment conversion coefficient with the first image is preferentially selected.
前記第２の画像と撮影時刻の差が小さい画像を優先的に選択する
ことを特徴とする請求項１に記載の画像処理装置。 The third image is
The image processing apparatus according to claim 1, wherein an image with a small difference between the second image and the photographing time is preferentially selected.
高周波成分を多く含む画像を優先的に選択する
ことを特徴とする請求項１に記載の画像処理装置。 The third image is
The image processing apparatus according to claim 1, wherein an image including a large amount of high-frequency components is preferentially selected.
信頼度の高い位置合わせ変換係数を選択する
ことを特徴とする請求項１に記載の画像処理装置。 When a plurality of alignment conversion coefficients for the second image and the first image are calculated,
The image processing apparatus according to claim 1, wherein an alignment conversion coefficient having high reliability is selected.
前記第２の画像と第１の画像の位置合わせ変換係数を算出する際に用いた位置合わせ変換係数が少ない位置合わせ変換係数を優先的に選択する
ことを特徴とする請求項１に記載の画像処理装置。 When a plurality of alignment conversion coefficients for the second image and the first image are calculated,
2. The image according to claim 1, wherein an alignment conversion coefficient having a small alignment conversion coefficient used when calculating the alignment conversion coefficient of the second image and the first image is preferentially selected. Processing equipment.
前記動きベクトルを用いて、画像間の位置合わせ変換係数とその信頼度を算出する位置合わせ変換係数算出工程と、
前記位置合わせ変換係数を用いて、第２の画像を第1の画像に位置を合わせる位置合わせ工程とを有し、
前記位置合わせ変換係数算出工程は、
前記信頼度が閾値以下の場合には、前記第１の画像と第２の画像とは異なる、第３の画像と第２の画像の位置合わせ変換係数を算出し、
前記第１の画像と第３の画像の位置合わせ変換係数と、前記第２の画像と第３の画像の位置合わせ変換係数を用いて、前記第１の画像と第２の画像の位置合わせ変換係数を算出する
ことを特徴とする画像処理装置の制御方法。 A motion vector calculation step for calculating a motion vector of feature points between images;
Using the motion vector, an alignment conversion coefficient between images and an alignment conversion coefficient calculating step for calculating the reliability thereof;
Aligning the second image with the first image using the alignment transform coefficient, and
The alignment conversion coefficient calculation step includes
When the reliability is less than or equal to a threshold, the first image and the second image are different from each other, and a third image and a second image alignment conversion coefficient are calculated,
Alignment conversion of the first image and the second image using the alignment conversion coefficient of the first image and the third image and the alignment conversion coefficient of the second image and the third image A control method for an image processing apparatus, characterized by calculating a coefficient.
前記動きベクトルを用いて、画像間の位置合わせ変換係数とその信頼度を算出する位置合わせ変換係数算出工程と、
前記位置合わせ変換係数を用いて、第２の画像を第1の画像に位置を合わせる位置合わせ工程とを有し、
前記位置合わせ変換係数算出工程は、
前記信頼度が閾値以下の場合には、前記第１の画像と第２の画像とは異なる、第３の画像と第２の画像の位置合わせ変換係数を算出し、
前記第１の画像と第３の画像の位置合わせ変換係数と、前記第２の画像と第３の画像の位置合わせ変換係数を用いて、前記第１の画像と第２の画像の位置合わせ変換係数を算出する画像処理装置の制御方法をコンピュータに実行させる
ことを特徴とするプログラム。 A motion vector calculation step for calculating a motion vector of feature points between images;
Using the motion vector, an alignment conversion coefficient between images and an alignment conversion coefficient calculating step for calculating the reliability thereof;
Aligning the second image with the first image using the alignment transform coefficient, and
The alignment conversion coefficient calculation step includes
When the reliability is less than or equal to a threshold, the first image and the second image are different from each other, and a third image and a second image alignment conversion coefficient are calculated,
Alignment conversion of the first image and the second image using the alignment conversion coefficient of the first image and the third image and the alignment conversion coefficient of the second image and the third image A program causing a computer to execute a control method of an image processing apparatus for calculating a coefficient.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014206415A JP2016076838A (en) | 2014-10-07 | 2014-10-07 | Image processing apparatus and control method of image processing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014206415A JP2016076838A (en) | 2014-10-07 | 2014-10-07 | Image processing apparatus and control method of image processing apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016076838A true JP2016076838A (en) | 2016-05-12 |
Family
ID=55951776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014206415A Pending JP2016076838A (en) | 2014-10-07 | 2014-10-07 | Image processing apparatus and control method of image processing apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016076838A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017220885A (en) * | 2016-06-10 | 2017-12-14 | キヤノン株式会社 | Image processing system, control method, and control program |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000341582A (en) * | 1999-05-31 | 2000-12-08 | Sony Corp | Image pickup device and its method |
| JP2007048290A (en) * | 2005-08-05 | 2007-02-22 | Seiko Epson Corp | Method for generating a composite image from a set of images |
| JP2007272459A (en) * | 2006-03-30 | 2007-10-18 | Canon Inc | Image processor and processing method, and imaging device |
| JP2011135463A (en) * | 2009-12-25 | 2011-07-07 | Canon Inc | Image capturing apparatus and method of controlling the same |
-
2014
- 2014-10-07 JP JP2014206415A patent/JP2016076838A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000341582A (en) * | 1999-05-31 | 2000-12-08 | Sony Corp | Image pickup device and its method |
| JP2007048290A (en) * | 2005-08-05 | 2007-02-22 | Seiko Epson Corp | Method for generating a composite image from a set of images |
| JP2007272459A (en) * | 2006-03-30 | 2007-10-18 | Canon Inc | Image processor and processing method, and imaging device |
| JP2011135463A (en) * | 2009-12-25 | 2011-07-07 | Canon Inc | Image capturing apparatus and method of controlling the same |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017220885A (en) * | 2016-06-10 | 2017-12-14 | キヤノン株式会社 | Image processing system, control method, and control program |
| US10885690B2 (en) | 2016-06-10 | 2021-01-05 | Canon Kabushiki Kaisha | Image processing apparatus that performs an alignment process on a plurality of images, a related control method, and a related storage medium that stores a control program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2640057A1 (en) | Image processing device, image processing method and program | |
| JP4554316B2 (en) | Stereo image processing device | |
| JP6518115B2 (en) | IMAGE PROCESSING APPARATUS, IMAGING APPARATUS, CONTROL METHOD OF IMAGE PROCESSING APPARATUS, AND PROGRAM | |
| JP2015148532A (en) | Distance measuring device, imaging apparatus, distance measuring method, and program | |
| JP4941565B2 (en) | Corresponding point search apparatus and corresponding point searching method | |
| WO2016103621A1 (en) | Three-dimensional information restoration device, three-dimensional information restoration system, and three-dimensional information restoration method | |
| JP2020067748A (en) | Image processing apparatus, image processing method, and program | |
| JP2008217526A (en) | Image processor, image processing program, and image processing method | |
| JP2016218815A (en) | Calibration device and method for line sensor camera | |
| JP5968379B2 (en) | Image processing apparatus and control method thereof | |
| JP2017090420A (en) | Three-dimensional information restoration device and three-dimensional information restoration method | |
| JP2015036841A (en) | Image processing apparatus, distance measuring apparatus, imaging apparatus, and image processing method | |
| TWI635256B (en) | Phase detection auto-focus-based positioning method and system thereof | |
| JP6494402B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| KR101938067B1 (en) | Method and Apparatus for Stereo Matching of Wide-Angle Images using SIFT Flow | |
| JP6532328B2 (en) | Image processing apparatus, control method therefor, and control program | |
| JP6579816B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2016076838A (en) | Image processing apparatus and control method of image processing apparatus | |
| JP6153318B2 (en) | Image processing apparatus, image processing method, image processing program, and storage medium | |
| JP6080424B2 (en) | Corresponding point search device, program thereof, and camera parameter estimation device | |
| US20180150966A1 (en) | System and method for estimating object size | |
| JP2011171991A (en) | Image processing apparatus, electronic device, image processing method and image processing program | |
| JP6452414B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP5887974B2 (en) | Similar image region search device, similar image region search method, and similar image region search program | |
| JP6381212B2 (en) | Imaging apparatus and control method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170929 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180613 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180703 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190108 |