JP2016119572A5 - - Google Patents

Download PDF

Info

Publication number
JP2016119572A5
JP2016119572A5 JP2014258182A JP2014258182A JP2016119572A5 JP 2016119572 A5 JP2016119572 A5 JP 2016119572A5 JP 2014258182 A JP2014258182 A JP 2014258182A JP 2014258182 A JP2014258182 A JP 2014258182A JP 2016119572 A5 JP2016119572 A5 JP 2016119572A5
Authority
JP
Japan
Prior art keywords
image
unit
feature point
images
virtual feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014258182A
Other languages
Japanese (ja)
Other versions
JP6451300B2 (en
JP2016119572A (en
Filing date
Publication date
Application filed filed Critical
Priority to JP2014258182A priority Critical patent/JP6451300B2/en
Priority claimed from JP2014258182A external-priority patent/JP6451300B2/en
Publication of JP2016119572A publication Critical patent/JP2016119572A/en
Publication of JP2016119572A5 publication Critical patent/JP2016119572A5/ja
Application granted granted Critical
Publication of JP6451300B2 publication Critical patent/JP6451300B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

しかしながら、エピポーラ転送方式の手ぶれ補正は、手ぶれ補正対象となる各フレームの画像について、例えば過去10フレームの画像との間でのオプティカルフローの計算、及び1フレーム当たり数千本から数万本に及ぶエピポーラ線の投影等、多くの座標計算を必要とする。このため、演算負荷が非常に大きかった。 However, image stabilization epipolar transfer method, the image of each frame as a camera shake correction of the target, for example, calculation of the optical flow between the previous 10 frames of images, and tens of thousands of thousands lines per frame Many coordinate calculations are required, such as projection of epipolar lines. For this reason, the calculation load was very large.

記目的を達成するため、本発明に係る画像撮像装置の一態様は、
動画を構成する複数の画像の中から1つを指定する指定部と、
前記複数の画像のうちの前記指定部によって指定された画像以外の所定数の画像の中から、基礎行列の取得対象となる画像を選別する選別部と
記複数の画像の中から前記指定部が指定する画像を変えて、前記指定部及び前記選別部の処理を含んで繰り返す所定の処理により、仮想特徴点軌道を構築する仮想特徴点軌道構築部と、
前記仮想特徴点軌道構築部によって構築された前記仮想特徴点軌道を時間方向に平滑化する平滑化部と、
前記仮想特徴点軌道構築部によって構築された前記仮想特徴点軌道と、前記平滑化部によって平滑化された前記仮想特徴点軌道と、の間の関係に基づいて、前記複数の画像のそれぞれを補正する補正部と、
を備える
ことを特徴とする。
また、前記目的を達成するため、本発明に係る撮像装置の一態様は、
前記画像処理装置と、
被写体を撮像することにより、前記動画を構成する画像を生成する撮像部と、
を備える、
ことを特徴とする。
また、前記目的を達成するため、本発明に係る画像処理方法の一態様は、
動画を構成する複数の画像の中から1つを指定する指定処理と、
前記複数の画像のうちの前記指定処理によって指定された画像以外の所定数の画像の中から、基礎行列の取得対象となる画像を選別する選別処理と、
前記複数の画像の中から前記指定処理によって指定する画像を変えて、前記指定処理及び前記選別処理を含んで繰り返す所定の処理により、仮想特徴点軌道を構築する仮想特徴点軌道構築処理と、
前記仮想特徴点軌道構築処理によって構築された前記仮想特徴点軌道を時間方向に平滑化する平滑化処理と、
前記仮想特徴点軌道構築処理によって構築された前記仮想特徴点軌道と、前記平滑化処理によって平滑化された前記仮想特徴点軌道と、の間の関係に基づいて、前記複数の画像のそれぞれを補正する補正処理と、
を含む、
ことを特徴とする。
また、前記目的を達成するため、本発明に係るプログラムの一態様は、
コンピュータを、
動画を構成する複数の画像の中から1つを指定する指定部、
前記複数の画像のうちの前記指定部によって指定された画像以外の所定数の画像の中から、基礎行列の取得対象となる画像を選別する選別部、
前記複数の画像の中から前記指定部が指定する画像を変えて、前記指定部及び前記選別部の処理を含んで繰り返す所定の処理により、仮想特徴点軌道を構築する仮想特徴点軌道構築部、
前記仮想特徴点軌道構築部によって構築された前記仮想特徴点軌道を時間方向に平滑化する平滑化部、
前記仮想特徴点軌道構築部によって構築された前記仮想特徴点軌道と、前記平滑化部によって平滑化された前記仮想特徴点軌道と、の間の関係に基づいて、前記複数の画像のそれぞれを補正する補正部、
として機能させる、
ことを特徴とする。
To achieve the pre-Symbol purpose, one aspect of the imaging apparatus according to the present invention,
A designating unit for designating one of a plurality of images constituting the video,
A selection unit that selects an image from which a basic matrix is to be acquired from a predetermined number of images other than the image specified by the specification unit among the plurality of images ;
Changing the image in which the specified portion is designated from among the previous SL plurality of images, by the specifying unit and the sorting unit of processing predetermined process repeats include, virtual feature point trajectory constructing unit for constructing a virtual feature point trajectory When,
A smoothing unit for smoothing the virtual feature point trajectory built in the time direction by the virtual feature point trajectory construction unit,
Wherein said virtual feature point trajectory constructed by the virtual feature point trajectory construction unit, it said smoothed by the smoothing unit and the virtual feature point trajectory, based on the relationship between, correcting each of the plurality of images A correction unit to perform,
Equipped with a,
It is characterized by that.
In order to achieve the above object, one aspect of the imaging apparatus according to the present invention is:
The image processing device;
An imaging unit that generates an image constituting the moving image by imaging a subject;
Comprising
It is characterized by that.
In order to achieve the above object, one aspect of an image processing method according to the present invention includes:
A designation process for designating one of a plurality of images constituting a movie;
A selection process for selecting an image from which a basic matrix is to be acquired from a predetermined number of images other than the image specified by the specification process among the plurality of images;
A virtual feature point trajectory construction process for constructing a virtual feature point trajectory by changing the image designated by the designation process from the plurality of images, and repeating a predetermined process including the designation process and the selection process;
A smoothing process for smoothing the virtual feature point trajectory constructed by the virtual feature point trajectory construction process in the time direction;
Each of the plurality of images is corrected based on the relationship between the virtual feature point trajectory constructed by the virtual feature point trajectory construction process and the virtual feature point trajectory smoothed by the smoothing process. Correction processing to
including,
It is characterized by that.
In order to achieve the above object, one aspect of the program according to the present invention is as follows:
Computer
A designating part for designating one of a plurality of images constituting the video,
A selecting unit that selects an image from which a basic matrix is to be acquired from a predetermined number of images other than the image specified by the specifying unit among the plurality of images;
A virtual feature point trajectory constructing unit that constructs a virtual feature point trajectory by changing the image designated by the designation unit from among the plurality of images and repeating a predetermined process including the processing of the designation unit and the selection unit;
A smoothing unit that smoothes the virtual feature point trajectory constructed by the virtual feature point trajectory construction unit in a time direction;
Each of the plurality of images is corrected based on the relationship between the virtual feature point trajectory constructed by the virtual feature point trajectory construction unit and the virtual feature point trajectory smoothed by the smoothing unit. Corrector,
Function as
It is characterized by that.

図4に示すように、少なくとも2本のエピポーラ線があればその交点として仮想特徴点vを取得できるものの、実際にはノイズやトラッキングエラー、モデリングエラー等の影響により交点の信頼性は損なわれている。そこで、仮想特徴点生成部104は、最大10本のエピポーラ線のうち組み合わせ可能な異なる2本のエピポーラ線の交点(最大で10=45個の交点)を求め、求めた交点の座標の平均を求めることにより、より正確な仮想特徴点vを取得する。 As shown in FIG. 4, but can obtain a virtual feature point v i as the intersection if at least two epipolar lines, actually noise and tracking error, the intersection of the reliability due to the influence of such modeling error impaired ing. Therefore, the virtual feature point generation unit 104 obtains intersections of two different epipolar lines that can be combined among a maximum of ten epipolar lines (up to 10 C 2 = 45 intersections), and calculates the coordinates of the obtained intersection points. By obtaining the average, a more accurate virtual feature point v i is obtained.

本実施形態では、100の仮想特徴点軌道vにより、手ぶれ補正前の撮像装置1の動きを定義する(手ぶれ補正前の各フレームの画像を定義する)。そこで、ステップS501dにおいて、仮想特徴点生成部104は、100個の仮想特徴点軌道vに対してステップS501b〜S501cの処理を施したか否か判別する(ステップS501d)。100個の仮想特徴点軌道vに処理を施していないと判別すると(ステップS501d;NO)、処理はステップS501aへ戻り、仮想特徴点生成部104は、別の仮想特徴点軌道vを選択してステップS501b〜S501cの処理を実行する。 In the present embodiment, the 100 virtual feature point trajectory v, (defining an image of each frame before camera shake compensation) that defines the motion of the imaging apparatus 1 of the previous image stabilization. Therefore, in step S501d, the virtual feature point generation unit 104 determines whether or not the processing of steps S501b to S501c has been performed on 100 virtual feature point trajectories v (step S501d). If it is determined that the process has not been performed on 100 virtual feature point trajectories v (step S501d; NO), the process returns to step S501a, and the virtual feature point generation unit 104 selects another virtual feature point trajectory v. Steps S501b to S501c are executed.

図14のフローチャートに戻って、ステップS501の仮想特徴点軌道準備処理を終了した後、仮想特徴点生成部104は、仮想特徴点軌道準備処理を施された100の仮想特徴点軌道vのうち何れか1つを選択する(ステップS502)。 Returning to the flowchart of FIG. 14, after completion of the virtual feature point trajectory preparation process of step S501, the virtual feature point generation unit 104 of the 100 virtual feature point trajectory v subjected to virtual feature point trajectory preparation process Either one is selected (step S502).

最終的に、インクリメント後の値Hが値tに一致すると判別した場合(ステップS507;YES)、仮想特徴点生成部104は、取得された複数のエピポーラ線から任意の1組を選択し(ステップS508)。そして、これら1組のエピポーラ線が互いに成す角が1.5°以上であるか否かを判別する(ステップS509)。 Finally, when it is determined that the incremented value H matches the value t (step S507; YES), the virtual feature point generation unit 104 selects an arbitrary set from the plurality of acquired epipolar lines (step S507). S508). Then, angles that these set of epipolar lines form each other, it is determined whether or not 1.5 ° or more (step S509).

1組のエピポーラ線が平行に近いほど、これらのエピポーラ線が与える交点の信頼は低い。そこで、仮想特徴点生成部104は、一定以上に大きな角を成すエピポーラ線の組が与える交点の座標のみを取得することにより、信頼性の低い交点を排除する。 The closer a set of epipolar lines are to parallel, the lower the reliability of the intersection given by these epipolar lines. Therefore, the virtual feature point generation unit 104, by obtaining only the coordinates of an intersection of a set of epipolar lines form a large angular degree constant or give, to eliminate unreliable intersection.

具体的には、成す角が1.5°未満であると判別すると(ステップS509;NO)、処理はステップS511へ移る。一方、成す角が1.5°以上であると判別すると(ステップS509;YES)、仮想特徴点生成部104は、これらのエピポーラ線の交点の座標を取得し(ステップS510)、処理はステップS511へ移る。 Specifically, the angles forming is determined to be less than 1.5 ° (step S509; NO), the process proceeds to step S511. On the other hand, if the angles that form is determined to be at 1.5 ° or more (step S509; YES), the virtual feature point generation unit 104 acquires the coordinates of the intersection of these epipolar lines (step S510), the process steps The process proceeds to S511.

ステップS514において、仮想特徴点生成部104は、ステップS501の仮想特徴点軌道準備処理により処理された100の仮想特徴点軌道v全てが選択されたか否かを判別する(ステップS514)。未だ選択されていない仮想特徴点軌道vがあると判別すると(ステップS514;NO)、処理はステップS502へ戻り、仮想特徴点生成部104は、未選択の仮想特徴点軌道vのうち何れか1を選択して、同様の仮想特徴点生成処理を実行する。 In step S514, the virtual feature point generation unit 104, 100 of the virtual feature point trajectory v all processed by the virtual feature point trajectory preparation process in step S501, it is determined whether the selected (step S514). If it is determined that there is an unselected virtual feature point trajectory v (step S514; NO), the process returns to step S502, and the virtual feature point generation unit 104 selects any one of the unselected virtual feature point trajectories v. The same virtual feature point generation processing is executed by selecting the number .

あるいは、逆に、特徴点pの移動ベクトルのうち所定の割合を、画像中の、検出された背景領域から抽出することもできる。この方法によれば、被写体からは手ぶれの影響を検出できない(手ぶれの成分を検出できない)ものの背景からは比較的容易に手ぶれの影響を検出できる場合(被写体が非常に画像全体に占める割合が非常に小さい場合や、被写体が激しく動いている場合等)にも、背景領域から抽出された特徴点pの移動ベクトルに基づいて画像間の類似度評価することにより、画像間の類似度を正確に評価することができる。 Alternatively, conversely, a certain percentage of the moving vector of the feature point p i, in the image can also be extracted from the detected background region. According to this method, the effect of camera shake cannot be detected from the subject (the component of camera shake cannot be detected), but the effect of camera shake can be detected relatively easily from the background (the subject has a very large proportion of the entire image) If small and, even if such) the subject is moving vigorously, by evaluating the similarity between images based on the movement vector of the feature point p i extracted from the background region, the similarity between the images Accurate evaluation is possible.

あるいは、抽出される特徴点pの移動ベクトルの数は、画像を解析して得られる情報に基づいて設定することもできる。例えば、上述の検出手段によって人物領域又は移動領域が検出された場合に、検出されなかった場合に比べて抽出される特徴点pの移動ベクトルの数を増やこととしてもよい。この方法によれば、ユーザが注目する被写体である可能性が高い人物や手ぶれの影響を受けている可能性が高い移動物体が画像に含まれている場合、含まれていない場合よりも多くの特徴点pの移動ベクトルに基づいて、より慎重に画像間の類似度を比較し、画像間の類似度を正確に評価することができる。 Alternatively, the number of movement vectors of extracted feature points p i can be set based on information obtained by analyzing an image. For example, if the person area or moving area is detected by the aforementioned detection means, the number may be increased or to be the motion vector of the feature point p i to be extracted as compared with the case where not detected. According to this method, when the image includes a person who is likely to be a subject of interest to the user or a moving object that is highly likely to be affected by camera shake, it is more than the case where it is not included. Based on the movement vector of the feature point p i , the similarity between images can be compared more carefully, and the similarity between images can be accurately evaluated.

Claims (14)

動画を構成する複数の画像の中から1つを指定する指定部と、
前記複数の画像のうちの前記指定部によって指定された画像以外の所定数の画像の中から、基礎行列の取得対象となる画像を選別する選別部と
記複数の画像の中から前記指定部が指定する画像を変えて、前記指定部及び前記選別部の処理を含んで繰り返す所定の処理により、仮想特徴点軌道を構築する仮想特徴点軌道構築部と、
前記仮想特徴点軌道構築部によって構築された前記仮想特徴点軌道を時間方向に平滑化する平滑化部と、
前記仮想特徴点軌道構築部によって構築された前記仮想特徴点軌道と、前記平滑化部によって平滑化された前記仮想特徴点軌道と、の間の関係に基づいて、前記複数の画像のそれぞれを補正する補正部と、
を備える
ことを特徴とする画像処理装置。
A designating unit for designating one of a plurality of images constituting the video,
A selection unit that selects an image from which a basic matrix is to be acquired from a predetermined number of images other than the image specified by the specification unit among the plurality of images ;
Changing the image in which the specified portion is designated from among the previous SL plurality of images, by the specifying unit and the sorting unit of processing predetermined process repeats include, virtual feature point trajectory constructing unit for constructing a virtual feature point trajectory When,
A smoothing unit for smoothing the virtual feature point trajectory built in the time direction by the virtual feature point trajectory construction unit,
Wherein said virtual feature point trajectory constructed by the virtual feature point trajectory construction unit, it said smoothed by the smoothing unit and the virtual feature point trajectory, based on the relationship between, correcting each of the plurality of images A correction unit to perform,
Equipped with a,
An image processing apparatus.
前記選別部によって選別された画像のそれぞれについて、前記指定部によって指定された画像との関係を表す前記基礎行列を取得する基礎行列取得部と、For each of the images selected by the selection unit, a basic matrix acquisition unit that acquires the basic matrix representing a relationship with the image specified by the specification unit;
前記基礎行列取得部によって取得された前記基礎行列に基づいて、前記選別部によって選別された画像内の互いに対応する特徴点を前記指定された画像にエピポーラ投影をすることにより、前記指定された画像内における仮想特徴点を生成する仮想特徴点生成部と、Based on the basic matrix acquired by the basic matrix acquisition unit, the designated image is subjected to epipolar projection on the specified image with corresponding feature points in the image selected by the selection unit. A virtual feature point generator for generating virtual feature points in
を更に備える、Further comprising
ことを特徴とする請求項1に記載の画像処理装置。The image processing apparatus according to claim 1.
前記所定の処理は、前記指定部、前記選別部、前記基礎行列取得部及び前記仮想特徴点生成部の処理を繰り返すことである、The predetermined process is to repeat the processes of the designation unit, the selection unit, the basic matrix acquisition unit, and the virtual feature point generation unit.
ことを特徴とする請求項2に記載の画像処理装置。The image processing apparatus according to claim 2.
前記選別部は、
前記所定数の画像のうちの各画像について、前記所定数の画像のうち各画像とは異なる画像との間における特徴点の移動量を取得し、
取得した前記移動量に基づいて、前記所定数の画像の中から、前記基礎行列の取得対象となる画像を選別する、
ことを特徴とする請求項1乃至3のいずれかに記載の画像処理装置。
The sorting unit
For each image of said predetermined number of images to obtain a movement amount of the feature points between the different image and each image of said predetermined number of images,
Obtained on the basis of the movement amount, from among the predetermined number of images, selecting an image which to obtain the fundamental matrix,
The image processing apparatus according to any one of claims 1 to 3, characterized in that.
前記選別部は、
前記所定数の画像のうちの各画像について、前記所定数の画像のうちの各画像とは異なる画像との間における、複数の特徴点の移動量を取得し、
取得した前記複数の特徴点の前記移動量を積算した積算値に基づいて、前記所定数の画像の中から、前記基礎行列の前記取得対象となる画像を選別する、
ことを特徴とする請求項1乃至4のいずれかに記載の画像処理装置。
The sorting unit
For each image of said predetermined number of images, between the different image and each image of said predetermined number of images, and obtains the amount of movement of the plurality of feature points,
Obtained based on the integrated value obtained by integrating the amount of movement of the plurality of feature points, from among the predetermined number of images, selecting an image to be the acquisition target of the fundamental matrix,
The image processing apparatus according to any one of claims 1 to 4, characterized in that.
前記選別部は、
前記特徴点の前記移動量の前記積算値と閾値との大小関係に基づいて、前記所定数の画像の中から、前記基礎行列の前記取得対象となる画像を選別する、
ことを特徴とする請求項に記載の画像処理装置。
The sorting unit
Based on the magnitude relationship between the integrated value and the threshold value of the movement amount of the feature point, from among the predetermined number of images, selecting an image to be the acquisition target of the fundamental matrix,
The image processing apparatus according to claim 5 .
前記閾値は、前記移動量を取得する前記特徴点の数に応じて設定される、
ことを特徴とする請求項に記載の画像処理装置。
The threshold is set according to the number of the feature points to acquire the movement amount,
The image processing apparatus according to claim 6 .
請求項1乃至の何れか1項に記載の前記画像処理装置と、
被写体を撮像することにより、前記動画を構成する画像を生成する撮像部と、
を備える
ことを特徴とする撮像装置。
Said image processing apparatus according to any one of claims 1 to 7,
An imaging unit that generates an image constituting the moving image by imaging a subject;
Equipped with a,
An imaging apparatus characterized by that.
動画を構成する複数の画像の中から1つを指定する指定処理と、
前記複数の画像のうちの前記指定処理によって指定された画像以外の所定数の画像の中から、基礎行列の取得対象となる画像を選別する選別処理と
記複数の画像の中から前記指定処理によって指定する画像を変えて、前記指定処理及び前記選別処理を含んで繰り返す所定の処理により、仮想特徴点軌道を構築する仮想特徴点軌道構築処理と、
前記仮想特徴点軌道構築処理によって構築された前記仮想特徴点軌道を時間方向に平滑化する平滑化処理と、
前記仮想特徴点軌道構築処理によって構築された前記仮想特徴点軌道と、前記平滑化処理によって平滑化された前記仮想特徴点軌道と、の間の関係に基づいて、前記複数の画像のそれぞれを補正する補正処理と、
を含む
ことを特徴とする画像処理方法。
A designation process for designating one of a plurality of images constituting a movie;
A selection process for selecting an image from which a basic matrix is to be acquired from a predetermined number of images other than the image specified by the specification process among the plurality of images ;
Changing the image to be specified by the specifying processing from the previous SL plurality of images, and the designated process and the filtering process by a predetermined process of repeating contain, virtual feature point trajectory building process for building a virtual feature point trajectory,
And smoothing processing of the smoothing virtual feature point trajectory in the time direction which is constructed by the virtual feature point trajectory construction process,
Wherein said virtual feature point trajectory constructed by the virtual feature point trajectory building process, the said virtual feature point trajectory that has been smoothed by the smoothing process, based on the relationship between, correcting each of the plurality of images Correction processing to
Including,
An image processing method.
前記選別処理によって選別された画像のそれぞれについて、前記指定処理によって指定された画像との関係を表す前記基礎行列を取得する基礎行列取得処理と、For each of the images selected by the selection process, a basic matrix acquisition process for acquiring the basic matrix representing the relationship with the image specified by the specification process;
前記基礎行列取得処理によって取得された前記基礎行列に基づいて、前記選別処理によって選別された画像内の互いに対応する特徴点を前記指定された画像にエピポーラ投影をすることにより、前記指定された画像内における仮想特徴点を生成する仮想特徴点生成処理と、Based on the basic matrix acquired by the basic matrix acquisition process, the designated image is subjected to epipolar projection on the specified image with feature points corresponding to each other in the image selected by the selection process. Virtual feature point generation processing for generating virtual feature points in
を更に含む、Further including
ことを特徴とする請求項9に記載の画像処理方法。The image processing method according to claim 9.
前記所定の処理は、前記指定処理、前記選別処理、前記基礎行列取得処理及び前記仮想特徴点生成処理を繰り返すことである、The predetermined process is to repeat the designation process, the selection process, the basic matrix acquisition process, and the virtual feature point generation process.
ことを特徴とする請求項10に記載の画像処理方法。The image processing method according to claim 10.
コンピュータを、
動画を構成する複数の画像の中から1つを指定する指定部、
前記複数の画像のうちの前記指定部によって指定された画像以外の所定数の画像の中から、基礎行列の取得対象となる画像を選別する選別部
記複数の画像の中から前記指定部が指定する画像を変えて、前記指定部及び前記選別部の処理を含んで繰り返す所定の処理により、仮想特徴点軌道を構築する仮想特徴点軌道構築部、
前記仮想特徴点軌道構築部によって構築された前記仮想特徴点軌道を時間方向に平滑化する平滑化部、
前記仮想特徴点軌道構築部によって構築された前記仮想特徴点軌道と、前記平滑化部によって平滑化された前記仮想特徴点軌道と、の間の関係に基づいて、前記複数の画像のそれぞれを補正する補正部、
として機能させる
ことを特徴とするプログラム。
Computer
A designating part for designating one of a plurality of images constituting the video,
A selecting unit that selects an image from which a basic matrix is to be acquired from a predetermined number of images other than the image specified by the specifying unit among the plurality of images ;
Changing the image in which the specified portion is designated from among the previous SL plurality of images, by the specifying unit and the sorting unit of processing predetermined process repeats include, virtual feature point trajectory constructing unit for constructing a virtual feature point trajectory ,
Smoothing unit for smoothing the virtual feature point trajectory built in the time direction by the virtual feature point trajectory construction unit,
Wherein said virtual feature point trajectory constructed by the virtual feature point trajectory construction unit, it said smoothed by the smoothing unit and the virtual feature point trajectory, based on the relationship between, correcting each of the plurality of images Corrector,
To function as,
A program characterized by that.
前記コンピュータを、The computer,
前記選別部によって選別された画像のそれぞれについて、前記指定部によって指定された画像との関係を表す前記基礎行列を取得する基礎行列取得部、For each of the images selected by the selection unit, a basic matrix acquisition unit that acquires the basic matrix representing a relationship with the image specified by the specification unit;
前記基礎行列取得部によって取得された前記基礎行列に基づいて、前記選別部によって選別された画像内の互いに対応する特徴点を前記指定された画像にエピポーラ投影をすることにより、前記指定された画像内における仮想特徴点を生成する仮想特徴点生成部、Based on the basic matrix acquired by the basic matrix acquisition unit, the designated image is subjected to epipolar projection on the specified image with corresponding feature points in the image selected by the selection unit. A virtual feature point generator for generating virtual feature points in
として更に機能させる、As a further function,
ことを特徴とする請求項12に記載のプログラム。The program according to claim 12, wherein:
前記所定の処理は、前記指定部、前記選別部、前記基礎行列取得部及び前記仮想特徴点生成部の処理を繰り返すことである、The predetermined process is to repeat the processes of the designation unit, the selection unit, the basic matrix acquisition unit, and the virtual feature point generation unit.
ことを特徴とする請求項13に記載のプログラム。The program according to claim 13.
JP2014258182A 2014-12-22 2014-12-22 Image processing apparatus, imaging apparatus, image processing method, and program Active JP6451300B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014258182A JP6451300B2 (en) 2014-12-22 2014-12-22 Image processing apparatus, imaging apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014258182A JP6451300B2 (en) 2014-12-22 2014-12-22 Image processing apparatus, imaging apparatus, image processing method, and program

Publications (3)

Publication Number Publication Date
JP2016119572A JP2016119572A (en) 2016-06-30
JP2016119572A5 true JP2016119572A5 (en) 2018-01-25
JP6451300B2 JP6451300B2 (en) 2019-01-16

Family

ID=56243216

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014258182A Active JP6451300B2 (en) 2014-12-22 2014-12-22 Image processing apparatus, imaging apparatus, image processing method, and program

Country Status (1)

Country Link
JP (1) JP6451300B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019062340A (en) * 2017-09-26 2019-04-18 キヤノン株式会社 Image shake correction apparatus and control method
JP7013205B2 (en) * 2017-10-30 2022-01-31 キヤノン株式会社 Image shake correction device and its control method, image pickup device

Similar Documents

Publication Publication Date Title
JP6405891B2 (en) Position / attitude estimation apparatus, position / attitude estimation method, and program
JP6977730B2 (en) People flow estimation device, people flow estimation method and program
US20160155235A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable medium
JP2016085637A5 (en)
JP2019012426A5 (en)
JP6793151B2 (en) Object tracking device, object tracking method and object tracking program
JP2014225843A5 (en)
JP2018056971A5 (en)
JP2014063475A5 (en)
JP2018092580A5 (en) Image processing apparatus, image processing method, and program
JP2017138198A5 (en)
JP2015152888A5 (en) Image processing apparatus and control method thereof
JP2018116239A5 (en)
JP2015219603A5 (en)
JP2016129289A5 (en)
JP2018113021A5 (en)
JP2012256177A5 (en)
JP2016066127A5 (en)
JP2017103688A5 (en)
JP2018101942A5 (en)
JP2018195084A5 (en)
JP2015106290A5 (en)
JP2018022247A5 (en)
JP2016015536A5 (en)
JP2016119572A5 (en)