JP2015084186A - Information processing device, control method therefor, and program - Google Patents

Information processing device, control method therefor, and program Download PDF

Info

Publication number
JP2015084186A
JP2015084186A JP2013222685A JP2013222685A JP2015084186A JP 2015084186 A JP2015084186 A JP 2015084186A JP 2013222685 A JP2013222685 A JP 2013222685A JP 2013222685 A JP2013222685 A JP 2013222685A JP 2015084186 A JP2015084186 A JP 2015084186A
Authority
JP
Japan
Prior art keywords
motion
motion vector
information processing
processing apparatus
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013222685A
Other languages
Japanese (ja)
Other versions
JP6235860B2 (en
JP2015084186A5 (en
Inventor
小林 正明
Masaaki Kobayashi
正明 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013222685A priority Critical patent/JP6235860B2/en
Priority to US14/508,096 priority patent/US10051274B2/en
Publication of JP2015084186A publication Critical patent/JP2015084186A/en
Publication of JP2015084186A5 publication Critical patent/JP2015084186A5/ja
Application granted granted Critical
Publication of JP6235860B2 publication Critical patent/JP6235860B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To enhance processing speed and processing accuracy of image processing.SOLUTION: An information processing device is configured to: calculate a first movement parameter indicating movement from a reference image in the processing units of divided areas into which a processing target image is divided; extract a movement vector corresponding to the first movement parameter from movement vectors in the divided areas; and calculate a second movement parameter of the processing target image that represents positional deviation from the reference image, by using the extracted movement vector.

Description

本発明は、時間的に連続する画像を処理する情報処理技術に関するものである。   The present invention relates to an information processing technique for processing temporally continuous images.

コンピュータの計算性能の向上に伴い、領域分割、位置合わせ等、コンピュータビジョンと呼ばれる分野の画像処理技術の実用性が高まっている。   With the improvement of computer computing performance, the practicality of image processing technology in a field called computer vision, such as area division and alignment, is increasing.

画像の位置合わせでは、時間的に連続する画像から複数の動きベクトルを算出し、これらの動きベクトルから画像の位置ズレ(画像全体の動き)を表現する動きパラメータを算出する。動きベクトルの算出方法は、ブロックマッチングによる動き探索や、特徴点を検出してその対応を算出し、対応点ペアの座標を動きベクトルとする等の方法がある(特許文献1参照)。   In image alignment, a plurality of motion vectors are calculated from temporally continuous images, and a motion parameter expressing the positional deviation of the image (motion of the entire image) is calculated from these motion vectors. As a motion vector calculation method, there are a method such as a motion search by block matching, a feature point is detected and its correspondence is calculated, and the coordinates of the corresponding point pair are used as a motion vector (see Patent Document 1).

また、動きパラメータは、二次元ベクトルやホモグラフィ行列、回転行列(非特許文献1参照)等を用いて表現できる。しかし、検出した動きベクトルは、全てが正しいとは限らず、誤った動きベクトルが含まれることがあるため、誤りを含むデータからモデルを推定するロバスト推定技術が必要となる。ロバスト推定の代表的なアルゴリズムには、RANSACがある(非特許文献2参照)。RANSACは、計算を繰り返しながら最適なモデルを推定する技術である。しかし、RANSACは、データに誤りの量が多い程、または、推定するパラメータの要素数が多い程、多くの繰り返し(以下、イテレーション)を必要とする。以下、この誤ったデータをアウトライア(outlier)、正しいデータをインライア(inlier)と表現する。   The motion parameter can be expressed using a two-dimensional vector, a homography matrix, a rotation matrix (see Non-Patent Document 1), or the like. However, not all detected motion vectors are correct, and erroneous motion vectors may be included. Therefore, a robust estimation technique for estimating a model from data containing errors is required. RANSAC is a typical algorithm for robust estimation (see Non-Patent Document 2). RANSAC is a technique for estimating an optimal model while repeating calculations. However, RANSAC requires more iterations (hereinafter, iteration) as the amount of errors in the data increases or the number of parameters to be estimated increases. Hereinafter, this incorrect data is expressed as an outlier, and correct data is expressed as an inlier.

画像の位置合わせ技術は、画像ブレ補正(電子防振)、画像合成、符号化、自由視点生成等、様々に応用できる。例えば、連続する複数のフレームに対し、上記の方法でフレーム間の動きを表現する行列の逆行列をそれぞれ作成する。この複数の逆行列を用いて平滑化し、平滑化した行列を用いて、それぞれの画像を幾何変換することにより、動きブレを補正ができる。行列の平滑化は、行列の移動相乗平均を用いて計算することができる。相乗平均の算出に必要な、行列のべき乗根は、例えば、非特許文献3にある方法を用いて計算できる。   Image alignment technology can be applied in various ways, such as image blur correction (electronic image stabilization), image composition, encoding, and free viewpoint generation. For example, for each of a plurality of consecutive frames, an inverse matrix of a matrix expressing the motion between the frames is created by the above method. Motion blurring can be corrected by performing smoothing using the plurality of inverse matrices and geometrically transforming each image using the smoothed matrix. Matrix smoothing can be calculated using a matrix moving geometric mean. The power root of the matrix necessary for calculating the geometric mean can be calculated using the method described in Non-Patent Document 3, for example.

特開2007−334625号公報JP 2007-334625 A

姿勢推定と回転行列、玉木徹、"IEICE Technical Report SIP2009-48, SIS2009-23(2009-09)"Attitude estimation and rotation matrix, Toru Tamaki, "IEICE Technical Report SIP2009-48, SIS2009-23 (2009-09)" "Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography"、M.A. Fischler and R.C. Bolles、 "Communications of the ACM, 24(6):381-395, 1981""Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography", M.A. Fischler and R.C. Bolles, "Communications of the ACM, 24 (6): 381-395, 1981" "Algorithms for the matrix pth root"、 "Dario A. Binia、 Nicholas J. Highamb、and Beatrice Meinia"、NumericalAlgorithms (2005)39: 349-378"Algorithms for the matrix pth root", "Dario A. Binia, Nicholas J. Highamb, and Beatrice Meinia", Numerical Algorithms (2005) 39: 349-378

アウトライアを含む動きベクトルから、画像全体の動きを表現する行列を動きパラメータとして算出する場合、RANSAC等のロバスト推定が必要になる。RANSACはデータのアウトライア率が高い場合、多くのイテレーションを必要とし処理に時間がかかる。   When a matrix representing the motion of the entire image is calculated as a motion parameter from a motion vector including an outlier, robust estimation such as RANSAC is required. When the data outlier rate is high, RANSAC requires many iterations and takes time to process.

本発明は上記の課題を解決するためになされたものであり、画像処理に係る処理速度及び処理精度を向上することができる情報処理技術を提供することを目的とする。   SUMMARY An advantage of some aspects of the invention is that it provides an information processing technique capable of improving processing speed and processing accuracy related to image processing.

上記の目的を達成するための本発明による情報処理装置は以下の構成を備える。即ち、
時間的に連続する画像を処理する情報処理装置であって、
処理対象画像を分割した分割領域を処理単位として基準画像からの動きを示す第一の動きパラメータを算出する第一の算出手段と、
前記分割領域内の動きベクトルから、前記第一の動きパラメータに対応する動きベクトルを抽出する抽出手段と、
前記分割領域内の動きベクトルから前記抽出手段で抽出した動きベクトルを用いて、前記基準画像からの位置ズレを表現する、前記処理対象画像に関する第二の動きパラメータを算出する第二の算出手段と
を備える。
In order to achieve the above object, an information processing apparatus according to the present invention comprises the following arrangement. That is,
An information processing apparatus for processing temporally continuous images,
A first calculation means for calculating a first motion parameter indicating a motion from the reference image using a divided region obtained by dividing the processing target image as a processing unit;
Extracting means for extracting a motion vector corresponding to the first motion parameter from the motion vectors in the divided region;
Second calculation means for calculating a second motion parameter related to the processing target image, which expresses a positional deviation from the reference image, using a motion vector extracted by the extraction means from a motion vector in the divided area; Is provided.

本発明によれば、画像処理に係る処理速度及び処理精度を向上することができる。   According to the present invention, it is possible to improve processing speed and processing accuracy related to image processing.

装置構成を説明する図である。It is a figure explaining an apparatus structure. 電子防振処理を示すフローチャートである。It is a flowchart which shows an electronic image stabilization process. 変換行列の推定処理の詳細を示すフローチャートである。It is a flowchart which shows the detail of the estimation process of a conversion matrix. 画像分割の例を説明する図である。It is a figure explaining the example of image division. 代表ベクトルの算出処理の詳細を示すフローチャートである。It is a flowchart which shows the detail of the calculation process of a representative vector. 回転行列の推定処理の詳細を示すフローチャートである。It is a flowchart which shows the detail of the estimation process of a rotation matrix. 類似動きベクトルの抽出処理の詳細を示すフローチャートである。It is a flowchart which shows the detail of the extraction process of a similar motion vector. 類似動きベクトルの抽出処理の詳細を示すフローチャートである。It is a flowchart which shows the detail of the extraction process of a similar motion vector. 代表ベクトルの算出処理の詳細を示すフローチャートである。It is a flowchart which shows the detail of the calculation process of a representative vector. オブジェクト単位の領域分割を用いる変換行列の推定処理の詳細を示すフローチャートである。It is a flowchart which shows the detail of the estimation process of the transformation matrix using the area division | segmentation of an object unit. 画像がオブジェクト単位で分割された状態と分割領域の番号の例を示す図である。It is a figure which shows the example of the state in which the image was divided | segmented per object, and the number of a division area.

以下、本発明の実施の形態について図面を用いて詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

<実施形態1>
実施形態1では、画像の位置合わせを行うために、時間的に連続する画像から複数の動きベクトルを算出し、これらの動きベクトルから画像全体の動きを表現する動きパラメータを算出する構成について説明する。本実施形態は、画像全体の動き(例えば、位置ズレ)を表現する動きパラメータとして回転行列(非特許文献1参照)を算出することとし、連続する画像から行列を推定して、画像に対して電子防振処理を行う応用例として説明する。
<Embodiment 1>
In the first embodiment, a configuration is described in which a plurality of motion vectors are calculated from temporally continuous images and motion parameters expressing the motion of the entire image are calculated from these motion vectors in order to perform image alignment. . In the present embodiment, a rotation matrix (see Non-Patent Document 1) is calculated as a motion parameter expressing the motion (for example, positional deviation) of the entire image, the matrix is estimated from successive images, An application example in which electronic image stabilization processing is performed will be described.

本実施形態では、ディスプレイ(表示装置)が接続された情報処理装置としてのPC(パーソナルコンピュータ)内で、CPU(中央演算処理装置)が撮像画像を解析して特徴点を検出するための各処理を行う。以下、PCの構成と各モジュールの動作について、図1(a)を参照して説明する。図1(a)は、PCの内部構成を説明する図である。   In this embodiment, each process for a CPU (Central Processing Unit) to analyze a captured image and detect a feature point in a PC (Personal Computer) as an information processing apparatus to which a display (display device) is connected. I do. Hereinafter, the configuration of the PC and the operation of each module will be described with reference to FIG. FIG. 1A is a diagram for explaining the internal configuration of a PC.

101はバスであり、PC100内の各種構成要素を相互に接続し、構成要素間のデータの通信経路を司る。102はRAM(書込可能メモリ)であり、CPU105のワークエリア等の記憶領域として機能する。103はグラフィックプロセッサであり、ディスプレイ104に画像を表示する際に必要となる計算処理を行うプロセッサである。グラフィックプロセッサ103は、行列演算が可能で、行列に従って、回転等の画像の幾何変換を行うことができる。   A bus 101 connects various components in the PC 100 to each other and manages a data communication path between the components. Reference numeral 102 denotes a RAM (writable memory) that functions as a storage area such as a work area of the CPU 105. Reference numeral 103 denotes a graphic processor, which is a processor that performs calculation processing necessary for displaying an image on the display 104. The graphic processor 103 can perform matrix operations, and can perform geometric transformation of an image such as rotation according to the matrix.

104はディスプレイであり、ユーザI/F106から入力されたコマンドや、それに対するPC100の応答出力等の情報を表示する表示装置である。105はCPUであり、オペレーティングシステム(OS)やアプリケーションプログラム等のコンピュータプログラムに基づいて他の構成要素と協働し、PC100全体の動作を制御する。尚、本実施形態では、CPUが一つであるとして説明するが、これに限定されず、複数のCPUが存在する構成を採用してもよい。その場合の各処理は、マルチスレッド処理による並列動作が可能である。106はユーザI/Fであり、ユーザからの指示やコマンドの入力を受け付けて、プログラムの起動が行われる。ユーザI/F106は、タッチパネル、ポインティングデバイス、キーボード等であるが、特定のデバイスに限定されない。また、ユーザI/F106が、タッチパネル、ポインティングデバイスの場合は、ディスプレイ104上の任意の座標位置でタッチされたか否かの情報を入力することができる。   Reference numeral 104 denotes a display, which is a display device that displays information such as a command input from the user I / F 106 and a response output of the PC 100 in response thereto. A CPU 105 controls the overall operation of the PC 100 in cooperation with other components based on a computer program such as an operating system (OS) or an application program. In the present embodiment, the description will be made assuming that there is one CPU. However, the present invention is not limited to this, and a configuration in which a plurality of CPUs exist may be employed. Each processing in that case can be performed in parallel by multithread processing. Reference numeral 106 denotes a user I / F, which receives an instruction or command input from the user and starts the program. The user I / F 106 is a touch panel, a pointing device, a keyboard, or the like, but is not limited to a specific device. Further, when the user I / F 106 is a touch panel or a pointing device, information indicating whether or not the user I / F 106 is touched at an arbitrary coordinate position on the display 104 can be input.

107は不揮発性の外部ストレージであり、大容量メモリとして機能する。本実施形態では、ハードディスク装置(以下、HDと呼ぶ)により実現されるが、SSD(フラッシュメモリを使用したソリッドステートドライブ)等の他の記憶装置を用いてもよい。108はネットワークI/Fであり、外部装置とのデータの送受信を中継する。109はカメラ等の外部撮像部であり、被写体を撮像して撮像画像を取得することができる。   Reference numeral 107 denotes a non-volatile external storage that functions as a large-capacity memory. In the present embodiment, it is realized by a hard disk device (hereinafter referred to as HD), but other storage devices such as SSD (solid state drive using flash memory) may be used. Reference numeral 108 denotes a network I / F that relays data transmission / reception with an external apparatus. Reference numeral 109 denotes an external imaging unit such as a camera, which can capture a captured image by imaging a subject.

本実施形態では、実行されるプラグラム及びデータは、外部ストレージ107に記録されており、これらをRAM102へ入力し、CPU105が実行及び処理する構成をとる。プログラム及びデータは、バス101を介して入出力が行われる。画像データは、特に説明しない限り、外部ストレージ107から入力され、入力時に、PC100内部で処理するための内部画像フォーマットに変換するものとする。画像データの入力は、外部撮像部109やネットワークI/F108から行うことも可能である。   In the present embodiment, the program and data to be executed are recorded in the external storage 107, and these are input to the RAM 102 and executed and processed by the CPU 105. Programs and data are input / output via the bus 101. Unless otherwise specified, the image data is input from the external storage 107 and is converted into an internal image format for processing inside the PC 100 at the time of input. Image data can also be input from the external imaging unit 109 or the network I / F 108.

本実施形態における内部画像フォーマットはRGB画像とするが、これに限定されず、YUV画像、モノクロの輝度画像でもよい。また、後述の動き検出は輝度画像で行うものとし、内部画像フォーマットがRGB画像またはYUV画像の場合には、変換して動き検出がなされるものとして説明する。UI(ユーザインターフェース)画面や処理画像結果は、グラフィックプロセッサ103を介して、ディスプレイ104上に表示することができる。グラフィックプロセッサ103は、入力した画像データの幾何変換を行うことが可能で、変換した画像データをRAM102に記憶したり、ディスプレイ104に直接出力したりすることも可能である。処理データは、外部ストレージ107に記録したり、RAM102に記憶したりして、他のプログラムと共有することができる。   The internal image format in the present embodiment is an RGB image, but is not limited to this, and may be a YUV image or a monochrome luminance image. In the following description, it is assumed that motion detection described later is performed on a luminance image, and that when the internal image format is an RGB image or a YUV image, the motion detection is performed after conversion. A UI (user interface) screen and processed image results can be displayed on the display 104 via the graphic processor 103. The graphic processor 103 can perform geometric conversion of the input image data, and can store the converted image data in the RAM 102 or directly output it to the display 104. The processing data can be recorded in the external storage 107 or stored in the RAM 102 and shared with other programs.

尚、本実施形態では、電子防振処理を行う情報処理装置をPCにより実現する例を説明するが、これに限られない。本実施形態に係る電子防振処理は、撮像装置、組込システム、タブレット端末、スマートフォン等の情報機器を用いて実施することができる。また、全体、または、部分的にハードウェアが実行する構成を採用してもよい。例えば、図1(b)は、撮像装置200の構成を表している。110は撮像部であり、111は動き検出部である。尚、図1(a)と同一の構成要素については同一の参照番号を付加し、その説明は省略する。図1(b)では、画像を撮像部110から入力し、動き検出部111は動きベクトルの検出を行う。このように、本実施形態で説明する処理は、撮像装置でも実行可能である。   In addition, although this embodiment demonstrates the example which implement | achieves the information processing apparatus which performs an electronic image stabilization process by PC, it is not restricted to this. The electronic image stabilization processing according to the present embodiment can be performed using an information device such as an imaging device, an embedded system, a tablet terminal, or a smartphone. Moreover, you may employ | adopt the structure which a hardware performs entirely or partially. For example, FIG. 1B shows the configuration of the imaging apparatus 200. Reference numeral 110 denotes an imaging unit, and 111 denotes a motion detection unit. The same components as those in FIG. 1A are denoted by the same reference numerals, and the description thereof is omitted. In FIG. 1B, an image is input from the imaging unit 110, and the motion detection unit 111 detects a motion vector. As described above, the processing described in this embodiment can also be executed by the imaging apparatus.

連続する画像から画像全体の動きを表現する行列を推定して電子防振処理を実行する方法について、図2を参照して具体的に説明する。図2は、電子防振処理を示すフローチャートである。尚、図2のフローチャートは、CPU105が、外部ストレージ107に記録されているプログラムを読み出し実行することで実現される。また、CPU105は、処理内容に応じて、図1(a)あるいは図1(b)に示される各種構成要素と協働して処理を実行する。   A method of executing electronic image stabilization processing by estimating a matrix expressing the motion of the entire image from successive images will be specifically described with reference to FIG. FIG. 2 is a flowchart showing the electronic image stabilization process. Note that the flowchart of FIG. 2 is realized by the CPU 105 reading and executing a program recorded in the external storage 107. Further, the CPU 105 executes the process in cooperation with various components shown in FIG. 1A or FIG.

以下、フローチャートの説明に関しては、特に説明しない限り、ステップ番号順に、それぞれのステップが実行されるものとして説明する。また、互いに依存関係のない独立した処理については、記載のステップ順に処理を実行する必要はなく、順序を入れ替えて実行したり、複数CPUが存在する場合には処理を並列に実行することも可能である。同様に、ステップが存在するサブルーチンの位置も限定はなく、処理結果が同じであれば、異なるサブルーチンで処理を実行する構成もとることができ、サブルーチンの構成にも限定はない。   Hereinafter, the description of the flowchart will be made assuming that the steps are executed in the order of step numbers unless otherwise specified. In addition, for independent processes that are not dependent on each other, it is not necessary to execute the processes in the order in which they are described, and it is possible to execute them in a different order or in parallel when there are multiple CPUs. It is. Similarly, the position of the subroutine in which the step exists is not limited, and if the processing result is the same, a configuration in which processing is executed by a different subroutine can be used, and the configuration of the subroutine is not limited.

S2010では、CPU105あるいは動き検出部111が、画像を順に入力して動き検出を実行する。本実施形態では、第c−1番フレーム、第c番フレームの輝度画像が入力され、第c−1番フレーム(基準画像)から第c番フレーム(処理対象画像)の変換(動き)を表す動きベクトルが検出されるものとして説明する。入力画像のフレーム番号は0から、処理対象のフレーム番号は1から開始され、本ステップが実行される毎にcの値がインクリメントされるものとして説明する。   In step S2010, the CPU 105 or the motion detection unit 111 sequentially inputs images and executes motion detection. In the present embodiment, the luminance images of the c-1 frame and the c frame are input, and represent the conversion (motion) from the c-1 frame (reference image) to the c frame (processing target image). A description will be given assuming that a motion vector is detected. In the following description, it is assumed that the frame number of the input image starts from 0 and the frame number to be processed starts from 1, and the value of c is incremented each time this step is executed.

動き検出は、特徴点を検出し、特徴点の特徴量を画像間でマッチングし、その対応位置関係を動きベクトルとすることによって行われる。しかし、動き検出のアルゴリズムは、これに限定されず、例えば、輝度画像を縦32×横32画素単位のブロック(分割領域)に分割し、ブロック単位(分割領域単位)で、ブロックマッチングよる動き探索によって行う構成を採用してもよい。本実施形態では、一つの動きベクトルは、始点と終点の座標から構成される有向線分であり、一つの動きベクトルを   Motion detection is performed by detecting feature points, matching feature quantities of feature points between images, and using the corresponding positional relationship as a motion vector. However, the motion detection algorithm is not limited to this. For example, a luminance image is divided into blocks (divided regions) of 32 × 32 pixels, and motion search is performed by block matching in units of blocks (divided regions). You may employ | adopt the structure performed by. In the present embodiment, one motion vector is a directed line segment composed of the coordinates of the start point and the end point, and one motion vector is

Figure 2015084186
Figure 2015084186

と表現する。 It expresses.

但し、A、Bは動きベクトルの始点と終点を表す。また、動きベクトルの純粋なベクトル成分を   However, A and B represent the start point and end point of the motion vector. Also, the pure vector component of the motion vector

Figure 2015084186
Figure 2015084186

と表現する。 It expresses.

複数の動きベクトルの集合をXとし、Xの個別の動きベクトルを識別するインデックス番号をiとすると、各動きベクトルは、   When a set of a plurality of motion vectors is X and an index number for identifying an individual motion vector of X is i, each motion vector is

Figure 2015084186
Figure 2015084186

と表現される。このとき、Xは、 It is expressed. At this time, X is

Figure 2015084186
Figure 2015084186

と表現される。以降、特別な記述がない場合、添え字が共通の It is expressed. After that, if there is no special description, the subscript is common

Figure 2015084186
Figure 2015084186

は、同一の動きベクトル、及び、その要素を表すものとして説明する。本実施形態では、各数値は浮動小数点として扱うものとして説明するが、固定小数点として計算する方法を採用してもよい。また、画像の画素を参照する場合、特別な記述がなければ小数部を切り捨てた数値を座標値として画素を参照するものとする。本実施形態では、集合は配列として実装されるものとし、集合の要素を Are described as representing the same motion vector and its elements. In the present embodiment, each numerical value is described as being handled as a floating point, but a method of calculating as a fixed point may be adopted. Further, when referring to a pixel of an image, unless there is a special description, it is assumed that the pixel is referred to using a numerical value obtained by discarding the decimal part as a coordinate value. In this embodiment, the set is implemented as an array, and the elements of the set are

Figure 2015084186
Figure 2015084186

あるいは、 Or

Figure 2015084186
と表現して、集合の要素である動きベクトルやそのベクトル成分に参照できるものとして説明する。
Figure 2015084186
In the following description, it is assumed that the motion vector that is an element of the set and its vector component can be referred to.

また、集合の要素数は、集合を||で挟む形式で表現する。例えば、集合Xの要素数は、|X|となる。尚、集合は配列として実装することに限定されず、例えば、リストとして実装してもよい。   The number of elements in the set is expressed in a format in which the set is sandwiched between ||. For example, the number of elements in the set X is | X |. The set is not limited to being implemented as an array, and may be implemented as a list, for example.

S2020では、CPU105が、動き検出結果から変換行列を推定する。変換行列の推定方法の詳細は、図3を用いて後述する。本実施形態では、第c−1番フレームから第c番フレームの変化を表す変換行列をHcとする。本実施形態では、Hcは3×3の行列である回転行列(非特許文献1参照)として説明する。しかし、行列の形式に限定はなく、アフィン変換行列やホモグラフィ行列等の他の行列であってもよい。 In S2020, the CPU 105 estimates a transformation matrix from the motion detection result. Details of the transformation matrix estimation method will be described later with reference to FIG. In the present embodiment, a conversion matrix representing a change from the c-1 frame to the c frame is H c . In the present embodiment, H c is described as a rotation matrix (see Non-Patent Document 1) that is a 3 × 3 matrix. However, the form of the matrix is not limited, and other matrices such as an affine transformation matrix and a homography matrix may be used.

S2030では、CPU105が、防振行列を生成するために必要な、防振フレーム周期の数以上の変換行列が推定できたかを判定する。防振フレーム周期をpとすると、c≧pが真の場合(S2030でYES)、S2040へ遷移し、偽の場合(S2030でNO)、S2010へ遷移する。pの値は、例えば、16であるとするが、pの値に限定はなく、長周期のブレを抑制する場合にはpを大きく設定し、短周期のブレのみ抑制する場合はpを小さく設定する。   In S2030, the CPU 105 determines whether or not a transformation matrix equal to or more than the number of anti-vibration frame periods necessary for generating the anti-vibration matrix has been estimated. If the anti-vibration frame period is p, if c ≧ p is true (YES in S2030), the process proceeds to S2040, and if false (NO in S2030), the process proceeds to S2010. The value of p is, for example, 16. However, the value of p is not limited, and p is set large when suppressing long-period blurring, and p is decreased when suppressing only short-period blurring. Set.

S2040では、CPU105が、推定した複数の変換行列から防振行列を生成する。防振は、高周波のブレを抑制することが目的であり、変換行列を複数フレームに渡って平滑化したものが防振行列となる。本実施形態では、過去のフレームの変換行列と直前の防振行列から計算する。例えば、第c番フレームの防振行列をScとすると、Scは、 In S2040, the CPU 105 generates an image stabilization matrix from the estimated plurality of transformation matrices. The purpose of anti-vibration is to suppress high-frequency blur, and the anti-vibration matrix is obtained by smoothing the transformation matrix over a plurality of frames. In the present embodiment, the calculation is performed from the transformation matrix of the past frame and the previous anti-vibration matrix. For example, if the anti-vibration matrix of the c-th frame is S c , S c is

Figure 2015084186
Figure 2015084186

として計算される。尚、行列のべき乗根の計算は近似計算でよく、非特許文献2で説明される方法で計算できる。行列のべき乗根は複数存在する場合があるため、一意の行列が定まる制約を設ける。本実施形態では、行列は回転行列であるため、回転量が最も小さい行列を選択することになる。また、行列のべき乗根が計算できない場合、防振行列Scは単位行列であるものとして処理を進める。尚、行列の平滑の方法はこれに限定されない。 Is calculated as The calculation of the power root of the matrix may be approximate calculation, and can be performed by the method described in Non-Patent Document 2. Since there may be a plurality of power roots of the matrix, there is a constraint that a unique matrix is determined. In this embodiment, since the matrix is a rotation matrix, the matrix having the smallest rotation amount is selected. If the power root of the matrix cannot be calculated, the process proceeds assuming that the image stabilization matrix Sc is a unit matrix. The matrix smoothing method is not limited to this.

S2050では、CPU105が、防振行列を用いて画像を幾何変換する。本実施形態では、第c−p+1番フレームのRGB画像を入力し、RGBそれぞれのチャネル毎に処理がなされる。   In S2050, the CPU 105 geometrically transforms the image using the image stabilization matrix. In this embodiment, an RGB image of the (c−p + 1) th frame is input, and processing is performed for each of the RGB channels.

このとき、幾何変換後の画像である出力画像の画素位置を(xout,yout)、入力画像の画素位置を(xin,yin)、出力画像から入力画像への変換行列を At this time, the pixel position of the output image, which is the image after geometric transformation, is (x out , y out ), the pixel position of the input image is (x in , y in ), and the conversion matrix from the output image to the input image is

Figure 2015084186
Figure 2015084186

とすると、(xout,yout)から(xin,yin)を計算するproj関数は下記のように表せる。 Then, the proj function for calculating (x in , y in ) from (x out , y out ) can be expressed as follows.

Figure 2015084186
Figure 2015084186

本ステップでは、出力画像の画素を一画素ずつ走査しながら、M=S-1としたproj関数を用いて出力画像の走査対象画素に対応する入力画像の対応画素の位置を計算する。この対応画素の画素値を走査対象画素の画素値として、出力画像の全ての画素値を決定する。尚、(xin,yin)は小数値を有するため、バイリニアやバイキュービック等の方法を用いて補間し、より精度の高い画素値を計算する方法を採用してもよい。変換された画像は、CPU105が、ディスプレイ104に表示する、あるいは符号化して外部ストレージ107に記録する。 In this step, the position of the corresponding pixel of the input image corresponding to the scanning target pixel of the output image is calculated using a proj function with M = S −1 while scanning the pixels of the output image pixel by pixel. All pixel values of the output image are determined using the pixel value of the corresponding pixel as the pixel value of the scanning target pixel. Since (x in , y in ) has a decimal value, a method of calculating a pixel value with higher accuracy by interpolation using a method such as bilinear or bicubic may be employed. The CPU 105 displays the converted image on the display 104 or encodes it and records it in the external storage 107.

S2060では、CPU105が、全入力画像の処理が終了したか否かを判定する。終了した場合(S2060でYES)、処理を終了し、処理が終了していない場合(S2060でNO)、S2010に遷移して、以後、S2010からS2060の処理をくり返す。本実施形態では、処理の終了条件として全入力画像の処理が終了したか否かを判定しているが、これに限定されない。例えば、ユーザが処理終了を指示するUI操作が行われたか否かを判定して、処理を終了してもよい。   In step S2060, the CPU 105 determines whether all input images have been processed. If completed (YES in S2060), the process ends. If the process is not completed (NO in S2060), the process proceeds to S2010, and thereafter, the processes from S2010 to S2060 are repeated. In the present embodiment, it is determined whether or not the processing of all input images has been completed as the processing termination condition, but the present invention is not limited to this. For example, it may be determined whether the user has performed a UI operation instructing the end of the process, and the process may be ended.

次に、S2020の変換行列の推定処理の詳細について、図3を参照して説明する。   Next, the details of the conversion matrix estimation processing in S2020 will be described with reference to FIG.

図3は、変換行列の推定処理の詳細を示すフローチャートである。   FIG. 3 is a flowchart showing details of the transformation matrix estimation processing.

S3010では、CPU105が、対象分割領域を走査して、分割領域内毎に分割領域内の動きベクトルの集合を入力する。   In step S3010, the CPU 105 scans the target divided area and inputs a set of motion vectors in the divided area for each divided area.

以下、分割領域の走査方法について図4を用いて詳細に説明する。図4は画像分割の例を説明する図である。図4(a)は、画像の分割方法と分割領域番号を例示する図である。本実施形態では、分割領域を図4(a)に示す数値のようにラスター順に従って走査する。つまり、一回目のS3010が実行される場合には、番号1の分割領域が処理対象となり、以下、2回、3回と実行される毎に分割領域番号2、3の分割領域が処理対象となる。本ステップでは、この対象分割領域内にベクトルの終点(矢印のついた点)が含まれる動きベクトルを入力する。本実施形態では、この分割領域の番号をdとし、以下、分割領域dのように表現して説明する。また、最大分割数をdmaxと表現する。本実施形態では、dmax=20である。dは1から始まり、S3010が実行される毎にdがインクリメントされることになる。 Hereinafter, a method of scanning the divided areas will be described in detail with reference to FIG. FIG. 4 is a diagram for explaining an example of image division. FIG. 4A is a diagram illustrating an image dividing method and divided region numbers. In this embodiment, the divided areas are scanned according to the raster order as shown by the numerical values shown in FIG. That is, when the first S3010 is executed, the divided area with the number 1 is the processing target, and the divided areas with the divided area numbers 2 and 3 are the processing target every time the process is executed twice and three times. Become. In this step, a motion vector in which the end point (point with an arrow) of the vector is included in the target divided region is input. In the present embodiment, the number of the divided area is d, and the following description will be made by expressing like the divided area d. The maximum number of divisions is expressed as d max . In the present embodiment, d max = 20. d starts from 1, and d is incremented every time S3010 is executed.

図4(b)は、動きベクトルの状態を例示する図である。図4(b)のように、動きベクトルは分割領域をまたぐ場合があるため、本実施形態では、動きベクトルvの終点が含まれる動きベクトルを分割領域の動きベクトルとして扱う。動きベクトルvの終点Bが、分割領域dに含まれるか否かを判定する関数をin(d,B)とする。分割領域dに含まれるベクトルの集合Ydは、 FIG. 4B is a diagram illustrating the state of the motion vector. As shown in FIG. 4B, since the motion vector may cross the divided area, in this embodiment, the motion vector including the end point of the motion vector v is handled as the motion vector of the divided area. A function for determining whether or not the end point B of the motion vector v is included in the divided region d is in (d, B). A set Y d of vectors included in the divided region d is

Figure 2015084186
Figure 2015084186

と表現される。この記法は、集合Xの要素を走査して、「|」以降で表現された条件を満足する要素を抽出し、抽出された要素の部分集合であるYdを生成することを示している。以下、部分集合の生成は、同様の記法を用いて説明する。尚、部分集合として新しい配列やリストを生成せず、各要素に部分集合であるか否かを示すフラグを設け、要素の抽出時にフラグを設定する構成を採用してもよい。この構成では、処理毎に上位集合の要素を走査して走査対象の要素のフラグの参照することによって、部分集合である要素のみを取得できる。 It is expressed. This notation indicates that elements of the set X are scanned to extract elements that satisfy the conditions expressed after “|”, and Y d that is a subset of the extracted elements is generated. Hereinafter, the generation of the subset will be described using the same notation. A configuration may be adopted in which a flag indicating whether or not each element is a subset is provided and a flag is set when extracting an element without generating a new array or list as a subset. In this configuration, only the elements that are a subset can be acquired by scanning the superordinate elements for each process and referring to the flags of the elements to be scanned.

尚、Ydは、事前に作成しておき、本ステップで入力のみする構成を採用してもよい。また、本実施形態では、図4のように画像を20分割したものとして説明しているが、分割方法はこれに限定されない。また、本実施形態では、終点が分割領域に含まれる動きベクトルを入力するとして説明しているが、始点が分割領域に含まれる動きベクトルを入力する構成を採用してもよい。また、分割領域の走査順も、ラスター順に限定されない。さらには、動きベクトルvの終点Bが、分割領域の8近傍の分割領域と自身の領域に含まれる否かを判定する関数をneighbour(d,B)とすると、 Y d may be created in advance and may be configured to be input only in this step. In the present embodiment, the image is divided into 20 as shown in FIG. 4, but the dividing method is not limited to this. In this embodiment, the end point is described as inputting a motion vector included in the divided region. However, a configuration may be adopted in which the starting point is input a motion vector included in the divided region. Further, the scanning order of the divided areas is not limited to the raster order. Furthermore, if the function for determining whether or not the end point B of the motion vector v is included in the divided area near the divided area and its own area is defined as neighbor (d, B),

Figure 2015084186
Figure 2015084186

という式を用いて、ベクトルの集合Ydを作成してもよい。例えば、分割領域番号が9の場合、分割領域の8近傍の分割領域と自身の領域とは、図4(a)の太線で囲まれた9つの分割領域になる。但し、近傍領域が画面外に存在する場合には、画面内の領域から、ベクトルの集合Ydが作成されるものとする。 The vector set Y d may be created using the following expression. For example, when the divided region number is 9, the divided regions near the divided region 8 and its own region are nine divided regions surrounded by the bold lines in FIG. However, if a nearby region exists outside the screen, a vector set Y d is created from the region in the screen.

S3020では、CPU105が、入力した動きベクトルを用いて代表ベクトル(第一の動きパラメータ)を算出する。本実施形態では、代表ベクトルを算出するサブルーチンを実行するものとする。このサブルーチンの動作については、図5を用いて後述する。尚、本実施形態では、ロバスト推定を用いる図5に示すフローチャートを用いて説明するが、M推定、最小メジアン法等の他の推定手法を用いてもよい。以下、代表ベクトルを   In S3020, the CPU 105 calculates a representative vector (first motion parameter) using the input motion vector. In this embodiment, a subroutine for calculating a representative vector is executed. The operation of this subroutine will be described later with reference to FIG. Although the present embodiment will be described with reference to the flowchart shown in FIG. 5 using robust estimation, other estimation methods such as M estimation and minimum median method may be used. Below, representative vectors

Figure 2015084186
Figure 2015084186

と表現する。 It expresses.

S3030では、CPU105が、入力した動きベクトルの集合から代表ベクトルに対応する動きベクトル(類似動きベクトル)を抽出する。本実施形態では、ロバスト推定における許容誤差を設定し、代表ベクトルと入力した動きベクトルのベクトル成分の差分の絶対値が許容誤差以内の動きベクトルを、代表ベクトルに対応する類似動きベクトルとして抽出する。許容誤差の値e2は、後述のS3050で使われるRANSAC処理の許容誤差のeh(本実施形態では、3を設定する)に対して、下記の式で計算されるものとする。 In S3030, the CPU 105 extracts a motion vector (similar motion vector) corresponding to the representative vector from the set of input motion vectors. In the present embodiment, an allowable error in robust estimation is set, and a motion vector whose absolute value of a difference between vector components of the representative vector and the input motion vector is within an allowable error is extracted as a similar motion vector corresponding to the representative vector. The allowable error value e 2 is calculated by the following equation with respect to the allowable error e h (set to 3 in the present embodiment) of the RANSAC process used in S3050 described later.

Figure 2015084186
Figure 2015084186

尚、本実施形態では、k=5とするが、この値に限定されるものではない。このように、S3020における許容誤差の値e2は、S3050における許容誤差のehよりも大きい値が設定される。 In this embodiment, k = 5, but the value is not limited to this value. Thus, the allowable error value e 2 in S3020 is set to a value larger than the allowable error e h in S3050.

また、画像の高さをimage_height、除数をdivとして、   Also, the image height is image_height and the divisor is div.

Figure 2015084186
Figure 2015084186

という計算式を用いて許容誤差のehを計算してもよい。尚、本実施形態では、k=5、div=360として計算するが、これらの値に限定されるものではない。 It may be calculated e h tolerance using a formula that. In this embodiment, the calculation is performed with k = 5 and div = 360, but the present invention is not limited to these values.

このとき、第c番フレームの分割領域dの抽出された動きベクトルの集合Vdは、 At this time, a set V d of motion vectors extracted from the divided region d of the c-th frame is

Figure 2015084186
Figure 2015084186

Figure 2015084186
Figure 2015084186

として抽出できる。尚、本実施形態では、ベクトルの差分の絶対値に対し許容誤差の判定を行ってベクトルを抽出しているが、他の方法でも抽出できる。例えば、ベクトルの差分のそれぞれの成分に対し個別に許容誤差の判定を行ってもよい。具体的には、 Can be extracted as In this embodiment, the tolerance is determined for the absolute value of the vector difference and the vector is extracted. However, other methods can be used. For example, the allowable error may be individually determined for each component of the vector difference. In particular,

Figure 2015084186
Figure 2015084186

として動きベクトルを抽出できる。許容誤差はそれぞれe2x=5eh、e2y=3eh等の値をとる。 The motion vector can be extracted as The tolerances take values such as e 2x = 5e h and e 2y = 3e h .

S3040では、CPU105が、全分割領域の処理が終了したか否か判定する。処理が終了している場合(S3040でYES)、S3050に遷移する。一方、処理が終了していない場合(ステップS3040でNO)、S3010に遷移し、以後、S3010からS3040のステップが繰り返される。   In S3040, the CPU 105 determines whether or not the processing of all the divided areas has been completed. If the process has been completed (YES in S3040), the process proceeds to S3050. On the other hand, if the process has not ended (NO in step S3040), the process proceeds to S3010, and thereafter, the steps from S3010 to S3040 are repeated.

S3050では、CPU105が、全分割領域から抽出した動きベクトルを入力して回転行列(第二の動きパラメータ)を推定する。本実施形態では、許容誤差ehを3としてRANSACを実行するサブルーチンが呼び出すものとする。サブルーチンの動作説明については図6を用いて後述する。 In S3050, the CPU 105 inputs a motion vector extracted from all the divided regions and estimates a rotation matrix (second motion parameter). In the present embodiment, it is assumed that a subroutine for executing RANSAC with an allowable error e h of 3 is called. The operation of the subroutine will be described later with reference to FIG.

以下、図3のS3020における分割領域単位で代表ベクトルを算出するサブルーチンの動作について、図5を用いて説明する。図5は、実施形態1の代表ベクトルの算出処理の詳細を示すフローチャートである。   Hereinafter, the operation of the subroutine for calculating the representative vector for each divided region in S3020 of FIG. 3 will be described with reference to FIG. FIG. 5 is a flowchart illustrating details of the representative vector calculation processing according to the first embodiment.

S5000では、CPU105が、イテレーション数をインクリメントする。尚、イテレーション数は、事前に0で初期化されているものとする。   In S5000, the CPU 105 increments the number of iterations. It is assumed that the number of iterations is initialized to 0 in advance.

S5010では、CPU105が、比較対象となるサンプル全体からランダムに動きベクトルを取得する。本サブルーチンの動作におけるサンプル全体とは、少なくとも1つの対象分割領域に含まれる全ての動きベクトルであり、本実施形態では、一つの動きベクトルvrを取得する。 In step S5010, the CPU 105 acquires a motion vector randomly from the entire sample to be compared. The entire sample in the operation of this subroutine are all motion vectors included in at least one subject divided region, in the present embodiment, to obtain a single motion vector v r.

S5020では、CPU105が、取得した動きベクトルとサンプル全体の動きベクトルの差を算出し、差が許容誤差内のデータ数をインライア数としてカウントする。以後、このインライア数をcinlierとすると In S5020, the CPU 105 calculates the difference between the acquired motion vector and the motion vector of the entire sample, and counts the number of data within which the difference is within an allowable error as the number of inliers. From now on, if this inlier number is c inlier

Figure 2015084186
Figure 2015084186

として計算できる。 Can be calculated as

S5030では、CPU105が、現在までのイテレーションでインライア数が最大であるか否か判定する。真である場合(S5030でYES)、S5040へ遷移し、偽である場合(S5030でNO)、S5050へ遷移する。尚、例外として、一回目のS5030の実行では、必ず、S5040へ遷移するものとする。   In S5030, the CPU 105 determines whether or not the number of inliers is the maximum in the iteration up to now. If true (YES in S5030), the process proceeds to S5040. If false (NO in S5030), the process proceeds to S5050. As an exception, the first execution of S5030 always makes a transition to S5040.

S5040では、CPU105が、取得した動きベクトルをベストパラメータとして保存する。本実施形態では、ベストパラメータは、   In S5040, the CPU 105 stores the acquired motion vector as the best parameter. In this embodiment, the best parameter is

Figure 2015084186
Figure 2015084186

であり、 And

Figure 2015084186
Figure 2015084186

として、 As

Figure 2015084186
Figure 2015084186

を更新する。 Update.

S5050では、CPU105が、イテレーション数が上限数に達したか否かを判定する。上限数に達した場合(S5050でYES)、S5070へ遷移する。一方、上限数に達していない場合(S5050でNO)、S5060へ遷移する。   In S5050, the CPU 105 determines whether or not the number of iterations has reached the upper limit number. When the upper limit number is reached (YES in S5050), the process proceeds to S5070. On the other hand, if the upper limit number has not been reached (NO in S5050), the process proceeds to S5060.

尚、本実施形態では、上限を50回とする。但し、この回数に限定されるものではない。例えば、入力される画像のフレームレートが60fpsの場合、図2のフローチャートは16ms以内で完了する必要がある。そのため、CPU105のスペックや数によって、最適な値が決定される。   In the present embodiment, the upper limit is 50 times. However, the number of times is not limited. For example, when the frame rate of the input image is 60 fps, the flowchart of FIG. 2 needs to be completed within 16 ms. Therefore, an optimal value is determined according to the specifications and number of CPUs 105.

S5060では、CPU105が、イテレーション数が十分であるか否かを判定する。イテレーション数が十分である場合(S5060でYES)、S5070に遷移し、不十分である場合(S5060でNO)、S5000へ遷移する。この判定は、イテレーション数が(式11)によって算出されるN値を超える場合に十分と判定される。   In S5060, the CPU 105 determines whether the number of iterations is sufficient. If the number of iterations is sufficient (YES in S5060), the process proceeds to S5070, and if insufficient (NO in S5060), the process proceeds to S5000. This determination is determined to be sufficient when the number of iterations exceeds the N value calculated by (Equation 11).

Figure 2015084186
Figure 2015084186

sampleは、正しいサンプル(動きベクトル)が最低一つ存在する確率である。本実施形態では、サンプルが99%の確率で存在すると仮定し、psample=0.99とする。mは、パラメータの算出に必要な動きベクトルの数である。二次元ベクトルを算出する場合は、m=1である。また、ホモグラフィ行列や回転行列の場合は、m=4となる。(式11)は、同じrinlierであれば、mが小さい程、小さいN値を導出する式である。つまり、図5のフローチャートでは、mが小さい程、イテレーション数が少なくなることになる。(式11)中のrinlierは、下記の式により算出される。 p sample is the probability that there is at least one correct sample (motion vector). In this embodiment, it is assumed that a sample exists with a probability of 99%, and p sample = 0.99. m is the number of motion vectors necessary for parameter calculation. When calculating a two-dimensional vector, m = 1. In the case of a homography matrix or a rotation matrix, m = 4. (Equation 11) is an equation for deriving a smaller N value as m is smaller for the same r inlier . That is, in the flowchart of FIG. 5, the smaller the m, the smaller the number of iterations. R inlier in (Expression 11) is calculated by the following expression.

Figure 2015084186
Figure 2015084186

ここで、cinlierは、S5020で算出したインライア数である。|Vd|は、S3030で抽出した動きベクトルの要素数である。 Here, c inlier is the number of inliers calculated in S5020. | V d | is the number of elements of the motion vector extracted in S3030.

S5070では、CPU105が、ベストパラメータとして戻り値を返す。本実施形態では、S5070が実行される時点での   In S5070, the CPU 105 returns a return value as the best parameter. In the present embodiment, at the time when S5070 is executed

Figure 2015084186
Figure 2015084186

が返され、これが分割領域の代表ベクトルにあたる。 Is returned, which corresponds to the representative vector of the divided area.

以下、図3のS3050における回転行列を推定するサブルーチンの動作について、図6を用いて説明する。   Hereinafter, the operation of the subroutine for estimating the rotation matrix in S3050 in FIG. 3 will be described with reference to FIG.

図6は、RANSACを用いる回転行列の推定処理の詳細を示すフローチャートである。基本的な動作フローは、図5の処理と同じであるが、図6では、S6011が追加され、S5010とS5020が、S6010とS6020に置き換えられている。   FIG. 6 is a flowchart showing details of a rotation matrix estimation process using RANSAC. The basic operation flow is the same as the processing in FIG. 5, but in FIG. 6, S6011 is added, and S5010 and S5020 are replaced with S6010 and S6020.

S6000では、CPU105が、イテレーション数をインクリメントする。   In S6000, the CPU 105 increments the number of iterations.

S6010では、CPU105が、入力サンプル全体から4つの動きベクトルを取得する。本実施形態において、入力サンプル全体とは、図3のフローチャートで抽出した動きベクトルの全分割領域に対する集合である。つまり、入力サンプル全体Zは、   In step S6010, the CPU 105 acquires four motion vectors from the entire input sample. In the present embodiment, the entire input sample is a set of all motion vectors extracted in the flowchart of FIG. That is, the entire input sample Z is

Figure 2015084186
Figure 2015084186

と表現される。 It is expressed.

S6011では、CPU105が、4つの動きベクトルから行列を算出する。このとき、取得した動きベクトルをvj(但し、jは1から4)と表現する。算出する行列はS2020における In S6011, the CPU 105 calculates a matrix from the four motion vectors. At this time, the acquired motion vector is expressed as v j (where j is 1 to 4). The matrix to be calculated in S2020

Figure 2015084186
Figure 2015084186

である。本ステップでは、方程式を解いて下記を満足する回転行列のそれぞれの要素を算出する。 It is. In this step, the equation is solved to calculate each element of the rotation matrix that satisfies the following.

Figure 2015084186
Figure 2015084186

尚、回転行列の算出は様々な方法があり、例えば、非特許文献1に記載されている方法を利用できるため、ここでは、詳細な説明は省略する。回転行列の算出方法によっては、サンプルの選び方によって行列が算出できない場合がある。行列算出の失敗を判定して、失敗と判定された場合には、処理をS5000へ遷移させ、再度、処理が行われるものとする。   Note that there are various methods for calculating the rotation matrix. For example, the method described in Non-Patent Document 1 can be used, and thus detailed description thereof is omitted here. Depending on how the rotation matrix is calculated, the matrix may not be calculated depending on how the samples are selected. If it is determined that the matrix calculation has failed and it is determined that the process has failed, the process proceeds to S5000, and the process is performed again.

S6020では、CPU105が、サンプル全体に対し、動きベクトルの始点を、算出した行列で射影した点と終点との距離を算出し、距離が許容誤差内のデータ数をインライア数としてカウントする。この許容誤差は、前述のehである。回転行列推定におけるインライア数cHinlierは、 In step S6020, the CPU 105 calculates the distance between the point where the start point of the motion vector is projected with the calculated matrix and the end point of the entire sample, and counts the number of data whose distance is within the allowable error as the number of inliers. This tolerance is the aforementioned e h. The inlier number c Hinlier in the rotation matrix estimation is

Figure 2015084186
Figure 2015084186

として計算できる。 Can be calculated as

以降は、図5と同様に、イテレーションを繰り返すことにより、回転行列を推定することができる。   Thereafter, as in FIG. 5, the iteration matrix can be estimated by repeating the iteration.

一般に、アウトライアの比率(以下、アウトライア率)が高い動きベクトルを入力とし、RANSACを用いて回転行列を推定すると、イテレーション数が多くなるという問題がある。また、ロバスト推定技術の一つで比較的処理が軽いとされ、処理時間が短いM推定は、アウトライア率が高い場合には十分な推定性能が発揮できない。   In general, when a motion vector having a high outlier ratio (hereinafter, “outlier ratio”) is input and a rotation matrix is estimated using RANSAC, there is a problem that the number of iterations increases. Further, one of the robust estimation techniques is considered to be relatively light in processing, and M estimation with a short processing time cannot exhibit sufficient estimation performance when the outlier rate is high.

そこで、本実施形態では、行列推定の前に分割領域毎に代表ベクトルを算出し、代表ベクトルに対応する類似の動きベクトルを抽出している。これにより、画像全体の動きを表現する回転行列の推定の入力となる動きベクトルのアウトライアを除去し、RANSACのイテレーション数を減少させる、あるいは、M推定の推定性能を向上させることができる。代表ベクトルを算出する処理は、複雑な行列演算がないため処理量が非常に少ない。そのため、例えば、RANSACに適用する場合、その前処理として類似動きベクトルを抽出する処理のオーバーヘッドを考慮してもトータルの処理時間の大幅な短縮が可能となる。   Therefore, in this embodiment, a representative vector is calculated for each divided region before matrix estimation, and a similar motion vector corresponding to the representative vector is extracted. As a result, it is possible to remove the outlier of the motion vector that is an input of the estimation of the rotation matrix expressing the motion of the entire image, to reduce the number of RANSAC iterations, or to improve the estimation performance of M estimation. The processing for calculating the representative vector is very small because there is no complicated matrix operation. Therefore, for example, when applied to RANSAC, the total processing time can be significantly shortened even if the processing overhead for extracting similar motion vectors is taken into consideration as the preprocessing.

また、例えば、60fpsの画像では、一つのフレームの処理を16ms以内に完了する必要がある。そのため、イテレーション数に上限を設ける必要があるが、この場合でも、本実施形態を用いれば、イテレーション数が上限に達しにくく、安定的に行列を推定できる。これにより、行列を用いて画像を防振する場合、行列推定の失敗の確率が減り、より安定的で自然な防振が可能となる。尚、本実施形態では、画像の防振を行うことを例に、代表ベクトルの決定と類似動きベクトルの抽出処理を実施してから、画像全体の動きを表現する行列の算出方する法について説明している。しかし、算出した画像全体の動き情報を利用するアプリケーションはこれに限定されず、画像合成、符号化、自由視点合成等にも応用できる。   For example, in the case of an image of 60 fps, it is necessary to complete processing of one frame within 16 ms. Therefore, although it is necessary to provide an upper limit for the number of iterations, even in this case, if this embodiment is used, it is difficult for the number of iterations to reach the upper limit, and a matrix can be estimated stably. As a result, when an image is shaken using a matrix, the probability of matrix estimation failure is reduced, and more stable and natural image stabilization is possible. In the present embodiment, a method for calculating a matrix that represents the motion of the entire image after determining the representative vector and extracting the similar motion vector will be described by taking image stabilization as an example. doing. However, the application using the calculated motion information of the entire image is not limited to this, and can be applied to image synthesis, encoding, free viewpoint synthesis, and the like.

本実施形態では、二次元の代表ベクトルを算出してから回転行列を算出する構成を説明している。しかし、領域を代表する二次元ベクトルを算出してから面(処理対象画像)全体の動きを表現するアフィン変換行列、あるいは、領域を代表するアフィン変換行列を算出してから画像全体の動きを表現する回転行列を算出する構成にも適用できる。アフィン変換行列Tは、   In the present embodiment, a configuration is described in which a rotation matrix is calculated after calculating a two-dimensional representative vector. However, after calculating a two-dimensional vector that represents the area, the affine transformation matrix that represents the movement of the entire surface (image to be processed), or the affine transformation matrix that represents the area, and then representing the movement of the entire image The present invention can also be applied to a configuration for calculating a rotation matrix. The affine transformation matrix T is

Figure 2015084186
Figure 2015084186

と表現される。 It is expressed.

アフィン変換行列も、複数の動きベクトルから回転行列を算出する方法と同様の方法で計算できる。しかし、回転行列に比べると要素数が少ない(パラメータの自由度が小さい)ため、行列演算の演算量が少なく、また、RANSACに必要なイテレーション回数も少なく済むため、領域を代表する動き情報推定にも十分利用できる。   The affine transformation matrix can also be calculated by a method similar to the method for calculating the rotation matrix from a plurality of motion vectors. However, since the number of elements is small compared to the rotation matrix (the degree of freedom of parameters is small), the amount of matrix calculation is small, and the number of iterations required for RANSAC is also small, so motion information estimation representing a region can be performed. Can also be used.

また、本実施形態では、代表ベクトルを算出する処理にRANSACを用いているが、これに限定されず、M推定、最小メジアン法、最小二乗法、平均、全探索的なロバスト推定を用いてもよい。全探索は、通常のRANSACのフローチャートと同様であるが、サンプルをランダムに選択するステップが、一回のイテレーション毎にサンプルが順に取得されるステップとなり、最大でサンプル数だけイテレーションを実行する構成となる。全探索であっても、代表ベクトルを算出する処理は複雑な行列演算がないため、その処理負荷は3×3のィ行列をロバスト推定により算出する場合に比べ大きくない。また、許容誤差内に収まるインライアの比率から処理を打ち切る処理を持てば、ワーストケース以外、サンプル数のイテレーションを繰り返す必要もない。このような全探索的な手法であっても、アウトライアを含んだ入力データからパラメータを推定できるロバスト性を持たせることができる。   In the present embodiment, RANSAC is used for the process of calculating the representative vector. However, the present invention is not limited to this, and M estimation, least median method, least square method, average, and full search robust estimation may be used. Good. The full search is the same as the normal RANSAC flowchart, but the step of randomly selecting a sample is a step in which samples are sequentially acquired for each iteration, and the maximum number of samples is executed. Become. Even in the full search, the processing for calculating the representative vector does not involve a complicated matrix operation, so the processing load is not large compared to the case of calculating a 3 × 3 matrix by robust estimation. Further, if the processing is terminated from the ratio of inliers within the allowable error, it is not necessary to repeat the iteration of the number of samples other than the worst case. Even such a full-search method can provide robustness capable of estimating parameters from input data including outliers.

以上説明したように、実施形態1によれば、画像全体の動きパラメータをロバスト推定で算出する際に、事前にインライアを抽出することにより、アウトライア率を低減させて、処理時間を短縮することができる。また、動画処理等の既定時間内に処理を完了させるためにイテレーションの上限回数を設定する場合、イテレーションが上限に達する割合が減少し、推定性能を安定することができる。   As described above, according to the first embodiment, when calculating the motion parameters of the entire image by robust estimation, the outlier rate is reduced and the processing time is shortened by extracting inliers in advance. Can do. Further, when the upper limit number of iterations is set in order to complete the processing within a predetermined time such as moving image processing, the rate at which the iteration reaches the upper limit is reduced, and the estimation performance can be stabilized.

<実施形態2>
実施形態2では、連続する画像から回転行列を推定して電子防振処理を行う構成について説明する。本実施形態では、実施形態1に対し、図3のS3030での類似動きベクトルを抽出するステップを実行する代わりに、図7に示す類似動きベクトルを抽出する処理がサブルーチンとして実行される。他の処理は、実施形態1に準ずるものとする。
<Embodiment 2>
In the second embodiment, a configuration for performing electronic image stabilization processing by estimating a rotation matrix from continuous images will be described. In the present embodiment, a process of extracting a similar motion vector shown in FIG. 7 is executed as a subroutine instead of executing the step of extracting the similar motion vector in S3030 of FIG. Other processing is based on the first embodiment.

以下、類似動きベクトル抽出の動作について、図7を参照して説明する。図7は類似動きベクトルの抽出処理の詳細を示すフローチャートである。   Hereinafter, the operation of extracting similar motion vectors will be described with reference to FIG. FIG. 7 is a flowchart showing details of the similar motion vector extraction process.

S7000では、CPU105が、ベストパラメータである領域の代表ベクトルと差が許容誤差   In S7000, the CPU 105 determines that the difference from the representative vector of the area that is the best parameter is an allowable error.

Figure 2015084186
Figure 2015084186

内の領域内の動きベクトル(類似動きベクトル)を抽出する。 A motion vector (similar motion vector) in the inner region is extracted.

Figure 2015084186
Figure 2015084186

の初期値は1とする。 The initial value of is 1.

Figure 2015084186
Figure 2015084186

S7010では、抽出した動きベクトルの数をカウントする。この値を   In S7010, the number of extracted motion vectors is counted. This value

Figure 2015084186
Figure 2015084186

とすると If

Figure 2015084186
Figure 2015084186

と表現できる。 Can be expressed as

S7020は、CPU105が、抽出したデータ数が領域内の動きベクトルの所定割合以上であるか否かを判定する。ここで、所定割合は、例えば、25%である。本実施形態では、代表ベクトルとの差が許容誤差内である動きベクトルの数と領域内の全動きベクトル数の比率をインライア率   In S7020, the CPU 105 determines whether or not the number of extracted data is equal to or greater than a predetermined ratio of the motion vectors in the region. Here, the predetermined ratio is, for example, 25%. In this embodiment, the ratio of the number of motion vectors whose difference from the representative vector is within an allowable error and the total number of motion vectors in the region is the inlier ratio.

Figure 2015084186
Figure 2015084186

と表現する。 It expresses.

このとき、   At this time,

Figure 2015084186
Figure 2015084186

は、 Is

Figure 2015084186
Figure 2015084186

として計算できる。判定結果が真の場合(S7020でYES)、S7040へ遷移し、偽の場合(S7020でNO)、S7030へ遷移する。 Can be calculated as If the determination result is true (YES in S7020), the process proceeds to S7040, and if false (NO in S7020), the process proceeds to S7030.

S7030では、CPU105が、許容誤差   In S7030, the CPU 105 determines the allowable error.

Figure 2015084186
Figure 2015084186

を所定倍(例えば、1.5倍)に拡大する。その後、S7000へ遷移する。 Is enlarged to a predetermined magnification (for example, 1.5 times). Thereafter, the process proceeds to S7000.

S7040では、CPU105が、抽出した動きベクトルをサブルーチンの呼び出し元に返す。この動きベクトルの集合はイテレーションが終了時点の   In S7040, the CPU 105 returns the extracted motion vector to the subroutine caller. This set of motion vectors is at the end of the iteration.

Figure 2015084186
Figure 2015084186

である。 It is.

本実施形態において、回転行列を算出するためのRANSACに入力される動きベクトルはS7040で返された動きベクトルの集合である。   In the present embodiment, the motion vector input to RANSAC for calculating the rotation matrix is the set of motion vectors returned in S7040.

以上説明したように、実施形態2によれば、許容誤差の初期値に小さい値を設定し、許容誤差を大きくしながらイテレーションを繰り返して類似動きベクトルを抽出する。つまり、類似動きベクトルを抽出のための許容誤差が適応的に設定されることになる。これにより、許容誤差が小さすぎて、十分な数の動きベクトルが検出できないという問題を回避することができる。また、本実施形態では、許容誤差を大きくしながらイテレーションを繰り返しているが、逆に初期値に大きい値を設定し値を小さくしていく構成を採用してもよい。この場合の初期値は、本実施形態を防振に適用する場合、防振の最大補正量であり、画像高の10%等の値が用いられる。   As described above, according to the second embodiment, a small value is set as the initial value of the allowable error, and the iteration is repeated while extracting the similar motion vector while increasing the allowable error. That is, an allowable error for extracting similar motion vectors is adaptively set. As a result, it is possible to avoid the problem that the allowable error is too small to detect a sufficient number of motion vectors. Further, in the present embodiment, iteration is repeated while increasing the allowable error. Conversely, a configuration in which a large value is set as the initial value and the value is decreased may be employed. The initial value in this case is the maximum amount of image stabilization when the present embodiment is applied to image stabilization, and a value such as 10% of the image height is used.

さらには、2つを複合した構成を採用してもよい。例えば、許容誤差を増減させながらインライア率が20%から30%の範囲に収まる最適な許容誤差を探索していく構成を採用してもよい。尚、本実施形態では、目標とするインライア率を25%としているが、これに限定されるものではない。例えば、目標とするインライア率は、ターゲットのアプリケーション、処理速度、入力画像の特性、行列を推定するために用いられるロバスト推定アルゴリズムに応じて適切な値が設定される。   Furthermore, you may employ | adopt the structure which compounded two. For example, a configuration may be adopted in which an optimum tolerance error that falls within the range of 20% to 30% is searched for while increasing or decreasing the tolerance error. In the present embodiment, the target inlier ratio is 25%, but the present invention is not limited to this. For example, the target inlier rate is set to an appropriate value according to the target application, the processing speed, the characteristics of the input image, and the robust estimation algorithm used for estimating the matrix.

<実施形態3>
実施形態3では、連続する画像から回転行列を推定して電子防振処理を行う構成について説明する。本実施形態は、実施形態2の類似動きベクトルの抽出処理の変形例である。
<Embodiment 3>
In the third embodiment, a configuration for performing electronic image stabilization processing by estimating a rotation matrix from continuous images will be described. The present embodiment is a modification of the similar motion vector extraction process of the second embodiment.

本実施形態において、S2020における動き検出は、特徴点検出を用いるとものとする。特徴点検出による動き検出結果から防振処理を行っても、ブロックマッチングによる動き検出結果から防振処理を行っても、動き検出以外に、基本的な処理の違いはない。但し、特徴点検出の場合、特徴点から生成される動きベクトルの数は一定になりにくい。また、動きベクトルの分布も不均一になることがある。   In this embodiment, the motion detection in S2020 uses feature point detection. There is no difference in basic processing other than motion detection whether the image stabilization processing is performed from the motion detection result by the feature point detection or the image stabilization processing is performed from the motion detection result by the block matching. However, in the case of feature point detection, the number of motion vectors generated from feature points is difficult to be constant. Also, the motion vector distribution may be non-uniform.

以下、類似動きベクトル抽出の動作について図8を参照して用いて説明する。図8は類似動きベクトルの抽出処理の詳細を示すフローチャートである。図8は、実施形態2の図7のフローチャートの変形例であるので、図7と同一のステップは同一の参照番号を付加して、その詳細については省略する。   Hereinafter, the similar motion vector extraction operation will be described with reference to FIG. FIG. 8 is a flowchart showing details of the similar motion vector extraction process. FIG. 8 is a modification of the flowchart of FIG. 7 of the second embodiment, and therefore the same steps as those in FIG. 7 are denoted by the same reference numerals and the details thereof are omitted.

S8020は、CPU105が、抽出した動きベクトル数が抽出目標数以下であるか否かを判定する。目標数は、例えば、15である。判定結果が真の場合(S8020でYES)、S7040へ遷移し、偽の場合(S8020でNO)、S7000へ遷移する。   In step S8020, the CPU 105 determines whether the number of extracted motion vectors is equal to or less than the extraction target number. The target number is, for example, 15. If the determination result is true (YES in S8020), the process proceeds to S7040, and if false (NO in S8020), the process proceeds to S7000.

S8030では、CPU105が、許容誤差を減少する。これは、例えば、許容誤差を所定倍(例えば、0.75倍)にすることで実現する。その後、S7000へ遷移する。尚、許容誤差の初期値は、予め大きな値、例えば、画像高の10%の値が設定されているものとする。   In S8030, the CPU 105 reduces the allowable error. This is realized, for example, by increasing the allowable error by a predetermined value (for example, 0.75 times). Thereafter, the process proceeds to S7000. Note that the initial value of the allowable error is set to a large value in advance, for example, a value of 10% of the image height.

以上説明したように、実施形態3によれば、許容誤差を小さくしながらイテレーションを繰り返して類似動きベクトルを抽出する。つまり、類似動きベクトルを抽出のための許容誤差が適応的に設定されることになる。これにより、許容誤差が大きすぎて、アウトライア率の高い不要な動きベクトルを多く抽出しすぎる問題を回避することができる。   As described above, according to the third embodiment, a similar motion vector is extracted by repeating iteration while reducing the allowable error. That is, an allowable error for extracting similar motion vectors is adaptively set. As a result, it is possible to avoid the problem that the allowable error is too large and too many unnecessary motion vectors having a high outlier rate are extracted.

また、本実施形態では、許容誤差を小さくしながらイテレーションを繰り返しているが、逆に、初期値に小さい値を設定し許容誤差を大きくしていく構成を採用する、あるいは、2つを複合した構成を採用してもよい。例えば、許容誤差を増減させながら、動きベクトルが15から30の範囲に収まるように、最適な許容誤差を探索していく構成を採用してもよい。   In this embodiment, iteration is repeated while reducing the allowable error. Conversely, a configuration is adopted in which a small value is set as the initial value and the allowable error is increased, or two are combined. A configuration may be adopted. For example, a configuration may be adopted in which an optimum allowable error is searched so that the motion vector falls within a range of 15 to 30 while increasing or decreasing the allowable error.

尚、本実施形態では、動きベクトルの抽出目標数を15としているが、これに限定されない。抽出目標数は、ターゲットのアプリケーション、処理速度、入力画像の特性、行列を推定するために用いられるロバスト推定アルゴリズムに応じて適切な値が設定される。3×3行列を推定するRANSACでは、300のサンプルがあれば十分なので、本実施形態では、300を領域分間数である20で割った値である15を抽出目標数としている。   In this embodiment, the target number of motion vector extractions is 15, but the present invention is not limited to this. The extraction target number is set to an appropriate value according to the target application, the processing speed, the characteristics of the input image, and the robust estimation algorithm used for estimating the matrix. In the RANSAC for estimating the 3 × 3 matrix, it is sufficient if there are 300 samples. Therefore, in the present embodiment, the extraction target number is 15 which is a value obtained by dividing 300 by 20 which is the number of regions.

<実施形態4>
実施形態4は、代表ベクトルの算出にRANSACを用いずに、代表ベクトルを算出する構成について説明する。
<Embodiment 4>
Embodiment 4 demonstrates the structure which calculates a representative vector, without using RANSAC for calculation of a representative vector.

以下、代表ベクトルを算出するサブルーチンの動作について、図9を用いて説明する。図9は代表ベクトルの算出処理の詳細を示すフローチャートである。図9は、実施形態1の図5のフローチャートの代わりに実行される。   Hereinafter, the operation of the subroutine for calculating the representative vector will be described with reference to FIG. FIG. 9 is a flowchart showing details of the representative vector calculation process. FIG. 9 is executed instead of the flowchart of FIG. 5 of the first embodiment.

S9010では、CPU105が、領域内の動きベクトル全体から平均動きベクトルを算出する。平均動きベクトルは、下記のように計算される。   In step S9010, the CPU 105 calculates an average motion vector from all the motion vectors in the region. The average motion vector is calculated as follows.

Figure 2015084186
Figure 2015084186

S9020では、CPU105が、平均動きベクトルと距離差が許容誤差eavg以内の動きベクトルを抽出する。ここで、抽出した動きベクトルの集合Vavgは、下記のように表現できる。 In S9020, the CPU 105 extracts a motion vector whose distance difference from the average motion vector is within an allowable error e avg . Here, the extracted set of motion vectors V avg can be expressed as follows.

Figure 2015084186
Figure 2015084186

S9030では、CPU105が、S9020で抽出した動きベクトルの平均動きベクトル(第二の平均動きベクトル)を再度算出する。   In S9030, the CPU 105 calculates again the average motion vector (second average motion vector) of the motion vectors extracted in S9020.

Figure 2015084186
Figure 2015084186

S9040では、CPU105が、第二の平均動きベクトルを戻り値として返す。   In S9040, the CPU 105 returns the second average motion vector as a return value.

この戻り値である   This is the return value

Figure 2015084186
Figure 2015084186

を代表ベクトルとして、実施形態1で説明した処理を実行することにより防振が可能となる。 By using the representative vector as a representative vector and executing the processing described in the first embodiment, image stabilization is possible.

以上説明したように、実施形態4によれば、代表ベクトルの算出にRANSACを用いるため、分割領域内の動きベクトルのアウトライア率が低い場合の利用に限られるものの、高速に代表ベクトルを算出することができる。   As described above, according to the fourth embodiment, since RANSAC is used for calculating the representative vector, the use of the motion vector in the divided region is limited to use when the outlier rate is low, but the representative vector is calculated at high speed. be able to.

<実施形態5>
実施形態5は、インテリジェントな領域分割を用いて分割領域毎に代表ベクトルを算出する構成について説明する。
<Embodiment 5>
Embodiment 5 describes a configuration for calculating a representative vector for each divided region using intelligent region division.

図10は、オブジェクト単位の領域分割を用いる変換行列の推定処理の詳細を示すフローチャートである。図10は、実施形態1の図3のフローチャートに対し、S10000が追加されている。   FIG. 10 is a flowchart showing details of the transformation matrix estimation process using object-based region division. In FIG. 10, S10000 is added to the flowchart of FIG. 3 of the first embodiment.

S10000は、CPU105が、入力画像をオブジェクト単位で領域分割する。領域分割方法には様々な方法が存在するが、本実施形態では、k−means法を用いて分割するものとする。分割数は8とする。各分割領域には番号が付けられる。番号の順序は任意である。尚、分割アルゴリズムや分割数はこれに限定されず、他の方式、分割数であってもよい。このようにして画像を分割すると、例えば、図11のように分割される。図11は、画像がオブジェクト単位で分割された状態と分割領域の番号の例を示す図である。分割領域の番号の振り方は任意である。   In S10000, the CPU 105 divides the input image into regions in units of objects. Various methods exist for the region dividing method. In this embodiment, the region is divided using the k-means method. The number of divisions is 8. Each divided area is numbered. The order of the numbers is arbitrary. The division algorithm and the number of divisions are not limited to this, and other methods and division numbers may be used. When the image is divided in this way, for example, it is divided as shown in FIG. FIG. 11 is a diagram illustrating an example of a state where an image is divided in units of objects and numbers of divided areas. The numbering method of the divided areas is arbitrary.

S3010以降は、格子状に区切られた分割領域の代わりに任意の形状の分割領域を対象にする以外は、実施形態1と同様の処理が実行される。   After S3010, the same processing as that in the first embodiment is executed except that a divided region having an arbitrary shape is used instead of the divided region divided in a lattice shape.

以上説明したように、実施形態5によれば、オブジェクト単位で画像を分割して、そのオブジェクトの領域毎に、代表ベクトルを算出する。同一オブジェクトに含まれる動きベクトルのベクトル成分は同一になる可能性が高いため、同一の許容誤差であっても代表ベクトルに類似のベクトルを抽出する際のインライア率を高めることができる。このため、回転行列推定においては、同一の動きを持つオブジェクトの集合の面積が最も大きい集合に含まれる動きベクトルが、画像全体の動きの主要成分となる傾向が強まる。これは、推定した回転行列を用いて防振を行う場合、広い面積が安定して防振されることになり、防振の安定性を高めることができる。   As described above, according to the fifth embodiment, an image is divided in units of objects, and a representative vector is calculated for each area of the object. Since the vector components of the motion vectors included in the same object are likely to be the same, the inlier ratio when extracting a vector similar to the representative vector can be increased even with the same tolerance. For this reason, in the rotation matrix estimation, the tendency that the motion vector included in the set having the largest area of the set of objects having the same motion becomes the main component of the motion of the entire image increases. This is because, when the image stabilization is performed using the estimated rotation matrix, a large area is stably imaged and the stability of the image stabilization can be improved.

尚、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。   The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.

Claims (14)

時間的に連続する画像を処理する情報処理装置であって、
処理対象画像を分割した分割領域を処理単位として基準画像からの動きを示す第一の動きパラメータを算出する第一の算出手段と、
前記分割領域内の動きベクトルから、前記第一の動きパラメータに対応する動きベクトルを抽出する抽出手段と、
前記分割領域内の動きベクトルから前記抽出手段で抽出した動きベクトルを用いて、前記基準画像からの位置ズレを表現する、前記処理対象画像に関する第二の動きパラメータを算出する第二の算出手段と
を備えることを特徴とする情報処理装置。
An information processing apparatus for processing temporally continuous images,
A first calculation means for calculating a first motion parameter indicating a motion from the reference image using a divided region obtained by dividing the processing target image as a processing unit;
Extracting means for extracting a motion vector corresponding to the first motion parameter from the motion vectors in the divided region;
Second calculation means for calculating a second motion parameter related to the processing target image, which expresses a positional deviation from the reference image, using a motion vector extracted by the extraction means from a motion vector in the divided area; An information processing apparatus comprising:
前記第一の動きパラメータ及び前記第二の動きパラメータは、アウトライアの影響を除外しながらパラメータを推定するロバスト推定で計算される
ことを特徴とする請求項1に記載の情報処理装置。
The information processing apparatus according to claim 1, wherein the first motion parameter and the second motion parameter are calculated by a robust estimation that estimates a parameter while excluding an influence of an outlier.
前記第一の動きパラメータ及び前記第二の動きパラメータは、前記処理対象画像におけるサンプルとなる少なくとも1つの分割領域に含まれる全ての動きベクトルと、該分割領域から取得した動きベクトルとの差が、許容誤差内のデータ数を用いるロバスト推定によって算出される
ことを特徴とする請求項1に記載の情報処理装置。
The first motion parameter and the second motion parameter are the difference between all motion vectors included in at least one divided region to be a sample in the processing target image and a motion vector acquired from the divided region, The information processing apparatus according to claim 1, wherein the information processing apparatus is calculated by robust estimation using a number of data within an allowable error.
前記第一の算出手段におけるロバスト推定で用いる許容誤差は、前記第二の算出手段におけるロバスト推定で用いる許容誤差よりも大きい値が設定される
ことを特徴とする請求項3に記載の情報処理装置。
The information processing apparatus according to claim 3, wherein the allowable error used in the robust estimation in the first calculation means is set to a value larger than the allowable error used in the robust estimation in the second calculation means. .
前記抽出手段は、前記分割領域から抽出する動きベクトルの数が前記分割領域内の動きベクトルの所定割合以上となるように、前記第一の算出手段におけるロバスト推定で用いる許容誤差を設定する
ことを特徴とする請求項3または4に記載の情報処理装置。
The extraction means sets an allowable error used in the robust estimation in the first calculation means so that the number of motion vectors extracted from the divided area is equal to or greater than a predetermined ratio of the motion vectors in the divided area. The information processing apparatus according to claim 3 or 4, wherein the information processing apparatus is characterized in that:
前記抽出手段は、前記分割領域から抽出する動きベクトルの数が抽出目標数以下となるように、前記第一の算出手段におけるロバスト推定で用いる許容誤差を設定する
ことを特徴とする請求項3または4に記載の情報処理装置。
The extraction unit sets an allowable error used in robust estimation in the first calculation unit so that the number of motion vectors extracted from the divided region is equal to or less than a target extraction number. 5. The information processing apparatus according to 4.
前記第一の動きパラメータは、行列であり、
前記抽出手段は、前記分割領域内の動きベクトルから、前記第一のパラメータが示す行列によって動きベクトルの始点を射影した点と、該動きベクトルの終点との距離が許容誤差内である動きベクトルを、前記対応する動きベクトルとして抽出する
ことを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。
The first motion parameter is a matrix;
The extraction means calculates a motion vector whose distance between a point obtained by projecting the start point of the motion vector from the motion vector in the divided area by the matrix indicated by the first parameter and the end point of the motion vector is within an allowable error. The information processing apparatus according to any one of claims 1 to 6, wherein the information is extracted as the corresponding motion vector.
前記第一の動きパラメータは、ベクトルであり、
前記抽出手段は、前記分割領域内の動きベクトルから、前記第一のパラメータが示すベクトルとの距離が許容誤差内である動きベクトルを、前記対応する動きベクトルとして抽出する
ことを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。
The first motion parameter is a vector;
The extraction means extracts, as the corresponding motion vector, a motion vector whose distance from the vector indicated by the first parameter is within an allowable error from the motion vectors in the divided region. The information processing apparatus according to any one of 1 to 6.
前記第一の動きパラメータは、前記分割領域内の動きベクトル全体の平均動きベクトルであり、
前記抽出手段は、前記分割領域内の動きベクトルから、前記第一のパラメータが示す平均動きベクトルとの距離が許容誤差内である動きベクトルを、前記対応する動きベクトルとして抽出する
ことを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。
The first motion parameter is an average motion vector of all motion vectors in the divided region;
The extraction unit extracts, as the corresponding motion vector, a motion vector whose distance from the average motion vector indicated by the first parameter is within an allowable error from the motion vectors in the divided region. The information processing apparatus according to claim 1.
前記第一の動きパラメータの自由度は、前記第二の動きパラメータの自由度よりも小さい
ことを特徴とする請求項1乃至9のいずか1項に記載の情報処理装置。
The information processing apparatus according to claim 1, wherein a degree of freedom of the first motion parameter is smaller than a degree of freedom of the second motion parameter.
前記第二の動きパラメータは、前記処理対象画像の全体に対する動きパラメータである
ことを特徴とする請求項1乃至10いずれか1項に記載の情報処理装置。
The information processing apparatus according to any one of claims 1 to 10, wherein the second motion parameter is a motion parameter for the entire processing target image.
前記分割領域は、前記処理対象画像をオブジェクト単位で分割した領域である
ことを特徴とする請求項1乃至10のいずれか1項に記載の情報処理装置。
The information processing apparatus according to claim 1, wherein the divided area is an area obtained by dividing the processing target image in units of objects.
時間的に連続する画像を処理する情報処理装置の制御方法であって、
処理対象画像を分割した分割領域を処理単位として基準画像からの動きを示す第一の動きパラメータを算出する第一の算出工程と、
前記分割領域内の動きベクトルから、前記第一の動きパラメータに対応する動きベクトルを抽出する抽出工程と、
前記分割領域内の動きベクトルから前記抽出工程で抽出した動きベクトルを用いて、前記基準画像からの位置ズレを表現する、前記処理対象画像に関する第二の動きパラメータを算出する第二の算出工程と
を備えることを特徴とする情報処理装置の制御方法。
A method of controlling an information processing apparatus that processes temporally continuous images,
A first calculation step of calculating a first motion parameter indicating a motion from the reference image using a divided region obtained by dividing the processing target image as a processing unit;
An extraction step of extracting a motion vector corresponding to the first motion parameter from the motion vectors in the divided region;
A second calculation step of calculating a second motion parameter related to the processing target image, which expresses a positional deviation from the reference image, using the motion vector extracted in the extraction step from the motion vector in the divided region; An information processing apparatus control method comprising:
時間的に連続する画像を処理する情報処理装置の制御をコンピュータに機能させるためのプログラムであって、
前記コンピュータを、
処理対象画像を分割した分割領域を処理単位として基準画像からの動きを示す第一の動きパラメータを算出する第一の算出手段と、
前記分割領域内の動きベクトルから、前記第一の動きパラメータに対応する動きベクトルを抽出する抽出手段と、
前記分割領域内の動きベクトルから前記抽出手段で抽出した動きベクトルを用いて、前記基準画像からの位置ズレを表現する、前記処理対象画像に関する第二の動きパラメータを算出する第二の算出手段と
して機能させることを特徴とするプログラム。
A program for causing a computer to control the information processing apparatus that processes temporally continuous images,
The computer,
A first calculation means for calculating a first motion parameter indicating a motion from the reference image using a divided region obtained by dividing the processing target image as a processing unit;
Extracting means for extracting a motion vector corresponding to the first motion parameter from the motion vectors in the divided region;
Second calculation means for calculating a second motion parameter related to the processing target image, which expresses a positional deviation from the reference image, using a motion vector extracted by the extraction means from a motion vector in the divided area; A program characterized by making it function.
JP2013222685A 2013-10-25 2013-10-25 Information processing apparatus, control method therefor, and program Active JP6235860B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013222685A JP6235860B2 (en) 2013-10-25 2013-10-25 Information processing apparatus, control method therefor, and program
US14/508,096 US10051274B2 (en) 2013-10-25 2014-10-07 Image processing apparatus, method of calculating information according to motion of frame, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013222685A JP6235860B2 (en) 2013-10-25 2013-10-25 Information processing apparatus, control method therefor, and program

Publications (3)

Publication Number Publication Date
JP2015084186A true JP2015084186A (en) 2015-04-30
JP2015084186A5 JP2015084186A5 (en) 2017-06-08
JP6235860B2 JP6235860B2 (en) 2017-11-22

Family

ID=53047751

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013222685A Active JP6235860B2 (en) 2013-10-25 2013-10-25 Information processing apparatus, control method therefor, and program

Country Status (1)

Country Link
JP (1) JP6235860B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017020922A (en) * 2015-07-13 2017-01-26 株式会社日立システムズ Work action support navigation system and method, and computer program for work action support navigation, memory medium storing program for work action support navigation, self-propelled robot loaded with work action support navigation system, and intelligent helmet used with work action support navigation system
JP2018200504A (en) * 2017-05-25 2018-12-20 日本電信電話株式会社 Geometric adjustment apparatus, method and program
CN114095659A (en) * 2021-11-29 2022-02-25 厦门美图之家科技有限公司 Video anti-shake method, device, equipment and storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090231446A1 (en) * 2008-03-12 2009-09-17 Micron Technology, Inc. Method and apparatus for reducing motion blur in digital images
JP2009260671A (en) * 2008-04-17 2009-11-05 Canon Inc Image processing apparatus and imaging device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090231446A1 (en) * 2008-03-12 2009-09-17 Micron Technology, Inc. Method and apparatus for reducing motion blur in digital images
JP2009260671A (en) * 2008-04-17 2009-11-05 Canon Inc Image processing apparatus and imaging device

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017020922A (en) * 2015-07-13 2017-01-26 株式会社日立システムズ Work action support navigation system and method, and computer program for work action support navigation, memory medium storing program for work action support navigation, self-propelled robot loaded with work action support navigation system, and intelligent helmet used with work action support navigation system
JP2018200504A (en) * 2017-05-25 2018-12-20 日本電信電話株式会社 Geometric adjustment apparatus, method and program
CN114095659A (en) * 2021-11-29 2022-02-25 厦门美图之家科技有限公司 Video anti-shake method, device, equipment and storage medium
CN114095659B (en) * 2021-11-29 2024-01-23 厦门美图之家科技有限公司 Video anti-shake method, device, equipment and storage medium

Also Published As

Publication number Publication date
JP6235860B2 (en) 2017-11-22

Similar Documents

Publication Publication Date Title
US10915998B2 (en) Image processing method and device
US10051274B2 (en) Image processing apparatus, method of calculating information according to motion of frame, and storage medium
JP5700968B2 (en) Image processing apparatus, image processing method, and program
Patel et al. Accelerated seam carving for image retargeting
US9536169B2 (en) Detection apparatus, detection method, and storage medium
JP6235860B2 (en) Information processing apparatus, control method therefor, and program
JP5751254B2 (en) Image processing system, image processing method, and image processing program
JPWO2014132754A1 (en) Image processing apparatus and image processing method
JP2019012359A (en) Information processor, program, and method for information processing
JP6341708B2 (en) Information processing apparatus, control method therefor, and program
JP2019012360A (en) Information processor, program, and method for information processing
CN114494046A (en) Touch trajectory processing method, device, terminal, storage medium and program product
JP2014164574A (en) Image processor, image processing method and image processing program
US10922791B2 (en) Image processing apparatus and method
US11908144B2 (en) Image processing apparatus, method, and medium using degrees of reliability and similarity in motion vectors
JP7118729B2 (en) Information processing device, information processing method and program
JP2013125422A (en) Image processing apparatus, image processing method, computer program, recording medium, and stereoscopic image display device
CN115546027A (en) Image stitching line determining method, device and storage medium
JPWO2019065784A1 (en) Image processing apparatus, image processing method, and program
CN115063299B (en) Image preprocessing method and device, electronic equipment and storage medium
CN110050458B (en) Method of concurrently performing image compression and thumbnail generation and apparatus therefor
JP6751663B2 (en) Image processing device, image processing method
JP6639120B2 (en) Image processing apparatus, image processing method, and program
JP2021086183A (en) Image processing device, image processing method, and program
JP2016001404A (en) Image processing method, image processor and computer program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161013

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170418

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171027

R151 Written notification of patent or utility model registration

Ref document number: 6235860

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151