JP2018081378A - Image processing apparatus, imaging device, image processing method, and image processing program - Google Patents
Image processing apparatus, imaging device, image processing method, and image processing program Download PDFInfo
- Publication number
- JP2018081378A JP2018081378A JP2016221735A JP2016221735A JP2018081378A JP 2018081378 A JP2018081378 A JP 2018081378A JP 2016221735 A JP2016221735 A JP 2016221735A JP 2016221735 A JP2016221735 A JP 2016221735A JP 2018081378 A JP2018081378 A JP 2018081378A
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- reference pattern
- pattern data
- image data
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、被写体空間を異なる視点から撮像することで得られた画像データから視差の情報を取得する画像処理技術に関する。 The present invention relates to an image processing technique for acquiring parallax information from image data obtained by imaging a subject space from different viewpoints.
被写体空間を複数の視点から撮像することで得られた複数の視点画像から視差の情報を取得する方法が種々提案されている。例えば、複数の視点画像間においてブロックマッチング等の画像探索処理によって互いに対応する対応点を検出し、それぞれの視点画像における対応点の位置（座標）の相違量から視差量を求める方法がある。求められた視差量は、被写体までの距離の算出等に利用される。 Various methods for acquiring parallax information from a plurality of viewpoint images obtained by imaging a subject space from a plurality of viewpoints have been proposed. For example, there is a method in which corresponding points corresponding to each other are detected between a plurality of viewpoint images by image search processing such as block matching, and a parallax amount is obtained from a difference amount of the positions (coordinates) of the corresponding points in the respective viewpoint images. The obtained amount of parallax is used for calculating the distance to the subject.
また、特許文献１には、互いに異なる２視点からの撮像により得られた２つの視点画像間で同サイズの領域同士の相対的な位置を変えながら該領域間でブロックマッチングを行い、最も類似性が高い領域同士を対応領域として検出する方法が開示されている。そして、対応領域内での位置差をそれらの対応領域間の視差として得る。 Further, in Patent Document 1, block matching is performed between regions having the same size while changing the relative positions of regions of the same size between two viewpoint images obtained by imaging from two different viewpoints. A method of detecting regions having high values as corresponding regions is disclosed. Then, the position difference in the corresponding area is obtained as the parallax between the corresponding areas.
しかしながら、ブロックマッチング等の画像探索処理は計算負荷が大きい。この点、特許文献１にて開示された方法では、探索する領域のサイズを制限することで計算負荷を低減させているが、画像探索処理が必要であるために負荷軽減には限界がある。 However, image search processing such as block matching is computationally intensive. In this regard, in the method disclosed in Patent Document 1, the calculation load is reduced by limiting the size of the area to be searched. However, since the image search process is required, there is a limit to reducing the load.
本発明は、画像探索処理を行うことなく視差の算出に必要な計算負荷を軽減することができるようにした画像処理装置等を提供する。 The present invention provides an image processing apparatus and the like that can reduce a calculation load necessary for calculating parallax without performing an image search process.
本発明の一側面としての画像処理装置は、互いに異なる複数の視点からの撮像により生成された撮像画像データから取得可能な視差画像データに含まれる視差を算出する。該装置は、互いに異なる視差に対応する複数の参照パターンデータのうち、視差画像データに含まれる視差の想定範囲に応じた複数の特定参照パターンデータを取得する取得手段と、複数の特定参照パターンデータを用いて視差画像データを表すために該複数の特定参照パターンデータのそれぞれに重みを付ける複数の係数を算出し、複数の特定参照パターンデータのそれぞれに対応する視差と複数の係数とを用いて視差画像データに含まれる視差を算出する算出手段とを有することを特徴とする。 An image processing apparatus according to one aspect of the present invention calculates parallax included in parallax image data that can be acquired from captured image data generated by imaging from a plurality of different viewpoints. The apparatus includes: an acquisition unit configured to acquire a plurality of specific reference pattern data corresponding to an assumed range of parallax included in the parallax image data among a plurality of reference pattern data corresponding to different parallaxes; and a plurality of specific reference pattern data Is used to calculate a plurality of coefficients for weighting each of the plurality of specific reference pattern data to represent the parallax image data, and using the parallax and the plurality of coefficients corresponding to each of the plurality of specific reference pattern data And calculating means for calculating the parallax included in the parallax image data.
なお、上記画像処理装置を含む撮像装置も、本発明の他の一側面を構成する。 Note that an imaging apparatus including the image processing apparatus also constitutes another aspect of the present invention.
また、本発明の他の一側面としての画像処理方法は、互いに異なる複数の視点からの撮像により生成された撮像画像データから取得可能な視差画像データに含まれる視差を算出する方法である。該方法は、互いに異なる視差に対応する複数の参照パターンデータのうち、視差画像データに含まれる視差の想定範囲に応じた複数の特定参照パターンデータを取得するステップと、複数の特定参照パターンデータを用いて視差画像データを表すために該複数の特定参照パターンデータのそれぞれに重みを付ける複数の係数を算出し、複数の特定参照パターンデータのそれぞれに対応する視差と前記複数の係数とを用いて視差画像データに含まれる視差を算出するステップとを有することを特徴とする。 An image processing method according to another aspect of the present invention is a method for calculating parallax included in parallax image data that can be acquired from captured image data generated by imaging from a plurality of different viewpoints. The method includes a step of acquiring a plurality of specific reference pattern data corresponding to an assumed range of parallax included in parallax image data among a plurality of reference pattern data corresponding to different parallaxes, and a plurality of specific reference pattern data. A plurality of coefficients for weighting each of the plurality of specific reference pattern data to express the parallax image data using the parallax corresponding to each of the plurality of specific reference pattern data and the plurality of coefficients And calculating a parallax included in the parallax image data.
なお、コンピュータを上記画像処理装置として動作させるコンピュータプログラムとしての画像処理プログラムも、本発明の他の一側面を構成する。 An image processing program as a computer program that causes a computer to operate as the image processing apparatus also constitutes another aspect of the present invention.
本発明によれば、計算負荷を軽減しつつ視差画像データに含まれる視差を算出することができる。 According to the present invention, it is possible to calculate the parallax included in the parallax image data while reducing the calculation load.
以下、本発明の実施例について図面を参照しながら説明する。まず、実施例の具体的な説明の前に、典型的な実施例の概要について図１を用いて説明する。 Embodiments of the present invention will be described below with reference to the drawings. First, an outline of a typical embodiment will be described with reference to FIG. 1 before a specific description of the embodiment.
典型的な実施例では、被写体空間を複数の視点から撮像することで生成された撮像画像データ（図示せず）から視差の情報を含む視差画像データとしての一組の入力画像ｉ（ｉ１，ｉ２，…）を取得する。ただし、一組の入力画像は、撮像画像データから取得可能であればよく、後述するように一組の入力画像の視差が算出される前に実際に取得されなくてもよい。例えば、撮像画像データが複数の視点からの撮像により得られた視差の情報を含む１つの画像に相当する場合に、該１つの画像から一組の入力画像が分離されるのと同時または分離より前に該一組の入力画像の視差が算出されるようにしてもよい。 In a typical embodiment, a set of input images i (i 1 , i 1 , i 2 , i 2 , i 2 , i i 2 ,... However, the set of input images only needs to be acquired from the captured image data, and may not be actually acquired before the parallax of the set of input images is calculated as described later. For example, when the captured image data corresponds to one image including parallax information obtained by imaging from a plurality of viewpoints, a set of input images is separated from the one image at the same time or after separation. The parallax of the set of input images may be calculated before.
また、実施例では、事前に互いに異なる複数の既知の視差に対応する複数の参照パターンデータを用意する。参照パターンデータは、ある視差を有する画像間に表れる相違を表す一組の基本的なパターンである一組の参照パターンを示すデータである。以下の説明において、参照パターンデータに対応する視差を参照視差ともいい、複数の参照パターンデータのそれぞれに対応する複数の視差をまとめて参照視差群ともいう。 In the embodiment, a plurality of reference pattern data corresponding to a plurality of different known parallaxes are prepared in advance. The reference pattern data is data indicating a set of reference patterns, which is a set of basic patterns representing differences that appear between images having a certain parallax. In the following description, the parallax corresponding to the reference pattern data is also referred to as reference parallax, and the plurality of parallaxes corresponding to each of the plurality of reference pattern data are collectively referred to as a reference parallax group.
一組の入力画像は、複数の参照パターンデータのうち該一組の入力画像が有する視差として想定される範囲内の既知の視差に対応する参照パターンデータ（以下、特定参照パターンデータといい、図では参照パターン１，２，…と示す）を用いて表すことができる。一組の入力画像の視差の想定範囲（以下、想定視差範囲という）は、例えば撮像を行って撮像画像データを生成した撮像装置の構成に基づいて設定される。実施例では、一組の入力画像を複数の特定参照パターンデータの組合せにより表すために、それぞれの特定参照パターンデータに重みを付けるための複数の係数α１，α２，…（以下、まとめて係数群αともいう）を算出する。一組の入力画像は、複数の特定参照パターンデータに係数群α（α１，α２，…）を乗じて加算する（重み付け平均する）ことで表すことができる。実施例では、このことを利用して、算出した係数群αと複数の特定参照パターンデータに対応する参照視差群ｄ（ｄ１，ｄ２，…）とを用いて一組の入力画像の視差を算出する。この際、一組の入力画像を入力とする関数を用いるが、この関数の例については具体的な実施例にて説明する。 One set of input images is reference pattern data corresponding to known parallax within a range assumed as parallax of the set of input images among a plurality of reference pattern data (hereinafter referred to as specific reference pattern data, In this case, reference patterns 1, 2,... An assumed range of parallax of a set of input images (hereinafter, referred to as an assumed parallax range) is set based on, for example, the configuration of an imaging apparatus that performs imaging and generates captured image data. In the embodiment, in order to represent a set of input images by a combination of a plurality of specific reference pattern data, a plurality of coefficients α 1 , α 2 ,... For weighting each specific reference pattern data (hereinafter collectively) (Also referred to as coefficient group α). A set of input images can be represented by multiplying a plurality of specific reference pattern data by a coefficient group α (α 1 , α 2 ,...) And adding (weighted average). In the embodiment, using this, the parallax of a set of input images using the calculated coefficient group α and the reference parallax group d (d 1 , d 2 ,...) Corresponding to a plurality of specific reference pattern data. Is calculated. At this time, a function using a set of input images as an input is used. An example of this function will be described in a specific embodiment.
このような実施例においては、予め用意された複数の参照パターンデータから一組の入力画像の想定視差範囲に応じた特定参照パターンデータを取得（選択）し、後述する行列演算によって係数群を算出すればよい。このため、ブロックマッチング等の画像探索処理が必要なくなり、視差算出における計算負荷が低減される。また、想定視差範囲に基づいて使用する特定参照パターンデータを取得することで、可能な限り少数の参照パターンデータを用いて入力画像の視差を算出することができ、より計算負荷を低減させることができる。 In such an embodiment, specific reference pattern data corresponding to an assumed parallax range of a set of input images is acquired (selected) from a plurality of reference pattern data prepared in advance, and a coefficient group is calculated by a matrix operation described later. do it. For this reason, image search processing such as block matching is not necessary, and the calculation load in parallax calculation is reduced. Moreover, by acquiring the specific reference pattern data to be used based on the assumed parallax range, the parallax of the input image can be calculated using as few reference pattern data as possible, and the calculation load can be further reduced. it can.
さらに、複数の参照パターンデータに対応する参照視差群は、一組の入力画像における視差を算出する前に既知の情報として取得しておく。これにより、特定参照パターンデータに対応する参照視差群と係数群とを用いた単純な演算によって一組の入力画像の視差を算出することができる。すなわち、視差算出のための計算負荷を低減することができる。 Furthermore, a reference parallax group corresponding to a plurality of reference pattern data is acquired as known information before calculating parallax in a set of input images. Thereby, the parallax of a set of input images can be calculated by a simple calculation using the reference parallax group and the coefficient group corresponding to the specific reference pattern data. That is, the calculation load for calculating the parallax can be reduced.
本発明の具体的な実施例１である撮像装置１００の構成について図２を用いて説明する。撮像部１０１は、被写体空間を互いに異なる複数の視点から撮像することにより撮像画像データとしての一組（例えば一対）の撮像画像を生成する。撮像部１０１の詳しい構成については後述する。 A configuration of an imaging apparatus 100 that is a specific embodiment 1 of the present invention will be described with reference to FIG. The imaging unit 101 generates a set (for example, a pair) of captured images as captured image data by capturing the subject space from a plurality of different viewpoints. A detailed configuration of the imaging unit 101 will be described later.
画像処理装置としての画像処理部１０２は、一組の撮像画像から取得した一組の入力画像の視差を算出する。画像処理部１０２は、学習部１０２ａと視差算出部１０２ｂとを有する。学習部１０２ａは、複数の参照パターンデータを機械学習によって生成（算出）し、生成した複数の参照パターンデータをこれらのそれぞれに対応する参照視差と関連付けて記憶部（記憶手段）１０３に記憶させる。学習部１０２ａは生成手段として機能する。 An image processing unit 102 as an image processing device calculates parallax of a set of input images acquired from a set of captured images. The image processing unit 102 includes a learning unit 102a and a parallax calculation unit 102b. The learning unit 102a generates (calculates) a plurality of reference pattern data by machine learning, and stores the generated plurality of reference pattern data in the storage unit (storage unit) 103 in association with the corresponding reference parallax. The learning unit 102a functions as a generation unit.
視差算出部１０２ｂは、記憶部１０３から、前述した想定視差範囲に基づいて選択した複数の特定参照パターンデータを読み出し、読み出された特定参照パターンデータを用いて一組の入力画像の視差を算出する。視差算出部１０２ｂは、取得手段、算出手段および設定手段として機能する。画像処理部１０２が行う機械学習や視差算出処理についての詳細は後述する。 The parallax calculation unit 102b reads a plurality of specific reference pattern data selected based on the above-described assumed parallax range from the storage unit 103, and calculates the parallax of a set of input images using the read specific reference pattern data. To do. The parallax calculation unit 102b functions as an acquisition unit, a calculation unit, and a setting unit. Details of the machine learning and parallax calculation processing performed by the image processing unit 102 will be described later.
なお、視差算出部１０２ｂは、記憶媒体１０５に保存された一組の入力画像について、ユーザにより指定されたタイミングで視差を算出してもよい。また、一組の入力画像は静止画に限らず動画でもよい。この場合、一組の動画のそれぞれを構成する同タイミングのフレーム画像間の視差が算出される。 Note that the parallax calculation unit 102b may calculate the parallax for a set of input images stored in the storage medium 105 at a timing designated by the user. Further, the set of input images is not limited to a still image but may be a moving image. In this case, the parallax between the frame images of the same timing constituting each of the set of moving images is calculated.
システムコントローラ１０６は、撮像部１０１および画像処理部１０２の動作を制御する。また、システムコントローラ１０６は、撮像画像を液晶ディスプレイ等の表示部１０４に表示したり記録媒体１０５に保存したりする。 The system controller 106 controls the operations of the imaging unit 101 and the image processing unit 102. Further, the system controller 106 displays the captured image on the display unit 104 such as a liquid crystal display or saves it in the recording medium 105.
次に、撮像部１０１の構成について図３（ａ），（ｂ）を用いて説明する。図３（ａ），（ｂ）では代表的な撮像部１０１の構成を示しているが、撮像部としては被写体空間を互いに異なる複数の視点から撮像することで互いに異なる視差を含む撮像画像データ（１又は複数の撮像画像）を得ることができる構成を有すればよい。 Next, the configuration of the imaging unit 101 will be described with reference to FIGS. 3 (a) and 3 (b) show a typical configuration of the imaging unit 101. As the imaging unit, captured image data including different parallaxes by imaging a subject space from a plurality of different viewpoints ( It is only necessary to have a configuration capable of obtaining one or a plurality of captured images.
図３（ａ）には、撮像レンズ（撮像光学系）２０１と撮像素子２０２とにより構成される第１のカメラユニットと、撮像レンズ２０３と撮像素子２０４とにより構成される第２のカメラユニットの２つのカメラユニットを有する撮像部１０１を示している。なお、撮像部１０１に設けられるカメラユニットは２つである必要はなく、３つ以上の複数のカメラユニットを含んでいてもよい。また、各撮像レンズは１つのレンズ素子により構成されてもよいし、複数のレンズ素子により構成されてもよい。このような構成の撮像部１０１を有する撮像装置は、多眼カメラ、カメラアレイまたはステレオカメラ等と称される。 FIG. 3A shows a first camera unit composed of an imaging lens (imaging optical system) 201 and an imaging element 202, and a second camera unit composed of an imaging lens 203 and an imaging element 204. An imaging unit 101 having two camera units is shown. Note that the number of camera units provided in the imaging unit 101 is not necessarily two, and may include three or more camera units. Each imaging lens may be configured by a single lens element or a plurality of lens elements. The imaging apparatus having the imaging unit 101 having such a configuration is referred to as a multi-lens camera, a camera array, a stereo camera, or the like.
複数のカメラユニットが同時に被写体空間における被写体面２００を撮像することで一組の撮像画像が生成される。複数のカメラユニットは互いに異なる視点に配置されているため、被写体面２００を互いに異なる複数の視点に対応する撮像画像データを取得することができる。また、複数のカメラユニットの配置方向と平行な直線被写体に対しては視差が付かないので、３つ以上のカメラユニットについては同一直線上に並ばないように配置する方が、後述する視差算出（推定）に対するロバスト性の観点から有利である。 A plurality of camera units simultaneously image the subject surface 200 in the subject space, thereby generating a set of captured images. Since the plurality of camera units are arranged at different viewpoints, captured image data corresponding to a plurality of different viewpoints on the subject surface 200 can be acquired. In addition, since a parallax is not attached to a straight subject parallel to the arrangement direction of a plurality of camera units, it is more preferable to arrange three or more camera units so that they are not arranged on the same straight line. This is advantageous from the viewpoint of robustness against estimation).
また、図３（ｂ）には、撮像レンズ２１１と撮像素子２１３との間にマイクロレンズアレイ２１２が配置された撮像部１０１を示している。このような撮像部１０１を有する撮像装置は、プレノプティックカメラと称される。マイクロレンズアレイ２１２は、複数の微小な凸レンズを２次元アレイ状に配置することで構成される。撮像レンズ２１１は１つのレンズ素子により構成されてもよいし、複数のレンズ素子により構成されてもよい。 FIG. 3B shows the imaging unit 101 in which the microlens array 212 is disposed between the imaging lens 211 and the imaging element 213. An imaging apparatus having such an imaging unit 101 is referred to as a plenoptic camera. The microlens array 212 is configured by arranging a plurality of minute convex lenses in a two-dimensional array. The imaging lens 211 may be configured by a single lens element, or may be configured by a plurality of lens elements.
被写体面２００の同一点から発せられて撮像レンズ２１１に入射した光束２１４，２１５は、マイクロレンズアレイ２１２のうち同一の凸レンズを通過して撮像素子２１３における互いに異なる画素（受光素子）２１６，２１７に到達する。このようなプレノプティックカメラは、マイクロレンズアレイ２１２の作用によって撮像レンズ２１１の射出瞳のうち互いに異なる瞳領域を通過した光束を弁別することができる。 Light beams 214 and 215 emitted from the same point on the subject surface 200 and incident on the image pickup lens 211 pass through the same convex lens in the microlens array 212 and enter different pixels (light receiving elements) 216 and 217 in the image pickup device 213. To reach. Such a plenoptic camera can discriminate light beams that have passed through different pupil regions of the exit pupil of the imaging lens 211 by the action of the microlens array 212.
具体的には、撮像レンズ２１１の射出瞳のうち上半分（平面視における右半分）の瞳領域を通過した光束２１４は撮像素子２１３の画素２１７等のＲ画素に入射する。また、射出瞳の下半分（平面視における左半分）の領域を通過した光束２１５は撮像素子２１３の画素２１６等のＬ画素に入射する。このように、撮像レンズ２１１の射出瞳のうち互いに異なる瞳領域を通過した光束が撮像素子２１３における互いに異なる画素に入射するため、これら光束を弁別することができる。 Specifically, the light beam 214 that has passed through the upper half (right half in plan view) of the exit pupil of the imaging lens 211 is incident on an R pixel such as the pixel 217 of the imaging element 213. Further, the light beam 215 that has passed through the lower half (left half in plan view) of the exit pupil is incident on L pixels such as the pixel 216 of the image sensor 213. Thus, since the light beams that have passed through different pupil regions of the exit pupil of the imaging lens 211 are incident on different pixels in the image sensor 213, these light beams can be discriminated.
そして、撮像素子２１３における複数のＲ画素の信号を抜き出して再配置することで、撮像レンズ２１１の右瞳領域を視点とするＲ撮像画像を生成することができる。また、複数のＬ画素の信号を抜き出して再配置することで、撮像レンズ２１１の左瞳領域を視点とするＬ撮像画像を生成することができる。 Then, by extracting and rearranging the signals of a plurality of R pixels in the image sensor 213, an R captured image with the right pupil region of the imaging lens 211 as a viewpoint can be generated. Further, by extracting and rearranging a plurality of L pixel signals, an L captured image with the left pupil region of the imaging lens 211 as a viewpoint can be generated.
なお、図３（ｂ）ではマイクロレンズアレイ２１２の１つの凸レンズに対して２つの画素が配置される撮像素子２１３を示しているが、３つ以上の画素が配置されてもよく、１つの凸レンズに対する画素数に応じた視点数の画像を生成することができる。 3B shows the image sensor 213 in which two pixels are arranged with respect to one convex lens of the microlens array 212, three or more pixels may be arranged, and one convex lens. An image with the number of viewpoints corresponding to the number of pixels with respect to can be generated.
次に、画像処理部１０２が行う視差算出処理について、図４のフローチャートを用いて説明する。画像処理コンピュータにより構成される画像処理部１０２のうち視差算出部１０２ｂがコンピュータプログラムである画像処理プログラムに従って本処理を実行する。 Next, the parallax calculation processing performed by the image processing unit 102 will be described with reference to the flowchart of FIG. Of the image processing unit 102 constituted by the image processing computer, the parallax calculation unit 102b executes this processing according to an image processing program which is a computer program.
ステップＳ１０１では、視差算出部１０２ｂは、事前に用意されて記憶部１０３に記憶された複数の参照パターンデータのうち複数の特定参照パターンデータとこれらに対応する参照視差群とを取得する。参照パターンデータの生成方法（学習方法）および参照視差群の算出方法については後に詳しく説明する。 In step S101, the parallax calculation unit 102b acquires a plurality of specific reference pattern data and a reference parallax group corresponding to these among a plurality of reference pattern data prepared in advance and stored in the storage unit 103. A reference pattern data generation method (learning method) and a reference parallax group calculation method will be described in detail later.
視差算出部１０２ｂは、複数の特定参照パターンデータを前述したように視差想定範囲に基づいて選択する。視差算出部１０２ｂは、想定視差範囲を撮像装置１００の構成や想定される被写体までの距離に基づいて設定する。ここにいう撮像装置１００の構成とは、視点数、撮像素子の画素ピッチ、撮像光学系の焦点距離、複数の視点（カメラユニット）の基線長、基線方向および輻輳角、プレノプティックカメラのＦ値やフォーカス位置等である。すなわち、撮像装置１００の構成は、撮像装置により生成された一組の撮像画像間に発生する視差に影響する様々な要素を含む。言い換えれば、撮像装置１００の構成とは、一組の撮像画像間に発生する視差に関する撮像条件である。 The parallax calculation unit 102b selects a plurality of specific reference pattern data based on the assumed parallax range as described above. The parallax calculation unit 102b sets the assumed parallax range based on the configuration of the imaging device 100 and the assumed distance to the subject. The configuration of the imaging apparatus 100 here refers to the number of viewpoints, the pixel pitch of the imaging element, the focal length of the imaging optical system, the baseline lengths of a plurality of viewpoints (camera units), the baseline direction and the convergence angle, the plenoptic camera F value, focus position, etc. That is, the configuration of the imaging apparatus 100 includes various elements that affect the parallax that occurs between a pair of captured images generated by the imaging apparatus. In other words, the configuration of the imaging apparatus 100 is an imaging condition related to parallax that occurs between a pair of captured images.
特定参照パターンデータの数が多いほど視差算出における計算負荷が増加するので、想定視差範囲に基づいて最小限の数の特定参照パターンデータを用いることにより視差算出における計算負荷を軽減することができる。 Since the calculation load in parallax calculation increases as the number of specific reference pattern data increases, the calculation load in parallax calculation can be reduced by using the minimum number of specific reference pattern data based on the assumed parallax range.
ステップＳ１０２では、視差算出部１０２ｂは、撮像部１０１が生成した一組の撮像画像を取得し、各撮像画像から入力画像を取得する。すなわち、一組の入力画像を取得する。 In step S102, the parallax calculation unit 102b acquires a set of captured images generated by the imaging unit 101, and acquires an input image from each captured image. That is, a set of input images is acquired.
撮像画像がＲＧＢ（Red, Green, Blue）等の複数の色成分で表されている場合には、これら複数の色成分を１つの色成分に変換することにより入力画像を取得（生成）する。例えば、全ての色成分を平均化することでグレースケールの色成分の入力画像を生成したり任意の変換式を用いて１つの色成分に変換することで入力画像を生成したりする。また、複数の色成分のうち代表的な１つの色成分を入力画像として取得してもよい。また、複数の色成分をすべて入力画像として取得してもよい。この場合、色成分ごとに視差を算出してその平均値を入力画像の視差としてもよい。 When the captured image is represented by a plurality of color components such as RGB (Red, Green, Blue), an input image is obtained (generated) by converting the plurality of color components into one color component. For example, an input image of a grayscale color component is generated by averaging all the color components, or an input image is generated by converting it to one color component using an arbitrary conversion formula. Moreover, you may acquire one typical color component among several color components as an input image. Moreover, you may acquire all the several color components as an input image. In this case, the parallax may be calculated for each color component, and the average value may be used as the parallax of the input image.
さらに、１つの色成分は、それをそのまま入力画像として取得してもよいし、微分フィルタを用いて輝度変化を表す入力画像に変換してもよい。複数の色成分を、それらの平均値を差し引いた上でコントラストを揃えて入力画像として取得してもよい。これらの入力画像取得処理を行うことにより、撮像画像の明暗や撮像部１０１でのヴィネッティングの影響を低減し、より正確に視差の算出を行うことが可能な入力画像を取得することができる。なお、微分フィルタを用いる場合は、後述する学習画像に対しても同様の処理を行うことが望ましい。 Further, one color component may be acquired as it is as an input image, or may be converted into an input image representing a luminance change using a differential filter. A plurality of color components may be acquired as an input image by subtracting their average values and aligning the contrast. By performing these input image acquisition processes, it is possible to acquire the input image that can reduce the influence of the contrast of the captured image and the vignetting in the imaging unit 101 and can calculate the parallax more accurately. In addition, when using a differential filter, it is desirable to perform the same process also with respect to the learning image mentioned later.
ステップＳ１０３では、視差算出部１０２ｂは、一組の入力画像と選択した複数の特定参照パターンデータとを用いて係数群を算出する。具体的には、視差算出部１０２ｂは、複数の特定参照パターンデータに乗じることで一組の入力画像を表すことができる係数群を算出可能な任意の関数に該入力画像を代入することで係数群を算出する。関数の計算量によって入力画像の視差算出における計算負荷が大きく左右されるため、できるだけ計算量を少なくすることができる関数を用いることが望ましい。なお、入力画像は、計算負荷を軽減する観点から、複数の特定参照パターンデータの組合せで表されることが望ましい。入力画像を表す特定参照パターンデータの数が１つであると、入力画像を正確に表すためにはその特定参照パターンデータに非常に多くの参照パターンのデータを含める必要があり、計算負荷が増大するためである。 In step S103, the parallax calculation unit 102b calculates a coefficient group using a set of input images and a plurality of selected specific reference pattern data. Specifically, the parallax calculation unit 102b assigns a coefficient by substituting the input image into an arbitrary function that can calculate a coefficient group that can represent a set of input images by multiplying a plurality of specific reference pattern data. Calculate groups. Since the calculation load in calculating the parallax of the input image greatly depends on the calculation amount of the function, it is desirable to use a function that can reduce the calculation amount as much as possible. The input image is desirably represented by a combination of a plurality of specific reference pattern data from the viewpoint of reducing the calculation load. If the number of specific reference pattern data representing an input image is one, in order to accurately represent the input image, it is necessary to include a large amount of reference pattern data in the specific reference pattern data, which increases the calculation load. It is to do.
本実施例では、上記関数として、特定参照パターンデータに基づいた行列演算を用いる。一組の入力画像を列ベクトルｉとし、特定参照パターンデータを列ベクトルとしたときに複数の特定参照パターンデータのそれぞれを列成分として持つ（つまりは配列した）行列を変換行列Ｄとし、係数群を列ベクトルαで表す。この場合、以下の式（１）のように変換行列Ｄの一般化逆行列Ｄ−１に列ベクトルｉを乗じることで列ベクトルαが求められる。 In this embodiment, a matrix operation based on specific reference pattern data is used as the function. When a set of input images is a column vector i and the specific reference pattern data is a column vector, a matrix having each of a plurality of specific reference pattern data as column components (that is, arranged) is a transformation matrix D, and a group of coefficients Is represented by a column vector α. In this case, the column vector α is obtained by multiplying the generalized inverse matrix D −1 of the transformation matrix D by the column vector i as shown in the following equation (1).
変換行列Ｄが正則行列である場合は、一般化逆行列Ｄ−１は行列Ｄの逆行列を指す。なお、図１に示すように、各参照パターンは入力画像間の視差を表すだけでなく明暗や構造も表すため、参照パターンには視点間で同一のパターン等、視差を表さないものも含まれる。視差算出において視差を表さない参照パターンは必要ないため、変換行列Ｄの一般化逆行列Ｄ−１から視差を表さない参照パターンを除いて以後の処理に用いてもよいし、そのまま用いてもよい。 When the transformation matrix D is a regular matrix, the generalized inverse matrix D −1 refers to the inverse matrix of the matrix D. As shown in FIG. 1, each reference pattern not only represents parallax between input images but also represents light and darkness and structure. Therefore, the reference pattern includes those that do not represent parallax, such as the same pattern between viewpoints. It is. Since a reference pattern that does not represent parallax is not necessary in the parallax calculation, the reference pattern that does not represent parallax may be removed from the generalized inverse matrix D −1 of the transformation matrix D, or may be used as it is. Also good.
ステップＳ１０４では、視差算出部１０２ｂは、ステップＳ１０３で求めた係数群と複数の特定参照パターンデータに対応する参照視差群とを用いて一組の入力画像の視差を算出（推定）する。参照視差群を行ベクトルｄとし、任意の１つの視点を基準とした一組の入力画像間の視差をスカラー量ｐとすると、ｐは以下の式（２）に示すようにｄの各要素（ｄｉ）とαの各要素（αｉ）と符号調整項ｊとの積の総和で求められる。 In step S104, the parallax calculation unit 102b calculates (estimates) the parallax of a set of input images using the coefficient group obtained in step S103 and the reference parallax group corresponding to the plurality of specific reference pattern data. Assuming that the reference parallax group is a row vector d and the parallax between a set of input images based on any one viewpoint is a scalar quantity p, p represents each element of d ( d i ), each element of α (α i ), and the sign adjustment term j.
参照パターンの濃淡反転等を表現するために、係数群αは正と負の両方の値を取り得る。しかし、係数の符号の違いは視差が発生する方向には関係なく、一組の入力画像の視差の算出においては該係数の大きさのみが用いられる。したがって、係数が負の場合は、係数あるいは対応する参照視差のどちらか一方の符号を反転させることによって、係数と参照視差との積の符号を、常に参照視差の符号と一致させる必要がある。本実施例では、符号を反転させる方法として符号調整項ｊを用いて係数と同じ符号の値を乗じる手法を用いているが、αの絶対値をとる手法を用いてもよい。これにより、入力画像の色や明暗の違いによる影響を低減し、視差の算出精度を向上させることができる。 The coefficient group α can take both positive and negative values to express the inversion of the reference pattern. However, the difference in the sign of the coefficient is independent of the direction in which the parallax occurs, and only the magnitude of the coefficient is used in calculating the parallax of a set of input images. Therefore, when the coefficient is negative, it is necessary to always match the code of the product of the coefficient and the reference parallax with the code of the reference parallax by inverting the sign of either the coefficient or the corresponding reference parallax. In this embodiment, as a method of inverting the sign, a technique of multiplying the value of the same sign as the coefficient using the sign adjustment term j is used, but a technique of taking the absolute value of α may be used. Thereby, the influence by the difference of the color of an input image, or brightness and darkness can be reduced, and the calculation precision of a parallax can be improved.
次に、参照パターンデータの生成方法について図５のフローチャートを用いて説明する。本実施例では、参照パターンデータを機械学習によって生成（算出）する。機械学習は、視差算出の前であれば、撮像装置１００の学習部１０２ａで行ってもよいし、撮像装置１００とは別の演算装置で行ってもよい。本実施例では、学習部１０２ａで機械学習を行う場合について説明する。 Next, a method for generating reference pattern data will be described with reference to the flowchart of FIG. In this embodiment, reference pattern data is generated (calculated) by machine learning. The machine learning may be performed by the learning unit 102a of the imaging device 100 or a computing device different from the imaging device 100 before the parallax calculation. In this embodiment, a case where machine learning is performed by the learning unit 102a will be described.
ステップＳ２０１では、学習部１０２ａは、複数の視点から被写体を撮像することにより生成された一組の撮像画像の少なくとも一部から、該複数の視点のうち一組の視点から撮像された同一被写体位置の画像の組を複数の被写体位置について抽出する。そして、このように抽出した視点ごとの複数の被写体位置の画像の集合を１つの学習画像とし、一組の視点に対応する学習画像の組を学習画像データとしての一組の学習画像とする。なお、学習画像の元となる上記撮像画像は、被写体の撮像をコンピュータでシミュレーションして生成された画像であってもよい。 In step S201, the learning unit 102a uses the same subject position captured from a set of viewpoints out of at least a part of the set of captured images generated by capturing the subject from a plurality of viewpoints. Are extracted for a plurality of object positions. A set of images of a plurality of subject positions for each viewpoint extracted in this way is set as one learning image, and a set of learning images corresponding to one set of viewpoints is set as a set of learning images as learning image data. Note that the captured image that is the basis of the learning image may be an image generated by simulating imaging of a subject with a computer.
１つの学習画像を構成する撮像画像からそれぞれ抽出された画像のサイズは、入力画像と同じサイズの画像であってもよいし、入力画像とは異なるサイズの学習画像を入力画像のサイズに合わせて拡大または縮小して用いてもよい。一般に、撮像装置の構成に応じて撮像画像にて発生する視差が異なるため、参照パターンデータは撮像装置の構成に基づいて設定された視差を有する学習画像から生成することが望ましい。これにより、学習画像から生成される参照パターンデータと一組の入力画像に含まれる視差とを同等にすることができ、発生しない視差ずれ量を参照パターンデータから排除することができるので、入力画像の視差算出における精度や計算速度が向上する。学習部１０２ａは、視点の組が互いに異なる複数組の学習画像を生成する。 The size of each image extracted from the captured images constituting one learning image may be an image having the same size as the input image, or a learning image having a size different from the input image is matched to the size of the input image. It may be used after being enlarged or reduced. In general, since the parallax generated in the captured image varies depending on the configuration of the imaging device, it is desirable to generate the reference pattern data from a learning image having a parallax set based on the configuration of the imaging device. Thereby, the reference pattern data generated from the learning image can be made equal to the parallax included in the set of input images, and the amount of parallax deviation that does not occur can be excluded from the reference pattern data. The accuracy and calculation speed in the parallax calculation are improved. The learning unit 102a generates a plurality of learning images having different viewpoint sets.
ステップＳ２０２では、学習部１０２ａは、ステップＳ２０１で生成した複数組の学習画像（複数の学習画像データ）を用いた機械学習により複数の参照パターンデータを生成する。参照パターンデータを求めるために、以下の式（３）に示すように、学習画像を変換行列Ｄと係数行列Ａとの積で表したときの誤差を最小にする変換行列Ｄを最適化によって求める。 In step S202, the learning unit 102a generates a plurality of reference pattern data by machine learning using a plurality of sets of learning images (a plurality of learning image data) generated in step S201. In order to obtain the reference pattern data, as shown in the following equation (3), a transformation matrix D that minimizes an error when the learning image is represented by the product of the transformation matrix D and the coefficient matrix A is obtained by optimization. .
係数行列Ａは、一組の学習画像に対応する係数群を列ベクトルとしたときに複数組の学習画像のそれぞれの係数群を複数の列成分として持つ行列を表す。また、Ｌは一組の学習画像を列ベクトルとしたときに複数組の学習画像のそれぞれを複数の列成分として持つ行列を表す。
The coefficient matrix A represents a matrix having each coefficient group of a plurality of sets of learning images as a plurality of column components when the coefficient group corresponding to one set of learning images is a column vector. Further, L represents a matrix having a plurality of sets of learning images as a plurality of column components when a set of learning images is a column vector.
はフロベニウスノルムを、
Is the Frobenius norm,
はＬ０ノルムを、ｋは任意の定数を表す。変換行列Ｄや行列Ａの初期値は任意の値でよく、例えば乱数から決定するとよい。行列ＡのＬ０ノルムでの最適化に制約を課すことで、少ない参照パターンデータの組合せで行列Ｌを表すことができる。これについて、例えば以下の参考文献に詳しい。
［参考文献］K. Marwah, et al., “Compressive Light Field Photography using Overcomplete Dictionaries and Optimized Projections.” Proc. of SIGGRAPH 2013 (ACM Transactions on Graphics 32, 4), 2013.
変換行列Ｄの各列成分としての列ベクトルは一組の参照パターンを表しているので、変換行列Ｄから該一組の参照パターンを示すデータである参照パターンデータを求めることができる。
Represents an L0 norm, and k represents an arbitrary constant. The initial values of the transformation matrix D and matrix A may be arbitrary values, for example, determined from random numbers. By imposing constraints on the optimization of the matrix A with the L0 norm, the matrix L can be expressed with a small number of combinations of reference pattern data. For example, the following references are detailed.
[References] K. Marwah, et al., “Compressive Light Field Photography using Overcomplete Dictionaries and Optimized Projections.” Proc. Of SIGGRAPH 2013 (ACM Transactions on Graphics 32, 4), 2013.
Since the column vector as each column component of the transformation matrix D represents a set of reference patterns, reference pattern data which is data indicating the set of reference patterns can be obtained from the transformation matrix D.
ステップＳ２０３では、学習部１０２ａは参照パターンデータに対応する視差を求める。視差を求める方法としては、任意の方法を用いることができる。例えば、ブロックマッチングを用いて視差を求める方法でもよいし、ライトフィールド（以下、ＬＦと略記する）の断面の傾きから視差を求める方法でもよい。ここでは、ＬＦの断面の傾きから視差を求める方法について説明する。 In step S203, the learning unit 102a obtains a parallax corresponding to the reference pattern data. Any method can be used as a method for obtaining the parallax. For example, a method of obtaining parallax using block matching may be used, or a method of obtaining parallax from the inclination of a cross section of a light field (hereinafter abbreviated as LF). Here, a method for obtaining the parallax from the inclination of the cross section of the LF will be described.
ここではまず、ＬＦの定義について説明する。ＬＦは被写体から撮像面に入射する光線の入射位置、入射方向および強度の情報を示す空間である。一般には、撮像面上で光線が入射する点の空間座標（ｘ，ｙ）と光線の方向を示す方向座標（ｕ，ｖ）とを用いて、４次元空間（ｘ，ｙ，ｕ，ｖ）として表される。方向座標（ｕ，ｖ）は、ｘｙ平面に平行で所定の距離だけ離れたｕｖ平面において光線が通過する点の空間座標であり、視点位置と対応付けることができる。一組の参照パターンはそれぞれ視点ごとの２次元画像であり、視点の位置を（ｕ，ｖ）とし、２次元画像内の座標を（ｘ，ｙ）で表せば、上記の対応関係に基づいて４次元のＬＦデータ（ｘ，ｙ，ｕ，ｖ）に変換することができる。視差を求める際は、１次元の空間座標および１次元の方向座標により表現されるＬＦの２次元断面が用いられる。２次元断面は、（ｘ，ｕ）あるいは（ｙ，ｖ）で表される。ここで、２次元断面は１つの断面に限定されるものではなく、（ｘ，ｕ）および（ｙ，ｖ）の両方の２次元断面を用いて視差を求めることもできる。 First, the definition of LF will be described. LF is a space indicating information on the incident position, incident direction, and intensity of a light beam incident on the imaging surface from the subject. In general, a four-dimensional space (x, y, u, v) is obtained by using spatial coordinates (x, y) of a point where a light ray is incident on the imaging surface and direction coordinates (u, v) indicating the direction of the light ray. Represented as: The direction coordinates (u, v) are spatial coordinates of a point where a light ray passes on the uv plane parallel to the xy plane and separated by a predetermined distance, and can be associated with the viewpoint position. Each set of reference patterns is a two-dimensional image for each viewpoint. If the position of the viewpoint is (u, v) and the coordinates in the two-dimensional image are represented by (x, y), It can be converted into four-dimensional LF data (x, y, u, v). When obtaining the parallax, an LF two-dimensional section represented by a one-dimensional spatial coordinate and a one-dimensional direction coordinate is used. A two-dimensional section is represented by (x, u) or (y, v). Here, the two-dimensional cross section is not limited to one cross section, and the parallax can also be obtained using the two-dimensional cross sections of (x, u) and (y, v).
図６には、２次元断面を（ｘ，ｕ）で表した例を示す。図６に示すように、被写体２２１の同一点に対応するデータ点は、ＬＦの２次元断面において線分を形成する。これは、被写体２２１の同一点から出射した光線の空間座標ｘまたはｙの位置が、方向座標ｕまたはｖの変化に対応して移動するためである。この線分の傾きは、異なる視点から入射した光線が撮像素子上でどれだけ異なる位置に入射するか、つまり異なる視点から見た場合の複数の画像間にどれだけの視差が生じるかを示している。そこで、この傾きを参照パターンデータに対応する視差として、複数の参照パターンデータの全てについて視差を事前に求める。 FIG. 6 shows an example in which a two-dimensional section is represented by (x, u). As shown in FIG. 6, the data points corresponding to the same point of the subject 221 form a line segment in the two-dimensional section of the LF. This is because the position of the spatial coordinate x or y of the light beam emitted from the same point of the subject 221 moves corresponding to the change of the direction coordinate u or v. The slope of this line segment indicates how much light rays incident from different viewpoints are incident on the image sensor, that is, how much parallax occurs between multiple images when viewed from different viewpoints. Yes. Therefore, the parallax is obtained in advance for all of the plurality of reference pattern data by using this inclination as the parallax corresponding to the reference pattern data.
本実施例では、計算負荷が大きくなり易い複数の参照パターンデータに対応する視差の算出を入力画像の視差算出の前に行い、該入力画像に対しては選択した複数の特定参照パターンに対応する参照視差群と係数群とを用いた単純な演算により視差を算出する。これにより、入力画像の視差算出における計算負荷を軽減させることが可能となる。 In the present embodiment, the calculation of the parallax corresponding to the plurality of reference pattern data that tends to increase the calculation load is performed before the calculation of the parallax of the input image, and the input image corresponds to the plurality of selected specific reference patterns. The parallax is calculated by a simple calculation using the reference parallax group and the coefficient group. Thereby, it is possible to reduce the calculation load in calculating the parallax of the input image.
算出された入力画像の視差は、撮像装置の構成（基線長等）に基づいて距離に変換することができる。そして、求めた距離の情報は、深度が深い撮像画像に対して距離に応じたぼけを付加する処理や撮像時のオートフォーカス等に利用することができる。また、撮像装置１００を車載カメラとして構成し、距離情報や撮像画像から周囲の障害物を認識して自走する自動運転や衝突を回避するための運転補助（ブレーキ制御等）に利用することもできる。 The calculated parallax of the input image can be converted into a distance based on the configuration of the imaging device (baseline length or the like). The obtained distance information can be used for processing for adding a blur corresponding to the distance to a captured image having a deep depth, autofocus at the time of imaging, or the like. Further, the imaging apparatus 100 may be configured as an in-vehicle camera and used for driving assistance (brake control, etc.) for recognizing surrounding obstacles from distance information and captured images and for self-running and avoiding collisions. it can.
また、本実施例では撮像装置１００に学習部１０２ａを設ける場合について説明したが、予め学習した結果を記憶部１０３に記憶させておくことで、撮像装置１００に学習部１０２ａを設けなくてもよい。 In this embodiment, the case where the learning unit 102a is provided in the imaging device 100 has been described. However, the learning unit 102a may not be provided in the imaging device 100 by storing the learning result in the storage unit 103 in advance. .
次に、本発明の実施例２である画像処理システムについて説明する。本実施例では、入力画像の視差算出を行う画像処理装置と、撮像画像を生成する撮像装置と、機械学習を行うサーバーとが個別に存在している。また、画像処理装置には、多眼カメラやプレノプティックカメラ等の様々な撮像装置を接続することができ、接続された撮像装置の構成に応じて使用する変換行列を切り替える。本実施例にいう撮像装置の構成も、実施例１と同様に、視点数、撮像素子の画素ピッチ、撮像光学系の焦点距離、複数の視点（カメラユニット）の基線長、基線方向および輻輳角、プレノプティックカメラのＦ値やフォーカス位置等である。言い換えれば、一組の撮像画像間に発生する視差に関する撮像条件である。 Next, an image processing system that is Embodiment 2 of the present invention will be described. In this embodiment, there are an image processing device that calculates the parallax of an input image, an imaging device that generates a captured image, and a server that performs machine learning. In addition, various imaging devices such as a multi-lens camera and a plenoptic camera can be connected to the image processing device, and a conversion matrix to be used is switched according to the configuration of the connected imaging device. Similarly to the first embodiment, the configuration of the imaging apparatus according to the present embodiment also includes the number of viewpoints, the pixel pitch of the imaging element, the focal length of the imaging optical system, the baseline lengths of a plurality of viewpoints (camera units), the baseline direction, and the convergence angle. F value and focus position of the plenoptic camera. In other words, it is an imaging condition related to parallax that occurs between a pair of captured images.
また、本実施例では、撮像時に想定される視差の大きさに応じて、入力画像の視差算出に使用する変換行列を取得するための学習画像を取得する。これにより、より高精度な視差算出を可能とする。 In this embodiment, a learning image for acquiring a transformation matrix used for calculating the parallax of the input image is acquired according to the size of the parallax assumed at the time of imaging. Thereby, parallax calculation with higher accuracy is possible.
本実施例における画像処理システムは、図７に示す構成を有する。撮像装置３００の構成は、実施例１の撮像装置１００から画像処理部１０２を除いたものと同じである。撮像装置３００により生成された一組の撮像画像は画像処理装置３０１に送られ、画像処理装置３０１内の記憶部３０２に記憶される。画像処理装置３０１は、有線または無線通信により直接またはネットワークを介してサーバー３０４と接続されている。 The image processing system in this embodiment has the configuration shown in FIG. The configuration of the imaging device 300 is the same as that obtained by removing the image processing unit 102 from the imaging device 100 of the first embodiment. A set of captured images generated by the imaging apparatus 300 is sent to the image processing apparatus 301 and stored in the storage unit 302 in the image processing apparatus 301. The image processing apparatus 301 is connected to the server 304 directly or via a network by wired or wireless communication.
サーバー３０４は、複数の参照パターンデータを生成し、さらに変換行列と参照視差群を機械学習により生成（算出）する学習部３０５と、これら変換行列および参照視差群を記憶する記憶部３０６とを有する。画像処理装置３０１は、サーバー３０４の記憶部３０６から変換行列と参照視差群を取得する。視差算出部３０３は、それら変換行列と参照視差群を用いて、一組の入力画像の視差を算出する。算出された入力画像の視差は、撮像画像に対するぼけ付加処理等の画像処理に利用され、該画像処理後の画像は、表示装置３０７、記録媒体３０８および出力装置３０９のうち少なくとも１つに出力される。 The server 304 includes a learning unit 305 that generates a plurality of reference pattern data, and further generates (calculates) a conversion matrix and a reference parallax group by machine learning, and a storage unit 306 that stores the conversion matrix and the reference parallax group. . The image processing apparatus 301 acquires a transformation matrix and a reference parallax group from the storage unit 306 of the server 304. The parallax calculation unit 303 calculates the parallax of a set of input images using the conversion matrix and the reference parallax group. The calculated parallax of the input image is used for image processing such as blur addition processing on the captured image, and the image after the image processing is output to at least one of the display device 307, the recording medium 308, and the output device 309. The
表示装置３０７は、液晶ディスプレイやプロジェクタ等である。記録媒体３０８は、半導体メモリ、ハードディスクまたはネットワーク上のサーバー等である。出力装置３０９は、プリンタ等である。画像処理装置３０１は、必要に応じて現像処理やその他の画像処理を行う機能を有していてもよい。 The display device 307 is a liquid crystal display, a projector, or the like. The recording medium 308 is a semiconductor memory, a hard disk, a server on a network, or the like. The output device 309 is a printer or the like. The image processing apparatus 301 may have a function of performing development processing and other image processing as necessary.
次に、画像処理コンピュータにより構成される視差算出部３０３で行う視差算出処理を、図８のフローチャートを用いて説明する。 Next, the parallax calculation process performed by the parallax calculation unit 303 configured by the image processing computer will be described with reference to the flowchart of FIG.
ステップＳ３０１では、視差算出部３０３は、撮像装置３００から一組の撮像画像を取得するとともに、サーバー３０４から撮像装置３００の構成に応じた変換行列を取得する。サーバー３０４の学習部３０５は、後述するように、撮像装置３００の構成、用いる参照パターンデータの数および画像サイズ等の条件が異なる変換行列を複数生成して記憶部３０６に保持させている。 In step S <b> 301, the parallax calculation unit 303 acquires a set of captured images from the imaging device 300 and acquires a conversion matrix according to the configuration of the imaging device 300 from the server 304. As will be described later, the learning unit 305 of the server 304 generates a plurality of transformation matrices having different conditions such as the configuration of the imaging device 300, the number of reference pattern data to be used, and the image size, and stores the transformation matrices in the storage unit 306.
視差算出部３０３は、記憶部３０６から、一組の撮像画像が生成された撮像時の撮像装置３００の構成等の条件に合致する１つの変換行列（つまりはその条件での想定視差範囲内の視差に対応する複数の特定参照パターンデータ）を取得する。また、記憶部３０６に広い範囲の視差に対応する単一の変換行列を保持させておき、該変換行列から、想定視差範囲に対応する特定参照パターンデータのみを取得してもよい。なお、参照パターンデータの生成方法は実施例１で図５のフローチャートを用いて説明した方法と同じである。 The parallax calculation unit 303 has one transformation matrix that matches the conditions such as the configuration of the imaging device 300 at the time of imaging when a set of captured images is generated from the storage unit 306 (that is, within the assumed parallax range under the conditions). A plurality of specific reference pattern data corresponding to parallax). Alternatively, a single conversion matrix corresponding to a wide range of parallax may be stored in the storage unit 306, and only specific reference pattern data corresponding to the assumed parallax range may be acquired from the conversion matrix. The reference pattern data generation method is the same as the method described in the first embodiment with reference to the flowchart of FIG.
また、所望の処理時間に応じて変換行列を切り替えることもできる。例えば、精度よりも高速な処理が重要である場合は、画像サイズが小さい学習画像からの学習により生成した少数の参照パターンデータを含む変換行列を用いるとよい。 Also, the conversion matrix can be switched according to a desired processing time. For example, when high-speed processing is more important than accuracy, a transformation matrix including a small number of reference pattern data generated by learning from a learning image having a small image size may be used.
ステップＳ３０２では、視差算出部３０３は、一組の撮像画像に対して平滑化処理を行う。平滑化処理を行うことによって、撮像画像に含まれる雑音成分を取り除き、視差算出の誤差を低減させる。平滑化処理としては、例えば、ガウシアンフィルタやバイラテラルフィルタを撮像画像に適用する。なお、ステップＳ３０２を次に説明するステップＳ３０３の後に行ってもよい。その場合は、撮像画像ではなく入力画像に対して平滑化処理を行う。 In step S302, the parallax calculation unit 303 performs a smoothing process on a set of captured images. By performing the smoothing process, noise components included in the captured image are removed, and errors in parallax calculation are reduced. As the smoothing process, for example, a Gaussian filter or a bilateral filter is applied to the captured image. Note that step S302 may be performed after step S303 described below. In that case, smoothing processing is performed on the input image, not the captured image.
ステップＳ３０３では、視差算出部３０３は、予め設定した画像サイズに合わせて、一組の撮像画像のうち後述するステップ３０６において視差を算出する領域（視差算出領域）から複数組の入力画像を抽出（取得）する。この際、視差算出部３０３は、複数組の入力画像を互いに重複しないように抽出してもよいし、部分的に重複するように抽出してもよい。ただし、一組の入力画像から１つの視差を算出するため、重複しないように複数組の入力画像を抽出した場合は、算出された視差の分布、すなわち視差マップの解像度が入力画像と比べて低下する。言い換えれば、複数組の入力画像を部分的に重複するように抽出することで視差マップの解像度を高めることができる。 In step S303, the parallax calculation unit 303 extracts a plurality of sets of input images from a region (parallax calculation region) in which parallax is calculated in step 306, which will be described later, from a set of captured images in accordance with a preset image size ( get. At this time, the parallax calculation unit 303 may extract a plurality of sets of input images so as not to overlap each other or may partially extract them. However, in order to calculate one parallax from one set of input images, when a plurality of sets of input images are extracted so as not to overlap, the calculated parallax distribution, that is, the resolution of the parallax map is lower than the input image. To do. In other words, the resolution of the parallax map can be increased by extracting a plurality of sets of input images so as to partially overlap.
なお、撮像画像のサイズが予め設定した画像サイズと同じである場合は、撮像画像の全体から入力画像を抽出する。抽出した入力画像内で視差算出を行うため、設定する画像サイズによって求める視差が影響を受ける。例えば、設定する画像サイズより大きい視差は、入力画像内で変化を捉えきれないため、正確な視差の算出が困難である。逆に、設定する画像サイズが撮像画像の視差より大きすぎる場合は、処理するデータ量が増えることにより計算負荷が増加する。このため、撮像装置の構成等から一組の撮像画像で発生すると想定される視差に応じて画像サイズを決定することが望ましい。 When the size of the captured image is the same as the preset image size, the input image is extracted from the entire captured image. Since the parallax calculation is performed in the extracted input image, the parallax to be obtained is affected by the set image size. For example, a parallax larger than the set image size cannot detect changes in the input image, so that it is difficult to accurately calculate the parallax. Conversely, when the image size to be set is too larger than the parallax of the captured image, the calculation load increases due to an increase in the amount of data to be processed. For this reason, it is desirable to determine the image size according to the parallax that is assumed to occur in a set of captured images due to the configuration of the imaging device and the like.
また、視差を算出する入力画像のサイズを、視差を算出しない入力画像のサイズよりも小さくしてもよい。この際、参照パターンのサイズも入力画像のサイズに合わせて予め設定したり、参照パターンを拡大、縮小またはトリミングして用いたりする。これにより、視差を算出する入力画像のサイズを最小限にしながら、大きい視差による変化を捉えることができ、全ての入力画像を同一のサイズとして視差を算出する場合よりも計算負荷を軽減することができる。また、本ステップでは、一組の入力画像を列ベクトルとしたときに、複数組の入力画像を複数の列成分に持つ行列Ｉを生成する。入力画像を行列の形でまとめておくことで、以降の処理を画像全体で一括して行うことができ、視差算出の計算負荷を軽減することができる。 Further, the size of the input image for calculating the parallax may be smaller than the size of the input image for which the parallax is not calculated. At this time, the size of the reference pattern is also preset according to the size of the input image, or the reference pattern is enlarged, reduced, or trimmed. This makes it possible to capture changes due to large parallax while minimizing the size of the input image for calculating the parallax, and to reduce the calculation load compared to the case of calculating the parallax with all input images having the same size. it can. In this step, when a set of input images is a column vector, a matrix I having a plurality of sets of input images in a plurality of column components is generated. By collecting the input images in the form of a matrix, the subsequent processing can be performed collectively for the entire image, and the calculation load for parallax calculation can be reduced.
ステップＳ３０４では、視差算出部３０３は、記憶部３０６から変換行列Ｄを取得し、以下の式（４）に示すように行列Ｉと変換行列Ｄの一般化逆行列との積を計算することで係数行列Ａを求める。 In step S304, the parallax calculation unit 303 acquires the transformation matrix D from the storage unit 306, and calculates the product of the matrix I and the generalized inverse matrix of the transformation matrix D as shown in the following equation (4). A coefficient matrix A is obtained.
ステップＳ３０５では、視差算出部３０３は、係数行列Ａの各要素をＮ乗（Ｎは正の偶数）して各係数の符号を正にすることで、入力画像の明暗や色の変化の影響を低減させる。Ｎの大きさによって各係数の重みのバランスを調整することができる。また、係数行列Ａの各列のベクトルの大きさは、入力画像の明暗の大きさによって影響を受ける。それは、参照パターンは視差だけでなく明暗も表しており、入力画像の明暗が変われば、それに合わせて係数の大きさも変える必要があるからである。このため、係数行列Ａの各列を正規化して列ベクトルの大きさを一定の値に揃えた行列Ｂを求めることによって、入力画像の明暗の影響を低減させ、視差の推定精度を向上させることができる。 In step S305, the parallax calculation unit 303 makes the sign of each coefficient positive by making each element of the coefficient matrix A to the Nth power (N is a positive even number), thereby affecting the influence of light and darkness of the input image and color change. Reduce. The balance of the weights of the coefficients can be adjusted according to the magnitude of N. Further, the magnitude of the vector of each column of the coefficient matrix A is affected by the magnitude of the brightness of the input image. This is because the reference pattern represents not only parallax but also light and dark, and if the light and darkness of the input image changes, it is necessary to change the coefficient size accordingly. For this reason, normalizing each column of the coefficient matrix A to obtain a matrix B in which the size of the column vector is set to a constant value, thereby reducing the influence of the contrast of the input image and improving the estimation accuracy of the parallax. Can do.
ステップＳ３０６では、視差算出部３０３は、以下の式（５）に示すように参照視差群を表す行ベクトルｄに行列Ｂ（つまりは係数群）を乗じることにより、各組の入力画像の視差を表す行ベクトルＰを求める。 In step S306, the parallax calculation unit 303 multiplies the row vector d representing the reference parallax group by the matrix B (that is, the coefficient group) as shown in the following formula (5), thereby calculating the parallax of each set of input images. A representing row vector P is obtained.
ここで求めた視差Ｐを入力画像の位置に応じて並び変えることで、撮像画像のうち視差算出領域全体の視差マップを求めることができる。 By rearranging the calculated parallax P according to the position of the input image, a parallax map of the entire parallax calculation area in the captured image can be obtained.
ステップＳ３０７では、視差算出部３０３は、ステップＳ３０５で求めた行列Ｂに基づいてステップＳ３０６で求めた視差の信頼度を算出する。一般に、画素値の変動が小さい領域（テクスチャレス領域）では視点間で変化が現れにくいため視差の算出が難しい。例えば、画素値の変動が十分大きい領域では、図９（ａ）に示すように参照視差を横軸とし、対応する係数の大きさを縦軸としてプロットしたときに、特定の視差に大きい係数が偏る。それに対して、テクスチャレス領域では、図９（ｂ）に示すように、特定の視差に係数が偏らず、係数の分布がばらつく。そこで、係数が予め設定した値よりも大きく、かつ対応する視差の分散も大きい領域は、算出した視差の信頼度が低いと判定する。 In step S307, the parallax calculation unit 303 calculates the reliability of the parallax obtained in step S306 based on the matrix B obtained in step S305. In general, it is difficult to calculate parallax in a region where the variation in pixel values is small (textureless region), since changes hardly appear between viewpoints. For example, in a region where the fluctuation of the pixel value is sufficiently large, when the reference parallax is plotted on the horizontal axis and the corresponding coefficient magnitude is plotted on the vertical axis as shown in FIG. Biased. On the other hand, in the textureless region, as shown in FIG. 9B, the coefficient is not biased toward a specific parallax, and the coefficient distribution varies. Therefore, it is determined that the reliability of the calculated parallax is low in an area where the coefficient is larger than a preset value and the corresponding parallax variance is large.
ステップＳ３０８では、視差算出部３０３は、ステップＳ３０７で求めた信頼度に基づいて、テクスチャレス領域等の視差の算出精度が低い領域の視差を補正する。例えば、視差の信頼度が低い領域については視差の算出を行わず、その領域の周辺で視差の信頼度が高い領域の視差を用いて補間により求める。 In step S308, the parallax calculation unit 303 corrects the parallax of the area where the calculation accuracy of the parallax is low, such as the textureless area, based on the reliability obtained in step S307. For example, for a region with low parallax reliability, the parallax is not calculated, but is obtained by interpolation using the parallax of the region with high parallax reliability around that region.
次に、学習部３０５における参照パターンデータ、変換行列および参照視差群の生成方法について、実施例１でも用いた図５のフローチャートを用いて説明する。学習部３０５は、ステップＳ２０１において、撮像装置や被写体が異なる様々な条件において実際の撮像またはシミュレーションにより生成した撮像画像（視差画像）を用いて学習画像を生成する。そして、学習部３０５は、ステップＳ２０２において、上記条件ごとに学習画像を用いた機械学習によって変換行列Ｄを求め、該変換行列Ｄから参照パターンデータを生成する。 Next, a method of generating reference pattern data, a transformation matrix, and a reference parallax group in the learning unit 305 will be described with reference to the flowchart of FIG. In step S201, the learning unit 305 generates a learning image using captured images (parallax images) generated by actual imaging or simulation under various conditions with different imaging devices and subjects. In step S202, the learning unit 305 obtains a conversion matrix D by machine learning using a learning image for each condition, and generates reference pattern data from the conversion matrix D.
さらに学習部３０５は、ステップＳ２０３において、視差の分布（視差マップ）が既知である視差画像を用いて参照視差群を算出する。具体的には、学習部３０５は、変換行列Ｄを用いて、視差算出部３０３に代わって図８のステップＳ３０１からステップＳ３０５までの処理を行うことで行列Ｂを求める。ここではステップＳ３０３において視差マップが既知である撮像画像としての視差画像を入力画像として用いる。 Further, in step S203, the learning unit 305 calculates a reference parallax group using a parallax image whose parallax distribution (parallax map) is known. Specifically, the learning unit 305 uses the conversion matrix D to obtain the matrix B by performing the processing from step S301 to step S305 in FIG. 8 instead of the parallax calculation unit 303. Here, in step S303, a parallax image as a captured image whose parallax map is known is used as an input image.
次に、学習部３０５は、式（６）に示すように、求めたい参照視差群を表す参照視差ベクトルｄと行列Ｂとの積が視差マップを行ベクトルで表したときの正解視差ベクトルＲを正確に表すように最適化を行う。 Next, as shown in Equation (6), the learning unit 305 calculates a correct disparity vector R when the product of the reference disparity vector d representing the reference disparity group to be obtained and the matrix B represents the disparity map as a row vector. Optimize for accurate representation.
はＬ２ノルムを表す。以上の処理では、用いる画像内で比較して視差を算出するため、画像サイズよりも大きい視差を求めることは難しい。このため、参照視差ベクトルｄの各要素に対して画像サイズを上限値とする制限を加えて最適化を行った方が、参照視差ベクトルｄの算出精度の面で有利である。また、参照パターンデータは必ずしも学習によって生成する必要はなく、４次元離散コサイン変換等の画像圧縮で使われる変換基底画像から生成してもよい。 Represents the L2 norm. In the above processing, since the parallax is calculated in comparison with the image to be used, it is difficult to obtain a parallax larger than the image size. For this reason, it is more advantageous in terms of calculation accuracy of the reference parallax vector d that the optimization is performed by adding a restriction with the image size as an upper limit value for each element of the reference parallax vector d. The reference pattern data does not necessarily have to be generated by learning, and may be generated from a conversion base image used in image compression such as four-dimensional discrete cosine conversion.
こうしてステップＳ２０１で視差画像を生成する撮像装置の構成を変化させながらステップＳ２０２，Ｓ２０３の処理を繰り返すことで、様々な視差の情報を含む複数の変換行列（参照パターンデータ）とこれらに対応する参照視差群とを生成することができる。 In this way, by repeating the processing of steps S202 and S203 while changing the configuration of the imaging device that generates the parallax image in step S201, a plurality of transformation matrices (reference pattern data) including various pieces of parallax information and references corresponding thereto are provided. A parallax group can be generated.
本実施例によれば、一組の入力画像の視差を算出する際の計算負荷を軽減させることが可能な画像処理システムを実現することができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
According to the present embodiment, it is possible to realize an image processing system capable of reducing the calculation load when calculating the parallax of a set of input images.
(Other examples)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。 Each embodiment described above is only a representative example, and various modifications and changes can be made to each embodiment in carrying out the present invention.
１００，３００ 撮像装置
１０２ 画像処置部
１０２ｂ，３０３ 視差算出部
３０１ 画像処理装置
DESCRIPTION OF SYMBOLS 100,300 Imaging device 102 Image treatment part 102b, 303 Parallax calculation part 301 Image processing apparatus
Claims (12)
互いに異なる視差に対応する複数の参照パターンデータのうち、前記視差画像データに含まれる前記視差の想定範囲に応じた複数の特定参照パターンデータを取得する取得手段と、
前記複数の特定参照パターンデータを用いて前記視差画像データを表すために該複数の特定参照パターンデータのそれぞれに重みを付ける複数の係数を算出し、前記複数の特定参照パターンデータのそれぞれに対応する視差と前記複数の係数とを用いて前記視差画像データに含まれる前記視差を算出する算出手段とを有することを特徴とする画像処理装置。 An image processing apparatus that calculates parallax included in parallax image data that can be acquired from captured image data generated by imaging from a plurality of different viewpoints,
Obtaining means for obtaining a plurality of specific reference pattern data corresponding to an assumed range of the parallax included in the parallax image data among a plurality of reference pattern data corresponding to different parallaxes;
In order to represent the parallax image data using the plurality of specific reference pattern data, a plurality of coefficients for weighting each of the plurality of specific reference pattern data are calculated, and corresponding to each of the plurality of specific reference pattern data An image processing apparatus comprising: a calculation unit that calculates the parallax included in the parallax image data using parallax and the plurality of coefficients.
前記算出手段は、前記視差を算出する視差画像データのサイズを、前記視差を算出しない視差画像データのサイズよりも小さくすることを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。 In obtaining a plurality of parallax image data from the captured image data,
The image according to any one of claims 1 to 3, wherein the calculation means makes the size of the parallax image data for calculating the parallax smaller than the size of the parallax image data for which the parallax is not calculated. Processing equipment.
請求項９に記載の画像処理装置とを有することを特徴とする撮像装置。 An imaging unit that performs imaging from a plurality of different viewpoints;
An image pickup apparatus comprising: the image processing apparatus according to claim 9.
互いに異なる視差に対応する複数の参照パターンデータのうち、前記視差画像データに含まれる前記視差の想定範囲に応じた複数の特定参照パターンデータを取得するステップと、
前記複数の特定参照パターンデータを用いて前記視差画像データを表すために該複数の特定参照パターンデータのそれぞれに重みを付ける複数の係数を算出し、前記複数の特定参照パターンデータのそれぞれに対応する視差と前記複数の係数とを用いて前記視差画像データに含まれる前記視差を算出するステップとを有することを特徴とする画像処理方法。 An image processing method for calculating parallax included in parallax image data obtainable from captured image data generated by imaging from a plurality of different viewpoints,
Obtaining a plurality of specific reference pattern data corresponding to an assumed range of the parallax included in the parallax image data among a plurality of reference pattern data corresponding to different parallaxes;
In order to represent the parallax image data using the plurality of specific reference pattern data, a plurality of coefficients for weighting each of the plurality of specific reference pattern data are calculated, and corresponding to each of the plurality of specific reference pattern data An image processing method comprising: calculating the parallax included in the parallax image data using parallax and the plurality of coefficients.
前記コンピュータに、
互いに異なる視差に対応する複数の参照パターンデータのうち、前記視差画像データに含まれる前記視差の想定範囲に応じた複数の特定参照パターンデータを取得させ、
前記複数の特定参照パターンデータを用いて前記視差画像データを表すために該複数の特定参照パターンデータのそれぞれに重みを付ける複数の係数を算出させ、
前記複数の特定参照パターンデータのそれぞれに対応する視差と前記複数の係数とを用いて前記視差画像データに含まれる前記視差を算出させることを特徴とする画像処理プログラム。
A computer program for causing a computer to execute image processing for calculating parallax included in parallax image data that can be acquired from captured image data generated by imaging from a plurality of different viewpoints,
In the computer,
Among a plurality of reference pattern data corresponding to different parallaxes, a plurality of specific reference pattern data corresponding to an assumed range of the parallax included in the parallax image data is acquired,
Calculating a plurality of coefficients weighting each of the plurality of specific reference pattern data in order to represent the parallax image data using the plurality of specific reference pattern data;
An image processing program for calculating the parallax included in the parallax image data using parallax corresponding to each of the plurality of specific reference pattern data and the plurality of coefficients.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016221735A JP2018081378A (en) | 2016-11-14 | 2016-11-14 | Image processing apparatus, imaging device, image processing method, and image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016221735A JP2018081378A (en) | 2016-11-14 | 2016-11-14 | Image processing apparatus, imaging device, image processing method, and image processing program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018081378A true JP2018081378A (en) | 2018-05-24 |
Family
ID=62197704
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016221735A Pending JP2018081378A (en) | 2016-11-14 | 2016-11-14 | Image processing apparatus, imaging device, image processing method, and image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018081378A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020036310A (en) * | 2018-08-24 | 2020-03-05 | キヤノン株式会社 | Image processing method, image processing apparatus, imaging apparatus, lens device, program, storage medium, and image processing system |
| CN113506213A (en) * | 2021-05-24 | 2021-10-15 | 北京航空航天大学 | Super-resolution method and device for light field image visual angle adapting to large parallax range |
-
2016
- 2016-11-14 JP JP2016221735A patent/JP2018081378A/en active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020036310A (en) * | 2018-08-24 | 2020-03-05 | キヤノン株式会社 | Image processing method, image processing apparatus, imaging apparatus, lens device, program, storage medium, and image processing system |
| JP7234057B2 (en) | 2018-08-24 | 2023-03-07 | キヤノン株式会社 | Image processing method, image processing device, imaging device, lens device, program, storage medium, and image processing system |
| CN113506213A (en) * | 2021-05-24 | 2021-10-15 | 北京航空航天大学 | Super-resolution method and device for light field image visual angle adapting to large parallax range |
| CN113506213B (en) * | 2021-05-24 | 2024-01-23 | 北京航空航天大学 | Light field image visual angle super-resolution method and device adapting to large parallax range |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3516625B1 (en) | A device and method for obtaining distance information from views | |
| US20230362344A1 (en) | System and Methods for Calibration of an Array Camera | |
| US11663691B2 (en) | Method and apparatus for restoring image | |
| US8305485B2 (en) | Digital camera with coded aperture rangefinder | |
| JP6079017B2 (en) | Distance measuring device and distance measuring method | |
| JP7378219B2 (en) | Imaging device, image processing device, control method, and program | |
| JP6285686B2 (en) | Parallax image generation device | |
| US9721348B2 (en) | Apparatus and method for raw-cost calculation using adaptive window mask | |
| US20150302573A1 (en) | Method for designing a passive single-channel imager capable of estimating depth of field | |
| JP6598473B2 (en) | Imaging apparatus and image processing apparatus | |
| JP6395429B2 (en) | Image processing apparatus, control method thereof, and storage medium | |
| JP2018081378A (en) | Image processing apparatus, imaging device, image processing method, and image processing program | |
| JP7312026B2 (en) | Image processing device, image processing method and program | |
| CN107534730B (en) | Image processing apparatus and image processing method | |
| JP2018133064A (en) | Image processing apparatus, imaging apparatus, image processing method, and image processing program | |
| US9014464B2 (en) | Measurement device, measurement method, and computer program product | |
| EP3194886A1 (en) | Positional shift amount calculation apparatus and imaging apparatus | |
| JP2020030569A (en) | Image processing method, image processing device, imaging device, lens device, program, and storage medium | |
| JP7009219B2 (en) | Image processing method, image processing device, image pickup device, image processing program, and storage medium | |
| CN113808070A (en) | Binocular digital speckle image related parallax measurement method | |
| CN112752088A (en) | Depth image generation method and device, reference image generation method and electronic equipment | |
| KR20220013183A (en) | Image restoration method and device | |
| KR102674646B1 (en) | Apparatus and method for obtaining distance information from a view | |
| WO2016042721A1 (en) | Positional shift amount calculation apparatus and imaging apparatus | |
| KR20180103657A (en) | Calibration method and apparatus of stereo camera module, computer readable storage medium |