JP2007114923A - Image processing apparatus and method - Google Patents
Image processing apparatus and method Download PDFInfo
- Publication number
- JP2007114923A JP2007114923A JP2005304057A JP2005304057A JP2007114923A JP 2007114923 A JP2007114923 A JP 2007114923A JP 2005304057 A JP2005304057 A JP 2005304057A JP 2005304057 A JP2005304057 A JP 2005304057A JP 2007114923 A JP2007114923 A JP 2007114923A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- image processing
- data
- corrected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000003384 imaging method Methods 0.000 claims description 90
- 239000000872 buffer Substances 0.000 claims description 66
- 238000003672 processing method Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 description 6
- 239000007787 solid Substances 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像処理装置及び画像処理方法に係り、詳細には、複数の撮像装置を用いた画像処理装置及び画像処理方法に関する。 The present invention relates to an image processing device and an image processing method, and more particularly, to an image processing device and an image processing method using a plurality of imaging devices.
一般に画像を用いた立体認識の方法は、1枚の画像から立体を認識する方法と、複数の画像から立体を認識する方法とに大別される。前者の方法は、1枚の画像のみでは画像の奥行きのデータが失われているため、何らかの方法でそれを補う必要がある。また、後者の方法は、1枚の画像を用いる場合に比べて、より詳細に3次元データを復元することができる。この後者の代表的な方法として、異なる場所に設置した2台以上の撮像装置によって同一物体を撮影したステレオ画像を用いて立体を認識する方法が知られている。 In general, a method of recognizing a solid using an image is roughly classified into a method of recognizing a solid from one image and a method of recognizing a solid from a plurality of images. In the former method, since the depth data of the image is lost with only one image, it is necessary to compensate for it by some method. Further, the latter method can restore the three-dimensional data in more detail than when using a single image. As the latter representative method, there is known a method of recognizing a solid using a stereo image obtained by photographing the same object by two or more imaging devices installed in different places.
このようなステレオ画像を用いて立体を認識する方法では、複数の撮像装置で同一物体を撮影し、撮影により取得したそれぞれの画像で同一物体の対応する点を決定することによって、画像中の各点の3次元座標を求めることができる。 In such a method for recognizing a solid using a stereo image, the same object is photographed by a plurality of imaging devices, and the corresponding points of the same object are determined from the respective images acquired by photographing. The three-dimensional coordinates of the point can be obtained.
上記のように同一物件の対応する点を決定する方法としては、複数台のカメラで撮影された画像をそれぞれ同一平面上に再投影し、各カメラの画像を同一の画像に補正することにより画像を処理する技術が公開されている(例えば、特許文献1参照)。この技術は、カメラによる撮像面像の画像と再投影する画像との画素位置を対応付ける変換パラメータを算出し、この変換パラメータを用いて補正した画像を形成する手法である。 As described above, the method for determining the corresponding points of the same property is to re-project images taken by a plurality of cameras on the same plane and correct each camera image to the same image. A technique for processing is disclosed (for example, see Patent Document 1). This technique is a method for calculating a conversion parameter for associating a pixel position between an image of an imaging surface image obtained by a camera and an image to be reprojected, and forming a corrected image using the conversion parameter.
また、複数台のカメラで撮影された複数の画像を互いに対応付けるために必要なエピポーラ線を、簡単な演算により効率良く算出する技術が公開されている(例えば、特許文献2参照)。 In addition, a technique for efficiently calculating epipolar lines necessary for associating a plurality of images captured by a plurality of cameras with each other by simple calculation has been disclosed (for example, see Patent Document 2).
更に、複数台のカメラで撮影された複数の画像に特定のテストパターンが存在していなくても、エピポーラ線を合わせるために用いる修正条件を検出することができる技術が公開されている(例えば、特許文献3参照)。 Furthermore, a technique that can detect a correction condition used for aligning epipolar lines even when a specific test pattern does not exist in a plurality of images taken by a plurality of cameras has been disclosed (for example, (See Patent Document 3).
また、複数のカメラにより撮影された画像のうち一方の画像を様々な条件で修正し、その修正した画像ともう一方の画像との対応関係を検出することによって、エピポーラ線を合わせる技術が公開されている(例えば、特許文献4参照)。
しかしながら、特許文献1は、撮影により得た画像を平行化する手段について提案しているが、画像処理をする手段は従来と同様であるため、処理時間を短縮することができない問題を有している。
However,
また、特許文献2、特許文献3及び特許文献4は、エピポーラ線を検出する手段について提案しているが、画像を平行化する手段は従来と同様であるため、高精度な画像処理を行うことができない問題を有している。
本発明は、前記した点に鑑みてなされたもので、複数の撮像装置により得た画像を効率良くかつ高速に画像処理を行うことが可能な画像処理装置及び画像処理方法を提供することを課題とするものである。 The present invention has been made in view of the above points, and it is an object of the present invention to provide an image processing apparatus and an image processing method capable of performing image processing efficiently and at high speed on images obtained by a plurality of imaging devices. It is what.
このような課題を解決するために、請求項1に記載の発明は、
複数の撮像装置で同一物体を撮像して取得した画像データを格納するバッファと、
前記各撮像装置が取得した画像データを処理して補正画像データを形成する画像処理部とを備えた画像処理装置において、
前記画像処理部は、前記補正画像データを形成可能な最小単位の前記画像データがバッファに格納されると、前記画像データを平行化して前記補正画像データを形成する処理を開始することを特徴とする。
In order to solve such a problem, the invention described in
A buffer for storing image data obtained by imaging the same object with a plurality of imaging devices;
An image processing apparatus comprising: an image processing unit that processes image data acquired by each of the imaging devices to form corrected image data;
The image processing unit starts processing to form the corrected image data by parallelizing the image data when the minimum unit of the image data capable of forming the corrected image data is stored in a buffer. To do.
請求項2に記載の発明は、請求項1に記載の画像処理装置において、前記画像処理部は、前記画像データと前記画像データから形成可能な前記補正画像データとの対応関係を格納する補正テーブルを備え、前記補正テーブルに格納された対応関係を用いて前記バッファに格納された前記画像データから前記補正画像データを形成することを特徴とする。 According to a second aspect of the present invention, in the image processing apparatus according to the first aspect, the image processing unit stores a correspondence relationship between the image data and the corrected image data that can be formed from the image data. The corrected image data is formed from the image data stored in the buffer using the correspondence relationship stored in the correction table.
請求項3に記載の発明は、請求項2に記載の画像処理装置において、前記画像データと前記画像データから形成可能な複数の前記補正画像データとの対応関係を格納していることを特徴とする。 According to a third aspect of the present invention, in the image processing apparatus according to the second aspect, the correspondence relationship between the image data and a plurality of the corrected image data that can be formed from the image data is stored. To do.
請求項4に記載の発明は、請求項3に記載の画像処理装置において、前記バッファに格納された前記画像データから前記補正画像データを形成する演算部を複数備えていることを特徴とする。 According to a fourth aspect of the present invention, in the image processing apparatus according to the third aspect of the present invention, the image processing apparatus includes a plurality of arithmetic units that form the corrected image data from the image data stored in the buffer.
請求項5に記載の発明は、請求項1から請求項4のいずれか一項に記載の画像処理装置において、
前記最小単位は、ライン単位であり、
前記バッファは、前記補正画像データを形成可能な最低ライン数の前記画像データを格納することができる入力ラインバッファであることを特徴とする。
The invention according to
The minimum unit is a line unit,
The buffer is an input line buffer capable of storing the image data with the minimum number of lines capable of forming the corrected image data.
請求項6に記載の発明は、請求項1から請求項5のいずれか一項に記載の画像処理装置において、前記画像処理装置は、前記各撮像装置の前記補正画像データをライン単位で格納する出力バッファを備え、前記各出力バッファから前記同一物体の前記補正画像データをライン単位で同時に出力することを特徴とする。 According to a sixth aspect of the present invention, in the image processing device according to any one of the first to fifth aspects, the image processing device stores the corrected image data of each of the imaging devices in units of lines. An output buffer is provided, and the corrected image data of the same object is simultaneously output from the output buffers in units of lines.
請求項7に記載の発明は、
複数の撮像装置で同一物体を撮像して取得した画像データを処理して補正画像データを形成する画像処理方法において、
前記画像データをバッファに格納し、
前記補正画像データを形成可能な最小単位の前記画像データがバッファに格納されたか否かを判断し、
前記補正画像データを形成可能な最小単位の前記画像データがバッファに格納されたと判断するときに、前記格納された画像データを平行化して前記補正画像データを形成することを特徴とする。
The invention described in
In an image processing method for processing image data acquired by imaging the same object with a plurality of imaging devices to form corrected image data,
Storing the image data in a buffer;
Determining whether the image data of the smallest unit capable of forming the corrected image data is stored in a buffer;
When it is determined that the minimum unit of image data that can form the corrected image data is stored in a buffer, the stored image data is parallelized to form the corrected image data.
請求項1に記載の発明によれば、補正画像データを形成することが可能な画像データがバッファに格納されると、画像データから平行化の画像処理をした補正画像データの形成を開始するので、バッファに濃度データを格納する時間と、撮像装置から画像処理部に画像データを入力してから補間演算をするまでの時間を短縮することができ、画像を撮影して画像データを取得してから補正画像データを形成する画像処理が終了するまでの画像処理時間を短縮することができる効果を奏する。 According to the first aspect of the present invention, when image data capable of forming corrected image data is stored in the buffer, formation of corrected image data obtained by performing parallel image processing from the image data is started. , The time to store the density data in the buffer and the time from the input of the image data to the image processing unit from the imaging device to the time of the interpolation calculation can be shortened. Thus, there is an effect that it is possible to shorten the image processing time until the image processing for forming the corrected image data is completed.
請求項2に記載の発明によれば、画像データと、その画像データから形成可能な補正画像データとの対応関係が予め補正テーブルに格納されているため、画像データと補正画像データとの対応関係との算出時間を削減して補正画像データを形成することが可能となり、画像処理時間を短縮させることができる効果を奏する。 According to the second aspect of the present invention, since the correspondence between the image data and the corrected image data that can be formed from the image data is stored in the correction table in advance, the correspondence between the image data and the corrected image data. Thus, it is possible to reduce the calculation time and form corrected image data, and the image processing time can be shortened.
請求項3に記載の発明によれば、ある補正画像データを形成することが可能な画像データを用いて、複数の補正画像データを形成することができるので、画像処理時間を短縮することができる効果を奏する。 According to the third aspect of the present invention, a plurality of corrected image data can be formed using image data capable of forming certain corrected image data, so that the image processing time can be shortened. There is an effect.
請求項4に記載の発明によれば、補正画像データを形成する演算部を複数備えているので、同時に複数の補正画像データを形成して画像処理時間を短縮することができる効果を奏する。 According to the fourth aspect of the present invention, since a plurality of arithmetic units for forming corrected image data are provided, there is an effect that a plurality of corrected image data can be formed at the same time to shorten the image processing time.
請求項5に記載の発明によれば、画像データをフレームバッファではなくバッファにライン単位で格納することができるので、画像データを格納する時間を削減し、画像データを取得してから画像処理を開始するまでの時間を短縮することができる効果を奏する。 According to the fifth aspect of the present invention, since image data can be stored in a line unit in a buffer instead of a frame buffer, the time for storing the image data is reduced, and image processing is performed after the image data is acquired. There is an effect that the time until the start can be shortened.
請求項6に記載の発明によれば、出力ラインバッファにライン単位で補正画像データを格納することができるので、主撮像装置と副撮像装置とから同じタイミングで、同一物体の同一箇所の補正画像データをライン単位で出力することができる効果を奏する。 According to the sixth aspect of the present invention, the corrected image data can be stored in line units in the output line buffer, so that the corrected image of the same portion of the same object is obtained from the main imaging device and the sub imaging device at the same timing. There is an effect that data can be output in line units.
請求項7に記載の発明によれば、補正画像データを形成することが可能な画像データがバッファに格納されると、画像データから平行化の画像処理をした補正データの形成を開始するので、バッファに濃度データを格納する時間と、撮像装置から画像処理部に画像データを入力してから補間演算をするまでの時間を短縮することができ、画像を撮影して画像データを取得してから補正画像データを形成する画像処理が終了するまでの画像処理時間を短縮することができる効果を奏する。 According to the seventh aspect of the present invention, when image data capable of forming corrected image data is stored in the buffer, formation of correction data obtained by performing parallel image processing from the image data is started. The time to store density data in the buffer and the time from input of image data from the imaging device to the image processing unit to the time of interpolation calculation can be shortened. There is an effect that it is possible to shorten the image processing time until the image processing for forming the corrected image data is completed.
以下、図を参照しながら本発明に係る画像処理装置の実施形態について説明する。ただし、発明の範囲は図示例に限定されない。 Embodiments of an image processing apparatus according to the present invention will be described below with reference to the drawings. However, the scope of the invention is not limited to the illustrated examples.
画像処理装置1には、図1に示すように、主撮像装置4及び副撮像装置5の複数の撮像装置を用いて取得した画像データを処理して補正画像データを形成する画像処理部2と、画像処理部2により形成された補正画像データを処理し、例えば物体を認識する画像データを形成する後段画像処理部3とが設けられている。
As shown in FIG. 1, the
画像処理部2には、同一物体を撮像して画像データを形成する主撮像装置4及び副撮像装置5が、設置されている。この主撮像装置4により取得した画像データは、ステレオ画像を得るための基準画像データであり、また、副撮像装置5により撮像された画像データは、主撮像装置4により取得された基準画像データに対する参照画像データである。
The
主撮像装置4及び副撮像装置5には、ガラスやプラスチック等からなる撮像レンズ6がそれぞれ設けられており、この撮像レンズ6を用いて同一物体を撮像するようになっている。撮像レンズ6の光路上には、受光素子である撮像素子7が画素に対応して複数配列されており、各撮像素子7の受光量に応じて画像データを生成し、画像処理部2に出力するようになっている。この画像データは、画素単位で生成されたものであり、画素の座標を示す座標データと、画素の濃度を示す濃度データとにより構成されている。
The
この撮像素子7としては、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)等を用いることができる。
As the
画像処理部2には、図2に示すように、画像処理部2全体の制御をする制御部8が、画像処理部2を構成する各部と接続して設けられている。
As shown in FIG. 2, the
また、画像処理部2には、主撮像装置4及び副撮像装置5により取得されたそれぞれの画像データに平行化の画像処理をして補正画像データを形成する画像平行化部9が、主撮像装置4及び副撮像装置5のそれぞれと1対1に対応して設けられている。ここで、平行化とは、主撮像装置4及び副撮像装置5により取得された画像データを、主撮像装置4及び副撮像装置5とが完全に平行に設置して撮影したときに取得する画像データに並び換えることをいう。また、補正画像データは、平行化の画像処理を行った画素の座標データと濃度データとにより構成されている。
In addition, the
以下、主撮像装置4に対応して設けられた画像平行化部9の詳細について説明するが、副撮像装置5に対応して設けられた画像平行化部9の詳細も、特に記載が無い限り同様である。
Hereinafter, the details of the
この画像平行化部9には、主撮像装置4により取得した画像データを用いて平行化の画像処理を行った後の画素(以下、補正後の画素と称す)の座標データと、この補正後の画素に平行化の画像処理をする前の画素(以下、補正前の画素と称す)の座標データとの対応関係が格納された補正テーブル10が設けられている。この対応関係は、主撮像装置4が取得した画像データとその画像データに平行化の画像処理をした補正画像データとにより予め検出され、補正テーブル10に格納されるようになっている。この補正前の画素の座標データや補正後の画素の座標データは、撮像により取得した画像データの座標データと必ずしも一致しないので、撮像により取得した画像データの座標データと、補正前の画素の座標データや補正後の画素の座標データとの対応関係が予め検出され、補正テーブル10に格納されている。これらの座標データの対応関係は、主撮像装置4及び副撮像装置5の位置関係や、補間に用いる補間法により異なるものである。また、主撮像装置4が有する撮像レンズ6により取得した画像データに歪が存在する場合は、この補正テーブル10には、補正前の画素の座標データと、補正前の画素に平行化の画像処理及び歪を補正した補正後の画素の座標データとの対応関係が、予め算出して格納されるようになっている。
The
また、補正前の画素の座標データが撮像により取得した画素の座標データと一致しないときには、補正前の画素の周囲に位置し、撮像により取得した画素の濃度データを用いることにより、補正前の画素の濃度データを算出する補間関係のデータが、予め検出されて補正テーブル10に格納されている。この補間関係により求めた補正前の画素の濃度データが、補正後の画素の濃度データとなる。 Further, when the coordinate data of the pixel before correction does not match the coordinate data of the pixel acquired by imaging, the pixel before correction is located by using the density data of the pixel that is located around the pixel before correction and acquired by imaging. Interpolation-related data for calculating the density data is detected in advance and stored in the correction table 10. The density data of the pixel before correction obtained by this interpolation relationship becomes the density data of the pixel after correction.
ここでいう補間関係とは、例えば図3に示すように、補正前の画素aの濃度データと、その周囲に存在して撮像により取得された4つの画素p1、p2、p3、p4の濃度データとの関係である。本実施形態では、主撮像装置4の撮像により取得した画素は、例えばp1、p2、p3、p4のように、X、Y軸共に整数値で交差する位置に存在するようになっている。また、本実施形態では、画素aの濃度データが、次の演算式(1)を用いた補間演算により算出されるようになっている。
a(x,y)=p1(n+1,m+1)(1−α)(1−β)+p2(n+2,m+1)α(1−β)+p3(n+1,m+2)(1−α)β+p4(n+2,m+2)αβ・・・(1)
ここで、
a(x,y)は、座標(x,y)の濃度データ
p1(n+1,m+1)は、座標(n+1,m+1)の濃度データ
p2(n+2,m+1)は、座標(n+2,m+1)の濃度データ
p3(n+1,m+2)は、座標(n+1,m+2)の濃度データ
p4(n+2,m+2)は、座標(n+2,m+2)の濃度データ
αは、xと(n+1)との差であり、x方向の重み付け
βは、yと(m+1)との差であり、y方向の重み付け
である。
For example, as shown in FIG. 3, the interpolating relationship here refers to the density data of the pixel a before correction and the density data of the four pixels p1, p2, p3, and p4 that are present around and acquired by imaging. Relationship. In the present embodiment, the pixels acquired by imaging of the
a (x, y) = p1 (n + 1, m + 1) (1-α) (1-β) + p2 (n + 2, m + 1) α (1-β) + p3 (n + 1, m + 2) (1-α) β + p4 (n + 2, m + 2) αβ (1)
here,
a (x, y) is the density data at coordinates (x, y) p1 (n + 1, m + 1) is the density data at coordinates (n + 1, m + 1) p2 (n + 2, m + 1) is the density at coordinates (n + 2, m + 1) Data p3 (n + 1, m + 2) is density data at coordinates (n + 1, m + 2) p4 (n + 2, m + 2) is density data at coordinates (n + 2, m + 2) α is the difference between x and (n + 1), x Directional weighting β is the difference between y and (m + 1), and is the weighting in the y direction.
本実施形態における補正画像データと補正テーブル10との関係の具体例を以下に説明する。
例えば、図4に示すように、座標(n,m)、座標(n+1,m)、座標(n,m+1)に位置する補正後の画素a1、b1、c1は、それぞれ、座標(n+1+α1,m+1+β1)、座標(n+1+α2,m+1+β2)、座標(n+1+α3,m+1+β3)に位置する補正前の画素a2、b2、c2に対応することを予め検出したとする。この補正前の画素の座標データと補正後の画素の座標データとの対応関係、補間演算に用いる演算式、及び、個々の補正前の画素が有する重み付けα1〜α3、β1〜β3が、補正テーブル10に格納されるようになっている。
そして、演算式(1)を用いて補間演算した補正前の画素の濃度データは、この補正前の画素に対応する補正後の画素の濃度データとなる。例えば、画素a2の濃度データa2(n+1+α1,m+1+β1)の濃度データは、演算式(1)を用いた補間演算により算出され、その濃度データは、画素a1の濃度データa1(n,m)となる。
A specific example of the relationship between the corrected image data and the correction table 10 in the present embodiment will be described below.
For example, as shown in FIG. 4, corrected pixels a1, b1, and c1 located at coordinates (n, m), coordinates (n + 1, m), and coordinates (n, m + 1) are respectively coordinated (n + 1 + α1, m + 1 + β1). ), Coordinates (n + 1 + α2, m + 1 + β2) and coordinates (n + 1 + α3, m + 1 + β3) corresponding to uncorrected pixels a2, b2, and c2. The correspondence between the coordinate data of the pixel before correction and the coordinate data of the pixel after correction, the arithmetic expression used for the interpolation calculation, and the weights α1 to α3 and β1 to β3 possessed by the individual pixels before correction are the correction table. 10 is stored.
Then, the density data of the uncorrected pixel that is interpolated using the arithmetic expression (1) becomes the density data of the corrected pixel corresponding to the pixel before correction. For example, the density data of the density data a2 (n + 1 + α1, m + 1 + β1) of the pixel a2 is calculated by interpolation using the arithmetic expression (1), and the density data becomes the density data a1 (n, m) of the pixel a1. .
また、図2に戻り、画像平行化部9には、主撮像装置4から出力された画像データのうち濃度データをライン単位で一時的に格納する入力ラインバッファ11が設けられている。このライン単位とは、画像データを処理して補正画像データを形成するときに、補正画像データを形成することが可能な最小単位である。この入力ラインバッファ11には、後述する補間関係を形成するために必要なライン数分の濃度値が最低限格納できるようになっている。この必要なライン数は、用いる濃度データの補間法によって異なるものである。本実施形態では、濃度データの補間を行う画素の周囲に存在する4つの画素の濃度データを用いて線形補間を行う線形補間法を用いているため、入力ラインバッファ11には、2ライン分の画素の濃度データを最低限格納できるようになっている。
Returning to FIG. 2, the
また、入力ラインバッファ11には、画像データを入力ラインバッファ11に格納するときにカウントする入力カウンタ12が、入力ラインバッファ11に接続して設けられている。入力カウンタ12は、入力ラインバッファ11のx位置をカウントする入力xカウンタ13と、入力ラインバッファのy位置をカウントする入力yカウンタ14とによって構成されている。この入力xカウンタ13及び入力yカウンタ14を用いることにより、個々の濃度データを入力ラインバッファ11の適切な位置に格納することができるようになっている。
The
さらに、入力ラインバッファ11には、補正テーブル10に格納された補間関係を用いて入力ラインバッファに格納された画素の濃度データの補間演算をする補間関係生成部15が、接続されている。
Further, the
この補間関係生成部15には、入力ラインバッファ11に格納された濃度データと、補正テーブル10に格納された演算式や重み付けとを用いて補間演算をし、個々の画素の濃度データを算出する補間演算部16が、設けられている。
この補間演算部16は、例えば図4におけるp1、p2、p3、p4の4つの画素で囲まれたa2、b2、c2のように、周囲の4画素の濃度データにより演算することができる歪補正前の画素の最大数に対応して設けられており、本実施形態では3つ設けられている。この補間演算部16の数は、レンズや撮像系による歪や、補間に用いる補間法により異なり、補正前の座標データと補正後の座標データとの対応関係及び取得する画素の座標データにより予め算出される。
The interpolation
For example, the
補間関係生成部15には、補間演算部16にて補間演算している画素の補正前の座標データを管理している補間カウンタ17が、補間関係生成部15に対応して設けられている。補間カウンタ17には、補間演算部16にて補間演算している画素の補正前のx座標を管理する補間xカウンタ18と、同じく補間演算している画素の補正前のy座標を管理する補間yカウンタ19とにより構成されている。
The interpolation
補間演算部16には、補間演算により形成された濃度データを一時的に格納し、後段画像処理部3に格納した濃度データをライン単位で出力する出力ラインバッファ20が接続されている。この出力ラインバッファ20は、主撮像装置4及び副撮像装置5にそれぞれ対応して設けられており、主撮像装置4により撮像された基準画像データが後段画像処理部3に出力されるタイミングと、副撮像装置5により撮像され、基準画像データに対応する参照画像データが後段画像処理部3に出力されるタイミングとが一致するようになっている。
また、出力ラインバッファ20には、入力ラインバッファ11と同数のライン数の濃度データを最低格納することができるようになっている。そして、基準画像データが出力するタイミングよりも基準画像データに対応する参照画像データが出力するタイミングのほうが遅い場合、主撮像装置4に対応して設けられた出力ラインバッファ20には、入力ラインバッファ11と同数のライン数の濃度データに加え、出力が遅れるライン数分の濃度データを格納することができるようになっている。
The
The
出力ラインバッファ20には、補間演算部16により形成された濃度データを出力ラインバッファ20に格納したり、出力ラインバッファ20から後段画像処理部3に出力したりするときにカウントをする出力カウンタ21が、出力ラインバッファ20に対応して設けられている。この出力カウンタ21は、出力ラインバッファ20のx位置をカウントする出力xカウンタ22と、出力ラインバッファ20のy位置をカウントする出力yカウンタ23とにより構成されている。
The
次に、本実施形態に係る画像処理装置1の作用について説明する。
Next, the operation of the
主撮像装置4及び副撮像装置5を用いて画像を撮影すると、主撮像装置4及び副撮像装置5の撮像レンズ6の光路上にある撮像素子7がその受光量に応じて画像データに変換するので、主撮像装置4及び副撮像装置5による画像データがそれぞれ生成される。
When an image is captured using the
主撮像装置4及び副撮像装置5によって生成された画像データが主撮像装置4及び副撮像装置5に接続された画像平行化部9に入力されると、制御部8は、画像データを構成するデータのうち濃度データを、入力ラインバッファ11に一旦格納する。そして、制御部8は、補正テーブル10を参照し、入力ラインバッファ11に格納された濃度データから補間演算をすることができる補正前の画素を検出する。そして、制御部8は、その補正前の画素に対応する補間演算式や重み付けなどを、補正テーブル10から補間関係生成部15に出力させる。同時に制御部8は、補間関係生成部15で演算する画像データの対応関係を補正テーブル10から検出し、補間演算をする補正前の画素の座標データを補間カウンタ17に管理させる。
When the image data generated by the
詳細には、入力ラインバッファ11に取得した画像データを構成する濃度データ、p1、p2、p3、p4が格納されると、制御部8は、これらの濃度データを用いて補間演算できる補正前の画素がa2、b2、c2であることを補正テーブル10の対応関係から検出し、それぞれの画素に用いる補間演算式や重み付けなどを補正テーブル10から補間関係生成部15に出力する。そして、補間演算部16にて、それぞれの画素に対応して補間演算を行い、濃度データを形成する。
More specifically, when the density data p1, p2, p3, and p4 constituting the acquired image data are stored in the
例えば、a2の補間演算は以下のような演算式(2)を用いて行われ、補正後の画素の濃度データを算出する。
a2=(1−α1)(1−β1)p1+α1(1−β1)p2+(1−α1)β1p3+α1β1p4・・・(2)
ここで、
a2は、座標a2の濃度データ
p1は、座標p1の濃度データ
p2は、座標p2の濃度データ
p3は、座標p3の濃度データ
p4は、座標p4の濃度データ
α1及びβ2は、a2の重み付け
である。
For example, the interpolation calculation of a2 is performed using the following calculation formula (2), and the corrected pixel density data is calculated.
a2 = (1-α1) (1-β1) p1 + α1 (1-β1) p2 + (1-α1) β1p3 + α1β1p4 (2)
here,
a2 is the density data p1 of the coordinate a2, p1 is the density data of the coordinate p1, p2 is the density data of the coordinate p2, p3 is the density data of the coordinate p3, p4 is the density data of the coordinate p4 α1 and β2 are weights of a2. .
このa2の濃度データを算出しているとき、制御部8は、画素a2の座標データ(n+1+α1,m+1+β1)のうち、x座標を示す(n+1+α1)を補間xカウンタ18に管理させ、また、y座標を示す(m+1+β1)を補間yカウンタ19に管理させる。
When calculating the density data of a2, the
同様に、各補間演算部16にてb2及びc2の補間演算が行われ、b2及びc2の補正後の画素の濃度データがそれぞれ算出される。この算出されたa2、b2、c2のそれぞれの濃度データは、平行化の補正をした後の画素(補正後の画素)の濃度データ、a1、b1、c1のそれぞれの濃度データとなる。
Similarly, each
制御部8は、補間演算により算出された補正後の画素の濃度データを、出力カウンタ21を用いて、出力ラインバッファ20の適切な位置に一旦格納する。この適切な位置とは、主撮像装置4及び副撮像装置5とが完全に平行に設置されたときに取得する画像データの並びである平行化処理がされた画像データに並び換えた位置であり、主撮像装置4及び副撮像装置5の有する撮像レンズ6が歪を有する場合は、歪の補正をした後の画像データの位置でもある。
また、制御部8は、補間演算部16から出力される補正後の画素の濃度データに対応する補正後の画素の座標データを補正テーブルから検出し、その座標データのx座標を出力xカウンタ22に管理させ、また、その座標データのy座標を出力yカウンタ23に管理させる。そして制御部8は、出力カウンタ21を制御して、補正後の画素の濃度データを、補正後の画素の座標データに対応させた出力ラインバッファ20の位置に出力させ、格納する。
The
The
更に、制御部8は、主撮像装置4及び副撮像装置5のそれぞれに接続された出力ラインバッファ20に格納された濃度データを、出力カウンタ21を用いて後段画像処理部3にライン単位で出力する。このとき、制御部8は、基準画像データが出力するタイミングと、基準画像データに対応する参照画像データが出力するタイミングとが一致するように制御する。
Further, the
そして、制御部8は、後段画像処理部3で、補正画像データを処理して例えば物体を認識する画像データを形成する。
And the
以上のように、本実施形態によれば、補正画像データを形成することが可能な画像データが入力ラインバッファ11に格納されると、画像データから平行化の画像処理をした補正画像データの形成を開始するので、入力ラインバッファ11に濃度データを格納する時間と、画像データと補正画像データとの対応関係との算出時間とを削減して補正画像データを形成することが可能となり、画像処理時間を短縮させることができる。
As described above, according to the present embodiment, when image data capable of forming corrected image data is stored in the
なお、本実施形態では、画像平行化部9に、補正後の画素の座標データと補正前の画素の座標データとの対応関係が格納されている補正テーブル10を設けた例を示したが、これに限定されず、画像処理部に補正テーブルを設けず、補正後の画素の座標データと補正前の画素の座標データとの対応関係を検出するようにしてもよい。
In the present embodiment, the
また、本実施形態では、ライン単位を補正画像データの形成可能な最小単位とした例を示したが、これに限定されず、画素単位や画像単位であってもよい。
これに対応して、本実施形態では、濃度データをライン単位で格納する入力ラインバッファ11を設けた例を示したが、これに限定されず、濃度データを画素単位や画像単位で格納する入力ラインバッファを設けてもよい。
さらに、本実施形態では、格納した濃度データをライン単位で出力する出力ラインバッファ20を設けた例を示したが、これに限定されず、入力ラインバッファの最小単位と対応させ、濃度データを画素単位や画像単位で格納する出力ラインバッファを設けてもよい。
In this embodiment, an example in which the line unit is the minimum unit in which the corrected image data can be formed is shown. However, the present invention is not limited to this, and a pixel unit or an image unit may be used.
Correspondingly, in this embodiment, an example in which the
Furthermore, in the present embodiment, an example in which the
さらに、本実施形態では、単数の副撮像装置5を設けた例を示したが、これに限定されず、複数の副撮像装置を設けるような構成であってもよい。
Furthermore, in this embodiment, although the example which provided the single
また、本実施形態では、補間演算部16が一度に演算することのできる補正前の濃度データの最大数に対応して設けられた例を示したが、これに限定されず、一つの補間演算部にて順次、補間演算を行うような構成であってもよい。
In the present embodiment, the example in which the
1 画像処理装置
2 画像処理部
3 後段画像処理部
4 主撮像装置
5 副撮像装置
6 撮像レンズ
7 撮像素子
8 制御部
9 画像平行化部
10 補正テーブル
11 入力ラインバッファ
12 入力カウンタ
15 補間関係生成部
16 補間演算部
17 補間カウンタ
20 出力ラインバッファ
21 出力カウンタ
DESCRIPTION OF
Claims (7)
前記各撮像装置が取得した画像データを処理して補正画像データを形成する画像処理部とを備えた画像処理装置において、
前記画像処理部は、前記補正画像データを形成可能な最小単位の前記画像データがバッファに格納されると、前記画像データを平行化して前記補正画像データを形成する処理を開始することを特徴とする画像処理装置。 A buffer for storing image data obtained by imaging the same object with a plurality of imaging devices;
An image processing apparatus comprising: an image processing unit that processes image data acquired by each of the imaging devices to form corrected image data;
The image processing unit starts processing to form the corrected image data by parallelizing the image data when the minimum unit of the image data capable of forming the corrected image data is stored in a buffer. An image processing apparatus.
前記バッファは、前記補正画像データを形成可能な最低ライン数の前記画像データを格納することができる入力ラインバッファであることを特徴とする請求項1から請求項4のいずれか一項に記載の画像処理装置。 The minimum unit is a line unit,
The said buffer is an input line buffer which can store the said image data of the minimum line number which can form the said correction | amendment image data, The Claim 1 characterized by the above-mentioned. Image processing device.
前記画像データをバッファに格納し、
前記補正画像データを形成可能な最小単位の前記画像データがバッファに格納されたか否かを判断し、
前記補正画像データを形成可能な最小単位の前記画像データがバッファに格納されたと判断するときに、前記格納された画像データを平行化して前記補正画像データを形成することを特徴とする画像処理方法。 In an image processing method for processing image data acquired by imaging the same object with a plurality of imaging devices to form corrected image data,
Storing the image data in a buffer;
Determining whether the image data of the smallest unit capable of forming the corrected image data is stored in a buffer;
An image processing method characterized in that the corrected image data is formed by parallelizing the stored image data when it is determined that the minimum unit of image data that can form the corrected image data is stored in a buffer. .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005304057A JP2007114923A (en) | 2005-10-19 | 2005-10-19 | Image processing apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005304057A JP2007114923A (en) | 2005-10-19 | 2005-10-19 | Image processing apparatus and method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007114923A true JP2007114923A (en) | 2007-05-10 |
Family
ID=38097053
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005304057A Pending JP2007114923A (en) | 2005-10-19 | 2005-10-19 | Image processing apparatus and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007114923A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012023666A (en) * | 2010-07-16 | 2012-02-02 | Renesas Electronics Corp | Image conversion apparatus and image conversion system |
JP2015167374A (en) * | 2015-04-16 | 2015-09-24 | ルネサスエレクトロニクス株式会社 | image conversion system |
-
2005
- 2005-10-19 JP JP2005304057A patent/JP2007114923A/en active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012023666A (en) * | 2010-07-16 | 2012-02-02 | Renesas Electronics Corp | Image conversion apparatus and image conversion system |
US8977071B2 (en) | 2010-07-16 | 2015-03-10 | Renesas Electronics Corporation | Image converting device and image converting system |
US9361675B2 (en) | 2010-07-16 | 2016-06-07 | Renesas Electronics Corporation | Image converting device and image converting system |
US9736393B2 (en) | 2010-07-16 | 2017-08-15 | Renesas Electronics Corporation | Image converting device and image converting system |
US10027900B2 (en) | 2010-07-16 | 2018-07-17 | Renesas Electronics Corporation | Image converting device and image converting system |
JP2015167374A (en) * | 2015-04-16 | 2015-09-24 | ルネサスエレクトロニクス株式会社 | image conversion system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4102854B2 (en) | Imaging device | |
CN108781250B (en) | Image pickup control device, image pickup control method, and image pickup device | |
TWI761684B (en) | Calibration method of an image device and related image device and operational device thereof | |
US20160232684A1 (en) | Motion compensation method and apparatus for depth images | |
JP5141245B2 (en) | Image processing apparatus, correction information generation method, and imaging apparatus | |
JP6975003B2 (en) | Peripheral monitoring device and its calibration method | |
WO2014069169A1 (en) | Image processing device | |
JP2014503408A (en) | Method and apparatus for processing image information of two sensors suitable for image detection in a stereo sensor system | |
JP2015049402A5 (en) | FOCUS DETECTION DEVICE, ITS CONTROL METHOD, AND IMAGING DEVICE | |
US20170155889A1 (en) | Image capturing device, depth information generation method and auto-calibration method thereof | |
WO2019225682A1 (en) | Three-dimensional reconstruction method and three-dimensional reconstruction device | |
JP2012231262A (en) | Imaging apparatus, blur correction method, control program, and recording medium for recording control program | |
JP2008216127A (en) | Distance image generation device, distance image generation method, and program | |
JP2011205284A (en) | Image processing method and image processing device | |
JP2007079708A (en) | Image processor and processing method | |
US9538161B2 (en) | System and method for stereoscopic photography | |
JP2011147079A (en) | Image pickup device | |
JP2007114923A (en) | Image processing apparatus and method | |
JP2015032842A (en) | Solid state imaging device, imaging apparatus, and correction method | |
JP2014138331A (en) | Imaging apparatus and program | |
CN102244729B (en) | Image capture apparatus and control method thereof | |
JP2014106260A (en) | Focus detection device, image capturing device, image capturing system, and focus detection method | |
JP2014238558A (en) | Imaging device and parallax detection method | |
JP2018157371A (en) | Imaging apparatus and method of correcting defective pixels | |
JP2018107699A (en) | Image processing device and image processing method |