JP2007114923A - Image processing apparatus and method - Google Patents

Image processing apparatus and method Download PDF

Info

Publication number
JP2007114923A
JP2007114923A JP2005304057A JP2005304057A JP2007114923A JP 2007114923 A JP2007114923 A JP 2007114923A JP 2005304057 A JP2005304057 A JP 2005304057A JP 2005304057 A JP2005304057 A JP 2005304057A JP 2007114923 A JP2007114923 A JP 2007114923A
Authority
JP
Japan
Prior art keywords
image data
image
image processing
data
corrected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005304057A
Other languages
Japanese (ja)
Inventor
Hitoshi Koyanagi
仁 小柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2005304057A priority Critical patent/JP2007114923A/en
Publication of JP2007114923A publication Critical patent/JP2007114923A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processing apparatus and method capable of processing with efficiency, and high speed images obtained by a plurality of image pickup devices. <P>SOLUTION: In an image processing part 2, image parallelizing parts 9 for implementing parallelization image processes on images obtained by a main image pickup device 4 and an auxiliary image pickup device 5 are provided, each in one-to-one correspondence with the image pickup device 4 and the auxiliary image pickup device 5. Each of the image parallelizing parts 9 includes a correction table 10 which stores the relationship between the coordinate data of pixels after the parallelization image processes are implemented using image data obtained by image pickup and the coordinate data of pixels corresponding to the corrected pixels before the image processes are implemented. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、画像処理装置及び画像処理方法に係り、詳細には、複数の撮像装置を用いた画像処理装置及び画像処理方法に関する。   The present invention relates to an image processing device and an image processing method, and more particularly, to an image processing device and an image processing method using a plurality of imaging devices.

一般に画像を用いた立体認識の方法は、1枚の画像から立体を認識する方法と、複数の画像から立体を認識する方法とに大別される。前者の方法は、1枚の画像のみでは画像の奥行きのデータが失われているため、何らかの方法でそれを補う必要がある。また、後者の方法は、1枚の画像を用いる場合に比べて、より詳細に3次元データを復元することができる。この後者の代表的な方法として、異なる場所に設置した2台以上の撮像装置によって同一物体を撮影したステレオ画像を用いて立体を認識する方法が知られている。   In general, a method of recognizing a solid using an image is roughly classified into a method of recognizing a solid from one image and a method of recognizing a solid from a plurality of images. In the former method, since the depth data of the image is lost with only one image, it is necessary to compensate for it by some method. Further, the latter method can restore the three-dimensional data in more detail than when using a single image. As the latter representative method, there is known a method of recognizing a solid using a stereo image obtained by photographing the same object by two or more imaging devices installed in different places.

このようなステレオ画像を用いて立体を認識する方法では、複数の撮像装置で同一物体を撮影し、撮影により取得したそれぞれの画像で同一物体の対応する点を決定することによって、画像中の各点の3次元座標を求めることができる。   In such a method for recognizing a solid using a stereo image, the same object is photographed by a plurality of imaging devices, and the corresponding points of the same object are determined from the respective images acquired by photographing. The three-dimensional coordinates of the point can be obtained.

上記のように同一物件の対応する点を決定する方法としては、複数台のカメラで撮影された画像をそれぞれ同一平面上に再投影し、各カメラの画像を同一の画像に補正することにより画像を処理する技術が公開されている(例えば、特許文献1参照)。この技術は、カメラによる撮像面像の画像と再投影する画像との画素位置を対応付ける変換パラメータを算出し、この変換パラメータを用いて補正した画像を形成する手法である。   As described above, the method for determining the corresponding points of the same property is to re-project images taken by a plurality of cameras on the same plane and correct each camera image to the same image. A technique for processing is disclosed (for example, see Patent Document 1). This technique is a method for calculating a conversion parameter for associating a pixel position between an image of an imaging surface image obtained by a camera and an image to be reprojected, and forming a corrected image using the conversion parameter.

また、複数台のカメラで撮影された複数の画像を互いに対応付けるために必要なエピポーラ線を、簡単な演算により効率良く算出する技術が公開されている(例えば、特許文献2参照)。   In addition, a technique for efficiently calculating epipolar lines necessary for associating a plurality of images captured by a plurality of cameras with each other by simple calculation has been disclosed (for example, see Patent Document 2).

更に、複数台のカメラで撮影された複数の画像に特定のテストパターンが存在していなくても、エピポーラ線を合わせるために用いる修正条件を検出することができる技術が公開されている(例えば、特許文献3参照)。   Furthermore, a technique that can detect a correction condition used for aligning epipolar lines even when a specific test pattern does not exist in a plurality of images taken by a plurality of cameras has been disclosed (for example, (See Patent Document 3).

また、複数のカメラにより撮影された画像のうち一方の画像を様々な条件で修正し、その修正した画像ともう一方の画像との対応関係を検出することによって、エピポーラ線を合わせる技術が公開されている(例えば、特許文献4参照)。
特開平7−294215号公報 特開平6−42941号公報 特開平9−153148号公報 特開平11−203476号公報
In addition, a technique for matching epipolar lines by correcting one of images captured by multiple cameras under various conditions and detecting the correspondence between the corrected image and the other image has been released. (For example, see Patent Document 4).
JP 7-294215 A JP-A-6-42941 Japanese Patent Laid-Open No. 9-153148 JP-A-11-203476

しかしながら、特許文献1は、撮影により得た画像を平行化する手段について提案しているが、画像処理をする手段は従来と同様であるため、処理時間を短縮することができない問題を有している。   However, Patent Document 1 proposes a means for parallelizing an image obtained by photographing. However, since the means for image processing is the same as the conventional one, there is a problem that the processing time cannot be shortened. Yes.

また、特許文献2、特許文献3及び特許文献4は、エピポーラ線を検出する手段について提案しているが、画像を平行化する手段は従来と同様であるため、高精度な画像処理を行うことができない問題を有している。   Patent Document 2, Patent Document 3 and Patent Document 4 propose a means for detecting an epipolar line. However, since the means for parallelizing an image is the same as the conventional one, high-precision image processing is performed. Has a problem that can not be.

本発明は、前記した点に鑑みてなされたもので、複数の撮像装置により得た画像を効率良くかつ高速に画像処理を行うことが可能な画像処理装置及び画像処理方法を提供することを課題とするものである。   The present invention has been made in view of the above points, and it is an object of the present invention to provide an image processing apparatus and an image processing method capable of performing image processing efficiently and at high speed on images obtained by a plurality of imaging devices. It is what.

このような課題を解決するために、請求項1に記載の発明は、
複数の撮像装置で同一物体を撮像して取得した画像データを格納するバッファと、
前記各撮像装置が取得した画像データを処理して補正画像データを形成する画像処理部とを備えた画像処理装置において、
前記画像処理部は、前記補正画像データを形成可能な最小単位の前記画像データがバッファに格納されると、前記画像データを平行化して前記補正画像データを形成する処理を開始することを特徴とする。
In order to solve such a problem, the invention described in claim 1
A buffer for storing image data obtained by imaging the same object with a plurality of imaging devices;
An image processing apparatus comprising: an image processing unit that processes image data acquired by each of the imaging devices to form corrected image data;
The image processing unit starts processing to form the corrected image data by parallelizing the image data when the minimum unit of the image data capable of forming the corrected image data is stored in a buffer. To do.

請求項2に記載の発明は、請求項1に記載の画像処理装置において、前記画像処理部は、前記画像データと前記画像データから形成可能な前記補正画像データとの対応関係を格納する補正テーブルを備え、前記補正テーブルに格納された対応関係を用いて前記バッファに格納された前記画像データから前記補正画像データを形成することを特徴とする。   According to a second aspect of the present invention, in the image processing apparatus according to the first aspect, the image processing unit stores a correspondence relationship between the image data and the corrected image data that can be formed from the image data. The corrected image data is formed from the image data stored in the buffer using the correspondence relationship stored in the correction table.

請求項3に記載の発明は、請求項2に記載の画像処理装置において、前記画像データと前記画像データから形成可能な複数の前記補正画像データとの対応関係を格納していることを特徴とする。   According to a third aspect of the present invention, in the image processing apparatus according to the second aspect, the correspondence relationship between the image data and a plurality of the corrected image data that can be formed from the image data is stored. To do.

請求項4に記載の発明は、請求項3に記載の画像処理装置において、前記バッファに格納された前記画像データから前記補正画像データを形成する演算部を複数備えていることを特徴とする。   According to a fourth aspect of the present invention, in the image processing apparatus according to the third aspect of the present invention, the image processing apparatus includes a plurality of arithmetic units that form the corrected image data from the image data stored in the buffer.

請求項5に記載の発明は、請求項1から請求項4のいずれか一項に記載の画像処理装置において、
前記最小単位は、ライン単位であり、
前記バッファは、前記補正画像データを形成可能な最低ライン数の前記画像データを格納することができる入力ラインバッファであることを特徴とする。
The invention according to claim 5 is the image processing apparatus according to any one of claims 1 to 4,
The minimum unit is a line unit,
The buffer is an input line buffer capable of storing the image data with the minimum number of lines capable of forming the corrected image data.

請求項6に記載の発明は、請求項1から請求項5のいずれか一項に記載の画像処理装置において、前記画像処理装置は、前記各撮像装置の前記補正画像データをライン単位で格納する出力バッファを備え、前記各出力バッファから前記同一物体の前記補正画像データをライン単位で同時に出力することを特徴とする。   According to a sixth aspect of the present invention, in the image processing device according to any one of the first to fifth aspects, the image processing device stores the corrected image data of each of the imaging devices in units of lines. An output buffer is provided, and the corrected image data of the same object is simultaneously output from the output buffers in units of lines.

請求項7に記載の発明は、
複数の撮像装置で同一物体を撮像して取得した画像データを処理して補正画像データを形成する画像処理方法において、
前記画像データをバッファに格納し、
前記補正画像データを形成可能な最小単位の前記画像データがバッファに格納されたか否かを判断し、
前記補正画像データを形成可能な最小単位の前記画像データがバッファに格納されたと判断するときに、前記格納された画像データを平行化して前記補正画像データを形成することを特徴とする。
The invention described in claim 7
In an image processing method for processing image data acquired by imaging the same object with a plurality of imaging devices to form corrected image data,
Storing the image data in a buffer;
Determining whether the image data of the smallest unit capable of forming the corrected image data is stored in a buffer;
When it is determined that the minimum unit of image data that can form the corrected image data is stored in a buffer, the stored image data is parallelized to form the corrected image data.

請求項1に記載の発明によれば、補正画像データを形成することが可能な画像データがバッファに格納されると、画像データから平行化の画像処理をした補正画像データの形成を開始するので、バッファに濃度データを格納する時間と、撮像装置から画像処理部に画像データを入力してから補間演算をするまでの時間を短縮することができ、画像を撮影して画像データを取得してから補正画像データを形成する画像処理が終了するまでの画像処理時間を短縮することができる効果を奏する。   According to the first aspect of the present invention, when image data capable of forming corrected image data is stored in the buffer, formation of corrected image data obtained by performing parallel image processing from the image data is started. , The time to store the density data in the buffer and the time from the input of the image data to the image processing unit from the imaging device to the time of the interpolation calculation can be shortened. Thus, there is an effect that it is possible to shorten the image processing time until the image processing for forming the corrected image data is completed.

請求項2に記載の発明によれば、画像データと、その画像データから形成可能な補正画像データとの対応関係が予め補正テーブルに格納されているため、画像データと補正画像データとの対応関係との算出時間を削減して補正画像データを形成することが可能となり、画像処理時間を短縮させることができる効果を奏する。   According to the second aspect of the present invention, since the correspondence between the image data and the corrected image data that can be formed from the image data is stored in the correction table in advance, the correspondence between the image data and the corrected image data. Thus, it is possible to reduce the calculation time and form corrected image data, and the image processing time can be shortened.

請求項3に記載の発明によれば、ある補正画像データを形成することが可能な画像データを用いて、複数の補正画像データを形成することができるので、画像処理時間を短縮することができる効果を奏する。   According to the third aspect of the present invention, a plurality of corrected image data can be formed using image data capable of forming certain corrected image data, so that the image processing time can be shortened. There is an effect.

請求項4に記載の発明によれば、補正画像データを形成する演算部を複数備えているので、同時に複数の補正画像データを形成して画像処理時間を短縮することができる効果を奏する。   According to the fourth aspect of the present invention, since a plurality of arithmetic units for forming corrected image data are provided, there is an effect that a plurality of corrected image data can be formed at the same time to shorten the image processing time.

請求項5に記載の発明によれば、画像データをフレームバッファではなくバッファにライン単位で格納することができるので、画像データを格納する時間を削減し、画像データを取得してから画像処理を開始するまでの時間を短縮することができる効果を奏する。   According to the fifth aspect of the present invention, since image data can be stored in a line unit in a buffer instead of a frame buffer, the time for storing the image data is reduced, and image processing is performed after the image data is acquired. There is an effect that the time until the start can be shortened.

請求項6に記載の発明によれば、出力ラインバッファにライン単位で補正画像データを格納することができるので、主撮像装置と副撮像装置とから同じタイミングで、同一物体の同一箇所の補正画像データをライン単位で出力することができる効果を奏する。   According to the sixth aspect of the present invention, the corrected image data can be stored in line units in the output line buffer, so that the corrected image of the same portion of the same object is obtained from the main imaging device and the sub imaging device at the same timing. There is an effect that data can be output in line units.

請求項7に記載の発明によれば、補正画像データを形成することが可能な画像データがバッファに格納されると、画像データから平行化の画像処理をした補正データの形成を開始するので、バッファに濃度データを格納する時間と、撮像装置から画像処理部に画像データを入力してから補間演算をするまでの時間を短縮することができ、画像を撮影して画像データを取得してから補正画像データを形成する画像処理が終了するまでの画像処理時間を短縮することができる効果を奏する。   According to the seventh aspect of the present invention, when image data capable of forming corrected image data is stored in the buffer, formation of correction data obtained by performing parallel image processing from the image data is started. The time to store density data in the buffer and the time from input of image data from the imaging device to the image processing unit to the time of interpolation calculation can be shortened. There is an effect that it is possible to shorten the image processing time until the image processing for forming the corrected image data is completed.

以下、図を参照しながら本発明に係る画像処理装置の実施形態について説明する。ただし、発明の範囲は図示例に限定されない。   Embodiments of an image processing apparatus according to the present invention will be described below with reference to the drawings. However, the scope of the invention is not limited to the illustrated examples.

画像処理装置1には、図1に示すように、主撮像装置4及び副撮像装置5の複数の撮像装置を用いて取得した画像データを処理して補正画像データを形成する画像処理部2と、画像処理部2により形成された補正画像データを処理し、例えば物体を認識する画像データを形成する後段画像処理部3とが設けられている。   As shown in FIG. 1, the image processing device 1 includes an image processing unit 2 that processes corrected image data using a plurality of imaging devices, that is, a main imaging device 4 and a sub imaging device 5 to form corrected image data. A post-stage image processing unit 3 that processes the corrected image data formed by the image processing unit 2 and forms image data for recognizing an object, for example, is provided.

画像処理部2には、同一物体を撮像して画像データを形成する主撮像装置4及び副撮像装置5が、設置されている。この主撮像装置4により取得した画像データは、ステレオ画像を得るための基準画像データであり、また、副撮像装置5により撮像された画像データは、主撮像装置4により取得された基準画像データに対する参照画像データである。   The image processing unit 2 is provided with a main imaging device 4 and a sub imaging device 5 that image the same object to form image data. The image data acquired by the main imaging device 4 is reference image data for obtaining a stereo image, and the image data captured by the sub-imaging device 5 corresponds to the reference image data acquired by the main imaging device 4. Reference image data.

主撮像装置4及び副撮像装置5には、ガラスやプラスチック等からなる撮像レンズ6がそれぞれ設けられており、この撮像レンズ6を用いて同一物体を撮像するようになっている。撮像レンズ6の光路上には、受光素子である撮像素子7が画素に対応して複数配列されており、各撮像素子7の受光量に応じて画像データを生成し、画像処理部2に出力するようになっている。この画像データは、画素単位で生成されたものであり、画素の座標を示す座標データと、画素の濃度を示す濃度データとにより構成されている。   The main imaging device 4 and the sub imaging device 5 are each provided with an imaging lens 6 made of glass, plastic, or the like. The imaging lens 6 is used to image the same object. On the optical path of the imaging lens 6, a plurality of imaging elements 7 as light receiving elements are arranged corresponding to the pixels, and image data is generated according to the amount of light received by each imaging element 7 and output to the image processing unit 2. It is supposed to be. This image data is generated in units of pixels, and is composed of coordinate data indicating pixel coordinates and density data indicating pixel density.

この撮像素子7としては、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)等を用いることができる。   As the imaging element 7, a complementary metal oxide semiconductor (CMOS), a charge coupled device (CCD), or the like can be used.

画像処理部2には、図2に示すように、画像処理部2全体の制御をする制御部8が、画像処理部2を構成する各部と接続して設けられている。   As shown in FIG. 2, the image processing unit 2 is provided with a control unit 8 that controls the entire image processing unit 2 so as to be connected to each unit constituting the image processing unit 2.

また、画像処理部2には、主撮像装置4及び副撮像装置5により取得されたそれぞれの画像データに平行化の画像処理をして補正画像データを形成する画像平行化部9が、主撮像装置4及び副撮像装置5のそれぞれと1対1に対応して設けられている。ここで、平行化とは、主撮像装置4及び副撮像装置5により取得された画像データを、主撮像装置4及び副撮像装置5とが完全に平行に設置して撮影したときに取得する画像データに並び換えることをいう。また、補正画像データは、平行化の画像処理を行った画素の座標データと濃度データとにより構成されている。   In addition, the image processing unit 2 includes an image collimating unit 9 that performs corrected image processing on the respective image data acquired by the main imaging device 4 and the sub imaging device 5 to form corrected image data. Each of the device 4 and the sub imaging device 5 is provided in one-to-one correspondence. Here, the parallelization is an image acquired when the main imaging device 4 and the sub imaging device 5 are set up in parallel and photographed image data acquired by the main imaging device 4 and the sub imaging device 5. Sorting into data. The corrected image data is composed of coordinate data and density data of pixels that have undergone parallel image processing.

以下、主撮像装置4に対応して設けられた画像平行化部9の詳細について説明するが、副撮像装置5に対応して設けられた画像平行化部9の詳細も、特に記載が無い限り同様である。   Hereinafter, the details of the image collimating unit 9 provided corresponding to the main imaging device 4 will be described. However, the details of the image collimating unit 9 provided corresponding to the sub-imaging device 5 are not particularly described. It is the same.

この画像平行化部9には、主撮像装置4により取得した画像データを用いて平行化の画像処理を行った後の画素(以下、補正後の画素と称す)の座標データと、この補正後の画素に平行化の画像処理をする前の画素(以下、補正前の画素と称す)の座標データとの対応関係が格納された補正テーブル10が設けられている。この対応関係は、主撮像装置4が取得した画像データとその画像データに平行化の画像処理をした補正画像データとにより予め検出され、補正テーブル10に格納されるようになっている。この補正前の画素の座標データや補正後の画素の座標データは、撮像により取得した画像データの座標データと必ずしも一致しないので、撮像により取得した画像データの座標データと、補正前の画素の座標データや補正後の画素の座標データとの対応関係が予め検出され、補正テーブル10に格納されている。これらの座標データの対応関係は、主撮像装置4及び副撮像装置5の位置関係や、補間に用いる補間法により異なるものである。また、主撮像装置4が有する撮像レンズ6により取得した画像データに歪が存在する場合は、この補正テーブル10には、補正前の画素の座標データと、補正前の画素に平行化の画像処理及び歪を補正した補正後の画素の座標データとの対応関係が、予め算出して格納されるようになっている。   The image collimating unit 9 includes coordinate data of pixels after being subjected to parallel image processing using image data acquired by the main imaging device 4 (hereinafter referred to as corrected pixels), and after the correction. A correction table 10 is provided in which the correspondence relationship with the coordinate data of the pixel before the parallel image processing (hereinafter referred to as a pixel before correction) is stored. This correspondence is detected in advance by image data acquired by the main imaging device 4 and corrected image data obtained by parallelizing the image data, and stored in the correction table 10. Since the coordinate data of the pixel before correction and the coordinate data of the pixel after correction do not necessarily match the coordinate data of the image data acquired by imaging, the coordinate data of the image data acquired by imaging and the coordinates of the pixel before correction Correspondences between the data and the corrected pixel coordinate data are detected in advance and stored in the correction table 10. The correspondence between these coordinate data differs depending on the positional relationship between the main imaging device 4 and the sub imaging device 5 and the interpolation method used for interpolation. If there is distortion in the image data acquired by the imaging lens 6 included in the main imaging device 4, the correction table 10 includes the coordinate data of the pixel before correction and the image processing parallelized to the pixel before correction. The correspondence relationship with the corrected pixel coordinate data after correcting the distortion is calculated and stored in advance.

また、補正前の画素の座標データが撮像により取得した画素の座標データと一致しないときには、補正前の画素の周囲に位置し、撮像により取得した画素の濃度データを用いることにより、補正前の画素の濃度データを算出する補間関係のデータが、予め検出されて補正テーブル10に格納されている。この補間関係により求めた補正前の画素の濃度データが、補正後の画素の濃度データとなる。   Further, when the coordinate data of the pixel before correction does not match the coordinate data of the pixel acquired by imaging, the pixel before correction is located by using the density data of the pixel that is located around the pixel before correction and acquired by imaging. Interpolation-related data for calculating the density data is detected in advance and stored in the correction table 10. The density data of the pixel before correction obtained by this interpolation relationship becomes the density data of the pixel after correction.

ここでいう補間関係とは、例えば図3に示すように、補正前の画素aの濃度データと、その周囲に存在して撮像により取得された4つの画素p1、p2、p3、p4の濃度データとの関係である。本実施形態では、主撮像装置4の撮像により取得した画素は、例えばp1、p2、p3、p4のように、X、Y軸共に整数値で交差する位置に存在するようになっている。また、本実施形態では、画素aの濃度データが、次の演算式(1)を用いた補間演算により算出されるようになっている。
a(x,y)=p1(n+1,m+1)(1−α)(1−β)+p2(n+2,m+1)α(1−β)+p3(n+1,m+2)(1−α)β+p4(n+2,m+2)αβ・・・(1)
ここで、
a(x,y)は、座標(x,y)の濃度データ
p1(n+1,m+1)は、座標(n+1,m+1)の濃度データ
p2(n+2,m+1)は、座標(n+2,m+1)の濃度データ
p3(n+1,m+2)は、座標(n+1,m+2)の濃度データ
p4(n+2,m+2)は、座標(n+2,m+2)の濃度データ
αは、xと(n+1)との差であり、x方向の重み付け
βは、yと(m+1)との差であり、y方向の重み付け
である。
For example, as shown in FIG. 3, the interpolating relationship here refers to the density data of the pixel a before correction and the density data of the four pixels p1, p2, p3, and p4 that are present around and acquired by imaging. Relationship. In the present embodiment, the pixels acquired by imaging of the main imaging device 4 are present at positions where the X and Y axes intersect with an integer value, such as p1, p2, p3, and p4. In the present embodiment, the density data of the pixel a is calculated by an interpolation calculation using the following calculation formula (1).
a (x, y) = p1 (n + 1, m + 1) (1-α) (1-β) + p2 (n + 2, m + 1) α (1-β) + p3 (n + 1, m + 2) (1-α) β + p4 (n + 2, m + 2) αβ (1)
here,
a (x, y) is the density data at coordinates (x, y) p1 (n + 1, m + 1) is the density data at coordinates (n + 1, m + 1) p2 (n + 2, m + 1) is the density at coordinates (n + 2, m + 1) Data p3 (n + 1, m + 2) is density data at coordinates (n + 1, m + 2) p4 (n + 2, m + 2) is density data at coordinates (n + 2, m + 2) α is the difference between x and (n + 1), x Directional weighting β is the difference between y and (m + 1), and is the weighting in the y direction.

本実施形態における補正画像データと補正テーブル10との関係の具体例を以下に説明する。
例えば、図4に示すように、座標(n,m)、座標(n+1,m)、座標(n,m+1)に位置する補正後の画素a1、b1、c1は、それぞれ、座標(n+1+α1,m+1+β1)、座標(n+1+α2,m+1+β2)、座標(n+1+α3,m+1+β3)に位置する補正前の画素a2、b2、c2に対応することを予め検出したとする。この補正前の画素の座標データと補正後の画素の座標データとの対応関係、補間演算に用いる演算式、及び、個々の補正前の画素が有する重み付けα1〜α3、β1〜β3が、補正テーブル10に格納されるようになっている。
そして、演算式(1)を用いて補間演算した補正前の画素の濃度データは、この補正前の画素に対応する補正後の画素の濃度データとなる。例えば、画素a2の濃度データa2(n+1+α1,m+1+β1)の濃度データは、演算式(1)を用いた補間演算により算出され、その濃度データは、画素a1の濃度データa1(n,m)となる。
A specific example of the relationship between the corrected image data and the correction table 10 in the present embodiment will be described below.
For example, as shown in FIG. 4, corrected pixels a1, b1, and c1 located at coordinates (n, m), coordinates (n + 1, m), and coordinates (n, m + 1) are respectively coordinated (n + 1 + α1, m + 1 + β1). ), Coordinates (n + 1 + α2, m + 1 + β2) and coordinates (n + 1 + α3, m + 1 + β3) corresponding to uncorrected pixels a2, b2, and c2. The correspondence between the coordinate data of the pixel before correction and the coordinate data of the pixel after correction, the arithmetic expression used for the interpolation calculation, and the weights α1 to α3 and β1 to β3 possessed by the individual pixels before correction are the correction table. 10 is stored.
Then, the density data of the uncorrected pixel that is interpolated using the arithmetic expression (1) becomes the density data of the corrected pixel corresponding to the pixel before correction. For example, the density data of the density data a2 (n + 1 + α1, m + 1 + β1) of the pixel a2 is calculated by interpolation using the arithmetic expression (1), and the density data becomes the density data a1 (n, m) of the pixel a1. .

また、図2に戻り、画像平行化部9には、主撮像装置4から出力された画像データのうち濃度データをライン単位で一時的に格納する入力ラインバッファ11が設けられている。このライン単位とは、画像データを処理して補正画像データを形成するときに、補正画像データを形成することが可能な最小単位である。この入力ラインバッファ11には、後述する補間関係を形成するために必要なライン数分の濃度値が最低限格納できるようになっている。この必要なライン数は、用いる濃度データの補間法によって異なるものである。本実施形態では、濃度データの補間を行う画素の周囲に存在する4つの画素の濃度データを用いて線形補間を行う線形補間法を用いているため、入力ラインバッファ11には、2ライン分の画素の濃度データを最低限格納できるようになっている。   Returning to FIG. 2, the image collimating unit 9 is provided with an input line buffer 11 for temporarily storing density data among the image data output from the main imaging device 4 in units of lines. The line unit is a minimum unit capable of forming corrected image data when processing the image data to form corrected image data. The input line buffer 11 can store at least density values for the number of lines necessary to form an interpolation relationship described later. The required number of lines varies depending on the density data interpolation method to be used. In this embodiment, since the linear interpolation method that performs linear interpolation using the density data of four pixels existing around the pixel for which density data interpolation is performed is used, the input line buffer 11 has two lines. Pixel density data can be stored at a minimum.

また、入力ラインバッファ11には、画像データを入力ラインバッファ11に格納するときにカウントする入力カウンタ12が、入力ラインバッファ11に接続して設けられている。入力カウンタ12は、入力ラインバッファ11のx位置をカウントする入力xカウンタ13と、入力ラインバッファのy位置をカウントする入力yカウンタ14とによって構成されている。この入力xカウンタ13及び入力yカウンタ14を用いることにより、個々の濃度データを入力ラインバッファ11の適切な位置に格納することができるようになっている。   The input line buffer 11 is provided with an input counter 12 connected to the input line buffer 11 for counting when image data is stored in the input line buffer 11. The input counter 12 includes an input x counter 13 that counts the x position of the input line buffer 11 and an input y counter 14 that counts the y position of the input line buffer. By using the input x counter 13 and the input y counter 14, individual density data can be stored at an appropriate position in the input line buffer 11.

さらに、入力ラインバッファ11には、補正テーブル10に格納された補間関係を用いて入力ラインバッファに格納された画素の濃度データの補間演算をする補間関係生成部15が、接続されている。   Further, the input line buffer 11 is connected to an interpolation relation generation unit 15 that performs an interpolation operation on the density data of the pixels stored in the input line buffer using the interpolation relation stored in the correction table 10.

この補間関係生成部15には、入力ラインバッファ11に格納された濃度データと、補正テーブル10に格納された演算式や重み付けとを用いて補間演算をし、個々の画素の濃度データを算出する補間演算部16が、設けられている。
この補間演算部16は、例えば図4におけるp1、p2、p3、p4の4つの画素で囲まれたa2、b2、c2のように、周囲の4画素の濃度データにより演算することができる歪補正前の画素の最大数に対応して設けられており、本実施形態では3つ設けられている。この補間演算部16の数は、レンズや撮像系による歪や、補間に用いる補間法により異なり、補正前の座標データと補正後の座標データとの対応関係及び取得する画素の座標データにより予め算出される。
The interpolation relation generation unit 15 performs an interpolation operation using the density data stored in the input line buffer 11 and the arithmetic expression and weight stored in the correction table 10 to calculate the density data of each pixel. An interpolation calculation unit 16 is provided.
For example, the interpolation calculation unit 16 can perform distortion correction that can be calculated based on the density data of four surrounding pixels such as a2, b2, and c2 surrounded by four pixels p1, p2, p3, and p4 in FIG. It is provided corresponding to the maximum number of previous pixels, and in this embodiment, three are provided. The number of interpolation calculation units 16 differs depending on the distortion caused by the lens and the imaging system and the interpolation method used for interpolation, and is calculated in advance based on the correspondence between the coordinate data before correction and the coordinate data after correction, and the coordinate data of the pixel to be acquired. Is done.

補間関係生成部15には、補間演算部16にて補間演算している画素の補正前の座標データを管理している補間カウンタ17が、補間関係生成部15に対応して設けられている。補間カウンタ17には、補間演算部16にて補間演算している画素の補正前のx座標を管理する補間xカウンタ18と、同じく補間演算している画素の補正前のy座標を管理する補間yカウンタ19とにより構成されている。   The interpolation relation generation unit 15 is provided with an interpolation counter 17 that manages coordinate data before correction of the pixels that are subjected to interpolation calculation by the interpolation calculation unit 16, corresponding to the interpolation relation generation unit 15. The interpolation counter 17 includes an interpolation x counter 18 that manages the x-coordinate before correction of the pixel that is interpolated by the interpolation calculation unit 16, and an interpolation that manages the y-coordinate before correction of the pixel that is also subjected to the interpolation calculation. and y counter 19.

補間演算部16には、補間演算により形成された濃度データを一時的に格納し、後段画像処理部3に格納した濃度データをライン単位で出力する出力ラインバッファ20が接続されている。この出力ラインバッファ20は、主撮像装置4及び副撮像装置5にそれぞれ対応して設けられており、主撮像装置4により撮像された基準画像データが後段画像処理部3に出力されるタイミングと、副撮像装置5により撮像され、基準画像データに対応する参照画像データが後段画像処理部3に出力されるタイミングとが一致するようになっている。
また、出力ラインバッファ20には、入力ラインバッファ11と同数のライン数の濃度データを最低格納することができるようになっている。そして、基準画像データが出力するタイミングよりも基準画像データに対応する参照画像データが出力するタイミングのほうが遅い場合、主撮像装置4に対応して設けられた出力ラインバッファ20には、入力ラインバッファ11と同数のライン数の濃度データに加え、出力が遅れるライン数分の濃度データを格納することができるようになっている。
The interpolation calculation unit 16 is connected to an output line buffer 20 that temporarily stores the density data formed by the interpolation calculation and outputs the density data stored in the subsequent image processing unit 3 in units of lines. The output line buffer 20 is provided corresponding to each of the main imaging device 4 and the sub imaging device 5, and the timing at which the reference image data captured by the main imaging device 4 is output to the subsequent image processing unit 3; The timing when the reference image data captured by the sub imaging device 5 and corresponding to the standard image data is output to the subsequent image processing unit 3 coincides with the timing.
The output line buffer 20 can store at least the density data of the same number of lines as the input line buffer 11. When the timing at which the reference image data corresponding to the standard image data is output is later than the timing at which the standard image data is output, the output line buffer 20 provided for the main imaging device 4 includes an input line buffer. In addition to the density data of the number of lines equal to 11, the density data for the number of lines whose output is delayed can be stored.

出力ラインバッファ20には、補間演算部16により形成された濃度データを出力ラインバッファ20に格納したり、出力ラインバッファ20から後段画像処理部3に出力したりするときにカウントをする出力カウンタ21が、出力ラインバッファ20に対応して設けられている。この出力カウンタ21は、出力ラインバッファ20のx位置をカウントする出力xカウンタ22と、出力ラインバッファ20のy位置をカウントする出力yカウンタ23とにより構成されている。   The output line buffer 20 counts when density data formed by the interpolation calculation unit 16 is stored in the output line buffer 20 or is output from the output line buffer 20 to the subsequent image processing unit 3. Are provided corresponding to the output line buffer 20. The output counter 21 includes an output x counter 22 that counts the x position of the output line buffer 20 and an output y counter 23 that counts the y position of the output line buffer 20.

次に、本実施形態に係る画像処理装置1の作用について説明する。   Next, the operation of the image processing apparatus 1 according to this embodiment will be described.

主撮像装置4及び副撮像装置5を用いて画像を撮影すると、主撮像装置4及び副撮像装置5の撮像レンズ6の光路上にある撮像素子7がその受光量に応じて画像データに変換するので、主撮像装置4及び副撮像装置5による画像データがそれぞれ生成される。   When an image is captured using the main imaging device 4 and the sub imaging device 5, the image sensor 7 on the optical path of the imaging lens 6 of the main imaging device 4 and the sub imaging device 5 converts the image data into image data according to the amount of received light. Therefore, the image data by the main imaging device 4 and the sub imaging device 5 are respectively generated.

主撮像装置4及び副撮像装置5によって生成された画像データが主撮像装置4及び副撮像装置5に接続された画像平行化部9に入力されると、制御部8は、画像データを構成するデータのうち濃度データを、入力ラインバッファ11に一旦格納する。そして、制御部8は、補正テーブル10を参照し、入力ラインバッファ11に格納された濃度データから補間演算をすることができる補正前の画素を検出する。そして、制御部8は、その補正前の画素に対応する補間演算式や重み付けなどを、補正テーブル10から補間関係生成部15に出力させる。同時に制御部8は、補間関係生成部15で演算する画像データの対応関係を補正テーブル10から検出し、補間演算をする補正前の画素の座標データを補間カウンタ17に管理させる。   When the image data generated by the main imaging device 4 and the sub imaging device 5 is input to the image parallelizing unit 9 connected to the main imaging device 4 and the sub imaging device 5, the control unit 8 configures the image data. Density data among the data is temporarily stored in the input line buffer 11. Then, the control unit 8 refers to the correction table 10 and detects a pixel before correction that can perform an interpolation calculation from the density data stored in the input line buffer 11. Then, the control unit 8 causes the interpolation relation generation unit 15 to output an interpolation calculation formula, a weighting, and the like corresponding to the pixel before correction from the correction table 10. At the same time, the control unit 8 detects the correspondence relationship of the image data calculated by the interpolation relationship generation unit 15 from the correction table 10 and causes the interpolation counter 17 to manage the coordinate data of the pixel before correction for interpolation calculation.

詳細には、入力ラインバッファ11に取得した画像データを構成する濃度データ、p1、p2、p3、p4が格納されると、制御部8は、これらの濃度データを用いて補間演算できる補正前の画素がa2、b2、c2であることを補正テーブル10の対応関係から検出し、それぞれの画素に用いる補間演算式や重み付けなどを補正テーブル10から補間関係生成部15に出力する。そして、補間演算部16にて、それぞれの画素に対応して補間演算を行い、濃度データを形成する。   More specifically, when the density data p1, p2, p3, and p4 constituting the acquired image data are stored in the input line buffer 11, the control unit 8 can perform interpolation using these density data before correction. It is detected from the correspondence relationship of the correction table 10 that the pixels are a2, b2, and c2, and the interpolation calculation formula and weight used for each pixel are output from the correction table 10 to the interpolation relationship generation unit 15. Then, the interpolation calculation unit 16 performs an interpolation calculation corresponding to each pixel to form density data.

例えば、a2の補間演算は以下のような演算式(2)を用いて行われ、補正後の画素の濃度データを算出する。
a2=(1−α1)(1−β1)p1+α1(1−β1)p2+(1−α1)β1p3+α1β1p4・・・(2)
ここで、
a2は、座標a2の濃度データ
p1は、座標p1の濃度データ
p2は、座標p2の濃度データ
p3は、座標p3の濃度データ
p4は、座標p4の濃度データ
α1及びβ2は、a2の重み付け
である。
For example, the interpolation calculation of a2 is performed using the following calculation formula (2), and the corrected pixel density data is calculated.
a2 = (1-α1) (1-β1) p1 + α1 (1-β1) p2 + (1-α1) β1p3 + α1β1p4 (2)
here,
a2 is the density data p1 of the coordinate a2, p1 is the density data of the coordinate p1, p2 is the density data of the coordinate p2, p3 is the density data of the coordinate p3, p4 is the density data of the coordinate p4 α1 and β2 are weights of a2. .

このa2の濃度データを算出しているとき、制御部8は、画素a2の座標データ(n+1+α1,m+1+β1)のうち、x座標を示す(n+1+α1)を補間xカウンタ18に管理させ、また、y座標を示す(m+1+β1)を補間yカウンタ19に管理させる。   When calculating the density data of a2, the control unit 8 causes the interpolation x counter 18 to manage (n + 1 + α1) indicating the x coordinate out of the coordinate data (n + 1 + α1, m + 1 + β1) of the pixel a2, and the y coordinate. (M + 1 + β1) indicating that the interpolation y counter 19 manages.

同様に、各補間演算部16にてb2及びc2の補間演算が行われ、b2及びc2の補正後の画素の濃度データがそれぞれ算出される。この算出されたa2、b2、c2のそれぞれの濃度データは、平行化の補正をした後の画素(補正後の画素)の濃度データ、a1、b1、c1のそれぞれの濃度データとなる。   Similarly, each interpolation calculation unit 16 performs interpolation calculation of b2 and c2, and calculates density data of pixels after correction of b2 and c2. The calculated density data of a2, b2, and c2 become density data of pixels after correction of parallelization (corrected pixels) and density data of a1, b1, and c1, respectively.

制御部8は、補間演算により算出された補正後の画素の濃度データを、出力カウンタ21を用いて、出力ラインバッファ20の適切な位置に一旦格納する。この適切な位置とは、主撮像装置4及び副撮像装置5とが完全に平行に設置されたときに取得する画像データの並びである平行化処理がされた画像データに並び換えた位置であり、主撮像装置4及び副撮像装置5の有する撮像レンズ6が歪を有する場合は、歪の補正をした後の画像データの位置でもある。
また、制御部8は、補間演算部16から出力される補正後の画素の濃度データに対応する補正後の画素の座標データを補正テーブルから検出し、その座標データのx座標を出力xカウンタ22に管理させ、また、その座標データのy座標を出力yカウンタ23に管理させる。そして制御部8は、出力カウンタ21を制御して、補正後の画素の濃度データを、補正後の画素の座標データに対応させた出力ラインバッファ20の位置に出力させ、格納する。
The control unit 8 temporarily stores the corrected pixel density data calculated by the interpolation calculation at an appropriate position in the output line buffer 20 using the output counter 21. This appropriate position is a position rearranged to image data that has been subjected to parallelization processing, which is an arrangement of image data acquired when the main imaging device 4 and the sub-imaging device 5 are installed completely in parallel. When the imaging lens 6 included in the main imaging device 4 and the sub imaging device 5 has distortion, it is also the position of the image data after correcting the distortion.
The control unit 8 detects corrected pixel coordinate data corresponding to the corrected pixel density data output from the interpolation calculation unit 16 from the correction table, and outputs the x coordinate of the coordinate data to the output x counter 22. And the output y counter 23 manages the y coordinate of the coordinate data. Then, the control unit 8 controls the output counter 21 to output and store the corrected pixel density data at the position of the output line buffer 20 corresponding to the corrected pixel coordinate data.

更に、制御部8は、主撮像装置4及び副撮像装置5のそれぞれに接続された出力ラインバッファ20に格納された濃度データを、出力カウンタ21を用いて後段画像処理部3にライン単位で出力する。このとき、制御部8は、基準画像データが出力するタイミングと、基準画像データに対応する参照画像データが出力するタイミングとが一致するように制御する。   Further, the control unit 8 outputs the density data stored in the output line buffer 20 connected to each of the main imaging device 4 and the sub imaging device 5 to the subsequent image processing unit 3 using the output counter 21 in units of lines. To do. At this time, the control unit 8 performs control so that the timing at which the standard image data is output matches the timing at which the reference image data corresponding to the standard image data is output.

そして、制御部8は、後段画像処理部3で、補正画像データを処理して例えば物体を認識する画像データを形成する。   And the control part 8 processes the correction | amendment image data in the back | latter stage image process part 3, and forms the image data which recognizes an object, for example.

以上のように、本実施形態によれば、補正画像データを形成することが可能な画像データが入力ラインバッファ11に格納されると、画像データから平行化の画像処理をした補正画像データの形成を開始するので、入力ラインバッファ11に濃度データを格納する時間と、画像データと補正画像データとの対応関係との算出時間とを削減して補正画像データを形成することが可能となり、画像処理時間を短縮させることができる。   As described above, according to the present embodiment, when image data capable of forming corrected image data is stored in the input line buffer 11, the corrected image data is formed by performing parallel image processing from the image data. Therefore, it is possible to reduce the time for storing the density data in the input line buffer 11 and the calculation time for the correspondence between the image data and the corrected image data, thereby forming the corrected image data. Time can be shortened.

なお、本実施形態では、画像平行化部9に、補正後の画素の座標データと補正前の画素の座標データとの対応関係が格納されている補正テーブル10を設けた例を示したが、これに限定されず、画像処理部に補正テーブルを設けず、補正後の画素の座標データと補正前の画素の座標データとの対応関係を検出するようにしてもよい。   In the present embodiment, the image parallelizing unit 9 is provided with the correction table 10 in which the correspondence relationship between the coordinate data of the corrected pixel and the coordinate data of the pixel before correction is provided. However, the present invention is not limited thereto, and the correction table may not be provided in the image processing unit, and the correspondence relationship between the coordinate data of the corrected pixel and the coordinate data of the pixel before correction may be detected.

また、本実施形態では、ライン単位を補正画像データの形成可能な最小単位とした例を示したが、これに限定されず、画素単位や画像単位であってもよい。
これに対応して、本実施形態では、濃度データをライン単位で格納する入力ラインバッファ11を設けた例を示したが、これに限定されず、濃度データを画素単位や画像単位で格納する入力ラインバッファを設けてもよい。
さらに、本実施形態では、格納した濃度データをライン単位で出力する出力ラインバッファ20を設けた例を示したが、これに限定されず、入力ラインバッファの最小単位と対応させ、濃度データを画素単位や画像単位で格納する出力ラインバッファを設けてもよい。
In this embodiment, an example in which the line unit is the minimum unit in which the corrected image data can be formed is shown. However, the present invention is not limited to this, and a pixel unit or an image unit may be used.
Correspondingly, in this embodiment, an example in which the input line buffer 11 for storing density data in units of lines is provided, but the present invention is not limited to this, and input for storing density data in units of pixels or images is provided. A line buffer may be provided.
Furthermore, in the present embodiment, an example in which the output line buffer 20 that outputs the stored density data in units of lines is shown. However, the present invention is not limited to this. An output line buffer that stores data in units or images may be provided.

さらに、本実施形態では、単数の副撮像装置5を設けた例を示したが、これに限定されず、複数の副撮像装置を設けるような構成であってもよい。   Furthermore, in this embodiment, although the example which provided the single sub imaging device 5 was shown, it is not limited to this, The structure which provides a some sub imaging device may be sufficient.

また、本実施形態では、補間演算部16が一度に演算することのできる補正前の濃度データの最大数に対応して設けられた例を示したが、これに限定されず、一つの補間演算部にて順次、補間演算を行うような構成であってもよい。   In the present embodiment, the example in which the interpolation calculation unit 16 is provided corresponding to the maximum number of density data before correction that can be calculated at one time has been described. However, the present invention is not limited to this, and one interpolation calculation is performed. The configuration may be such that the interpolation calculation is sequentially performed in the unit.

本実施形態における画像処理装置の全体構成を示す概略図である。1 is a schematic diagram illustrating an overall configuration of an image processing apparatus according to an embodiment. 本実施形態における画像平行化部の構成を示す概略図である。It is the schematic which shows the structure of the image parallelization part in this embodiment. 本実施形態における補間演算をする画素と周囲の画素との関係を示す図である。It is a figure which shows the relationship between the pixel which performs the interpolation calculation in this embodiment, and a surrounding pixel. 本実施形態における歪補正前の画素と歪補正後の画素との対応関係を示す図である。It is a figure which shows the correspondence of the pixel before distortion correction in this embodiment, and the pixel after distortion correction.

符号の説明Explanation of symbols

1 画像処理装置
2 画像処理部
3 後段画像処理部
4 主撮像装置
5 副撮像装置
6 撮像レンズ
7 撮像素子
8 制御部
9 画像平行化部
10 補正テーブル
11 入力ラインバッファ
12 入力カウンタ
15 補間関係生成部
16 補間演算部
17 補間カウンタ
20 出力ラインバッファ
21 出力カウンタ
DESCRIPTION OF SYMBOLS 1 Image processing apparatus 2 Image processing part 3 Subsequent image processing part 4 Main imaging device 5 Sub imaging device 6 Imaging lens 7 Imaging element 8 Control part 9 Image parallelizing part 10 Correction table 11 Input line buffer 12 Input counter 15 Interpolation relation production | generation part 16 Interpolation Operation Unit 17 Interpolation Counter 20 Output Line Buffer 21 Output Counter

Claims (7)

複数の撮像装置で同一物体を撮像して取得した画像データを格納するバッファと、
前記各撮像装置が取得した画像データを処理して補正画像データを形成する画像処理部とを備えた画像処理装置において、
前記画像処理部は、前記補正画像データを形成可能な最小単位の前記画像データがバッファに格納されると、前記画像データを平行化して前記補正画像データを形成する処理を開始することを特徴とする画像処理装置。
A buffer for storing image data obtained by imaging the same object with a plurality of imaging devices;
An image processing apparatus comprising: an image processing unit that processes image data acquired by each of the imaging devices to form corrected image data;
The image processing unit starts processing to form the corrected image data by parallelizing the image data when the minimum unit of the image data capable of forming the corrected image data is stored in a buffer. An image processing apparatus.
前記画像処理部は、前記画像データと前記画像データから形成可能な前記補正画像データとの対応関係を格納する補正テーブルを備え、前記補正テーブルに格納された対応関係を用いて前記バッファに格納された前記画像データから前記補正画像データを形成することを特徴とする請求項1に記載の画像処理装置。   The image processing unit includes a correction table that stores a correspondence relationship between the image data and the corrected image data that can be formed from the image data, and is stored in the buffer using the correspondence relationship stored in the correction table. The image processing apparatus according to claim 1, wherein the corrected image data is formed from the image data. 前記補正テーブルは、前記画像データと前記画像データから形成可能な複数の前記補正画像データとの対応関係を格納していることを特徴とする請求項2に記載の画像処理装置。   The image processing apparatus according to claim 2, wherein the correction table stores a correspondence relationship between the image data and a plurality of the corrected image data that can be formed from the image data. 前記画像処理部は、前記バッファに格納された前記画像データから前記補正画像データを形成する演算部を複数備えていることを特徴とする請求項3に記載の画像処理装置。   The image processing apparatus according to claim 3, wherein the image processing unit includes a plurality of arithmetic units that form the corrected image data from the image data stored in the buffer. 前記最小単位は、ライン単位であり、
前記バッファは、前記補正画像データを形成可能な最低ライン数の前記画像データを格納することができる入力ラインバッファであることを特徴とする請求項1から請求項4のいずれか一項に記載の画像処理装置。
The minimum unit is a line unit,
The said buffer is an input line buffer which can store the said image data of the minimum line number which can form the said correction | amendment image data, The Claim 1 characterized by the above-mentioned. Image processing device.
前記画像処理装置は、前記各撮像装置の前記補正画像データをライン単位で格納する出力バッファを備え、前記各出力バッファから前記同一物体の前記補正画像データをライン単位で同時に出力することを特徴とする請求項1から請求項5のいずれか一項に記載の画像処理装置。   The image processing apparatus includes an output buffer that stores the corrected image data of each imaging apparatus in units of lines, and outputs the corrected image data of the same object from the output buffers simultaneously in units of lines. The image processing apparatus according to any one of claims 1 to 5. 複数の撮像装置で同一物体を撮像して取得した画像データを処理して補正画像データを形成する画像処理方法において、
前記画像データをバッファに格納し、
前記補正画像データを形成可能な最小単位の前記画像データがバッファに格納されたか否かを判断し、
前記補正画像データを形成可能な最小単位の前記画像データがバッファに格納されたと判断するときに、前記格納された画像データを平行化して前記補正画像データを形成することを特徴とする画像処理方法。
In an image processing method for processing image data acquired by imaging the same object with a plurality of imaging devices to form corrected image data,
Storing the image data in a buffer;
Determining whether the image data of the smallest unit capable of forming the corrected image data is stored in a buffer;
An image processing method characterized in that the corrected image data is formed by parallelizing the stored image data when it is determined that the minimum unit of image data that can form the corrected image data is stored in a buffer. .
JP2005304057A 2005-10-19 2005-10-19 Image processing apparatus and method Pending JP2007114923A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005304057A JP2007114923A (en) 2005-10-19 2005-10-19 Image processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005304057A JP2007114923A (en) 2005-10-19 2005-10-19 Image processing apparatus and method

Publications (1)

Publication Number Publication Date
JP2007114923A true JP2007114923A (en) 2007-05-10

Family

ID=38097053

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005304057A Pending JP2007114923A (en) 2005-10-19 2005-10-19 Image processing apparatus and method

Country Status (1)

Country Link
JP (1) JP2007114923A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012023666A (en) * 2010-07-16 2012-02-02 Renesas Electronics Corp Image conversion apparatus and image conversion system
JP2015167374A (en) * 2015-04-16 2015-09-24 ルネサスエレクトロニクス株式会社 image conversion system

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012023666A (en) * 2010-07-16 2012-02-02 Renesas Electronics Corp Image conversion apparatus and image conversion system
US8977071B2 (en) 2010-07-16 2015-03-10 Renesas Electronics Corporation Image converting device and image converting system
US9361675B2 (en) 2010-07-16 2016-06-07 Renesas Electronics Corporation Image converting device and image converting system
US9736393B2 (en) 2010-07-16 2017-08-15 Renesas Electronics Corporation Image converting device and image converting system
US10027900B2 (en) 2010-07-16 2018-07-17 Renesas Electronics Corporation Image converting device and image converting system
JP2015167374A (en) * 2015-04-16 2015-09-24 ルネサスエレクトロニクス株式会社 image conversion system

Similar Documents

Publication Publication Date Title
JP4102854B2 (en) Imaging device
CN108781250B (en) Image pickup control device, image pickup control method, and image pickup device
TWI761684B (en) Calibration method of an image device and related image device and operational device thereof
US20160232684A1 (en) Motion compensation method and apparatus for depth images
JP5141245B2 (en) Image processing apparatus, correction information generation method, and imaging apparatus
JP6975003B2 (en) Peripheral monitoring device and its calibration method
WO2014069169A1 (en) Image processing device
JP2014503408A (en) Method and apparatus for processing image information of two sensors suitable for image detection in a stereo sensor system
JP2015049402A5 (en) FOCUS DETECTION DEVICE, ITS CONTROL METHOD, AND IMAGING DEVICE
US20170155889A1 (en) Image capturing device, depth information generation method and auto-calibration method thereof
WO2019225682A1 (en) Three-dimensional reconstruction method and three-dimensional reconstruction device
JP2012231262A (en) Imaging apparatus, blur correction method, control program, and recording medium for recording control program
JP2008216127A (en) Distance image generation device, distance image generation method, and program
JP2011205284A (en) Image processing method and image processing device
JP2007079708A (en) Image processor and processing method
US9538161B2 (en) System and method for stereoscopic photography
JP2011147079A (en) Image pickup device
JP2007114923A (en) Image processing apparatus and method
JP2015032842A (en) Solid state imaging device, imaging apparatus, and correction method
JP2014138331A (en) Imaging apparatus and program
CN102244729B (en) Image capture apparatus and control method thereof
JP2014106260A (en) Focus detection device, image capturing device, image capturing system, and focus detection method
JP2014238558A (en) Imaging device and parallax detection method
JP2018157371A (en) Imaging apparatus and method of correcting defective pixels
JP2018107699A (en) Image processing device and image processing method