JP2003158751A - Stereo camera adjusting device - Google Patents

Stereo camera adjusting device

Info

Publication number
JP2003158751A
JP2003158751A JP2001354994A JP2001354994A JP2003158751A JP 2003158751 A JP2003158751 A JP 2003158751A JP 2001354994 A JP2001354994 A JP 2001354994A JP 2001354994 A JP2001354994 A JP 2001354994A JP 2003158751 A JP2003158751 A JP 2003158751A
Authority
JP
Japan
Prior art keywords
images
luminance
image
adjusting
offset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001354994A
Other languages
Japanese (ja)
Inventor
Norifumi Shibayama
憲文 柴山
Original Assignee
Fuji Heavy Ind Ltd
富士重工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Heavy Ind Ltd, 富士重工業株式会社 filed Critical Fuji Heavy Ind Ltd
Priority to JP2001354994A priority Critical patent/JP2003158751A/en
Priority claimed from US10/298,356 external-priority patent/US7162074B2/en
Publication of JP2003158751A publication Critical patent/JP2003158751A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To improve the stereo image processing accuracy of a stereo camera by eliminating the occurrence of a luminance offset between pictures in the camera. SOLUTION: Luminance histograms are respectively prepared with respect to both left and right images (S1) and the horizontal deviation of each histogram of the left and right images is found as a luminance deviation value Eb (S2). Then the deviation value Eb is converted into the correction amount Do of the clamp value to a clamp circuit (S3) and a directive value obtained by adding the correction amount Do to the present clamp value is outputted to the clamping circuit (S4). Consequently, the luminance levels of the left and right images are made even by adjusting the clamp level for A/D conversion and the stereo image processing accuracy of the stereo camera can be improved by automatically eliminating the luminance offset between images which has been difficult to be eliminated by the conventional gain adjustment.

Description

【発明の詳細な説明】Detailed Description of the Invention
【0001】[0001]
【発明の属する技術分野】本発明は、ステレオカメラの
画像間の輝度オフセットずれを調整するステレオカメラ
の調整装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a stereo camera adjusting device for adjusting a luminance offset shift between images of a stereo camera.
【0002】[0002]
【従来の技術】一般に、画像による三次元計測技術とし
て、2台のカメラを一対とするステレオカメラで対象物
を異なる位置から撮像し、同一物体に対する視差からス
テレオカメラの取り付け位置や焦点距離等のカメラパラ
メータを用いて三角測量の原理により距離を求める、い
わゆるステレオ法による画像処理が知られている。
2. Description of the Related Art Generally, as a three-dimensional measuring technique using images, an object is imaged from different positions by a stereo camera having a pair of two cameras, and the mounting position and focal length of the stereo camera are determined from the parallax with respect to the same object. Image processing by a so-called stereo method, which obtains a distance by the principle of triangulation using camera parameters, is known.
【0003】このステレオ法による画像処理では、2つ
の画像信号を順次シフトしながら重ね合わせて2つの画
像信号が一致した位置を求めるようにしており、2つの
画像間には視差以外のずれがないことが望ましく、2台
のカメラにおける光学特性や信号特性のバランスが確保
されている必要がある。
In this image processing by the stereo method, two image signals are sequentially shifted and overlapped to obtain a position where the two image signals match each other, and there is no deviation other than parallax between the two images. It is desirable that the balance of the optical characteristics and the signal characteristics of the two cameras be ensured.
【0004】このため、本出願人は、先に、特開200
1−69402号公報において、ステレオカメラの一方
の画中に設定された第1の評価ウィンドウの全体的な輝
度の大きさを表す第1の評価値と、第1の評価ウィンド
ウの輝度特性と相関を有する領域に設定された他方の画
像の第2の評価ウィンドウの全体的な輝度の大きさを表
す第2の評価値との差が小さくなるように、アンプのゲ
インを補正することで、ステレオカメラの各画像間の輝
度バランスを調整する技術を提案している。
For this reason, the applicant of the present invention first disclosed in Japanese Unexamined Patent Publication No.
In Japanese Patent Application Laid-Open No. 1-69402, a first evaluation value representing the magnitude of overall brightness of a first evaluation window set in one image of a stereo camera and a brightness characteristic of the first evaluation window are correlated. The stereo gain is corrected by correcting the gain of the amplifier so that the difference from the second evaluation value representing the overall brightness of the second evaluation window of the other image set in the region having A technique for adjusting the brightness balance between the images of the camera is proposed.
【0005】[0005]
【発明が解決しようとする課題】しかしながら、ステレ
オカメラを構成する2台のカメラは、その特性上のばら
つきから、それぞれの出力信号の直流成分レベルが異な
り、一対の画像間で画像信号を処理する上での基準とな
る黒レベルが必ずしも一致しない場合がある。この黒レ
ベルが相違することは、A/D変換後の各画像で画像全
体の輝度レベルが異なり、画像間に輝度オフセットずれ
が存在することを意味する。この輝度オフセットずれ
は、先行技術のように、一義的にアンプのゲインを調整
するだけでは解消できず、ステレオ画像処理における更
なる精度向上を図る上での支障となっていた。
However, the two cameras constituting the stereo camera have different DC component levels of their output signals due to variations in their characteristics, and the image signals are processed between a pair of images. The black level used as the reference above may not always match. The difference in the black level means that the luminance level of the entire image is different in each image after A / D conversion, and there is a luminance offset shift between the images. This luminance offset shift cannot be eliminated by simply adjusting the gain of the amplifier as in the prior art, which has been a hindrance to further improvement in accuracy in stereo image processing.
【0006】本発明は上記事情に鑑みてなされたもの
で、ステレオカメラにおける画像間の輝度オフセットず
れを解消し、ステレオ画像処理の精度向上を図ることの
できるステレオカメラの調整装置を提供することを目的
としている。
The present invention has been made in view of the above circumstances, and it is an object of the present invention to provide an adjusting device for a stereo camera capable of eliminating the luminance offset shift between images in the stereo camera and improving the accuracy of stereo image processing. Has an aim.
【0007】[0007]
【課題を解決するための手段】上記目的を達成するた
め、請求項1記載の発明は、2台1組のカメラからなる
ステレオカメラで撮像した一対の画像の輝度オフセット
ずれを調整する調整装置であって、上記ステレオカメラ
で撮像した一対の画像における輝度レベルオフセット量
を調整するレベル調整手段と、上記一対の画像の各々の
輝度分布を求め、各画像の輝度分布の差に基づいて上記
輝度レベルオフセット量を修正して各画像間の輝度オフ
セットずれを調整するオフセット調整手段とを備えたこ
とを特徴とする。
In order to achieve the above object, the invention according to claim 1 is an adjusting device for adjusting a luminance offset deviation between a pair of images picked up by a stereo camera consisting of a pair of cameras. Then, the level adjusting means for adjusting the brightness level offset amount in the pair of images captured by the stereo camera and the brightness distribution of each of the pair of images are obtained, and the brightness level is calculated based on the difference in the brightness distribution of each image. Offset adjustment means for adjusting the offset amount and adjusting the luminance offset deviation between the respective images.
【0008】請求項2記載の発明は、請求項1記載の発
明において、上記オフセット調整手段は、上記一対の画
像の各々について輝度ヒストグラムを作成し、各輝度ヒ
ストグラムの輝度軸方向のずれを上記輝度レベルオフセ
ット量の修正量に変換することを特徴とする。
According to a second aspect of the present invention, in the first aspect of the invention, the offset adjusting means creates a luminance histogram for each of the pair of images, and shifts of each luminance histogram in the luminance axis direction are referred to as the luminance. It is characterized in that the level offset amount is converted into a correction amount.
【0009】請求項3記載の発明は、請求項1或いは請
求項2記載の発明において、上記輝度レベルオフセット
量の調整は、黒レベルの基準電圧を調整することにより
行うことを特徴とする。
According to a third aspect of the invention, in the first or second aspect of the invention, the adjustment of the brightness level offset amount is performed by adjusting a black level reference voltage.
【0010】すなわち、請求項1記載の発明は、ステレ
オカメラで撮像した一対の画像の各々の輝度分布を求
め、各画像の輝度分布の差に基づいて輝度レベルオフセ
ット量を修正することで、画像間の輝度オフセットずれ
を調整する。その際、輝度レベルオフセット量の修正量
は、請求項2記載の発明のように、一対の画像の各々に
ついて輝度ヒストグラムを作成し、各輝度ヒストグラム
の輝度軸方向のずれを修正量に変換することで求めるこ
とができる。また、請求項3記載の発明のように、輝度
レベルオフセット量の調整は、黒レベルの基準電圧を調
整することにより行うことが望ましい。
That is, the invention according to claim 1 obtains the luminance distribution of each of a pair of images picked up by a stereo camera and corrects the luminance level offset amount based on the difference between the luminance distributions of the images to obtain an image. Adjust the luminance offset shift between the two. At this time, as the correction amount of the brightness level offset amount, as in the invention according to claim 2, a brightness histogram is created for each of the pair of images, and the shift in the brightness axis direction of each brightness histogram is converted into the correction amount. Can be found at. Further, as in the third aspect of the invention, it is desirable that the adjustment of the brightness level offset amount is performed by adjusting the black level reference voltage.
【0011】[0011]
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図1〜図3は本発明の実施の一形
態に係わり、図1はステレオ画像処理システムの構成
図、図2はオフセット調整処理のフローチャート、図3
は輝度ヒストグラムを示す説明図である。
BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described below with reference to the drawings. 1 to 3 relate to an embodiment of the present invention, FIG. 1 is a block diagram of a stereo image processing system, FIG. 2 is a flowchart of offset adjustment processing, and FIG.
FIG. 3 is an explanatory diagram showing a luminance histogram.
【0012】図1に示す画像処理システムおいて、符号
1は、電荷結合素子(CCD)等のイメージセンサを内
蔵し、互いに同期がとれた2台のカメラ2,3から構成
されるステレオカメラである。このステレオカメラ1
は、例えば、カメラ2を右カメラ、カメラ3を左カメラ
として、所定の基線長をもって図示しないステー等に配
設されており、一方のカメラで撮像された画像を基準画
像、他方のカメラで撮像された画像を比較画像としてス
テレオ画像処理を行う。
In the image processing system shown in FIG. 1, reference numeral 1 is a stereo camera having a built-in image sensor such as a charge coupled device (CCD) and composed of two cameras 2 and 3 synchronized with each other. is there. This stereo camera 1
Is arranged on a stay or the like (not shown) with a predetermined base line length, with the camera 2 as the right camera and the camera 3 as the left camera. The image taken by one camera is taken as the reference image and the image taken by the other camera is taken. Stereo image processing is performed using the obtained image as a comparison image.
【0013】各カメラ2,3には、各カメラ2,3から
の画像信号を比例増幅するアンプ4,5が接続され、更
に、クランプ回路6,7を介してA/D変換器8,9が
接続され、各カメラ2,3で撮像したアナログ画像が所
定の輝度階調(例えば256階調のグレースケール)を
有するデジタル画像に変換される。ここで、クランプ回
路6,7は、アンプ4,5から出力される画像信号の黒
レベルを固定して安定化(クランプ)し、A/D変換に
必要な電圧範囲に収めるレベル調整手段としての機能を
担い、A/D変換器8,9でのA/D変換の際の基準電
圧値(画像処理の基準となる黒レベルの電圧値で、その
電圧以下は、輝度ゼロとする値)を、外部から指示可能
となっている。
Amplifiers 4 and 5 for proportionally amplifying image signals from the cameras 2 and 3 are connected to the cameras 2 and 3, and further A / D converters 8 and 9 are provided via clamp circuits 6 and 7. Are connected, and the analog image captured by each of the cameras 2 and 3 is converted into a digital image having a predetermined brightness gradation (for example, gray scale of 256 gradations). Here, the clamp circuits 6 and 7 serve as level adjusting means for fixing and stabilizing (clamping) the black level of the image signals output from the amplifiers 4 and 5 so as to be within the voltage range required for A / D conversion. It is responsible for the function and sets the reference voltage value (the voltage value of the black level which is the reference of the image processing, and the value below that voltage is zero brightness) at the time of the A / D conversion in the A / D converters 8 and 9. , Can be instructed from outside.
【0014】すなわち、クランプ回路6,7は、輝度レ
ベルオフセット量の調整、すなわち、黒レベルのレベル
固定値(クランプ値)を外部から与える指示値により可
変してクランプ値を上下させることができ、クランプレ
ベルを上下させてA/D変換の際の黒レベルを調整し、
A/D変換後の左右画像の輝度レベルを揃えて輝度オフ
セットずれを解消することができる。本形態において
は、基本的に、左画像側のクランプ回路7に与えるクラ
ンプ値を可変し、主としてクランプ回路7で左画像の輝
度レベルを調整して右画像の輝度レベルに合わせ、左右
画像の輝度バランスを揃える。
That is, the clamp circuits 6 and 7 can adjust the brightness level offset amount, that is, change the level fixed value (clamp value) of the black level by an instruction value given from the outside to raise or lower the clamp value. Adjust the black level during A / D conversion by raising / lowering the clamp level,
It is possible to eliminate the luminance offset deviation by aligning the luminance levels of the left and right images after A / D conversion. In the present embodiment, basically, the clamp value applied to the clamp circuit 7 on the left image side is varied, and the brightness level of the left image is adjusted mainly by the clamp circuit 7 to match the brightness level of the right image to determine the brightness of the left and right images. Align the balance.
【0015】A/D変換器8,9でデジタル化された左
右の画像データは、補正回路10に入力され、この補正
回路10で、シェーディング補正、ログ補正、カメラ
2,3の光学的な位置ずれに対する幾何学的補正等がな
される。補正回路10で補正された左右のデジタル画像
データは、画像データメモリ11に蓄積されると共に、
一致点探索・視差計算回路12に入力され、左右画像で
同一の物体が写っている部分を所定の小領域毎に探索す
るステレオマッチング処理が行われる。そして、このス
テレオマッチング処理によって得られた視差データが視
差データメモリ13に蓄積される。
The left and right image data digitized by the A / D converters 8 and 9 are input to a correction circuit 10, which corrects shading, logs, and optical positions of the cameras 2 and 3. Geometrical correction or the like for the deviation is performed. The left and right digital image data corrected by the correction circuit 10 is accumulated in the image data memory 11 and
The stereo matching processing is input to the coincidence point search / parallax calculation circuit 12, and a portion where the same object is shown in the left and right images is searched for in each predetermined small area. Then, the parallax data obtained by this stereo matching process is accumulated in the parallax data memory 13.
【0016】周知のように、左右画像(ステレオ画像)
に映し出された同一視線上の同一物体は、左右のカメラ
2,3の両光学中心を結ぶ線と平行な画像上の線(エピ
ポーラライン)に乗っており、このエピポーラライン上
の対応位置の互いのずれ量が対象物までの距離を表して
いる。従って、一致点探索・視差計算回路12では、基
準画像の小領域に対応する比較画像の小領域を、水平走
査方向に1画素ずつシフトしながら探索し、小領域間の
相関を評価する。
As is well known, left and right images (stereo images)
The same object on the same line of sight projected on the image is on a line (epipolar line) on the image parallel to the line connecting the optical centers of the left and right cameras 2 and 3, and the corresponding positions on this epipolar line are The deviation amount of represents the distance to the object. Therefore, the coincidence point search / parallax calculation circuit 12 searches the small area of the comparison image corresponding to the small area of the reference image while shifting it by one pixel in the horizontal scanning direction, and evaluates the correlation between the small areas.
【0017】この小領域間の相関は、例えば、シティブ
ロック距離を計算することで評価することができる。す
なわち、画面左上を原点として、画像横方向をi座標
軸、縦方向をj座標軸、単位を画素とし、例えば、小領
域を4×4画素の領域としたとき、基準画像のi,j番
目の輝度Ai,jと比較画像のi,j番目の輝度Bi,jとの
差に基づくシティブロック距離Z(=Σ|Ai,j−Bi,j
|:i,j=0〜3)を計算することで、小領域間の相
関を評価することができる。基本的には、このシティブ
ロック距離が最小となる小領域が同一視線上の同一物体
の対応位置となり、対応する小領域間の画素ずれ量が距
離を表す視差データとして出力される。尚、シティブロ
ック距離を計算して視差データを生成するハードウェア
回路の構成及び動作については、本出願人によって先に
提出された特開平5−114099号に詳述されてい
る。
The correlation between the small regions can be evaluated by calculating the city block distance, for example. That is, when the upper left corner of the screen is the origin, the horizontal direction of the image is the i coordinate axis, the vertical direction is the j coordinate axis, and the unit is a pixel. For example, when the small area is a 4 × 4 pixel area, the i, jth luminance of the reference image City block distance Z (= Σ | Ai, j-Bi, j) based on the difference between Ai, j and the i, jth luminance Bi, j of the comparison image.
By calculating |: i, j = 0 to 3), the correlation between the small regions can be evaluated. Basically, the small area having the smallest city block distance is the corresponding position of the same object on the same line of sight, and the pixel shift amount between the corresponding small areas is output as parallax data indicating the distance. The configuration and operation of the hardware circuit that calculates the city block distance and generates the parallax data are described in detail in Japanese Patent Application Laid-Open No. 5-114099 filed by the present applicant.
【0018】画像データメモリ11に蓄積された一対の
左右元画像、及び、視差データメモリ13に蓄積された
視差データは、画像処理装置14に入力されて各種の画
像処理が実施される。この画像処理装置14は、マイク
ロコンピュータを中心とし、その他の周辺回路を備えて
構成されるものであり、画像データメモリ11の左右元
画像データ及び視差データメモリ13の視差データに基
づいて、自己位置や障害物等の周囲環境を認識する処理
を行う認識処理部15、画像データメモリ11の左右元
画像データに基づいてクランプ回路6,7に対するクラ
ンプ値を演算し、左右画像の輝度オフセットずれを調整
するオフセット調整処理部16を含んでいる。
The pair of left and right original images stored in the image data memory 11 and the parallax data stored in the parallax data memory 13 are input to the image processing device 14 to be subjected to various image processes. The image processing device 14 is configured to include a microcomputer as a main component and other peripheral circuits, and based on the left and right original image data of the image data memory 11 and the parallax data of the parallax data memory 13, the self-position A recognition processing unit 15 that performs a process of recognizing a surrounding environment such as an obstacle or an obstacle, calculates clamp values for the clamp circuits 6 and 7 based on the left and right original image data in the image data memory 11, and adjusts a luminance offset deviation between the left and right images. The offset adjustment processing unit 16 is included.
【0019】オフセット調整処理部16における輝度オ
フセットずれの調整は、ステレオカメラ1で撮像した一
対の画像の各々の輝度分布を求め、各画像の輝度分布の
差に基づいてクランプ回路6,7の基準電圧値を修正す
るソフトウエア処理によってなされる。詳細には、以下
に説明するように、一対の画像の各々について輝度ヒス
トグラムを作成して各輝度ヒストグラムの輝度軸方向の
ずれを求め、この輝度軸方向のずれを基準電圧値の修正
量に変換して現在のクランプ値に加えて出力する。
The adjustment of the luminance offset deviation in the offset adjustment processing unit 16 obtains the luminance distribution of each of a pair of images picked up by the stereo camera 1, and determines the reference of the clamp circuits 6 and 7 based on the difference in the luminance distribution of each image. This is done by a software process that modifies the voltage value. Specifically, as described below, a luminance histogram is created for each of a pair of images, the shift in the luminance axis direction of each luminance histogram is obtained, and this shift in the luminance axis direction is converted into a correction amount of the reference voltage value. And output in addition to the current clamp value.
【0020】すなわち、オフセット調整処理部16は、
本発明に係わるオフセット調整手段としての機能を実現
するものであり、具体的には、図2に示す処理を実行す
ることで、オフセット調整手段としての機能を実現す
る。
That is, the offset adjustment processing section 16 is
The function as the offset adjusting means according to the present invention is realized. Specifically, the function as the offset adjusting means is realized by executing the processing shown in FIG.
【0021】以下、オフセット調整処理部16における
オフセット調整処理について、図2のフローチャートを
用いて説明する。
The offset adjustment processing in the offset adjustment processing section 16 will be described below with reference to the flowchart of FIG.
【0022】このオフセット調整処理では、先ず、ステ
ップS1で、画像データメモリ11にストアされた左右
画像の輝度分布を調べるため、左右双方の画像について
N個(例えば、1024個)の画素をランダムな位置か
ら取出してヒストグラムに投票し、左右それぞれの輝度
ヒストグラムを作成する。図3は、作成されたヒストグ
ラムの例を示すものであり、縦軸を頻度、横軸を輝度と
して、実線が左画像の輝度ヒストグラム曲線を表し、破
線が右画像のヒストグラム曲線を表す。
In this offset adjustment process, first, in step S1, in order to check the luminance distribution of the left and right images stored in the image data memory 11, N (for example, 1024) pixels are randomly selected for both the left and right images. Take out from the position and vote for the histogram to create left and right luminance histograms. FIG. 3 shows an example of the created histogram, where the vertical axis represents frequency and the horizontal axis represents luminance, the solid line represents the luminance histogram curve of the left image, and the broken line represents the histogram curve of the right image.
【0023】次に、ステップS2へ進み、左右画像の各
ヒストグラムの横軸方向のずれを求める処理を行う。こ
の種の処理に関しては、従来から各種の手法が知られて
おり、例えば、左右何れかのヒストグラム曲線を横軸方
向にずらしながら、もう一方のヒストグラム曲線との頻
度差の絶対値の和が最小となるずらし量を探索する。こ
うして得られた横軸方向のずれは、左右画像における全
体の輝度レベルの差、すなわち左右画像の輝度オフセッ
トずれを示しており、これを輝度ずれ値Ebとする。
尚、この輝度ずれ値Ebは、右画像側よりも左画像側の
方が明るいとき、正とする。
Next, the process proceeds to step S2, and a process for obtaining a shift in the horizontal axis direction of each histogram of the left and right images is performed. Regarding this kind of processing, various methods have been known from the past, for example, the sum of absolute values of the frequency difference with the other histogram curve is minimized while shifting either the left or right histogram curve in the horizontal axis direction. Search for the shift amount. The deviation in the horizontal axis direction thus obtained indicates the difference between the entire luminance levels of the left and right images, that is, the luminance offset deviation of the left and right images, and this is referred to as the luminance deviation value Eb.
The brightness shift value Eb is positive when the left image side is brighter than the right image side.
【0024】続くステップS3では、輝度ずれ値Eb
を、左画像側のクランプ回路7に対するクランプ値の修
正量Doに換算する。この換算は、以下に示す変換式に
従って実行される。但し、以下の変換式におけるCo
は、クランプ回路7及びA/D変換器9の特性によって
定まる定数であり、クランプ値の増分と輝度の増分との
比率(Δクランプ値/Δ輝度)を表す。 Do=Co×(−Eb)
In the following step S3, the luminance shift value Eb
Is converted into a correction amount Do of the clamp value for the clamp circuit 7 on the left image side. This conversion is executed according to the conversion formula shown below. However, Co in the following conversion formula
Is a constant determined by the characteristics of the clamp circuit 7 and the A / D converter 9, and represents the ratio (Δ clamp value / Δ luminance) of the increment of the clamp value and the increment of the brightness. Do = Co × (−Eb)
【0025】その後、ステップS4へ進み、現在のクラ
ンプ値に修正量Doを加算した指示値を、左画像側のク
ランプ回路7に出力し、処理を終了する。その結果、左
画像側のアンプ5の出力に対するクランプレベルが左右
画像間の輝度オフセットずれを解消する方向に修正さ
れ、A/D変換器9でA/D変換された左画像の輝度レ
ベルが、A/D変換器8でA/D変換された右画像の輝
度レベルと同レベルに調整される。但し、修正量Doを
加算した後のクランプ値がクランプ回路7の調整範囲を
超える場合には、左画像側のクランク回路7のクランプ
値を変更せず、代わりに、右画像側のクランプ回路6の
現在のクランプ値を修正量Doだけ減算した値に変更す
ることで、右画像のクランプレベルを下げ、左右画像の
輝度オフセットずれを調整する。
After that, the process proceeds to step S4, the instruction value obtained by adding the correction amount Do to the current clamp value is output to the clamp circuit 7 on the left image side, and the processing is ended. As a result, the clamp level for the output of the amplifier 5 on the left image side is corrected in a direction to eliminate the luminance offset shift between the left and right images, and the luminance level of the left image A / D converted by the A / D converter 9 becomes It is adjusted to the same level as the brightness level of the right image A / D converted by the A / D converter 8. However, when the clamp value after adding the correction amount Do exceeds the adjustment range of the clamp circuit 7, the clamp value of the crank circuit 7 on the left image side is not changed, and instead, the clamp circuit 6 on the right image side is used. The clamp level of the right image is lowered and the luminance offset shift of the left and right images is adjusted by changing the current clamp value of 1 to a value obtained by subtracting the correction amount Do.
【0026】このように、本実施の形態においては、従
来のゲイン調整では困難であったステレオカメラの一対
の画像間の直流信号レベルの差による輝度オフセットず
れを自動的に解消することができ、ステレオ画像処理の
処理精度を向上することができる。特に、夜間等の暗い
状況において、効果が大である。
As described above, in the present embodiment, it is possible to automatically eliminate the luminance offset shift due to the difference in the DC signal level between the pair of images of the stereo camera, which is difficult with the conventional gain adjustment. The processing accuracy of the stereo image processing can be improved. In particular, the effect is great in a dark situation such as at night.
【0027】[0027]
【発明の効果】以上説明したように本発明によれば、ス
テレオカメラで撮像した一対の画像の各々の輝度分布を
求め、各画像の輝度分布の差に基づいて輝度レベルオフ
セット量を修正して画像間の輝度オフセットずれを調整
するので、ステレオカメラにおける一対の画像間の輝度
オフセットずれを自動的に解消することができ、ステレ
オ画像処理の精度向上を図ることができる。
As described above, according to the present invention, the brightness distribution of each of a pair of images captured by a stereo camera is obtained, and the brightness level offset amount is corrected based on the difference in the brightness distribution of each image. Since the luminance offset shift between images is adjusted, the luminance offset shift between a pair of images in a stereo camera can be automatically eliminated, and the accuracy of stereo image processing can be improved.
【図面の簡単な説明】[Brief description of drawings]
【図1】ステレオ画像処理システムの構成図FIG. 1 is a block diagram of a stereo image processing system.
【図2】オフセット調整処理のフローチャートFIG. 2 is a flowchart of offset adjustment processing.
【図3】輝度ヒストグラムを示す説明図FIG. 3 is an explanatory diagram showing a luminance histogram.
【符号の説明】[Explanation of symbols]
1 ステレオカメラ 6,7 クランプ回路(レベル調整手段) 16 オフセット調整処理部(オフセット調整手段) Do 修正量 Eb 輝度ずれ値 1 stereo camera 6,7 Clamp circuit (level adjustment means) 16 Offset adjustment processing unit (offset adjustment means) Do correction amount Eb luminance shift value

Claims (3)

    【特許請求の範囲】[Claims]
  1. 【請求項1】 2台1組のカメラからなるステレオカメ
    ラで撮像した一対の画像の輝度オフセットずれを調整す
    る調整装置であって、 上記ステレオカメラで撮像した一対の画像における輝度
    レベルオフセット量を調整するレベル調整手段と、 上記一対の画像の各々の輝度分布を求め、各画像の輝度
    分布の差に基づいて上記輝度レベルオフセット量を修正
    して各画像間の輝度オフセットずれを調整するオフセッ
    ト調整手段とを備えたことを特徴とするステレオカメラ
    の調整装置。
    1. An adjusting device for adjusting a luminance offset deviation between a pair of images captured by a stereo camera including a pair of cameras, wherein a luminance level offset amount in the pair of images captured by the stereo camera is adjusted. Level adjusting means, and an offset adjusting means for obtaining the brightness distribution of each of the pair of images, correcting the brightness level offset amount based on the difference between the brightness distributions of the images, and adjusting the brightness offset deviation between the images. An adjusting device for a stereo camera, comprising:
  2. 【請求項2】 上記オフセット調整手段は、 上記一対の画像の各々について輝度ヒストグラムを作成
    し、各輝度ヒストグラムの輝度軸方向のずれを上記輝度
    レベルオフセット量の修正量に変換することを特徴とす
    る請求項1記載のステレオカメラの調整装置。
    2. The offset adjusting means creates a brightness histogram for each of the pair of images, and converts the deviation of each brightness histogram in the brightness axis direction into a correction amount of the brightness level offset amount. The stereo camera adjusting device according to claim 1.
  3. 【請求項3】 上記輝度レベルオフセット量の調整は、
    黒レベルの基準電圧を調整することにより行うことを特
    徴とする請求項1或いは請求項2記載のステレオカメラ
    の調整装置。
    3. The adjustment of the brightness level offset amount comprises:
    3. The stereo camera adjusting device according to claim 1, wherein the adjustment is performed by adjusting a black level reference voltage.
JP2001354994A 2001-11-20 2001-11-20 Stereo camera adjusting device Pending JP2003158751A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001354994A JP2003158751A (en) 2001-11-20 2001-11-20 Stereo camera adjusting device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2001354994A JP2003158751A (en) 2001-11-20 2001-11-20 Stereo camera adjusting device
US10/298,356 US7162074B2 (en) 2001-11-20 2002-11-18 Adjusting apparatus for stereoscopic camera
EP02025640A EP1313328A3 (en) 2001-11-20 2002-11-19 Stereoscopic camera with luminance difference adjustement

Publications (1)

Publication Number Publication Date
JP2003158751A true JP2003158751A (en) 2003-05-30

Family

ID=19166763

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001354994A Pending JP2003158751A (en) 2001-11-20 2001-11-20 Stereo camera adjusting device

Country Status (1)

Country Link
JP (1) JP2003158751A (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007151125A (en) * 2005-11-28 2007-06-14 Samsung Electronics Co Ltd Apparatus and method for processing 3d video signal
WO2010035443A1 (en) * 2008-09-26 2010-04-01 パナソニック株式会社 Image signal processing device and image signal processing method
KR20110102695A (en) * 2010-03-11 2011-09-19 삼성전자주식회사 A digital photographing apparatus, a method for controlling the same, and a computer-readable storage medium
JP2011258179A (en) * 2010-05-14 2011-12-22 Canon Inc Image processing device and control method thereof
JP2012015654A (en) * 2010-06-29 2012-01-19 Canon Inc Image processing apparatus and control method thereof
US8116557B2 (en) 2005-10-12 2012-02-14 Samsung Electronics Co., Ltd. 3D image processing apparatus and method
JP2012175339A (en) * 2011-02-21 2012-09-10 Toshiba Corp Three-dimensional video signal processing apparatus and processing method
KR101207343B1 (en) 2012-08-30 2012-12-04 재단법인대구경북과학기술원 Method, apparatus, and stereo camera for controlling image lightness
KR101379132B1 (en) 2007-01-18 2014-03-28 삼성전자주식회사 Method for improving quality of 3d image

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8116557B2 (en) 2005-10-12 2012-02-14 Samsung Electronics Co., Ltd. 3D image processing apparatus and method
JP2007151125A (en) * 2005-11-28 2007-06-14 Samsung Electronics Co Ltd Apparatus and method for processing 3d video signal
KR101379132B1 (en) 2007-01-18 2014-03-28 삼성전자주식회사 Method for improving quality of 3d image
WO2010035443A1 (en) * 2008-09-26 2010-04-01 パナソニック株式会社 Image signal processing device and image signal processing method
KR20110102695A (en) * 2010-03-11 2011-09-19 삼성전자주식회사 A digital photographing apparatus, a method for controlling the same, and a computer-readable storage medium
KR101634248B1 (en) 2010-03-11 2016-06-28 삼성전자주식회사 A digital photographing apparatus, a method for controlling the same, and a computer-readable storage medium
JP2011258179A (en) * 2010-05-14 2011-12-22 Canon Inc Image processing device and control method thereof
JP2012015654A (en) * 2010-06-29 2012-01-19 Canon Inc Image processing apparatus and control method thereof
JP2012175339A (en) * 2011-02-21 2012-09-10 Toshiba Corp Three-dimensional video signal processing apparatus and processing method
KR101207343B1 (en) 2012-08-30 2012-12-04 재단법인대구경북과학기술원 Method, apparatus, and stereo camera for controlling image lightness
WO2014035050A1 (en) * 2012-08-30 2014-03-06 재단법인대구경북과학기술원 Image brightness adjusting method, device therefor, and stereo camera

Similar Documents

Publication Publication Date Title
US10021290B2 (en) Image processing apparatus, image processing method, image processing program, and image pickup apparatus acquiring a focusing distance from a plurality of images
US9892493B2 (en) Method, apparatus and system for performing geometric calibration for surround view camera solution
US8106976B2 (en) Peripheral light amount correction apparatus, peripheral light amount correction method, electronic information device, control program and readable recording medium
US8767103B2 (en) Color filter, image processing apparatus, image processing method, image-capture apparatus, image-capture method, program and recording medium
KR100942925B1 (en) Stereo vision system and control method thereof
US6947080B2 (en) Device for image processing, method of adjusting white-balance, and computer products
JP4806329B2 (en) Imaging apparatus and imaging method
JP3284190B2 (en) Image correction device for stereo camera
US7406213B2 (en) Image processing apparatus and method, and computer program
US20170230577A1 (en) Image processing apparatus and method therefor
US7667738B2 (en) Image processing device for detecting chromatic difference of magnification from raw data, image processing program, and electronic camera
US7307662B2 (en) Controller for auto-focus in a photographing apparatus
JP3983573B2 (en) Stereo image characteristic inspection system
TWI383666B (en) An advanced dynamic stitching method for multi-lens camera system
JP5918984B2 (en) Information processing apparatus, information processing apparatus control method, and program
US6385334B1 (en) System and method for adjusting stereo camera
US8059904B2 (en) Image-processing device, electronic camera, image-processing program, and image-processing method
US8373776B2 (en) Image processing apparatus and image sensing apparatus
JP5113514B2 (en) White balance control device and white balance control method
KR20030013092A (en) Device and method for auto tracking moving object
JP5489897B2 (en) Stereo distance measuring device and stereo distance measuring method
JP5213670B2 (en) Imaging apparatus and blur correction method
KR20070078819A (en) Face importance level determining apparatus and method, and image pickup apparatus
US6583820B1 (en) Controlling method and apparatus for an electronic camera
US7483064B2 (en) Imaging apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040930

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060801

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060929

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070320