JP2000003448A - 輝度値補正回路及び方法並びに距離画像生成装置 - Google Patents

輝度値補正回路及び方法並びに距離画像生成装置

Info

Publication number
JP2000003448A
JP2000003448A JP10168640A JP16864098A JP2000003448A JP 2000003448 A JP2000003448 A JP 2000003448A JP 10168640 A JP10168640 A JP 10168640A JP 16864098 A JP16864098 A JP 16864098A JP 2000003448 A JP2000003448 A JP 2000003448A
Authority
JP
Japan
Prior art keywords
image
luminance
conversion table
corresponding point
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP10168640A
Other languages
English (en)
Inventor
Teruyuki Ushiro
輝行 後
Takayuki Ashigahara
隆之 芦ヶ原
Sachiko Miwa
祥子 三輪
Kazunori Hayashi
和慶 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP10168640A priority Critical patent/JP2000003448A/ja
Publication of JP2000003448A publication Critical patent/JP2000003448A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 複数のカメラで同一の撮像対象物を撮像した
ときの各画像間の輝度値を自動的に且つ、精度良く補正
を行う。 【解決手段】 第1の撮像手段で生成した第1の画像
が、第2の撮像手段で生成した第2の画像に対応する対
応点を検出する対応点検出手段16と、第1の画像と対
応点における第2の画像との輝度値を用いて第1の画像
又は第2の画像を補正するときの補正量を示す変換テー
ブルを生成する変換テーブル生成手段15と、変換テー
ブル生成手段15で生成された変換テーブルを用いて第
1の画像又は第2の画像の輝度値を補正する輝度値補正
手段14とを備える。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、複数台のカメラで
撮像対象物を撮像するときに各カメラの輝度値がほぼ同
じ値となるように各カメラの輝度値を補正する輝度値補
正回路及び方法、複数台のカメラで撮像対象物を撮像し
て撮像対象物とカメラとの距離画像を生成する距離画像
生成装置に関する。
【0002】
【従来の技術】一般的にステレオ法と称されている手法
を用いたものとしては、例えばカメラから撮像対象物ま
での距離情報を生成する距離画像生成装置が知られてい
る。この距離画像生成装置は、撮像対象物の表面の三次
元座標位置すなわち三次元形状を計測するために、視点
の異なる複数台のカメラで同一の撮像対象物を同時に撮
像した画像を用い、その画像間での各画素の対応点を求
め、その視差によってカメラから撮像対象物までの距離
情報を生成し、距離画像を得る。
【0003】ここで、複数のカメラで同一の撮像対象物
を撮像して同一の濃淡パターンを生成したとき、各カメ
ラで撮像した画像間の輝度値は、例えばカメラ自体の交
換、レンズの交換、絞りの変化等によって変化する。
【0004】これに対し、従来の手法では、ユーザが各
カメラにより撮像された画像を目視で比較し、輝度の等
しい濃淡パターンを選択し、当該選択された画像間の輝
度値の関係を求める。これにより、ユーザは、同一の撮
像対象物を複数のカメラで撮像した場合において、各カ
メラで撮像した画像間の輝度値の関係を用いて各画像の
輝度値をほぼ同じ値となるように変換する輝度変換テー
ブルを計算し、当該輝度変換テーブルを用いて輝度補正
を施していた。
【0005】また、画像間の輝度値を補正する他の従来
の手法としては、LOGフィルタを用い、各カメラで同
一の撮像対象物を撮像したときの画像間の輝度を平滑化
するとともに、微分処理を施すことによって、各カメラ
固有の輝度特性の違いを吸収する手法があった。
【0006】
【発明が解決しようとする課題】しかし、上述の輝度変
換テーブルを生成する手法では、輝度変換テーブル用い
ることにより精度の良い輝度補正を行うことが可能とな
るが、あるカメラで撮像した画像の濃淡パターンを選択
する必要があるとともに、ユーザの操作を必要とするた
め、自動的に補正することはできなかった。
【0007】また、上述のLOGフィルタを用いるとと
もに微分処理を行う手法では、ユーザの操作を必要とせ
ず、自動的に輝度補正を行うことができるが、各画像を
平滑化するため、例えば輪郭がきれいで、且つ精度の良
い距離画像を得ることが困難であるという問題がある。
【0008】そこで、本発明は、上述したような実情に
鑑みて提案されたものであり、複数のカメラで同一の撮
像対象物を撮像したときの各画像間の輝度値を自動的に
且つ、精度良く補正を行うことができる輝度値補正回路
及び方法を提供することを目的とする。
【0009】また、本発明は、複数のカメラで同一の撮
像対象物を撮像したとき、各画像間の輝度値を自動的に
且つ、精度良く補正を行ってカメラと撮像対象物との距
離を示す高精度の距離画像を生成する距離画像生成装置
を提供することを目的とする。
【0010】
【課題を解決するための手段】上述の課題を解決する本
発明に係る輝度値補正回路は、第1の撮像手段で生成し
た第1の画像が、第2の撮像手段で生成した第2の画像
に対応する対応点を検出する対応点検出手段と、第1の
画像と上記対応点における第2の画像との輝度値を用い
て上記第1の画像又は第2の画像を補正するときの補正
量を示す変換テーブルを生成する変換テーブル生成手段
と、上記変換テーブル生成手段で生成された変換テーブ
ルを用いて上記第1の画像又は第2の画像の輝度値を補
正する輝度値補正手段とを備えることを特徴とするもの
である。
【0011】このような輝度値補正回路によれば、第1
の画像が第2の画像に対応する対応点を検出して変換テ
ーブルを生成することにより、第1又は第2の画像に対
して輝度補正を行う。
【0012】また、本発明に係る輝度値補正方法は、第
1のカメラで撮像した第1の画像が、第2のカメラで撮
像した第2の画像に対応する対応点を検出し、第1の画
像と上記対応点における第2の画像との輝度値を用いて
上記画像を補正するときの補正量を示す変換テーブルを
生成し、上記変換テーブルを用いて上記第1又は第2の
画像の輝度値を補正することを特徴とする。
【0013】このような輝度値補正方法によれば、第1
の画像が第2の画像に対応する対応点を検出して変換テ
ーブルを生成することにより、第1又は第2の画像に対
して輝度補正を行う。
【0014】更に、本発明に係る距離画像生成装置は、
複数の撮像手段と、第1の撮像手段で生成した第1の画
像が、第2の撮像手段で生成した第2の画像上において
対応する対応点を検出する対応点検出手段と、上記対応
点検出手段で検出した上記対応点における第2の画像の
輝度値と第1の画像の輝度値とを比較して輝度値の一致
度を示す評価値を生成する評価値生成手段と、上記評価
値生成手段で生成した評価値を用いて上記第1の画像又
は第2の画像を補正するときの補正量を示す変換テーブ
ルを生成する変換テーブル生成手段と、上記変換テーブ
ル生成手段で生成された変換テーブルを用いて上記第1
又は第2の画像の輝度値を補正する輝度値補正手段と、
上記輝度値補正手段で補正された第1の画像又は第2の
画像と、第2の画像又は第1の画像上において対応する
対応点を検出して上記第1の撮像手段と撮像対象物との
距離を示す距離情報を生成する距離画像生成手段とを備
えることを特徴とするものである。
【0015】このような距離画像生成装置によれば、第
1の画像が第2の画像に対応する対応点を検出して変換
テーブルを生成することにより、第1又は第2の画像に
対して輝度補正を行い、輝度補正が施された第1又は第
2の画像と第2又は第1の画像を用いることにより、撮
像対象物から第1の撮像手段又は台2の撮像手段までの
距離を示す距離情報を生成する。
【0016】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら詳細に説明する。
【0017】本発明が適用可能な距離画像生成装置1
は、図1に示すように、撮像対象物2を撮像して画像
(以下、基準画像と称する。)を生成する基準カメラ3
と、基準カメラ3とは異なる位置に配され撮像対象物2
を撮像して画像(以下、参照画像と称する。)を生成す
る参照カメラ4と、基準カメラ3及び参照カメラ4から
の基準画像及び参照画像を用いて距離画像を生成する距
離画像生成回路10とからなる。
【0018】基準カメラ3は、所定の位置に配され、撮
像対象物2を撮像することにより、当該所定位置から撮
像した基準画像を距離画像生成回路10に出力する。
【0019】参照カメラ4は、所定の位置とは異なる位
置に配され、撮像対象物2を撮像することにより、当該
所定位置とは異なる位置から撮像した参照画像を距離画
像生成回路10に出力する。
【0020】距離画像生成回路10は、図2に示すよう
に、基準カメラ3で撮像した基準画像が入力される基準
画像メモリ11と、参照カメラ4で撮像した参照画像が
入力される参照画像メモリ12と、基準画像メモリ11
及び参照画像メモリ12を制御する画像メモリ制御部1
3と、参照画像メモリ12から参照画像輝度データが入
力される輝度変換部14と、輝度変換部14で用いる輝
度変換テーブルを生成する輝度変換テーブル生成部15
と、基準画像と参照画像との対応点を演算して検出する
対応点演算部16と、対応点演算部16からの演算結果
が入力される演算結果メモリ17と、演算結果メモリ1
7からの演算結果を用いて距離画像を生成する距離演算
部18と、距離画像を保存する距離画像メモリ19とを
備える。
【0021】基準画像メモリ11は、基準カメラ3で撮
像した基準画像を格納する。この基準画像メモリ11
は、画像メモリ制御部13からの制御信号に応じて基準
画像の基準画像輝度データを対応点演算部16に出力す
る。
【0022】参照画像メモリ12は、参照カメラ4で撮
像した参照画像を格納する。この参照画像メモリ12
は、画像メモリ制御部13からの制御信号に応じて参照
画像の参照画像輝度データを輝度変換部14に出力す
る。
【0023】画像メモリ制御部13は、基準画像メモリ
11及び参照画像メモリ12を制御する制御信号を生成
する。この画像メモリ制御部13は、輝度変換テーブル
生成部15からの制御信号に応じて基準画像輝度データ
及び対応点演算部16で対応点を演算して求めるのに必
要な参照画像輝度データのアドレスを指定する制御信号
を生成し、基準画像メモリ11及び参照画像メモリ12
に出力する。具体的には、この画像メモリ制御部13
は、参照画像のエピポーラライン上の参照画像データの
アドレスを指定する制御信号を生成する。
【0024】また、この画像メモリ制御部13は、輝度
変換テーブル生成部15からの制御信号に応じて所定の
大きさを有する小領域を切り出した基準画像輝度データ
及び参照画像輝度データを出力する。この画像メモリ制
御部13は、例えば3×3画素の小領域の基準画像輝度
データ及び参照画像輝度データを基準画像メモリ11及
び参照画像メモリ12から出力するように制御信号を生
成する。
【0025】輝度変換部14は、輝度変換テーブル生成
部15により生成された輝度変換テーブルを格納する。
この輝度変換部14は、輝度変換テーブルを参照して、
参照画像メモリ12からの参照輝度データの値を変換す
ることにより、参照画像輝度データの値を基準画像輝度
データの値とほぼ同等の値となるように変換する。
【0026】なお、この本例においては、参照画像メモ
リ12からの参照画像輝度データの値を変換する輝度変
換部14について説明するが、基準画像メモリ11から
基準画像輝度データを輝度変換テーブルに従って変換し
ても良い。
【0027】対応点演算部16は、図3に示すように基
準カメラ3で撮像した基準画像の点mbに対して、参照
カメラ4で撮像した参照画像上のエピポーラライン上で
対応する対応点を求める。ここで、エピポーララインと
は、基準カメラ3の位置と基準画像上の点mbとを結ぶ
視線上に位置する点P1,P2,P3と、参照カメラ4の
位置とを結ぶ視線上における参照画像上の点m1,m2
3を結んだときに形成される直線をいう。
【0028】この対応点演算部16は、例えば基準画像
上の点mbの対応点を求めるときには、基準画像上の点
bを中心とした小領域及び参照画像上の点m1を中心と
した小領域の基準画像輝度データ及び参照画像輝度デー
タが基準画像メモリ11及び参照画像メモリ12から入
力される。この対応点演算部16は、図4に示すよう
に、基準画像上の点mbを中心とした小領域Aの輝度平
均値を算出するとともに、参照画像上の点を中心とした
小領域Bの輝度平均値を算出する。
【0029】そして、対応点演算部16は、基準画像の
小領域の輝度平均値と、基準画像に対応する参照画像の
小領域の輝度平均値とを比較することにより輝度平均値
の差分の絶対値を検出する。この結果、対応点演算部1
6は、基準画像の小領域と、参照画像の小領域との相似
度を示す評価関数値SADを求める。ここで、評価関数値S
ADは、基準画像の小領域における輝度平均値と、参照画
像の小領域における輝度平均値との差分が小さいときに
は一致度が高いことを示す。そして、対応点演算部16
は、エピポーラライン上における点m2,m3・・・につ
いて上述の処理(キャリブレーション)を行うことによ
り、点m2,m3・・・についての評価関数値SADを求め
る。そして、対応点演算部16は、各評価関数値SADの
うち、最小値を有する評価関数値SADにおける参照画像
上の点を、基準画像上の点mbの対応点として検出する
ことができる。
【0030】評価関数値SADは、下記の式で示される。
【0031】
【数1】
【0032】ここで、I(i,j)は基準画像の輝度値であ
り、I'(i,j)は参照画像の輝度値である。
【0033】また、対応点演算部16は、正確な評価関
数値SADを得るために、参照画像上の点を中心とした小
領域が基準画像上の点に対応するように射影変換を施し
た後に評価関数値SADを求めることが望ましい。対応点
演算部16は、射影変換を施した後に対応点を求める処
理を行うときには、基準画像上の点に対応する参照画像
上の点が整数とはならないことがある。そこで、対応点
演算部16は、整数値とはならない参照画像上の点の輝
度値を、図5に示すように、当該参照画像上の点mに隣
接する4つの点A,B,C,Dの輝度値IA,IB,IC,IDを線形補間
して下式を用いて求める。 I'=(1-β)((1-α)IA+αIB)+β((1-α)IC+αID) これにより、対応点演算部16は、より正確な参照画像
上の点mの輝度値I'を得ることができる。
【0034】このように、対応点演算部16は、基準画
像に対応する全ての参照画像の対応点を求めることによ
り、図6に示すように、基準画像上の小領域における基
準画像輝度データと、基準画像上の小領域に対応した参
照画像上の対応点の参照画像輝度データとの関係を求め
る。
【0035】更に、対応点演算部16は、参照画像のエ
ピポーラライン上の点m1,m2,m3・・・を距離番号
「1,2,3,・・・」とした視差データを生成する。
すなわち、この対応点演算部16は、エピポーラライン
上に位置する点m1,m2,m3,・・・に対して、上述
したように所定の大きさの小領域の評価関数値SADを求
め、その評価関数値SADが最小となる点を対応点とし、
当該対応点の距離番号を視差データとして生成する。
【0036】対応点演算部16は、上述のように求めた
評価関数値SAD、基準画像の位置における参照画像上の
対応点、基準画像上の小領域における基準画像輝度デー
タと基準画像上の小領域に対応した参照画像上の対応点
の参照画像輝度データとの関係、視差データを演算結果
メモリ17に出力する。
【0037】なお、本例においては、対応点演算部16
で参照画像上のエピポーラライン上で対応点を求める一
例について説明したが、エピポーララインを用いないで
基準画像上の点mbに対応する参照画像上の対応点を求
めても良い。
【0038】演算結果メモリ17は、対応点演算部16
からの評価関数値SAD、基準画像輝度データが示す位置
における参照画像上の対応点、図6に示した基準画像輝
度データと対応点における参照画像輝度データとの関係
及び視差データを格納する。この演算結果メモリ17
は、基準画像輝度データと対応点における参照画像輝度
データとの関係を輝度変換テーブル生成部15に出力す
る。
【0039】輝度変換テーブル生成部15は、演算結果
メモリ17からの基準画像輝度データと対応点における
参照画像輝度データとの関係を用いて輝度変換テーブル
を生成する。このとき輝度変換テーブル生成部15は、
基準画像輝度データと対応点における参照画像輝度デー
タとの関係から、参照画像の輝度値と基準画像の輝度値
との関係式を求める。
【0040】この輝度変換テーブル生成部15は、例え
ば輝度値の大きさに応じて複数の区間に区切り、各区間
毎における平均値を求め、各平均値をスプライン補間に
より曲線近似することにより、輝度変換テーブルを生成
する。具体的には、輝度変換テーブル生成部15は、図
7に示すように、参照画像の輝度値を200〜399、
400〜599、600〜799、800〜999の4
区間に区分し、各区間毎に平均値を求め、各平均値を結
ぶように3次スプライン補間を用いて計算した結果、図
中の実線で示すような基準画像の輝度値と参照画像の輝
度値との関係を求めることができる。そして、この輝度
変換テーブル生成部15は、基準画像の輝度値と参照画
像の輝度値との関係を輝度変換テーブルとして生成し
て、輝度変換部14に出力する。
【0041】その結果、輝度変換部14は、例えば図7
の実線で示すような輝度変換テーブルが格納されている
とき、輝度値が約600の参照画像輝度データが入力さ
れた場合には、約550程度の輝度値として参照画像輝
度データに補正を施して対応点演算部16に出力するこ
とになる。
【0042】なお、本例では、各区間の輝度値の平均を
算出して各区間毎の代表点を決定し、スプライン補間に
より曲線近似して輝度変換テーブルを生成することにつ
いて説明したが、他の方法により各区間の代表点を決定
して輝度変換テーブルを生成しても良い。また、輝度値
の各区間の決定方法についても、輝度変換テーブルの精
度向上を図り、参照画像の対応点の分布を調べてから各
区間を決定しても良い。
【0043】また、上述の輝度変換テーブルを生成する
ときには、各区間毎の代表点をスプライン変換により結
ぶように曲線近似した一例について説明したが、対応点
演算部16からの基準画像輝度データと対応点における
参照画像輝度データとの関係をそのまま用い、最小自乗
法により直線近似しても良い。
【0044】距離演算部18は、演算結果メモリ17か
ら視差データが入力され、この視差データを距離に変換
する。すなわち、この距離演算部18は、エピポーララ
イン上のm1,m2,m3・・・に対応する距離番号
「1,2,3,・・・」を示す視差データを、基準カメ
ラ3と基準画像上の点mbとを結ぶ視線上の点P1
2,P3,・・・に変換する。距離演算部18は、例え
ば基準画像上の点mbに対する対応点が「m3」であり、
視差データが「3」を示すときには、基準カメラ3と撮
像対象物2との距離を、点P3が位置する距離とする。
これにより、距離演算部18は、点mbを中心とした小
領域についての距離データを生成する。この距離演算部
18は、全画面についての視差データに対して上述した
処理を行って距離データを求めることにより、基準画像
の全画面について距離データを生成する。
【0045】距離画像メモリ19には、距離演算部18
で生成した基準画像の小領域毎に求められた距離データ
が格納される。したがって、この距離画像メモリ19に
は、基準画像の小領域毎の距離データを合成することに
より得られる距離画像が格納されていることになる。
【0046】なお、上述の距離画像生成装置1の説明で
は、対応点演算部16で基準画像全体における対応点を
求める一例について説明したが、図8(a)に示すよう
に基準画像の中央位置における小領域(1)についてのみ
参照画像上における対応点を求めて輝度変換テーブルを
生成しても良い。また、この対応点演算部16は、図8
(b)に示すように、基準画像上の9つの小領域(1)〜
(9)についてのみ参照画像上における対応点を求めて輝
度変換テーブルを生成しても良い。更に、対応点演算部
16は、任意に対応点を求める領域の位置、大きさ、領
域の数を決定して対応点を求めて輝度変換テーブルを生
成しても良い。
【0047】このように、図8(a)及び図8(b)に
示すように領域を設定して、対応点演算部16で対応点
を求めて輝度変換テーブルを生成することにより、上述
のように基準画像の全体について対応点を求める場合と
比較して、演算量を減少させることができ、高速な処理
を実現できる。
【0048】更に、上述の距離画像生成装置1の説明で
は、対応点演算部16で参照画像上の点m1,m2,m3
に対する評価関数値SADを求め、最小の値を有する点を
対応点として求める一例について説明したが、図9に示
すように、例えば点m1,m2,m3における評価関数値S
ADを例えば2次関数で補間して対応点を求めても良い。
この結果、対応点演算部16は、点m2と点m3との間に
評価関数値SADの最小値が存在することを求めたら、当
該評価関数値SADに相当する参照画像上の点Mを対応点
とする。
【0049】このように、距離画像生成装置1は、対応
点演算部16で評価関数値SADを補間して対応点を求め
ることにより、最適な対応点を求めることができ、より
精度の高い輝度変換テーブルを生成することができる。
【0050】上述した距離画像生成装置1で例えば1枚
の静止画像について距離画像を生成するときの一例を、
図10に示したフローチャートを用いて説明する。
【0051】先ず、ステップST1においては、基準カ
メラ3で撮像した基準画像を基準画像メモリ11に格納
するとともに、参照カメラ4で撮像した参照画像を参照
画像メモリ12に格納する。ここで、画像メモリ制御部
13は、対応点演算部16で対応点を演算するのに必要
な基準画像輝度データ及び参照画像輝度データを基準画
像メモリ11及び参照画像メモリ12から出力させるた
めに、基準画像メモリ11及び参照画像メモリ12のア
ドレスを示す制御信号を生成する。このとき、画像メモ
リ制御部13は、参照画像が基準画像の視野内となるよ
うに射影変換された点に最も近い画素の参照画像輝度デ
ータを示すアドレスで参照画像輝度データを出力するよ
うに制御信号を生成する。
【0052】また、この画像メモリ制御部13は、射影
変換を施した結果、読み出す参照画像輝度データに隣接
する参照画像輝度データを線形補間して参照画像輝度デ
ータを出力するように制御信号を生成しても良い。
【0053】そして、基準画像メモリ11及び参照画像
メモリ12に画像メモリ制御部13からの制御信号が入
力されると、基準画像メモリ11及び参照画像メモリ1
2は、制御信号が示すアドレスに従って読み出され、基
準画像輝度データを対応点演算部16に出力させ、参照
画像輝度データを輝度変換部14に出力させる。このと
き、参照画像輝度データに対して輝度変換を施す輝度変
換テーブルが輝度変換部14に格納されていないので、
輝度変換部14では輝度補正を行わないで対応点演算部
16に参照画像輝度データを出力する。
【0054】次に、ステップST2においては、ステッ
プST1で入力された基準画像輝度データ及び参照画像
輝度データを用いて、対応点演算部16により参照画像
上の対応点を求める。そして、この対応点演算部16
は、評価関数値SAD、基準画像輝度データが示す位置に
おける参照画像上の対応点、基準画像輝度データと対応
点における参照画像輝度データとの関係及び視差データ
を生成して、演算結果メモリ17に出力する。
【0055】次に、ステップST3においては、輝度変
換テーブル生成部15により輝度変換テーブルを生成す
る。すなわち、輝度変換テーブル生成部15は、ステッ
プST2で生成された基準画像輝度データと対応点にお
ける参照画像輝度データとの関係が演算結果メモリ17
から入力され、曲線近似することにより輝度変換テーブ
ルを生成して輝度変換部14に出力する。
【0056】次に、ステップST4においては、輝度変
換部14に格納された輝度変換テーブルを用いて、参照
画像メモリ12に格納された参照画像輝度データの輝度
値を変換する。
【0057】次に、ステップST5においては、対応点
演算部16によりステップST4において輝度補正を施
した後の参照画像と基準画像とを用い、基準画像上の小
領域と参照画像の小領域とを比較することにより評価関
数値SADを求め、基準画像上の点に対する参照画像の対
応点を求める。この処理を基準画像全体について行うこ
とにより、対応点演算部16は、基準画像の全画素に対
する参照画像上の対応点を求めるとともに、基準画像の
各画素についての評価関数値SADを求める。
【0058】次に、ステップST6においては、対応点
演算部16によりステップST4で行った輝度補正が最
適であるか否かを判定する。具体的には、対応点演算部
16は、基準画像の全画素について求めた評価関数値SA
Dの平均値を用いて判定を行う。例えば評価関数値SADの
平均値が、前の輝度変換テーブルを用いて輝度補正を行
った参照画像を用いて求めた評価関数値SADの平均値と
比較して変化がないときにはステップST7に進み、評
価関数値SADの平均値が小さくなったときにはステップ
ST3に戻る。
【0059】ステップST7においては、対応点演算部
16で生成された視差データを用いて距離演算部18に
より基準画像の小領域毎の距離データを生成し、距離画
像メモリ19により距離演算部18で生成された距離デ
ータを用いて基準画像についての距離画像を生成する。
【0060】一方、ステップST3においては、基準画
像輝度データと、ステップST4で輝度補正が施された
参照画像画素データとの関係から輝度変換テーブルを用
いて再び輝度補正を行うことになる。従って、この距離
画像生成装置1は、ステップST6で輝度変換テーブル
の変化率を求め、変化があると判定したときには上述の
ステップST3〜ステップST6までの処理を繰り返す
ことにより、最適な輝度変換テーブルで参照画像輝度デ
ータの補正を行って距離画像を生成する。
【0061】従って、この距離画像生成装置1は、上述
のステップST3〜ステップST6間での処理を繰り返
すことにより、図11(a)に示した基準画像輝度デー
タと輝度変換部14で輝度変換が施されていない参照画
像輝度データとの関係を補正することができる。すなわ
ち、この距離画像生成装置1によれば、ステップST3
〜ステップST6までの処理を行うことにより、図11
(a)に示した基準画像輝度データと参照画像輝度デー
タとの関係を、図11(b)に示すように補正する。こ
の距離画像生成装置1は、更にステップST3〜ステッ
プST6までの処理を行うことにより、図11(b)に
示した基準画像輝度データと参照画像輝度データとの関
係を、図11(c)に示すように補正する。したがっ
て、この距離画像生成装置1は、ステップST3〜ステ
ップST6までの処理を複数回繰り返すことにより、参
照画像輝度データの輝度値を基準画像輝度データの輝度
値に近づけることができる。従って、この距離画像生成
装置1は、繰り返しステップST3〜ステップST6ま
での処理を繰り返すことにより、繰り返して輝度変換テ
ーブルを生成して参照画像輝度データの輝度値を補正
し、より精度の高い距離画像を生成することができる。
【0062】また、上述の距離画像生成装置1が行うス
テップST1〜ステップST7までの処理の説明では、
1枚の静止画像について輝度補正を行って距離画像を生
成する一例について説明したが、複数のフレームからな
る動画像についても上述と同様の処理を適用することが
できる。
【0063】すなわち、この距離画像生成装置1は、例
えばフレーム1として図12(a)に示すような絵柄の
基準画像20a及び参照画像20bを撮像したときに
は、基準画像輝度データ及び参照画像輝度データを用い
て輝度補正アルゴリズムとして上述のステップST3〜
ステップST6間での処理を繰り返すことにより、距離
画像20cを生成する。距離画像生成装置1は、続いて
フレーム2として図12(b)に示すよな絵柄の基準画
像21a及び参照画像21bを撮像したときには、基準
画像輝度データ及び参照画像輝度データを用いて再び輝
度補正アルゴリズムとしてステップST3〜ステップS
T6間での処理を繰り返すことにより、距離画像21c
を生成する。
【0064】従って、このような処理を行う距離画像生
成装置1は、基準カメラ3及び参照カメラ4で基準画像
及び参照画像を撮像すると、上述のステップST1〜ス
テップST7までの処理を行うので、自動的に基準画像
についての距離画像を生成することができる。また、こ
の距離画像生成装置1によれば、対応点演算部16で評
価関数値SADの平均値を計算して、基準画像と参照画像
の輝度がほぼ同等の値を有するように輝度変換テーブル
を生成するので、補正が施された参照画像内で基準画像
に対する対象点を求めることができ、より精度の高い距
離画像を生成することができる。
【0065】なお、上述したステップST6の輝度補正
が最適か否かを判定する処理においては、基準画像の全
画素について求めた評価関数値SADの平均値が変化した
か否かを判定して再びステップST3〜ステップST6
までの処理を行うか否かを判定したが、輝度変換テーブ
ルの変化率を用いても良く、更には輝度補正後における
基準画像上の点の輝度値と、参照画像の対象点の輝度値
との輝度差を求め、この輝度差の絶対値の和等を用いて
も良い。
【0066】また、上述したステップST1〜ステップ
ST7までの処理を行う距離画像生成装置1は、参照画
像輝度データの輝度値を補正するものの一例について説
明したが、基準画像輝度データの輝度値を補正する輝度
変換部を備えていても良い。
【0067】次に、図10に示して説明した距離画像を
生成するときの一例を更に詳細に示したフローチャート
を図13、図14及び図15に示す。
【0068】先ず、ステップST11では、上述のステ
ップST1と同様に基準カメラ3及び参照カメラ4で撮
像した基準画像と参照画像とを基準画像メモリ11及び
参照画像メモリ12に保存する。
【0069】次に、距離画像生成装置1は、上述のステ
ップST2に相当する処理としてステップST12〜ス
テップST18に示す処理を行う。
【0070】すなわち、ステップST12では、画像メ
モリ制御部13により対応点を求める基準画像の小領域
を示すアドレス及び参照画像の小領域を示すアドレスを
制御信号として生成し、基準画像メモリ11及び参照画
像メモリ12に出力する。
【0071】ステップST13では、上述のステップS
T12で生成された制御信号に従って、基準画像の小領
域を示す基準画像輝度データ及びエピポーラライン上に
位置する参照画像の小領域を示す参照画像輝度データが
それぞれ対応点演算部16に読み出される。ここで、参
照画像輝度データは、輝度変換部14に輝度変換テーブ
ルが格納されていない場合においては、輝度補正が施さ
れずに対応点演算部16に入力される。
【0072】ステップST14では、対応点演算部16
によりエピポーラライン上におけるある参照画像の輝度
値と基準画像の輝度値とを比較して評価関数値SADを計
算する。そして、対応点演算部16は、算出した評価関
数値SADを演算結果メモリ17に保存する。
【0073】ステップST15では、対応点演算部16
によりエピポーラライン上の全ての参照画像と基準画像
とについて評価関数値SADを算出したか否かを判定す
る。そして、対応点演算部16は、エピポーラライン上
の全ての参照画像と基準画像とについて評価関数値SAD
を算出していないと判定したときにはステップST12
に戻り再び上述のステップST12〜ステップST14
までの処理を繰り返し、エピポーラライン上の全ての参
照画像と基準画像とについて評価関数値SADを算出した
と判定したときにはステップST16に進む。
【0074】ステップST16では、対応点演算部16
によりエピポーラライン上の参照画像を用いて算出した
各評価関数値SADのうち、最小の値を示す評価関数値SAD
を算出するのに用いた参照画像の小領域を対応点として
演算結果メモリ17に保存する。また、対応点演算部1
6は、評価関数値SAD、基準画像輝度データと対応点に
おける参照画像輝度データとの関係及び距離番号を示す
視差データを生成して、演算結果メモリ17に保存す
る。
【0075】ステップST17では、対応点演算部16
により基準画像を構成する全ての小領域について対応点
を算出したか否かを判定し、全ての小領域について対応
点を算出したと判定したときにはステップST18に進
み、全ての小領域について対応点を算出していないと判
定したときには、再びステップST12に戻り、ステッ
プST12〜ステップST16までの処理を繰り返す。
このように、ステップST12〜ステップST16まで
の処理を繰り返すことにより、基準画像の全体について
対応点、評価関数値SAD、基準画像輝度データと対応点
における参照画像輝度データとの関係及び距離番号を示
す視差データを求めることになる。
【0076】ステップST18では、対応点演算部16
により後述のステップST30で判定するときに必要な
基準画像全体の評価関数値SADを算出し、演算結果メモ
リ17に保存する。
【0077】次に、距離画像生成装置1は、上述のステ
ップST3に相当する処理としてステップST19〜ス
テップST21に示す処理を行う。
【0078】ステップST19では、輝度変換テーブル
生成部15により演算結果メモリ17に保存された基準
画像輝度データと対応点における参照画像輝度データと
の関係を用いて輝度値の大きさに応じて複数の区間に区
切り、各区間毎における代表点を求める。このとき、輝
度変換テーブル生成部15は、代表点として各区間毎の
平均値を求める。
【0079】ステップST20では、輝度変換テーブル
生成部15により3次スプライン補間により各平均値を
結ぶように曲線近似する。
【0080】ステップST21では、ステップST20
で近似した曲線から、輝度変換部14で輝度補正をする
ときに用いる補正変換テーブルを生成する。また、輝度
変換テーブル生成部15は、輝度変換部14内に既に輝
度変換テーブルが格納されているときには、新たに生成
した輝度変換テーブルに書き換える。
【0081】次に、距離画像生成装置1は、上述のステ
ップST4に相当する処理として図14に示すステップ
ST22〜ステップST24に示す処理を行う。
【0082】ステップST22では、画像メモリ制御部
13により対応点を求める基準画像の小領域を示すアド
レス及び参照画像の小領域を示すアドレスを制御信号と
して生成し、基準画像メモリ11及び参照画像メモリ1
2に出力する。
【0083】ステップST23では、上述のステップS
T12で生成された制御信号に従って、基準画像の小領
域を示す基準画像輝度データを対応点演算部16に出力
するとともに、エピポーラライン上に位置する参照画像
の小領域を示す参照画像輝度データを輝度変換部14に
出力する。
【0084】ステップST24では、輝度変換部14に
より上述のステップST21で書き込まれた輝度変換テ
ーブルを用いて、参照画像輝度データの輝度値を変換
し、対応点演算部16に出力する。
【0085】次に、距離画像生成装置1は、上述のステ
ップST5に相当する処理としてステップST25〜ス
テップST29に示す処理を行う。
【0086】ステップST25では、対応点演算部16
により輝度補正を施した参照画像の輝度値と基準画像の
輝度値とを比較して評価関数値SADを計算する。そし
て、対応点演算部16は、算出した評価関数値SADを演
算結果メモリ17に保存する。
【0087】ステップST26では、対応点演算部16
によりエピポーラライン上の全ての参照画像と基準画像
とについて評価関数値SADを算出したか否かを判定す
る。そして、対応点演算部16は、エピポーラライン上
の全ての参照画像と基準画像とについて評価関数値SAD
を算出していないと判定したときにはステップST22
に戻り再び上述のステップST22〜ステップST25
までの処理を繰り返し、エピポーラライン上の全ての参
照画像と基準画像とについて評価関数値SADを算出した
と判定したときにはステップST27に進む。
【0088】ステップST27では、対応点演算部16
により輝度補正を施した参照画像を用いて算出した各評
価関数値SADのうち、最小の値を示す評価関数値SADを算
出するのに用いた参照画像の小領域を対応点として演算
結果メモリ17に保存する。また、対応点演算部16
は、輝度補正後の評価関数値SAD、基準画像輝度データ
と対応点における参照画像輝度データとの関係及び距離
番号を示す視差データを生成して、演算結果メモリ17
に保存する。
【0089】ステップST28では、対応点演算部16
により基準画像を構成する全ての小領域について対応点
を算出したか否かを判定し、全ての小領域について対応
点を算出したと判定したときにはステップST29に進
み、全ての小領域について対応点を算出していないと判
定したときには、再びステップST22に戻り、ステッ
プST22〜ステップST27までの処理を繰り返す。
このように、ステップST22〜ステップST27まで
の処理を繰り返すことにより、輝度補正を施した参照画
像を用いて、基準画像の全体について対応点、評価関数
値SAD、基準画像輝度データと対応点における参照画像
輝度データとの関係及び距離番号を示す視差データを求
めることになる。
【0090】ステップST29では、対応点演算部16
により後述のステップST30で判定するときに必要な
基準画像全体の評価関数値SADを算出し、演算結果メモ
リ17に保存する。
【0091】次に、距離画像生成装置1は、上述のステ
ップST6に相当する処理として図15に示すステップ
ST30に示す処理を行う。
【0092】ステップST30では、対応点演算部16
により、ステップST18で参照画像に輝度補正を施さ
ないで算出した評価関数値SADの平均値と、ステップS
T29で輝度補正を施した参照画像を用いて算出した評
価関数値SADの平均値とを比較する。その結果、輝度補
正を施さないで算出した評価関数値SADの平均値と輝度
補正後に算出した評価関数値SADの平均値とに変化がな
いときには、ステップST34に進み、輝度補正後に算
出した評価関数値SADの平均値が輝度補正を施さないで
算出した評価関数値SADの平均値よりも良好であると判
定したときにはステップST31に進む。
【0093】すなわち、このステップST30において
は、ステップST29で求めた評価関数値SADの平均値
がステップST18で求めた評価関数値SADよりも良好
となった場合には更に輝度変換テーブルを生成させる処
理(ステップST31〜ステップST33)に移行さ
せ、良好とならなかった場合には距離画像を生成する処
理(ステップST34〜ステップST37)に移行させ
る。従って、以下に説明するステップST31〜ステッ
プST33までの処理は、上述のステップST6〜ステ
ップST3に移行したときの処理に相当し、ステップS
T34からステップST37までの処理は、上述のステ
ップST7に相当する処理を行う。
【0094】ステップST31では、輝度変換テーブル
生成部15により演算結果メモリ17に保存された基準
画像輝度データと対応点における参照画像輝度データと
の関係を用いて輝度値の大きさに応じて複数の区間に区
切り、各区間毎における代表点を求める。このとき、輝
度変換テーブル生成部15は、代表点として各区間毎の
平均値を求める。
【0095】ステップST32では、輝度変換テーブル
生成部15により3次スプライン補間により各平均値を
結ぶように曲線近似する。
【0096】ステップST33では、ステップST32
で近似した曲線から、輝度変換部14で輝度補正をする
ときに用いる補正変換テーブルを生成する。また、輝度
変換テーブル生成部15は、ステップST21で格納し
た輝度変換テーブルを、新たに生成した輝度変換テーブ
ルに書き換え、再びステップST22に戻る。これによ
り、ステップST30において前回に求めた評価関数値
SADと比較して変化がないと判定するまで上述のステッ
プST22〜ステップST30までの処理を繰り返すこ
とにより、輝度変換テーブルを繰り返し生成することに
なる。
【0097】一方、ステップST34では、ステップS
T30で評価関数値SADに変化がないことを判定するこ
とにより参照画像の輝度補正を終了する。
【0098】ステップST35では、距離演算部18に
より演算結果メモリ17に格納されている視差データを
読み出す。
【0099】ステップST36では、距離演算部18に
より距離番号「1,2,3,・・・」を示す視差データ
を距離情報「P1,P2,P3,・・・」に変換し、距離
画像メモリ19に保存する。
【0100】ステップST37では、距離画像メモリ1
9に格納された小領域毎の距離情報を合成することによ
り基準画像全体についての助利情報からなる距離画像を
生成する。
【0101】したがって、このような距離画像生成装置
1によれば、ステップST30においては、ステップS
T29で求めた評価関数値SADの平均値がステップST
18で求めた評価関数値SADよりも良好となった場合に
は更に輝度変換テーブルを生成して輝度補正を行い、距
離情報を生成するので、より精度の高い距離画像を生成
することができる。
【0102】なお、上述の距離画像生成装置1の処理の
一例では、評価関数値SADが良好となった場合に距離画
像を生成する一例について説明したが、輝度補正を行う
回数を有限回に制限して輝度補正を行っても良い。
【0103】つぎに、距離画像生成装置1の他の実施例
について説明する。この第2の実施例においては、例え
ば基準カメラ3又は参照カメラ4の交換を行ったとき、
各カメラ3,4のレンズの絞りや、ズーム等の変化等が
生じたときに、輝度変換テーブルを生成して距離画像を
生成する処理について図14に示すフローチャートを用
いて説明する。なお、以下にする距離画像生成装置1の
実施例の説明においては、上述の説明と同様の処理につ
いては、図中に同一の符号を付することによりその詳細
な説明を省略する。
【0104】図16に示すフローチャートにおいては、
先ず、ステップST40で輝度補正キャリブレーション
を行う。すなわち、このステップST40では、距離画
像生成回路10により上述のステップST1〜ステップ
ST7で示す処理を行うことにより、輝度変換テーブル
を生成し、輝度変換部14に輝度変換テーブルを格納し
て、ステップST50に進む。
【0105】次に、ステップST50においては、ステ
ップST40で生成した輝度変換テーブルを用いて参照
画像に輝度補正を施し距離画像を生成する処理を行う。
すなわち、ステップST50においては、先ずステップ
ST51で基準カメラ3及び参照カメラ4により撮像し
た基準画像及び参照画像を基準画像メモリ11及び参照
画像メモリ12に保存する。
【0106】次に、ステップST51においては、輝度
変換部14により、輝度変換テーブルを用いて参照画像
輝度データの輝度補正を行う。
【0107】次に、ステップST52においては、対応
点演算部16により上述のステップST5に示す処理を
行うことにより、輝度補正を施した後の参照画像と基準
画像とを用い、基準画像上の小領域と参照画像の小領域
とを比較することにより評価関数値SADを求め、基準画
像上の点に対する参照画像の対応点を求める。
【0108】ステップST53においては、対応点演算
部16で生成された視差データを用いて距離演算部18
により基準画像の小領域毎の距離データを生成し、距離
演算部18で生成された距離データを用いて基準画像に
ついての距離画像を保存してステップST51に戻る。
【0109】そして、この実施例に係る距離画像生成装
置1は、例えば基準カメラ3又は参照カメラ4の交換を
行ったとき、各カメラ3,4のレンズの絞りや、ズーム
等の変化等が生じない限り、参照画像をステップST4
0で生成した輝度変換テーブルを用いて距離画像を生成
する処理を繰り返す。すなわち、この距離画像生成装置
1は、例えば基準カメラ3又は参照カメラ4の交換を行
ったとき、各カメラ3,4のレンズの絞りや、ズーム等
の変化等が生じない限り基準画像と参照画像との輝度値
の関係が変化しないものとして輝度変換テーブルを変更
しないで参照画像の輝度補正を行う。
【0110】したがって、この実施例に係る距離画像生
成装置1によれば、例えば基準カメラ3又は参照カメラ
4の交換を行ったとき、各カメラ3,4のレンズの絞り
や、ズーム等の変化が生じない限り新たな輝度変換テー
ブルを生成しないので、例えば複数のフレームからなる
動画像に輝度補正を施して距離画像を生成する場合であ
っても、高速に距離画像を生成することができるととも
に、基準カメラ3又は参照カメラ4の交換を行ったと
き、各カメラ3,4のレンズの絞りや、ズーム等の変化
に応じて輝度補正を行うので、高画質の距離画像を生成
することができる。
【0111】また、この距離画像生成装置1において
は、例えば基準カメラ3又は参照カメラ4の交換を行っ
たとき、各カメラ3,4のレンズの絞りや、ズーム等の
変化等が生じたことを自動的に検出する手段を備えてい
ても良い。
【0112】更に、距離画像生成装置1は、ユーザから
の命令に従って、輝度変換テーブルを変更する処理を行
って良い。更にまた、この実施例における距離画像生成
装置1は、基準画像と参照画像との輝度関係を監視する
手段を備え、当該手段からの命令がなされるまで、輝度
変換テーブルを変更しないで輝度補正を行い、当該手段
からの命令に応じてステップST40の処理を行うよう
にしても良い。
【0113】つぎに、距離画像生成装置1の更に他の実
施例について説明する。この実施例では、基準カメラ3
及び参照カメラ4で複数のフレームからなる動画像を撮
像したときに輝度値補正テーブルを生成する一例につい
て図17に示したフローチャートを参照して説明する。
【0114】先ず、ステップST61において、距離画
像生成回路10の基準画像メモリ11及び参照画像メモ
リ12に基準画像及び参照画像を保存する。この基準画
像メモリ11及び参照画像メモリ12に保存する基準画
像及び参照画像は、例えば1フレーム分でも良く、複数
のフレームでも良い。
【0115】次に、ステップST62において、最初の
フレームi(i=1,2,3,・・・n,n+1)につ
いての基準画像及び参照画像を画像メモリ制御部13か
らの制御命令に応じて対応点演算部16に入力する。な
お、動画像の内、最初のフレームiにおいては、輝度変
換部14に輝度変換テーブルが格納されていないので、
参照画像の輝度補正は行わないことになる。
【0116】次に、ステップST63において、対応点
演算部16によりフレームiの参照画像と基準画像とを
用い、基準画像上の小領域と参照画像の小領域とを比較
することにより評価関数値SADを求め、基準画像上の点
に対する参照画像の対応点を求める。この処理を基準画
像全体について行うことにより、対応点演算部16は、
基準画像の全画素に対する参照画像上の対応点を求める
とともに、基準画像の各画素についての評価関数値SAD
を求め、最小の値を示す評価関数値SADを算出するのに
用いた参照画像の小領域を対応点として演算結果メモリ
17に保存する。また、対応点演算部16は、評価関数
値SAD、基準画像輝度データと対応点における参照画像
輝度データとの関係及び距離番号を示す視差データを計
算して演算結果メモリ17に保存する。
【0117】次に、ステップST64において、距離演
算部18により対応点演算部16で生成された視差デー
タを用いて基準画像の小領域毎の距離データを生成し
て、距距離演算部18で生成された距離データを用いて
基準画像についての距離画像を生成して当該距離画像を
距離画像メモリ19に保存する。
【0118】次に、ステップST65において、輝度変
換テーブル生成部15により上述のステップST3と同
様に、演算結果メモリ17に格納された基準画像輝度デ
ータと対応点における参照画像輝度データとの関係を用
いて曲線近似等することにより輝度変換テーブルを生成
する。これにより、輝度変換部14には、フレームiの
基準画像輝度データ及び参照画像輝度データとを用いて
生成された輝度変換テーブルが格納され、ステップST
61に戻る。
【0119】ステップST61では、フレームiの次の
フレームi+1の基準画像及び参照画像を保存する。そ
して、ステップST62において、フレームiを用いて
生成されステップST65で輝度変換部14に格納され
た輝度変換テーブルを用いてフレームi+1の参照画像
輝度データの補正値を変換する。次に、輝度補正を施し
た参照画像データと基準画像輝度データとを用いてステ
ップST63において対応点を求め、ステップST64
でフレームi+1についての距離画像を生成する。
【0120】すなわち、この実施例における距離画像生
成装置1は、動画像を構成するフレームのそれぞれに輝
度補正を施して距離画像を生成するときには、図18に
示すように、先ずフレーム1についての基準画像30a
及び参照画像30bを用いて距離画像30cを生成す
る。このとき、距離画像生成回路10では、フレーム1
についての対応点演算により得た対応点における基準画
像30aと参照画像30bとの輝度値の関係を用いて輝
度補正アルゴリズムを実行して輝度変換テーブルを生成
する。次にフレーム2について距離画像を生成するとき
には、フレーム1を用いて生成した輝度変換テーブルに
よりフレームn+1の参照画像31bの輝度補正を行
い、輝度補正を施した参照画像31bと基準画像31a
を用いて距離画像31cを生成する。そして、フレーム
3についての距離画像を生成するときには、フレーム2
について対応点演算したときに得た基準画像31aと参
照画像31bとの輝度値の関係を用いて生成した輝度変
換テーブルを用いてフレーム3の参照画像の輝度値を補
正して距離画像を生成することになる。
【0121】したがって、この実施例に係る距離画像生
成装置1によれば、例えば基準カメラ3又は参照カメラ
4の交換を行ったとき、各カメラ3,4のレンズの絞り
や、ズーム等の変化により動画像内で基準画像と参照画
像の輝度関係に変化が生じた場合であっても、輝度関係
の変化に追従して数フレーム内に輝度補正を行うことが
でき、高精度の距離画像を生成することができる。
【0122】また、この距離画像生成装置1によれば、
特に輝度補正をハードウェア処理する場合には、輝度補
正アルゴリズムの回数を有限回又は1回と限定すること
により、より小規模のハードウェアで輝度補正を実行す
ることができる。
【0123】更に、この距離画像生成装置1によれば、
各フレームについて行う輝度補正アルゴリズムの回数を
有限回又は1回とすることにより、基準画像及び参照画
像を基準画像メモリ11及び参照画像メモリ12に保存
してから距離画像を生成するまでの時間を短縮すること
ができる。
【0124】なお、上述した本発明の実施の形態では、
基準カメラ3と参照カメラ4とで撮像対象物2を撮像し
て距離画像を生成する、ステレオ法を用いた一例につい
て説明したが、本発明はそれに限られず、例えば複数の
カメラを用いて同一の対象物を撮像する場合において各
カメラ間の輝度の調整にも用いることができる。
【0125】
【発明の効果】以上詳細に説明したように、本発明に係
る輝度値補正回路は、第1の撮像手段で生成した第1の
画像が、第2の撮像手段で生成した第2の画像に対応す
る対応点を検出する対応点検出手段と、第1の画像と上
記対応点における第2の画像との輝度値を用いて上記第
1の画像又は第2の画像を補正するときの補正量を示す
変換テーブルを生成する変換テーブル生成手段と、変換
テーブルを用いて上記第1の画像又は第2の画像の輝度
値を補正する輝度値補正手段とを備えているので、第1
の画像が第2の画像に対応する対応点を検出して変換テ
ーブルを生成することにより、第1又は第2の画像に対
して自動的に輝度補正を行う。
【0126】また、本発明に係る輝度値補正方法は、第
1のカメラで撮像した第1の画像が、第2のカメラで撮
像した第2の画像に対応する対応点を検出し、第1の画
像と上記対応点における第2の画像との輝度値を用いて
上記画像を補正するときの補正量を示す変換テーブルを
生成し、上記変換テーブルを用いて上記第1又は第2の
画像の輝度値を補正するので、自動的に第1又は第2の
画像に対して輝度補正をすることができる。
【0127】更に、本発明に係る距離画像生成装置は、
第1の撮像手段で生成した第1の画像が、第2の撮像手
段で生成した第2の画像上において対応する対応点を検
出する対応点検出手段と、上記対応点における第2の画
像の輝度値と第1の画像の輝度値とを比較して輝度値の
一致度を示す評価値を生成する評価値生成手段と、評価
値を用いて上記第1の画像又は第2の画像を補正すると
きの補正量を示す変換テーブルを生成する変換テーブル
生成手段と、変換テーブルを用いて上記第1又は第2の
画像の輝度値を補正する輝度値補正手段と、補正された
第1の画像又は第2の画像と、第2の画像又は第1の画
像上において対応する対応点を検出して上記第1の撮像
手段と撮像対象物との距離を示す距離情報を生成する距
離画像生成手段とを備えるので、第1の画像が第2の画
像に対応する対応点を検出して変換テーブルを生成する
ことにより、自動的に第1又は第2の画像に対して輝度
補正を行い、輝度補正が施された第1又は第2の画像と
第2又は第1の画像を用いることにより、より精度の高
い距離情報を生成することができる。
【図面の簡単な説明】
【図1】距離画像生成装置の構成を示す図である。
【図2】距離画像生成装置に備えられる距離画像生成回
路の一例を示すブロック図である。
【図3】基準画像上の点に対応する参照画像上の対応点
を求めることを説明するための図である。
【図4】基準画像の小領域及び参照画像の小領域の輝度
値の平均を求めて対応点を求めることを説明するための
図である。
【図5】射影変換を施した後に対応点を求めるときに4
つの輝度値を線形補間して対応点を求めることを説明す
るための図である。
【図6】基準画像輝度データと、対応点における参照画
像輝度データとの関係を示す図である。
【図7】基準画像の輝度値と、対応点における参照画像
の輝度値との関係を用いて輝度変換テーブルを生成する
ことを説明するための図である。
【図8】(a)は参照画像の中央の所定の領域について
のみ輝度補正を行うことを説明するための図であり、
(b)は参照画像内の9つの小領域についてのに輝度補
正を行うことを説明するための図である。
【図9】評価関数値SADを2次関数を用いて補間してよ
り精度の高い対応点を求めることを説明するための図で
ある。
【図10】距離画像生成装置1で1枚の静止画像につい
て距離画像を生成する処理の一例を示すフローチャート
である。
【図11】(a)は輝度補正を施していないときの基準
画像輝度データと対応点における参照画像輝度データと
の関係を示す図であり、(b)は1回の輝度補正を施し
た後の基準画像輝度データと対応点における参照画像輝
度データとの関係を示す図であり、(c)は2回の輝度
補正を施した後の基準画像輝度データと対応点における
参照画像輝度データとの関係を示す図である。
【図12】(a)はフレーム1について輝度補正アルゴ
リズムを繰り返した後に距離画像を生成することを示す
概念図であり、(b)はフレーム1の距離画像を生成し
た後にフレーム2について輝度補正アルゴリズムを繰り
返した後に距離画像を生成することを示す概念図であ
る。
【図13】図11に示した距離画像生成装置で1枚の静
止画像について距離画像を生成する処理の一例を更に詳
細に説明するためのフローチャートである。
【図14】図11に示した距離画像生成装置で1枚の静
止画像について距離画像を生成する処理の一例を更に詳
細に説明するためのフローチャートである。
【図15】図11に示した距離画像生成装置で1枚の静
止画像について距離画像を生成する処理の一例を更に詳
細に説明するためのフローチャートである。
【図16】例えば基準カメラ又は参照カメラの交換を行
ったとき、各カメラ3,4のレンズの絞りや、ズーム等
の変化等が生じたときに、輝度変換テーブルを生成して
距離画像を生成する処理の一例を示すフローチャートで
ある。
【図17】基準カメラ及び参照カメラで複数のフレーム
からなる動画像を撮像したときに輝度値補正テーブルを
生成して距離画像を生成する処理の一例を示すフローチ
ャートである。
【図18】フレーム1を用いて距離画像を生成するとと
もに輝度変換テーブルを生成し、フレーム1を用いて生
成した輝度変換テーブルでフレーム2の輝度補正を行っ
て距離画像を生成するとともに輝度変換テーブルを生成
することを説明するための概念図である。
【符号の説明】
1 距離画像生成装置、2 撮像対象物、3 基準カメ
ラ、4 参照カメラ、10 距離画像生成回路、14
輝度変換部、15 輝度変換テーブル生成部、16 対
応点演算部、18 距離演算部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 三輪 祥子 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 林 和慶 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 Fターム(参考) 2F065 AA06 EE00 FF01 FF05 JJ03 JJ05 JJ19 JJ26 LL06 LL30 QQ18 QQ24 QQ25 QQ42 RR06 2F112 AC06 BA01 CA02 5B047 AA07 BB04 BC01 DA10 DC20 EA07 EB11 5B057 BA02 BA11 BA28 CC03 CE20 CH11 DB03 DC02

Claims (21)

    【特許請求の範囲】
  1. 【請求項1】 第1の撮像手段で生成した第1の画像
    が、第2の撮像手段で生成した第2の画像に対応する対
    応点を検出する対応点検出手段と、 第1の画像と上記対応点における第2の画像との輝度値
    を用いて上記第1の画像又は第2の画像を補正するとき
    の補正量を示す変換テーブルを生成する変換テーブル生
    成手段と、 上記変換テーブル生成手段で生成された変換テーブルを
    用いて上記第1の画像又は第2の画像の輝度値を補正す
    る輝度値補正手段とを備えることを特徴とする輝度値補
    正回路。
  2. 【請求項2】 上記対応点検出手段は、第2の画像にお
    けるエピポーラライン上に位置する画素と第1の画像と
    を比較して対応点を検出することを特徴とする請求項1
    記載の輝度値補正回路。
  3. 【請求項3】 第2の画像の輝度値と第1の画像の輝度
    値とを比較して輝度値の一致度を示す評価値を生成する
    評価値生成手段を備え、 上記対応点検出手段は、上記評価値生成手段で生成した
    評価値を用いて対応点を検出することを特徴とする請求
    項1記載の輝度値補正回路。
  4. 【請求項4】 上記変換テーブル生成手段は、第1の画
    像又は第2の画像の輝度値の大きさに応じて区分した領
    域毎に代表点を演算し、上記代表点を結ぶように曲線近
    似して得た補正量を示す変換テーブルを生成することを
    特徴とする請求項1記載の輝度値補正回路。
  5. 【請求項5】 上記第1の撮像手段と第2の撮像手段と
    が撮像する第1の画像と第2の画像との輝度関係の変化
    を検出する検出手段を備え、 上記検出手段は、上記第1の画像又は第2の画像の輝度
    関係に変化が生じたことを検出して新たな変換テーブル
    を生成する命令を変換テーブル生成手段に出力すること
    を特徴とする請求項1記載の輝度値補正回路。
  6. 【請求項6】 上記輝度値補正手段は、上記第1の撮像
    手段及び第2の撮像手段からの時系列の第1の画像及び
    第2の画像が入力されたとき、時刻tで撮像した第1の
    画像及び第2の画像を用いて生成された変換テーブルを
    時刻t+1で撮像した第1の画像及び第2の画像の輝度
    補正に用いて、輝度値の補正を行うことを特徴とする請
    求項1記載の輝度値補正回路。
  7. 【請求項7】 変換テーブル生成手段は、時刻tで生成
    した変換テーブルと時刻t+1で生成した変換テーブル
    との変化率を検出して繰り返して変換テーブルを生成す
    ることを判断することを特徴とする請求項1記載の輝度
    値補正回路。
  8. 【請求項8】 上記変換テーブル生成手段は、時刻tに
    おいて第1の画像と対応点における第2の画像との輝度
    値の差分の絶対値の和と、時刻tに生成した変換テーブ
    ルを用いて第1の画像又は第2の画像を補正した後の時
    刻t+1における第1の画像と対応点における第2の画
    像との輝度値の差分の絶対値の和とを比較して繰り返し
    て変換テーブルを生成することを判断することを特徴と
    する請求項1記載の輝度値補正回路。
  9. 【請求項9】 変換テーブル生成手段は、時刻tにおけ
    る輝度値と第2の画像の対応点における輝度値との差分
    の和と、時刻t+1で撮像した第1の画像の輝度値と第
    2の画像の輝度値との差分の和の平均値とを検出して繰
    り返して変換テーブルを生成することを判断することを
    特徴とする請求項1記載の輝度値補正回路。
  10. 【請求項10】 上記対応点検出手段は、第1の画像の
    一画面内の小領域が、第2の画像に対応する対応点を検
    出することを特徴とする請求項1記載の輝度値補正回
    路。
  11. 【請求項11】 第1のカメラで撮像した第1の画像
    が、第2のカメラで撮像した第2の画像に対応する対応
    点を検出し、 第1の画像と上記対応点における第2の画像との輝度値
    を用いて上記画像を補正するときの補正量を示す変換テ
    ーブルを生成し、 上記変換テーブルを用いて上記第1又は第2の画像の輝
    度値を補正することを特徴とする輝度値補正方法。
  12. 【請求項12】 第2の画像におけるエピポーラライン
    上に位置する画素と第1の画像とを比較して対応点を検
    出することを特徴とする請求項11記載の輝度値補正方
    法。
  13. 【請求項13】 上記対応点における第2の画像の輝度
    値と第1の画像の輝度値とを比較して輝度値の一致度を
    示す評価値を生成し、 上記評価値を用いて対応点を検出することを特徴とする
    請求項11記載の輝度値補正方法。
  14. 【請求項14】 上記第1の画像又は第2の画像の輝度
    値の大きさに応じて区分した領域毎に代表点を演算し、 上記代表点を結ぶように曲線近似して得た補正量を変換
    テーブルとして生成することを特徴とする請求項11記
    載の輝度値補正方法。
  15. 【請求項15】 上記第1のカメラと第2のカメラとが
    撮像した第1の画像と第2の画像との輝度関係の変化を
    検出し、 上記第1の画像又は第2の画像の輝度関係に変化が生じ
    たことを検出して新たな変換テーブルを生成することを
    特徴とする請求項11記載の輝度値補正方法。
  16. 【請求項16】 上記第1のカメラび第2のカメラから
    の時系列の第1の画像及び第2の画像を撮像し、 時刻tで撮像した第1の画像及び第2の画像を用いて生
    成された変換テーブルを、時刻t+1で撮像した第1の
    画像及び第2の画像の輝度補正に用いて輝度値の補正を
    行うことを特徴とする請求項11記載の輝度値補正方
    法。
  17. 【請求項17】 時刻tで生成した変換テーブルと時刻
    t+1で生成した変換テーブルとの変化率を検出して繰
    り返して変換テーブルを生成することを判断することを
    特徴とする請求項11記載の輝度値補正方法。
  18. 【請求項18】 時刻tにおいて第1の画像と対応点に
    おける第2の画像との輝度値の差分の絶対値の和と、時
    刻tに生成した変換テーブルを用いて第1の画像又は第
    2の画像を補正した後の時刻t+1における第1の画像
    と対応点における第2の画像との輝度値の差分の絶対値
    の和とを比較して繰り返して変換テーブルを生成するこ
    とを判断することを特徴とする請求項11記載の輝度値
    補正方法。
  19. 【請求項19】 時刻tにおける第1の画像の輝度値と
    第2の画像の対応点における輝度値との差分の和と、時
    刻t+1で撮像した第1の画像の輝度値と第2の画像の
    輝度値との差分の和の平均値とを検出して繰り返して変
    換テーブルを生成することを判断することを特徴とする
    請求項11記載の輝度値補正方法。
  20. 【請求項20】 第1の画像に対応する対応点を第2の
    画像から検出するとき、第1の画像の一画面内の小領域
    が、第2の画像に対応する対応点を検出することを特徴
    とする請求項11記載の輝度値補正方法。
  21. 【請求項21】 複数の撮像手段と、 第1の撮像手段で生成した第1の画像が、第2の撮像手
    段で生成した第2の画像上において対応する対応点を検
    出する対応点検出手段と、 上記対応点検出手段で検出した上記対応点における第2
    の画像の輝度値と第1の画像の輝度値とを比較して輝度
    値の一致度を示す評価値を生成する評価値生成手段と、 上記評価値生成手段で生成した評価値を用いて上記第1
    の画像又は第2の画像を補正するときの補正量を示す変
    換テーブルを生成する変換テーブル生成手段と、 上記変換テーブル生成手段で生成された変換テーブルを
    用いて上記第1又は第2の画像の輝度値を補正する輝度
    値補正手段と、 上記輝度値補正手段で補正された第1の画像又は第2の
    画像と、第2の画像又は第1の画像上において対応する
    対応点を検出して上記第1の撮像手段と撮像対象物との
    距離を示す距離情報を生成する距離画像生成手段とを備
    えることを特徴とする距離画像生成装置。
JP10168640A 1998-06-16 1998-06-16 輝度値補正回路及び方法並びに距離画像生成装置 Withdrawn JP2000003448A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10168640A JP2000003448A (ja) 1998-06-16 1998-06-16 輝度値補正回路及び方法並びに距離画像生成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10168640A JP2000003448A (ja) 1998-06-16 1998-06-16 輝度値補正回路及び方法並びに距離画像生成装置

Publications (1)

Publication Number Publication Date
JP2000003448A true JP2000003448A (ja) 2000-01-07

Family

ID=15871794

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10168640A Withdrawn JP2000003448A (ja) 1998-06-16 1998-06-16 輝度値補正回路及び方法並びに距離画像生成装置

Country Status (1)

Country Link
JP (1) JP2000003448A (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003004442A (ja) * 2001-06-20 2003-01-08 Fujitsu Ten Ltd 測距装置
JP2006177937A (ja) * 2004-11-26 2006-07-06 Denso It Laboratory Inc 距離計測装置及び距離計測方法
JP2007052665A (ja) * 2005-08-18 2007-03-01 Kyushu Institute Of Technology 固有空間を用いた動体の動作判別方法
US7269281B2 (en) 2003-03-19 2007-09-11 Minolta Co., Ltd. Method for measuring object based on image and photographing apparatus
JP2009069114A (ja) * 2007-09-18 2009-04-02 Chuo Electronics Co Ltd ステレオ画像調整方法、ステレオ画像調整システム、及びステレオ画像調整プログラム
US7567688B2 (en) 2004-11-30 2009-07-28 Honda Motor Co., Ltd. Apparatus for and method of extracting image
US7590263B2 (en) 2004-11-30 2009-09-15 Honda Motor Co., Ltd. Vehicle vicinity monitoring apparatus
US7599521B2 (en) 2004-11-30 2009-10-06 Honda Motor Co., Ltd. Vehicle vicinity monitoring apparatus
US7616806B2 (en) 2004-11-30 2009-11-10 Honda Motor Co., Ltd. Position detecting apparatus and method of correcting data therein
US7620237B2 (en) 2004-11-30 2009-11-17 Honda Motor Co., Ltd. Position detecting apparatus and method of correcting data therein
JP2010223965A (ja) * 2010-04-30 2010-10-07 Chuo Electronics Co Ltd ステレオ画像調整方法、ステレオ画像調整システム、及びステレオ画像調整プログラム
WO2014103094A1 (ja) * 2012-12-27 2014-07-03 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理システム、および情報処理方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003004442A (ja) * 2001-06-20 2003-01-08 Fujitsu Ten Ltd 測距装置
US7269281B2 (en) 2003-03-19 2007-09-11 Minolta Co., Ltd. Method for measuring object based on image and photographing apparatus
JP2006177937A (ja) * 2004-11-26 2006-07-06 Denso It Laboratory Inc 距離計測装置及び距離計測方法
US7620237B2 (en) 2004-11-30 2009-11-17 Honda Motor Co., Ltd. Position detecting apparatus and method of correcting data therein
US7567688B2 (en) 2004-11-30 2009-07-28 Honda Motor Co., Ltd. Apparatus for and method of extracting image
US7590263B2 (en) 2004-11-30 2009-09-15 Honda Motor Co., Ltd. Vehicle vicinity monitoring apparatus
US7599521B2 (en) 2004-11-30 2009-10-06 Honda Motor Co., Ltd. Vehicle vicinity monitoring apparatus
US7616806B2 (en) 2004-11-30 2009-11-10 Honda Motor Co., Ltd. Position detecting apparatus and method of correcting data therein
JP2007052665A (ja) * 2005-08-18 2007-03-01 Kyushu Institute Of Technology 固有空間を用いた動体の動作判別方法
JP2009069114A (ja) * 2007-09-18 2009-04-02 Chuo Electronics Co Ltd ステレオ画像調整方法、ステレオ画像調整システム、及びステレオ画像調整プログラム
JP2010223965A (ja) * 2010-04-30 2010-10-07 Chuo Electronics Co Ltd ステレオ画像調整方法、ステレオ画像調整システム、及びステレオ画像調整プログラム
WO2014103094A1 (ja) * 2012-12-27 2014-07-03 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
JP2014127151A (ja) * 2012-12-27 2014-07-07 Sony Computer Entertainment Inc 情報処理装置、情報処理システム、および情報処理方法
CN104885125A (zh) * 2012-12-27 2015-09-02 索尼电脑娱乐公司 信息处理设备、信息处理系统和信息处理方法
US9619868B2 (en) 2012-12-27 2017-04-11 Sony Corporation Information processing device, information processing system, and information processing method
CN104885125B (zh) * 2012-12-27 2017-05-31 索尼电脑娱乐公司 信息处理设备、信息处理系统和信息处理方法

Similar Documents

Publication Publication Date Title
EP0684585B1 (en) Image forming method and apparatus
US8031232B2 (en) Image pickup apparatus including a first image formation system and a second image formation system, method for capturing image, and method for designing image pickup apparatus
EP2096603B1 (en) Image processing apparatus, method, and program
JPH08116490A (ja) 画像処理装置
JPH05260264A (ja) 画像処理装置
JP2000003448A (ja) 輝度値補正回路及び方法並びに距離画像生成装置
JPWO2018220711A1 (ja) 画像処理装置
JP2005352720A (ja) 撮像装置および画像の高解像度化方法
JP2004032244A (ja) ステレオ画像処理装置およびステレオ画像処理方法
JP2001177716A (ja) 画像処理方法と画像処理装置
JP2009168536A (ja) 3次元形状測定装置および方法、3次元形状再生装置および方法並びにプログラム
JPH08205181A (ja) 色収差補正回路および色収差補正機能付き撮像装置
JP4779491B2 (ja) 複数画像合成方法及び撮像装置
JP2017103695A (ja) 画像処理装置、画像処理方法、及びそのプログラム
JPH10262176A (ja) 映像形成方法
JP5071865B2 (ja) 距離測定装置および方法並びにプログラム
JPH0522647A (ja) 画像処理装置
US20030086589A1 (en) Image processing apparatus, image processing method and transmission medium
US5488428A (en) Video special effect generating apparatus
JP2693515B2 (ja) 画像動き検出装置
JP4654817B2 (ja) 複数画像合成方法及び複数画像合成装置
JP2000074665A (ja) 距離画像生成装置及び方法
JP2019192048A (ja) 撮像装置
JPH11120359A (ja) 画像処理装置および方法、並びに伝送媒体
JP6973570B1 (ja) 画像処理装置、画像処理プログラム、及び画像処理方法

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20050906