JP2000207555A - 車両用距離検出装置 - Google Patents

車両用距離検出装置

Info

Publication number
JP2000207555A
JP2000207555A JP11006879A JP687999A JP2000207555A JP 2000207555 A JP2000207555 A JP 2000207555A JP 11006879 A JP11006879 A JP 11006879A JP 687999 A JP687999 A JP 687999A JP 2000207555 A JP2000207555 A JP 2000207555A
Authority
JP
Japan
Prior art keywords
luminance
distance information
distance
image
histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11006879A
Other languages
English (en)
Other versions
JP4187853B2 (ja
Inventor
Keiji Hanawa
圭二 塙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Heavy Industries Ltd filed Critical Fuji Heavy Industries Ltd
Priority to JP00687999A priority Critical patent/JP4187853B2/ja
Publication of JP2000207555A publication Critical patent/JP2000207555A/ja
Application granted granted Critical
Publication of JP4187853B2 publication Critical patent/JP4187853B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 広範な状況で最適な画像処理を可能として常
に適切な距離情報を得る。 【解決手段】 認識処理用CPU29で元画像のデータ
から輝度のヒストグラムと水平方向の輝度変化量のヒス
トグラムとを作成する。輝度のヒストグラムからはデー
タ数が距離データがあると思われる領域の存在する割合
になる輝度値を算出し、この輝度値を用いて電子スイッ
チ回路17,18を切り換えてLOG補正をON,OF
Fする。輝度変化量のヒストグラムからはデータ数の割
合が距離を算出するのに適正な輝度差以上である割合に
なる輝度変化量を算出し、VRAM21のデータが距離
情報を算出する上で有効かを判定する閾値として輝度変
化有効判定回路25に転送し、輝度変化有効判定回路2
5の判定結果により距離情報有効判定回路26で距離情
報の有効性を判定する。これにより、雪道等のコントラ
ストの小さい状況においても適切な画像処理を行うこと
ができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ステレオカメラで
撮像した一対の撮像画像を処理して距離情報を算出する
車両用距離検出装置に関する。
【0002】
【従来の技術】一般に、画像による3次元計測技術とし
て、2台のカメラからなるステレオカメラで対象物を異
なる位置から撮像した1対の画像の相関を求め、同一物
体に対する視差からステレオカメラの取り付け位置や焦
点距離等のカメラパラメータを用いて三角測量の原理に
より距離を求める、いわゆるステレオ法による画像処理
が知られている。
【0003】このステレオ法による画像処理としては、
本出願人は、先に、特開平5−114099号公報にお
いて、車両に搭載したステレオカメラで撮像した画像を
処理して車外の対象物の3次元位置を測定する技術を提
案している。
【0004】
【発明が解決しようとする課題】ところで、ステレオ法
で2つの画像の一致度を評価して距離を検出する場合、
所定の輝度差が必要である。このため、車両の外界のよ
うに照度変化の大きい対象を撮像する場合には、撮像画
面の低輝度部分のコントラストを改善するために撮像画
像を対数変換(LOG補正)する場合が多く、さらに、
距離情報が2つの画像で所定の輝度差を有する領域の一
致度を評価して算出されたものであるか否かをチェック
する必要がある。
【0005】しかしながら、従来では、車両の外界は照
度変化が大きいという前提の元に一律にLOG補正をか
けているため、雪道等のようにコントラストの小さい状
況には対応しておらず、また、一律の判定基準で距離情
報の有効性をチェックしているため、コントラストの小
さい状況では算出された距離情報が無効と判定されてし
まっていた。
【0006】本発明は上記事情に鑑みてなされたもの
で、広範な状況で最適な画像処理を可能として常に適切
な距離情報を得ることのできる車両用距離検出装置を提
供することを目的としている。
【0007】
【課題を解決するための手段】請求項1記載の発明は、
車両に搭載したステレオカメラで撮像した一対の撮像画
像を処理して距離情報を算出する車両用距離検出装置に
おいて、上記距離情報を算出する際に基準とする元画像
の輝度分布を求め、この輝度分布に応じて上記撮像画像
を対数変換するか否かを制御する手段と、上記基準とす
る元画像の水平方向の輝度変化量の分布を求め、この輝
度変化量の分布に応じて上記距離情報の有効性を判定す
る際の閾値を決定する手段とを備えたことを特徴とす
る。
【0008】請求項2記載の発明は、請求項1記載の発
明において、上記輝度分布に応じて上記撮像画像の処理
系統における対数変換回路の接続を切り換えることを特
徴とする。
【0009】すなわち、本発明では、距離情報を算出す
る際の基準とする元画像の輝度分布及び水平方向の輝度
変化量の分布を求め、輝度分布に応じて撮像画像の対数
変換するか否かを制御する。そして、撮像画像を処理し
て算出した距離情報に対し、輝度変化量の分布に応じて
決定した閾値に基づいて有効性を判定する。この場合、
撮像画像を対数変換するか否かは、撮像画像の処理系統
における対数変換回路の接続を切り換え、対数変換回路
を処理系統に接続するか切り離すかによって制御するこ
とができる。
【0010】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図1〜図3は本発明の実施の一形
態に係わり、図1は3次元画像認識システムの構成図、
図2は輝度ヒストグラムを示す説明図、図3は輝度変化
量のヒストグラムを示す説明図である。
【0011】図1において、符号1は、自動車等の車両
に搭載される2台のCCDカメラ2,3からなるカメラ
アセンブリであり、このカメラアセンブリ1に、撮像画
像を処理して車外の対象までの距離を求め、求めた距離
の情報に基づいて道路形状の認識や立体物の認識等を行
なうステレオ画像処理ユニット10が接続され、距離検
出装置を含む3次元画像認識システムが構成される。
【0012】上記カメラアセンブリ1を構成する各CC
Dカメラ2,3は、互いに、同期が取れ、且つ、シャッ
タースピード可変のカメラであり、一方のCCDカメラ
2をステレオ画像処理の際の基準画像を撮像するメイン
カメラ、他方のCCDカメラ3をステレオ画像処理の際
の比較画像を撮像するサブカメラとして、所定の基線長
で互いの撮像面垂直軸が平行となるよう配置されてステ
レオカメラを構成している。
【0013】一方、ステレオ画像処理ユニット10は、
各CCDカメラ2,3からの2系統の画像信号を処理す
るため、各系統毎に、アナログ撮像信号を増幅して後段
の入力レンジに合わせるためのゲインコントロールアン
プ等を有するアナログI/F11,12に、アナログ画
像データをデジタル画像データに変換するA/Dコンバ
ータ13,14が接続され、さらに、各A/Dコンバー
タ13,14に、CCDカメラ2,3の特性の相違を補
正するためのルックアップテーブル(LUT)15,1
6が接続されている。
【0014】各LUT15,16の出力は、後述する認
識処理用CPU29によって制御される電子スイッチ回
路17,18によって切り換えられるようになってお
り、各LUT15,16の出力が画像の明暗部に対して
対数変換を行って低輝度部分のコントラストを改善する
ためのLOG補正回路19,20を経て、あるいはLO
G補正回路19,20を経ずに、一旦、ビデオRAM
(VRAM)21,22にストアされるようになってい
る。
【0015】各CCDカメラ2,3の撮像信号を処理し
て各VRAM21,22にストアされた基準画像データ
及び比較画像データは、絶対値演算器と加算器とをピラ
ミッド状に接続したパイプライン構造のシティブロック
距離計算回路23に読み込まれ、さらに、最小値・画素
ズレ検出回路24を通って2枚の画像の小領域(例えば
4×4画素の小領域)毎に、2つの画像の一致度を評価
するステレオマッチングが行われる。
【0016】すなわち、シティブロック距離計算回路2
3で、基準画像の一つの小領域に対し、対応する比較画
像の小領域との間のシティブロック距離を計算する処理
を水平方向に1画素ずつすらしながら所定画素分ずれる
まで繰り返し、最小値・画素ズレ検出回路24で、シテ
ィブロック距離の最小値及び最大値等を評価してシティ
ブロック距離の最小値が本当に2つの画像の小領域の一
致を示しているものかどうかをチェックする。そして、
チェック条件を満足する場合、シティブロック距離が最
小になる画素ズレ量を基準画像の小領域に対応する距離
情報として出力する。
【0017】尚、以上のステレオマッチング処理につい
ては、本出願人による特開平5−114099号公報に
詳述されている。
【0018】さらに、上記最小値検出・画素ズレ検出回
路24の後段には、輝度変化有効判定回路25の判定結
果に基づいて距離情報(画素ズレ量)の有効性を判定す
る距離情報有効判定回路26が接続され、この距離情報
有効判定回路26で有効と判断された距離情報が距離画
像メモリ27にストアされる。
【0019】上記距離画像メモリ27にストアされた距
離情報は、元画像メモリ28にストアされた元画像デー
タ(シティブロック距離を算出する元となる画像デー
タ)とともに認識処理用CPU29に読み込まれて走行
環境を認識する処理が行われ、図示しない制御装置に認
識結果を出力する。これにより、例えば、前方の車両や
障害物を検知し、それらに衝突する危険度を判定して運
転者に警報を発したり、自動的にブレーキを作動させて
停止させる、あるいは、先行車との車間距離を安全に保
つよう自動的に走行速度を増減する等の制御が行われ
る。
【0020】以上の3次元画像認識システムにおける画
像処理では、距離情報を算出する際の画像処理パラメー
タが状況に応じて最適に制御される。すなわち、CCD
カメラ2,3で撮像する車外の対象は、明るい部分から
暗い部分まで様々であるが、2つの画像の一致度を評価
し、距離を検出するためには所定の輝度差が必要であ
る。
【0021】このため、CCDカメラ2,3からの撮像
信号を、それぞれ、アナログI/F11,12でゲイン
調整を行ってA/Dコンバータ13,14で所定の輝度
階調のデジタル画像データに変換し、LUT15,16
でカメラ特性の相違を補正した後、雪道等のコントラス
トの小さい状況ではLOG補正を行う一方、コントラス
トが強い状況ではLOG補正をバイパスし、さらに、シ
ティブロック距離計算回路23から最小値・画素ズレ検
出回路24を経て出力される距離情報(画素ズレ量)が
有効か否かを画像の水平方向の輝度変化量によってチェ
ックするようにしている。
【0022】このLOG補正の実施及び距離情報の有効
性を判定するため、認識処理用CPU29では、元画像
メモリ28にアクセスして元画像のデータから輝度のヒ
ストグラムと水平方向の輝度変化量のヒストグラムとの
2種類のヒストグラムを作成する。図2は、元画像の輝
度階調を8ビットデータとした場合の輝度ヒストグラム
を概念的に示すものであり、同様に、図3は元画像の水
平方向の輝度変化量、すなわち、元画像の輝度cを水平
方向(x方向)に差分した値の絶対値(dc/dx値)
のヒストグラムを概念的に示すものである。
【0023】そして、輝度ヒストグラムにおいて、図2
の斜線で示すように、データ数の割合が輝度の低い方向
から探索したとき所定の割合(例えば15%)になる輝
度値P1を算出する。この輝度値P1となる割合は、あ
る程度明るく距離データがあると思われる領域の存在す
る割合であり、算出された輝度値P1を用いてLOG補
正のON,OFFを行う。
【0024】すなわち、LOG補正がOFFの状態で輝
度値P1が第1の設定値(例えば32)以下のときに
は、暗い部分のデータが多く存在するため、認識処理用
CPUから各電子スイッチ回路17,18に制御信号を
出力し、各LUT15,16の出力をLOG補正回路1
9,20に入力するよう各電子スイッチ回路17,18
を切り換えてLOG補正をONにし、CCDカメラ2,
3からの画像をステレオマッチングに適した画像とす
る。
【0025】一方、LOG補正がONの状態で輝度値P
1が第2の設定値(例えばP1=96)以下のときに
は、LOG補正をかけているにも拘わらず暗い部分のデ
ータが少ないため、認識処理用CPU29から各電子ス
イッチ回路17,18に制御信号を出力してLOG補正
回路19,20をバイパスさせてLOG補正をOFFに
し、暗い部分に含まれるノイズの増幅を防止する。
【0026】また、輝度変化量のヒストグラムにおいて
は、図3の斜線で示すように、データ数の割合が距離を
算出するのに適正な輝度差以上である割合(例えば30
%)になるdc/dx値P3を算出し、輝度変化有効判
定の閾値とする。算出されたdc/dx値P3は、認識
処理用CPU29から輝度変化有効判定回路25に転送
され、輝度変化有効判定回路25における判定用閾値と
して更新される。
【0027】輝度変化有効判定回路25では、VRAM
21の画像データの水平方向の輝度輝度変化量が認識処
理用CPU29から転送されたdc/dx値P3を越え
ているか否かを調べ、dc/dx値P3を越えていると
きには有効、越えていないときには無効の判定結果を距
離情報有効判定回路26に出力する。
【0028】距離情報有効判定回路26では、輝度変化
有効判定回路25による判定結果が有効のときには、シ
ティブロック距離計算回路23から最小値検出・画素ズ
レ検出回路24を経て出力される画素ズレ量は、2つの
画像において所定の輝度差を有する領域間の一致度を正
しく評価した結果であり、距離情報として有効と判定す
る。
【0029】一方、輝度変化有効判定回路25による判
定結果が無効のときには、水平方向に輝度差の少ない領
域でのステレオマッチングによって2つの画像の一致度
を評価しており、信頼性に欠けるため、最小値検出・画
素ズレ検出回路24から出力される画素ズレ量は、距離
情報として無効であると判定する。
【0030】これにより、雪道等を走行するような状況
においても、適切なステレオ画像処理を行うことがで
き、認識信頼性を向上することができる。
【0031】
【発明の効果】以上説明したように本発明によれば、広
範な状況で最適な画像処理を可能として常に適切な距離
情報を得ることができ、この距離情報を用いた認識処理
の信頼性を向上することができる等優れた効果が得られ
る。
【図面の簡単な説明】
【図1】3次元画像認識システムの構成図
【図2】輝度ヒストグラムを示す説明図
【図3】輝度変化量のヒストグラムを示す説明図
【符号の説明】
2,3…カメラ 10…ステレオ画像処理ユニット 19,20…LOG補正回路 25…輝度変化有効判定回路 26…距離情報有効判定回路 29…認識処理用CPU

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 車両に搭載したステレオカメラで撮像し
    た一対の撮像画像を処理して距離情報を算出する車両用
    距離検出装置において、 上記距離情報を算出する際に基準とする元画像の輝度分
    布を求め、この輝度分布に応じて上記撮像画像を対数変
    換するか否かを制御する手段と、 上記基準とする元画像の水平方向の輝度変化量の分布を
    求め、この輝度変化量の分布に応じて上記距離情報の有
    効性を判定する際の閾値を決定する手段とを備えたこと
    を特徴とする車両用距離検出装置。
  2. 【請求項2】 上記輝度分布に応じて上記撮像画像の処
    理系統における対数変換回路の接続を切り換えることを
    特徴とする請求項1記載の車両用距離検出装置。
JP00687999A 1999-01-13 1999-01-13 車両用距離検出装置 Expired - Lifetime JP4187853B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP00687999A JP4187853B2 (ja) 1999-01-13 1999-01-13 車両用距離検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP00687999A JP4187853B2 (ja) 1999-01-13 1999-01-13 車両用距離検出装置

Publications (2)

Publication Number Publication Date
JP2000207555A true JP2000207555A (ja) 2000-07-28
JP4187853B2 JP4187853B2 (ja) 2008-11-26

Family

ID=11650522

Family Applications (1)

Application Number Title Priority Date Filing Date
JP00687999A Expired - Lifetime JP4187853B2 (ja) 1999-01-13 1999-01-13 車両用距離検出装置

Country Status (1)

Country Link
JP (1) JP4187853B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7092015B1 (en) 1999-09-22 2006-08-15 Fuji Jukogyo Kabushiki Kaisha Apparatus and method for stereo matching and method of calculating an infinite distance corresponding point
JP2006254104A (ja) * 2005-03-10 2006-09-21 Toshiba Corp 画像処理装置、画像処理方法及び画像処理プログラム。
CN112393703A (zh) * 2020-11-12 2021-02-23 成都九壹通智能科技股份有限公司 一种测距传感器的数据处理方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6997149B1 (en) * 2005-03-30 2006-02-14 Gm Global Technology Operations, Inc. Spark timing control and method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7092015B1 (en) 1999-09-22 2006-08-15 Fuji Jukogyo Kabushiki Kaisha Apparatus and method for stereo matching and method of calculating an infinite distance corresponding point
JP2006254104A (ja) * 2005-03-10 2006-09-21 Toshiba Corp 画像処理装置、画像処理方法及び画像処理プログラム。
CN112393703A (zh) * 2020-11-12 2021-02-23 成都九壹通智能科技股份有限公司 一种测距传感器的数据处理方法

Also Published As

Publication number Publication date
JP4187853B2 (ja) 2008-11-26

Similar Documents

Publication Publication Date Title
JP7140580B2 (ja) ステレオ撮像装置
US6987534B1 (en) Brightness adjusting apparatus for stereoscopic camera
US7889274B2 (en) Image input apparatus
JP3255360B2 (ja) 距離データの検査方法およびその検査装置
JP2001082955A (ja) ステレオ画像の位置ずれ調整装置
JP3287465B2 (ja) ステレオ画像処理装置
JP2011009863A (ja) 車両用撮像装置の露光制御装置及び露出制御方法
US20190095761A1 (en) Vicinity supervising device and method for supervising vicinity of vehicle
JPH09282452A (ja) 監視装置
JP5246254B2 (ja) 車載カメラの露出制御値の決定方法
TWI712318B (zh) 一種用於減少描述場景之視頻圖像流中的強度變化之方法
JP4668863B2 (ja) 撮像装置
JP4619981B2 (ja) 画像認識装置
JP2000207555A (ja) 車両用距離検出装置
JP3272696B2 (ja) フェールセーフ機能を有する車外監視装置
JP3272694B2 (ja) フェールセーフ機能を有する車外監視装置
JP2003158751A (ja) ステレオカメラの調整装置
JP4539400B2 (ja) ステレオカメラの補正方法、ステレオカメラ補正装置
JP4797441B2 (ja) 車両用画像処理装置
JP4547213B2 (ja) 物体検出装置および方法
JP4316710B2 (ja) 車外監視装置
JP3452076B2 (ja) 車輌用距離検出装置
JP4435525B2 (ja) ステレオ画像処理装置
JP2004054586A (ja) 画像処理装置および画像処理方法
JP2024078337A (ja) 認識結果とフリッカー対象有無に応じた露光時間制御

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080902

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080910

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110919

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120919

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130919

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term