JP2003109014A - 移動速さ指標検出装置及び方法 - Google Patents

移動速さ指標検出装置及び方法

Info

Publication number
JP2003109014A
JP2003109014A JP2001303585A JP2001303585A JP2003109014A JP 2003109014 A JP2003109014 A JP 2003109014A JP 2001303585 A JP2001303585 A JP 2001303585A JP 2001303585 A JP2001303585 A JP 2001303585A JP 2003109014 A JP2003109014 A JP 2003109014A
Authority
JP
Japan
Prior art keywords
image pickup
image
edge
speed index
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2001303585A
Other languages
English (en)
Inventor
Kiyoshi Akutagawa
清 芥川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2001303585A priority Critical patent/JP2003109014A/ja
Publication of JP2003109014A publication Critical patent/JP2003109014A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 自車両の周囲に存在する移動物体を高精度に
検出する。 【解決手段】 同一の撮像範囲とされ、速さ指標の検出
対象となる周辺移動物体を含む撮像画像を生成する第1
カメラ4及び第2カメラ5と、第1カメラ4の撮像時間
と第2カメラ5の撮像時間とを異とし、第1カメラ4の
撮像時間が、第2カメラ5の撮像時間を含むように撮像
時間を制御する露光制御部6と、第1カメラ4及び第2
カメラ5で撮像された撮像画像を記憶する画像記憶部1
1と、記憶された各撮像画像にエッジ検出処理をしてエ
ッジを検出し、検出したエッジのエッジ強度を検出する
エッジ強度検出部12と、第1カメラ4で撮像された撮
像画像に含まれるエッジのエッジ強度と、第2カメラ5
で撮像された撮像画像に含まれるエッジ強度とを比較し
てエッジ強度比を算出するエッジ強度比算出部13とを
備え、エッジ強度比算出部13で算出されたエッジ強度
比を周辺移動物体の速さ指標として検出する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、車両に搭載された
カメラ装置で撮像した自車両周辺の撮像画像から移動物
体を検出して車両運転者に提示するシステムに用いられ
る移動速さ指標検出装置及び方法に関する。
【0002】
【従来の技術】従来より、車両に搭載された車載カメラ
により撮像した撮像画像に画像処理をして自車両周辺の
車両や人などの移動物体を検出して、車両運転者から視
認可能な表示機構で表示したり、警報する車両周辺提示
システムが開発されている。このような車両周辺提示シ
ステムでは、車両周囲の移動物体を正確に検出し、且つ
リアルタイム性の観点から短時間で検出することが要求
される。
【0003】撮像画像から被写体の動きを求める従来手
法としては、例えば特開平6−282655号公報に開
示された移動体認識装置で行っている技術が知られてい
る。この移動体認識装置では、CCD(Charge Coupled
Device)カメラからの撮像画像をフレームメモリに順
次格納し、格納した複数の撮像画像からオプティカルフ
ローを算出し、車速センサ及びヨーレートセンサにより
推定した自車両の運動方向に基づいてオプティカルフロ
ーを補正し、補正したオプティカルフローを参照して移
動物体を抽出して、自車両と移動物体との相対速度を演
算していた。
【0004】このオプティカルフロー算出手法として
は、濃度勾配法と相関法との2種類が知られている。車
両周囲の移動物体検出等のリアルタイム性が要求される
場合には、通常、計算時間を短くするために相関法が使
用されることが多い。
【0005】この相関法は、時間間隔ΔTで連続的に撮
像した撮像画像を用い、ある時刻tの撮像画像に含まれ
る画素ブロックと、時刻t+ΔTの撮像画像に含まれる
画素ブロックとの相関を検出して、移動ベクトルを求め
る手法である。
【0006】具体的には、時刻tの撮像画像を小領域の
画素ブロックに分割し、時刻t+ΔTの撮像画像から時
刻tの撮像画像に含まれる画素ブロックに対応する画素
ブロックを検出するために、時刻tの撮像画像に含まれ
る画素ブロック位置に対応した時刻t+ΔTの撮像画像
上の周辺に探索範囲を設定する。そして、時刻t+ΔT
の撮像画像に設定された探索範囲内で時刻tの撮像画像
の画素ブロックとの相関を計算し、相関が最も高い画素
ブロックを求め、2つの撮像画像間の対応位置から移動
ベクトルを求める。
【0007】
【発明が解決しようとする課題】しかしながら、前記従
来のオプティカルフローの算出手法では、撮像画像を小
領域に分割し、時間的に前後する撮像画像間に類似パタ
ーンが存在するときには相関が高いとするために、探索
範囲に複数の類似パターンが存在するときには、誤った
移動ベクトルを検出してしまう可能性が高くなる。
【0008】例えば車載カメラで撮像した撮像画像を用
いて相関法によりオプティカルフローを算出したときに
は、道路周辺の網の目状の柵や、格子状のブロック塀、
横断歩道やゼブラゾーンの路面表示、周辺車両の表面の
模様や凹凸等、類似パターンが広範囲に撮像画像に含ま
れると、誤った移動ベクトルを算出する可能性が高くな
ってしまう。
【0009】そこで、本発明は、上述した実情に鑑みて
提案されたものであり、自車両の周囲に存在する移動物
体を高精度に検出することができる移動速さ指標検出装
置及び方法を提供するものである。
【0010】
【課題を解決するための手段】請求項1に係る発明で
は、上述の課題を解決するために、同一の撮像範囲とさ
れ、速さ指標の検出対象となる周辺移動物体を含む撮像
画像を生成する複数の撮像手段と、上記一の撮像手段の
撮像時間と他の上記撮像手段の撮像時間とを異とし、上
記一の撮像手段の撮像時間が、他の上記撮像手段の撮像
時間を含むように各撮像手段の撮像時間を制御する撮像
時間制御手段と、上記各撮像手段で撮像された各撮像画
像に画像処理をし、各撮像画像についての画像処理結果
に基づいて上記周辺移動物体の速さ指標を検出する速さ
指標検出手段とを備えることを特徴とする。
【0011】請求項2に係る発明では、請求項1に係る
発明であって、上記速さ指標検出手段は、上記各撮像手
段で撮像された撮像画像を上記各撮像手段ごとに記憶す
る画像記憶手段と、上記画像記憶手段に記憶された各撮
像画像にエッジ検出処理をしてエッジを検出し、検出し
たエッジのエッジ強度を検出するエッジ強度検出手段
と、上記エッジ強度検出手段で検出され上記一の撮像手
段で撮像された撮像画像に含まれるエッジのエッジ強度
と、上記他の撮像手段で撮像された撮像画像に含まれる
エッジのエッジ強度とを比較してエッジ強度比を算出す
るエッジ強度比算出手段とを備え、上記エッジ強度比算
出手段で算出されたエッジ強度比を上記周辺移動物体の
速さ指標として検出することを特徴とする。
【0012】請求項3に係る発明では、請求項1又は請
求項2に係る発明であって、上記撮像時間制御手段で制
御される各撮像手段ごとの撮像時間に基づいて、上記各
撮像手段の撮像時間内における入射光量を同じとするよ
うに各撮像手段への入射光量を調整する光量調整手段を
更に備えることを特徴とする。
【0013】請求項4に係る発明では、請求項3に係る
発明であって、上記光量調整手段は、光透過機構を備
え、この光透過機構の光透過率を調整して上記各撮像手
段の入射光量を同じとすることを特徴とする。
【0014】請求項5に係る発明では、上述の課題を解
決するために、一の撮像手段の撮像時間と他の撮像手段
の撮像時間とを異とし、上記一の撮像手段の撮像時間
が、上記他の撮像手段の撮像時間を含むように上記各撮
像手段の撮像時間を制御し、複数の撮像手段により同一
の撮像範囲で撮像され、速さ指標の検出対象となる周辺
移動物体を含む複数の撮像画像を入力し、上記各撮像画
像に画像処理をし、各撮像画像についての画像処理結果
に基づいて上記周辺移動物体の速さ指標を検出すること
を特徴とする。
【0015】請求項6に係る発明では、請求項5に係る
発明であって、上記各撮像手段で撮像された撮像画像を
上記各撮像手段ごとに記憶し、記憶した各撮像画像にエ
ッジ検出処理をしてエッジを検出し、検出したエッジの
エッジ強度を検出し、上記一の撮像手段で撮像された撮
像画像に含まれるエッジのエッジ強度と、上記他の撮像
手段で撮像された撮像画像に含まれるエッジのエッジ強
度とを比較してエッジ強度比を算出して、算出したエッ
ジ強度比を上記周辺移動物体の速さ指標として検出する
ことを特徴とする。
【0016】請求項7に係る発明では、請求項5又は請
求項6に係る発明であって、上記各撮像手段ごとの撮像
時間に基づいて、上記各撮像手段の撮像時間内における
入射光量を同じとするように各撮像手段への入射光量を
調整することを特徴とする。
【0017】請求項8に係る発明であって、請求項7に
係る発明であって、光透過機構の光透過率を調整して上
記各撮像手段の入射光量を同じとすることを特徴とす
る。
【0018】
【発明の効果】請求項1に係る発明によれば、撮像時間
制御手段により、一の撮像手段の撮像時間と他の撮像手
段の撮像時間とを異とし、一の撮像手段の撮像時間が、
他の撮像手段の撮像時間を含むように各撮像手段の撮像
時間を制御し、速さ指標検出手段により、各撮像手段で
撮像された各撮像画像に画像処理をするので、露光時間
差が各撮像画像の画像処理結果に影響することを利用し
て、各撮像画像についての画像処理結果に基づいて周辺
移動物体の速さ指標を検出して、自車両の周囲に存在す
る移動物体を高精度に検出することができる。
【0019】請求項2に係る発明によれば、各撮像手段
で撮像された撮像画像を各撮像手段ごとに記憶する画像
記憶手段と、画像記憶手段に記憶された各撮像画像にエ
ッジ検出処理をしてエッジを検出し、検出したエッジの
エッジ強度を検出するエッジ強度検出手段と、エッジ強
度検出手段で検出され一の撮像手段で撮像された撮像画
像に含まれるエッジのエッジ強度と、他の撮像手段で撮
像された撮像画像に含まれるエッジのエッジ強度とを比
較してエッジ強度比を算出するエッジ強度比算出手段と
を備えるので、露光時間差が各撮像画像のエッジ強度に
影響することを利用して、エッジ強度比算出手段で算出
されたエッジ強度比を周辺移動物体の速さ指標として検
出することができる。
【0020】請求項3に係る発明によれば、光量調整手
段により、各撮像手段ごとの撮像時間に基づいて、各撮
像手段の撮像時間内における入射光量を同じとするよう
に各撮像手段への入射光量を調整するので、複数の撮像
手段で露光時間が異なる場合でも、自車両外部の輝度変
化に対応して、正確に画像処理をして速さ指標を検出す
ることができる。
【0021】請求項4に係る発明によれば、光量調整手
段により、光透過機構の光透過率を調整して各撮像手段
に入射する光量を同じとするので、エッジ強度を変える
事なく、請求項3の効果と同様に、自車両外部の輝度変
化に対応して、正確に画像処理をして速さ指標を検出す
ることができる。
【0022】請求項5に係る発明によれば、一の撮像手
段の撮像時間と他の撮像手段の撮像時間とを異とし、一
の撮像手段の撮像時間が、他の撮像手段の撮像時間を含
むように各撮像手段の撮像時間を制御し、各撮像手段で
撮像された各撮像画像に画像処理をするので、露光時間
差が各撮像画像の画像処理結果に影響することを利用し
て、各撮像画像についての画像処理結果に基づいて周辺
移動物体の速さ指標を検出することができる。
【0023】請求項6に係る発明によれば、各撮像手段
で撮像された撮像画像を各撮像手段ごとに記憶し、各撮
像画像にエッジ検出処理をしてエッジを検出し、検出し
たエッジのエッジ強度を検出し、一の撮像手段で撮像さ
れた撮像画像に含まれるエッジのエッジ強度と、他の撮
像手段で撮像された撮像画像に含まれるエッジのエッジ
強度とを比較してエッジ強度比を算出するので、露光時
間差が各撮像画像のエッジ強度に影響することを利用し
て、エッジ強度比を周辺移動物体の速さ指標として検出
することができる。
【0024】請求項7に係る発明によれば、各撮像手段
ごとの撮像時間に基づいて、各撮像手段の撮像時間内に
おける入射光量を同じとするように各撮像手段への入射
光量を調整するので、複数の撮像手段で露光時間が異な
る場合でも、自車両外部の輝度変化に対応して、正確に
画像処理をして速さ指標を検出することができる。
【0025】請求項8に係る発明によれば、光透過機構
の光透過率を調整して各撮像手段に入射する光量を同じ
とするので、エッジ強度を変える事なく、請求項7の効
果と同様に、自車両外部の輝度変化に対応して、正確に
画像処理をして速さ指標を検出することができる。
【0026】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。
【0027】本発明は、例えば図1に示すように構成さ
れた移動速さ指標検出装置に適用される。この移動速さ
指標検出装置は、例えば車両後側方であって隣接車線に
存在する移動物体の速さ指標を検出するものである。こ
の移動速さ指標検出装置は、検出した速さ指標を、例え
ば車両後側方の移動物体の存在を車両運転者から視認さ
せる表示機構に表示させたり、車両後側方の移動物体の
存在を車両運転者に警報するシステムに出力する。
【0028】[移動速さ指標検出装置の構成]移動速さ
指標検出装置は、図1に示すように、車両後側方からの
外部光L1を入射するハーフミラー1と、ハーフミラー
1で分離された分離光L2及び分離光L3を入射する第
1光量減衰器2及び第2光量減衰器3と、第1光量減衰
器2及び第2光量減衰器3からの光が入射され、車両後
側方を撮像する第1カメラ4及び第2カメラ5と、露光
制御部6及び画像処理部7とを備えて構成されている。
【0029】ハーフミラー1は、車両外部からの外部光
L1を入射し、入射された光を分離することで、外部光
L1を分離光L2と分離光L3とにして第1光量減衰器
2及び第2光量減衰器3に出射する。
【0030】第1光量減衰器2は、ハーフミラー1から
出射された分離光L2の光軸上に配設された光透過率が
可変な光量減衰器からなり、例えば液晶パネルからな
る。この第1光量減衰器2は、露光制御部6の制御に応
じて光透過率が変化される。第1光量減衰器2は、露光
制御部6により設定された光透過率で分離光L2の光量
を減衰させて第1カメラ4に透過する。
【0031】第2光量減衰器3は、ハーフミラー1から
出射された分離光L3の光軸上に配設された光透過率が
可変な光量減衰器からなり、例えば液晶パネルからな
る。第2光量減衰器3は、露光制御部6の制御に応じて
光透過率が変化される。第2光量減衰器3は、露光制御
部6により設定された光透過率で分離光L3の光量を減
衰させて第2カメラ5に透過する。
【0032】第1カメラ4は、例えばCCD(Charge C
oupled Device)等の撮像素子を備え、第1光量減衰器
2からの分離光L2が撮像素子に入射される。第1カメ
ラ4は、入射光に応じて第1撮像画像を生成して画像処
理部7に出力する。この第1カメラ4は、時間的に連続
して分離光L2を入射し、所定時間ごとに第1撮像画像
を生成する。
【0033】第1カメラ4は、露光制御部6の制御に応
じて撮像時間が変化され、撮像素子に入射される露光量
が変化される。ここで、撮像時間とは、1つの第1撮像
画像を生成するときに撮像素子に分離光L2を入射する
露光時間である。
【0034】第2カメラ5は、例えばCCD等の撮像素
子を備え、第2光量減衰器3からの分離光L3が撮像素
子に入射される。第2カメラ5は、入射光に応じて第2
撮像画像を生成して画像処理部7に出力する。この第2
カメラ5は、時間的に連続して分離光L3を入射し、所
定時間ごとに第2撮像画像を生成する。
【0035】第2カメラ5は、露光制御部6の制御に応
じて撮像時間が変化され、撮像素子に入射される露光量
が変化される。ここで、撮像時間とは、1つの第2撮像
画像を生成するときに撮像素子に分離光L3を入射する
露光時間である。
【0036】この移動速さ指標検出装置において、ハー
フミラー1と、第1光量減衰器2及び第2光量減衰器3
と、第1カメラ4及び第2カメラ5とは、第1カメラ4
に入射される分離光L2による撮像範囲と第2カメラ5
に入射される分離光L3による撮像範囲とを略同一にす
るように構成されている。
【0037】換言すれば、この移動速さ指標検出装置に
おいて、ハーフミラー1と、第1光量減衰器2及び第2
光量減衰器3と、第1カメラ4及び第2カメラ5とは、
第1カメラ4を構成する撮像素子の光入射面に対する分
離光L2の光軸の位置関係と、第2カメラ5を構成する
撮像素子の光入射面に対する分離光L3の光軸の位置関
係とを、略同一にするような位置関係とされている。こ
れにより、移動速さ指標検出装置では、第1カメラ4及
び第2カメラ5に、略同一の撮像範囲であって同一の移
動物体を含む分離光L2及び分離光L3を入射する。
【0038】露光制御部6は、制御信号を出力して、第
1光量減衰器2及び第2光量減衰器3を制御すると共
に、第1カメラ4及び第2カメラ5を制御する。この露
光制御部6は、第1光量減衰器2及び第2光量減衰器3
が液晶パネルからなる場合、第1光量減衰器2及び第2
光量減衰器3に印加する電圧を制御することにより光透
過率を制御する。
【0039】露光制御部6は、同一撮像タイミングであ
って第1カメラ4の露光時間が第2カメラ5の露光時間
に含まれるように制御する。具体的には、露光制御部6
は、図2に示すように、第1カメラ4と第2カメラ5と
の撮像タイミングTを同じタイミングにし、第2カメラ
5の露光時間を時刻t1〜時刻t4にし、第1カメラ4
の露光時間を時刻t2〜時刻t3にするように制御す
る。ここで、露光制御部6は、第2カメラ5の露光時間
を、時間的に前後する露光時間と重ならないように設定
する。
【0040】このような制御をする露光制御部6は、自
車両速度に対する第2カメラ5の露光時間を示す露光時
間決定テーブルを記憶し、この露光時間決定テーブルを
参照して、外部から入力した自車両速度に対応した露光
時間を第2カメラ5の露光時間とする。
【0041】この露光時間決定テーブルは、露光時間内
に撮像画像に含まれるエッジが移動する画素数が主に移
動物体と自車両との相対速度、第2カメラ5の画角、自
車両と移動物体との距離により決まることから、適応す
る場面に応じて実験的に露光時間を求めて予め作成され
ているものとする。
【0042】一方、露光制御部6は、第1カメラ4の露
光時間を、第1カメラ4の露光時間と第2カメラ5の露
光時間との比である露光時間比を用い、第2カメラ5の
露光時間よりも短くなるように決定する。この露光時間
比は、移動物体の速さ指標を求める分解能と、第1カメ
ラ4の露光量に応じて決定される。
【0043】すなわち、露光時間比を大きくするほど、
第1撮像画像のエッジ強度と第2撮像画像のエッジ強度
との差が大きくなり速さ指標の分解能が向上する。一
方、露光時間比を大きくして、第1カメラ4の露光時間
を短くすると、第1光量減衰器2による光減衰量を最低
にしても第1カメラ4の露光量が不足して第1撮像画像
につぶれが発生してエッジ検出ができなくなり、第1撮
像画像につぶれが発生しない程度に第1カメラ4の露光
時間を設定する必要がある。
【0044】このような露光時間比は、適切に撮像画像
に画像処理をして正確な速さ指標を求めることができる
値になるように画像処理部7により決定され、露光制御
部6に入力される。
【0045】このような移動速さ指標検出装置では、露
光時間が上述したように制約されるので、車両周囲の明
るさが変化することによる撮像画像の輝度変化に適応し
て、撮像時の感度範囲の調整を行うことはできない。こ
れに対し、露光制御部6では、被写体の感度変化に適応
して撮像画像を生成させるために、第1カメラ4及び第
2カメラ5に入射される光量を調整するように第1光量
減衰器2及び第2光量減衰器3を制御して、光透過率を
制御する。
【0046】露光制御部6は、第2カメラ5の撮像画像
の画像全体の平均画素値が一定となるように第2光量減
衰器3の透過率を決定する。一方、露光制御部6は、露
光時間比による露光時間に基づいて、第1カメラ4の蓄
積受光量と第2カメラ5の蓄積受光量とが同じとなるよ
うに第1光量減衰器2の透過率を決定する。
【0047】画像処理部7は、第1カメラ4及び第2カ
メラ5により撮像された第1撮像画像及び第2撮像画像
に画像処理をし、各撮像画像についての画像処理結果に
基づいて移動物体の速さ指標を検出する。
【0048】画像処理部7は、第1撮像画像及び第2撮
像画像を記憶する画像記憶部11と、画像記憶部11に
記憶された第1撮像画像及び第2撮像画像からエッジ検
出をしてエッジ強度を検出するエッジ強度検出部12
と、エッジ強度検出部12により検出された第1撮像画
像のエッジ強度と第2撮像画像のエッジ強度との比を示
すエッジ強度比を算出するエッジ強度比算出部13とを
備える。
【0049】[画像処理部7の動作]上述の画像処理部
7の動作を図3のフローチャートを参照して説明する。
【0050】画像処理部7は、先ず、ステップS1にお
いて、第1カメラ4及び第2カメラ5から図2に示した
ような撮像タイミング及び露光時間で撮像された第1撮
像画像及び第2撮像画像を入力して、画像記憶部11に
記憶する。ここで、画像記憶部11は、第1撮像画像と
第2撮像画像とを、異なるアドレスの記憶領域、又は異
なるメモリに記憶する。なお、以下の説明では、第1撮
像画像を記憶する領域を第1メモリと呼び、第2撮像画
像を記憶する領域を第2メモリと呼ぶ。
【0051】次のステップS2において、エッジ強度検
出部12により、ステップS1で第1メモリ及び第2メ
モリに記憶された第1撮像画像及び第2撮像画像を用い
てエッジ検出処理をする。このとき、エッジ強度検出部
12は、第1撮像画像及び第2撮像画像に含まれ画像内
縦方向成分のエッジを検出するために、画像内を横方向
に走査して画素値を検出する。そして、エッジ強度検出
部12は、検出したエッジのエッジ強度を検出し、第1
撮像画像のエッジ強度及び第2撮像画像のエッジ強度を
画像記憶部11の第1メモリ及び第2メモリに第1撮像
画像及び第2撮像画像と共に記憶する。ここで、エッジ
強度検出部12は、ステップS1で記憶した第1撮像画
像に対応させて第1撮像画像のエッジ強度を記憶すると
共に、第2撮像画像に対応させて第2撮像画像のエッジ
強度を記憶する。
【0052】次のステップS3において、エッジ強度検
出部12により、第1メモリに記憶された第1撮像画像
内のエッジ強度の極大値が存在する座標を求める。この
とき、エッジ強度検出部12は、ステップS2で第1メ
モリに格納された画像内の各座標ごとのエッジ強度を画
像内横方向に走査し、エッジ強度の微分値が「0」とな
る位置をエッジ強度の極大値が存在する位置として検出
し、検出した極大値の座標値を画像記憶部11に記憶す
る。
【0053】次のステップS4において、エッジ強度比
算出部13により、ステップS3で求めた座標値(x,
y)における第1撮像画像のエッジ強度値I1と第2撮
像画像のエッジ強度値I2とを画像記憶部11から読み
出し、下記の式で表される演算をすることにより、エッ
ジ強度比Re(x,y)を算出する。
【0054】 Re(x,y)=I2(x,y)/I1(x,y) ここで、In(x,y)は第nメモリに記憶された撮像
画像の座標(x、y)でのエッジ強度値である。
【0055】次のステップS5において、予め作成され
て記憶した移動物体の速さとエッジ強度比Reとの関係
を示す速さ−エッジ強度比対応テーブルを参照し、ステ
ップS4で算出したエッジ強度比Reから、第1撮像画
像及び第2撮像画像内に含まれる移動物体の速さ指標を
求める。この移動物体の速さは、自車両に対する移動物
体の相対的な速さである。
【0056】ここで、露光時間(T)で撮像したときの
撮像画像上で移動物体の速さとエッジ強度との関係は、
露光時間(T)内での移動物体の移動量が少ないほど
(移動物体との相対速度が低い)、撮像画像に含まれる
移動物体の輪郭が鮮明となるので、エッジ強度が高くな
る。
【0057】この関係は、図4中の実線に示すように、
エッジ強度が高くなるほど移動物体の速さが小さくなる
ことを意味している。図4によれば、移動物体の速度と
自車両の速度とが同一であって相対速度が「0」である
ときにはエッジ強度が移動物体の輪郭部分を構成する画
素の画素値差に応じた値となる。
【0058】露光時間を露光時間Tのn倍の露光時間n
・Tとすると、移動物体の速さvでのエッジ強度は、露
光時間Tでの移動物体速さとエッジ強度との関係におい
てnvの速さでの値と等しくなるので、移動物体速さと
エッジ強度との関係は図4中における点線の特性とな
る。すなわち、露光時間を長くするほど、検出されるエ
ッジのエッジ強度が小さくなり、露光時間に応じてエッ
ジ強度検出結果に影響を与えることが分かる。
【0059】そして、図4中の実線で示すエッジ強度特
性と、点線で示すエッジ強度特性とのエッジ強度比をと
ると、比と移動物体速さとの関係は、図5に示すように
なり、エッジ強度比が移動物体速さと対応し、エッジ強
度比Reを移動物体の速さ指標として使用することがで
きる。このような図5に示す関係を、上記速さ−エッジ
強度比対応テーブルとする。
【0060】次のステップS6において、ステップS5
で算出した移動物体速さに基づいて、時間的に前後する
撮像画像間で相関検出をするために、撮像画像間で対応
する座標を探索する探索範囲を設定する。
【0061】次に、第1メモリに記憶された第1撮像画
像と、第3メモリに記憶された時間的に前に撮像した第
1撮像画像とを用いて、相関を取り、探索範囲において
相関が最も高いブロックの位置から移動ベクトルを検出
する。
【0062】具体的には、図6に示すように、時刻nで
入力した撮像画像nと時刻n−1で入力した撮像画像n
−1との間において、撮像画像nの小領域101につい
ての移動ベクトルを求めるときには、ステップS5で求
めた速さ指標に基づいて、撮像画像n−1内の座標P1
(x1,y1)を中心として画像内横方向に2つの探索
範囲102,103を設定する。ここで、探索範囲10
2,103は中心となる座標P1(x1,y1)から所
定領域離れた位置に設定される。
【0063】次に、小領域101の画素値と、探索範囲
に含まれる小領域の画素値との相関をとり、相関が最も
高い小領域104を検出する。そして、検出した小領域
104の中心座標P2(x2,y2)と、座標P1(x
1,y1)とを結ぶベクトルを移動ベクトル105とす
る。
【0064】次のステップS7において、次に移動ベク
トルを検出するために、第1メモリに記憶された第1撮
像画像を第3メモリに記憶してステップS1に処理を戻
して、次に撮像した第1撮像画像を用いてステップS1
〜ステップS7の処理をして移動ベクトルを求める。
【0065】このような処理を行う画像処理部7によれ
ば、小型の第1カメラ4及び第2カメラ5を車両のドア
ミラーに設置し、例えば高速走行中に自車両の右側方か
ら他車両が近づいてくる場面において、露光時間を変え
同一の撮像タイミングで第1カメラ4及び第2カメラ5
で撮像して、図7に示すような他車両111と背景の木
112とを含む第1撮像画像及び第2撮像画像を画像処
理部7により入力する。
【0066】そして、上述のステップS1〜ステップS
5の処理を行うことにより、自車両の右後側方に存在す
る他車両111の相対速度が自車両の走行速度よりも小
さい場合には、上記式によりエッジ強度比Reを算出す
ることにより、図8に示すようなエッジ強度を算出す
る。図8においては、エッジ強度が高いほど濃く表して
おり、自車両の走行速度よりも自車両と他車両111と
の相対速度が小さいので、他車両111によるエッジ1
13が濃くなり、自車両の走行速度で移動する静止物体
である木112によるエッジ114が薄くなっている。
【0067】次いで、ステップS6の処理を行うことに
より、図9に示すような移動ベクトルを検出する。図9
によれば、他車両111による移動ベクトル115は相
対速度に応じた長さとなっており、木112により移動
ベクトル116は車両の走行速度に応じた長さとなって
いる。
【0068】[実施形態の効果]以上、詳細に説明した
ように、本発明を適用した移動速さ指標検出装置によれ
ば、同一の撮像範囲とした第1カメラ4及び第2カメラ
5の露光時間を変えて、同一撮像タイミングで撮像した
第1撮像画像及び第2撮像画像に画像処理をして自車両
の周囲の移動物体の速さ指標を検出して、自車両の周囲
に存在する移動物体を高精度に検出することができる。
したがって、この移動速さ指標検出装置によれば、警報
システムに速さ指標を出力することにより、自車両の周
囲に他車両が存在することを検出させて警報をさせるこ
とができる。
【0069】また、この移動速さ指標検出装置によれ
ば、第1カメラ4及び第2カメラ5で撮像した第1撮像
画像及び第2撮像画像に対してエッジ検出処理をし、第
1撮像画像と第2撮像画像とで検出したエッジのエッジ
強度の比を算出することにより、第1カメラ4と第2カ
メラ5との露光時間差が撮像画像のエッジ強度に影響す
ることを利用して、移動物体の速さ指標を得ることがで
きる。
【0070】更に、この移動速さ指標検出装置によれ
ば、露光制御部6により、露光時間内で第1カメラ4に
入射する光量と、露光時間内で第2カメラ5に入射する
光量とを同じとするので、第1カメラ4と第2カメラ5
とで露光時間が異なる場合でも、自車両外部の輝度変化
に対応して、正確に画像処理をして速さ指標を検出する
ことができる。
【0071】なお、上述の実施の形態は本発明の一例で
ある。このため、本発明は、上述の実施形態に限定され
ることはなく、この実施の形態以外であっても、本発明
に係る技術的思想を逸脱しない範囲であれば、設計等に
応じて種々の変更が可能であることは勿論である。
【0072】すなわち、上述した移動速さ指標検出装置
では、移動物体の速さ指標のみを検出して警報システム
等に出力しても良く、更には速さ指標を利用して移動ベ
クトルを求めて出力しても良い。
【図面の簡単な説明】
【図1】本発明を適用した移動速さ指標検出装置の構成
を示すブロック図である。
【図2】本発明を適用した移動速さ指標検出装置におい
て、第1カメラの露光時間と第2カメラの露光時間との
関係を説明するための図である。
【図3】本発明を適用した移動速さ指標検出装置の画像
処理部により移動ベクトルを検出するときの処理手順を
示すフローチャートである。
【図4】本発明を適用した移動速さ指標検出装置におい
て、エッジ強度と移動物体の速さとの関係を示す図であ
る。
【図5】本発明を適用した移動速さ指標検出装置におい
て、エッジ強度比と移動物体の速さとの関係を示す図で
ある。
【図6】本発明を適用した移動速さ指標検出装置におい
て、撮像画像nと撮像画像n−1との間で移動ベクトル
を求める処理を説明するための図である。
【図7】本発明を適用した移動速さ指標検出装置におい
て、第1カメラ及び第2カメラにより自車両の右後側方
を撮像したときの一例を示す図である。
【図8】本発明を適用した移動速さ指標検出装置におい
て、他車両及び木についてエッジ強度を検出した結果を
示す図である。
【図9】本発明を適用した移動速さ指標検出装置におい
て、他車両及び木についての移動ベクトルを検出した結
果を示す図である。
【符号の説明】
1 ハーフミラー 2 第1光量減衰器 3 第2光量減衰器 4 第1カメラ 5 第2カメラ 6 露光制御部 7 画像処理部 11 画像記憶部 12 エッジ強度検出部 13 エッジ強度比算出部 101,104 小領域 102,103 探索範囲 105 移動ベクトル 111 他車両 112 木 113,114 エッジ 115,116 移動ベクトル

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】 同一の撮像範囲とされ、速さ指標の検出
    対象となる周辺移動物体を含む撮像画像を生成する複数
    の撮像手段と、 上記一の撮像手段の撮像時間と他の上記撮像手段の撮像
    時間とを異とし、上記一の撮像手段の撮像時間が、他の
    上記撮像手段の撮像時間を含むように各撮像手段の撮像
    時間を制御する撮像時間制御手段と、 上記各撮像手段で撮像された各撮像画像に画像処理を
    し、各撮像画像についての画像処理結果に基づいて上記
    周辺移動物体の速さ指標を検出する速さ指標検出手段と
    を備えることを特徴とする移動速さ指標検出装置。
  2. 【請求項2】 上記速さ指標検出手段は、 上記各撮像手段で撮像された撮像画像を上記各撮像手段
    ごとに記憶する画像記憶手段と、 上記画像記憶手段に記憶された各撮像画像にエッジ検出
    処理をしてエッジを検出し、検出したエッジのエッジ強
    度を検出するエッジ強度検出手段と、 上記エッジ強度検出手段で検出され上記一の撮像手段で
    撮像された撮像画像に含まれるエッジのエッジ強度と、
    上記他の撮像手段で撮像された撮像画像に含まれるエッ
    ジのエッジ強度とを比較してエッジ強度比を算出するエ
    ッジ強度比算出手段とを備え、 上記エッジ強度比算出手段で算出されたエッジ強度比を
    上記周辺移動物体の速さ指標として検出することを特徴
    とする請求項1に記載の移動速さ指標検出装置。
  3. 【請求項3】 上記撮像時間制御手段で制御される各撮
    像手段ごとの撮像時間に基づいて、上記各撮像手段の撮
    像時間内における入射光量を同じとするように各撮像手
    段への入射光量を調整する光量調整手段を更に備えるこ
    とを特徴とする請求項1又は請求項2に記載の移動速さ
    指標検出装置。
  4. 【請求項4】 上記光量調整手段は、光透過機構を備
    え、この光透過機構の光透過率を調整して上記各撮像手
    段の入射光量を同じとすることを特徴とする請求項3に
    記載の移動速さ指標検出装置。
  5. 【請求項5】 一の撮像手段の撮像時間と他の撮像手段
    の撮像時間とを異とし、上記一の撮像手段の撮像時間
    が、上記他の撮像手段の撮像時間を含むように上記各撮
    像手段の撮像時間を制御し、 複数の撮像手段により同一の撮像範囲で撮像され、速さ
    指標の検出対象となる周辺移動物体を含む複数の撮像画
    像を入力し、 上記各撮像画像に画像処理をし、各撮像画像についての
    画像処理結果に基づいて上記周辺移動物体の速さ指標を
    検出することを特徴とする移動速さ指標検出方法。
  6. 【請求項6】 上記各撮像手段で撮像された撮像画像を
    上記各撮像手段ごとに記憶し、 記憶した各撮像画像にエッジ検出処理をしてエッジを検
    出し、検出したエッジのエッジ強度を検出し、 上記一の撮像手段で撮像された撮像画像に含まれるエッ
    ジのエッジ強度と、上記他の撮像手段で撮像された撮像
    画像に含まれるエッジのエッジ強度とを比較してエッジ
    強度比を算出して、算出したエッジ強度比を上記周辺移
    動物体の速さ指標として検出することを特徴とする請求
    項5に記載の移動速さ指標検出方法。
  7. 【請求項7】 上記各撮像手段ごとの撮像時間に基づい
    て、上記各撮像手段の撮像時間内における入射光量を同
    じとするように各撮像手段への入射光量を調整すること
    を特徴とする請求項5又は請求項6に記載の移動速さ指
    標検出方法。
  8. 【請求項8】 光透過機構の光透過率を調整して上記各
    撮像手段の入射光量を同じとすることを特徴とする請求
    項7に記載の移動速さ指標検出方法。
JP2001303585A 2001-09-28 2001-09-28 移動速さ指標検出装置及び方法 Withdrawn JP2003109014A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001303585A JP2003109014A (ja) 2001-09-28 2001-09-28 移動速さ指標検出装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001303585A JP2003109014A (ja) 2001-09-28 2001-09-28 移動速さ指標検出装置及び方法

Publications (1)

Publication Number Publication Date
JP2003109014A true JP2003109014A (ja) 2003-04-11

Family

ID=19123649

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001303585A Withdrawn JP2003109014A (ja) 2001-09-28 2001-09-28 移動速さ指標検出装置及び方法

Country Status (1)

Country Link
JP (1) JP2003109014A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007195141A (ja) * 2005-12-20 2007-08-02 Nissan Motor Co Ltd 画像速度算出装置及び画像速度算出方法
CN116452595A (zh) * 2023-06-19 2023-07-18 烟台金丝猴食品科技有限公司 一种基于图像处理的控制方法及设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007195141A (ja) * 2005-12-20 2007-08-02 Nissan Motor Co Ltd 画像速度算出装置及び画像速度算出方法
CN116452595A (zh) * 2023-06-19 2023-07-18 烟台金丝猴食品科技有限公司 一种基于图像处理的控制方法及设备
CN116452595B (zh) * 2023-06-19 2023-08-18 烟台金丝猴食品科技有限公司 一种基于图像处理的控制方法及设备

Similar Documents

Publication Publication Date Title
US11787338B2 (en) Vehicular vision system
CA2680646C (en) Moving object noise elimination processing device and moving object noise elimination processing program
JP5615441B2 (ja) 画像処理装置及び画像処理方法
JP6471528B2 (ja) 物体認識装置、物体認識方法
CN100472322C (zh) 前方摄影装置
EP2919197B1 (en) Object detection device and object detection method
JP5012718B2 (ja) 画像処理装置
JP5950196B2 (ja) 撮像装置、並びに、これを用いる画像解析装置及び移動装置
EP2045132A2 (en) Driving support device, driving support method, and computer program
EP1895766B1 (en) Camera with two or more angles of view
WO2013081984A1 (en) Vision system for vehicle
JPH07332966A (ja) 車両用距離計測装置
JP6032034B2 (ja) 物体検知装置
JP2006184274A (ja) 位置検出装置及びその補正方法
US20160180158A1 (en) Vehicle vision system with pedestrian detection
US11176397B2 (en) Object recognition device
JP3570198B2 (ja) 画像処理方法およびその装置
JPWO2019021500A1 (ja) 乗員数検知システム、乗員数検知方法、およびプログラム
JP2014130429A (ja) 撮像装置及び立体物領域検出用プログラム
JP4788399B2 (ja) 歩行者検出方法、装置、およびプログラム
JP2003109014A (ja) 移動速さ指標検出装置及び方法
WO2021182190A1 (ja) 撮像装置、撮像システム及び撮像方法
EP3349201A1 (en) Parking assist method and vehicle parking assist system
JP2006155400A (ja) 画像抽出装置
KR102051324B1 (ko) 서라운드 뷰 모니터링 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080728

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20090805