JP2003288602A - 画像処理装置及びその方法 - Google Patents

画像処理装置及びその方法

Info

Publication number
JP2003288602A
JP2003288602A JP2002092980A JP2002092980A JP2003288602A JP 2003288602 A JP2003288602 A JP 2003288602A JP 2002092980 A JP2002092980 A JP 2002092980A JP 2002092980 A JP2002092980 A JP 2002092980A JP 2003288602 A JP2003288602 A JP 2003288602A
Authority
JP
Japan
Prior art keywords
time
image
state information
vehicle
movement amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002092980A
Other languages
English (en)
Other versions
JP3797949B2 (ja
Inventor
Kyoichi Okamoto
恭一 岡本
Nobuyuki Takeda
信之 武田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2002092980A priority Critical patent/JP3797949B2/ja
Priority to US10/391,626 priority patent/US7149327B2/en
Publication of JP2003288602A publication Critical patent/JP2003288602A/ja
Application granted granted Critical
Publication of JP3797949B2 publication Critical patent/JP3797949B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

(57)【要約】 【課題】車両から見た道路平面の傾きが変化したときで
も、撮像装置で撮影した画像が道路平面であると仮定し
て一方の画像から他方の画像へ変換する変換パラメータ
を確実に推定できる画像処理装置を提供する。 【解決手段】画像入力部１は、車両に搭載した左右２台
のカメラにより、車両前方もしくは後方を撮影したステ
レオ画像を入力する。画像蓄積部２は、画像入力部１で
入力された左右のカメラ画像を蓄積する。画像変換部３
では、画像蓄積部２に蓄積された画像のうち、左画像を
道路平面を撮影した画像と仮定し、変換パラメータを用
いて画像を変換する。画像照合部４では画像変換部３で
変換した左画像と右画像を照合を行い、最も照合した変
換パラメータを出力する。状態推定部５、状態メモリ
６、状態予測部７は、画像照合部４で得られた変換パラ
メータを入力とし、カルマンフィルタを用いて現在の道
路平面を推定する変換パラメータの最適値を推定する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、自動車の安全運転
の支援や自動走行を実現するために、複数の撮像装置に
より、先行車、駐車車両、歩行者など、道路上に存在す
る障害物を検出するステレオ障害物検出において、撮像
装置で撮影した画像が道路平面であると仮定して一方の
画像から他方の画像へ変換する変換パラメータを推定す
る画像処理装置及び方法である。
【０００２】
【従来の技術】障害物を検知するための技術は、レーザ
や超音波等を利用するものとＴＶカメラを利用するもの
に大別できる。レーザを利用するものは高価であり、超
音波を利用するものは超音波の解像度が低いため、障害
物の検出精度に問題がある。また、レーザや超音波等を
用いる能動センサ単独では走行レーンの認識ができな
い。
【０００３】これに対し、ＴＶカメラは比較的安価であ
り、解像度、計測精度、計測範囲の面からも障害物検出
に適する。また、走行レーンの認識も可能である。ＴＶ
カメラを用いる場合、１台のカメラを使用する方法と複
数台のカメラ（ステレオカメラ）を使用する方法があ
る。
【０００４】１台のカメラを使用する方法は、そのカメ
ラで撮影した１枚の画像から、輝度や色、あるいはテク
スチャ等の情報を手がかりにして道路領域と障害物領域
を分離する。例えば、画像中で彩度の低い中程度の輝度
領域、つまり灰色の領域を抽出し道路領域を求めたり、
テクスチャの少ない領域を求めて、道路領域を抽出し、
それ以外の領域を障害物領域とする。しかし、道路と似
た輝度、色、あるいはテクスチャを持つ障害物も数多く
存在するため、この方法で障害物領域と道路領域を切り
分けるのは困難である。
【０００５】これに対し、複数台のカメラを用いる方法
は３次元情報を手がかりにして障害物を検出する。この
方法は一般にステレオ視と呼ばれる。
【０００６】「ステレオ視」とは、例えば２つのカメラ
を左右に配置し、３次元空間中で同一点である点を左右
画像間で対応つけ、三角測量の要領で、その点の３次元
位置を求めるものである。各カメラの道路平面に対する
位置や姿勢等を予め求めておくと、ステレオ視により画
像中の任意の点の道路平面からの高さが得られる。この
ようにすることにより、高さの有無によって障害物領域
と道路領域を分離することができる。ステレオ視によれ
ば、１台のカメラを用いる場合のような問題を回避する
ことが可能である。
【０００７】しかし、通常のステレオ視には、対応点探
索という問題点がある。ステレオ視とは、一般的には画
像上の任意の点のステレオカメラに固定した座標系（以
下では「ステレオカメラ座標系」と呼ぶ）に対する３次
元位置を求める技術である。対応点探索は空間中で同一
である点を左右の画像間で対応づける際に必要な探索計
算を意味し、計算コストが極めて高いという問題があ
る。対応点探索は、ステレオ視の実用化を妨げる要因と
なっている。
【０００８】それに対し、一方の画像上の点が道路平面
上に存在すると仮定して、一方の画像上への点をもう一
方の画像上への投影点へ変換するパラメータを計算し、
そのパラメータを用いて画像を変換し、その画像間の差
を用いて道路領域と障害物領域を分離する手法も特開２
００１−７６１２８、特開２００１−２４３４５６で提
案されている。
【０００９】ところで、起伏のある道路を車両が通行す
る場合、車両への人員の搭載状態や荷物の積載状態が変
わった場合、車両の振動や道路の傾斜があった場合な
ど、道路平面と車両に取り付けたカメラの位置姿勢の関
係、つまり車両から見た道路平面の傾きが変化し、変換
パラメータの値も変化する。
【００１０】特開２００１−７６１２８では、道路上に
描かれた２本の白線を利用して、画像の変換パラメータ
を計算している。しかし、この方法では白線が１本しか
見えない場合や汚れている場合には、変換パラメータを
計算できないという問題がある。
【００１１】また、特開２００１−２４３４５６では、
この問題に対して、想定されるカメラと道路面の取りう
る相対的関係の範囲から適当な姿勢を複数選び、それら
の全ての姿勢に対応する変換パラメータを計算し、その
変換パラメータを用いた変換画像を用意して他の画像と
比較を行い、一致度の最も低い領域を障害物として検出
している。
【００１２】しかし、上記の方法では、道路平面として
照合したときに一致度の最も低い領域を検出するので、
車両に周期的な模様が描かれている場合や路面での写り
込み等で正しく障害物が検出されない場合があり、道路
平面の変換パラメータが必要になる。
【００１３】また、精度よく障害物を検出するためには
選択した変換パラメータが実際の変換パラメータから十
分な精度内になければならない。さらに、例えば車両後
部に重い荷物を積載した結果、車体が前後に傾くといっ
た、発生する可能性の少ない事象に応じた変換パラメー
タも用意しておく必要がある。上記の２つの条件を満た
すためには数多くの変換画像が必要であり、多くの変換
画像の作成で、計算時間がかかってしまうという問題が
ある。
【００１４】さらに、路面の段差による急激な振動を除
けば、車両の振動や路面の傾斜の変化は通常のテレビカ
メラ画像の撮影間隔に比べて緩やかであり、車両の走行
中に人員の搭載状態や貨物の積載状態が変化することは
ない。したがって、画像の変換パラメータも緩やかに変
化するが、上記の方法では、現在の変換パラメータの状
態を考慮せず、全ての変換パラメータを用いた変換画像
を用意するので、無駄な変換を数多く行うという問題が
ある。
【００１５】
【発明が解決しようとする課題】以上述べたように、従
来方法では、撮像装置で撮影した画像が道路平面を撮影
していると仮定して一つの撮像装置で撮影した画像を他
の撮像装置で撮影した画像上へ変換する際に、白線を用
いて変換パラメータを計算する方法では、白線が見えな
い場合に変換パラメータを計算できないという問題があ
る。
【００１６】また、多数の変換パラメータを用意して、
一致度の最も低い領域を検出する方法では、車両に周期
的な模様が描かれていたりそれらの変換パラメータを用
いた変換画像を作成する必要があり、計算時間がかかっ
てしまうという問題がある。その上、用意した変換パラ
メータは車両の現在の状態を考慮していないので無駄な
変換も多いという問題もある。
【００１７】そこで、本発明は、起伏のある道路を車両
が通行する場合、車両への人員の搭載状態や荷物の積載
状態が変わった場合、車両の振動や道路の傾斜があった
場合など、道路平面と車両に取り付けたカメラの位置姿
勢の関係、つまり車両から見た道路平面の傾きが変化し
たときでも、撮像装置で撮影した画像が道路平面である
と仮定して一方の画像から他方の画像へ変換する変換パ
ラメータを確実に推定できる画像処理装置及びその方法
を提供する。
【００１８】
【課題を解決するための手段】請求項１の発明は、道路
平面上の車両に取り付けられた異なる視点を持つ複数の
撮像装置から前記道路平面を時系列に撮影して、この時
系列に撮影した画像に基づいて前記複数の撮像装置の中
の一の撮像装置で撮影された画像を、前記他の撮像装置
の位置から見たアフィン変換の変換パラメータを用いて
変換する画像処理装置において、時刻（ｔ−１）におけ
る車両の状態情報から時刻ｔにおける車両の状態情報を
予測する状態情報第１予測手段と、前記一の撮像装置で
撮影された時刻ｔにおける画像と、前記他の撮像装置で
撮影された時刻ｔにおける画像と、前記予測した時刻ｔ
における車両の状態情報とを用いて、時刻ｔにおける前
記アフィン変換の並進成分である並進移動量を推定する
並進移動量推定手段と、前記推定した時刻ｔにおける並
進移動量と、前記予測した時刻ｔにおける車両の状態情
報を用いて、時刻ｔにおける車両の状態情報を予測する
状態情報第２予測手段と、を有することを特徴とする画
像処理装置である。
【００１９】請求項２の発明は、前記並進移動量推定手
段は、前記予測した時刻ｔにおける車両の状態情報を用
いて時刻ｔにおける並進移動量の確率分布を求め、この
確率分布に基づいて一の並進移動量を選択し、この選択
した並進移動量に基づいて変換パラメータを求め、この
求めた変換パラメータに基づいて前記一の撮像装置で撮
影された時刻ｔにおける画像を、前記他の撮像装置の位
置から見た変換し、前記変換した時刻ｔにおける画像
と、前記他の撮像装置で撮影された時刻ｔにおける画像
を照合して時刻ｔにおける照合評価値を求め、前記選択
する並進移動量を変化させて、前記時刻ｔにおける照合
評価値が最もよい並進移動量を、時刻ｔにおける並進移
動量と推定することを特徴とする請求項１記載の画像処
理装置である。
【００２０】請求項３の発明は、前記状態情報第１予測
手段は、前記時刻（ｔ−１）における車両の状態情報か
ら前記時刻ｔにおける車両の状態情報をカルマンフィル
タによって予測することを特徴とする請求項１または２
記載の画像処理装置である。
【００２１】請求項４の発明は、前記状態情報第２予測
手段は、前記推定した時刻ｔにおける並進移動量と、前
記予測した時刻ｔにおける車両の状態情報を用いて、前
記時刻ｔにおける車両の状態情報をカルマンフィルタに
よって推定することを特徴とする請求項１から３のうち
のいずれか一項に記載の画像処理装置である。
【００２２】請求項５の発明は、前記車両の状態情報
が、状態ベクトルと共分散行列であることを特徴とする
請求項１から４のうちのいずれか一項に記載の画像処理
装置である。
【００２３】請求項６の発明は、前記時刻ｔにおける並
進移動量に基づいて、車両を中心とした撮像装置に対す
る時刻ｔにおける道路平面の傾きを求める道路平面推定
手段を有することを特徴とする請求項１から５のうちの
いずれか一項に記載の画像処理装置である。
【００２４】請求項７の発明は、道路平面上の車両に取
り付けられた異なる視点を持つ複数の撮像装置から前記
道路平面を時系列に撮影して、この時系列に撮影した画
像に基づいて前記複数の撮像装置の中の一の撮像装置で
撮影された画像を、前記他の撮像装置の位置から見たア
フィン変換の変換パラメータを用いて変換する画像処理
方法において、時刻（ｔ−１）における車両の状態情報
から時刻ｔにおける車両の状態情報を予測する状態情報
第１予測ステップと、前記一の撮像装置で撮影された時
刻ｔにおける画像と、前記他の撮像装置で撮影された時
刻ｔにおける画像と、前記予測した時刻ｔにおける車両
の状態情報とを用いて、時刻ｔにおける前記アフィン変
換の並進成分である並進移動量を推定する並進移動量推
定ステップと、前記推定した時刻ｔにおける並進移動量
と、前記予測した時刻ｔにおける車両の状態情報を用い
て、時刻ｔにおける車両の状態情報を予測する状態情報
第２予測ステップと、を有することを特徴とする画像処
理方法である。
【００２５】請求項８の発明は、道路平面上の車両に取
り付けられた異なる視点を持つ複数の撮像装置から前記
道路平面を時系列に撮影して、この時系列に撮影した画
像に基づいて前記複数の撮像装置の中の一の撮像装置で
撮影された画像を、前記他の撮像装置の位置から見たア
フィン変換の変換パラメータを用いて変換する画像処理
方法をコンピュータによって実現するプログラムにおい
て、時刻（ｔ−１）における車両の状態情報から時刻ｔ
における車両の状態情報を予測する状態情報第１予測機
能と、前記一の撮像装置で撮影された時刻ｔにおける画
像と、前記他の撮像装置で撮影された時刻ｔにおける画
像と、前記予測した時刻ｔにおける車両の状態情報とを
用いて、時刻ｔにおける前記アフィン変換の並進成分で
ある並進移動量を推定する並進移動量推定機能と、前記
推定した時刻ｔにおける並進移動量と、前記予測した時
刻ｔにおける車両の状態情報を用いて、時刻ｔにおける
車両の状態情報を予測する状態情報第２予測機能と、を
実現することを特徴とする画像処理方法のプログラムで
ある。
【００２６】
【発明の実施の形態】以下、図１から図６に従って本発
明の実施の形態を説明する。
【００２７】本発明による実施形態の画像処理装置は、
左右２台のステレオカメラを車両に搭載し、ステレオカ
メラ搭載車両が走行する状態で、周囲の車両や歩行者な
どの障害物検出を目的として使用する状態を想定する。
【００２８】（１）画像処理装置の構成 画像処理装置は、図１の構成図に示すように、画像入力
部１、画像蓄積部２、画像変換部３、画像照合部４、状
態推定部５、状態メモリ６、状態予測部７より構成され
る。これら各部１〜７の各機能は、コンピュータのプロ
グラムによって実現される。
【００２９】画像入力部１は、車両に搭載した左右２台
のカメラにより、車両前方もしくは後方を撮影したステ
レオ画像を入力する。ここでは最も単純な例として左右
２台のカメラを例にとり、左カメラの画像を右カメラの
画像に変換する例を説明するが、同一の方法を右カメラ
の画像から左カメラへの変換に適用することも可能であ
る。また、３台以上カメラがある場合についても互いに
共通視野のある２台のカメラ画像間での変換に適用可能
である。
【００３０】画像蓄積部２は、画像入力部１で入力され
た左右のカメラ画像を蓄積する。
【００３１】画像変換部３では、画像蓄積部２に蓄積さ
れた画像のうち、左画像を道路平面を撮影した画像と仮
定し、変換パラメータを用いて画像を変換する。
【００３２】画像照合部４では画像変換部３で変換した
左画像と右画像を照合を行い、最も照合した変換パラメ
ータを出力する。
【００３３】状態推定部５、状態メモリ６、状態予測部
７は、画像照合部４で得られた変換パラメータを入力と
し、カルマンフィルタを用いて現在の道路平面を推定す
る変換パラメータの最適値を推定する。
【００３４】すなわち、車両の振動などによるカメラと
道路の幾何学関係の変化は、車両を中心にすればカメラ
に対する道路の傾きの変化であり、状態推定部５、状態
メモリ６、状態予測部７では、車両に対する道路平面の
傾きを推定する。
【００３５】状態メモリ６は、現在の車両の状態情報を
表すメモリである。
【００３６】状態推定部５は、画像変換部３の出力した
変換パラメータを用いて、状態メモリ６に記憶された車
両の状態情報を更新する。
【００３７】状態予測部７は、カルマンフィルタでの予
測式に基づいて、状態メモリ６に記憶された車両の状態
情報から、新しく撮影した画像での変換パラメータを予
測する。予測した変換パラメータの値は画像変換部３に
出力する。
【００３８】（２）従来の画像変換とその問題点 ここで、まず、道路平面と２台のカメラの幾何学的関係
から導き出される、一方のカメラ画像を他方のカメラ視
点へ変換する従来の画像変換とその問題点について説明
する。
【００３９】まず、２台のカメラを図２に示すような平
面上（道路平面上）に配置する。
【００４０】３次元の点Ｐ＝（Ｘ，Ｙ，Ｚ）の左画像へ
の投影先を（ｕ，ｖ）とすると、一般に、透視変換で
は、以下の式１が成立する。
【００４１】
【数１】 ここでは、Ｚ＝０の道路平面上の点Ｐ＝（Ｘ，Ｙ，０）
を想定しているので、投影先との関係は、式２になる。
【００４２】
【数２】 但し、ｈ１１〜ｈ３４はカメラのワールド座標系に対す
る位置や方向、カメラレンズの焦点距離、画像原点等に
よって決まるパラメータである。ｈ１１〜ｈ３ ４は定数
倍しても同一のカメラモデルを表すので、ｈ１１〜ｈ
３４の任意の要素を１にしても一般性を失わない。そこ
で、以下では、ｈ３２を１とする。
【００４３】上式の分母ｄ＝ｈ３１Ｘ＋ｈ３２Ｙ＋ｈ
３４は、図３に示すように、カメラの視点Ｃと点Ｐの間
の光軸方向の距離、すなわち、奥行きを表す。本装置に
おいてステレオカメラは、光軸がＸ軸にほぼ直交するよ
うに設置しているので、奥行きｄはＸに依存しないとみ
なすことができる。したがって、上記関係式はｈ３１＝
０として、
【数３】 と近似できる。
【００４４】さらに、ＹＣ ＝Ｙ＋ｈ３４と置くと、
【数４】 よって、道路平面を撮影した左右の画像は、互いにアフ
ィン変換の関係にあることがわかる。
【００４５】式７の変換パラメータは、車両にカメラを
取り付けた時点で、車両を平坦な道路上に置いて道路平
面を撮影し、左右の画像から道路平面上の同一点を撮影
した座標を与えるキャリブレーション作業により計算す
ることができる。画像上の座標点は３組以上与えること
によって計算可能であるが、実際には、さらに多数の座
標を与えて、最小自乗により最適なパラメータを計算す
る。
【００４６】また、車両を直線道路の進行方向に沿って
斜線の中央に置けば、左右の白線の交点から消失点ベク
トルｔの座標が計算可能である。
【００４７】（３）道路平面が変化したときの画像変化 次に、道路の傾斜や自車両の振動により道路平面が、Ｚ
＝０から、Ｚ＝ｐＹへ変化したとする。すなわち、カメ
ラを取り付けた自車が起伏のある道路を車両が通行する
場合、自車への人員の搭載状態や荷物の積載状態が変わ
った場合、自車の振動や道路の傾斜があった場合など、
道路平面と車両に取り付けたカメラの位置姿勢の関係、
つまり車両から見た道路平面の傾きが変化して、上下方
向の振動を含む移動があって画像が変化することがあ
る。
【００４８】このとき、Ｚ＝０の場合は式３は、以下の
式８になる。
【００４９】
【数５】 これに、ＹＣ ＝Ｙ＋ｈ３４とおくと、
【数６】 と表すことができる。
【００５０】
【数７】 上記の道路平面とカメラに関する幾何学関係についての
説明から、左画像と右画像は互いにアフィン変換の関係
にあり、道路の傾きや自車の振動によって画像の変形は
起きず、アフィン変換の並進成分だけが変化し、また、
その並進成分の変化は方向が一定であることがわかる。
【００５１】ここで、並進移動量を（α，β）とおく
と、（α，β）と式７から変換パラメータを求めること
ができる。
【００５２】（４）画像変換部３の機能 先の説明により、道路、自車ともに水平であれば、左画
像を変換する際のアフィン変換の変換パラメータはキャ
リブレーション作業により求めることができる。また、
道路や自車が傾いた場合にも、アフィン変換した画像が
一定方向に並進する変化が起きるだけである。
【００５３】そこで、画像変換部３では、並進移動量
（α，β）を変えた変換パラメータにより左画像を右画
像の位置から見た右画像の視点へ変換して、最も照合評
価値のよい並進移動量（α，β）を、求めたい並進移動
量（α，β）とする。
【００５４】詳細は後で述べるが、状態予測部７では、
２次元の並進移動量の予測値Ｙの分布は、平均Ｙ
ｔ／ｔ−１＝（αｔ，βｔ）Ｔと、その予測共分散行列
ハットＰｔを使った以下の式１４で表される２次元正規
分布Ｚ（Ｙ）で表される。
【００５５】なお、以下で使用する共分散行列Ｐ，状態
ベクトルＸ，並進移動量Ｙ，２次元正規分布Ｚの符号
は、前記の３次元の点Ｐ＝（Ｘ，Ｙ，Ｚ）の各符号とは
異なる意味であることを注記しておく。
【００５６】但し、Ｙｔ／ｔ−１は、後から説明する状
態ベクトルの予測値Ｘｔ／ｔ−１に、式２４のｈｔを適
用して計算する。
【００５７】また、Ｙｔ／ｔ−１の添字のｔ／ｔ−１の
意味は、時刻ｔ−１の計測時刻が与えられたときの時刻
ｔの予測推定値を意味する。後から登場するＸ
ｔ／ｔ−１、Ｐｔ／ｔ−１ も同様に推定値を意味す
る。
【００５８】
【数８】 画像変換部３は、この式１４の確率分布に基づいて、一
定数（ここではｎとする）のｇｉ ＝（αｉ ，
βｉ ）（ｉは１〜ｎ）を選択する。ｇｉ は、例えば
この確率分布にしたがってランダムに選択してもよい
し、確率分布で等確率になるように選択してもよい。
【００５９】そして、画像変換部３は、この選択したｇ
ｉ ＝（αｉ ，βｉ ）と式７によって変換パラメー
タを求め、この変換パラメータによって左画像を右画像
の視点へ変換する。
【００６０】図６にランダムサンプルの例を示す。
【００６１】図６の楕円は、２次元正規分布で等確率な
座標を結んだ等高線でこれより内側が外側より確率が高
いことを表す。確率分布に従ってランダムサンプルを選
べば、確率の高いところは密に、確率の低いところは疎
にサンプルすることになるので、確率の高い部分では、
変換パラメータを精度よく推定することができる。
【００６２】選択したｇｉ （ｉ＝１〜ｎ）は、予測値
から近い順に並べ替え、順次、ｇｉ を使った変換パラメ
ータにより左画像を変換し、画像照合部４に出力する。
画像が小さく、変換画像の作成時間が少なければ、式１
４の確率分布に基づかず、一定間隔でｇｉ を選択して
も構わない。
【００６３】（５）画像照合部４の機能 画像照合部４では画像変換部３で変換した左画像と右画
像の照合を行う。ここで、左画像をＩｌ 、右画像をＩ
ｒ とする。
【００６４】（５−１）照合領域の作成 まず、左画像から、道路平面を多く含む領域を抽出し
て、これを照合領域Ｒｌ とする。
【００６５】照合領域は、別に車両検出や道路の境界に
描かれた白線を抽出した結果を用いて動的に設定しても
よいし、図４のように、予め道路平面を多く含むと想定
される領域を指定してそれを用いてもよい。
【００６６】画像変換部３では、左画像から右画像への
変換パラメータと同じパラメータを用いて、照合領域Ｒ
ｌ を変換した領域Ｒ’ｌ を予め作成しておく。
【００６７】左画像Ｉｌ を変換パラメータによって変
形した画像Ｉｌ ′を作成する。
【００６８】照合領域Ｒｌ も画像と同様に変形するこ
とができ、変形した照合領域をＲｌ ′とする。
【００６９】右画像Ｉｒ からも同様に照合領域Ｒｒ
を抽出し、画像Ｉｌ ′の座標（ｉ，ｊ）の画素値をＩ
ｌ ′（ｉ，ｊ）とし、画像Ｉｒ の座標（ｉ，ｊ）の
画素値をＩｒ （ｉ，ｊ）とする。
【００７０】（５−２）左右画像の撮影条件の違いによ
る補正 左右の画像で撮影条件の違いにより、道路平面の同じ座
標を撮影していても画像の画素値が異なる場合がある。
【００７１】例えば、オートアイリスレンズ（自動しぼ
りレンズ）を搭載したカメラで撮影していて、左画像に
だけ撮影される視野に白い車が入っている場合では、左
カメラのアイリス（しぼり）は、右カメラのアイリス
（しぼり）より少し閉じられ、その結果、道路平面の同
じ座標であっても左画像では右画像より明度が低くなる
場合がある。
【００７２】そこで、画像Ｉｌ ′，Ｉｒ の明度平均
を用いて補正する。
【００７３】
【数９】 （５−３）照合方法 補正した明度平均を用いて照合を行う方法は幾つかあ
り、ここではそのうち４つについて説明する。
【００７４】（５−３−１）第１，２の照合方法 明度平均の差が０になるように補正して、照合評価値を
明度の差の総和とした場合、照合評価値は以下の式１６
になる。
【００７５】
【数１０】 他に、明度平均の比が等しくなるように補正した場合
は、以下の式１７で評価式を求めることができる。
【００７６】
【数１１】 式１６、式１７の照合評価値は０になる場合が２つの画
像が一致していることを表す。その場合、全ての変換パ
ラメータについて照合評価値を計算し、照合評価値の絶
対値が最小になるパラメータと２番目に小さいパラメー
タを選択する。最小になるパラメータをｗｉ 、２番目
に小さいパラメータをｗｊ とする。
【００７７】また、ｗｉ ，ｗｊ の照合評価値をＤ
ｉ ，Ｄｊ とする。
【００７８】このとき、照合するパラメータの値は、式
１８に示すように、照合評価値の符号が違うときだけ、
照合評価値が０になる時のパラメータの値を推定値Ｗ’
として出力する。
【００７９】
【数１２】 （５−３−２）第３，４の照合方法 式１９のような評価式を用いた第３の照合方法、式２０
のような評価式を用いた第４の照合評価方法を用いるこ
ともできる。
【００８０】
【数１３】 この評価式は、画素毎の差の絶対値を総和したもので照
合評価値は正で照合評価値最小の並進移動量（α，β）
が照合する。ある変換画像について照合評価値計算の途
中で、既に計算した照合評価値の最小値を越えれば、そ
の画像についての計算を打ち切っても問題がない。
【００８１】画像変換部３は、先に述べた式１４の確率
分布に従って変換画像を作成する。
【００８２】画像照合部４での照合では、画像変換部３
で作成した画像を順次照合するが、画像変換部３では、
予測値に近い並進移動量（α，β）でより多くの変換画
像を作成するので、予測が大きく外れなければ精度よく
並進移動量（α，β）を求めることができる。
【００８３】また、中心値からの距離によってサンプル
の順序を並び替えているため順序の最初の方の画像が照
合して照合評価値の最小値がでる確率が高い。
【００８４】したがって、変換画像を順次照合する際に
式１９、式２０の照合評価値を用いれば、照合評価値計
算を途中で打ち切る可能性が高くなり、結果的に照合処
理が高速になる。
【００８５】本実施例による画像照合部４では、複数の
並進移動量（α，β）を用いて左画像を画像変換して、
照合して、照合評価値を得る。照合した並進移動量
（α，β）は、照合評価値を最小にするパラメータであ
る。
【００８６】（６）状態推定部５、状態メモリ６、状態
予測部７の機能 状態推定部５、状態メモリ６、状態予測部７では、画像
照合部４で得られた変換パラメータが入力され、カルマ
ンフィルタを用いて現在の道路平面を推定する。
【００８７】状態メモリ６は、時刻ｔにおける車両の状
態情報である状態ベクトルＸｔ と、その共分散行列Ｐ
ｔ を記憶している。
【００８８】状態メモリ６で記憶するのは、上記のよう
な画像の並進移動に関する情報であるが、これから式A
を用いて道路平面の傾きを推定することができる （６−１）状態ベクトルの説明 状態ベクトルＸｔ は、並進移動方向を表す単位ベクト
ルｃｘ ，ｃｙ と、並進移動の大きさｌ、ｌの単位時
間当たりの変化量ａを用いて、以下の式２１で表す。
【００８９】
【数１４】 （６−２）共分散行列の説明 共分散行列Ｐｔは、状態ベクトルの各要素の共分散を表
す４行４列の行列である。この行列のｉ行ｊ列の要素
は、ｉ＝ｊなら状態ベクトルのｉ番目の要素の分散を表
し、ｉとｊが等しくないなら状態ベクトルのｉ番目とｊ
番目の要素の共分散を表す。
【００９０】分散は、その要素の値が変化する度合いを
表し、共分散は、二つの要素が共に変化する度合いを表
している。つまり、分散、共分散が小さければ状態ベク
トルの値は変化が小さいために信頼性が高いことを表
す。逆に、分散と共分散が大きければ状態ベクトルの値
は変化する度合いが大きいために信頼性が低くなる。
【００９１】（６−３）計測値の説明 また、画像照合部４で得られた、時刻ｔにおける並進移
動量に関する計測値をＹｔ とすると、
【数１５】 とする。
【００９２】（６−５）状態遷移関数ｆ 車両の振動と道路の傾きの変化が滑らかであると仮定し
て、ある状態Ｘｔ から単位時間だけ経過した後の状態
ベクトルＸｔ＋１ は、以下の式２３で示す状態遷移関
数ｆで表すことにする。
【００９３】
【数１６】 （６−６）カルマンフィルタの説明 カルマンフィルタは、画像から計測した時系列座標デー
タに上記の状態遷移モデルを当てはめ、モデルパラメー
タの最適値を計算するアルゴリズムである。
【００９４】計測値Ｙｔ と、状態ベクトルの関係を以
下の式２４によって定義する。
【００９５】
【数１７】 すると、車両の状態ベクトルを推定するカルマンフィル
タは、以下の式２５から式２９で表される。
【００９６】
【数１８】 ここでｍｔ ，ｎｔ は、状態遷移での誤差と計測誤差
を表す平均０のガウス白色雑音ベクトルであり、それぞ
れ共分散行列をＱｔ ，Ｓｔ とする。
【００９７】
【数１９】 また、上式でハットＦｔ、ハットＨｔは、定義される４
×４行列、２×４行列である。４は状態ベクトルの長
さ、２は計測ベクトルの長さである。
【００９８】この画像処理装置での行列の値を具体的に
示すと式３１と式３２になる。
【００９９】
【数２０】 （６−７）状態ベクトル、共分散行列の推定手順 上記の拡張カルマンフィルタを用いた時刻ｔでの状態ベ
クトル、共分散行列の推定手順は、以下の手順になる。
【０１００】（ステップ１）状態予測部７において、式
２５，式２８により、時刻ｔでの車両の状態情報である
状態ベクトルＸｔ／ｔ−１と共分散行列Ｐ
ｔ／ｔ−１を、時刻（ｔ−１）での状態ベクトルＸ
ｔ−１／ｔ−１と共分散行列Ｐｔ−１／ｔ−１を用いて
予測する。
【０１０１】（ステップ２）状態予測部７において、式
２７でカルマンゲインＫｔを、式２８で計算した共分散
行列Ｐｔ／ｔ−１を用いて計算する。
【０１０２】（ステップ３）画像変換部３では、時刻
（ｔ−１）での状態ベクトルＸｔ／ｔ−１とに基づいて
式１４の確率分布を求め、ここからｇｉ ＝（αｉ ，
βｉ ）（ｉは１〜ｎ）を選択する。ｇｉ は、例えば
この確率分布にしたがってランダムに選択してもよい
し、確率分布で等確率になるように選択してもよい。
【０１０３】（ステップ４）画像変換部３では、選択し
た並進移動量の中の一つの並進移動量（α，β）に基づ
いてアフィン変換の変換パラメータを式７から求める。
【０１０４】（ステップ５）画像変換部３では、求めた
変換パラメータにより時刻ｔにおける左画像を右画像の
視点へアフィン変換する。
【０１０５】（ステップ６）画像照合部４では、時刻ｔ
における右画像と、時刻ｔにおける変換した左画像から
照合領域を抽出する。
【０１０６】（ステップ７）画像照合部４では、右画像
と、左画像の撮影条件による違いから明度を式９により
補正する。
【０１０７】（ステップ８）画像照合部４では、時刻ｔ
における右画像と、時刻ｔにおける変換した左画像と右
画像の照合を前記で説明した４つの照合方法の中から一
つの照合方法で照合して、照合評価値を求める。
【０１０８】（ステップ９）画像照合部４では、時刻ｔ
における右画像と、時刻ｔにおける変換した左画像とを
照合を、前記で説明した４つの照合方法の中から一つの
照合方法で照合して、時刻ｔにおける照合評価値を求め
る。
【０１０９】（ステップ１０）前記したステップ４〜９
を繰り返して、時刻ｔにおける最もよい照合評価値を求
める。
【０１１０】（ステップ１１）時刻ｔにおける最もよい
照合評価値に対応する並進移動量（α，βを、求める時
刻ｔにおける並進移動量Ｙｔ とする。
【０１１１】（ステップ１２）状態推定部５では、時刻
ｔにおける並進移動量Ｙｔ と、状態ベクトルＸｔ／
ｔ−１と、共分散行列Ｐｔ／ｔ−１に基づいて式２６、
式２９により、時刻ｔでの状態ベクトルＸｔ／ｔと、共
分散行列Ｐｔ／ｔを推定する。
【０１１２】（ステップ１３）そして、ステップ１〜１
２を繰り返して、各時刻における状態ベクトルＸｔ／ ｔ
と共分散行列Ｐｔ／ｔを推定する。
【０１１３】（６−８）道路平面の推定 次に、道路平面の推定について説明する。
【０１１４】式９と式１３で説明したように、道路の傾
きが変化すると、カメラで撮影した画像上では、画像照
合部４で左右の画像の照合する位置が一定の直線上を並
進移動する変化になって現れる。
【０１１５】そして、状態メモリ６は、この照合位置の
並進移動量を予測推定するための情報を記憶するメモリ
であるが、道路の傾きは状態メモリ６の情報から計算す
ることができる。
【０１１６】道路の傾きをＢとし、そのときの画像照合
位置の移動量を式９により（Ｂ×ｈ １３，Ｂ×ｈ２３）
とする。
【０１１７】この計算で用いるｈ１３，ｈ２３の値は、
傾きのある道路平面上の座標とその投影先座標の式８で
用いられる変数である。
【０１１８】予め平坦な道路上に車両を置いて、高さが
既知の物体を車両の前方に置き、この物体のが傾いた道
路平面上にあると仮定したときの道路の傾きと、撮影し
た左右の画像上でのこの物体の座標と、道路が平面であ
ると仮定して計算した式８の他の変数を用いて、
ｈ１３，ｈ２３の値を計算することができる。
【０１１９】状態メモリ６では、時刻ｔにおける並進移
動方向の単位ベクトルｃｘ，ｃｙと並進移動量ｌを記憶
しているので、時刻ｔにおける道路の傾きＢは、それら
の値から式３３によって計算できる。
【０１２０】 Ｂ＝ｌ×sqrt（ｃｘ ２＋ｃｙ ２）／sqrt（ｈ１３ ２＋ｈ２３ ２） （３ ３）
【０１２１】
【発明の効果】本発明によれば、アフィン変換の並進移
動量に着目して、車両の状態情報を予測するために、起
伏のある道路を車両が通行する場合、車両への人員の搭
載状態や荷物の積載状態が変わった場合、車両の振動や
道路の傾斜があった場合など、道路平面と車両に取り付
けたカメラの位置姿勢の関係、つまり車両から見た道路
平面の傾きが変化したときでも、確実に車両の状態情報
を予測できる。
【０１２２】また、複数の並進移動量から、画像の照合
結果により最適な並進移動量を選択する際、カルマンフ
ィルタを用いるので効率的に計算できる。
【０１２３】さらに、画像の照合により道路平面を推定
するため、白線の有無にかかわらず推定ができる。
【図面の簡単な説明】
【図１】本発明の一実施形態を示す画像処理装置の構成
図である。
【図２】道路平面とカメラの位置関係を示す図である。
【図３】カメラの投影系の説明図である。
【図４】照合領域を示す図である。
【図５】画像照合部の処理手順を示す図である。
【図６】ランダムサンプルを示す図である。
【符号の説明】
１ 画像入力部 ２ 画像蓄積部 ３ 画像変換部 ４ 画像照合部 ５ 状態推定部 ６ 状態メモリ ７ 状態予測部
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｊ Ｋ Ｆターム(参考） 5B057 AA16 BA02 CA12 CA16 CB12 CB16 CD11 CD20 DA20 DB02 DC34 DC36 5C022 AA04 AB61 5C054 AA01 CA04 CH01 EA01 EA05 EC07 ED07 FC04 FC15 FD01 GB15 HA05 HA30 5H180 AA01 CC04 LL01 LL02 LL04 LL06 5L096 BA04 CA04 CA05 DA02 FA25 FA34 GA08 GA55 HA02 JA03

Claims (8)

    【特許請求の範囲】
  1. 【請求項１】道路平面上の車両に取り付けられた異なる
    視点を持つ複数の撮像装置から前記道路平面を時系列に
    撮影して、この時系列に撮影した画像に基づいて前記複
    数の撮像装置の中の一の撮像装置で撮影された画像を、
    前記他の撮像装置の位置から見たアフィン変換の変換パ
    ラメータを用いて変換する画像処理装置において、 時刻（ｔ−１）における車両の状態情報から時刻ｔにお
    ける車両の状態情報を予測する状態情報第１予測手段
    と、 前記一の撮像装置で撮影された時刻ｔにおける画像と、
    前記他の撮像装置で撮影された時刻ｔにおける画像と、
    前記予測した時刻ｔにおける車両の状態情報とを用い
    て、時刻ｔにおける前記アフィン変換の並進成分である
    並進移動量を推定する並進移動量推定手段と、 前記推定した時刻ｔにおける並進移動量と、前記予測し
    た時刻ｔにおける車両の状態情報を用いて、時刻ｔにお
    ける車両の状態情報を予測する状態情報第２予測手段
    と、 を有することを特徴とする画像処理装置。
  2. 【請求項２】前記並進移動量推定手段は、 前記予測した時刻ｔにおける車両の状態情報を用いて時
    刻ｔにおける並進移動量の確率分布を求め、 この確率分布に基づいて一の並進移動量を選択し、この
    選択した並進移動量に基づいて変換パラメータを求め、
    この求めた変換パラメータに基づいて前記一の撮像装置
    で撮影された時刻ｔにおける画像を、前記他の撮像装置
    の位置から見た変換し、前記変換した時刻ｔにおける画
    像と、前記他の撮像装置で撮影された時刻ｔにおける画
    像を照合して時刻ｔにおける照合評価値を求め、 前記選択する並進移動量を変化させて、前記時刻ｔにお
    ける照合評価値が最もよい並進移動量を、時刻ｔにおけ
    る並進移動量と推定することを特徴とする請求項１記載
    の画像処理装置。
  3. 【請求項３】前記状態情報第１予測手段は、 前記時刻（ｔ−１）における車両の状態情報から前記時
    刻ｔにおける車両の状態情報をカルマンフィルタによっ
    て予測することを特徴とする請求項１または２記載の画
    像処理装置。
  4. 【請求項４】前記状態情報第２予測手段は、 前記推定した時刻ｔにおける並進移動量と、前記予測し
    た時刻ｔにおける車両の状態情報を用いて、前記時刻ｔ
    における車両の状態情報をカルマンフィルタによって推
    定することを特徴とする請求項１から３のうちのいずれ
    か一項に記載の画像処理装置。
  5. 【請求項５】前記車両の状態情報が、状態ベクトルと共
    分散行列であることを特徴とする請求項１から４のうち
    のいずれか一項に記載の画像処理装置。
  6. 【請求項６】前記時刻ｔにおける並進移動量に基づい
    て、車両を中心とした撮像装置に対する時刻ｔにおける
    道路平面の傾きを求める道路平面推定手段を有すること
    を特徴とする請求項１から５のうちのいずれか一項に記
    載の画像処理装置。
  7. 【請求項７】道路平面上の車両に取り付けられた異なる
    視点を持つ複数の撮像装置から前記道路平面を時系列に
    撮影して、この時系列に撮影した画像に基づいて前記複
    数の撮像装置の中の一の撮像装置で撮影された画像を、
    前記他の撮像装置の位置から見たアフィン変換の変換パ
    ラメータを用いて変換する画像処理方法において、 時刻（ｔ−１）における車両の状態情報から時刻ｔにお
    ける車両の状態情報を予測する状態情報第１予測ステッ
    プと、 前記一の撮像装置で撮影された時刻ｔにおける画像と、
    前記他の撮像装置で撮影された時刻ｔにおける画像と、
    前記予測した時刻ｔにおける車両の状態情報とを用い
    て、時刻ｔにおける前記アフィン変換の並進成分である
    並進移動量を推定する並進移動量推定ステップと、 前記推定した時刻ｔにおける並進移動量と、前記予測し
    た時刻ｔにおける車両の状態情報を用いて、時刻ｔにお
    ける車両の状態情報を予測する状態情報第２予測ステッ
    プと、 を有することを特徴とする画像処理方法。
  8. 【請求項８】道路平面上の車両に取り付けられた異なる
    視点を持つ複数の撮像装置から前記道路平面を時系列に
    撮影して、この時系列に撮影した画像に基づいて前記複
    数の撮像装置の中の一の撮像装置で撮影された画像を、
    前記他の撮像装置の位置から見たアフィン変換の変換パ
    ラメータを用いて変換する画像処理方法をコンピュータ
    によって実現するプログラムにおいて、 時刻（ｔ−１）における車両の状態情報から時刻ｔにお
    ける車両の状態情報を予測する状態情報第１予測機能
    と、 前記一の撮像装置で撮影された時刻ｔにおける画像と、
    前記他の撮像装置で撮影された時刻ｔにおける画像と、
    前記予測した時刻ｔにおける車両の状態情報とを用い
    て、時刻ｔにおける前記アフィン変換の並進成分である
    並進移動量を推定する並進移動量推定機能と、 前記推定した時刻ｔにおける並進移動量と、前記予測し
    た時刻ｔにおける車両の状態情報を用いて、時刻ｔにお
    ける車両の状態情報を予測する状態情報第２予測機能
    と、 を実現することを特徴とする画像処理方法のプログラ
    ム。
JP2002092980A 2002-03-28 2002-03-28 画像処理装置及びその方法 Expired - Fee Related JP3797949B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002092980A JP3797949B2 (ja) 2002-03-28 2002-03-28 画像処理装置及びその方法
US10/391,626 US7149327B2 (en) 2002-03-28 2003-03-20 Image processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002092980A JP3797949B2 (ja) 2002-03-28 2002-03-28 画像処理装置及びその方法

Publications (2)

Publication Number Publication Date
JP2003288602A true JP2003288602A (ja) 2003-10-10
JP3797949B2 JP3797949B2 (ja) 2006-07-19

Family

ID=28449641

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002092980A Expired - Fee Related JP3797949B2 (ja) 2002-03-28 2002-03-28 画像処理装置及びその方法

Country Status (2)

Country Link
US (1) US7149327B2 (ja)
JP (1) JP3797949B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006250722A (ja) * 2005-03-10 2006-09-21 Toshiba Corp キャリブレーション装置及びその方法、キャリブレーション用プログラム
JP2007510575A (ja) * 2003-11-11 2007-04-26 テクニクス エージー 車両の走行および／または交通状況記録装置と記録評価方法
JP2009089365A (ja) * 2007-09-20 2009-04-23 Delphi Technologies Inc 物体追跡の方法
WO2012169131A1 (ja) * 2011-06-06 2012-12-13 パナソニック株式会社 キャリブレーション装置及びキャリブレーション方法
JP2015228132A (ja) * 2014-05-30 2015-12-17 株式会社Ｊｖｃケンウッド 車線認識装置、車線認識方法、及び、プログラム
JP2016525487A (ja) * 2013-07-31 2016-08-25 カッツ、エレン ヨセフKATZ, Elen Josef 障害物識別及び回避システム並びに方法
JP2019511780A (ja) * 2016-03-15 2019-04-25 コノート、エレクトロニクス、リミテッドＣｏｎｎａｕｇｈｔ Ｅｌｅｃｔｒｏｎｉｃｓ Ｌｔｄ． 自動車両の道路付近の物体を検出するための方法、コンピュータデバイス、運転者支援システム、及び、自動車両
JPWO2020039837A1 (ja) * 2018-08-22 2021-08-10 日立Astemo株式会社 画像処理装置

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4406381B2 (ja) * 2004-07-13 2010-01-27 株式会社東芝 障害物検出装置及び方法
FR2874300B1 (fr) * 2004-08-11 2006-11-24 Renault Sas Procede de calibration automatique d'un systeme de stereovision
US7583819B2 (en) * 2004-11-05 2009-09-01 Kyprianos Papademetriou Digital signal processing methods, systems and computer program products that identify threshold positions and values
JP2006252473A (ja) * 2005-03-14 2006-09-21 Toshiba Corp 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
US20080094471A1 (en) * 2005-05-20 2008-04-24 Toyota Jidosha Kabushiki Kaisha Image Processor for Vehicles
US8736672B2 (en) * 2006-08-24 2014-05-27 Reald Inc. Algorithmic interaxial reduction
US7886334B1 (en) * 2006-12-11 2011-02-08 Qurio Holdings, Inc. System and method for social network trust assessment
US9195996B1 (en) 2006-12-27 2015-11-24 Qurio Holdings, Inc. System and method for classification of communication sessions in a social network
JP5234894B2 (ja) * 2007-06-28 2013-07-10 富士重工業株式会社 ステレオ画像処理装置
JP2009041972A (ja) * 2007-08-07 2009-02-26 Toshiba Corp 画像処理装置及びその方法
JP2009053818A (ja) * 2007-08-24 2009-03-12 Toshiba Corp 画像処理装置及びその方法
US8264537B2 (en) * 2007-09-28 2012-09-11 The Mainz Group Llc Photogrammetric networks for positional accuracy
JP4956452B2 (ja) * 2008-01-25 2012-06-20 富士重工業株式会社 車両用環境認識装置
JP4876080B2 (ja) * 2008-01-25 2012-02-15 富士重工業株式会社 環境認識装置
TW200937348A (en) * 2008-02-19 2009-09-01 Univ Nat Chiao Tung Calibration method for image capturing device
DE102008026876A1 (de) 2008-06-05 2009-12-10 Hella Kgaa Hueck & Co. Stereokamerasystem und Verfahren zum Ermitteln mindestens eines Kalibrierfehlers eines Stereokamerasystems
CN102339463B (zh) * 2010-07-22 2015-10-21 首都师范大学 基于激光扫描仪标定线阵相机的系统及方法
JP6224543B2 (ja) * 2014-07-29 2017-11-01 アルプス電気株式会社 入力装置及び指判定方法並びにプログラム
EP3358295B1 (en) * 2015-09-28 2020-10-07 Kyocera Corporation Image processing device, stereo camera device, vehicle, and image processing method
US10784841B2 (en) * 2018-03-08 2020-09-22 Cnh Industrial America Llc Kalman filter for an autonomous work vehicle system
US11740078B2 (en) * 2020-07-21 2023-08-29 Argo AI, LLC Enhanced sensor alignment
CN111951553B (zh) * 2020-08-17 2022-11-11 上海电科智能系统股份有限公司 一种基于交通大数据平台与中观仿真模型的预测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4172554B2 (ja) * 1998-03-12 2008-10-29 富士重工業株式会社 ステレオカメラの調整装置
JP4256992B2 (ja) 1999-09-09 2009-04-22 株式会社東芝 障害物検出装置
JP4573977B2 (ja) * 1999-09-22 2010-11-04 富士重工業株式会社 監視システムの距離補正装置、および監視システムの消失点補正装置
JP2001243456A (ja) 2000-02-29 2001-09-07 Toshiba Corp 障害物検出装置及び障害物検出方法
US6535114B1 (en) * 2000-03-22 2003-03-18 Toyota Jidosha Kabushiki Kaisha Method and apparatus for environment recognition
US6577952B2 (en) * 2001-01-08 2003-06-10 Motorola, Inc. Position and heading error-correction method and apparatus for vehicle navigation systems

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007510575A (ja) * 2003-11-11 2007-04-26 テクニクス エージー 車両の走行および／または交通状況記録装置と記録評価方法
JP2006250722A (ja) * 2005-03-10 2006-09-21 Toshiba Corp キャリブレーション装置及びその方法、キャリブレーション用プログラム
JP2009089365A (ja) * 2007-09-20 2009-04-23 Delphi Technologies Inc 物体追跡の方法
WO2012169131A1 (ja) * 2011-06-06 2012-12-13 パナソニック株式会社 キャリブレーション装置及びキャリブレーション方法
US9424645B2 (en) 2011-06-06 2016-08-23 Panasonic Intellectual Property Management Co., Ltd. Calibration device and calibration method for a stereo camera without placing physical markers
JP2016525487A (ja) * 2013-07-31 2016-08-25 カッツ、エレン ヨセフKATZ, Elen Josef 障害物識別及び回避システム並びに方法
JP2015228132A (ja) * 2014-05-30 2015-12-17 株式会社Ｊｖｃケンウッド 車線認識装置、車線認識方法、及び、プログラム
JP2019511780A (ja) * 2016-03-15 2019-04-25 コノート、エレクトロニクス、リミテッドＣｏｎｎａｕｇｈｔ Ｅｌｅｃｔｒｏｎｉｃｓ Ｌｔｄ． 自動車両の道路付近の物体を検出するための方法、コンピュータデバイス、運転者支援システム、及び、自動車両
JPWO2020039837A1 (ja) * 2018-08-22 2021-08-10 日立Astemo株式会社 画像処理装置
JP7427594B2 (ja) 2018-08-22 2024-02-05 日立Astemo株式会社 画像処理装置

Also Published As

Publication number Publication date
US20030185421A1 (en) 2003-10-02
US7149327B2 (en) 2006-12-12
JP3797949B2 (ja) 2006-07-19

Similar Documents

Publication Publication Date Title
JP2003288602A (ja) 画像処理装置及びその方法
US7321386B2 (en) Robust stereo-driven video-based surveillance
EP2924653B1 (en) Image processing apparatus and image processing method
KR101188588B1 (ko) 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법
US10776946B2 (en) Image processing device, object recognizing device, device control system, moving object, image processing method, and computer-readable medium
US8102427B2 (en) Camera egomotion estimation from an infra-red image sequence for night vision
EP2889641B1 (en) Image processing apparatus, image processing method, program and image processing system
US6704621B1 (en) System and method for estimating ego-motion of a moving vehicle using successive images recorded along the vehicle's path of motion
US20050232463A1 (en) Method and apparatus for detecting a presence prior to collision
US20060140447A1 (en) Vehicle-monitoring device and method using optical flow
JP2000357233A (ja) 物体認識装置
KR102089343B1 (ko) 어라운드 뷰 모니터링 시스템 및 카메라 공차 보정 방법
JP2017151535A (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP2005217883A (ja) ステレオ画像を用いた道路平面領域並びに障害物検出方法
JP4256992B2 (ja) 障害物検出装置
JP6881084B2 (ja) 画像処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム
JP2001243456A (ja) 障害物検出装置及び障害物検出方法
Darms et al. Data fusion strategies in advanced driver assistance systems
JP2006072757A (ja) 物体検出装置
JP4106163B2 (ja) 障害物検出装置及びその方法
JP4661578B2 (ja) 移動体認識装置
JP3951734B2 (ja) 車両用外界認識装置
JP2007272461A (ja) 運動推定装置、方法及びプログラム
JP6582891B2 (ja) 空車枠特定システム、方法およびプログラム
JP2019160251A (ja) 画像処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060418

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100428

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100428

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110428

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees