JP2002245440A - 自己位置計測装置及びその方法 - Google Patents

Abstract

(57)【要約】 【課題】 車に搭載したＴＶカメラで取得した画像から
走行レーンに対する自車の位置を計測する。 【解決手段】 ＴＶカメラを用いて画像を取得する画像
入力部１と、この入力された画像を蓄積するための画像
蓄積部２と、走行レーンを示す道路上の線を抽出する画
像処理部３と、画像処理部３により抽出された道路上の
線の画像上の投影位置から自車の走行レーンに対する水
平位置を計算する位置計算部４と、位置計算部４により
計算した自車の走行レーンに対する位置を出力する出力
部５から構成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】車の安全運転を支援したり、
自動走行を実現するために、車に搭載したＴＶカメラで
取得した画像を用いて走行レーンに対する自車の位置を
計算する自己位置計測装置、その方法、そのプログラム
に関する。

【０００２】

【従来の技術】車に搭載したＴＶカメラを用いて車線を
検出して自車の走行レーンに対する位置を計測する自己
位置計測技術は、ドライバーが意図しない走行レーン逸
脱を検知して衝突事故を未然に防いだり、将来的には自
動車の自律走行を実現する上で極めて重要な技術であ
る。

【０００３】自己位置計測は通常、走行レーンを示す２
本の白線を画像処理により検出し、検出した画像上の線
の傾き及び位置と、事前に求めておいたカメラパラメー
タからカメラと２本の白線の幾何学的関係を計算すると
いう手順で行われる。

【０００４】カメラパラメータを求めるため、形状が既
知な物体等を用いて事前に行われる作業を「カメラキャ
リブレーション」と呼ぶ。カメラキャリブレーションで
求めるべきカメラパラメータには、カメラの取り付け位
置、カメラの向き、レンズの焦点距離等、画像中心等が
含まれる。

【０００５】カメラキャリブレーションで事前に求めて
おいたカメラパラメータから、画像処理により抽出した
２本とカメラとの３次元空間における位置関係が計算で
き、これより走行レーンに対する自車の位置を求めるこ
とが可能である。

【０００６】

【発明が解決しようとする課題】しかしながら、自己位
置計測装置が必要とするカメラキャリブレーションは多
大な時間と労力が必要であり、自己位置計測技術の実用
化を妨げる原因の１つとなっている。

【０００７】そこで、本発明は上記事情を鑑みてなされ
たもので、車載画像特有の幾何学的拘束を利用すること
により、カメラキャリブレーションの手間を大幅に軽減
し、従来よりも格段に簡便な自己位置計測装置、その方
法、そのプログラムを提供する。

【０００８】

【課題を解決するための手段】請求項１の発明は、画像
入力手段により入力された画像を蓄積する画像蓄積手段
と、基準面上に存在し、かつ、前記画像入力手段の光軸
と平行に延びるものと近似できる複数の指標物を、前記
画像蓄積手段に蓄積された画像から抽出する画像処理手
段と、前記画像処理手段により抽出された前記基準面上
の複数の指標物と、前記基準面に対する前記画像入力手
段の高さから、前記基準面上の複数の指標物を基準に前
記画像入力手段の位置情報を計算する位置計算手段と、
前記位置計算手段により計算した前記画像入力手段の位
置情報を出力する位置情報出力手段と、を有することを
特徴とする自己位置計測装置である。

【０００９】請求項２の発明は、前記位置計算手段は、
前記画像の走査線方向と空間の水平方向が一致すると近
似させて、前記基準面上の複数の指標物を基準に前記画
像入力手段の位置情報を計算することを特徴とする請求
項１に記載の自己位置計測装置である。

【００１０】請求項３の発明は、前記位置計算手段は、
前記基準面上の互いに平行な複数の指標物の内の２つの
指標物の画像への投影線の傾きの平均と、前記画像入力
手段の前記基準面に対する高さの積を、前記画像入力手
段の位置情報とすることを特徴とする請求項１，２に記
載の自己位置計測装置である。

【００１１】請求項４の発明は、前記画像入力手段は、
道路面が撮影された画像を取得し、前記画像処理手段
は、前記画像蓄積手段により蓄積された画像の中から前
記道路面を基準面となして、走行レーンを示す道路上の
複数の線を指標物として抽出することを特徴とする請求
項１，２，３に記載の自己位置計測装置である。

【００１２】なお、本発明では、前記画像入力手段は、
自動車に搭載された画像入力手段を用いて画像を取得す
ることができる。

【００１３】請求項５の発明は、画像入力手段で入力さ
れた画像を蓄積する画像蓄積ステップと、基準面上に存
在し、かつ、前記画像入力手段の光軸と平行に延びるも
のと近似できる複数の指標物を、前記画像蓄積ステップ
に蓄積された画像から抽出する画像処理ステップと、前
記画像処理ステップにより抽出された前記基準面上の複
数の指標物と、前記基準面に対する前記画像入力手段の
高さから、前記基準面上の複数の指標物を基準に前記画
像入力手段の位置情報を計算する位置計算ステップと、
前記位置計算ステップにより計算した前記画像入力手段
の位置情報を出力する位置情報出力ステップと、を有す
ることを特徴とする自己位置計測方法である。

【００１４】請求項６の発明は、画像入力手段により入
力された画像を蓄積する画像蓄積機能と、基準面上に存
在し、かつ、前記画像入力手段の光軸と平行に延びるも
のと近似できる複数の指標物を、前記画像蓄積機能に蓄
積された画像から抽出する画像処理機能と、前記画像処
理機能により抽出された前記基準面上の複数の指標物
と、前記基準面に対する前記画像入力手段の高さから、
前記基準面上の複数の指標物を基準に前記画像入力手段
の位置情報を計算する位置計算機能と、前記位置計算機
能により計算した前記画像入力手段の位置情報を出力す
る位置情報出力機能と、をコンピュータによって実現す
ることを特徴とする自己位置計測方法のプログラムであ
る。

【００１５】

【発明の実施の形態】以下で本発明の実施例を図１から
図５に従い説明する。

【００１６】本実施例は車に搭載したＴＶカメラを用い
て走行レーンを示す２本の線を抽出し、その２本の線に
対するカメラの位置を計測する場合を想定している。以
下ではＴＶカメラを搭載した車を「自車」と呼ぶ。

【００１７】図１は、本実施例の自己位置計測装置の概
略構成を示すもので、ここでは画像入力部１、画像蓄積
部２、画像処理部３、位置計算部４、出力部５から構成
している。これら各構成は、装置として実現してもよ
く、また、これら各構成の機能を実現できるようにコン
ピュータのプログラムで実現してもよい。

【００１８】図５は、この自己位置計測装置の処理の流
れを示すフローチャートである。

【００１９】また、本実施例では図２に示すように、道
路面をＸＺ平面（Ｙ＝０）とし、走行レーンを示す２本
の線の中心線をＺ軸、また、ＸＹ平面（Ｚ＝０）がカメ
ラ視点を通るように座標系を設定する。この座標系では
カメラの位置をＸｃ（以下、文字の横倍角はベクトル
を表す）とすると、Ｘｃ＝（Ｘ_Ｃ ，Ｙ_Ｃ ，０)
^Ｔ （^Ｔ は転置記号、以下同様）と表すことができ
る。また、２本の線の間隔をＸ_０ とすると、走行レー
ンを示す２本の白線を指標物として、この指標物である
線Ｌ_１ ，Ｌ_２ の方程式は各々Ｘ＋Ｘ_０ ／２＝Ｙ＝
０，Ｘ−Ｘ_０ ／２＝Ｙ＝０と表すことが可能である。

【００２０】（画像入力部１）画像入力部１は、自車に
搭載したＴＶカメラより道路画像を取得する（図５のス
テップ１）。この画像は、静止画像でよく、また、ビデ
オカメラによって時系列に入力された動画像のうちの一
画像でもよい。

【００２１】（画像蓄積部２）画像蓄積部２は、画像入
力部１により入力された画像を画像メモリに蓄積するも
のである（図５のステップ２）。

【００２２】（画像処理部３）画像処理部３は、画像蓄
積部２により画像から走行レーンを示す２本の線を抽出
する。この２本の線の検出は、例えば、“比較的コント
ラストが高く、かつ、前後方向に長い線”等の条件を使
ってエッジ抽出処理とＨｏｕｇｈ変換等を用いて行う。
画像から抽出されたＬ_１ ，Ｌ_２ の投影像を図３に示
すように各々ｌ _１ ，ｌ_２ とする。これらは３次元空
間中では互いに平行であるが、画像上では消失点と呼ば
れる交点ｕｖ＝（ｕ_ｖ ，ｖ_Ｖ ）^Ｔ を持つ。画像
上にｕｖ座標系を設定し、ｌ_１ ，ｌ_２ の方程式を

【数１】 とおく（図５のステップ３）。

【００２３】ここで、ａ_１ ，ａ_２ は、ｕｖ座標系の
画像上の２つの直線ｌ_１ ，ｌ_２の傾きを示している。

【００２４】そして、この画像処理部３において、ａ
_１ ，ａ_２ の値と、消失点ｕｖ＝（ｕ_ｖ ，
ｖ_Ｖ ）^Ｔ を計算しておく（図５のステップ４）。

【００２５】（位置計算部４）位置計算部４は、画像処
理部３で抽出された２本の直線の画像上の方程式からカ
メラの２本の線に対する水平位置Ｘ_Ｃ を所定の近似を
用いて計算する（図５のステップ５）。

【００２６】空間中の任意の点（Ｘ，Ｙ，Ｚ）の画像へ
の投影点を（ｕ，ｖ）とすると、一般に、

【数２】 という関係式が成り立つ。これは射影カメラモデルと呼
ばれる一般的なカメラモデルを表す。Ｐ_ｊｉ（ｉ＝１〜
４、ｊ＝１〜３）はカメラの位置、向き、焦点距離等に
依存するパラメータである。ここでωは

【数３】 と表すことができる。（Ｘ_Ｃ ，Ｙ_Ｃ ，０) は前述の
カメラ位置であり、ｋ＝（Ｐ_３１，Ｐ_３２，Ｐ_３３）
は図２に示すようにカメラの光軸方向を表す。

【００２７】ｋが他の座標軸に比べＺ軸方向に近く
（Ｐ_３１＜Ｐ_３３，Ｐ_３２＜Ｐ_３３）、かつ、対象とす
る空間の水平（Ｘ）、垂直方向（Ｙ）の広がりが奥行き
（Ｚ）に比べて小さいとすると

【数４】 なる近似式が成り立つ。

【００２８】Ｐ_ｊｉ（ｉ＝１〜４、ｊ＝１〜３）は定数
倍しても同一のカメラモデルを表すためＰ_３３＝１とし
ても一般性を失わない。すると、（３）式は、ω＝Ｚと
近似できる。

【００２９】式（２）にω＝Ｚを代入して整理すると、

【数５】 となる。

【００３０】また、上式左辺の行列における第１及び第
２列のｍ１＝（Ｐ_１１，Ｐ_２１） ^Ｔ ，ｍ２＝（Ｐ
_１２，Ｐ_２２）^Ｔ は各々、図４に示すように３次元空
間における水平方向（Ｘ軸方向）、垂直方向（Ｙ軸方
向）の画像への投影を表し、ｍ１，ｍ２が各々、
画像上でほぼ水平方向（走査線方向）、垂直方向（走査
線に対して垂直な方向）を向いているとすれば、

【数６】 となる。

【００３１】さらに縦横比が画像への投影の前後で保存
されるとすると、

【数７】 となる。

【００３２】また、カメラ位置（Ｘ_Ｃ ，Ｙ_Ｃ ，０)
は以下の関係式を満たす。

【００３３】

【数８】 である。

【００３４】これと式（６）より、

【数９】

【数１０】 となる。

【００３５】また、式（５）を変形すると、

【数１１】 となる。Ｚ軸に平行な直線上の無限遠方の点の投影像が
消失点ｕｖだから上式でＺ→∞として、

【数１２】 である。これより式（１１）は

【数１３】 となる。

【００３６】直線Ｌ_１ （Ｘ＝−Ｘ_０ ／２，Ｙ＝０）
の画像上の方程式がｕ−ｕ_ｖ ＝ａ _１ （ｖ−ｖ_ｖ )
だから、

【数１４】 同様に、直線Ｌ_２ （Ｘ＝Ｘ_０ ／２，Ｙ＝０）の画像
上の方程式がｕ−ｕ_ｖ＝ａ_２ （ｖ−ｖ_ｖ ) だから、

【数１５】 である。ここで式（６）を用いた。両式から、

【数１６】 これと式（７），（１０）から、

【数１７】 位置計算部４は上述のように、２つの直線の傾き
ａ_１ ，ａ_２ とカメラの高さ Ｙ_Ｃ からカメラの水
平位置Ｘ_Ｃ を計算する（図５のステップ５）。

【００３７】この計算の場合に、カメラの高さＹ
_Ｃ は、予め計測しておき、２つの直線の傾きａ_１ ，
ａ_２ は、画像処理部３で予め計算した値を用いる。

【００３８】（出力部５）出力部５では、位置計算部４
で計算した自車の水平位置を出力する（図５のステップ
６）。

【００３９】以上のようにして、車に搭載したカメラを
用いて走行レーン内のカメラの位置をカメラの高さのみ
を用いて計算することができる。

【００４０】（変更例１）本実施例は画像処理部３で道
路上の２本の白線を抽出しているが、３本以上の線を抽
出してもよい。

【００４１】（変更例２）走行レーンを示す２本の線を
直線として指標物としたが、カーブ道路上の曲線であっ
ても同様に適用可能である。

【００４２】（変更例３）白線以外の指標物として、点
線状態にマークされた白線、ガードレール等でもよく、
消失点に向かって伸びる線や物体、または、所定間隔毎
に点在する標識等でもよい。

【００４３】その他、本発明の要旨を逸脱しない範囲で
変形を実施できる。

【００４４】

【発明の効果】本発明は、事前計測が容易な基準面（例
えば、道路面）からの画像入力手段の高さのみを用いて
画像入力手段の位置を計測するため、取り付け時の調整
の手間が格段に減少し、実用的効果は多大である。

【図面の簡単な説明】

【図１】本発明の一実施例を示す全体の構成図である。

【図２】カメラと基準面の位置関係を説明するための図
である。

【図３】基準面上の２本の線の画像への投影を説明する
ための図である。

【図４】カメラの姿勢に関する条件を説明するための図
である。

【図５】自己位置計測装置の処理の流れを示すフローチ
ャートである。

【符号の説明】

１ 画像入力部 ２ 画像蓄積部 ３ 画像処理部 ４ 位置計算部 ５ 出力部

Claims (6)

【特許請求の範囲】
1. 【請求項１】画像入力手段により入力された画像を蓄積
   する画像蓄積手段と、 基準面上に存在し、かつ、前記画像入力手段の光軸と平
   行に延びるものと近似できる複数の指標物を、前記画像
   蓄積手段に蓄積された画像から抽出する画像処理手段
   と、 前記画像処理手段により抽出された前記基準面上の複数
   の指標物と、前記基準面に対する前記画像入力手段の高
   さから、前記基準面上の複数の指標物を基準に前記画像
   入力手段の位置情報を計算する位置計算手段と、 前記位置計算手段により計算した前記画像入力手段の位
   置情報を出力する位置情報出力手段と、 を有することを特徴とする自己位置計測装置。
2. 【請求項２】前記位置計算手段は、 前記画像の走査線方向と空間の水平方向が一致すると近
   似させて、前記基準面上の複数の指標物を基準に前記画
   像入力手段の位置情報を計算することを特徴とする請求
   項１に記載の自己位置計測装置。
3. 【請求項３】前記位置計算手段は、 前記基準面上の互いに平行な複数の指標物の内の２つの
   指標物の画像への投影線の傾きの平均と、前記画像入力
   手段の前記基準面に対する高さの積を、前記画像入力手
   段の位置情報とすることを特徴とする請求項１，２に記
   載の自己位置計測装置。
4. 【請求項４】前記画像入力手段は、 道路面が撮影された画像を取得し、 前記画像処理手段は、 前記画像蓄積手段により蓄積された画像の中から前記道
   路面を基準面となして、走行レーンを示す道路上の複数
   の線を指標物として抽出することを特徴とする請求項
   １，２，３に記載の自己位置計測装置。
5. 【請求項５】画像入力手段で入力された画像を蓄積する
   画像蓄積ステップと、 基準面上に存在し、かつ、前記画像入力手段の光軸と平
   行に延びるものと近似できる複数の指標物を、前記画像
   蓄積ステップに蓄積された画像から抽出する画像処理ス
   テップと、 前記画像処理ステップにより抽出された前記基準面上の
   複数の指標物と、前記基準面に対する前記画像入力手段
   の高さから、前記基準面上の複数の指標物を基準に前記
   画像入力手段の位置情報を計算する位置計算ステップ
   と、 前記位置計算ステップにより計算した前記画像入力手段
   の位置情報を出力する位置情報出力ステップと、 を有することを特徴とする自己位置計測方法。
6. 【請求項６】画像入力手段により入力された画像を蓄積
   する画像蓄積機能と、 基準面上に存在し、かつ、前記画像入力手段の光軸と平
   行に延びるものと近似できる複数の指標物を、前記画像
   蓄積機能に蓄積された画像から抽出する画像処理機能
   と、 前記画像処理機能により抽出された前記基準面上の複数
   の指標物と、前記基準面に対する前記画像入力手段の高
   さから、前記基準面上の複数の指標物を基準に前記画像
   入力手段の位置情報を計算する位置計算機能と、 前記位置計算機能により計算した前記画像入力手段の位
   置情報を出力する位置情報出力機能と、 をコンピュータによって実現することを特徴とする自己
   位置計測方法のプログラム。