JP2002122425A - 周辺認識装置 - Google Patents

周辺認識装置

Info

Publication number
JP2002122425A
JP2002122425A JP2000314119A JP2000314119A JP2002122425A JP 2002122425 A JP2002122425 A JP 2002122425A JP 2000314119 A JP2000314119 A JP 2000314119A JP 2000314119 A JP2000314119 A JP 2000314119A JP 2002122425 A JP2002122425 A JP 2002122425A
Authority
JP
Japan
Prior art keywords
camera
image information
distance
parallax
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000314119A
Other languages
English (en)
Inventor
Katsuyasu Okubo
勝康 大久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2000314119A priority Critical patent/JP2002122425A/ja
Publication of JP2002122425A publication Critical patent/JP2002122425A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 本発明は、周辺認識装置に関し、複数のカメ
ラによることなく、単一のカメラを用いて画像内の3次
元情報を得ることを目的とする。 【解決手段】 周辺視界を撮影するカメラ20を、モー
タ22の駆動により、レンズ部20aが水平方向に所定
距離だけ離れた車体上の互いに異なる位置間で移動でき
るように鉛直方向軸24の軸回りに回転させる。上記互
いに異なる位置のうち一方の位置でカメラ20により取
得される画像情報の座標軸と、他方の位置で取得される
画像情報の座標軸とを一致させた状況下で、両画像情報
における対象物の2次元位置のずれ量(視差)を算出す
る。そして、算出されたずれ量、及び、上記所定距離等
の設計上のパラメータに基づいて、カメラ20と対象物
30との距離を測定する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、周辺認識装置に係
り、特に、カメラを用いて周辺状況を撮影し、その画像
情報に基づいて該画像情報に含まれる対象物を検出する
うえで好適な周辺認識装置に関する。
【0002】
【従来の技術】従来より、例えば特開平11−6397
6号公報に開示される如く、一対の撮影手段を用いて対
象物までの距離を検出する装置が知られている。この装
置は、一方の撮影手段を用いて得た画像情報と他方の撮
影手段を用いて得た画像情報とを比較し、両画像情報の
ずれ量に基づいて対象物までの距離を検出する。従っ
て、上記従来の装置によれば、一対の撮影手段の取得し
た画像情報に基づいて正確に対象物を検知することが可
能となっている。
【0003】
【発明が解決しようとする課題】しかしながら、上記従
来の装置では、対象物までの距離の検出が一対の撮影手
段を用いて行われているため、撮影手段の撮影した結果
得られた画像内の3次元情報の取得を簡素な構成で実現
することができなかった。
【0004】本発明は、上述の点に鑑みてなされたもの
であり、複数のカメラによることなく、単一のカメラを
用いて画像内の3次元情報を得ることが可能な周辺認識
装置を提供することを目的とする。
【0005】
【課題を解決するための手段】上記の目的は、請求項1
に記載する如く、周辺状況を撮影するカメラを、互いに
異なる位置間で可動させるカメラ位置変更手段と、前記
互いに異なる位置のうち一方の位置で前記カメラが撮影
した結果得られた画像情報と、他方の位置で前記カメラ
が撮影した結果得られた画像情報との関係に基づいて、
両画像情報に含まれる対象物についての視差を算出する
視差算出手段と、前記視差算出手段により算出された前
記視差に基づいて、該対象物までの距離を検出する距離
検出手段と、を備えることを特徴とする周辺認識装置に
より達成される。
【0006】請求項1記載の発明において、カメラは、
互いに異なる位置間で可動される。一方の位置でカメラ
が撮影した結果得られた画像情報と、他方の位置でカメ
ラが撮影した結果得られた画像情報との関係に基づい
て、両画像情報に含まれる対象物についての視差が算出
される。そして、その視差に基づいて対象物までの距離
が検出される。このように、本発明によれば、画像情報
に含まれる対象物までの距離を、複数のカメラによるこ
となく単一のカメラを用いて検出することが可能とな
る。
【0007】ところで、対象物上の互いに異なる少なく
とも2点までの距離をそれぞれ検出し、それらの距離同
士を比較することとすれば、画像情報に含まれる対象物
が立体物であるか否かを判定することが可能となると共
に、立体物の際にはその大きさを検出することが可能と
なる。
【0008】従って、請求項2に記載する如く、請求項
1記載の周辺認識装置において、前記視差算出手段は、
前記対象物上の互いに異なる点についてそれぞれ視差を
算出し、前記距離検出手段は、前記視差算出手段により
それぞれ算出された前記視差に基づいて、それぞれ、該
互いに異なる点までの距離を検出すると共に、前記距離
検出手段によりそれぞれ検出された前記距離の関係に基
づいて、前記対象物の立体情報を検出する立体情報検出
手段を備えることとしてもよい。
【0009】
【発明の実施の形態】図1は、本発明の一実施例である
周辺認識装置10の構成図を示す。本実施例において、
周辺認識装置10は、例えば車両に搭載されており、車
両の前方で走行する前方車両や自車両周辺の障害物等を
認識する。周辺認識装置10は、電子制御ユニット(以
下、ECUと称す)12を備えており、ECU12によ
り制御される。
【0010】ECU12は、画像認識部14及びカメラ
駆動部16を有している。ECU12の画像認識部14
には、カメラ20が接続されている。カメラ20は、車
体前部中央に配設されており、車体前部中央から車両前
方に広がる所定領域内の視界を撮影する。カメラ20の
撮影した所定領域内の視界は、画像情報としてECU1
2の画像認識部14に供給される。画像認識部14は、
カメラ20の出力信号に基づいて車両前方の所定領域内
の視界を画像情報として取得する。
【0011】カメラ20には、また、カメラ駆動部16
に接続されたモータ22が取付けられている。モータ2
2は、カメラ駆動部16から駆動信号が供給されること
により車体上のカメラ20の位置を可変させる。具体的
には、カメラ20のレンズ部20aが水平方向に所定距
離だけ離れた車体上の互いに異なる位置間で移動できる
ようにカメラ20を鉛直方向軸24の軸回りに回転(い
わゆる、首振り)させる。カメラ駆動部16は、カメラ
20のレンズ部20aが所定の周波数で車体上の互いに
異なる位置間を移動するようにモータ22に対して駆動
信号を供給する。
【0012】モータ22には、モータ22の回転角に応
じた信号を出力するエンコーダ26が配設されている。
エンコーダ26の出力信号は、ECU12に供給されて
いる。ECU12は、エンコーダ26の出力信号に基づ
いてモータ22の回転角を検出し、その検出結果に基づ
いてカメラ22のレンズ部22aの車体に対する方位
角、すなわち、レンズ部22aの車体上の位置を測定す
る。
【0013】図2(A)は、カメラ20の撮影可能領域
に対象物30が存在する状況下で、カメラ20のレンズ
部20aが車体上の位置CLに位置する際の撮影状況を
示す。また、図2(B)は、カメラ20のレンズ部20
aが車体上で位置CLよりも所定距離だけ右方の位置CR
に位置する際の撮影状況を示す。尚、図2(A)及び
(B)には、カメラ20の撮影可能領域が点線で示され
ている。また、図3は、カメラ20と対象物30との距
離を測定するための原理図を示す。尚、図3には、対象
物30がカメラ20に近接している場合を実線で、対象
物がカメラ20に離間している場合を破線で、それぞれ
示している。更に、図4は、カメラ20の位置に応じて
画像情報上の対象物30の位置が異なることを説明する
ための図である。尚、図4には、カメラ20のレンズ部
20aが車体上の位置CLに位置した際の画像情報上に
おける対象物30の位置が実線で、レンズ部20aが車
体上の位置CRに位置した際の画像情報上における対象
物30の位置が破線で、それぞれ示されている。
【0014】図2に示す如く、例えば、カメラ20前方
の撮影可能領域に対象物30が存在する状況下において
は、カメラ20のレンズ部20aが位置CLに位置した
際にカメラ20が撮影した結果得られた画像情報と、レ
ンズ部20aが位置CRに位置した際に得られた画像情
報とで、両画像情報の座標軸(図3において原点OL
R)を互いに一致させた場合(以下、この座標軸の原
点を単にOとする)、対象物30の画像情報上における
2次元位置が互いに異なるものとなる。
【0015】すなわち、対象物30がカメラ20に近接
している状況下においては、図3に実線で示す如く、対
象物30の正面中央部は、レンズ部20aが位置CL
位置する際には画像情報(原点OL)上の点PLSに投影
され、レンズ部20aが位置CRに位置する際には画像
情報(原点OR)上の点PRSに投影される。この場合に
は、左右の画像情報の座標軸を互いに一致させる(原点
Oの2次元座標系)と、その2次元座標系で、対象物3
0の正面中央部の位置が点PLSと点PRSとの距離だけず
れることとなる。
【0016】また、対象物30がカメラ20から離間し
ている状況下においては、図3に破線で示す如く、対象
物30の正面中央部は、レンズ部20aが位置CLに位
置する際には画像情報(原点OL)上の点PLLに投影さ
れ、レンズ部20aが位置CRに位置する際には画像情
報(原点OR)上の点PRLに投影される。この場合に
は、左右の画像情報の座標軸を互いに一致させると、原
点Oの2次元座標系で、対象物30の正面中央部の位置
が点PLLと点PRLとの距離だけずれることとなる。
【0017】この点、対象物30がカメラ20に近接し
ているほど、両画像情報における対象物30の2次元位
置のずれ量が大きくなる。すなわち、対象物30がカメ
ラ20から大きく離間しているほど、両画像情報におけ
る対象物30の2次元位置の変化が小さくなる。従っ
て、カメラ20のレンズ部20aが可動する位置CL
Rとの距離、対象物30が投影される画像情報上の位
置PLと点PRとのずれ量(いわゆる、視差)、レンズ部
20aとカメラ20の鉛直方向軸24との距離、及び、
レンズ部20aとカメラ20の有するセンサ面との距離
が把握されれば、カメラ20と対象物30との距離を算
出することが可能となる。
【0018】また、対象物30が立体物である場合に
は、原点Oの2次元座標系において、その対象物30の
前部の点(図4において点P1)の2次元位置のずれ量
(点P1 Lと点P1Rとの視差L1)と、その対象物30の
後部の点(図4において点P2)の2次元位置のずれ量
(点P2Lと点P2Rとの視差L2)とが異なるものとな
る。具体的には、対象物30のカメラ20に近接した点
1の視差L1は、カメラ20から離間した点P2の視差
L2よりも大きくなる。従って、それらの点P1,P 2
ついてそれぞれ、カメラ20との距離を算出することと
すれば、対象物30の奥行き等の立体情報を検出するこ
とが可能となる。
【0019】そこで、本実施例のシステムは、一台のカ
メラ20を用いて、対象物30までの距離を測定し、取
得した2次元の画像情報に立体物が存在しているか否か
を判定すると共に、立体物が存在する場合にはその奥行
き等の立体情報を検出する点に特徴を有している。
【0020】図5は、上記の機能を実現すべく、本実施
例においてECU12が実行する制御ルーチンの一例の
フローチャートを示す。図5に示すルーチンは、所定時
間ごとに繰り返し起動されるルーチンである。図5に示
すルーチンが起動されると、まずステップ100の処理
が実行される。
【0021】ステップ100では、カメラ20のレンズ
部20aが車体上の位置CLに位置した状態でカメラ2
0の撮影を行うことにより車両周囲の画像情報を取得す
る処理が実行される。
【0022】ステップ102では、カメラ20の位置が
可変されるように、具体的には、そのレンズ部20aが
車体上の位置CLから位置CRへ移動するように、モータ
22に対して指令信号を供給する処理が実行される。
【0023】ステップ104では、カメラ20の位置が
可変された状態で、すなわち、レンズ部20aが車体上
の位置CRに位置した状態でカメラ20の撮影を行うこ
とにより車両周囲の画像情報を取得する処理が実行され
る。
【0024】ステップ106では、上記ステップ104
で取得された画像情報を補正する処理が実行される。
【0025】本実施例において、カメラ20は、走行可
能な車両に搭載されているため、レンズ部20aが車体
上の位置CLからCRへ移動する過程において車両の走行
に応じた距離だけ移動する。この場合、その移動距離
は、レンズ部20aが車体上の位置CLからCRへ移動す
る際の周波数と車両速度とに応じたものとなる。従っ
て、上記ステップ104においてカメラ20のレンズ部
20aが車体上の位置CRに位置した状態で取得された
画像情報は、車両が初期の位置から上記移動距離だけ移
動した際の車両周囲の状況を表したものとなる。そこ
で、上記ステップ106においては、レンズ部20aが
車体上の位置CRに位置した際に取得された画像情報
を、レンズ部20aの周波数及び車両速度に応じて位置
補正することとしている。
【0026】尚、上記ステップ106においては、カメ
ラ20のレンズ部20aが車体上の位置CRに位置した
状態で取得された画像情報を補正することとしている
が、その代わりに、レンズ部20aが車体上の位置CL
に位置した元の状態で取得された画像情報を補正するこ
ととしてもよい。
【0027】ステップ108では、上記ステップ100
及び104で得られた両画像情報に含まれる対象物30
上の複数点についてそれぞれ視差が算出される。
【0028】ステップ110では、上記ステップ108
で算出されたそれぞれの視差、及び、上述したレンズ部
20aの可動する位置CLと位置CRとの距離等に基づい
て、カメラ20と対象物30上の複数点との距離がそれ
ぞれ検出される。
【0029】ステップ112では、上記ステップ110
で検出された複数の距離に基づいて、対象物30の、カ
メラ20から見た際の奥行きや高さ等の立体情報が検知
される。本ステップ112の処理が終了すると、今回の
ルーチンは終了される。
【0030】上記の処理によれば、一台のカメラ20を
可動させた際に生ずる2次元の画像情報上の視差に基づ
いて、対象物30までの距離を測定することができる。
従って、本実施例によれば、複数のカメラによることな
く、単一のカメラ20を用いて対象物30までの距離を
測定することができる。
【0031】また、上記の処理によれば、対象物30上
の複数点についてそれぞれカメラ20からの距離が測定
されるので、対象物30の奥行きや高さ、幅等の立体情
報を認識することができる。この場合にも、複数のカメ
ラによることなく、単一のカメラ20を用いて対象物3
0の立体情報が認識される。このように、本実施例の装
置によれば、画像情報内の3次元情報の取得を簡素かつ
安価な構成で実現することが可能となっている。
【0032】尚、上記の実施例においては、ECU10
が、上記ステップ102の処理を実行することにより特
許請求の範囲に記載した「カメラ位置変更手段」が、上
記ステップ108の処理を実行することにより特許請求
の範囲に記載した「視差算出手段」が、上記ステップ1
10の処理を実行することにより特許請求の範囲に記載
した「距離検出手段」が、上記ステップ112の処理を
実行することにより特許請求の範囲に記載した「立体情
報検出手段」が、それぞれ実現されている。
【0033】ところで、上記の実施例においては、カメ
ラ20を車体前部中央に配設し、車両前方に広がる視界
を撮影することとしているが、カメラ20の配設位置は
これに限定されるものではなく、車体後部や車体側部に
配設することとしてもよい。また、カメラ20が車両に
搭載されるものとしているが、ロボット等の自立移動可
能な移動体や、全く移動しない固体物に搭載されるもの
としてもよい。
【0034】また、上記の実施例においては、カメラ2
0を鉛直方向軸24の軸回りに回転させることにより、
カメラ20のレンズ部20aを所定距離だけ離れた位置
P1−P2間で移動させることとしているが、その機能
をカメラ20を車体に対して平行移動させることにより
実現することとしてもよい。
【0035】更に、モータ22がカメラ20のレンズ部
20aを水平方向に離れた位置P1−P2間で移動させ
ているが、本発明はこれに限定されるものではなく、鉛
直方向や斜め方向で移動させることとしてもよい。
【発明の効果】上述の如く、請求項1記載の発明によれ
ば、画像情報に含まれる対象物までの距離を、複数のカ
メラによることなく単一のカメラを用いて検出すること
ができる。
【0036】また、請求項2記載の発明によれば、画像
情報に含まれる対象物としての立体物の大きさを、複数
のカメラによることなく単一のカメラを用いて検出する
ことができる。
【図面の簡単な説明】
【図1】本発明の一実施例である周辺認識装置の構成図
である。
【図2】カメラの位置に応じてカメラの撮影する画像情
報が異なることを説明するための図である。
【図3】カメラと対象物との距離を測定するための原理
図である。
【図4】カメラ位置に応じて画像情報上の対象物の位置
が異なることを説明するための図である。
【図5】本実施例において実行される制御ルーチンの一
例のフローチャートである。
【符号の説明】
10 周辺認識装置 12 電子制御ユニット(ECU) 14 画像認識部 15 カメラ駆動部 20 カメラ 22 モータ 30 対象物
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 5/225 H04N 7/18 C 5C061 7/18 13/02 G01B 11/24 K // H04N 13/02 N Fターム(参考) 2F065 AA06 AA53 FF05 FF65 FF67 JJ03 JJ19 JJ26 LL04 PP01 PP05 2F112 AC02 AC06 CA05 CA08 CA12 FA35 5B057 BA02 BA17 BA19 DA07 DC03 DC32 5C022 AA04 5C054 CG06 EA05 EH07 EJ07 FC12 FD03 HA30 5C061 AA21 AB14

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 周辺状況を撮影するカメラを、互いに異
    なる位置間で可動させるカメラ位置変更手段と、 前記互いに異なる位置のうち一方の位置で前記カメラが
    撮影した結果得られた画像情報と、他方の位置で前記カ
    メラが撮影した結果得られた画像情報との関係に基づい
    て、両画像情報に含まれる対象物についての視差を算出
    する視差算出手段と、 前記視差算出手段により算出された前記視差に基づい
    て、該対象物までの距離を検出する距離検出手段と、 を備えることを特徴とする周辺認識装置。
  2. 【請求項2】 請求項1記載の周辺認識装置において、 前記視差算出手段は、前記対象物上の互いに異なる点に
    ついてそれぞれ視差を算出し、 前記距離検出手段は、前記視差算出手段によりそれぞれ
    算出された前記視差に基づいて、それぞれ、該互いに異
    なる点までの距離を検出すると共に、 前記距離検出手段によりそれぞれ検出された前記距離の
    関係に基づいて、前記対象物の立体情報を検出する立体
    情報検出手段を備えることを特徴とする周辺認識装置。
JP2000314119A 2000-10-13 2000-10-13 周辺認識装置 Pending JP2002122425A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000314119A JP2002122425A (ja) 2000-10-13 2000-10-13 周辺認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000314119A JP2002122425A (ja) 2000-10-13 2000-10-13 周辺認識装置

Publications (1)

Publication Number Publication Date
JP2002122425A true JP2002122425A (ja) 2002-04-26

Family

ID=18793428

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000314119A Pending JP2002122425A (ja) 2000-10-13 2000-10-13 周辺認識装置

Country Status (1)

Country Link
JP (1) JP2002122425A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009296272A (ja) * 2008-06-04 2009-12-17 Sony Corp 画像符号化装置及び画像符号化方法
CN102244732A (zh) * 2011-07-01 2011-11-16 深圳超多维光电子有限公司 一种立体摄像机的参数设置方法、装置及该立体摄像机
WO2021077650A1 (zh) * 2019-10-24 2021-04-29 深圳传音控股股份有限公司 一种拍摄方法、装置以及计算机可读存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009296272A (ja) * 2008-06-04 2009-12-17 Sony Corp 画像符号化装置及び画像符号化方法
JP4591548B2 (ja) * 2008-06-04 2010-12-01 ソニー株式会社 画像符号化装置及び画像符号化方法
CN102244732A (zh) * 2011-07-01 2011-11-16 深圳超多维光电子有限公司 一种立体摄像机的参数设置方法、装置及该立体摄像机
CN102244732B (zh) * 2011-07-01 2015-12-16 深圳超多维光电子有限公司 一种立体摄像机的参数设置方法、装置及该立体摄像机
WO2021077650A1 (zh) * 2019-10-24 2021-04-29 深圳传音控股股份有限公司 一种拍摄方法、装置以及计算机可读存储介质
US11297230B2 (en) 2019-10-24 2022-04-05 Shenzhen Transsion Holdings Co., Ltd. Shooting method, device and computer-readable storage medium

Similar Documents

Publication Publication Date Title
JP4958279B2 (ja) 物体検出装置
JP3349121B2 (ja) ステレオカメラの取付構造
JP5011528B2 (ja) 3次元距離計測センサおよび3次元距離計測方法
US20080140286A1 (en) Parking Trace Recognition Apparatus and Automatic Parking System
JP2001187553A (ja) 駐車支援装置
JPH11213157A (ja) カメラ搭載移動体
JP2007064804A (ja) 車両用障害物検出装置
JP2009196408A (ja) 駐車支援装置及び方法
JP3765862B2 (ja) 車両用環境認識装置
JP2004048295A (ja) 画像処理装置、駐車支援装置、及び画像処理方法
JP4154980B2 (ja) 移動体周辺監視装置
JP2000293693A (ja) 障害物検出方法および装置
JP6243758B2 (ja) 車両周辺監視装置、車両周辺監視方法、及びプログラム
JP2019148491A (ja) 乗員監視装置
JP2016001776A (ja) 車載カメラの取付角度調整処理、取付角度検出装置
JP2004069583A (ja) 画像処理装置
JP2003036500A (ja) 車両の走行区分線認識装置
JP2004280194A (ja) 前方監視装置及びその方法
JP2002122425A (ja) 周辺認識装置
JP2002259966A (ja) 周辺認識装置
JP2004028811A (ja) 監視システムの距離補正装置および距離補正方法
JP2001116527A (ja) 立体物検出方法及び装置
JP2021033605A (ja) 画像処理装置、および、画像処理方法
JP7291594B2 (ja) 画像処理装置
JP7311407B2 (ja) 姿勢推定装置、および、姿勢推定方法