JP2000065948A

JP2000065948A - 物体検知方法及び装置

Info

Publication number: JP2000065948A
Application number: JP10231710A
Authority: JP
Inventors: Akitoshi Tsukamoto; 明利塚本
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1998-08-18
Filing date: 1998-08-18
Publication date: 2000-03-03

Abstract

(57)【要約】【課題】従来のステレオ画像を用いたブロックマッチ
ングによる対応付けを行う方法ではなく、高さ情報に基
づく、経済的で高分解能の物体検知方法及び装置。【解決手段】それぞれ異なる位置に設置されたカメラ
１０（ａ），１０（ｂ）により得られた映像〔１２
（ａ），１２（ｂ）〕に基づき共通の視野領域内に存在
する物体を検知するため、カメラ１０（ｂ）からの映像
を、高さ成分を持たずに且つカメラ１０（ａ）の設置位
置に視点変換を行った場合に得られる映像に変換し〔１
３〕、この変換した映像とカメラ１０（ａ）からの映像
とを比較してその相違部分を検出する〔１５〕。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、それぞれ異なる位
置に設置された複数の撮影手段により得られた映像に基
づき共通の視野領域内に存在する物体を検知する方法及
び装置に関するものである。

【０００２】

【従来の技術】例えば、道路上に存在する落下物や車両
などの道路交通の障害となり得る物体の検知や、踏切内
に取り残された車両や人物の検知などは、交通安全の確
保のため従来から研究がなされていた。そしてこのよう
な交通障害物としての物体を検知するため、従来から画
像センサを用いた物体検知の方式は様々なものが提案さ
れている。なかでも特に高さ情報に基づく物体検知は、
例えば道路面の模様の変化や影などを誤検出しないもの
として有効なものである。

【０００３】このような高さ情報に基づく物体検知方法
の公知文献として、例えば“第２回画像センシングシン
ポジウム講演論文集、ｐｐ．２５９−２６４、１９９
６、気賀沢他、「ステレオ画像を用いた物体検出技術の
開発」（以下文献〔１〕という）”がある。この文献
〔１〕の物体検知方法では、踏切などを２台のカメラに
より撮影して得たステレオ画像を利用して両画像間の対
応付けを行うことにより３次元情報を獲得する。この対
応付けは基本的に、一方の画像上に設定した１６×８画
素のブロック領域を他方の画像上に走査させ、この走査
によって順次設定されるウインドウ領域のうち類似度が
最も高いものを求めることによって行う。このような対
応付けは一般にブロックマッチングと呼ばれる。そして
この対応付けによって得た視差情報には、映像中に写っ
ている物体の３次元的な位置に関する情報が含まれてい
るため、これに基づいて基準となる路面の推定を行い、
さらに物体検出をその路面からの高さなど３次元的な位
置を求めることにより行っている。

【０００４】

【発明が解決しようとする課題】しかしながら、３次元
情報の基となる視差情報を得るためには、上記文献
〔１〕のような２つの映像間での対応付けを行う必要が
ある。これは一般に計算量の多い作業であり、高速な処
理を実現するためには、例えば“計測と制御、ｖｏｌ．
３６、Ｎｏ．３、ｐｐ．１９０−１９２、１９９７、実
吉「ステレオ式画像認識技術」（以下文献〔２〕とい
う）”にあるような対応付けを行う専用のハードウエア
を利用する必要があり、コストアップとなるので経済的
でない。また視差情報はブロック単位に得られ、上記文
献〔１〕では４８×３０個のブロックについて視差を得
ているので、その密度はそれほど高くない。このため、
画像上での大きさが１〜２ブロック程度と小さい物体は
検出することができない（即ち分解能が悪い）という問
題があった。本発明は上記従来技術の有するこのような
課題に対してなされたものであり、その目的は、上記の
ブロックマッチングのような対応付けをせずに、高さ情
報に基づく物体検知を行うことにある。

【０００５】

【課題を解決するための手段】本発明に係る物体検知方
法及び装置は、それぞれ異なる位置に設置された複数の
撮影手段により得られた映像に基づき共通の視野領域内
に存在する物体を検知する方法及び装置において、前記
複数のうちの一つの撮影手段により得られた映像を、高
さ成分を持たずに且つその他のいずれかの撮影手段が設
置されている位置に視点変換を行った場合に得られる映
像に変換する工程及び手段と、前記変換した映像と前記
視点変換を行った位置に設置されている撮影手段により
得られた映像とを比較してその相違部分を検出すること
により物体を検知する工程及び手段とを有するものであ
る。その結果、従来のように２つの画像間のブロックマ
ッチングによる対応づけを行うことなく、高さ情報に基
づく、経済的で高分解能の物体検知が可能となる。

【０００６】

【発明の実施の形態】最初に本発明の実施形態における
物体検知方法の概要を説明する。本発明の実施形態１〜
４における物体検知方法は、２つのカメラによって得ら
れた映像を利用する物体検知方法において、一方のカメ
ラによる映像を利用して他方のカメラ位置に視点変換を
行った場合に得られる映像を合成し、この合成映像と他
方のカメラによる実際の映像とを比較して物体検知を行
うことを特徴とするものである。そしてこの映像の合成
をする際に、一方のカメラによる映像はすべての物体が
路面の模様である（即ち高さ成分を持たない）と考え
て、他方のカメラの設置場所から撮影した場合に得られ
る映像の合成を行えば、路面の模様でない物体（高さ成
分をもつもの）に関しては合成映像において歪みが発生
する。従って、この歪み成分を映像比較により検出する
ことにより、高さを用いた物体検知が可能となる。

【０００７】実施形態１図１は本発明の実施形態１に係る物体検知システムの構
成図である。図１のシステム構成における各機器の動作
の概要を説明する。２つのカメラ１０（ａ），１０
（ｂ）は、共通の視野領域内に存在する物体を検知でき
るように、それぞれ異なる所定位置において、所定の撮
像方向に向けて設けられる。この異なる位置にそれぞれ
設置されたカメラ１０（ａ），１０（ｂ）により得られ
た画像信号は、それぞれ逐次Ａ／Ｄ変換装置１１
（ａ），１１（ｂ）によりデジタル画像に変換され、フ
レームバッファ１２（ａ），１２（ｂ）に格納される。
映像合成装置１３は、フレームバッファ１２（ｂ）に格
納されたカメラ１０（ｂ）の映像を受け取り、このカメ
ラ１０（ｂ）の映像を高さ成分を持たないものとし、こ
れをカメラ１０（ａ）が設置されている位置から撮影し
た場合に得られる映像（即ち視点変換を行った場合に得
られる変換映像）を生成する。この際、カメラパラメー
タ記憶装置１４に記憶された各カメラのパラメータ（位
置、方向、焦点距離など）を参照して映像を変換する。
映像比較装置１５は、映像合成装置１３からの変換映像
と、フレームバッファ１２（ａ）に格納された映像とそ
れぞれ受け取って、両映像を比較しその相違部分を検出
することにより物体の検知を行う。

【０００８】図２は図１の映像合成装置の構成図であ
り、同図により、図１のシステム構成における映像合成
装置１３が行う視点変換映像の生成処理を説明する。な
おこの処理ではコンピュータグラフィクス（以下ＣＧと
書す）の手法を応用している。映像合成装置１３は、図
２に示すとおり、ＣＧモデル生成部２１と視点変換映像
合成部２２から構成されており、ＣＧモデル生成部２１
は、カメラパラメータ記憶装置１４に記憶されているカ
メラの位置や向きなどのパラメータを参照し、視点変換
映像合成部２２での処理において必要なＣＧモデルの生
成を行う。視点変換映像合成部２２が行う視点変換処理
は、カメラ１０（ｂ）によって得られた映像はすべて道
路に描かれた模様である（高さ成分を持たない）と仮定
し、ＣＧモデル生成部２１から供給される、カメラ１０
（ａ）の設置位置に視点の変換された路面に相当するオ
ブジェクトの３次元グラフィックモデルに対して、フレ
ームバッファ１２（ｂ）から供給されるカメラ１０
（ｂ）の映像をテクスチャ（ｔｅｘｔｕｒｅ，画像の濃
淡、階調の分布と変化の模様）としてマッピング処理に
より張り付け（合成して）、この平板モデルをカメラ１
０（ａ）の視点から眺めた映像として生成することであ
る。

【０００９】なおテクスチャマッピング処理の参照文献
としては、例えば“中前，西田，「３次元コンピュータ
グラフィックス」、昭晃堂、１９８６，ｐｐ１８１〜１
８３、（以下文献〔３〕という）”がある。ここでは、
カメラ１０（ｂ）の映像を、画像上の模様として、これ
を路面に相当するモデルに張り付けることをテクスチャ
マッピング処理という。そしてテクスチャマッピングさ
れた（映像の張りつけられた）モデルを別の視点から眺
めた映像として生成することが本発明の視点変換処理で
ある。

【００１０】図３は道路座標系とカメラ位置・方向の一
例を示す図であり、以降の説明においては、図３に示す
ような座標系（ワールド座標系）を仮定して用いるもの
とする。図３において、カメラ１０（ａ）はワールド座
標系の点Ａ（Ｘａ，Ｙａ，Ｚａ）にあってＶａ（Ｘｖ
ａ，Ｙｖａ，Ｚｖａ）の方向を向くものとして、カメラ
１０（ｂ）は点Ｂ（Ｘｂ，Ｙｂ，Ｚｂ）にあってＶｂ
（Ｘｖｂ，Ｙｖｂ，Ｚｖｂ）の方向を向くものとする。
さらに各カメラの視線周りの回転角はそれぞれθａ、θ
ｂであり、また縦方向の視野角をδａ、δｂ、映像サイ
ズの縦横比（幅／高さ画素数）をそれぞれｒａ、ｒｂと
する。ここで、視線回りの回転角とは、図３に示すよう
に、視線を軸とした映像面の回転に関するものであり、
回転角の基準は、鉛直方向（−Ｚ方向）が映像上で真下
に見られる角度とし、注視点（ＶａやＶｂ）に向かって
時計回りの方向を正方向とする。そしてこれらのパラメ
ータ（Ｘａ，Ｙａ，Ｚａ，Ｘｖａ，Ｙｖａ，Ｚｖａ，θ
ａ，δａ，ｒａ）および（Ｘｂ，Ｙｂ，Ｚｂ，Ｘｖｂ，
Ｙｖｂ，Ｚｖｂ，θｂ，δｂ，ｒｂ）は計測手段などに
よって事前に求められ、「各カメラ（各撮影手段）の設
置に関するパラメータ」として、図１のカメラパラメー
タ記憶装置１４に記憶されているものとする。なおこの
「各カメラの設置に関するパラメータ」は、実際に設置
されたカメラについて計測することにより求めることが
できる。

【００１１】図４は図２のＣＧ生成部の処理フローチャ
ートであり、同図により、図２のＣＧモデル生成部２１
での処理内容を説明する。なお図のＳに続く数値はステ
ップ番号を示す。図４のＳ４１での処理は、各カメラ１
０（ａ），１０（ｂ）のＣＧモデルである変換マトリク
スを生成する部分である。例えば“「Ｇｒａｐｈｉｃｓ
ＬｉｂｒａｒｙＰｒｏｇｒａｍｍｉｎｇＧｕｉｄ
ｅ（日本語版）ｐｐ．７−２，７−３，Ｃ−１〜Ｃ−
５，ＳｉｌｉｃｏｎＧｒａｐｈｉｃｓ社刊、１９９１
（以下文献〔４〕という）”により、カメラのＣＧモデ
ルは、ワールド座標系と画面上の位置との間の変換を行
う４×４の変換マトリクスＴａとして表現され、これは
モデル・ビューマトリクスと透視変換マトリクスの積で
与えられる。そしてカメラ１０（ａ）のモデル・ビュー
マトリクスＭａは、次式（１），（２）により与えられ
る。

【００１２】

【数１】

【００１３】ここでφａ、ψａはそれぞれ光軸とＹ軸、
Ｘ軸とがなす角であり、次式（３）により与えられる。

【００１４】

【数２】

【００１５】またカメラ１０（ａ）の透視交換マトリク
スＰａは、映像の縦横比（ｒａ）および可視範囲の奥行
きの値（ｎａ，ｆａ）をパラメータとして与えたとき、
次式（４）として与えられる。

【００１６】

【数３】

【００１７】カメラ１０（ａ）の変換マトリクスＴａ
は、上記モデル・ビューマトリクスＭａと透視変換マト
リクスＰａを用いて次式（５）により与えられる。Ｔａ＝Ｍａ・Ｐａ（５）なお、これらの行列はカメラ１０（ｂ）についても同様
に求められる。このように算出されたカメラ１０
（ａ），１０（ｂ）の変換マトリクスＴａ，Ｔｂは、各
カメラの設置場所や向き、視線回りの回転角、視野角、
カメラ映像の縦横比等の情報を含むので、「撮影手段の
設置および撮影状況に関するパラメータ」という。そし
て道路モデルは、このカメラ変換マトリクスから次のＳ
４２の式（９），（１０）によって生成される。

【００１８】次に図４のＳ４２の処理において、路面に
相当する３次元グラフィックモデルの作成を行う。一般
に、ワールド座標系での座標が（Ｘ，Ｙ，Ｚ）である点
の映像上での位置（ｘ，ｙ）は、次式（６）〜（８）の
ように算出できる。

【００１９】

【数４】

【００２０】ここで（ｘ′，ｙ′，ｚ′，ｗ′）、
（ｘ″，ｙ″，ｚ″）はそれぞれクリッピング座標系、
正規座標系と呼ばれるものであり、Ｗ、Ｈはそれぞれ画
面の幅及び高さ方向の画素数である。式（８）より点が
画面上に写る条件は−１≦ｘ″≦１かつ−１≦ｙ″≦１
である。すなわち、画面の四隅の点は正規座標で
（ｘ″，ｙ″）＝（−１，−１）、（−１，１）、
（１，１）、（１，−１）の座標値を持つ。

【００２１】ここではカメラ１０（ｂ）の変換マトリク
スＴｂを用いて、画面の四隅に対応する４点の正規座標
系での座標値を求める。すなわち上記４点のｚ″の値を
算出する。このｚ″の値を求めるにあたり、路面はワー
ルド座標系でＺ＝０で与えられる平面であると仮定す
る。このとき、正規座標（ｘ″，ｙ″）に写される点の
ｚ″の値は次式（９）で算出される。ｚ″＝−（ｘｂ₀₂＋ｙｂ₁₂＋ｂ₃₂）／ｂ₂₂ （９）ここでｂ_ijはそれぞれカメラ１０（ｂ）の変換マトリク
スＴｂの逆行列（次式（１０）に示す）の第ｉ行第ｊ列
要素である。

【００２２】

【数５】

【００２３】上式（１０）より、画面上に写っている路
面範囲に相当する３次元グラフィックモデルの座標値を
算出することが出来る。

【００２４】次に図４のＳ４３の処理において、視点変
換用のカメラモデルである変換マトリクスＴｃを生成す
る。これはＳ４１の処理において生成した各カメラの変
換マトリクスを用いて次式（１１）により求められる。Ｔｃ＝Ｔｂ^-1・Ｔａ＝Ｔｂ^-1・Ｍａ・Ｐａ（１１）図２のＣＧモデル生成部２１は以上の処理を行い、視点
変換に必要な各種ＣＧパラメータの生成を行い、得られ
たパラメータを視点変換映像合成部２２へ渡す。視点変
換映像合成部２２では、ＣＧモデル生成部２１で視点変
換されて生成された路面モデルへカメラ１０（ｂ）から
の映像信号をテクスチャマッピングにより張り付け（合
成して）、これを視点変換用カメラで眺めた映像（変換
映像）として出力する。

【００２５】次に、図１の映像比較装置１５で行う処理
の内容について説明する。同装置１５はカメラ１０
（ａ）の映像と映像合成装置１３から出力される変換映
像とを受け取り、両映像を比較をした結果の映像を出力
する。カメラ１０（ａ）からの映像および変換映像にお
いて、位置（ｉ，ｊ）の画素の輝度をそれぞれＩａ
（ｉ，ｊ）、Ｉｃ（ｉ，ｊ）とする。このとき、映像比
較装置１５から出力される映像の位置（ｉ，ｊ）の画素
の輝度Ｉｄ（ｉ，ｊ）は次式（１２）の通りである。

【００２６】

【数６】

【００２７】ここではｔｉは輝度差に対する事前に設定
した閾値である。変換映像は、カメラ１０（ｂ）に写っ
ているものがすべて路面上の模様であると仮定した場合
に、これをカメラ１０（ａ）で撮影した場合に得られる
映像を合成（生成）したものであるため、路面上の模様
でない物体の像は歪みを含む。このため、カメラ１０
（ａ）からの映像のうち高さ成分を持つ物体の部分につ
いては変換映像とは異なるものとなる。映像比較装置１
５はこの映像の比較を行って異なる部位を抽出するた
め、カメラ１０（ａ）の映像のうち物体の部分だけが抜
き出されたものとなる。これにより道路上の高さ成分を
持つ物体の存在が検知できる。

【００２８】図５は本発明の実施形態１による物体検出
処理結果を示す図である。図５の（ａ）、（ｂ）は、そ
れぞれカメラ１０（ａ）、１０（ｂ）による映像の例で
あり、これらは道路上に直方体を置いて撮影したもので
ある。このカメラ１０（ａ）、１０（ｂ）のパラメータ
は既知であり、事前にカメラパラメータ記憶装置１３に
記憶されているものとする。図５の（ｃ）は、同図の
（ｂ）の映像に対してカメラ１０（ａ）から見た映像へ
の変換処理を行ったものであり、路面上の線は同図
（ａ）のものと同一位置に変換されているが、直方体が
右方向に歪んでいることがわかる。図５の（ｄ）は、映
像比較処理を行った結果であり、斜線の部分の映像が比
較結果として抽出された物体の部分である。前記式（１
２）より、得られる映像は斜線の部分を除いてすべて０
となり、斜線部のみ同図の（ａ）の映像が映されたもの
となる。これにより、カメラ１０（ａ）の映像のうち高
さ成分を含む領域を検出することができ、物体検知を行
うことができる。

【００２９】なおカメラの変換マトリクスは前記（Ｘ
ａ，Ｙａ，Ｚａ，Ｘｖａ，Ｙｖａ，Ｚｖａ，θａ，δ
ａ，ｒａ）以外のパラメータによっても生成可能であ
り、また例えば“信学技報ＩＥ９６−１３，１９９６−
１０，Ｙ．Ｎａｋａｚａｗａｅｔ．ａｌ．，「Ｃｕｅ
−ＢａｓｅｄＣａｍｅｒａＣａｌｉｂｒａｔｉｏｎ
ｗｉｔｈＩｔｓＰｒａｃｔｉｃａｌＡｐｐｌｉ
ｃａｔｉｏｎｔｏＤｉｇｉｔａｌＩｍａｇｅＰ
ｒｏｄｕｃｔｉｏｎ」ｐｐ．１〜６（以下文献〔５〕と
いう）”の方法を用いることにより、各カメラの向きを
事前に計測することなくモデル・ビューマトリクスＭ
ａ、Ｍｂおよび焦点距離ｆａ、ｆｂを直接得ることもで
きる。この方法を利用する場合、δａ、δｂは各カメラ
の撮像素子の高さおよび幅をそれぞれｈａおよびｗａ、
ｈｂおよびｗｂとすると、次式（１３）で与えられ、 θａ＝２ｔａｎ^-1（ｈａ／２ｆａ）、θｂ＝２ｔａｎ^-1（ｈｂ／２ｆｂ）（１３）またｒａ＝ｗａ／ｈａ、ｒｂ＝ｗｂ／ｈｂより透視変換
マトリクスも与えられる。

【００３０】以上説明したように、本発明の実施形態１
によれば、従来技術のように左右画像間の対応付けを行
うことなく高さ情報に基づく、経済的で高分解能の物体
検知を行うことができる効果がある。

【００３１】実施形態２図６は本発明の実施形態２に係る物体検知システムの構
成図である。図６は、図１のフレームバッファ１２
（ａ）と映像比較装置１５の間にエッジ抽出装置６６
（ａ）が挿入され、またフレームバッファ１２（ｂ）と
映像合成装置１３の間にエッジ抽出装置６６（ｂ）がそ
れぞれ挿入されていることを除き、実施形態１のものと
同じである。本実施形態２では、フレームバッファに納
められた各カメラの映像に基づきエッジ抽出処理を行
い、得られたエッジを含む映像（エッジ映像）に対して
実施形態１の場合と同様に映像合成処理及び映像比較処
理を行って物体検出を行う。この方法は映像比較時に輝
度そのものを用いず輝度変化の情報を利用することで、
例えば絞りやホワイトバランスなど各カメラの設定が異
なることで生じる輝度値の違いを吸収し、安定した結果
を得るものである。

【００３２】エッジ抽出処理においては、例えば“尾上
「画像処理ハンドブック」１９８７、昭晃堂、ｐｐ．２
８０−２８１（以下文献〔６〕という）”に記載のＳｏ
ｂｅｌフィルタを利用することができる。エッジ映像と
は、このフィルタ処理により得られるエッジ強度を各画
素の輝度として与えた映像である。図６において、カメ
ラ１０（ａ）、１０（ｂ）により得られた画像信号は、
それぞれ逐次Ａ／Ｄ変換装置１１（ａ）、１１（ｂ）に
よりデジタル画像に変換され、フレームバッファ１２
（ａ）、１２（ｂ）に格納される。エッジ抽出装置６６
（ａ），６６（ｂ）は、フレームバッファ１２（ａ）、
１２（ｂ）に格納されたカメラ１０（ａ）、１０（ｂ）
の映像からそれぞれエッジを検出し、そのエッジ映像を
それぞれＥａ、Ｅｂと表す。映像合成処理は、カメラ１
０（ｂ）からのエッジ映像Ｅｂに対して行われ、その結
果得られる変換映像Ｅｃは、Ｅａと共に映像比較装置１
５に入力される。

【００３３】映像比較装置１５は、カメラ１０（ａ）か
らの映像Ｅａおよび映像合成装置１３からの変換映像Ｅ
ｃを受け取り、Ｅａにおいて閾値ｔｅ以上の値を示す画
素について、Ｅｃの同位置での画素値を調べ、これが閾
値ｔｅ未満であるもののみを出力する。すなわち、映像
比較装置１５から出力される映像Ｅｄは次式（１４）に
示すものである。

【００３４】

【数７】

【００３５】本実施形態２においても、実施形態１と同
様に、変換映像Ｅｃは映像Ｅｂに写っているエッジ情報
がすべて路面上のものであると仮定して視点変換処理を
行ったものであるため、路面上のものでない物体による
エッジの像は歪みを持つ。このため、Ｅｃにおいて高さ
成分を持つエッジ成分は、Ｅａとは異なる位置に変換さ
れる。映像比較装置１５はこのようなエッジ成分のみを
検出するものであるため、これにより道路上の高さを持
つ物体の存在が検知できる。

【００３６】図７に本発明の実施形態２による物体検出
処理結果を示す図である。図７の（ａ）、（ｂ）は、そ
れぞれカメラ１０（ａ）、１０（ｂ）によって撮影され
た映像の例であり、カメラ間での設定の違いにより路面
部分の明るさが異なっている。これらの映像に対しエッ
ジ抽出を行って得られたエッジ画像が同図の（ｃ）、
（ｄ）である。図７の（ｅ）は、同図の（ｄ）のエッジ
画像に対し視点変換処理を行ったものであり、路面上の
直方体が右方向に歪んでいる。また図７の（ｃ），
（ｄ）以降の各図は、エッジ抽出処理により路面部分の
明るさの影響がなくなっていることがわかる。図７の
（ｆ）は、映像比較の結果出力される映像であり、点線
部分は同図の（ｃ）と（ｅ）に共通のエッジであるため
削除された結果、高さ成分を持つエッジ部分のみが残さ
れている。

【００３７】以上説明したように、本発明の実施形態２
によれば、実施形態１で述べた効果のほかに、カメラ間
の設定の違いや照明条件の違いなどによって画面上の明
るさが異なった場合でも、その影響を受けることなく物
体検知を行うことができる効果がある。

【００３８】実施形態３図８は本発明の実施形態３に係る物体検知システムの構
成図である。図８は、図６の映像合成装置１３と映像比
較装置１５との間に膨張処理装置８７が挿入されている
ことを除き、実施形態２のものと同じである。本実施形
態３では、映像合成装置１３内の視点変換処理によって
得られた変換映像中のエッジ成分を周辺に膨張させ、こ
れを映像比較装置１５へ入力することにより物体検出を
行う。これは視点変換処理をエッジ映像に対して行うこ
とによりエッジ成分の太さに違いが生じるため、これを
救済するために行うものである。

【００３９】この膨張処理においては、小さなウインド
ウ領域を考え、これを変換映像上に平行移動させながら
その中心画素の輝度値をウインドウ領域内の画素の最大
輝度値に変換することで行う。すなわち膨張処理によっ
て得られる映像をＥｃ′とすると、Ｅｃ′は次式（１
５）となる。

【００４０】

【数８】

【００４１】ここでＷはウインドウ領域であり、左右に
カメラを配置した場合には横長の矩形領域（幅３画素程
度、高さ１画素程度）とするのが適当である。この結
果、変換映像中のエッジ部分（Ｅｃ（ｉ，ｊ）≧ｔｅで
ある画素位置）に掛かるウインドウが覆うすべての画素
の輝度値が閾値ｔｅ以上となり、エッジ部分が膨張され
ることになる。図９は本発明の実施形態３による物体検
出処理結果を示す図である。本実施形態３では、エッジ
抽出処理まで実施形態２と同じであるため、その結果は
図７の（ｃ）、（ｄ）と同じである。図９の（ａ）は、
図７の（ｄ）の映像に対し膨張処理を行ったものであ
り、横方向にエッジ部が伸ばされている。図９の（ｂ）
は、映像比較の結果出力される映像であるが、カメラ１
０（ａ）からのエッジ映像については膨張処理は行わな
いため、図７の（ｆ）と同じ結果が得られている。

【００４２】以上説明したように、本発明の実施形態３
によれば、実施形態１、２で述べた効果のほかに、視点
変換処理の結果生じるエッジ部分の太さの違いを吸収
し、確度の高い物体検知を行うことができる効果があ
る。

【００４３】実施形態４図１０は本発明の実施形態４に係る物体検知システムの
構成図である。図１０は、図１の映像合成装置１３及び
カメラパラメータ記憶装置１４の代わりに映像変換装置
１０３及び変換テーブル記憶装置１０４が用いられてい
ることを除き図１と同じ構成である。本実施形態４で
は、前記実施形態１〜３のようにテクスチャマッピング
などコンピュータグラフィクスの技術により視点変換映
像の合成を行うのではなく、事前に視点変換のための座
標変換テーブルを算出して記憶しておき、この変換テー
ブルの内容に従って映像の変換を行うものである。この
ため映像合成時に行われるジオメトリ演算などの処理は
不必要となり、視点変換処理を高速に行うことができ
る。

【００４４】まず本実施形態４における変換テーブル記
憶装置１０４を用いる対応付けと、従来技術におけるブ
ロックマッチングとの相違について説明する。従来技術
におけるブロックマッチングとは、入力映像間で類似す
るパターンを探索するもので、入力画像について逐次行
われる。このため物体検知のための計算量は非常に多く
なる。これに対し本実施形態４で行われる画素位置間の
対応付けは、物体検知処理を始める前に準備として行わ
れるもので、物体検知処理開始後は行わない。従って高
速に対応付けを行うことができる。

【００４５】座標変換テーブルの生成にあたり、まず画
面上の各点に対応する路面のワールド座標系における座
標値を算出する。ここでは実施形態１の場合と同様に、
路面はワールド座標系でＺ＝０で与えられる平面である
と仮定し、各カメラの変換マトリクスを利用する。カメ
ラ１０（ａ）の変換マトリクスＴａの逆行列をＡとし、
その第ｉ行第ｊ列の要素をａｉｊと表す。このとき式
（８）および（９）より、カメラ１０（ａ）の画面上の
点（ｘａ，ｙａ）に写っている路面の点の正規座標系の
値は次式（１６）で算出できる。

【００４６】

【数９】

【００４７】このとき、この点のクリッピング座標系の
値は次式（１７）で求められる。

【００４８】

【数１０】

【００４９】そしてこの点のワールド座標系での位置
（Ｘ，Ｙ）は次式（１８）で与えられる。

【００５０】

【数１１】

【００５１】この点はＺ＝０の路面上にあることから、
これをカメラ１０（ｂ）で眺めたときの画面上の位置は
式（６）〜（８）に従って算出できる。上記の演算によ
って得られたカメラ１０（ｂ）の画面上の点を（ｘｂ，
ｙｂ）とすると、これはカメラ１０（ａ）の画面上の点
（ｘａ，ｙａ）に写されている路面のカメラ１０（ｂ）
の画像上での位置となる。従ってこの値（ｘｂ，ｙｂ）
を座標変換テーブルの（ｘａ，ｙａ）に対応する位置に
記録する。このようにして事前にカメラ１０（ａ）の映
像のすべての画素位置（ｘａ，ｙａ）について（ｘｂ，
ｙｂ）を求めておき、これを変換テーブル記憶装置１０
４に記憶しておく。

【００５２】映像変換装置１０３の動作は、この変換テ
ーブル記憶装置１０４に記憶された画素位置間の対応情
報に基づき、次式（１９）による映像の変換を行う。Ｉｃ（ｘａ，ｙａ）＝Ｉｂ（ｘｂ，ｙｂ）（１９）但し一般にｘｂ，ｙｂは整数ではないため、前記文献
〔６〕にある濃度補間（最近傍法、双線形補間法、３次
補間法）などによりＩｂ（ｘｂ，ｙｂ）の値（濃淡の
値）を求めて利用する。なお、図１０では、変換映像Ｉ
ｃをカメラ１０（ａ）の映像Ｉａと比較して物体検出を
行う例を示しているが、これは本発明の実施形態２、実
施形態３の場合と同様、エッジ抽出処理や膨張処理と組
合せて物体検出を行っても良い。

【００５３】以上説明したように、本発明の実施形態４
によれば、テクスチャマッピングなどのコンピュータグ
ラフィクス手法を用いずに、高速に物体検知を行うこと
ができる。

【００５４】実施形態５前記各実施形態においては、２台のカメラによって得ら
れた映像を利用する例を示したが、本実施形態では、３
台以上のカメラを利用した場合のシステム構成とその特
徴について説明する。前記各実施形態では、２台のカメ
ラを用い、一方のカメラ映像を視点変換して他方のカメ
ラ映像に重ね合わせることを特徴としているが、一方の
カメラの前方に別の物体がある場合、その別の物体によ
り隠れる領域については本手法を適用することはできな
い。従ってこのような領域は物体検知の出来ない不感領
域となる。この不感領域を異なる位置に設置された別の
カメラで撮影し、視点変換に利用することで、不感領域
のない物体検知が可能となる。

【００５５】図１１は本発明の実施形態５に係る３画像
以上を利用した場合の処理系統図である。図１１におい
ては、まずカメラＢの画像２００ＢとカメラＣの画像２
００Ｃは、それぞれ視点変換して、カメラＡの視点から
見た視点変換映像２０１Ａと視点変換映像２０１Ｂに変
換する。次に映像比較装置１５は、視点変換映像２０１
Ａ，２０１ＢをそれぞれカメラＡの画像２００Ａと比較
し（前記式（１２）による映像生成処理を行い）、この
比較結果として、比較映像２０２Ａ，２０２Ｂを得る。
次にこの比較映像２０２Ａ，２０２Ｂを統合して統合映
像２０３を得る。この統合処理としては、例えば各比較
映像で同位置にある画素の値のうち最小値を各画素の値
とする統合映像を生成する。そしてこの統合映像により
物体の存在を判別する。

【００５６】以上説明したように本発明の実施形態５に
よれば、３台以上のカメラを利用したシステム構成によ
り不感領域のない物体検知が可能となる。

【００５７】以上説明したように、本発明の実施形態１
〜５によれば、従来のブロックマッチングのような対応
付けを行わずに、高さ情報に基づく物体検知を行うこと
ができる。このような物体検知方法を用いた装置は、例
えば道路を監視して落下物など交通障害となる物体の自
動検知や、あるいは車両に塔載して自車前方の障害物検
知などに利用することができる。さらに、例えば移動ロ
ボットのための障害物検知や自動クレーンのための物体
検知などにも利用することが可能である。

【００５８】

【発明の効果】以上のように本発明によれば、それぞれ
異なる位置に設置された複数の撮影手段により得られた
映像に基づき共通の視野領域内に存在する物体を検知す
る方法及び装置において、前記複数のうちの一つの撮影
手段により得られた映像を、高さ成分を持たずに且つそ
の他のいずれかの撮影手段が設置されている位置に視点
変換を行った場合に得られる映像に変換する工程及び手
段と、前記変換した映像と前記視点変換を行った位置に
設置されている撮影手段により得られた映像とを比較し
てその相違部分を検出することにより物体を検知する工
程及び手段とを有するようにしたもので、従来のように
２つの画像間のブロックマッチングによる対応づけを行
うことなく、高さ情報に基づく経済的で高分解能の物体
を検知が可能となる。

【図面の簡単な説明】

【図１】本発明の実施形態１に係る物体検知システムの
構成図である。

【図２】図１の映像合成装置の構成図である。

【図３】道路座標系とカメラ位置・方向の一例を示す図
である。

【図４】図２のＣＧモデル生成部の処理フローチャート
である。

【図５】本実施形態１による物体検出処理結果を示す図
である。

【図６】本発明の実施形態２に係る物体検知システムの
構成図である。

【図７】本実施形態２による物体検出処理結果を示す図
である。

【図８】本発明の実施形態３に係る物体検知システムの
構成図である。

【図９】本実施形態３による物体検出処理結果を示す図
である。

【図１０】本発明の実施形態４に係る物体検知システム
の構成図である。

【図１１】本発明の実施形態５に係る３画像以上を利用
した場合の処理系統図である。

【符号の説明】

１０（ａ），１０（ｂ）カメラ１１（ａ），１１（ｂ）Ａ／Ｄ変換装置１２（ａ），１２（ｂ）フレームバッファ１３映像合成装置１４カメラパラメータ記憶装置１５映像比較装置２１ＣＧモデル生成部２２視点変換映像合成部６６（ａ），６６（ｂ）エッジ抽出装置８７膨張処理装置１０３映像変換装置１０４変換テーブル記憶装置２００Ａ，２００Ｂ，２００ＣカメラＡ，Ｂ，Ｃ，
の画像２０１Ａ，２０１Ｂ視点変換映像２０２Ａ，２０２Ｂ比較映像２０３統合映像

Claims

【特許請求の範囲】

【請求項１】それぞれ異なる位置に設置された複数の
撮影手段により得られた映像に基づき共通の視野領域内
に存在する物体を検知する方法において、前記複数のうちの一つの撮影手段により得られた映像
を、高さ成分を持たずに且つその他のいずれかの撮影手
段が設置されている位置に視点変換を行った場合に得ら
れる映像に変換し、前記変換した映像と前記視点変換を行った位置に設置さ
れている撮影手段により得られた映像とを比較してその
相違部分を検出することにより物体を検知することを特
徴とする物体検知方法。
【請求項２】前記存在を検知する物体は道路又は線路
あるいは床面上に存在する物体とし、前記映像の変換において、前記道路又は線路あるいは床
面に相当するグラフィックモデルに対して前記複数のう
ちの一つの撮影手段により得られた映像をテクスチャと
してマッピング処理することを特徴とする請求項１記載
の物体検知方法。
【請求項３】前記道路又は線路あるいは床面に相当す
るグラフィックモデルを、前記複数の各撮影手段の設置
及び撮影状況に関するパラメータから生成して用いるこ
とを特徴とする請求項２記載の物体検知方法。
【請求項４】前記映像の変換において、前記複数の各
撮影手段の設置に関するパラメータから変換マトリック
スを生成してこれを用いることを特徴とする請求項２又
は３記載の物体検知方法。
【請求項５】前記複数の各撮影手段により得られた映
像に対してそれぞれエッジ抽出処理を行い、この抽出処
理後の複数のうちの一つのエッジ映像に対して前記映像
の変換を行い、この変換された映像と、前記複数のうち
の前記視点変換を行った位置に設置されている撮影手段
により得られた映像よりエッジ抽出処理されたエッジ映
像とを比較してその相違部分を検出することを特徴とす
る請求項１から４までのいずれかの請求項に記載の物体
検知方法。
【請求項６】前記複数の各撮影手段により得られた映
像に対してそれぞれエッジ抽出処理を行い、この抽出処
理後の複数のうちの一つのエッジ映像に対して前記映像
の変換を行い、この変換された映像に対して膨張処理を
施し、この膨張処理後の映像と、前記複数のうちの前記
視点変換を行った位置に設置されている撮影手段により
得られた映像よりエッジ抽出処理されたエッジ映像とを
比較してその相違部分を検出することを特徴とする請求
項１から４までのいずれかの請求項に記載の物体検知方
法。
【請求項７】前記映像の変換において、予め変換前後
の映像の各画素位置間の対応づけを行い、その対応情報
を記憶しておき、映像の変換時には前記記憶している各
画素位置間の対応情報を用いて映像を変換することを特
徴とする請求項１、５又は６記載の物体検知方法。
【請求項８】前記変換前後の映像の各画素位置間の対
応づけは、前記複数の各撮影手段の設置及び撮影状況に
関するパラメータを用いて算出することを特徴とする請
求項７記載の物体検知方法。
【請求項９】それぞれ異なる位置に設置された複数の
撮影手段により得られた映像に基づき共通の視野領域内
に存在する物体を検知する装置において、前記複数のうちの一つの撮影手段により得られた映像
を、高さ成分を持たずに且つその他のいずれかの撮影手
段が設置されている位置に視点変換を行った場合に得ら
れる映像に変換する映像変換手段と、前記映像変換手段により変換された映像と前記視点変換
を行った位置に設置されている撮影手段により得られた
映像とを比較してその相違部分を検出することにより物
体の存在を検知する比較検出手段とを備えたことを特徴
とする物体検知装置。
【請求項１０】前記存在を検知する物体は道路又は線
路あるいは床面上に存在する物体とし、前記映像変換手段は、前記道路又は線路のあるいは床面
に相当するグラフィックモデルに対して前記複数のうち
の一つの撮影手段により得られた映像をテクスチャとし
てマッピング処理する手段を有することを特徴とする請
求項９記載の物体検知装置。
【請求項１１】前記映像変換手段は、前記道路又は線
路あるいは床面に相当するグラフィックモデルを、前記
複数の各撮影手段の設置及び撮影状況に関するパラメー
タから生成して用いる手段を有することを特徴とする請
求項１０記載の物体検知装置。
【請求項１２】前記映像変換手段は、前記複数の各撮
影手段の設置に関するパラメータから変換マトリックス
を生成してこれを用いる手段を有することを特徴とする
請求項１０又は１１記載の物体検知装置。
【請求項１３】前記複数の各撮影手段により得られた
映像に対してそれぞれエッジ抽出処理を行い、この抽出
処理後の複数のうちの一つのエッジ映像を前記映像変換
手段に供給すると共に、前記複数のうちの前記視点変換
を行った位置に設置されている撮影手段により得られた
映像よりエッジ抽出処理されたエッジ映像を前記比較検
出手段に供給するエッジ抽出手段を追加して備えたこと
を特徴とする請求項９から１２までのいずれかの請求項
に記載の物体検知装置。
【請求項１４】前記エッジ抽出手段が供給したエッジ
映像に対して前記映像変換手段が変換した映像を入力
し、この入力映像に対して膨張処理を施し、この膨張処
理後の映像を前記比較検出手段に供給する膨張処理手段
を追加して備えたことを特徴とする請求項１３記載の物
体検知装置。
【請求項１５】予め変換前後の映像の各画素位置間の
対応づけを行い、その対応情報を記憶する記憶手段を追
加して備え、前記映像変換手段は、映像の変換時に前記
記憶手段に記憶された各画素位置間の対応情報を用いて
映像を変換する手段を有することを特徴とする請求項
９、１３又は１４記載の物体検知装置。
【請求項１６】前記記憶手段は、前記複数の各撮影手
段の設置及び撮影状況に関するパラメータを用いて前記
変換前後の映像の各画素位置間の対応づけが算出された
対応情報を記憶するものであることを特徴とする請求項
１５記載の物体検知装置。