JP2003256811A - ３次元情報復元装置、３次元情報復元方法、３次元情報復元方法のプログラムおよびこのプログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 短時間に広範囲の高解像度３次元画像を復元
する。 【解決手段】 ２台のライン画像撮像装置が互いの光軸
が平行にならないようにし、かつライン方向が移動方向
に平行にならないようにし、移動しながら同じ景観のラ
イン画像を撮影する。撮影した場所情報に基づいてライ
ン画像の撮影間隔距離が一定間隔距離になるように時間
軸方向に合成して２枚の長尺画像を作成し、２枚の長尺
画像上の同一物体を対応付け、対応付けられた同一物体
の撮像位置の時間軸方向のずれと一定間隔距離とライン
方向および光軸方向とに基づいて移動経路から被撮像物
体までの距離と高さとを計算する。１枚目の長尺画像の
局所領域と２枚目の長尺画像の局所領域との類似度を算
出し、この類似度、さらに形状モデルを基に被撮像物体
までの距離と高さとを計算することも含む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像を用いて３次
元情報を復元する方法に関するものである。

【０００２】

【従来の技術】従来、画像を用いた３次元情報を復元す
る方法としては、一般に、エリアセンサカメラを用いた
ステレオ視が知られている。

【０００３】

【発明が解決しようとする課題】しかしながら、エリア
センサカメラによる３次元情報復元では、短時間に広範
囲の高解像度のステレオ画像を取得することが困難であ
り、対象物が遠いほど解像度が低くかつ十分な基長線が
取れないため精度が落ちる。

【０００４】また、透視投影のため、遠くの物体ほど小
さくなり、位置情報の精度が落ちるという欠点があっ
た。

【０００５】本発明の目的は、上記の各課題を解決した
３次元情報復元装置、３次元情報復元方法、３次元情報
復元方法のプログラム、およびこのプログラムを記録し
た記録媒体を提供することにある。

【０００６】

【課題を解決するための手段】本発明は、ラインセンサ
カメラを移動させながら撮影してステレオ画像を取得す
ることで、短時間に広範囲の高解像度画像を取得するこ
とを可能とし、また、対象物が遠いときには基長線が広
がるため精度が落ちないようにし、さらに、ラインセン
サカメラによる長尺画像は時間軸方向が平行投影なの
で、物体が遠くても時間軸方向では対象物は小さくなら
ないようにしたもので、以下の装置、方法、プログラム
および記録媒体を特徴とする。

【０００７】（装置の発明） （１）画像を用いて３次元情報を復元する装置におい
て、２台のライン画像撮像装置が互いの光軸が平行にな
らないように設置され、かつライン方向が移動方向に平
行にならないように設置され、移動しながら同じ景観の
ライン画像を撮影する画像撮影手段と、上記画像撮影手
段で撮影したライン画像と撮影した場所情報とを記録す
る画像記録手段と、上記撮影した場所情報に基づいて上
記画像記録手段で記録したライン画像の撮影間隔距離が
一定間隔距離になるように時間軸方向に合成して２枚の
長尺画像を作成する長尺画像作成手段と、上記２枚の長
尺画像上の同一物体を対応付ける画像照合手段と、上記
２枚の長尺画像上の上記画像照合手段によって対応付け
られた同一物体の撮像位置の時間軸方向のずれと上記一
定間隔距離と上記ライン画像撮像装置のライン方向およ
び光軸方向とに基づいて移動経路から被撮像物体までの
距離と高さとを計算する位置情報取得手段と、上記位置
情報といずれかの上記長尺画像とを用いて位置情報に画
像情報を付加する画像貼り付け手段とを有することを特
徴とする。

【０００８】（２）画像を用いて３次元情報を復元する
装置において、２台のライン画像撮像装置が互いの光軸
が平行にならないように設置され、かつライン方向が移
動方向に平行にならないように設置され、移動しながら
同じ景観のライン画像を撮影する画像撮影手段と、上記
画像撮影手段で撮影したライン画像と撮影した場所情報
とを記録する画像記録手段と、上記撮影した場所情報に
基づいて上記画像記録手段で記録したライン画像の撮影
間隔距離が一定間隔距離になるように時間軸方向に合成
して２枚の長尺画像を作成する長尺画像作成手段と、１
枚目の長尺画像を局所領域ごとに区切って該局所領域を
それぞれ基準領域とし、２枚目の長尺画像において該基
準領域の被撮影物体と同一の物体が撮像されている可能
性のある領域を局所領域ごとに区切った領域、または２
枚目の長尺画像を局所領域ごとに区切って領域を視差候
補領域とし、各基準領域ごとに該基準領域と全視差候補
領域との類似度を算出し、該基準領域と各視差候補領域
の時間方向のずれ量に対して類似度が最大のものを該ず
れ量の類似度とし、該基準領域または視差候補領域の座
標、該基準領域と各視差候補領域の時間方向のずれ量、
および該ずれ量の類似度を一組として類似度表を作成す
る類似度表算出手段と、上記類似度表算出手段で得られ
る類似度表のうち類似度がある閾値以下の組は類似度な
しとしある閾値以上の組のみと上記一定間隔距離と上記
ライン画像撮像装置のライン方向および光軸方向とにも
とづいて移動経路から被撮像物体までの距離と高さとを
計算する位置情報取得手段と、上記位置情報取得手段で
得られる位置情報といずれかの上記長尺画像とを用いて
位置情報に画像情報を付加する画像貼り付け手段とを有
することを特徴とする。

【０００９】（３）画像を用いて３次元情報を復元する
装置において、２台のライン画像撮像装置が互いの光軸
が平行にならないように設置され、かつライン方向が移
動方向に平行にならないように設置され、移動しながら
同じ景観のライン画像を撮影する画像撮影手段と、上記
画像撮影手段で撮影したライン画像と撮影した場所情報
とを記録する画像記録手順と、上記撮影した場所情報に
基づいて上記画像記録手段で記録したライン画像の撮影
間隔距離が一定間隔距離になるように時間軸方向に合成
して２枚の長尺画像を作成する長尺画像作成手段と、１
枚目の長尺画像を局所領域ごとに区切って該局所領域を
それぞれ基準領域とし、２枚目の長尺画像において該基
準領域の被撮影物体と同一の物体が撮像されている可能
性のある領域を局所領域ごとに区切った領域、または２
枚目の長尺画像を局所領域ごとに区切って領域を視差候
補領域とし、各基準領域ごとに該基準領域と全視差候補
領域との類似度を算出し、該基準領域と各視差候補領域
の時間方向のずれ量に対して類似度が最大のものを該ず
れ量の類似度とし、該基準領域または視差候補領域の座
標、該基準領域と各視差候補領域の時間方向のずれ量、
および該ずれ量の類似度を一組として類似度表を作成す
る類似度表算出手段と、上記類似度表算出手段で得られ
る類似度表と上記一定間隔距離と上記ライン画像撮像装
置のライン方向および光軸方向と抽出を行う形状モデル
とに基づいて形状情報抽出を行う形状情報抽出手段と、
上記形状情報抽出手段で得られる形状情報といずれかの
上記長尺画像とを用いて位置情報に画像情報を付加する
画像貼り付け手段とを有することを特徴とする。

【００１０】（４）前記（１）〜（３）のいずれか１項
に記載の３次元情報復元装置において、上記２台のライ
ン画像撮像装置は、光軸が一点で交わりかつライン方向
と光軸が移動方向に垂直な面に対称になるように設置す
ることを特徴とする。

【００１１】（５）前記（１）〜（４）のいずれか１項
に記載の３次元情報復元装置において、上記２台のライ
ン画像取得装置による長尺画像の局所領域ごとの類似度
に基づいて２枚の長尺画像上の同一物体の撮像位置の対
応付けを行うことを特徴とする。

【００１２】（６）前記（２）〜（５）のいずれか１項
に記載の３次元情報復元装置において、上記類似度表と
上記一定間隔距離と上記ライン画像撮像装置のライン方
向および光軸方向とにもとづいて類似度を濃淡値で３次
元空間上に表示した類似度マップを作成することを特徴
とする。

【００１３】（方法の発明） （７）画像を用いて３次元情報を復元する方法におい
て、２台のライン画像撮像装置が互いの光軸が平行にな
らないように設置され、かつライン方向が移動方向に平
行にならないように設置され、移動しながら同じ景観の
ライン画像を撮影する画像撮影手順と、上記画像撮影手
順で撮影したライン画像と撮影した場所情報とを記録す
る画像記録手順と、上記撮影した場所情報に基づいて上
記画像記録手順で記録したライン画像の撮影間隔距離が
一定間隔距離になるように時間軸方向に合成して２枚の
長尺画像を作成する長尺画像作成手順と、上記２枚の長
尺画像上の同一物体を対応付ける画像照合手順と、上記
２枚の長尺画像上の上記画像照合手順によって対応付け
られた同一物体の撮像位置の時間軸方向のずれと上記一
定間隔距離と上記ライン画像撮像装置のライン方向およ
び光軸方向とに基づいて移動経路から被撮像物体までの
距離と高さとを計算する位置情報取得手順と、上記位置
情報といずれかの上記長尺画像とを用いて位置情報に画
像情報を付加する画像貼り付け手順とを有することを特
徴とする。

【００１４】（８）画像を用いて３次元情報を復元する
方法において、２台のライン画像撮像装置が互いの光軸
が平行にならないように設置され、かつライン方向が移
動方向に平行にならないように設置され、移動しながら
同じ景観のライン画像を撮影する画像撮影手順と、上記
画像撮影手順で撮影したライン画像と撮影した場所情報
とを記録する画像記録手順と、上記撮影した場所情報に
基づいて上記画像記録手順で記録したライン画像の撮影
間隔距離が一定間隔距離になるように時間軸方向に合成
して２枚の長尺画像を作成する長尺画像作成手順と、１
枚目の長尺画像を局所領域ごとに区切って該局所領域を
それぞれ基準領域とし、２枚目の長尺画像において該基
準領域の被撮影物体と同一の物体が撮像されている可能
性のある領域を局所領域ごとに区切った領域、または２
枚目の長尺画像を局所領域ごとに区切って領域を視差候
補領域とし、各基準領域ごとに該基準領域と全視差候補
領域との類似度を算出し、該基準領域と各視差候補領域
の時間方向のずれ量に対して類似度が最大のものを該ず
れ量の類似度とし、該基準領域または視差候補領域の座
標、該基準領域と各視差候補領域の時間方向のずれ量、
および該ずれ量の類似度を一組として類似度表を作成す
る類似度表算出手順と、上記類似度表算出手順で得られ
る類似度表のうち、類似度がある閾値以下の組は類似度
をなしとし、類似度がある閾値以上の組のみと上記一定
間隔距離と上記ライン画像撮像装置のライン方向および
光軸方向とにもとづいて移動経路から被撮像物体までの
距離と高さとを計算する位置情報取得手順と、上記位置
情報取得手順で得られる位置情報といずれかの上記長尺
画像とを用いて位置情報に画像情報を付加する画像貼り
付け手順とを有することを特徴とする。

【００１５】（９）画像を用いて３次元情報を復元する
方法において、２台のライン画像撮像装置が互いの光軸
が平行にならないように設置され、かつライン方向が移
動方向に平行にならないように設置され、移動しながら
同じ景観のライン画像を撮影する画像撮影手順と、上記
画像撮影手順で撮影したライン画像と撮影した場所情報
とを記録する画像記録手順と、上記撮影した場所情報に
基づいて上記画像記録手順で記録したライン画像の撮影
間隔距離が一定間隔距離になるように時間軸方向に合成
して２枚の長尺画像を作成する長尺画像作成手順と、１
枚目の長尺画像を局所領域ごとに区切って該局所領域を
それぞれ基準領域とし、２枚目の長尺画像において該基
準領域の被撮影物体と同一の物体が撮像されている可能
性のある領域を局所領域ごとに区切った領域、または２
枚目の長尺画像を局所領域ごとに区切って領域を視差候
補領域とし、各基準領域ごとに該基準領域と全視差候補
領域との類似度を算出し、該基準領域と各視差候補領域
の時間方向のずれ量に対して類似度が最大のものを該ず
れ量の類似度とし、該基準領域または視差候補領域の座
標、該基準領域と各視差候補領域の時間方向のずれ量、
および該ずれ量の類似度を一組として類似度表を作成す
る類似度表算出手順と、上記類似度表算出手順で得られ
る類似度表と上記一定間隔距離と上記ライン画像撮像装
置のライン方向および光軸方向と抽出を行う形状モデル
とに基づいて形状情報抽出を行う形状情報抽出手順と、
上記形状情報抽出手順で得られる形状情報といずれかの
上記長尺画像とを用いて位置情報に画像情報を付加する
画像貼り付け手順とを有することを特徴とする。

【００１６】（１０）前記（７）〜（９）のいずれか１
項に記載の３次元情報復元方法において、上記２台のラ
イン画像撮像装置は、光軸が一点で交わりかつライン方
向と光軸が移動方向に垂直な面に対称になるように設置
することを特徴とする。

【００１７】（１１）前記（７）〜（１０）のいずれか
１項に記載の３次元情報復元方法において、上記２台の
ライン画像取得装置による長尺画像の局所領域ごとの類
似度に基づいて２枚の長尺画像上の同一物体の撮像位置
の対応付けを行うことを特徴とする。

【００１８】（１２）前記（８）〜（１１）のいずれか
１項に記載の３次元情報復元方法において、上記類似度
表と上記一定間隔距離と上記ライン画像撮像装置のライ
ン方向および光軸方向とにもとづいて類似度を濃淡値で
３次元空間上に表示した類似度マツブを作成することを
特徴とする。

【００１９】（プログラムの発明） （１３）前記（７）〜（１２）のいずれか１項に記載の
３次元情報復元方法における処理手順をコンピュータで
実行可能に構成したことを特徴とする。

【００２０】（記録媒体の発明） （１４）（７）〜（１２）のいずれか１項に記載の３次
元情報復元方法における処理手順をコンピュータに実行
させるためのプログラムを、該コンピュータが読み取り
可能な記録媒体に記録したことを特徴とする。

【００２１】

【発明の実施の形態】まず、図１および図２を用いて、
請求項１、請求項２および請求項３に対応する３次元情
報復元方法について説明する。

【００２２】図１は、画像取得方法を説明するための斜
視図である。ここで、２台のラインセンサの撮影開始地
点は同じ地点とし、上記撮影開始地点を原点とする。車
両の移動方向（１０４）にｘ軸（１０１）、移動方向
（１０４）に垂直で車両と被撮像物体（１０５）を結ぶ
方向にｙ軸（１０２）、ｘｙ平面に垂直にｚ軸（１０
３）をとる。以後、すべての図において、ｘ軸、ｙ軸、
Ｚ軸はこの設定とする。

【００２３】図１において、撮影位置（１０７）はある
時点での被撮像物体（１０５）（ここでは道路脇の建
物）の撮影位置を示し、この撮影位置（１０７）は時間
と共に移動方向（１０４）へ移動する。ｙｚ平面から移
動方向（１０４）に傾いた方向を撮影しているラインセ
ンサをカメラＡ，ｙｚ平面から移動方向（１０４）と逆
に傾いた方向を撮影しているラインセンサをカメラＢと
する。

【００２４】カメラＡのライン方向（１０６）はｚ軸か
ら角度α（１０８）傾き、カメラＢのライン方向（１０
７）はｚ軸から角度β（１０９）傾いているとする。角
度はｚ軸から移動方向に向かって正の向き、ｚ軸から移
動方向と逆向きに向かって負の向きとする。つまり、図
１の場合、角度α（１０８）は負の値となる。２台のラ
インセンサの光軸が互いに平行にならないようにかつラ
イン方向が移動方向に平行にならないように設置する。
２台のランセンサの光軸は同じ高さであるとする。

【００２５】図２は、図１において、２台のラインセン
サが被撮像物体を撮影した様子を上から見ている図であ
る。ラインセンサが搭載された車両を２０３とする。ｘ
軸（２０１）、ｙ軸（２０２）、ｚ軸、撮影位置（２０
４）、移動方向（２０５）、被撮像物体（２０６）、カ
メラＡ（２０７）およびカメラＢ（２０８）は、それぞ
れ図１のｘ軸（１０１）、ｙ軸（１０２）、ｚ軸（１０
３）、撮影位置（１０７）、移動方向（１０４）、被撮
像物体（１０５）、カメラＡおよびカメラＢを指してい
る。カメラＡのライン方向（１０６）はｚ軸から角度α
（１０８）傾き、カメラＢのライン方向（１０７）はｚ
軸から角度β（１０９）傾いているとする。カメラＡ
（２０７）は車両（２０３）の前方からみて１台目に設
置し、カメラＢ（２０９）は車両（２０３）の前方から
みて２台目に設置する。ｙｚ平面からカメラＡ（２０
８）の光軸までの角度をカメラ角度θ₁（２０９）、ｙ
ｚ平面からカメラＢ（２０８）の光軸までの角度をカメ
ラ角度θ₂（２１０）とする。

【００２６】図３は、請求項１に対応するフローチャー
トである。図３において、３０１および３０２はカメラ
Ａ（２０７）およびカメラＢ（２０８）により取得され
た画像Ａおよび画像Ｂを示し、３０３は撮影した撮影場
所情報、３１２は長尺画像作成処理、３０４は撮影間隔
距離を示す画像移動量定数、３０５，３０６はそれぞれ
画像Ａ（３０１）、画像Ｂ（３０２）から作成される長
尺画像Ａおよび長尺画像Ｂを表す。３１３は画像照合処
理、３０７は２枚の長尺画像上における同一物体の撮像
位置の時間軸方向のずれ量、３０８は被撮像物体の撮像
位置、３０９はカメラＡ（２０７）およびカメラＢ（２
０８）のカメラ角度（２１０および２１１）およびライ
ン方向の角度（１０８および１０９）を示すカメラ設置
角度を表す。３１０はカメラの内部パラメータ（文献
１：「コンピュータビジョン」新技術コミュニケーショ
ンズ１９９９年）を示すカメラパラメータ、３１４は位
置情報算出処理、３１１は移動経路と被撮像物体との距
離と高さ、３１５は画像貼り付け処理を表す。

【００２７】長尺画像作成処理（３１２）について説明
する。カメラＡ、カメラＢはそれぞれ図１および図２で
説明したものと同じラインセンサを表す。画像Ａ（３０
１）はカメラＡで、画像Ｂ（３０２）はカメラＢで、そ
れぞれ撮影された画像である。ラインセンサは一定時間
ごとに１ラインの撮影を行う。ラインセンサのライン方
向に垂直な方向にラインセンサを移動させながら撮影し
たライン画像を撮影開始地点から移動方向にむかって時
系列に並べることで、原理的には移動方向に無限に連続
する画像を作ることができる。この画像を以後すべての
説明において、長尺画像とよぶことにする。

【００２８】以下、長尺画像の上記時間軸方向をａ軸、
ライン方向をｂ軸と呼ぶことにする。以後、すべての説
明において、ａ軸、ｂ軸はこの設定とする。また、以後
すべての説明において、ａ軸方向にｘ，ｂ軸方向にｙの
位置にある点を（ｘ，ｙ）と記述する。

【００２９】ラインセンサが移動しつつ一定時間ごとに
画像（１ライン）を取り込む場合には、長尺画像上の被
撮像物体のａ軸方向の幅はラインセンサの移動速度に依
存する。上記被撮像物体のａ軸方向の幅は、ラインセン
サの移動速度が遅い場合は延び、ラインセンサの移動速
度が速い場合は狭くなる。撮影場所情報（３０３）はＧ
ＰＳなどの何らかの方法により得られる撮影した撮影場
所情報であり、この撮影場所情報（３０３）を用いて各
ライン画像の幅の伸縮の割合を決定する。ラインセンサ
の移動速度に反比例してライン画像の間引きを行えば、
長尺画像は移動速度に依存しないものになる。また、あ
らかじめロータリエンコーダーを用いて撮影間隔距離が
一定間隔距離になるように撮影すれば、時系列にならべ
るだけで長尺画像を作成することができる。

【００３０】長尺画像Ａ（３０５）、および長尺画像Ｂ
（３０６）はそれぞれ、上記長尺画像作成処理（３１
２）により撮影場所情報（３０３）を用いて画像Ａ（３
０１）、および画像Ｂ（３０２）を補正した画像であ
る。画像移動量定数（３０４）は撮影距離間隔を記述し
た定数とし、たとえばライン画像のａ軸の幅が１ｍｍに
対応する場合、画像移動量定数は１ｍｍとなる。

【００３１】画像照合処理（３１３）の説明を行う。長
尺画像Ａ（３０５）と長尺画像Ｂ（３０６）とを照合し
て、同一物体の撮像位置の対応付けを行う。

【００３２】請求項５で記述するように、２枚の長尺画
像上の局所領域ごとの類似度にもとづいて対応付けを行
ってもよい。類似度の計算例として、差分による方法、
相互相関値による方法（文献２：「画像解析ハンドブッ
ク」東京大学出版会１９９１年）などがあげられる。差
分を用いる場合は局所領域ごとに差分を計算し、最も小
さい値をとる２枚の長尺画像上の局所領域どうしを対応
付ける。相互相関値を用いる場合は、相互相関値が最大
となる２枚の長尺画像上の局所領域どうしを対応付け
る。

【００３３】請求項４に記述するように、２台のカメラ
を光軸が一点で交わりかつライン方向と光軸が移動方向
に垂直な面に対称になるように設置している場合、ｂ軸
方向のみの照合でよい。また、人手により対応付けを行
ってよい。これらの方法以外でも長尺画像Ａ（３０５）
と長尺画像Ｂ（３０６）の照合を行うことができればど
のような方法を用いても良い。

【００３４】位置情報取得処理（３１４）について説明
する。上記画像照合処理（３１３）によって対応付けら
れた同一物体の撮像位置の時間軸方向のずれ量と画像移
動量定数（３０４）とカメラのライン方向および光軸方
向（３０９）とに基づいて移動経路から被撮像物体まで
の距離を計算する。

【００３５】図４を用いて位置情報取得の方法について
説明する。図４は２台のラインセンサが同一物体を撮影
した様子を示す。同図において、カメラＡ、カメラＢは
それぞれ図２で説明したカメラＡ（２０７）、カメラＢ
（２０８）である。被撮影物体（４０３）を、撮影位置
（４０１）でカメラＡによりまず撮影し、次に移動経路
（４０８）上を移動しながら撮影位置（４０２）でカメ
ラＢにより被撮影物体（４０３）を撮影する。ここで、
カメラＡの撮影位置とカメラＢの撮影位置との間の距離
を同一物体検知距離（４０９）とする。カメラ角度θ₁
（４０４）とカメラ角度θ₂（４０５）はそれぞれ図２
のカメラ角度θ₁（２１０）とカメラ角度θ₂（２１０）
で説明したものである。また、図１に説明したように、
カメラＡのライン方向（１０６）はｚ軸から角度α（１
０８）傾き、カメラＢのライン方向（１０７）はｚ軸か
ら角度β（１０９）傾いているとする。ライン方向の角
度は図１と同様にｚ軸から移動方向に向かって正の向
き、ｚ軸から移動方向と逆向きに向かって負の向きとす
る。カメラＡにより撮影した長尺画像例を（４１０）に
示す。

【００３６】２台のカメラのライン方向がｚ軸（１０
３）に平行の場合、つまりα＝β＝０の場合の移動経路
から被撮像物体までの計算式を説明する。撮影位置（４
０１）と撮影位置（４０２）と被撮像物体（４０３）を
結ぶと３角形となる。そこで、３角形の性質を利用し、
移動経路から被撮像物体（４０３）までの距離を求め
る。以下の式で求められる。

【００３７】

【数１】 Ｙ＝同一物体検知距離／（ｔａｎθ₁＋ｔａｎθ₂）…（１） ここで、同一物体検知距離（４０９）は、長尺画像Ａ上
の被撮像物体（４０３）の撮像位置と長尺画像Ｂ上の被
撮像物体（４０３）の撮像位置との時間軸（ａ軸４１
１）方向のずれ量（３０７）に画像移動量定数（３０
４）をかけたものである。移動経路から被撮像物体まで
の距離が大きいほど、ずれ量は大きくなる。

【００３８】被撮像物体のｙ座標が求まれば、被撮像物
体の撮像位置（３０８）を（ｘ₀，ｙ₀）とし、カメラパ
ラメータ（３１０）を用いることにより、以下の式から
ｘ座標、ｚ座標も求めることが可能である。

【００３９】

【数２】 Ｘ＝画像移動量定数×ｘ₀ ＋同一物体検知距離×ｔａｎθ₁／（ｔａｎθ₁＋ｔａｎθ₂）…（２）

【００４０】

【数３】Ｚ＝Ｙ×ｆ（ｙ₀）…（３） ただし、ｆ（ｙ₀）はカメラパラメータ（３１０）にも
とづく関数である。

【００４１】２台のカメラのライン方向がｚ軸（１０
３）に平行でない場合、長尺画像Ａ上の光軸（４１３）
からａ軸方向（４１１）にｈ、長尺画像Ｂ上の光軸（４
１３）からｂ軸方向（４１１）にｈ’離れている場合、
以下の式、

【００４２】

【数４】 Ｙ＝同一物体検知距離／（ｔａｎθ₁’＋ｔａｎθ₂’）…（４） ただし、

【００４３】

【数５】 ｔａｎθ₁’＝ｔａｎθ₁＋ｋｈｓｉｎα …（５） ｔａｎθ₂’＝ｔａｎθ₂＋ｋｈ’ｓｉｎβ …（５） κ：カメラパラメータにもとづく定数 で計算できる。被撮像物体のｙ座標が求まれば、被撮像
物体の撮像位置（３０８）を（ｘ₀，ｙ₀）とし、カメラ
パラメータ（３１０）を用いることにより、以下の式か
らｘ座標、ｚ座標も求めることができる。

【００４４】

【数６】 Ｘ＝画像移動量定数×ｘ₀ ＋同一物体検知距離×ｔａｎθ₁’／（ｔａｎθ₁’＋ｔａｎθ₂’） …（６） ただし、θ₁’とθ₂’は前記（式５）により求められる
ものとする。

【００４５】

【数７】Ｚ＝Ｙ×ｆ（ｙ₀） …（７） ただし、ｆ（ｙ₀）はカメラパラメータ（３１０）にも
とづく関数である。

【００４６】以上の方法で移動経路から被撮像物体まで
の距離と高さを計算することにより位置情報を取得す
る。

【００４７】画像貼り付け処理（３１５）について説明
する。位置情報取得処理で得られた位置情報に長尺画像
Ａまたは長尺画像Ｂの画像を貼り付ける。例えば、長尺
画像Ａの（ｘ₀，ｙ₀）の位置情報が（Ｘ，Ｙ，Ｚ）の場
合には、（Ｘ，Ｙ，Ｚ）に長尺画像Ａの（ｘ₀，ｙ₀）上
の画素値を貼り付ける。

【００４８】図５のフローチャートを用いて、請求項２
に対応する部分を説明する。図５において、５０１およ
び５０２はカメラＡ（２０７）、およびカメラＢ（２０
８）により取得された画像Ａおよび画像Ｂを表し、５０
３は撮影場所情報、５１１は長尺画像作成処理、５０４
は撮影間隔距離を示す画像移動量定数、５０５，５０６
はそれぞれ画像Ａ（５０１）、画像Ｂ（５０２）を用い
て作成された長尺画像Ａおよび長尺画像Ｂを表す。５１
２は類似度表算出処理、５０７は類似度算出処理で算出
された類似度表、５０８はカメラＡ（２０８）およびカ
メラＢ（２０９）のカメラ角度（２０９かつ２１０）か
つライン方向の角度（１０８かつ１０９）を示すカメラ
設置角度、５０９は前記の「文献１」に記載されている
カメラの内部パラメータを示すカメラパラメータ、５１
３は位置情報取得処理、５１０は移動経路と被撮像物体
との距離と高さ、５１４は画像貼り付け処理を表す。

【００４９】長尺画像作成処理（５１１）は図３で説明
した長尺画像作成処理（３１２）と同様に行い、長尺画
像Ａ（５０５）、長尺画像Ｂ（５０６）を作成する。

【００５０】類似度表算出処理（５１２）について説明
する。長尺画像Ａ上のサイズＭ×Ｎの局所領域を基準領
域とし、長尺画像Ｂ上の前記基準領域上の被撮像物体と
同一の物体が撮像されている可能性のある領域上または
長尺画像上全領域上の局所部分を視差候補領域とする。

【００５１】たとえば、長尺画像Ａ上のａ軸方向にｘ
Ａ，ｂ軸方向にｙＡの位置にある点を中心とするサイズ
Ｍ×Ｎの局所領域を基準領域１とする。以後、ａ軸方向
にｘＡ，ｂ軸方向にｙＡの位置にある点を（ｘ_A，ｙ_A）
と記述する。

【００５２】基準領域１上の被撮像物体と同一の物体が
撮像されている可能性のある領域を決定する。

【００５３】請求項４に記述するように、２台のライン
センサが光軸が１点で交わりかつライン方向と光軸が移
動方向に垂直な面に対称になるように設置されている場
合は、カメラＢによる長尺画像Ｂ上の上記基準領域１の
ｂ軸方向の位置と同じ位置の点、つまりｙ_Aを中心とす
る領域が上記基準領域１上の被撮像物体と同一の物体が
撮像されている可能性のある領域となる。また、移動経
路から位置情報を取得する被撮像物体までの距離の範囲
をあらかじめ設定できる場合はａ軸方向の範囲も設定す
ることができる。たとえば、２台のカメラがカメラ角度
（２０９と２１０）がθ、かつライン方向の角度（１０
８と１０９）が０°になるように設置され、かつ移動経
路から位置情報を取得する被撮像物体までの距離がある
距離以下とあらかじめ設定できる場合は、長尺画像Ｂ上
のａ軸方向にｘ_Aからｘ_A＋（２×ある距離×ｔａｎθ／
画像移動量定数）にあたる領域が上記基準領域１上の被
撮像物体と同一の物体が撮像されている可能性のある領
域としてもよい。また、全領域を視差候補領域の集合と
してもよい。

【００５４】図６を用いて類似度表の作成法について説
明する。図６は視差候補領域のｂ軸方向の中心座標を一
つに決定できる場合の類似度表作成法について示したも
のである。

【００５５】６０１はカメラＡによる長尺画像Ａ，６０
２はカメラＢによる長尺画像Ｂ，６０３は長尺画像Ａ上
の（ｘ_A，ｙ_A）を中心とするサイズＭ×Ｎの基準領域、
６０４は長尺画像Ｂ上の基準領域６０３に対する
（ｘ_B，ｙ_A）を中心とする視差候補領域の一つを示す。
基準領域（６０３）上の被撮像物体と同一の物体が撮像
されている可能性のある領域を長尺画像Ｂ上のａ軸方向
にｘ_B（６１２）からｘ_A1（６１３）かつｂ軸方向にｙ_A
を中心とする領域とする。６０５，６０６は長尺画像Ａ
のａ軸、ｂ軸、６０７，６０８は長尺画像Ｂのａ軸、ｂ
軸を示す。６１１は基準領域（６０３）のａ軸方向の中
心座標である。

【００５６】基準領域（６０３）と視差候補領域（６０
４）との類似度を計算し、次に（ｘ _B＋１，ｙ_A）を中心
とする視差候補領域、（ｘ_B＋２，ｙ_A）を中心とする視
差候補領域…（ｘ_A1，ｙ_A）を中心とする視差候補領域
との類似度というように被撮像物体と同一の物体が撮像
されている可能性のある領域中の全ての視差候補領域と
の類似度を計算する。なお、１画素ずつずらす例を説明
したが、局所領域のサイズにあたるＭ画素ずつずらしな
がら類似度を計算してもよい。また、基準領域１上の被
撮像物体と同一の物体が撮像されている可能性の高い視
差候補領域を探すのに最適な画素数が分かっている場合
はその画素数分ずつずらせばよい。類似度は前記の「文
献２」に記載のように差分による方法、相互相関値によ
る方法などを用いればよい。基準領域（６０３）と基準
領域（６０３）に対するすべての視差候補領域との類似
度計算をした後、長尺画像Ａ上の基準領域（６０３）と
異なる領域、たとえば（ｘ_A＋１，ｙ_A）を中心とする領
域を基準領域２とし、基準領域２と基準領域２に対する
全ての視差候補画像との類似度を計算する。このように
して長尺画像Ａ上のすべての基準領域に対して類似度計
算を行う。以上のように計算した類似度と基準領域と視
差候補領域との時間軸方向のずれ量、基準領域あるいは
視差候補領域の座標を一組として記録し、類似度表を作
成する。時間軸方向のずれ量とは例えば（ｘ_B、ｙ_A）を
中心とする基準領域（６０３）と（ｘ _B，ｙ_A）を中心と
する視差候補領域６０４との時間軸方向のずれ量はｘ_B
−ｘ_Aとなる。

【００５７】基準領域上の被撮像物体と同一の物体が撮
像されている可能性のある領域がｂ軸方向の高さｙ_Bを
中心とする領域とｂ軸方向の高さｙ_B＋１を中心とする
領域とｂ軸方向の高さｙ_B＋２を中心とする領域とｂ軸
方向の高さｙ_B＋３を中心とする領域…というように、
視差候補領域がｂ軸方向に複数存在する場合は最大の類
似度を各ずれ量に対する類似度とする。例えば、
（ｘ_A，ｙ_A）を中心とする基準領域上の被撮像物体と同
一の物体が撮像されている可能性のある領域が高さｙ_B
＋１，ｙ_B＋２，ｙ_B＋３を中心とする領域である場合、
基準領域（ｘ_A，ｙ_A）と（ｘ_B，ｙ_B）、（ｘ_B，ｙ_B＋
１）および（ｘ_B，ｙ_B＋２）を中心とする視差候補領域
とのそれぞれとの類似度を計算し、一番大きい値をすれ
量ｘ_B−ｘ_Aに対する類似度とする。

【００５８】図７は、ｂ軸方向の高さが複数にわたって
視差候補領域が存在する場合の類似度計算の方法を示し
ている。７０１はカメラＡによる長尺画像Ａ、７０２は
カメラＢによる長尺画像Ｂ、７０３は長尺画像Ａ上の
（ｘ_A，ｙ_A）を中心とするサイズＭ×Ｎの基準領域、７
０４は（ｘ_B，ｙ_B1）を中心とする視差候補領域、７０
５は（ｘ_B，ｙ_B2）を中心とする視差候補領域、７０６
は（ｘ_B，ｙ_B3）を中心とする視差候補領域を示す。７
０７，７０８は長尺画像Ａのａ軸、ｂ軸、７０９，７１
０は長尺画像Ｂのａ軸、ｂ軸を示す。７１４は基準領域
（７０３）のａ軸方向の中心座標、７１５は視差候補領
域（７０４）、視差候補領域（７０５）、視差候補領域
（７０６）のａ軸方向の中心座標である。７１１，７１
２，７１３は視差候補領域（７０４）、視差候補領域
（７０５）、視差候補領域（７０６）のそれぞれのｂ軸
方向の中心座標である。

【００５９】基準領域（７０３）と視差候補領域（７０
４）、視差候補領域（７０５）、視差候補領域（７０
６）とのそれぞれとの類似度を計算し、一番大きい値を
ずれ量ｘ_B−ｘ_Aに対する類似度とする。類似度は図６と
同様に前記の「文献２」に記載されている差分による方
法、相互相関値による方法などを用いればよい。

【００６０】このようにして計算した類似度と基準領域
または視差候補領域の座標と基準領域と視差候補領域の
時間方向のずれ量とを一組として記録し、類似度表を作
成する。

【００６１】位置情報取得処理（５１３）について説明
する。上記類似度表算出処理（５１２）で得られる類似
度表（５０７）のうち類似度がある閾値以上の組のみと
画像移動量定数（５０４）とカメラのライン方向および
光軸方向（５０８）とにもとづいて移動経路と被撮像物
体との距離と高さを取得する。

【００６２】類似度がある閾値以上の組がたとえば長尺
画像Ａ上の基準領域の座標（ｘ₀，ｙ₀）、基準領域に対
する時間軸方向のずれ量ｄであり、２台のカメラの設置
角度θ₁、θ₂、ライン方向の角度α、β、長尺画像Ａ上
の光軸（４１３）からａ軸方向（４１１）にｈ、長尺画
像Ｂ上の光軸（４１３）からａ軸方向（４１１）にｈ’
離れている場合、ｘ軸方向、ｙ軸方向、ｚ軸方向の座標
はそれぞれ以下の式で求められる。

【００６３】

【数８】 Ｙ＝画像移動量定数×時間軸方向のずれ量ｄ／（ｔａｎθ₁’＋ｔａｎθ₂’ ） …（８） ただし、θ₁'とθ₂'は前記の（式５）により求められる
ものとする。

【００６４】

【数９】 Ｘ＝画像移動量定数×｛ｘ₀＋時間軸方向のずれ量ｄ ×ｔａｎθ₁’／（ｔａｎθ₁’＋ｔａｎθ₂’）｝ …（９） ただし、θ₁'とθ₂’は前記の（式５）により求められ
るものとする。

【００６５】

【数１０】Ｚ＝Ｙ×ｆ（ｙ₀） …（１０） ただし、ｆ（ｙ₀）はカメラパラメータ（５０９）にも
とづく関数である。

【００６６】計算された位置情報（Ｘ，Ｙ，Ｚ）と類似
度と長尺画像Ａ上の基準領域の座標（ｘ₀，ｙ₀）とを記
録する。ある閾値以下の組の類似度はなしとし計算は行
わない。

【００６７】各ずれ量に対する類似度をすべて記録して
おくことで、基準領域と基準領域上と同一物体が撮像さ
れている視差候補領域との類似度が高くなかった場合で
も、閾値をさげることで上記基準領域と視差候補領域と
の時間軸方向のずれ量に対する位置情報を取得すること
が可能となる。

【００６８】請求項６に記述するように、実空間に相当
する３次元空間を作成し、（Ｘ，Ｙ，Ｚ）上に類似度を
プロットして類似度空間マップを作成してもよい。類似
度をプロットする際には、濃淡値に変換し表現する。図
８に類似度をプロットした例を示す。８０１は類似度を
実空間に相当する３次元空間にプロットした類似度空間
マップ、８０２は濃淡値に変換されプロットされた類似
度を示す。８０３，８０４，８０５はそれぞれ実空間に
相当するｘ軸、ｙ軸、ｚ軸を示す。この場合は類似度が
高いほど黒く表わされている。類似度空間マップを作成
することで距離画像を作成することができる。

【００６９】画像貼り付け処理（５１４）は図３の画像
貼り付け処理（３１３）と同様に、位置情報取得処理
（５１３）で得られた位置情報に長尺画像Ａまたは長尺
画像Ｂの画像を貼り付ける。例えば、長尺画像Ａの（ｘ
₀，ｙ₀）の位置情報が（Ｘ，Ｙ，Ｚ）だった場合には、
（Ｘ，Ｙ，Ｚ）に長尺画像Ａの（ｘ₀，ｙ₀）上の画素値
を貼り付ける。

【００７０】図９のフローチャートを用いて請求項３に
対応する部分の説明を行う。図９において、９０１，９
０２はカメラＡ（２０７）およびカメラＢ（２０８）に
より取得された画像Ａおよび画像Ｂ，９０３は撮影した
場所情報、９１２は長尺画像作成処理、９０４は５０４
と同様に撮影間隔距離を示す画像移動量定数を示し、９
０５，９０６はそれぞれ画像Ａ（９０１）、画像Ｂ（９
０２）を用いて作成された長尺画像Ａおよび長尺画像Ｂ
を表す。９１３は類似度表算出処理、９０７は類似度算
出処理で算出された類似度表、９０８は形状モデル、９
０９はカメラＢ（２０８）およびカメラＣ（２０９）の
カメラ角度かつライン方向の角度（１０８かつ１０９）
を示すカメラ設置角度、９１０は５０９と同様にカメラ
の内部パラメータを示すカメラパラメータ、９１４は形
状情報抽出処理、９１１は形状の位置、姿勢および大き
さ、９１５は画像貼り付け処理を表す。

【００７１】長尺画像作成処理（９１２）は図３で説明
した長尺画像作成処理（３１２）と同様に行い、長尺画
像Ａ（９０５）、長尺画像Ｂ（９０６）を作成する。

【００７２】類似度表作成処理（９１３）は図５で説明
した類似度表作成処理（５１２）と同様に行い、基準領
域または視差候補領域の座標と基準領域と視差候補領域
の時間軸方向のずれ量と計算した類似度を一組として記
録し、類似度表（９０７）を作成する。

【００７３】形状抽出処理（９１４）について説明す
る。類似度算出処理（９１３）で得られる類似度表（９
０７）と画像移動量定数（９０４）とカメラのライン方
向および光軸方向（９０９）と抽出を行う形状モデル
（９０８）とにもとづいて抽出を行う形状の位置、姿勢
および大きさ（９１１）を取得する。

【００７４】類似度表（９０７）のある組がたとえば長
尺画像Ａ上の基準領域の座標が（ｘ ₀，ｙ₀）、基準領域
に対する時間軸方向のずれ量がａであり、２台のカメラ
の設置角度θ₁、θ₂、ライン方向の角度α、β、かつ長
尺画像Ａ上の光軸（４１３）からａ軸方向（４１１）に
ｈ、長尺画像Ｂ上の光軸（４１３）からａ軸方向（４１
１）にｈ’離れている場合、前記の（式８）、（式
９）、（式１０）を用いてｘ軸方向、ｙ軸方向、ｚ軸方
向の座標を求めることができる。

【００７５】計算した（Ｘ，Ｙ，Ｚ）と類似度と長尺画
像Ａ上の基準領域の座標（ｘ₀，ｙ₀）とを記録する。請
求項６に記述するように、実空間に相当する３次元空間
を作成し、（Ｘ，Ｙ，Ｚ）上に類似度をプロットして類
似度空間マップを作成してもよい。類似度をプロットす
る際には、濃淡値に変換し表現する。例えば、類似度が
高いほど黒く表わしてもよい。

【００７６】次に、形状モデル（９０８）を用いて形状
情報（９１１）を抽出する。形状モデル（９０８）を用
いる形状情報抽出法の一例として、まず前記の「文献
１」に記載されている投票と多数決の原理を利用した平
面抽出の方法を説明する。平面の形状モデルｐｘ＋ｑｙ
＋ｒｚ＝１を設定し、平面のパラメータｐ，ｑ，ｒによ
って張られるパラメータ空間を設定する。平面の形状モ
デルを、

【００７７】

【数１１】 ｘ×ｃｏｓθｃｏｓφ＋ｙ×ｃｏｓθｓｉｎφ＋ｚ×ｓｉｎθ＝ｒ …（１１） と設定してもよい。

【００７８】類似度表の（Ｘ，Ｙ，Ｚ）にあたる類似度
がある閾値以上のとき、（Ｘ，Ｙ，Ｚ）の類似度に基づ
いてｘｐ＋ｙｑ＋ｚｒ＝１の平面上に投票する。閾値は
設けても設けなくてもよい。投票の際には類似度を投票
してもよい。例えば、閾値が０.５で類似度が０.８の場
合、閾値以上なので、０.８を投票する。類似度が１の
場合は１を投票する。または類似度の２乗を投票する場
合は、閾値が０.５で類似度が０.８の場合、閾値以上な
ので０.６４を投票する。類似度が１の場合は１を投票
する。類似度に基づいていればこれ以外の方法でもよ
い。

【００７９】投票する領域は、すべての（Ｘ，Ｙ，Ｚ）
について投票を行っても良いし、類似度表のうちのある
領域のみで行っても良い。たとえば、長尺間像上のＺ＝
３ｍ以上にあたる領域に空が撮像されて形状情報抽出を
行わない場合は、Ｚ＝０からＺ＝３ｍにあたる範囲内の
みの（Ｘ，Ｙ，Ｚ）の類似度を投票すればよい。

【００８０】投票が終わった後、多数決の原理により投
票度数が多いところから順次抽出する。たとえば、（ｐ
₁，ｑ₁，ｒ₁）の投票度数が一番多いときは、まず平面
ｐ₁ｘ＋ｑ₁ｙ＋ｒ₁ｚ＝１を抽出することができる。

【００８１】形状の範囲は、取り出した形状を類似度表
（９０７）の類似度あるいは類似度空間マップにプロッ
トした類似度と照合し、決定してもよい。図１０を用い
て類似度空間マップを用いた形状の範囲の決定法につい
て説明する。図１０は類似度マップを利用して平面の範
囲を決定する方法を示している。１０１１は類似度空間
マップ、１００２は投票と多数決の原理で抽出した平
面、１００３は範囲を決定し抽出した平面を表わす。１
００４はプロットした類似度を示し、１００５，１００
６，１００７は類似度マップのｘ軸，ｙ軸，ｚ軸を示
す。類似度マップ（１００１）を作成する際に類似度が
高いほど黒く表示した場合は、抽出した平面ｐｘ＋ｑｙ
＋ｒｚ＝１を黒い平面（１００２）で表示し、類似度マ
ップにプロットされたものとの各（Ｘ，Ｙ，Ｚ）ごとに
差分値をとり、差分値が小さいところを抽出（１１０
３）する。平面の範囲を決定できていることがわかる。

【００８２】また、人手により平面の範囲を決定しても
よい。これ以外にも形状の範囲を決定することができれ
ばどのような方法を用いても良い。

【００８３】いずれかの長尺画像上の形状を抽出した個
所にあたる部分にラベルをつける。たとえば、範囲がわ
かったｐ₁ｘ＋ｑ₁ｙ＋ｒ₁ｚ＝１上の（Ｘ，Ｙ，Ｚ）は
前記の（式８）、（式９）、（式１０）を用いて逆算を
行うことで画像上にある位置（ｘ₀，ｙ₀）を求めること
ができる。計算した長尺画像Ａ上の（ｘ₀，ｙ₀）にラベ
ルをつける。このようにして形状を抽出した箇所にラベ
ルをつけていく。

【００８４】投票度数の多い形状から順次抽出を行い、
範囲を決定し、長尺画像上に復元した箇所にラベルをつ
ける作業を繰り返し、長尺画像Ａと長尺画像Ｂとの両画
像上に撮像されている被撮像物体の復元を行う。

【００８５】平面について説明したが、平面以外でも前
記の「文献１」に記載のように球面や円筒面など抽出し
たい形状モデル（９０８）を設定することであらゆる形
状抽出が可能となる。

【００８６】また、投票と多数決の原理を利用した方法
以外の形状抽出の手法を説明する。形状モデルつまりテ
ンプレートを作成し、回転させたり大きさを変動させた
りしながら類似度マップと照合を行ってもよい。類似度
マップにおいて、類似度が高いほど黒く表示されている
ときには黒いテンプレートを作成し、例えば差分値を計
算する。また、類似度そのものが記録され、類似度が１
のときに一番類似していることをあらわすとき、１とい
う値で構成されるテンプレートを作成し、例えば差分値
を計算する。差分値が小さいところほどテンプレートに
即した形状であることがわかる。平面や円柱等など様々
な形状モデル（９０８）を作成し、回転・大きさを変動
させながら類似度マップと照合を行えば、あらゆる形状
情報抽出が可能となる。

【００８７】抽出したい形状が一つの場合は、形状モデ
ルを一つだけ設定し以上の方法で抽出を行ってもよい。
また、抽出したい形状が複数ある場合は、それぞれの形
状モデルを設定し、一つずつ順次抽出を行ってもよい。

【００８８】被撮像体の形状の多いものから順次復元す
ることで、効率良く形状情報抽出を行うことができる。
例えば、長尺画像上に平面が一番多く含まれ、次に円筒
面が多く含まれている場合には、まず平面を復元し次に
円筒面を復元するというように順次復元していくことで
効率良く形状情報を抽出することが可能となる。また、
平面や曲面といった形状を点の集合としてではなく、例
えば、平面をｐ₁ｘ＋ｑ₁ｙ＋ｒ₁ｚ＝１として記録でき
るように平面や曲面として記録することが可能である。

【００８９】画像貼り付け処理（９１５）について説明
する。位置情報から長尺画像上のどこにあたるかを計算
する。取得した形状情報（９１１）から被撮像物体の実
空間上での座標がわかる。実空間上（Ｘ，Ｙ，Ｚ）にあ
る場合、前記の（式８）、（式９）、（式１０）を逆算
し（ｘ₀，ｙ₀）を計算する。実空間上の（Ｘ，Ｙ，Ｚ）
は長尺画像上の（ｘ₀，ｙ₀）にあるので、その画素値を
貼り付ける。このようにして長尺画像Ａと長尺画像Ｂと
の両画像上に撮像されている被撮像物体の復元を行う。

【００９０】以上の方法で３次元情報復元を行うことが
できる。

【００９１】なお、図１ではカメラＡとカメラＢのライ
ン方向がハの字型の傾きになっているが、ライン方向が
移動方向と平行にならない限り、２台のカメラのライン
方向が平行でもまた逆ハの字の傾きでも、同様にして３
次元情報復元を行うことができる。また、図２ではカメ
ラＡとカメラＢの光軸の方向がそれぞれ進行方向と進行
方向と逆向きとを向いているが、両カメラの光軸の方向
が平行にならなければ、２台ともカメラの光軸が進行方
向を向いてもまた進行方向と逆の向きを向いてもよい。
さらに、上記の説明では２台のカメラの光軸高さは同じ
としたが、異なる場合でも２台の光軸の向きが既知であ
れば、前記の「文献１」に記載されているようにあらか
じめキャリブレーションを行うなどの方法を用いること
によって、同様に３次元情報復元を行うことができる。

【００９２】請求項７〜請求項１２の記述は、以上で説
明した方法を実現するための装置である。

【００９３】なお、本発明は、図３、図５、図９に示し
た方法又は装置の一部又は全部の処理機能をプログラム
として構成してコンピュータを用いて実現すること、あ
るいはこれらの処理手順をプログラムとして構成してコ
ンピュータに実行させることができる。また、コンピュ
ータでその各部の処理機能を実現するためのプログラ
ム、あるいはコンピュータにその処理手順を実行させる
ためのプログラムを、そのコンピュータが読み取り可能
な記録媒体、例えば、ＦＤ（フロッピーディスク：登録
商標）、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、
リムーバブルディスクなどに記録して、保存したり、提
供したりすることが可能であり、また、インターネット
のような通信ネットワークを介して配布したりすること
が可能である。

【００９４】

【発明の効果】以上説明してきたように、本発明はライ
ンセンサを移動させながら撮影することにより短時間に
広範囲の高解像度なステレオ画像を撮影することができ
る。

【００９５】また、ラインセンサによる長尺画像を用
い、長尺画像が高解像度でありかつ横軸が平行投影であ
ることと撮影時に被撮像物体が遠くなるほど基長線が長
くなることとを利用することによって、観測点と被撮像
物体との距離が遠くても位置情報の精度を保つことがで
きる。

【００９６】さらに、本発明による長尺画像は時間軸方
向が実空間上の距離と比例関係にあるので、その性質を
利用することにより位置情報を復元するための計算をよ
り簡易にした。これにより簡易に精度良く実際の市街地
の３次元仮想空間を構築できる。

【図面の簡単な説明】

【図１】本発明の実施形態を示す画像取得を行っている
場面の斜視図。

【図２】実施形態の画像取得を行っている場面を上から
見た図。

【図３】請求項１に対応する処理手順図。

【図４】同一物体を２台のカメラが撮影した様子を上か
ら見た図。

【図５】請求項２に対応する処理手順図。

【図６】視差侯補領域のｂ軸方向の中心座標が一つに決
まる場合の類似度計算法の説明図。

【図７】視差侯補領域のｂ軸方向の中心座標が複数にわ
たる場合の類似度計算法の説明図。

【図８】類似度空間マップの例を示す図。

【図９】請求項３の処理手順を示す図。

【図１０】投票と多数決の原理で形状を抽出した際の形
状の範囲を決める方法を示す図。

【符号の説明】

１０５、２０６、４０３…被撮像物体 ２０３…車両

───────────────────────────────────────────────────── フロントページの続き (72)発明者 高橋 裕子 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 2F065 AA06 AA24 AA51 FF05 FF09 FF65 FF67 JJ02 JJ03 JJ05 JJ08 JJ25 MM23 PP01 QQ00 QQ17 QQ25 QQ26 QQ28 QQ38 QQ41 5B057 BA13 CA13 CA16 CB13 CB16 DA07 DB02 DB09 DC32 5L096 AA09 CA05 CA08 EA14 FA10 FA66 FA69 FA70 JA03

Claims (14)

【特許請求の範囲】
1. 【請求項１】 画像を用いて３次元情報を復元する装置
   において、 ２台のライン画像撮像装置が互いの光軸が平行にならな
   いように設置され、かつライン方向が移動方向に平行に
   ならないように設置され、移動しながら同じ景観のライ
   ン画像を撮影する画像撮影手段と、 上記画像撮影手段で撮影したライン画像と撮影した場所
   情報とを記録する画像記録手段と、 上記撮影した場所情報に基づいて上記画像記録手段で記
   録したライン画像の撮影間隔距離が一定間隔距離になる
   ように時間軸方向に合成して２枚の長尺画像を作成する
   長尺画像作成手段と、 上記２枚の長尺画像上の同一物体を対応付ける画像照合
   手段と、 上記２枚の長尺画像上の上記画像照合手段によって対応
   付けられた同一物体の撮像位置の時間軸方向のずれと上
   記一定間隔距離と上記ライン画像撮像装置のライン方向
   および光軸方向とに基づいて移動経路から被撮像物体ま
   での距離と高さとを計算する位置情報取得手段と、 上記位置情報といずれかの上記長尺画像とを用いて位置
   情報に画像情報を付加する画像貼り付け手段と、を有す
   ることを特徴とする３次元情報復元装置。
2. 【請求項２】 画像を用いて３次元情報を復元する装置
   において、 ２台のライン画像撮像装置が互いの光軸が平行にならな
   いように設置され、かつライン方向が移動方向に平行に
   ならないように設置され、移動しながら同じ景観のライ
   ン画像を撮影する画像撮影手段と、 上記画像撮影手段で撮影したライン画像と撮影した場所
   情報とを記録する画像記録手段と、 上記撮影した場所情報に基づいて上記画像記録手段で記
   録したライン画像の撮影間隔距離が一定間隔距離になる
   ように時間軸方向に合成して２枚の長尺画像を作成する
   長尺画像作成手段と、 １枚目の長尺画像を局所領域ごとに区切って該局所領域
   をそれぞれ基準領域とし、２枚目の長尺画像において該
   基準領域の被撮影物体と同一の物体が撮像されている可
   能性のある領域を局所領域ごとに区切った領域、または
   ２枚目の長尺画像を局所領域ごとに区切って領域を視差
   候補領域とし、各基準領域ごとに該基準領域と全視差候
   補領域との類似度を算出し、該基準領域と各視差候補領
   域の時間方向のずれ量に対して類似度が最大のものを該
   ずれ量の類似度とし、該基準領域または視差候補領域の
   座標、該基準領域と各視差候補領域の時間方向のずれ
   量、および該ずれ量の類似度を一組として類似度表を作
   成する類似度表算出手段と、 上記類似度表算出手段で得られる類似度表のうち類似度
   がある閾値以下の組は類似度なしとしある閾値以上の組
   のみと上記一定間隔距離と上記ライン画像撮像装置のラ
   イン方向および光軸方向とにもとづいて移動経路から被
   撮像物体までの距離と高さとを計算する位置情報取得手
   段と、 上記位置情報取得手段で得られる位置情報といずれかの
   上記長尺画像とを用いて位置情報に画像情報を付加する
   画像貼り付け手段と、を有することを特徴とする３次元
   情報復元装置。
3. 【請求項３】 画像を用いて３次元情報を復元する装置
   において、 ２台のライン画像撮像装置が互いの光軸が平行にならな
   いように設置され、かつライン方向が移動方向に平行に
   ならないように設置され、移動しながら同じ景観のライ
   ン画像を撮影する画像撮影手段と、 上記画像撮影手段で撮影したライン画像と撮影した場所
   情報とを記録する画像記録手順と、 上記撮影した場所情報に基づいて上記画像記録手段で記
   録したライン画像の撮影間隔距離が一定間隔距離になる
   ように時間軸方向に合成して２枚の長尺画像を作成する
   長尺画像作成手段と、 １枚目の長尺画像を局所領域ごとに区切って該局所領域
   をそれぞれ基準領域とし、２枚目の長尺画像において該
   基準領域の被撮影物体と同一の物体が撮像されている可
   能性のある領域を局所領域ごとに区切った領域、または
   ２枚目の長尺画像を局所領域ごとに区切って領域を視差
   候補領域とし、各基準領域ごとに該基準領域と全視差候
   補領域との類似度を算出し、該基準領域と各視差候補領
   域の時間方向のずれ量に対して類似度が最大のものを該
   ずれ量の類似度とし、該基準領域または視差候補領域の
   座標、該基準領域と各視差候補領域の時間方向のずれ
   量、および該ずれ量の類似度を一組として類似度表を作
   成する類似度表算出手段と、 上記類似度表算出手段で得られる類似度表と上記一定間
   隔距離と上記ライン画像撮像装置のライン方向および光
   軸方向と抽出を行う形状モデルとに基づいて形状情報抽
   出を行う形状情報抽出手段と、 上記形状情報抽出手段で得られる形状情報といずれかの
   上記長尺画像とを用いて位置情報に画像情報を付加する
   画像貼り付け手段と、を有することを特徴とする３次元
   情報復元装置。
4. 【請求項４】 請求項１〜３のいずれか１項に記載の３
   次元情報復元装置において、上記２台のライン画像撮像
   装置は、光軸が一点で交わりかつライン方向と光軸が移
   動方向に垂直な面に対称になるように設置することを特
   徴とする３次元情報復元装置。
5. 【請求項５】 請求項１〜４のいずれか１項に記載の３
   次元情報復元装置において、上記２台のライン画像取得
   装置による長尺画像の局所領域ごとの類似度に基づいて
   ２枚の長尺画像上の同一物体の撮像位置の対応付けを行
   うことを特徴とする３次元情報復元装置。
6. 【請求項６】 請求項２〜５のいずれか１項に記載の３
   次元情報復元装置において、上記類似度表と上記一定間
   隔距離と上記ライン画像撮像装置のライン方向および光
   軸方向とにもとづいて類似度を濃淡値で３次元空間上に
   表示した類似度マップを作成することを特徴とする３次
   元情報復元装置。
7. 【請求項７】 画像を用いて３次元情報を復元する方法
   において、 ２台のライン画像撮像装置が互いの光軸が平行にならな
   いように設置され、かつライン方向が移動方向に平行に
   ならないように設置され、移動しながら同じ景観のライ
   ン画像を撮影する画像撮影手順と、 上記画像撮影手順で撮影したライン画像と撮影した場所
   情報とを記録する画像記録手順と、 上記撮影した場所情報に基づいて上記画像記録手順で記
   録したライン画像の撮影間隔距離が一定間隔距離になる
   ように時間軸方向に合成して２枚の長尺画像を作成する
   長尺画像作成手順と、 上記２枚の長尺画像上の同一物体を対応付ける画像照合
   手順と、 上記２枚の長尺画像上の上記画像照合手順によって対応
   付けられた同一物体の撮像位置の時間軸方向のずれと上
   記一定間隔距離と上記ライン画像撮像装置のライン方向
   および光軸方向とに基づいて移動経路から被撮像物体ま
   での距離と高さとを計算する位置情報取得手順と、 上記位置情報といずれかの上記長尺画像とを用いて位置
   情報に画像情報を付加する画像貼り付け手順と、を有す
   ることを特徴とする３次元情報復元方法。
8. 【請求項８】 画像を用いて３次元情報を復元する方法
   において、 ２台のライン画像撮像装置が互いの光軸が平行にならな
   いように設置され、かつライン方向が移動方向に平行に
   ならないように設置され、移動しながら同じ景観のライ
   ン画像を撮影する画像撮影手順と、 上記画像撮影手順で撮影したライン画像と撮影した場所
   情報とを記録する画像記録手順と、 上記撮影した場所情報に基づいて上記画像記録手順で記
   録したライン画像の撮影間隔距離が一定間隔距離になる
   ように時間軸方向に合成して２枚の長尺画像を作成する
   長尺画像作成手順と、 １枚目の長尺画像を局所領域ごとに区切って該局所領域
   をそれぞれ基準領域とし、２枚目の長尺画像において該
   基準領域の被撮影物体と同一の物体が撮像されている可
   能性のある領域を局所領域ごとに区切った領域、または
   ２枚目の長尺画像を局所領域ごとに区切って領域を視差
   候補領域とし、各基準領域ごとに該基準領域と全視差候
   補領域との類似度を算出し、該基準領域と各視差候補領
   域の時間方向のずれ量に対して類似度が最大のものを該
   ずれ量の類似度とし、該基準領域または視差候補領域の
   座標、該基準領域と各視差候補領域の時間方向のずれ
   量、および該ずれ量の類似度を一組として類似度表を作
   成する類似度表算出手順と、 上記類似度表算出手順で得られる類似度表のうち、類似
   度がある閾値以下の組は類似度をなしとし、類似度があ
   る閾値以上の組のみと上記一定間隔距離と上記ライン画
   像撮像装置のライン方向および光軸方向とにもとづいて
   移動経路から被撮像物体までの距離と高さとを計算する
   位置情報取得手順と、 上記位置情報取得手順で得られる位置情報といずれかの
   上記長尺画像とを用いて位置情報に画像情報を付加する
   画像貼り付け手順と、を有することを特徴とする３次元
   情報復元方法。
9. 【請求項９】 画像を用いて３次元情報を復元する方法
   において、 ２台のライン画像撮像装置が互いの光軸が平行にならな
   いように設置され、かつライン方向が移動方向に平行に
   ならないように設置され、移動しながら同じ景観のライ
   ン画像を撮影する画像撮影手順と、 上記画像撮影手順で撮影したライン画像と撮影した場所
   情報とを記録する画像記録手順と、 上記撮影した場所情報に基づいて上記画像記録手順で記
   録したライン画像の撮影間隔距離が一定間隔距離になる
   ように時間軸方向に合成して２枚の長尺画像を作成する
   長尺画像作成手順と、 １枚目の長尺画像を局所領域ごとに区切って該局所領域
   をそれぞれ基準領域とし、２枚目の長尺画像において該
   基準領域の被撮影物体と同一の物体が撮像されている可
   能性のある領域を局所領域ごとに区切った領域、または
   ２枚目の長尺画像を局所領域ごとに区切って領域を視差
   候補領域とし、各基準領域ごとに該基準領域と全視差候
   補領域との類似度を算出し、該基準領域と各視差候補領
   域の時間方向のずれ量に対して類似度が最大のものを該
   ずれ量の類似度とし、該基準領域または視差候補領域の
   座標、該基準領域と各視差候補領域の時間方向のずれ
   量、および該ずれ量の類似度を一組として類似度表を作
   成する類似度表算出手順と、 上記類似度表算出手順で得られる類似度表と上記一定間
   隔距離と上記ライン画像撮像装置のライン方向および光
   軸方向と抽出を行う形状モデルとに基づいて形状情報抽
   出を行う形状情報抽出手順と、 上記形状情報抽出手順で得られる形状情報といずれかの
   上記長尺画像とを用いて位置情報に画像情報を付加する
   画像貼り付け手順と、を有することを特徴とする３次元
   情報復元方法。
10. 【請求項１０】 請求項７〜９のいずれか１項に記載の
    ３次元情報復元方法において、上記２台のライン画像撮
    像装置は、光軸が一点で交わりかつライン方向と光軸が
    移動方向に垂直な面に対称になるように設置することを
    特徴とする３次元情報復元方法。
11. 【請求項１１】 請求項７〜１０のいずれか１項に記載
    の３次元情報復元方法において、上記２台のライン画像
    取得装置による長尺画像の局所領域ごとの類似度に基づ
    いて２枚の長尺画像上の同一物体の撮像位置の対応付け
    を行うことを特徴とする３次元情報復元方法。
12. 【請求項１２】 請求項８〜１１のいずれか１項に記載
    の３次元情報復元方法において、上記類似度表と上記一
    定間隔距離と上記ライン画像撮像装置のライン方向およ
    び光軸方向とにもとづいて類似度を濃淡値で３次元空間
    上に表示した類似度マツブを作成することを特徴とする
    ３次元情報復元方法。
13. 【請求項１３】 請求項７〜１２のいずれか１項に記載
    の３次元情報復元方法における処理手順をコンピュータ
    で実行可能に構成したことを特徴とするプログラム。
14. 【請求項１４】 請求項７〜１２のいずれか１項に記載
    の３次元情報復元方法における処理手順をコンピュータ
    に実行させるためのプログラムを、該コンピュータが読
    み取り可能な記録媒体に記録したことを特徴とする記録
    媒体。