JP2003264852A - 立体画像表示装置及び方法 - Google Patents

Abstract

(57)【要約】 【課題】 デジタルカメラやデジタルビデオ画像を利用
して、立体視可能な三次元画像を作成できる立体画像表
示装置を提供すること。 【解決手段】 ステレオ画像取得部１０で取得された一
対のステレオ画像に含まれている特徴要素を指定する特
徴要素指定部４０と、特徴要素指定部４０で指定された
特徴要素の前記ステレオ画像中の位置に基づき前記ステ
レオ画像の標定を行う画像標定部３０と、標定の済んだ
ステレオ画像を立体表示する表示部６０とを備えてい
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ステレオ撮影された画
像から撮影対象物の三次元画像を作成して、立体表示で
きる立体画像表示装置及び方法に関する。また、本発明
は、作成された三次元画像からステレオ画像計測を行え
る立体画像表示装置に関する。

【０００２】

【従来の技術】ステレオ計測するためのステレオカメラ
は、各カメラが相対的に動かないように固定されてい
る。そこで、カメラ間隔に対応する基線長は不変であ
り、カメラの撮影距離も各カメラ間で正確に一致させる
必要があるため、焦点距離を可変にしたズームレンズで
はなく、固定焦点距離式のレンズが使用されている。ま
た、カメラの分解能に依存して、ステレオカメラの計測
精度が定まるため、収差の少ない高精度レンズが使用さ
れている。

【０００３】また、ステレオ撮影された画像を立体視す
る立体画像表示装置として、液晶シャッター方式と液晶
フィルターシャッター方式が存在している。液晶シャッ
ター方式は、１枚の画面に左右画像を交互に表示させ、
それら画像を液晶眼鏡によって同期させて左右画像を切
り替えるものである。液晶フィルターシャッター方式
は、画面上に液晶偏向フィルターを取り付け、左右画像
を切り替え表示しながら液晶偏向フィルターも同時に切
り替え、偏向眼鏡で観察するものである。

【０００４】

【発明が解決しようとする課題】そこで、従来のステレ
オカメラには、以下のような課題がある。各カメラが
相対的に動かないように固定されているため持ち運びが
しにくい。基線長と撮影距離の選択範囲が少ないた
め、ステレオカメラの計測対象物の寸法が限定される。
高精度レンズを使用した専用カメラは高価で、一般の
人には利用しにくい。

【０００５】また、従来の立体画像表示装置では、液晶
眼鏡、液晶フィルターなどを用いて、左右画像を時分割
で切り替えて表示して、立体視を可能としているが、以
下に示す課題がある。切り替えた画像を人間の左右の
目に時分割でそれぞれ表示し、脳で左右画像を融合させ
ているため、左右画像の切り替えがちらつきとなって、
立体視をとても疲労の伴う難しいものとしている。液
晶シャッター方式では、液晶眼鏡の左右の切り替えをセ
ンサーで行っているため、蛍光灯のノイズにより左右の
切り替えに誤動作が起こる場合がある。そこで、蛍光灯
のもとでは使用（立体視）が困難である。

【０００６】本発明は、上述する課題を解決したもの
で、第１の目的は、デジタルカメラやデジタルビデオ画
像を利用して立体視可能な三次元画像を作成できる立体
画像表示装置及び方法を提供することである。本発明の
第２の目的は、作成された三次元画像からステレオ画像
計測を行える立体画像表示装置を提供することである。
本発明の第３の目的は、ステレオ撮影された画像を立体
視する場合に、長時間立体視しても疲労の伴わない立体
画像表示装置を提供することである。

【０００７】

【課題を解決するための手段】第１の目的を達成する本
発明の立体画像表示装置は、図１に示すように、ステレ
オ画像取得部１０で取得された一対のステレオ画像に含
まれている特徴要素を指定する特徴要素指定部４０と、
特徴要素指定部４０で指定された特徴要素の前記ステレ
オ画像中の位置に基づき前記ステレオ画像の標定を行う
画像標定部３０と、標定の済んだステレオ画像を立体表
示する表示部６０とを備えている。

【０００８】このように構成された装置においては、特
徴要素指定部４０によってステレオ画像に含まれている
特徴要素が指定されるので、画像標定部３０によるステ
レオ画像の標定が容易に行える。標定されたステレオ画
像は、表示部６０によって立体表示される。好ましく
は、ステレオ画像取得部１０で取得された一対のステレ
オ画像を格納する画像データ記憶部２０を設けると、特
徴要素指定部４０での特徴要素を指定する処理を画像デ
ータ記憶部２０に格納されたステレオ画像を用いて行え
る。

【０００９】好ましくは、特徴要素指定部４０は、画像
内でカーソルを移動させるカーソル移動手段を含み、当
該カーソル移動手段により前記特徴要素を指示するよう
に構成されていると、オペレータによるステレオ画像の
標定作業が容易に行える。カーソル移動手段には、典型
的にはマウス、ポインタ、タッチパッド、キースイッチ
等の電子機器用入力装置が用いられる。

【００１０】好ましくは、特徴要素指定部４０は、ステ
レオ画像内での特徴要素となる特徴要素候補画像を捜索
し、当該特徴要素候補画像に前記カーソルを移動させる
自動捜索処理部４４を有するように構成されていると、
オペレータによるステレオ画像の標定作業が容易に行え
る。特徴要素候補画像を捜索するために、典型的にはテ
ンプレート画像を用いた相互相関係数法を用いるとよ
く、相互相関係数が極大化された画像位置が特徴要素候
補画像の位置である。

【００１１】好ましくは、特徴要素指定部４０は、オペ
レータの操作により前記ステレオ画像における対応点が
指定される対応点指示部４２と、前記ステレオ画像上の
対応点の画像位置に基づき、前記対応点の位置データを
計測する演算処理部４８とを備えるように構成されてい
ると、ステレオ画像の三次元計測作業が容易に行える。

【００１２】好ましくは、画像標定部３０が、前記ステ
レオ画像中の標定処理において更に偏位修正作業を行う
ように構成されていると、標定処理によりカメラの位置
と傾きが計算されると共に、偏位修正作業により左右の
画像を立体視可能な画像に変換して、基準となる縮尺が
与えられていれば、立体視可能な三次元画像からステレ
オ画像計測が行える。

【００１３】好ましくは、画像標定部３０は、ステレオ
画像取得部１０の撮影基線長を用いて、前記ステレオ画
像に対して作成されたステレオモデルに適切な縮尺を与
えるように構成されていると、ステレオ画像取得部１０
と被写体の距離に応じた被写体の概括的な大きさが提示
できる。

【００１４】第２の目的を達成する本発明の立体画像表
示装置は、図１に示すように、好ましくは、さらに前記
指定された特徴要素の寸法決定に用いられるデータを入
力するデータ入力部５０を備えるように構成されている
と、データ入力部５０で入力された寸法決定に用いられ
るデータに基づき、画像標定部３０により立体視可能に
偏位修正されたステレオ画像から、当該ステレオ画像に
写し込まれた被写体の実寸が計測可能な状態となる。

【００１５】好ましくは、データ入力部５０で入力され
るデータは、特徴要素の位置、長さ、方向の少なくとも
何れか一つを含む構成とすると、画像標定部３０におけ
るステレオ画像中の標定処理が容易に行える。

【００１６】第３の目的を達成する本発明の立体画像表
示装置は、図２に示すように、表示部６０として、前記
標定の済んだステレオ画像を構成する左右画像を２枚の
偏光ディスプレイ６６２、６６４にそれぞれ表示させ
て、ハーフミラー６６６によって前記２枚の偏光ディス
プレイに表示された左右画像を合成し、偏光眼鏡６６８
によって当該ステレオ画像を左右画像に分離した状態で
視聴可能に構成されるデュアルディスプレイ方式とする
とよい。デュアルディスプレイ方式は、左右画像を同時
に観察しているため、蛍光灯や照明条件等の外部環境ノ
イズに影響されず、オペレータは安定して長時間立体視
できる。

【００１７】第１の目的を達成する本発明の立体画像表
示方法は、図３に示すように、ステレオ画像取得部で取
得された一対のステレオ画像を読み込む工程（Ｓ１０
２）と、当該一対のステレオ画像に含まれている特徴要
素を指定する工程（Ｓ１１０）と前記指定された特徴要
素の前記ステレオ画像中の位置に基づき、前記ステレオ
画像の標定を行なう工程（Ｓ１１２、Ｓ１１４）と、標
定の済んだステレオ画像を立体表示する工程（Ｓ１１
６）を備えている。

【００１８】

【発明の実施の形態】以下図面を用いて本発明を説明す
る。図１は本発明の第１の実施の形態を説明する全体構
成ブロック図である。立体画像表示装置は、ステレオ画
像取得部１０、画像データ記憶部２０、画像標定部３
０、特徴要素指定部４０、データ入力部５０並びに表示
部６０を備えている。

【００１９】ステレオ画像取得部１０は、ステレオカメ
ラのような精密機器でも良く、またデジタルカメラやデ
ジタルビデオカメラ等のような簡易なレンズを用いた機
器でもよい。ステレオカメラは、ステレオ計測するため
のもので、各カメラが相対的に動かないように固定され
ている。そこで、カメラ間隔に対応する基線長は不変で
あり、カメラの撮影距離も各カメラ間で正確に一致させ
る必要があるため、固定焦点距離式のレンズが使用され
ている。また、カメラの分解能に依存して、ステレオカ
メラの撮影作業領域が定まるため、収差の少ない高精度
レンズを使用して、撮影作業領域を拡大している。

【００２０】他方、デジタルカメラやデジタルビデオカ
メラは、同じ光学的性質を有するレンズを用いた２台の
機器をステレオバーに取り付けて、ステレオカメラとす
ることが可能である。あるいは、デジタルカメラやデジ
タルビデオカメラを一台として、測定対象物に対して右
撮影方向と左撮影方向から撮影しても良い。一台で右撮
影方向と左撮影方向から撮影する場合には、左右撮影の
カメラ間隔が一定になるように留意する。デジタルカメ
ラやデジタルビデオカメラでは、レンズ収差がステレオ
カメラのレンズ収差に比較して大きいので、レンズ収差
を補償して画像データ記憶部２０に格納するとよい。レ
ンズ収差が大きいので、レンズの視野はステレオカメラ
よりも狭くして、精度を確保するとよい。

【００２１】画像データ記憶部２０は、ステレオ画像取
得部１０にて取得した画像を記憶するもので、デジタル
カメラやデジタルビデオカメラであればデジタル画像情
報を記憶するフレキシブルディスク、ＣＤ−ＲＯＭ、ハ
ードディスク等を用いるとよい。ステレオカメラとして
フィルムに焼付けたアナログ画像情報を用いる場合に
は、アナログ画像情報をスキャナー等でデジタル化して
デジタル画像情報化して、記憶するとよい。

【００２２】画像標定部３０は、特徴要素指定部４０で
指定された画像の位置を用いてカメラの位置と傾き（外
部標定要素）を計算し、偏位修正作業により立体視可能
なステレオ画像（偏位修正画像）を作成するもので、典
型的には航空写真測量でいうところの内部標定、相互標
定、絶対標定のうち相互標定と絶対標定を行う機能に相
当している。画像標定部３０はパソコン上のソフトウェ
アとしても良いし、あるいはマイコン等の組込み型ソフ
トとして表示部６０に組み込んでも良い。あるいはハー
ドウェアで構成しても良い。なお、立体画像作成の原理
に関しては後で詳細に説明する。

【００２３】さらに、画像標定部３０は、特徴要素指定
部４０で指示する画像の特徴点に対して、データ入力部
５０より実際又は仮想の座標又は寸法を入力することに
より、立体視可能なステレオ画像において実際又は仮想
の縮尺又は寸法になったステレオ画像に変換する。この
ように立体視可能なステレオ画像を作成して、絶対標定
に必要な寸法を与えれば、ステレオ法の原理に従って三
次元計測が可能となる。

【００２４】特徴要素指定部４０は、ステレオ画像を立
体視可能なように修正する際に、左右画像上で特徴要素
としての画像の特徴点を指示するものである。画像の特
徴点とは、標定を可能とするために左右画像上で重なっ
た領域に少なくとも６点設ける必要のあるもので、特徴
点の分布密度は左右画像上の重なった領域で概ね均等に
なるように定めるとよい。画像の特徴点は、オペレータ
や自動捜索処理部４４で認識しやすい形状や模様である
ことが好ましく、例えばターゲットと呼ばれる標識を被
写体に設けると良い。

【００２５】特徴要素指定部４０は、立体画像を作成す
る際や計測する際に左右画像の対応点を指示する対応点
指示部４２、自動で対応点を探索するための自動捜索処
理部４４、三次元計測をする際の演算を施す演算処理部
４８を備えている。ここで、対応点とは、画像の特徴点
の中で左画像と右画像の双方で認識された同一の特徴点
をいう。対応点指示部４２は、画像上の平面方向として
のＸＹ方向の指示や奥行き方向の指示をするもので、Ｐ
Ｃのマウスや奥行きを指示するダイヤルをつけたものな
どを使用する。対応点指示部４２には、表示部６０のカ
ーソル位置が対応点位置に対して近傍になると、表示部
６０に表示されているカーソルマーク表示を変更する機
能を持たせるとよい。

【００２６】自動捜索処理部４４での対応点探索には、
例えば画像相関処理を用いて行う。即ち、左画像上で特
徴点として指示した点をテンプレートとして、右画像上
を探索する。画像相関処理は、相互相関係数法や残差逐
次検定法（ＳＳＤＡ法）などどれを用いても良い。

【００２７】対応点指示部４２や自動捜索処理部４４に
より左右画像の対応点を定めているので、ステレオ画像
取得部１０として、ステレオアタッチメント等に２台の
カメラを取り付けステレオカメラ撮影した場合も、ステ
レオ撮影における対応点を求めることができる。さら
に、画像標定部３０により外部標定要素を用いて、ステ
レオ撮影に対応するステレオモデルを作成できる。する
と、オペレータの熟練度に依存せず安定したステレオ撮
影とステレオモデル作成が可能となる。ステレオカメラ
の場合には、基線長やカメラの傾きが既知なので、該当
するパラメータを用いればステレオモデルが一義的に得
られる。

【００２８】データ入力部５０は、実際の寸法と合わせ
るのに基準量等を入力する。なお、立体画像を作成する
だけであれば、データ入力部５０を設ける必要はない。
データ入力部５０により、立体視可能なように修正され
たステレオ画像に寸法をいれれば、絶対標定に必要なパ
ラメータとして入力された寸法を用いて、立体画像の作
成が可能となる。

【００２９】表示部６０は、取得された画像や立体視可
能になった画像を表示するもので、操作表示部６４と立
体画像表示部６６を備えている。操作表示部６４には、
画像標定部３０に用いるパソコン用モニタを用いるとよ
い。立体画像表示部６６には、偏向眼鏡をかけて立体視
可能とするデュアルディスプレイ方式の立体ディスプレ
イを用いるとよい。

【００３０】図２はデュアルディスプレイ方式の立体画
像表示部を説明する構成斜視図である。デュアルディス
プレイ方式は、左右画像を２枚の偏光ディスプレイ６６
２、６６４にそれぞれ表示させ、ハーフミラー６６６に
よって合成する。ハーフミラー６６６によって合成され
た画像は、偏光眼鏡６６８によって左右それぞれの画像
を分離できる偏光状態となっている。即ち、偏光ディス
プレイ６６２、６６４で表示される画像の偏光状態は光
学的に直交していて、偏光眼鏡６６８による分離が可能
となっている。観察者が偏光眼鏡６６８を用いて立体画
像表示部６６に表示された画面を観察すると、左右の目
に左右画像を同時に表示する状態が実現される。そこ
で、観察者は左右画像を立体的に観察できる。デュアル
ディスプレイ方式は、従来の液晶シャッター方式や液晶
フィルターシャッター方式と比較して、左右画像を同時
に観察しているため、蛍光灯や照明条件等の外部環境ノ
イズに影響されず、安定して長時間立体視できるという
利点がある。

【００３１】表示部６０には、立体画像だけでなく、計
測点の指示、装置の操作用の表示、取得された生画像等
も表示するとよい。これら表示は、立体画像表示部６６
にあわせて表示しても良いし、あるいは操作表示部６４
に表示させても良い。

【００３２】次に、このように構成された装置の使用に
ついて説明する。図３は図１の装置におけるステレオ画
像計測の手続きの流れを説明するフローチャートであ
る。まず、市販のデジタルカメラやデジタルビデオカメ
ラを用いて、立体表示したい対象物のステレオ撮影を行
う（Ｓ１００）。ステレオ撮影に用いるカメラは１台と
して撮影方向を右方向と左方向で撮影してもよく、また
カメラを２台固定して右方向と左方向からステレオ撮影
してもよい。

【００３３】次に、ステレオ撮影した左右画像を画像デ
ータ記憶部２０に読み込む（Ｓ１０２）。そして、画像
データ記憶部２０に読み込まれた画像を表示部６０に表
示する（Ｓ１０４）。ここで、表示部６０には左右２枚
の画像を並べて表示すると、その後の操作が容易にな
る。表示部６０に操作表示部６４が設けられている場合
には、操作表示部６４に表示するとよい。この状態であ
っても、固定されたステレオアッタチメントで被写体と
なる対象物に対し平行に撮影した画像であれば、表示部
６０に表示すれば、立体視することも可能である。

【００３４】続いて、ステレオ撮影した左右画像上で対
応点の座標値や特徴点において関連する寸法がある場合
は、該関連する寸法をデータ入力部５０から入力する
（Ｓ１０６）。例えば、実際の座標として３点が既知で
あれば、データ入力部５０から既知の３点の座標値を入
力することができる。すると、Ｓ１１０で処理される左
右画像の対応点決定において既知の座標系に変換可能で
き、三次元計測が可能となる。データ入力部５０から入
力する他のデータとしては、撮影したカメラの傾き（方
向）、既知の画像上の寸法、ステレオ撮影した際のカメ
ラ間距離（基線長）がある。これら相互標定や絶対標定
に必要とされるデータを入力すれば、作成されたステレ
オ画像を計測することが可能となる。なお、データ入力
部５０からのデータ入力に代えて、ステレオ画像取得部
１０を用いて基準となる寸法となる部位を予めステレオ
画像として写し込んでおいてもよい。

【００３５】また、データ入力部５０から入力するデー
タは実際の寸法でなくとも、仮想値を入力して仮想寸法
のステレオモデルを作成することも可能である。あるい
は、Ｓ１０６にて、データ入力部５０からデータを何も
いれないくても、ステレオモデルを作成することは可能
であり、立体画像表示部６６に立体視可能なステレオ画
像を表示することが可能である。ただし寸法は、基準と
なる寸法を別途定めないと、現実の寸法に対して相似の
ステレオ画像が得られるだけとなり、絶対値は得られな
い。なお、データ入力部５０へのデータ入力は、Ｓ１０
６の位置に代えて、初期設定値として予め入力しても良
く、Ｓ１１０で処理される左右画像の対応点決定の際に
入力しても良く、あるいは、左右画像の対応点決定処理
の後に入力してもよい。

【００３６】続いて、主画像と従画像の選択を行う（Ｓ
１０８）。ここで、主画像とは、自動相関処理の際に、
基準カーソルが現れる画像をいう。また、従画像とは、
自動相関処理の際に、基準カーソルの位置に対応した相
関値の高い位置にカーソルが自動的に移動する従カーソ
ルが現れる画像をいう。

【００３７】ステレオ撮影した左右画像のどちらを主画
像とするかは、使用者に任せられる。主画面とする画像
は、使用者が物の形を認識するための利き目側の画像を
選択することが望ましい。何故なら、人間の目は両眼で
立体視をしているが、物の形を認識するために、左右の
何れかが利き目となっているからである。なお、両眼の
うち何れが利き目か判断するためには、立体視をしてい
る状態で所定のマークを指差し、一方の目を閉じても所
定のマークを指差している側の目を求める。以下の説明
においては、主画像は左画像とし、従画像を右画像とす
る場合を例に説明する。

【００３８】次に、立体画像を作成するために特徴要素
指定部４０の対応点指示部４２により左右画像の対応点
を指示決定する（Ｓ１１０）。左右画像上の同一点を最
低６点以上対応付けすることによって、先に説明した立
体視の原理を適用する画像標定部３０により、カメラの
位置と傾き（外部標定要素）を求めることができる。対
応点決定は、画像上で特徴のあるところを左右画像上で
決定すれば良いが、明確なターゲットを対象物周辺にプ
リンタ等で印刷、配置しておけば作業自体は楽なものに
なる。明確なターゲットマークとしては、黒丸”●”、
四角”■”、菱形”◆”、三角形”▲”などがある。な
お、この対応点決定から外部標定要素計算までの一連の
作業は標定と呼ばれている。

【００３９】続いて、左右画像の対応点を決定する具体
的な処理過程を、図４を参照して説明する。図４は、対
応点決定処理を説明するフローチャートである。対応点
決定処理に入ると（Ｓ２００）、対応点決定処理として
のマニュアルモード、半自動モード、自動モードと３つ
のモードの何れか一つを選択する（Ｓ２０２）。なお、
以下に説明する左画像と右画像は、その逆の右画像と左
画像と逆に置き換えても処理は全く同様であり、そのよ
うに読替えて処理してもよい。

【００４０】マニュアルモードが選択されると、マニュ
アルモードでの処理が開始される（Ｓ２１０）。まず、
表示部上の左画像の特徴となるところを対応点指示部４
２のマウスによって指示し、確定する（Ｓ２１２）。確
定は、例えばマウスのボタンを押すことなどに行う。確
定処理により左画像座標が読み込まれる。次に、左画像
と同じ特徴点を表示部の右画像上で対応点指示部４２の
マウスにより指示・確定する（Ｓ２１４）。これによ
り、右画像座標が読み込まれる。このようにマニュアル
モードでは、左右画像上で別々に対応点指示部４２によ
り指示、確定させる。そして、対応点として６点以上対
応付けをしたか判断し（Ｓ２１６）、６点未満であれば
Ｓ２０２のモード選択に戻る。なお、Ｓ２１２に戻って
マニュアルモードによる対応点決定処理を継続するよう
にプログラムを作成してもよい。６点以上対応付けして
いれば、戻しとする。

【００４１】半自動モードが選択されると、半自動モー
ドでの処理が開始される（Ｓ２２０）。半自動モードで
は、特徴要素指定部４０の自動捜索処理部４４にうつる
（Ｓ２２２）。次に、表示部６０の左画像上で特徴点を
対応点指示部４２のマウスにより指示する（Ｓ２２
４）。すると、自動捜索処理部４４は、右画像上の対応
点を自動で探索する（Ｓ２２６）。

【００４２】そして、オペレータは自動捜索処理部４４
にて検索された右画像上の対応点が適切であるか、判断
する（Ｓ２２８）。この場合、自動捜索処理部４４にて
演算された相互相関係数が、ある閾値以上であればＯＫ
と決定する（例えば０．７以上等）。表示部６０には、
対応点指示部４２により、例えば右画像上で左画像上に
対応した探索位置にＯＫなら緑表示の点、ＮＧなら赤表
示の点を表示したり、カーソルマークの図形を変えたり
（例えば、矢印”⇒”から二重丸”◎”にカーソルマー
ク表示を変更する）、相互相関係数値を表示させたりす
ることに、オペレータが判定する。右画像探索ＯＫか否
かの表示は、オペレータが判断容易であればどのような
表示によっても良い。

【００４３】ＯＫでなかった場合、対応点が他の位置で
もよいか判断し（Ｓ２３０）、他の位置でもよければＳ
２２４へもどり他の点を指示する。他方、どうしてもそ
の位置を特徴点としたい場合は、右画像上のカーソルを
マニュアルにて移動させて指示する（Ｓ２３２）。即
ち、例えば対応点指示部４２の奥行き方向を合わせるダ
イヤル等を回せば、等価的に右画像上のカーソルが動く
ことになるので、それを調整して、左画像と同じ特徴点
のところへ持って行き、あわせる。

【００４４】そして、Ｓ２２８で右画像探索ＯＫの場
合、あるいはＳ２３２にて右画像を指示した場合は、そ
の点の画像座標を読み込む（Ｓ２３４）。例えばマウス
のボタンを押すなどして確定させる。そして、対応点と
して６点以上対応付けをしたか判断し（Ｓ２３６）、６
点未満であればＳ２０２のモード選択に戻る。なお、Ｓ
２２２に戻って半自動モードによる対応点決定処理を継
続するようにプログラムを作成してもよい。６点以上の
対応付けしていれば、戻しとする。

【００４５】上述した半自動モードは、左画像上で特徴
点をマウスにより指示することにより、自動で右画像の
対応点を探索し、ＯＫかどうか表示している。そこで、
オペレータはカーソルマーク表示の表示を見て、自動捜
索処理部４４にて検索された右画像上の対応点が適切で
あれば、検索された対応点を対応点として確定させる
（（例えば矢印”⇒”から”◎”に変更されている場
合）。半自動モードを用いることにより、オペレータは
片方の画像を指示するだけでよいので、対応点決定処理
を簡単に処理できる。なお、マウスによる指示と確認の
ための判定は、ボタンを押すことによっても良いが、更
にマウスカーソルを移動して左画像上をなぞるだけで、
右画像上の対応点を常に判定表示させるように構成して
も良い。左画像上のマウスカーソルに対応する右画像上
の対応点を判定表示させると、対応点決定処理をさらに
容易に処理できる。

【００４６】自動モードが選択されると、自動モードで
の処理が開始される（Ｓ２４０）。自動モードは、対応
点となるターゲットを予め対象物周辺に配置すること
で、自動でターゲットを検出するモードである。ターゲ
ットとなるものは、予め特徴点として認識しやすいもの
を対象物周辺に配置する。ターゲットは認識しやすいも
のであればなんでもよい。例えば、前述した”●”よう
なターゲットマークをプリンタにより印刷したり、作成
したりして配置する。この場合、ターゲットの正確な位
置が予めわかっていれば、正確な三次元計測がその後可
能となる。

【００４７】まず、オペレータは、表示部６０により左
右画像上に６点以上のターゲットが含まれているか確認
する（Ｓ２４２）。もし左右画像上で６点以上のターゲ
ットが含まれていなければ、マニュアルもしくは半自動
モードへ行く（Ｓ２４４）。なお、左右画像に対応する
６点以上のターゲットが撮影されていない場合には、タ
ーゲットが６点以上入るように撮影しなおす。そして、
特徴要素指定部４０を用いた自動モード処理に移行する
（Ｓ２４６）。

【００４８】自動モード処理では、自動ターゲット検出
を行うために、配置したターゲット画像の一つを対応点
指示部４２により指示し、特徴要素指定部４０にテンプ
レート画像として登録する（Ｓ２４８）。そして、自動
捜索処理部４４によりテンプレート画像を元に、左画像
と右画像の各々のターゲット位置を探索する（Ｓ２５
０）。このターゲット位置の探索処理は、例えば先に説
明した相互相関係数法等を利用して自動検出させる。そ
して、探索されたターゲット位置を表示部６０上に表示
する（Ｓ２５２）。

【００４９】オペレータは、探索されたターゲット位置
がＯＫであるか判断し（Ｓ２５４）、ＯＫであれば戻し
とする。ＮＧであれば、ターゲット位置の修正を行う
（Ｓ２５６）。この修正には、マニュアルモードあるい
は半自動モードによる処理を用いる。仮に、ＮＧであっ
た場合でも、ターゲットを配置してあるので修正は容易
である。

【００５０】そして、修正されたターゲット位置を用い
て、左右画像上での対応点を検出する（Ｓ２５８）。こ
の作業は、特徴要素指定部４０の対応点指示部４２によ
り左右画像の対応点を表示部６０を見ながら指示するこ
とにより行う。あるいは、図５（Ａ）のように予めター
ゲットの配置を決めて、概略平行にステレオ撮影する。
すると、ターゲットの配置は撮影した画像上でも保たれ
るため、対応付けを自動で行うことも可能である。更に
は、６点以上のターゲットマークを別々に決め、予めテ
ンプレート指定しておいても、対応付けを自動で行うこ
とが可能である。左右画像上での対応点の点数は、最小
６点なので作業はマニュアルで行っても簡単にできる。

【００５１】図３にもどり、Ｓ１１０にて左右画像の対
応点の対応付けが終了したら、該対応点を元に画像標定
部３０にて外部標定要素（カメラの位置、傾き）を計算
する（Ｓ１１２）。外部標定要素の詳細については、後
述する立体画像作成の原理の該当箇所に説明されてい
る。

【００５２】Ｓ１１２にて外部標定要素が求まったら、
求めた外部標定要素値により画像の偏位修正（ステレオ
画像作成）を行う（Ｓ１１４）。そして、表示部６０に
ステレオ画像を表示する（Ｓ１１６）。以上のようにし
て、ステレオ画像が作成される。

【００５３】さらに表示されたステレオ画像から計測を
するか判断し（Ｓ１１８）、Ｙｅｓであれば、計測位置
指定を行う（Ｓ１２０）。次に、ステレオ画像における
計測位置指定をする具体的な処理過程を図６を参照して
説明する。図６は、計測位置指定処理を説明するフロー
チャートである。計測位置指定処理に入ると（Ｓ４０
０）、計測位置指定処理としてのマニュアルモード、半
自動計測モード、自動計測モードの３モードのうち何れ
か一つを選択する（Ｓ４０２）。

【００５４】なお、計測位置指定処理の各モードにおい
て、入力データ部により入力されたデータによって、指
定された点の三次元座標値、あるいは２点間の距離等が
計測できる。ここでは、立体画像表示部６６にて、立体
画像が表示されているので、それを見て、確認しながら
計測することが可能となる。更に、操作表示部６４上に
左右画像別々に表示し、それを見ながら計測することも
可能であるが、立体画像表示部６６にて確認しながら行
えば、さらに確実な計測が可能になる。また、対応点指
示部４２の立体画像上における奥行き方向の指示は、マ
ウスについたダイヤルや、あるいはダイヤル単体等によ
り指示する。

【００５５】マニュアルモードが選択されると、マニュ
アルモードでの計測位置指定の処理が開始される（Ｓ４
１０）。ここでは、オペレータが立体画像表示部６６を
見ながら操作表示部６４を用いて計測点を指示する手順
を説明する。オペレータは、立体画像表示部６６を見な
がら、操作表示部６４で表示されている左画像につい
て、計測したい位置を特徴点として指示する（Ｓ４１
２）。次に、操作表示部６４で表示されている右画像に
ついて、同一点と思われる位置を特徴点として指示する
（Ｓ４１４）。そして、立体画像表示部６６を見て、左
画像の特徴点と右画像の特徴点がカーソルの指し示す計
測したい点として、一致する特徴点の上にあるか確認す
る（Ｓ４１６）。このカーソルが計測したい点の位置に
は、画面の平面方向の他に、奥行き方向も含まれる。も
し違っていれば、対応点指示部４２のマウスを利用して
計測したい位置を指示する（Ｓ４１８）。

【００５６】オペレータが立体画像表示部６６を見てい
ると、奥行き方向も同時に観察できるため、奥行き方向
の位置も合わせる（Ｓ４２０）。即ち、奥行き方向があ
っていなければカーソルが対象点より浮いたり沈んだり
して見える。この場合、奥行き方向を合わせるダイヤル
があれば、それらを利用して対象点の上にカーソル位置
を合わせることができる。このカーソル位置合わせ作業
は、実質的には、左右画像の位置あわせをしていること
と同じであるが、立体視をしながら行っているので間違
いがないのと同時に確実である。即ち、特徴が少ないと
ころでも、左右画像の位置あわせをすることができる。
そして、左画像の特徴点と右画像の特徴点が一致してい
てＯＫであれば、マウスのボタンなどにより位置確定し
て、座標位置を読み込ませる（Ｓ４２２）。

【００５７】半自動計測モードが選択されると、半自動
計測モードでの計測位置指定の処理が開始される（Ｓ４
３０）。半自動計測モードでは、操作表示部６４もしく
は立体画像表示部６６どちらを見ながら行ってもよい。
半自動計測モードでは、特徴要素指定部４０は、自動捜
索処理部４４に移行する（Ｓ４３２）。そして、オペレ
ータは左画像上の計測点をマウスにより指示する（Ｓ４
３４）。すると、自動捜索処理部４４によって、左画像
上の計測点と同一計測点を右画像上で探索する（Ｓ４３
６）。なお、この自動捜索処理部４４による左画像上の
計測点と同一計測点を右画像上で探索は、Ｓ２２６にて
説明した内容と全く同様である。そして、右画像の探索
位置がＯＫか確認する（Ｓ４３８）。

【００５８】もし右画像の探索位置が左画像上の計測点
と違っていれば、マニュアルモードと同様に対応点指示
部４２のマウスを利用して計測したい位置を指示する
（Ｓ４４０）。この時、オペレータは立体画像表示部６
６上で奥行き方向と画像平面方向と同時に観察できるた
め、奥行き方向の位置も一致させる（Ｓ４４２）。そし
て、左画像の特徴点と右画像の特徴点が一致していてＯ
Ｋであれば、マウスのボタンなどにより位置確定して、
座標位置を読み込ませる（Ｓ４４４）。この時、操作表
示部６４上には、ＯＫであれば対応する右画像の位置に
ＯＫ表示をするとよい。また、立体画像表示部６６上で
あれば、ＯＫ表示もカーソルの色、形状をかえることな
どにより確認できるが、実際にあっているかどうかも本
人の目で確認することができる。

【００５９】自動計測モードが選択されると、自動計測
モードでの計測位置指定の処理が開始される（Ｓ４５
０）。自動計測モードでは、指定した領域の三次元座標
値を一括して計測することが可能である。そこで、計測
したい領域について指定する計測領域指定処理を行う
（Ｓ４５２）。即ち、計測領域の一番外側となる左右画
像の境界点を指示する。例えば、大略五角形の領域を一
括計測したい場合は、図５（Ｂ）のように対応境界とな
る境界点を５点指示する。ここでは、オペレータによっ
て指示された境界点を黒丸で表している。そして、オペ
レータは境界点の表示を参照して、左右画像の境界点を
指示する点が適切か判断し（Ｓ４５４）、指定した境界
点を間違えたり、気に入らなければＳ４５２に戻り指示
しなおす。

【００６０】左右画像の境界点の指定が適切であれば、
各指定点を結線し、立体画像表示部６６に表示して計測
領域を明確にする（Ｓ４５６）。すると、図５（Ｂ）の
ように立体画像表示部６６の表示は、対応境界となる境
界点を結線した表示となる。そして、オペレータは境界
点及び結線表示を参照して、計測領域の指定が適切であ
るかを確認する（Ｓ４５８）。適切でない場合は、不適
切な指定点と対応する結線をクリアして（Ｓ４６０）、
Ｓ４５２に戻り指示しなおす。計測領域の指定が適切で
あれば、計測領域として確定する（Ｓ４６２）。このよ
うにして、計測領域を決めれば、その領域において左右
画像の対応点が間違いなく決まっているので、確実な一
括計測が可能となる。また、一括計測において、これら
の左右画像の対応点を利用すれば、信頼性、速度ともに
あげることが可能となる。

【００６１】次に、計測領域指定された領域内の対応点
に対して、自動捜索処理部４４により自動で対応点検出
を一括処理する（Ｓ４６４）。ここでは、画像相関処理
により行う。例えば先に説明した、相互相関係数法を利
用して、左画像をテンプレート、右画像をその探索領域
として各点の対応点検出を行えばよい。なお、画像相関
処理として、粗密探索相関法やその他の画像相関処理と
して利用される通常の処理方法を用いても良い。

【００６２】図３にもどり、対応点の左右座標値から計
測値を演算処理部４８によって算出する（Ｓ１２２）。
演算は、先に説明したステレオ法の原理により計算され
る。自動計測モードで、計測領域の対応点を自動検出し
た場合は、その対応点検出したすべての点について計算
する。そして、計測値を表示部６０上に表示する（Ｓ１
２４）。そして、Ｓ１１８に戻り、さらに計測を続ける
か判断し（Ｓ１１８）、続けるのであれば繰り返し測定
する。計測を続けない場合は、終了する。

【００６３】なお、自動計測により領域を計測した場合
であれば、表示は、数値でなく鳥瞰図や等高線図等で表
示することも可能である。また、これら領域の計測値デ
ータを他のＣＡＤ(Computer Aided Design)装置等にわ
たして、ＣＡＤ側で処理してもよい。

【００６４】次に、上記の実施の形態において用いたス
テレオ画像計測における基本原理を項目毎に説明する。 １．［ステレオ法の原理］ ステレオ法の原理について以下説明する。図７はステレ
オ法の原理の説明図である。図７に示すように、２台の
カメラ１、２が、光軸が平行で、カメラレンズの主点か
ら撮像面としてのＣＣＤ面までの距離ａが等しく、ＣＣ
Ｄは光軸に直角に置かれているものとする。また、カメ
ラ１、２の間隔と等しい、２つの光軸間距離（基線長）
をｌとする。

【００６５】このとき、物体上の点Ｐ１（ｘ１、ｙ
１）、Ｐ２（ｘ２、ｙ２）の座標の間には、以下のよう
な関係がある。 ｘ１＝ａｘ／ｚ −−−（１） ｙ１＝ｙ２＝ａｙ／ｚ −−−（２） ｘ２−ｘ１＝ａｌ／ｚ −−−（３） 但し、全体の座標系（ｘ、ｙ、ｚ）の原点をカメラ１の
レンズ主点にとるものとする。（３）式よりｚを求め、
これを用いて（１）式、（２）式よりｘ、ｙが求められ
る。以上で、左右画像の対応点を求めれば、その位置の
三次元座標を計測することが可能となる。

【００６６】２．［立体画像作成の原理］ 次に立体画像作成についての原理を説明する。立体画像
作成の原理は、ステレオ法が成立するように画像を修正
すれば、立体視が可能になるということである。立体視
可能な画像とは、対象物に対して２枚の画像が平行であ
りかつ縦視差が除去されているものである。例えば、図
８に示されている画像では、左右の画像間でいくらオー
バーラップしている領域があっても、左右画像の縮尺が
異なり、さらに回転や縦視差があるために、人間の目で
は立体視することができない。しかしながら、図９のよ
うに左右画像の倍率をあわせ、回転を補正し縦視差を除
去すれば、人間が立体視可能な画像とすることができ、
ステレオ法を成り立たせることができる。

【００６７】ステレオ画像（ステレオモデル）は、左右
画像中に６点以上の同一の対応点を求めることにより作
成することができる。即ち、左右の画像上で６点対応す
る点の画像座標があれば、二つのカメラの相対的な位置
と傾きを求めることができるので、それにより左右画像
の縮尺、回転、縦視差を補正し、立体視可能なステレオ
画像（ステレオモデル）を作成することができる。

【００６８】２．１［相互標定］ 相互標定は、画像中の６点以上の対応点によりカメラの
相対的な位置と傾きを求める原理である。図１０は相互
標定の説明図である。相互標定では、以下の共面条件式
により各パラメータを求める。

【数１】

【００６９】図１０に示すように、モデル座標系の原点
を左側の投影中心にとり、右側の投影中心を結ぶ線をＸ
軸にとるようにする。縮尺は、基線長を単位長さにと
る。このとき求めるパラメータは、左側のカメラのＺ軸
の回転角κ１、Ｙ軸の回転角φ１、右側のカメラのＺ軸
の回転角κ２、Ｙ軸の回転角φ２、Ｘ軸の回転角ω２の
５つの回転角となる。この場合左側のカメラのＸ軸の回
転角ω１は０なので、考慮する必要ない。このような条
件にすると、の共面条件式は式のようになり、この
式を解けば各パラメータが求まる。

【数２】

【００７０】ここで、モデル座標系ＸＹＺとカメラ座標
系ｘｙｚの間には、次に示すような座標変換の関係式が
成り立つ。

【数３】

【００７１】これらの式を用いて、次の手順により、未
知パラメータを求める。 ２−：初期近似値は通常０とする。 ２−：共面条件式を近似値のまわりにテーラー展開
し、線形化したときの微分係数の値を、式により求
め、観測方程式をたてる。 ２−：最小二乗法をあてはめ、近似値に対する補正量
を求める。 ２−：近似値を補正する。 ２−：補正された近似値を用いて、２−〜２−ま
での操作を収束するまで繰り返す。

【００７２】以上により、カメラの相対的な３次元位置
ならびに３軸の傾きが求まり、立体視可能なステレオ画
像（ステレオモデル）が作成できるようになる。また、
ステレオ撮影したカメラ間の距離（基線長）を入力して
やれば、実寸のステレオモデルとすることができる。さ
らに、６点のうち３点のＸＹＺ座標を与えてやることが
できれば、実際の座標系変換し、実座標における三次元
計測が可能となる。

【００７３】３．［相互相関係数法］ 相互相関係数による方法では、次式を用いた以下の手順
による。

【数４】 ３−：例えば、特徴要素指定部４０の対応点指示部４
２により指示された特徴点となる点を中心とした、Ｎ１
×Ｎ１画素の画像をテンプレート画像として左画像から
切出す。図１１は左右画像における探索範囲とテンプレ
ート画像の一例を示す図である。 ３−：テンプレート画像より大きい右画像中のＭ１×
Ｍ１画素を探索範囲（Ｍ１−Ｎ１＋１）^２として、探索
範囲上でテンプレート画像を動かす。 ３−：上式の相互相関係数Ｃ(a,b)が最大になるよう
な画像位置を求めて、テンプレート画像に対し探索され
たとみなす。完全に左画像と右画像が一致していれば、
相互相関係数値Ｃ(a,b)が1.0となる。一般的には、標定
作業により撮影カメラの位置と傾きを求めて、その結果
を用いて偏位修正画像を作成する作業が行われる。本実
施の形態においては、画像標定部３０により、偏位修正
画像を作成する処理を行わせている。

【００７４】

【発明の効果】以上説明したように、本発明のステレオ
画像用処理装置によれば、ステレオ画像取得部で取得さ
れた一対のステレオ画像に含まれている特徴要素を指定
する特徴要素指定部と、特徴要素指定部で指定された特
徴要素の前記ステレオ画像中の位置に基づき前記ステレ
オ画像の標定を行う画像標定部と、標定の済んだステレ
オ画像を立体表示する表示部とを備えているので、オペ
レータは特徴要素指定部を用いてステレオ画像中の特徴
要素を指定すれば、画像標定部と表示部によりステレオ
画像が作成されて、表示される。

【００７５】また、さらに指定された特徴要素の寸法決
定に用いられるデータを入力するデータ入力部を備える
ステレオ画像用処理装置によれば、データ入力部で入力
された寸法決定に用いられるデータに基づき、画像標定
部により立体視可能に偏位修正されたステレオ画像か
ら、当該ステレオ画像に写し込まれた被写体の実寸が計
測可能な状態となる。

【図面の簡単な説明】

【図１】 本発明の第１の実施の形態を説明する全体構
成ブロック図である。

【図２】 デュアルディスプレイ方式の立体ディスプレ
イを説明する構成斜視図である。

【図３】 図１の装置におけるステレオ画像計測の手続
きの流れを説明するフローチャートである。

【図４】 対応点決定処理を説明するフローチャートで
ある。

【図５】 （Ａ）はターゲットの配置の一例、（Ｂ）は
対応境界の指示及び結線の表示例を説明する図である。

【図６】 計測位置指定処理を説明するフローチャート
である。

【図７】 ステレオ法の原理の説明図である。

【図８】 人間の目では立体視することができない画像
の一例を示す図である。

【図９】 人間が立体視可能な画像の一例を示す図であ
る。

【図１０】 相互標定の説明図である。

【図１１】 左右画像における探索範囲とテンプレート
画像の一例を示す図である。

【符号の説明】

１０ ステレオ画像取得部 ２０ 画像データ記憶部 ３０ 画像標定部 ４０ 特徴要素指定部 ４２ 対応点指示部 ４４ 自動捜索処理部 ５０ データ入力部 ６０ 表示部 ６６ 立体画像表示部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 青木 弘幸 東京都板橋区蓮沼町75番１号 株式会社ト プコン内 (72)発明者 山田 光晴 東京都板橋区蓮沼町75番１号 株式会社ト プコン内 (72)発明者 佐藤 宏一 東京都板橋区蓮沼町75番１号 株式会社ト プコン内 Ｆターム(参考） 2F065 AA53 BB05 FF05 JJ03 JJ05 JJ19 JJ26 SS02 SS13 5C061 AA02 AA29 AB04 AB12 AB18

Claims (10)

【特許請求の範囲】
1. 【請求項１】 ステレオ画像取得部で取得された一対の
   ステレオ画像に含まれている特徴要素を指定する特徴要
   素指定部と；前記指定された特徴要素の前記ステレオ画
   像中の位置に基づき、前記ステレオ画像の標定を行う画
   像標定部と；標定の済んだステレオ画像を立体表示する
   表示部を備える；立体画像表示装置。
2. 【請求項２】 前記特徴要素指定部は、画像内でカーソ
   ルを移動させるカーソル移動手段を含み；当該カーソル
   移動手段により前記特徴要素を指示するように構成され
   た請求項１に記載の立体画像表示装置。
3. 【請求項３】 前記特徴要素指定部は、ステレオ画像内
   での特徴要素となる特徴要素候補画像を捜索し、当該特
   徴要素候補画像に前記カーソルを移動させる自動捜索処
   理部を有する請求項２に記載の立体画像表示装置。
4. 【請求項４】 前記特徴要素指定部は、さらに；オペレ
   ータの操作により前記ステレオ画像における対応点が指
   定される対応点指示部と；前記ステレオ画像上の対応点
   の画像位置に基づき、前記対応点の位置データを計測す
   る演算処理部とを備える；請求項１乃至請求項３に記載
   の立体画像表示装置。
5. 【請求項５】 前記画像標定部が、前記ステレオ画像中
   の標定処理において更に偏位修正作業を行うように構成
   されている；請求項１乃至請求項４に記載の立体画像表
   示装置。
6. 【請求項６】 前記画像標定部は、前記ステレオ画像取
   得部の撮影基線長を用いて、前記ステレオ画像に対して
   作成されたステレオモデルに適切な縮尺を与えるように
   構成されている請求項５に記載の立体画像表示装置。
7. 【請求項７】 さらに前記指定された特徴要素の寸法決
   定に用いられるデータを入力するデータ入力部を備え；
   前記画像標定部は、前記データ入力部で入力された寸法
   決定に用いられるデータに基づき、前記ステレオ画像に
   写し込まれた被写体の実寸を計測可能とする；請求項１
   乃至請求項６に記載の立体画像表示装置。
8. 【請求項８】 前記データ入力部で入力されるデータ
   は、特徴要素の位置、長さ、方向の少なくとも何れか一
   つを含む；請求項７に記載の立体画像表示装置。
9. 【請求項９】 前記表示部は、前記標定の済んだステレ
   オ画像を構成する左右画像を２枚の偏光ディスプレイに
   それぞれ表示させて、ハーフミラーによって前記２枚の
   偏光ディスプレイに表示された左右画像を合成し、偏光
   眼鏡によって当該ステレオ画像を左右画像に分離した状
   態で視聴可能に構成された；請求項１乃至請求項８に記
   載の立体画像表示装置。
10. 【請求項１０】 ステレオ画像取得部で取得された一対
    のステレオ画像を読み込む工程と；当該一対のステレオ
    画像に含まれている特徴要素を指定する工程と；前記指
    定された特徴要素の前記ステレオ画像中の位置に基づ
    き、前記ステレオ画像の標定を行なう工程と；標定の済
    んだステレオ画像を立体表示する工程を備える；立体画
    像表示方法。