JP2003284098A - 立体画像表示装置及び方法 - Google Patents

Abstract

(57)【要約】 【課題】 一対のステレオ画像を構成する左画像と右画
像を立体視する場合に、長時間立体視しても疲労の伴わ
ない立体画像表示装置を提供すること。 【解決手段】 ステレオ画像取得部１０で取得された一
対のステレオ画像における左画像の輪郭と右画像の輪郭
から、当該左画像及び右画像で重複して撮影されている
範囲の輪郭を決定する輪郭決定部４５と、輪郭決定部４
５によって決定された重複範囲の輪郭に基づき、ステレ
オ画像から有効ステレオ画像を抽出する有効画像領域抽
出部４６と、有効画像領域抽出部４６で抽出された有効
ステレオ画像を立体視可能な画像として表示する表示部
６０とを備えている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ステレオ撮影された画
像から撮影対象物の三次元画像を作成して立体表示する
のに用いる立体画像表示装置及び方法に関し、特に長時
間の立体視が容易に行える立体画像表示装置及び方法に
関する。

【０００２】

【従来の技術】ステレオ撮影された画像を立体視する立
体画像表示装置として、液晶シャッター方式と液晶フィ
ルターシャッター方式が存在している。液晶シャッター
方式は、１枚の画面に左右画像を交互に表示させ、それ
ら画像を液晶眼鏡によって同期させて左右画像を切り替
えるものである。液晶フィルターシャッター方式は、画
面上に液晶偏向フィルターを取り付け、左右画像を切り
替え表示しながら液晶偏向フィルターも同時に切り替
え、偏向眼鏡で観察するものである。

【０００３】図７は一対のステレオ画像を構成する左画
像と右画像のオーバーラップ部と非オーバーラップ部の
説明図で、（Ａ）は左画像と右画像を組合せて立体視す
る状態、（Ｂ）は左画像と右画像で撮影された領域を示
している。立体視可能な画像は、航空写真測量などで用
いられているように、内部標定、相互標定、絶対標定と
いう三段階の処理をへて、実際の地形図や被写体の寸法
を計測できる状態に変換される。そして、一対のステレ
オ画像を構成する左画像と右画像においては、オーバー
ラップ部と左画像又は右画像だけに写っている非オーバ
ーラップ部が存在している。このうち、オーバーラップ
部は立体画像表示装置による立体視の対象となる。

【０００４】

【発明が解決しようとする課題】しかし、従来の立体画
像表示装置では、左画像又は右画像だけに写っている非
オーバーラップ部も立体視の対象として、オペレータが
視認可能な状態で写している。すると、立体視している
オペレータは、立体視の対象であるオーバーラップ部
と、立体視できない非オーバーラップ部を同時に見るこ
とになる。そこで、オペレータは、ちらつきや不快感を
訴えたり、疲労を伴うため長時間の立体視作業が困難で
あるという課題があった。

【０００５】本発明は、上述する課題を解決したもの
で、一対のステレオ画像を構成する左画像と右画像を立
体視する場合に、長時間立体視しても疲労の伴わない立
体画像表示装置及び方法を提供することを目的とする。

【０００６】

【課題を解決するための手段】上記目的を達成する本発
明の立体画像表示装置は、図１に示すように、ステレオ
画像取得部１０で取得された一対のステレオ画像におけ
る左画像の輪郭と右画像の輪郭から、当該左画像及び右
画像で重複して撮影されている範囲の輪郭を決定する輪
郭決定部４５と、輪郭決定部４５によって決定された重
複範囲の輪郭に基づき、ステレオ画像から有効ステレオ
画像を抽出する有効画像領域抽出部４６と、有効画像領
域抽出部４６で抽出された有効ステレオ画像を立体視可
能な画像として表示する表示部６０とを備えている。

【０００７】このように構成された装置においては、輪
郭決定部４５によって一対のステレオ画像を構成する左
画像及び右画像で重複して撮影されている範囲の輪郭が
決定されるので、有効画像領域抽出部４６によるステレ
オ画像から有効ステレオ画像を抽出することが容易に行
える。抽出された有効ステレオ画像は、表示部６０によ
って立体表示される。好ましくは、ステレオ画像取得部
１０で取得された一対のステレオ画像を格納する画像デ
ータ記憶部２０を設けると、輪郭決定部４５により左画
像及び右画像の重複範囲の輪郭を決定する処理に用いる
一対のステレオ画像データとして、画像データ記憶部２
０に格納されたステレオ画像を用いて行える。

【０００８】好ましくは、輪郭決定部４５は、一対のス
テレオ画像のうち一方の画像を基準画像とし、前記ステ
レオ画像の他方の画像を従画像として設定する基準画像
設定部４５２を有し、前記基準画像側に設定した境界範
囲に応じて、従画像上に前記基準画像の境界範囲に対応
した対応境界領域を設定するように構成されているとよ
い。この場合、基準画像設定部４５２は、オペレータの
利き目側に対応する側の画像を基準画像とする構成とす
ると、オペレータの個性に適合する側の画像を基準画像
に選定でき、オペレータにとって負担の少ない立体視作
業が行える。

【０００９】好ましくは、輪郭決定部４５は、前記基準
画像側に基準カーソルを表示し、前記従画像には従属カ
ーソルを表示させるカーソル表示制御部４５４を有し、
カーソル表示制御部４５４は、前記基準画像上で移動表
示される前記基準カーソルと対応する位置に、前記従属
カーソルを前記従画像上で移動表示させるように構成さ
れているとよい。オペレータが基準画像側に表示される
基準カーソルに注目して操作していると、カーソル表示
制御部４５４によって従画像に表示される従属カーソル
は基準カーソルの移動表示に対応して自動的に移動表示
されるので、例えば特徴点、境界点等の指定が円滑に行
える。

【００１０】好ましくは、輪郭決定部４５は、さらに前
記基準カーソルによる指示により基準画像側に境界範囲
が設定されると、前記基準画像側の境界範囲に応じて従
画像上に対応境界領域を設定する境界領域設定部４５６
を有する構成とすると、立体視の対象領域の指定が境界
領域設定部４５６により円滑に行える。そこで、例えば
基準画像側に表示される基準カーソルを用いて重複範囲
を抽出する場合には、従画像上の対応境界領域から所定
の形状、例えば矩形に切抜くような作業がやりやすい。

【００１１】好ましくは、輪郭決定部４５は、前記重複
範囲の決定にあたり、前記右画像の左端部の輪郭に対応
する輪郭を前記左画像の輪郭に対応させ、前記左画像の
右端部の輪郭に対応する輪郭を前記右画像の輪郭に対応
させるように構成されていると、重複範囲の決定にあた
って基準とする側の画像と輪郭が明確となり、重複範囲
の決定処理が円滑に行える。

【００１２】好ましくは、輪郭決定部４５は、一対のス
テレオ画像を構成する一方の画像の指定境界が指定され
ると、当該指定境界に基づき他方の画像の対応境界を演
算により求める構成とすると、境界の指定が自動化され
て円滑に行える。演算の内容は、例えば境界点の標高差
や奥行きの差異に起因する左画像と右画像における視差
差の補償や、相関処理による重複範囲の決定である。重
複範囲の決定に相関処理演算を用いる場合には、立体視
可能な範囲を成るべく多く含むように対応境界を定める
運用や、画像歪の大きな範囲を除いて正確な形状で立体
視できる範囲を切出すような運用ができる。

【００１３】好ましくは、輪郭決定部４５は、一対のス
テレオ画像を構成する一方の画像に対して、指定された
境界点を補間して指定境界線を演算し、当該補間された
指定境界線に基づき他方の画像の対応境界を演算により
求める構成とすると、境界点を指定する密度を粗くで
き、オペレータの作業効率が高まる。

【００１４】上記目的を達成する本発明の立体画像表示
方法は、図３に示すように、一対のステレオ画像におけ
る左画像の輪郭と右画像の輪郭から、当該左画像及び右
画像で重複して撮影されている範囲の輪郭を決定し（Ｓ
１１８）、決定された重複範囲の輪郭に基づき、ステレ
オ画像から有効ステレオ画像を抽出し（Ｓ１２０）、抽
出された有効ステレオ画像を立体視可能な画像として表
示する（Ｓ１２２）工程を有するとよい。

【００１５】

【発明の実施の形態】以下図面を用いて本発明を説明す
る。図１は本発明の第１の実施の形態を説明する全体構
成ブロック図である。立体画像表示装置は、ステレオ画
像取得部１０、画像データ記憶部２０、画像標定部３
０、特徴要素指定部４０、データ入力部５０並びに表示
部６０を備えている。

【００１６】ステレオ画像取得部１０は、ステレオカメ
ラのような精密機器でも良く、またデジタルカメラやデ
ジタルビデオカメラ等のような簡易なレンズを用いた機
器でもよい。ステレオカメラは、ステレオ計測するため
のもので、各カメラが相対的に動かないように固定され
ている。そこで、カメラ間隔に対応する基線長は不変で
あり、カメラの撮影距離も各カメラ間で正確に一致させ
る必要があるため、固定焦点距離式のレンズが使用され
ているが、可変焦点距離式のズームレンズを用いても良
い。また、カメラの分解能に依存して、ステレオカメラ
の計測精度が定まるため、収差の少ない高精度レンズが
使用されている。

【００１７】他方、デジタルカメラやデジタルビデオカ
メラは、同じ光学的性質を有するレンズを用いた２台の
機器をステレオバーに取り付けて、ステレオカメラとす
ることが可能である。あるいは、デジタルカメラやデジ
タルビデオカメラを一台として、測定対象物に対して右
撮影方向と左撮影方向から撮影しても良い。一台で右撮
影方向と左撮影方向から撮影する場合には、左右撮影の
カメラ間隔が一定になるように留意する。デジタルカメ
ラやデジタルビデオカメラでは、レンズ収差がステレオ
カメラのレンズ収差に比較して大きいので、レンズ収差
を補償して画像データ記憶部２０に格納するとよい。

【００１８】画像データ記憶部２０は、ステレオ画像取
得部１０にて取得した画像を記憶するもので、デジタル
カメラやデジタルビデオカメラであればデジタル画像情
報を記憶するフレキシブルディスク、ＣＤ−ＲＯＭ、ハ
ードディスク等を用いるとよい。ステレオカメラとして
フィルムに焼付けたアナログ画像情報を用いる場合に
は、アナログ画像情報をスキャナー等でデジタル化して
デジタル画像情報化して、記憶するとよい。

【００１９】画像標定部３０は、特徴要素指定部４０で
指定された画像の位置を用いてカメラの位置と傾き（外
部標定要素）を計算し、立体視可能なステレオ画像（偏
位修正画像）を作成するもので、典型的には航空写真測
量でいうところの内部標定、相互標定、絶対標定のうち
相互標定と絶対標定を行う機能に相当している。画像標
定部３０はパソコン上のソフトウェアとしても良いし、
あるいはマイコン等の組込み型ソフトとして表示部６０
に組み込んでも良い。あるいはハードウェアで構成して
も良い。なお、立体画像作成の原理に関しては後で詳細
に説明する。

【００２０】また、ステレオ画像取得部１０にて、ステ
レオアタッチメント等に２台のカメラを取り付けステレ
オカメラ撮影した場合も、ステレオ撮影における対応点
を求めて、ステレオモデルを作成できる。すると、オペ
レータの熟練度に依存せず安定したステレオ撮影とステ
レオモデル作成が可能となる。ステレオカメラの場合に
は、基線長やカメラの傾きが既知なので、該当するパラ
メータを用いればステレオモデルが一義的に得られる。

【００２１】さらに、画像標定部３０は、特徴要素指定
部４０で指示する画像の特徴点に対して、データ入力部
５０より実際又は仮想の座標又は寸法を入力することに
より、立体視可能なステレオ画像において実際又は仮想
の縮尺又は寸法になったステレオ画像に変換する。この
ように立体視可能なステレオ画像を作成して、寸法を与
えれば、ステレオ法の原理に従って三次元計測が可能と
なる。

【００２２】特徴要素指定部４０は、ステレオ画像を立
体視可能なように修正する際に、左右画像上で画像の特
徴点を指示するものである。画像の特徴点とは、標定を
可能とするために左右画像上で重なった領域に少なくと
も６点設ける必要のあるもので、特徴点の分布密度は左
右画像上の重なった領域で概ね均等になるように定める
とよい。画像の特徴点は、オペレータや自動捜索処理部
４４で認識しやすい形状や模様であることが好ましく、
例えばターゲットと呼ばれる標識を被写体に設けると良
い。

【００２３】特徴要素指定部４０は、立体画像を作成す
る際や計測する際に左右画像の対応点を指示する対応点
指示部４２、自動で対応点を探索するための自動捜索処
理部４４、ステレオ表示・計測する際のオーバーラップ
部を決定する輪郭決定部４５、オーバーラップ部を抽出
する有効画像領域抽出部４６、三次元計測をする際の演
算を施す演算処理部４８を備えている。ここで、対応点
とは、画像の特徴点の中で左画像と右画像の双方で認識
された同一の特徴点をいう。

【００２４】対応点指示部４２は、画像上の平面方向と
してのＸＹ方向の指示や奥行き方向の指示をするもの
で、ＰＣのマウスや奥行きを指示するダイヤルをつけた
ものなどを使用する。対応点指示部４２には、表示部６
０のカーソル位置が対応点位置に対して近傍になると、
表示部６０に表示されているカーソルマーク表示を変更
する機能を持たせるとよい。自動捜索処理部４４での対
応点探索には、例えば画像相関処理を用いて行う。即
ち、左画像上で特徴点として指示した点をテンプレート
として、右画像上を探索する。画像相関処理は、相互相
関係数法や残差逐次検定法（ＳＳＤＡ法）などどれを用
いても良い。

【００２５】輪郭決定部４５は、基準画像設定部４５
２、カーソル表示制御部４５４、境界領域設定部４５６
を備えている。基準画像設定部４５２は、左右のステレ
オ画像のうち一方の画像を基準画像とし、ステレオ画像
の他方の画像を従画像として設定する。この場合、オペ
レータの利き目側に対応する側の画像を基準画像とする
構成とすると、オペレータの個性に適合する側の画像を
基準画像に選定でき、オペレータにとって負担の少ない
立体視作業が行える。カーソル表示制御部４５４は、基
準画像側に基準カーソルを表示し、従画像には従属カー
ソルを表示させるもので、さらにオペレータによる動的
な操作を容易にするために、基準画像上で移動表示され
る基準カーソルと対応する位置に、従属カーソルを従画
像上で移動表示させるとよい。境界領域設定部４５６
は、基準カーソルによる指示により基準画像側に境界範
囲が設定されると、基準画像側の境界範囲に応じて従画
像上に対応境界領域を設定する。境界範囲の設定には、
境界点がオペレータによって主画像側で指定されると、
従画像側で対応境界点を生成する機能、指定された境界
点を補間して主画像側の境界範囲の輪郭を生成する機
能、並びに生成された対応境界点を補間して従画像側の
境界範囲の輪郭を生成する機能が含まれる。

【００２６】データ入力部５０は、実際の寸法と合わせ
るのに基準量等を入力する。なお、立体画像を作成する
だけであれば、データ入力部５０を設ける必要はない。
データ入力部５０により、立体視可能なように修正され
たステレオ画像に寸法をいれれば、その寸法にあった立
体画像を作成可能となる。

【００２７】表示部６０は、取得された画像や立体視可
能になった画像を表示するもので、操作表示部６４と立
体画像表示部６６を備えている。操作表示部６４は、画
像標定部３０に用いるパソコン用のモニタを用いるとよ
い。立体画像表示部６６は、偏向眼鏡をかけて立体視可
能とするデュアルディスプレイ方式の立体ディスプレイ
である。

【００２８】図２はデュアルディスプレイ方式の立体画
像表示部を説明する構成斜視図である。デュアルディス
プレイ方式は、左右画像を２枚の偏光ディスプレイ６６
２、６６４にそれぞれ表示させ、ハーフミラー６６６に
よって合成する。ハーフミラー６６６によって合成され
た画像は、偏光眼鏡６６８によって左右それぞれの画像
を分離できる偏光状態となっている。即ち、偏光ディス
プレイ６６２、６６４で表示される画像の偏光状態は光
学的に直交していて、偏光眼鏡６６８による分離が可能
となっている。観察者が偏光眼鏡６６８を用いて立体画
像表示部６６に表示された画面を観察すると、左右の目
に左右画像を同時に表示する状態が実現される。そこ
で、観察者は左右画像を立体的に観察できる。デュアル
ディスプレイ方式は、従来の液晶シャッター方式や液晶
フィルターシャッター方式と比較して、左右画像を同時
に観察しているため、蛍光灯や照明条件等の外部環境ノ
イズに影響されず、安定して長時間立体視できるという
利点がある。

【００２９】表示部６０には、立体画像だけでなく、計
測点の指示、装置の操作用の表示、取得された生画像等
も表示するとよい。これら表示は、立体画像表示部６６
にあわせて表示しても良いし、あるいは操作表示部６４
に表示させても良い。

【００３０】次に、このように構成された装置の使用に
ついて説明する。図３は図１の装置におけるステレオ画
像計測の手続きの流れを説明するフローチャートであ
る。まず、市販のデジタルカメラやデジタルビデオカメ
ラを用いて、立体表示したい対象物のステレオ撮影を行
う（Ｓ１００）。ステレオ撮影に用いるカメラは１台と
して撮影方向を右方向と左方向で撮影してもよく、また
カメラを２台固定して右方向と左方向からステレオ撮影
してもよい。

【００３１】次に、ステレオ撮影した左右画像を画像デ
ータ記憶部２０に読み込む（Ｓ１０２）。そして、画像
データ記憶部２０に読み込まれた撮影画像を表示部６０
に表示する（Ｓ１０４）。ここで、表示部６０には左右
２枚の画像を並べて表示すると、その後の操作が容易に
なる。表示部６０に操作表示部６４が設けられている場
合には、操作表示部６４に表示するとよい。この状態で
あっても、固定されたステレオアッタチメントで対象物
に対し平行に撮影した画像であれば、立体画像表示部６
６に表示すれば、立体視することも可能である。

【００３２】続いて、ステレオ撮影した左右画像上で対
応点の座標値や特徴点において関連する寸法がある場合
は、該関連する寸法をデータ入力部５０から入力する
（Ｓ１０６）。例えば、実際の座標として３点が既知で
あれば、データ入力部５０から既知の３点の座標値を入
力することができる。すると、Ｓ１１０で処理される左
右画像の対応点決定において既知の座標系に変換可能で
き、三次元計測が可能となる。データ入力部５０から入
力する他のデータとしては、撮影したカメラの傾き（方
向）、既知の画像上の寸法、ステレオ撮影した際のカメ
ラ間距離（基線長）がある。これらデータを入力すれ
ば、作成されたステレオ画像を計測することが可能とな
る。なお、データ入力部５０からデータ入力に代えて、
基準となる寸法となる部位を予めステレオ画像として写
し込んでおいてもよい。

【００３３】また、データ入力部５０から入力するデー
タは実際の寸法でなくとも、仮想値を入力して仮想寸法
のステレオモデルを作成することも可能である。あるい
は、Ｓ１０６にて、データ入力部５０からデータを何も
いれないくても、ステレオモデルを作成することは可能
であり、立体画像表示部６６に立体視可能なステレオ画
像を表示することが可能である。ただし寸法は、基準と
なる寸法を別途定めないと、現実の寸法に対して相似の
ステレオ画像が得られるだけとなり、絶対値は得られな
い。なお、データ入力部５０へのデータ入力は、Ｓ１０
６の位置に代えて、初期設定値として予め入力しても良
く、Ｓ１１０で処理される左右画像の対応点決定の際に
入力しても良く、あるいは、左右画像の対応点決定処理
の後に入力してもよい。

【００３４】続いて、主画像と従画像の選択を行う（Ｓ
１０８）。ここで、主画像とは、自動相関処理の際に、
基準カーソルが現れる画像をいう。また、従画像とは、
自動相関処理の際に、基準カーソルの位置に対応した相
関値の高い位置にカーソルが自動的に移動する従カーソ
ルが現れる画像をいう。基準画像設定部４５２は、左右
画像のうち選択された側を主画像として扱う。

【００３５】ステレオ撮影した左右画像のどちらを主画
像とするかは、オペレータに任せられる。主画面とする
画像は、基準画像設定部４５２にて説明したように、オ
ペレータが物の形を認識するための利き目側の画像を選
択することが望ましい。何故なら、人間の目は両眼で立
体視をしているが、物の形を認識するために、左右の何
れかが利き目となっているからである。なお、両眼のう
ち何れが利き目か判断するためには、立体視をしている
状態で所定のマークを指差し、一方の目を閉じても所定
のマークを指差している側の目を求める。以下の説明に
おいては、主画像は左画像とし、従画像を右画像とする
場合を例に説明する。

【００３６】次に、立体画像を作成するために特徴要素
指定部４０の対応点指示部４２により左右画像の対応点
を指示決定する（Ｓ１１０）。左右画像上の同一点を最
低６点以上対応付けすることによって、先に説明した立
体視の原理を適用する画像標定部３０により、カメラの
位置と傾き（外部標定要素）を求めることができる。対
応点決定は、画像上で特徴のあるところを左右画像上で
決定すれば良いが、明確なターゲットを対象物周辺にプ
リンタ等で印刷、配置しておけば作業自体は楽なものに
なる。明確なターゲットマークとしては、黒丸”●”、
四角”■”、菱形”◆”、三角形”▲”などがある。な
お、この対応点決定から外部標定要素計算までの一連の
作業は標定と呼ばれている。

【００３７】続いて、左右画像の対応点を決定する具体
的な処理過程を、図４を参照して説明する。図４は、対
応点決定処理を説明するフローチャートである。対応点
決定処理に入ると（Ｓ２００）、対応点決定処理として
のマニュアルモード、半自動モード、自動モードと３つ
のモードの何れか一つを選択する（Ｓ２０２）。なお、
以下に説明する左画像と右画像は、その逆の右画像と左
画像と逆に置き換えても処理は全く同様であり、そのよ
うに読替えて処理してもよい。

【００３８】マニュアルモードが選択されると、マニュ
アルモードでの処理が開始される（Ｓ２１０）。まず、
表示部６０上の左画像の特徴となるところを対応点指示
部４２のマウスによって指示し、確定する（Ｓ２１
２）。確定は、例えばマウスのボタンを押すことなどに
行う。確定処理により左画像座標が読み込まれる。次
に、左画像と同じ特徴点を表示部６０の右画像上で対応
点指示部４２のマウスにより指示・確定する（Ｓ２１
４）。これにより、右画像座標が読み込まれる。このよ
うにマニュアルモードでは、左右画像上で別々に対応点
指示部４２により指示、確定させる。そして、対応点と
して６点以上対応付けをしたか判断し（Ｓ２１６）、６
点未満であればＳ２０２のモード選択に戻る。なお、Ｓ
２１２に戻ってマニュアルモードによる対応点決定処理
を継続するようにプログラムを作成してもよい。６点以
上対応付けしていれば、戻しとする。

【００３９】半自動モードが選択されると、半自動モー
ドでの処理が開始される（Ｓ２２０）。半自動モードで
は、特徴要素指定部４０の自動捜索処理部４４による自
動捜索モードにうつる（Ｓ２２２）。そこで、オペレー
タは表示部６０の左画像上で特徴点を対応点指示部４２
のマウスにより指示する（Ｓ２２４）。すると、自動捜
索処理部４４は、右画像上の対応点を自動で探索する
（Ｓ２２６）。

【００４０】そして、オペレータは自動捜索処理部４４
にて検索された右画像上の対応点が適切であるか、判断
する（Ｓ２２８）。この場合、自動捜索処理部４４にて
演算された相互相関係数が、ある閾値以上であればＯＫ
と決定する（例えば０．７以上等）。表示部６０には、
対応点指示部４２により、例えば右画像上で左画像上に
対応した探索位置にＯＫなら緑表示の点、ＮＧなら赤表
示の点を表示したり、カーソルマークの図形を変えたり
（例えば、矢印”⇒”から二重丸”◎”にカーソルマー
ク表示を変更する）、相互相関係数値を表示させたりす
ることに、オペレータが判定する。右画像探索ＯＫか否
かの表示は、オペレータが判断容易であればどのような
表示によっても良い。

【００４１】ＯＫでなかった場合、対応点が他の位置で
もよいか判断し（Ｓ２３０）、他の位置でもよければＳ
２２４へもどり他の点を指示する。他方、どうしてもそ
の位置を特徴点としたい場合は、右画像上のカーソルを
マニュアルにて移動させて指示する（Ｓ２３２）。即
ち、例えば対応点指示部４２の奥行き方向を合わせるダ
イヤル等を回せば、等価的に右画像上のカーソルが動く
ことになるので、それを調整して、左画像と同じ特徴点
のところへ持って行き、あわせる。

【００４２】そして、Ｓ２２８で右画像探索ＯＫの場
合、あるいはＳ２３２にて右画像を指示した場合は、そ
の点の画像座標を読み込む（Ｓ２３４）。例えばマウス
のボタンを押すなどして確定させる。そして、対応点と
して６点以上対応付けをしたか判断し（Ｓ２３６）、６
点未満であればＳ２０２のモード選択に戻る。なお、Ｓ
２２２に戻って半自動モードによる対応点決定処理を継
続するようにプログラムを作成してもよい。６点以上対
応付けしていれば、戻しとする。

【００４３】上述した半自動モードでは、左画像上で特
徴点をマウスにより指示することにより、自動で右画像
の対応点を探索し、ＯＫかどうか表示する。オペレータ
はカーソルマーク表示の表示を見て、自動捜索処理部４
４にて検索された右画像上の対応点が適切であれば、検
索された対応点を対応点として確定させる（例えば矢
印”⇒”から”◎”に変更されている場合）。半自動モ
ードを用いることにより、オペレータは片方の画像を指
示するだけでよいので、対応点決定処理を簡単に処理で
きる。なお、マウスによる指示と確認のための判定は、
ボタンを押すことによっても良いが、更にマウスカーソ
ルを移動して左画像上をなぞるだけで、右画像上の対応
点を常に判定表示させるように構成しても良い。左画像
上のマウスカーソルに対応する右画像上の対応点を判定
表示させると、対応点決定処理をさらに容易に処理でき
る。

【００４４】自動モードが選択されると、自動モードで
の処理が開始される（Ｓ２４０）。自動モードは、対応
点となるターゲットを予め対象物周辺に配置すること
で、自動でターゲットを検出するモードである。ターゲ
ットとなるものは、予め特徴点として認識しやすいもの
を対象物周辺に配置する。ターゲットは認識しやすいも
のであればなんでもよい。例えば、前述した”●”よう
なターゲットマークをプリンタにより印刷したり、作成
したりして配置する。この場合、ターゲットの正確な位
置が予めわかっていれば、正確な三次元計測がその後可
能となる。

【００４５】まず、表示部６０により左右画像上に６点
以上のターゲットが含まれているか確認する（Ｓ２４
２）。もし左右画像上で６点以上のターゲットが含まれ
ていなければ、マニュアルもしくは半自動モードへ行く
（Ｓ２４４）。なお、左右画像に対応する６点以上のタ
ーゲットが撮影されていない場合には、ターゲットが６
点以上入るように撮影しなおす。そして、自動モード処
理に移行する（Ｓ２４６）。

【００４６】自動モード処理では、自動ターゲット検出
を行うために、配置したターゲット画像の一つを対応点
指示部４２により指示し、特徴要素指定部４０にテンプ
レート画像として登録する（Ｓ２４８）。そして、テン
プレート画像を元に、左画像、右画像それぞれターゲッ
トの位置を探索する（Ｓ２５０）。このターゲットの位
置を探索処理は、例えば先に説明した相互相関係数法等
を利用して自動検出させる。そして、探索されたターゲ
ット位置を表示部６０上に表示する（Ｓ２５２）。

【００４７】探索されたターゲット位置がＯＫであるか
判断し（Ｓ２５４）、ＯＫであれば戻しとする。ＮＧで
あれば、ターゲット位置の修正を行う（Ｓ２５６）。こ
の修正には、マニュアルモードあるいは半自動モードに
よる処理を用いる。仮に、ＮＧであった場合でも、ター
ゲットを配置してあるので修正は容易である。

【００４８】そして、修正されたターゲット位置を用い
て、左右画像上での対応点を検出する（Ｓ２５８）。こ
の作業は、特徴要素指定部４０の対応点指示部４２によ
り左右画像の対応点を表示部６０を見ながら指示するこ
とにより行う。あるいは、図５（Ａ）のように予めター
ゲットの配置を決めて、概略平行にステレオ撮影する。
すると、ターゲットの配置は撮影した画像上でも保たれ
るため、対応付けを自動で行うことも可能である。更に
は、６点以上のターゲットマークを別々に決め、予めテ
ンプレート指定しておいても、対応付けを自動で行うこ
とが可能である。左右画像上での対応点の点数は、最小
６点なので作業はマニュアルで行っても簡単にできる。

【００４９】図３にもどり、Ｓ１１０にて左右画像の対
応点の対応付けが終了したら、該対応点を元に画像標定
部３０にて外部標定要素（カメラの位置、傾き）を計算
する（Ｓ１１２）。外部標定要素の詳細については、後
述する立体画像作成の原理の該当箇所に説明されてい
る。

【００５０】Ｓ１１２にて外部標定要素が求まったら、
求めた外部標定要素値により画像の偏位修正（ステレオ
画像作成）を行う（Ｓ１１４）。そして、立体画像表示
部６６にステレオ画像を表示する（Ｓ１１６）。以上の
ようにして、ステレオ画像が作成される。

【００５１】次に立体視を容易にするため、オーバーラ
ップ部の輪郭又は対応境界を抽出するかのオペレータ判
断を待つ（Ｓ１１８）。輪郭又は対応境界を抽出する場
合は、輪郭決定部４５と有効画像領域抽出部４６によ
り、オーバーラップ部の輪郭もしくはステレオ視したい
部分の境界をオーバーラップ部の中で抽出する（Ｓ１２
０）。輪郭又は対応境界を抽出しない場合は、輪郭又は
対応境界抽出処理をスキップしてＳ１２４へいく。

【００５２】続いて、オーバーラップ部の輪郭又は対応
境界を抽出する具体的な処理過程を、図６を参照して説
明する。図６は輪郭又は対応境界の抽出処理を説明する
フローチャートである。左右画像のオーバーラップ部の
輪郭を抽出する場合も、切り出したい対応境界を決めて
抽出する場合も、以下と同様の処理で行う。

【００５３】輪郭決定部４５を用いたオペレータの操作
は、左右画像二つ同時に表示した操作表示部６４により
行う場合と、立体画像表示部６６を見ながら行う場合が
ある。立体画像表示部６６を見ながら行う場合には、所
望の形に輪郭または対応境界をひくことができる。例え
ば、オペレータは直線状に立体画像を切り取りたいと
き、立体画像上で操作を行うと、カーソル表示制御部４
５４によりカーソルの表示が左右の画像で一致する。そ
して、境界領域設定部４５６の処理において、奥行き方
向を確認しながら切り取ることができる。この場合、比
高差があるため、左画像では直線であっても、右画像上
では直線とならない。しかし、立体画像表示部６６では
左右画像をステレオ合成することで、立体的にかつ直線
を考慮しながら作業を行えるから、有効画像領域抽出部
４６での作業は容易に行える。

【００５４】輪郭又は対応境界の抽出処理に入ると（Ｓ
３００）、輪郭又は対応境界の抽出処理としてのマニュ
アルモード、半自動モード、自動モードと３つのモード
の何れか一つを選択する（Ｓ３０２）。マニュアルモー
ドが選択されると、マニュアルモードでの処理が開始さ
れる（Ｓ３１０）。まず、立体画像表示部６６を見なが
ら、対応点指示部４２のマウスを動かすことによりカー
ソルを移動させ、抽出したい輪郭や対応境界の点を指示
する（Ｓ３１２）。すると、カーソル表示制御部４５４
によりカーソルの表示が左右の画像で一致する。

【００５５】次に、抽出したい輪郭や対応境界に対する
奥行きを合わせる（Ｓ３１４）。奥行きは、対応点指示
部４２の奥行き方向を指示するダイヤル等を回すことに
より、カーソルが立体画像表示部６６上で奥行き方向に
浮いたり沈んだりして見える。そこで、オペレータはカ
ーソル位置を調整して、実際の対象物の表面上にカーソ
ルが位置するように奥行き方向を合わせる。奥行き方向
が合ったら、例えばマウスのボタンを押すこと等により
確定させて、左右画像の座標を読み込ませる（Ｓ３１
６）。なお、奥行き方向を調整することは、例えば左画
像で指示したマウスを基準位置として、その対応点の位
置を右画像上から探していることと同じである。カーソ
ル位置の調整を立体画像表示部６６に映し出すと、奥行
き方向の変化となって観察される。なお、奥行き方向が
左右の座標で大きく外れていると、カーソルが左右二つ
となって、別のところにカーソルがいってしまったよう
に見える。次に、抽出したい輪郭や対応境界が完了した
か判断し（Ｓ３１８）、未了であればＳ３０２に戻り次
の特徴点の処理を、何れのモードで行うか選択する。

【００５６】次半自動モードが選択されると、半自動モ
ードでの処理が開始される（Ｓ３３０）。ここでは、立
体画像表示部６６を観察しながら操作する場合を例に説
明する。半自動モード処理での特徴点は、オーバーラッ
プ部の輪郭、又は切り出したい対応境界となる。そこ
で、輪郭決定部４５は自動捜索処理部４４にて対応点探
索を行う自動捜索モードに入る（Ｓ３３２）。対応点探
索処理では、オペレータは立体画像表示部６６の左画像
上で抽出したい特徴点として、輪郭または切り出し境界
を対応点指示部４２のマウスにより指示する（Ｓ３３
４）。すると、自動捜索処理部４４は、右画像上の対応
点を自動で探索する（Ｓ３３６）。

【００５７】そして、オペレータは自動捜索処理部４４
にて検索された右画像上の対応点、特に奥行きが適切で
あるか、判断する（Ｓ３３８）。奥行きが適切でないと
きは、カーソル位置を調整して、実際の対象物の表面上
にカーソルが位置するように奥行き方向を合わせる（Ｓ
３４０）。奥行き方向が合ったら、例えばマウスのボタ
ンを押すこと等により確定させて、左右画像の座標を読
み込ませる（Ｓ３４２）。すると、境界領域設定部４５
６では、読込んだ左右画像の座標を境界点並びに対応境
界点の座標として扱う。次に、抽出したい輪郭や対応境
界が完了したか判断し（Ｓ３４４）、未了であればＳ３
３４に戻り次の特徴点の処理をする。

【００５８】完了していれば、境界領域設定部４５６の
境界点並びに対応境界点の補間結線機能を用いて、左右
画像の対応点を結線して表示する（Ｓ３４６）。例えば
図５（Ｂ）は、対応境界を指定、結線、表示させたもの
である。そして、オペレータは立体画像表示部６６を観
察して、自動捜索処理部４４にて検索された右画像上の
対応点による輪郭や対応境界が適切であるか判断する
（Ｓ３４８）。適切であれば、有効画像領域抽出部４６
が輪郭や対応境界を基準として、画像を切り取ってオー
バーラップ表示領域とする（Ｓ３５０）。適切でない場
合は、該当する左右画像の対応点をクリアして（Ｓ３５
２）、Ｓ３３４に戻り、再び半自動モードで点指定処理
を繰り返す。半自動モードでの点指定処理の場合、対応
点は細かくとってもよい。さらに、結線処理をＳ３４６
の時点ではなく、Ｓ３４２とＳ３４４の間で対応点が指
示・確定するたびに結線していっても良い。オーバーラ
ップ表示領域が定まると、戻しとして、Ｓ１２２の切り
取り領域のステレオ画像表示へいく。

【００５９】自動モードが選択されると、自動モードで
の処理が開始される（Ｓ３６０）。自動モードでは、対
応点決定の自動処理のために使ったターゲットと同じよ
うに、明確なマークを印刷もしくは作成したものを利用
する。従って、配置したマークの範囲内が有効画像領域
抽出部４６による切り出し部となる。あるいは、例えば
図５（Ｂ）に示すように、自動対応点決定のために使用
したターゲットで囲まれた領域内を、オーバーラップ表
示領域としてよければ、ターゲットの位置をそのまま使
用する。オーバーラップ表示領域として、自動対応点決
定のために使用したターゲットの範囲とは別の範囲とす
る場合は、ターゲットと違うマークを配置して、ステレ
オ画像に写りこむように撮影する。この場合、配置する
マークは何点でもよく、またマークを結線した一番外側
がオーバーラップ表示領域として切り取る領域となる。

【００６０】自動モードでの処理において、輪郭決定部
４５はターゲットマークの画像をテンプレートとして登
録し、左右画像探索を行う。即ち、自動ターゲット検出
を行うために、配置したターゲット画像の一つを対応点
指示部４２により指示し、特徴要素指定部４０にテンプ
レート画像として登録する（Ｓ３６２）。そして、テン
プレート画像を元に、左画像、右画像それぞれターゲッ
トの位置を探索する（Ｓ３６４）。このターゲットの位
置を探索処理は、例えば先に説明した相互相関係数法等
を利用して自動検出させる。そして、探索されたターゲ
ット位置を表示部６０上に表示する（Ｓ３６６）。

【００６１】探索されたターゲット位置がＯＫであるか
判断し（Ｓ３６８）、ＯＫであればＳ３７４に行く。Ｎ
Ｇであれば、境界領域設定部４５６によりターゲット位
置の修正を行う（Ｓ３７０）。この修正には、マニュア
ルモードあるいは半自動モードによる処理を用いる。仮
に、ＮＧであった場合でも、ターゲットを配置してある
ので修正は容易である。そして、修正されたターゲット
位置を用いて、左右画像上での対応点を検出する（Ｓ３
７２）。

【００６２】次に、対応点として検出された検出点を境
界領域設定部４５６により結線し、表示部６０に表示す
る（Ｓ３７４）。オペレータは有効画像領域抽出部４６
による切取り部が適切か判断し（Ｓ３７６）、切取り部
が適切でなければ、Ｓ３３２へゆき、半自動モードでの
輪郭抽出処理により指定しなおす。有効画像領域抽出部
４６による切取り部が適切であれば、有効画像領域抽出
部４６が輪郭や対応境界により切り取ってオーバーラッ
プ表示領域とする（Ｓ３７８）。オーバーラップ表示領
域が定まると、戻しとして、Ｓ１２２の切り取り領域の
ステレオ画像表示へいく。

【００６３】図３に戻り、有効画像領域抽出部４６にて
抽出された輪郭もしくは境界部をオーバーラップしたス
テレオ画像として、表示部６０に表示する（Ｓ１２
２）。これにより、オーバーラップ表示領域は立体視が
容易な画像として表示される。従って、以下の計測作業
もオーバーラップ表示領域で行えば楽なものになる。

【００６４】続いて、表示されたステレオ画像を用いて
画像計測をするか、オペレータの指示に従い（Ｓ１２
４）、Ｙｅｓであれば、計測位置指定を行う（Ｓ１２
６）。次に、ステレオ画像における計測位置指定をする
具体的な処理過程を図８を参照して説明する。図８は、
計測位置指定処理を説明するフローチャートである。計
測位置指定処理に入ると（Ｓ４００）、計測位置指定処
理としてのマニュアルモード、半自動計測モード、自動
計測モードの３モードのうち何れか一つを選択する（Ｓ
４０２）。

【００６５】なお、計測位置指定処理の各モードにおい
て、入力データ部により入力されたデータによって、指
定された点の三次元座標値、あるいは２点間の距離等が
計測できる。ここでは、立体画像表示部６６にて、立体
画像が表示されているので、それを見て、確認しながら
計測することが可能となる。更に、操作表示部６４上に
左右画像別々に表示し、それを見ながら計測することも
可能であるが、立体画像表示部６６にて確認しながら行
えば、さらに確実な計測が可能になる。また、対応点指
示部４２の立体画像上における奥行き方向の指示は、マ
ウスについたダイヤルやダイヤル単体等により指示す
る。

【００６６】マニュアルモードが選択されると、マニュ
アルモードでの計測位置指定の処理が開始される（Ｓ４
１０）。ここでは、オペレータが立体画像表示部６６を
見ながら操作表示部６４を用いて計測点を指示する手順
を説明する。オペレータは、立体画像表示部６６を見な
がら、操作表示部６４で表示されている左画像につい
て、計測したい位置を特徴点として指示する（Ｓ４１
２）。次に、操作表示部６４で表示されている右画像に
ついて、同一点と思われる位置を特徴点として指示する
（Ｓ４１４）。そして、立体画像表示部６６を見て、左
画像の特徴点と右画像の特徴点がカーソルの指し示す計
測したい点として、一致する特徴点の上にあるか確認す
る（Ｓ４１６）。このカーソルが計測したい点の位置に
は、画面の平面方向の他に、奥行き方向も含まれる。も
し違っていれば、対応点指示部４２のマウスを利用して
計測したい位置を指示する（Ｓ４１８）。

【００６７】オペレータが立体画像表示部６６を見てい
ると、奥行き方向も同時に観察できるため、奥行き方向
の位置も合わせる（Ｓ４２０）。即ち、奥行き方向があ
っていなければカーソルが対象点より浮いたり沈んだり
して見える。この場合、奥行き方向を合わせるダイヤル
があれば、それらを利用して対象点の上にカーソル位置
を合わせることができる。このカーソル位置合わせ作業
は、実質的には、左右画像の位置あわせをしていること
と同じであるが、立体視をしながら行っているので間違
いがないのと同時に確実である。即ち、特徴が少ないと
ころでもあわせることができる。そして、左画像の特徴
点と右画像の特徴点が一致していてＯＫであれば、マウ
スのボタンなどにより位置確定して、座標位置を読み込
ませる（Ｓ４２２）。

【００６８】半自動計測モードが選択されると、半自動
計測モードでの計測位置指定の処理が開始される（Ｓ４
３０）。半自動計測モードでは、操作表示部６４もしく
は立体画像表示部６６どちらを見ながら行ってもよい。
半自動計測モードでは、特徴要素指定部４０は、自動捜
索処理部４４に移行する（Ｓ４３２）。そして、オペレ
ータは左画像上の計測点をマウスにより指示する（Ｓ４
３４）。すると、自動捜索処理部４４によって、左画像
上の計測点と同一計測点を右画像上で探索する（Ｓ４３
６）。なお、この自動捜索処理部４４による左画像上の
計測点と同一計測点を右画像上で探索することは、Ｓ２
２６にて説明した内容と全く同様である。そして、右画
像の探索位置がＯＫか確認する（Ｓ４３８）。

【００６９】もし右画像の探索位置が左画像上の計測点
と違っていれば、マニュアルモードと同様に対応点指示
部４２のマウスを利用して計測したい位置を指示する
（Ｓ４４０）。この時、オペレータは立体画像表示部６
６上で奥行き方向と画像平面方向と同時に観察できるた
め、奥行き方向の位置も一致させる（Ｓ４４２）。そし
て、左画像の特徴点と右画像の特徴点が一致していてＯ
Ｋであれば、マウスのボタンなどにより位置確定して、
座標位置を読み込ませる（Ｓ４４４）。この時、操作表
示部６４上には、ＯＫであれば対応する右画像の位置に
ＯＫ表示をするとよい。また、立体画像表示部６６上で
あれば、ＯＫ表示もカーソルの色、形状をかえることな
どにより確認できるが、実際にあっているかどうかも本
人の目で確認することができる。

【００７０】自動計測モードが選択されると、自動計測
モードでの計測位置指定の処理が開始される（Ｓ４５
０）。自動計測モードでは、指定した領域の三次元座標
値を一括して計測することが可能である。そこでまず、
計測領域はオーバーラップ部全体か判断し（Ｓ４５
１）、全体であればＳ４６２へジャンプする。他方、オ
ーバーラップ部の一部であるときは、計測したい領域に
ついて指定する計測領域指定処理を行う（Ｓ４５２）。
即ち、計測領域の一番外側となる左右画像の境界点を指
示する。例えば、大略五角形の領域を一括計測したい場
合は、図５（Ｂ）のように対応境界となる境界点を５点
指示する。ここでは、オペレータによって指示された境
界点を黒丸で表している。そして、オペレータは境界点
の表示を参照して、左右画像の境界点を指示する点が適
切か判断し（Ｓ４５４）、指定した境界点を間違えた
り、気に入らなければＳ４５２に戻り指示しなおす。

【００７１】左右画像の境界点の指定が適切であれば、
各指定点を結線し、立体画像表示部６６に表示して計測
領域を明確にする（Ｓ４５６）。すると、図５（Ｂ）の
ように、立体画像表示部６６の表示は対応境界となる境
界点を結線した表示となる。そして、オペレータは境界
点及び結線表示を参照して、計測領域の指定が適切であ
るかを確認する（Ｓ４５８）。適切でない場合は、不適
切な指定点と対応する結線をクリアして（Ｓ４６０）、
Ｓ４５２に戻り指示しなおす。計測領域の指定が適切で
あれば、計測領域として確定する（Ｓ４６２）。このよ
うにして、計測領域を決めれば、その領域において左右
画像の対応点が間違いなく決まっているので、確実な一
括計測が可能となる。また、一括計測において、これら
の左右画像の対応点を利用すれば、信頼性、速度ともに
あげることが可能となる。

【００７２】次に、計測領域指定された領域内の対応点
に対して、自動で対応点検出を一括処理する（Ｓ４６
４）。ここでは、画像相関処理により行う。例えば先に
説明した、相互相関係数法を利用して、左画像をテンプ
レート、右画像をその探索領域として各点の対応点検出
を行えばよい。なお、画像相関処理として、粗密探索相
関法やその他の画像相関処理として利用される通常の処
理方法を用いても良い。

【００７３】図３にもどり、対応点の左右座標値から計
測値を演算処理部４８によって算出する（Ｓ１２８）。
演算は、先に説明したステレオ法の原理により計算され
る。自動計測モードで、計測領域の対応点を自動検出し
た場合は、その対応点検出したすべての点について計算
する。そして、計測値を表示部６０上に表示する（Ｓ１
３０）。そして、Ｓ１２４に戻り、さらに計測を続ける
か判断し（Ｓ１２４）、続けるのであれば繰り返し測定
する。計測を続けない場合は、終了する。

【００７４】なお、自動計測により領域を計測した場合
であれば、表示は、数値でなく鳥瞰図や等高線図等で表
示することも可能である。また、これら領域の計測値デ
ータを他のＣＡＤ(Computer Aided Design)等にわたし
て、ＣＡＤ側で処理してもよい。

【００７５】次に、上記の実施の形態において用いたス
テレオ画像計測における基本原理を項目毎に説明する。 １．［ステレオ法の原理］ ステレオ法の原理について以下説明する。図９はステレ
オ法の原理の説明図である。図９に示すように、２台の
カメラ１、２が、光軸が平行で、カメラレンズの主点か
ら撮像面としてのＣＣＤ面までの距離ａが等しく、ＣＣ
Ｄは光軸に直角に置かれているものとする。また、カメ
ラ１、２の間隔と等しい、２つの光軸間距離（基線長）
をｌとする。

【００７６】このとき、物体上の点Ｐ１（ｘ１、ｙ
１）、Ｐ２（ｘ２、ｙ２）の座標の間には、以下のよう
な関係がある。 ｘ１＝ａｘ／ｚ −−−（１） ｙ１＝ｙ２＝ａｙ／ｚ −−−（２） ｘ２−ｘ１＝ａｌ／ｚ −−−（３） 但し、全体の座標系（ｘ、ｙ、ｚ）の原点をカメラ１の
レンズ主点にとるものとする。（３）式よりｚを求め、
これを用いて（１）式、（２）式よりｘ、ｙが求められ
る。以上で、左右画像の対応点を求めれば、その位置の
三次元座標を計測することが可能となる。

【００７７】２．［立体画像作成の原理］ 次に立体画像作成についての原理を説明する。立体画像
作成の原理は、ステレオ法が成立するように画像を修正
すれば、立体視が可能になるということである。立体視
可能な画像とは、対象物に対して２枚の画像が平行であ
りかつ縦視差が除去されているものである。例えば、図
１０に示されている画像では、左右の画像間でいくらオ
ーバーラップしている領域があっても、左右画像の縮尺
が異なり、さらに回転や縦視差があるために、人間の目
では立体視することができない。しかしながら、図１１
のように左右画像の倍率をあわせ、回転を補正し縦視差
を除去すれば、人間が立体視可能な画像とすることがで
き、ステレオ法を成り立たせることができる。

【００７８】ステレオ画像（ステレオモデル）は、左右
画像中に６点以上の同一の対応点を求めることにより作
成することができる。即ち、左右の画像上で６点対応す
る点の画像座標があれば、二つのカメラの相対的な位置
と傾きを求めることができるので、それにより左右画像
の縮尺、回転、縦視差を補正し、立体視可能なステレオ
画像（ステレオモデル）を作成することができる。

【００７９】２．１［相互標定］相互標定は、画像中の
６点以上の対応点によりカメラの相対的な位置と傾きを
求める原理である。図１２は相互標定の説明図である。
相互標定では、以下の共面条件式により各パラメータを
求める。

【数１】

【００８０】図１２に示すように、モデル座標系の原点
を左側の投影中心にとり、右側の投影中心を結ぶ線をＸ
軸にとるようにする。縮尺は、基線長を単位長さにと
る。このとき求めるパラメータは、左側のカメラのＺ軸
の回転角κ１、Ｙ軸の回転角φ１、右側のカメラのＺ軸
の回転角κ２、Ｙ軸の回転角φ２、Ｘ軸の回転角ω２の
５つの回転角となる。この場合左側のカメラのＸ軸の回
転角ω１は０なので、考慮する必要ない。このような条
件にすると、の共面条件式は式のようになり、この
式を解けば各パラメータが求まる。

【数２】

【００８１】ここで、モデル座標系ＸＹＺとカメラ座標
系ｘｙｚの間には、次に示すような座標変換の関係式が
成り立つ。

【数３】

【００８２】これらの式を用いて、次の手順により、未
知パラメータを求める。 ２−：初期近似値は通常０とする。 ２−：共面条件式を近似値のまわりにテーラー展開
し、線形化したときの微分係数の値を、式により求
め、観測方程式をたてる。 ２−：最小二乗法をあてはめ、近似値に対する補正量
を求める。 ２−：近似値を補正する。 ２−：補正された近似値を用いて、２−〜２−ま
での操作を収束するまで繰り返す。

【００８３】以上により、カメラの相対的な３次元位置
ならびに３軸の傾きが求まり、立体視可能なステレオ画
像（ステレオモデル）が作成できるようになる。また、
ステレオ撮影したカメラ間の距離（基線長）を入力して
やれば、実寸のステレオモデルとすることができる。さ
らに、６点のうち３点のＸＹＺ座標を与えてやることが
できれば、実際の座標系変換し、実座標における三次元
計測が可能となる。

【００８４】３．［相互相関係数法］ 相互相関係数による方法では、次式を用いた以下の手順
による。

【数４】 ３−：例えば、特徴要素指定部４０の対応点指示部４
２により指示された特徴点となる点を中心とした、Ｎ１
×Ｎ１画素の画像をテンプレート画像として左画像から
切出す。図１３は切出されたテンプレート画像の一例を
示す図である。 ３−：テンプレート画像より大きい右画像中のＭ１×
Ｍ１画素を探索範囲（Ｍ１−Ｎ１＋１）^２として、探索
範囲上でテンプレート画像を動かす。 ３−：上式の相互相関係数Ｃ(a,b)が最大になるよう
な画像位置を求めて、テンプレート画像に対し探索され
たとみなす。完全に左画像と右画像が一致していれば、
相互相関係数値Ｃ(a,b)が1.0となる。 一般的には、標定作業により撮影カメラの位置と傾きを
求めて、その結果を用いて偏位修正画像を作成する作業
が行われる。本実施の形態においては、画像標定部３０
により、偏位修正画像を作成する処理を行わせている。

【００８５】

【発明の効果】以上説明したように、本発明のステレオ
画像用処理装置によれば、ステレオ画像取得部で取得さ
れた一対のステレオ画像における左画像と右画像の重複
範囲の輪郭に基づき、ステレオ画像から有効ステレオ画
像を抽出する有効画像領域抽出部と、前記有効画像領域
抽出部で抽出された有効ステレオ画像を立体視可能な画
像として表示する立体画像表示部とを備える構成として
いるので、有効画像領域抽出部により重複範囲として抽
出された範囲を立体画像表示部に表示させることがで
き、オペレータは立体視できない非オーバーラップ部を
見ることがない為、疲れることなく長時間の立体視作業
が行える。

【００８６】さらに、輪郭決定部により一対のステレオ
画像を構成する一方の画像に対して、指定された境界点
を補間して指定境界線を演算し、当該補間された指定境
界線に基づき他方の画像の対応境界を演算により求める
構成とすると、オペレータは簡単な境界点の指示だけに
より立体視可能なステレオ画像領域が指定でき、ステレ
オ画像の表示が簡便に行える。

【図面の簡単な説明】

【図１】 本発明の第１の実施の形態を説明する全体構
成ブロック図である。

【図２】 デュアルディスプレイ方式の立体ディスプレ
イを説明する構成斜視図である。

【図３】 図１の装置におけるステレオ画像計測の手続
きの流れを説明するフローチャートである。

【図４】 対応点決定処理を説明するフローチャートで
ある。

【図５】 （Ａ）はターゲットの配置の一例、（Ｂ）は
対応境界の指示及び結線の表示例を説明する図である。

【図６】 輪郭又は対応境界の抽出処理を説明するフロ
ーチャートである。

【図７】 左画像と右画像におけるオーバーラップ部と
非オーバーラップ部の説明図である。

【図８】 計測位置指定処理を説明するフローチャート
である。

【図９】 ステレオ法の原理の説明図である。

【図１０】 人間の目では立体視することができない画
像の一例を示す図である。

【図１１】 人間が立体視可能な画像の一例を示す図で
ある。

【図１２】 相互標定の説明図である。

【図１３】 切出されたテンプレート画像の一例を示す
図である。

【符号の説明】

１０ ステレオ画像取得部 ２０ 画像データ記憶部 ３０ 画像標定部 ４０ 特徴要素指定部 ４２ 対応点指示部 ４４ 自動捜索処理部 ４５ 輪郭決定部 ４５２ 基準画像設定部 ４５４ カーソル表示制御部 ４５６ 境界領域設定部 ４６ 有効画像領域抽出部 ６０ 表示部 ６６ 立体画像表示部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 青木 弘幸 東京都板橋区蓮沼町75番１号 株式会社ト プコン内 (72)発明者 山田 光晴 東京都板橋区蓮沼町75番１号 株式会社ト プコン内 (72)発明者 佐藤 宏一 東京都板橋区蓮沼町75番１号 株式会社ト プコン内 Ｆターム(参考） 2H088 EA07 MA01 5C061 AA02 AB04 AB18 AB20

Claims (9)

【特許請求の範囲】
1. 【請求項１】 ステレオ画像取得部で取得された一対の
   ステレオ画像における左画像の輪郭と右画像の輪郭か
   ら、当該左画像及び右画像で重複して撮影されている範
   囲の輪郭を決定する輪郭決定部と；当該輪郭決定部によ
   って決定された重複範囲の輪郭に基づき、ステレオ画像
   から有効ステレオ画像を抽出する有効画像領域抽出部
   と；当該有効画像領域抽出部で抽出された有効ステレオ
   画像を立体視可能な画像として表示する表示部とを備え
   る；立体画像表示装置。
2. 【請求項２】 前記輪郭決定部は、一対のステレオ画像
   のうち一方の画像を基準画像とし、前記ステレオ画像の
   他方の画像を従画像として設定する基準画像設定部を有
   し；前記基準画像側に設定した境界範囲に応じて、従画
   像上に前記基準画像の境界範囲に対応した対応境界領域
   を設定するように構成されている；請求項１に記載の立
   体画像表示装置。
3. 【請求項３】 前記基準画像設定部は、オペレータの利
   き目側に対応する側の画像を基準画像とする請求項２に
   記載の立体画像表示装置。
4. 【請求項４】 前記輪郭決定部は、前記基準画像側に基
   準カーソルを表示し、前記従画像には従属カーソルを表
   示させるカーソル表示制御部を有し；前記カーソル表示
   制御部は、前記基準画像上で移動表示される前記基準カ
   ーソルと対応する位置に、前記従属カーソルを前記従画
   像上で移動表示させるように構成されている；請求項２
   又は請求項３に記載の立体画像表示装置。
5. 【請求項５】 前記輪郭決定部は、さらに前記基準カー
   ソルによる指示により基準画像側に境界範囲が設定され
   ると、前記基準画像側の境界範囲に応じて従画像上に対
   応境界領域を設定する境界領域設定部を有する請求項４
   に記載の立体画像表示装置。
6. 【請求項６】 前記輪郭決定部は、前記重複範囲の決定
   にあたり、前記右画像の左端部の輪郭に対応する輪郭を
   前記左画像の輪郭に対応させ、前記左画像の右端部の輪
   郭に対応する輪郭を前記右画像の輪郭に対応させるよう
   に構成されている；請求項１乃至請求項５の何れか１項
   に記載の立体画像表示装置。
7. 【請求項７】 前記輪郭決定部は、一対のステレオ画像
   を構成する一方の画像の指定境界が指定されると、当該
   指定境界に基づき他方の画像の対応境界を演算により求
   める請求項１乃至請求項５の何れか１項に記載の立体画
   像表示装置。
8. 【請求項８】 前記輪郭決定部は、一対のステレオ画像
   を構成する一方の画像に対して、指定された境界点を補
   間して指定境界線を演算し、当該補間された指定境界線
   に基づき他方の画像の対応境界を演算により求める請求
   項１乃至請求項５の何れか１項に記載の立体画像表示装
   置。
9. 【請求項９】 一対のステレオ画像における左画像の輪
   郭と右画像の輪郭から、当該左画像及び右画像で重複し
   て撮影されている範囲の輪郭を決定し；決定された重複
   範囲の輪郭に基づき、ステレオ画像から有効ステレオ画
   像を抽出し；抽出された有効ステレオ画像を立体視可能
   な画像として表示する；工程を有する立体画像表示方
   法。