JP2001227921A - レンジファインダ装置 - Google Patents

Abstract

(57)【要約】 【課題】 ビデオレートで動作し、かつ物体の形
状に係わらず物体の距離データを正確に得ることができ
るレンジファインダ装置を提供すること。 【解決手段】 本発明は、複数のライン光をフィール
ド毎に異なる方向に投影し複数のカメラで撮像した被写
体像からライン光位置での被写体の３次元座標値を計算
し、ライン光位置での３次元座標値をカラーカメラ視点
での距離画像に変換し統合し、距離画像中で距離が計測
されなかった画素における距離は、複数フィールドの距
離データを用いた補間処理により決定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、物体の３次元形状
の計測を行うレンジファインダ装置に関するものであ
る。

【０００２】

【従来の技術】従来より、この種のレンジファインダ装
置として、光を投影し三角測量を用いてビデオレート、
つまりフィールド周期で距離データを得るレンジファイ
ンダ装置がある。この種のレンジファインダ装置として
は、例えば、図１５に示すような装置が提案されてい
る。

【０００３】図１５に示すレンジファインダ装置には、
複数本のライン光を発生するレーザー光源１０１と、レ
ーザー光源１０１を駆動するレーザー駆動部１０２と、
レーザー光源１０１からのレーザー光を光学系（図示せ
ず）でライン化したライン光を被写体１１３に対して走
査する回転ミラー１０３と、この回転ミラー１０３の向
きを変える回転ミラー駆動部１０４と、ライン光を投射
した被写体１１３を撮影する赤外カメラ１０５ａ〜１０
５ｈと、被写体１１３のテキスチャ画像を撮影するカラ
ーカメラ１０６と、赤外カメラ１０５ａ〜１０５ｈで撮
影された画像からライン光を検出するライン光検出部１
０７ａ〜１０７ｈと、検出されたライン光から被写体１
１３の３次元座標値を算出する距離計算部１０８ａ〜１
０８ｈと、計算された３次元座標値をカラーカメラ１０
６の視点の距離データに変換し統合する距離統合部１０
９と、レーザー駆動や回転ミラー駆動のタイミングをと
るための同期制御部１１０と、全体の処理を制御する制
御部１１１と、テキスチャ画像の出力タイミングを距離
データの出力タイミングと一致させる遅延部１１２と、
が設けられている。

【０００４】次に、上記構成を有するレンジファインダ
装置の動作について説明する。

【０００５】レーザー光源１０１から出射されたレーザ
ー光は、光学系を介して複数本のライン光（垂直方向に
並ぶ複数のライン光）となる。このライン光は、回転ミ
ラー１０３により反射され被写体に投射される。レーザ
ー駆動部１０２は、回転ミラー１０３の駆動に同期して
レーザー光源１０１の発光をオン・オフする。すなわ
ち、回転ミラー１０３の垂直帰線期間中はレーザーの発
光を停止し、それ以外の期間にレーザーを発光させる。

【０００６】回転ミラー１０３は、ステップ状に駆動さ
れながらライン光の並んだ方向に回転し、ライン光を走
査して被写体１１３に投射する。回転ミラー１０３の回
転角の範囲は、ライン光間の角度を越えない範囲に設定
されている。すなわち、各ライン光の走査範囲は互いに
重ならない。

【０００７】被写体１１３に投射したライン光は８台の
カメラ１０５ａ〜１０５ｈを用いて撮像される。各カメ
ラ１０５ａ〜１０５ｈによる撮像は、回転ミラー１０３
をステップ状に駆動する毎に行う。

【０００８】カメラ１０５ａ〜１０５ｈの配置は、４台
のカメラを縦に配置したものを２組用い、光源を挟んで
左右に配置する。また、縦に配置したカメラ１０５ａ〜
１０５ｄ及び１０５ｅ〜１０５ｈの光軸は一定の距離の
基準点（輻輳点）で交差するように配置し、輻輳点付近
で距離計測の密度を高くしている。

【０００９】ライン光検出部１０７ａ〜１０７ｈは、カ
メラ１０５ａ〜１０５ｈにより撮影された画像からライ
ン光を検出する。ライン光検出部１０７ａ〜１０７ｈ
は、検出したライン光の水平位置及び垂直位置（画像内
のｘ座標とｙ座標）と、ライン光番号とを検出結果とし
て出力する。

【００１０】距離計算部１０８ａ〜１０８ｈは、ライン
光として検出された画素について、各カメラ１０５ａ〜
１０５ｈのレンズ中心を原点としたカメラ座標系を用い
て３次元座標値の計測を行う。計測は、ライン光の３次
元空間中での軌跡（すなわち平面）と、ライン光として
検出された画素のカメラ１０５ａ〜１０５ｈから見た方
向（すなわち直線）の交点を求めることにより行う。

【００１１】距離統合部１０９は、距離計算部１０８ａ
〜１０８ｈにおいて各カメラ１０５ａ〜１０５ｈについ
て計算した３次元座標値をカラーカメラ１０６の視点に
変換し、カラーカメラ１０６の距離データ（Ｚ値）とし
て統合する。距離統合部１０９による距離データの統合
により、各水平ライン毎に５０数点の距離データが得ら
れる。これは、本来６４本の距離データが得られるはず
であるが、撮影された画像の端部近傍では、ライン光が
画像の視野から外れることがあるため、そのような場合
には距離データが計測できないからである。

【００１２】補間部１１４は、距離統合部１０９によっ
て統合されたライン光の距離データを補間し、距離統合
部１０９によって統合されていない距離データ、つまり
ライン光が撮像された画素以外の画素における距離デー
タを求める。このようにして、補間部１１４は、奥行き
画像内の全画素について距離データを決定し出力する。

【００１３】遅延部１１２は、カラーカメラ１０６によ
って撮影されたカラー画像（テキスチャ画像）の出力を
遅延させ、補間部１４の奥行き画像とを同期させてカラ
ー画像を出力する。

【００１４】制御部１１１は、計測の開始、終了、ライ
ン光検出時のしきい値設定等の装置全体の制御を行う。

【００１５】

【発明が解決しようとする課題】しかしながら上記のよ
うな構成では、各水平ライン毎に計測される距離データ
が５０数点と少ない。このため、上述したように補間で
求めた距離データを用いてテキスチャ画像の切り出しを
行った場合、物体輪郭附近の切り出し精度が低くなって
しまうという課題を有していた。

【００１６】本発明はかかる点に鑑みてなされたもので
あり、ビデオレートで動作し、かつ物体の形状に係わら
ず物体の距離データを正確に得ることができるレンジフ
ァインダ装置を提供することを目的とする。

【００１７】

【課題を解決するための手段】本発明は、複数のライン
光をフィールド毎に異なる方向に投影し、複数の赤外カ
メラにより撮像されたライン光位置での３次元座標値を
計算し、得られた３次元座標値をカラーカメラ視点での
距離画像に変換し統合し、距離画像中で距離が計測され
なかった画素における距離は、複数フィールドの距離デ
ータを用いた補間処理により決定するレンジファインダ
装置である。

【００１８】本発明は前記した構成により、距離画像中
の全ての画素についての距離値を計また、補間対象位置
の距離データを複数フィールドの距離データを用いた補
間処理により決定することで、補間対象位置が被写体の
輪郭付近のように距離データが急激に変化する位置であ
っても、正確に距離データを決定できる。

【００１９】

【発明の実施の形態】本発明の第１の態様にかかるレン
ジファインダ装置は、被写体のカラー画像を撮像するカ
ラーカメラと、複数のライン光を発する光源と、前記複
数のライン光を走査する走査手段と、前記複数のライン
光が照射された前記被写体を撮像する複数のカメラと、
前記複数のカメラの露光タイミングを制御するタイミン
グ制御手段と、前記カメラによって撮像された前記被写
体の画像から前記被写体に投射されたライン光を検出す
るライン検出手段と、前記ライン検出手段が検出した前
記ライン光に対応する位置での前記被写体の３次元座標
値を計算する距離計算手段と、前記３次元座標値を前記
カラーカメラの視点の距離データに変換し統合して距離
画像を生成する距離データ統合手段と、統合された距離
データを補間する距離データ補間手段と、を具備し、前
記走査手段は、複数フィールド周期でライン光の走査角
をフィールド毎に変更するものである。

【００２０】この構成により、複数フィールドで計測さ
れた距離データを用いた補間値を前記補間対象画素位置
の距離データとすることで、補間対象画素位置が被写体
の輪郭付近のように距離データが急激に変化する位置で
あっても、正確に距離データを決定できる。これによ
り、撮像された被写体の全てのカラー画像に対する距離
データを正確に求められる。よって、この距離データを
用いて、撮像された被写体の画像の切り出し精度を改善
できる。

【００２１】本発明の第２の態様は、第１の態様にかか
るレンジファインダ装置において、前記距離データ補間
手段は、前記複数のフィールドの前記距離データと前記
カラー画像を用いるものである。

【００２２】このように、複数フィールドで計測された
距離データに加え、テキスチャを用いた補間を行うこと
で、より正確に距離データを得ることができる。

【００２３】本発明の第３の態様は、第１の態様または
第２の態様にかかるレンジファインダ装置において、前
記走査手段は、２フィールド周期でライン光の走査角を
変更し、前記距離データ補間手段は、前記２フィールド
の前記距離データを用いるものである。

【００２４】このように、フィールド毎にライン光の投
射方向を変化させているため、フレーム内で距離が計測
される画素位置はライン毎に異なる。したがって、フィ
ールド毎の距離データを補間することにより、空間解像
度の改善された距離画像を計算することが可能となる。
また、この構成は、ビデオレート、つまり１フレームを
２フィールド構成し動作するレンジファインダに最適で
ある。

【００２５】本発明の第４の態様は、第１の態様または
第２の態様にかかるレンジファインダ装置において、前
記走査手段は、６フィールド周期でライン光の走査角を
変更し、前記距離データ補間手段は、６フィールドの前
記距離データを用いるものである。

【００２６】この構成により、６フィールドすべてにお
いて異なる方向にライン光が投射される。よって、６フ
ィールドの距離データを用いた補間処理により決定する
ことにより、全ての画素についてのより正確に距離デー
タを計算し、距離画像を用いた画像切り出しの精度を改
善できる。

【００２７】（実施の形態１）以下、本発明の実施の形
態１にかかるレンジファインダ装置について添付図面を
使用して説明する。実施の形態１は、２フィールド周期
でライン光の走査角を変更するようにしたものである。
そして、この２フィールドの距離データを計測し、これ
らの距離データを補間することで、空間解像度の改善さ
れた距離画像を計算することをできるようになされたも
のである。

【００２８】以下、図１を使用して実施の形態１にかか
るレンジファインダ装置の構成について説明する。図１
は、実施の形態１にかかるレンジファインダ装置の構成
を示す概略図である。

【００２９】実施の形態１にかかるレンジファインダ装
置は、複数本のライン光を発生するレーザー光源１と、
レーザー光源１を駆動するレーザー駆動部２と、複数の
ライン光を走査するための走査手段であるレーザー光源
１からのレーザー光を光学系（図示せず）でライン化し
たライン光を被写体１３に対して走査する回転ミラー３
およびこの回転ミラー３の向きを変える回転ミラー駆動
部４と、ライン光を投射した被写体を撮影する赤外カメ
ラ５ａ〜５ｈと、被写体１３のテキスチャ画像を撮影す
るカラーカメラ６と、赤外カメラ５ａ〜５ｈで撮影され
た画像からライン光を検出するライン光検出部７ａ〜７
ｈと、検出されたライン光から被写体１３の３次元座標
値を算出する距離計算部８ａ〜８ｈと、計算された３次
元座標値をカラーカメラ６の視点の距離データに変換し
統合する距離統合部９と、赤外カメラ５ａ〜５ｈの露光
タイミングを制御するタイミング制御手段であるレーザ
ー駆動や回転ミラー駆動のタイミングをとるための同期
制御部１０と、全体の処理を制御する制御部１１と、カ
ラーカメラの撮影のタイミングをずらす遅延部１２と、
から主に構成されている。

【００３０】次に、上記構成を有するレンジファインダ
装置の動作について説明する。

【００３１】レーザー光源１から出射されたレーザー光
は、光学系を介して複数本のライン光（垂直方向のライ
ン光）となる。この複数本のライン光は、回転ミラー３
により反射され被写体に投射される。レーザー駆動部２
は、回転ミラー３の駆動に同期してレーザー光源１の発
光をオン・オフする。すなわち、垂直帰線期間中はレー
ザーの発光を停止し、それ以外の期間にレーザーを発光
させる。

【００３２】図２は、同期制御部１０からの垂直同期信
号とレーザー発光との間の関係を示すタイミング図であ
る。図２において、２０１で示される信号は、垂直同期
信号を示し、２０２で示される信号は、レーザー発光の
オン・オフを制御するレーザー駆動信号を示す。この図
から、垂直同期信号２０１がＯＮのとき、レーザー駆動
信号２０２がＯＦＦになっていることがわかる。

【００３３】回転ミラー３は、ステップ状に駆動される
ことにより回転して、ライン光を走査して被写体１３に
投射する。その回転角の範囲は、ライン間角度を越えな
い範囲に設定する（すなわち、各ライン光の走査範囲は
互いに重ならない）。

【００３４】図３は、同期制御部１０からの同期信号、
回転ミラーの駆動、及び各カメラにおける撮像の間のタ
イミングの関係を示すタイミング図である。図３におい
て、３０１で示される信号は同期制御部１０からの同期
信号を示し、３０２で示される信号は回転ミラーの駆動
信号を示し、３０３で示される信号は各カメラにおける
撮像タイミング（電子シャッタによる露光タイミング）
を示す。回転ミラー３の駆動信号のレベルは、フィール
ド間で半ステップずれている。すなわち、ライン光は、
第１フィールドと第２フィールドでは、異なる方向に投
射される。

【００３５】本実施の形態では、被写体１３に投射した
ライン光を８台のカメラ５ａ〜５ｈを用いて撮像する。
各カメラ５ａ〜５ｈよる撮像は、回転ミラー３をステッ
プ状に駆動する毎に行う。

【００３６】図４及び図５は、本実施の形態におけるカ
メラ５ａ〜５ｈの配置を示す図である。本実施の形態で
は、４台のカメラを縦に配置したものを２組用い、光源
を挟んで左右に配置する。図４は、縦に配置したカメラ
５ａ〜５ｄ及び５ｅ〜５ｈの光軸が一定の距離の基準点
で交差している様子を示す図である。また、図５は、左
右に配置したカメラ群５ａ〜５ｄ及び５ｅ〜５ｈの光軸
が一定距離の基準点で交差する様子を示す図である。本
実施の形態では、８台のカメラを、それらの光軸が一定
距離の基準点（輻輳点）で交差するように配置にするこ
とにより、輻輳点付近で密度の高い距離計測が可能とな
る。

【００３７】ライン光検出部７ａ〜７ｈは、カメラ５ａ
〜５ｈにより撮影された画像からライン光を検出する。
ライン光の検出について以下に説明する。図６（ａ）
は、複数のライン光による距離計測の原理を説明するた
めの図である。図６（ｂ）は、カメラが撮像した画像上
においてライン光が撮像されるべき範囲を示した図であ
る。

【００３８】図６（ａ）に示すように、光源１から出力
されるレーザー光がライン化され、回転ミラー３で反射
して、被写体１３に投射される。そして、その被写体１
３の画像をカメラ５で撮像する。複数のライン光で計測
を行う場合には、図６（ｂ）に示すように、画像上にお
いて各ライン光が撮像されるべき範囲（存在範囲）を制
限して、それぞれのライン光を判別する。上記制限は、
図６（ａ）では、カメラ５から見た角度の範囲を各ライ
ン光について限定することになる。

【００３９】また、本実施の形態では、図７に示すよう
に第１フィールドと第２フィールドで、回転ミラーの掃
引を変化させている。これにより、水平方向の解像度を
改善している。図７において、実線はライン光の検出位
置、破線は各ライン光の存在範囲の境界を示す。

【００４０】図８は、ライン光検出を説明するための図
である。実施の形態１においては、ライン光を検出する
場合、輝度を用いて行う。図８（ａ）における着目水平
ラインａｂ間での輝度分布は、レーザーライン光が空間
的に拡がりを持つため、図８（ｂ）のようになる。各ラ
イン光位置Ａ，Ｂ，Ｃは、理想的には輝度最大の画素と
して検出できる。しかしながら、実際には、ノイズの影
響を受けて他の画素において輝度が最大になったり、ま
た、輝度値が大きすぎる場合には、撮像時に白飛びを起
こし、複数の画素が最大輝度をとることがある。

【００４１】本実施の形態では、そのような場合にも、
ライン光の位置を安定して検出するようになされてい
る。これを実現するために、まず、図８（ｃ）に示すよ
うに各ライン光についての存在範囲内でしきい値以上の
輝度について水平方向に累積輝度を計算する。そして、
該存在範囲内で累積輝度が存在範囲内の最大値（すなわ
ち、存在範囲右端における累積輝度）の所定値、例えば
２分の１の値を越える画素をライン光の位置として検出
する。上記のライン光検出により、ノイズやライン光の
白飛びの影響を受けずに、安定してライン光位置を精度
良く検出することができる。

【００４２】ライン光検出部７ａ〜７ｈは、検出したラ
イン光の水平位置及び垂直位置（画像内のｘ座標とｙ座
標）と、ライン光番号とを検出結果として出力する。ラ
イン光番号は、ｉ番目のカメラのｊ番目のライン光につ
いて、以下の（数１）に示す値とする。

【００４３】

【数１】 ここで、ｎはカメラの台数である。カメラの番号ｉを露
光タイミングの早い方から順番に増加させ、ライン光の
番号ｊを画像内で左から順に付け、回転ミラー３による
ライン光の走査を左から右にするようにすると、１フレ
ームの距離計測結果に対して、画像内では左から順番に
ライン光の番号が増加することになる。

【００４４】次に、距離計算部８ａ〜８ｈにおける距離
計算について説明する。距離計算は、ライン光として検
出された画素について、ライン光が通る３次元空間内の
平面と、カメラのレンズ中心と検出画素位置とを結ぶ直
線（以降視線と記す）との交点を求めることにより行
う。

【００４５】図９は距離計測の原理を説明する図であ
る。図９において、参照符号１はレーザー光源を示し、
３は回転ミラーを示し、５は赤外カメラ、Ｏ−ＸＹＺは
ワールド座標系、Ｐは計測点、（Ｘ₀，Ｙ₀，Ｚ₀）はカ
メラのレンズ中心を示す。ライン光の通る面を

【００４６】

【数２】 とし、検出画素の画像中での座標値（ｘ，ｙ）によって
決まる視線を（数３）とする。

【００４７】

【数３】 すると、両者の交点Ｐのワールド座標値は（数４）とな
る。

【００４８】

【数４】 ここで、視線に関するパラメータｐ，ｑ，ｒ，Ｘ₀，
Ｙ₀，Ｚ₀は、（数５）に示す赤外カメラ５のカメラパラ
メータＣから求められる。カメラパラメータとは、カメ
ラの位置、カメラの向いている方向、カメラの視野角、
カメラの焦点、カメラの撮像面などをあらわしたパラメ
ータである。

【００４９】

【数５】 ここで、カメラパラメータＣは３×４の行列、ｈは投影
変換のスケール項である。（数５）はワールド座標
（Ｘ，Ｙ，Ｚ）から画素座標（ｘ，ｙ）への投影変換を
表す。カメラパラメータＣの要素Ｃ₁₁〜Ｃ₃₄は、複数の
ワールド座標値とその撮像位置に対して最小２乗フィッ
ティングを行い、各赤外カメラについて決定する。ここ
で、（数５）は両辺を等倍しても成り立つので、例えば
Ｃ₃₄＝１としてＣ₁₁〜Ｃ₃₄を決定する。

【００５０】視線のパラメータは、カメラパラメータＣ
の要素Ｃ₁₁〜Ｃ₃₄を用いて（数６）、（数７）で表され
る。

【００５１】

【数６】

【数７】 ライン光面のパラメータａ，ｂ，ｃ，ｄは、Ｚ値が既知
で一定の面にライン光を投影し、これをカメラパラメー
タ既知のカメラで撮像し、撮像位置（ｘ，ｙ）を検出す
ることにより、（数４）に（数６）（数７）を代入し最
小２乗フィッティングを行うことによって決定する。ま
た（数２）は両辺を等倍しても成り立つので、例えばｄ
＝１、または、（ａ²＋ｂ²＋ｃ²）^1/2＝１の条件を加え
てａ，ｂ，ｃ，ｄを決定する。

【００５２】距離統合部９は、距離計算部８ａ〜８ｈに
おける計算結果を、（数８）によりカラーカメラ６の視
点に変換し統合する。

【００５３】

【数８】 ここで、Ｃ_Cはカラーカメラのカメラパラメータ、
（ｘ_c，ｙ_c）はカラーカメラ視点の距離画像中の画素座
標値である。

【００５４】上記視点変換時には、視点の異なる赤外カ
メラによる距離データを統合するため、隠れ検出を行う
必要がある。

【００５５】図１０は、隠れ検出を説明するための図で
ある。図１０において、参照符号１はレーザー光源を示
し、３は回転ミラーを示し、６はカラーカメラを示し、
５Ｌはカラーカメラ６より左に配置された赤外カメラを
示し、５Ｒはカラーカメラ６よりも右に配置された赤外
カメラを示す。前述のように、ライン光検出部７によっ
て、回転ミラー３から被写体１３に走査されるライン光
には、左から昇順に番号が付けられる。被写体１３の凹
凸と、回転ミラー３、赤外カメラ５、及びカラーカメラ
６との間の位置関係により、オクルージョン（遮蔽）が
生じる。

【００５６】カラーカメラの視点でオクルージョンが生
じるところでは、ライン光の番号が水平方向左から右に
単調に増加せず、番号の逆転が起こる。つまり（数８）
の変換によって、図１０のｉ＋１番目のライン光がｉ番
目のライン光よりも左に変換される。したがって、（数
８）の変換によりライン光の番号が逆転するデータ、つ
まり図１０のｉ＋１番目のライン光のデータを統合時に
削除することにより、隠れ検出をする。これにより、オ
クルージョンが除去された状態で距離データを統合する
ことができ、良好にカラーカメラ６の視点における距離
画像に変換することができる。

【００５７】距離統合部９による距離データの統合によ
り、各水平ライン毎に数十点の距離データが得られる。
補間部１４は、距離統合部９によって統合されたライン
光の距離データを補間し、奥行き画像内の全画素につい
て距離データを決定し出力する。本実施の形態では、フ
ィールド毎にライン光の投射方向を変化させているた
め、フレーム内で距離が計測される画素位置は、ライン
毎に異なる。このため、１フレーム分の距離データの補
間により、空間解像度の改善された距離画像を計算する
ことが可能となる。

【００５８】補間部１４は、各水平ラインにつき数十点
得られる距離データを補間し、距離画像中のすべての画
素における距離値を計算し、奥行き画像を出力する。図
１１は補間部１４の構成図である。図１１において、１
５は距離統合部９からの距離データおよび、カラーカメ
ラ６で撮像されたテキスチャ画像を１フレーム分記憶す
るメモリ、１６は距離データの補間計算を行う補間演算
部である。以下に上記構成の動作について説明する。

【００５９】メモリ１５は、距離統合部９によってカラ
ーカメラ６の視点に変換された距離データを１フレーム
分記憶する。１０本のライン光を８台の赤外カメラで撮
影する場合、記憶される距離データは各水平ラインにつ
き８０点である。

【００６０】補間演算部１６は、上記距離データ、つま
り被写体１３のライン光が照射される位置の距離データ
を補間することにより、距離が計測されなかった画素、
つまり補間対象位置の距離データの値を決定し、距離画
像を出力する。

【００６１】これにより、補間対象位置が被写体の輪郭
付近のように距離データが急激に変化する位置であって
も、輪郭付近の距離データの変化がなだらかになること
なく、正確に距離データを決定できる。

【００６２】以下、数式を用いて、ライン光位置に以外
の距離データを求める処理について詳細に説明する。

【００６３】（数９）は、距離計測が行われた点と、補
間対象画素に対応する３次元座標値との間のユークリッ
ド距離の２乗を、前記距離計測が行われた点におけるＲ
ＧＢ値と補間対象位置におけるＲＧＢ値とのＲＧＢ空間
における距離の２乗で重み付け加算したものである。補
間対象画素における距離値Ｚは、（数９）を最小化する
３次元座標値（Ｘ，Ｙ，Ｚ）として決定する。これは、
補間対象画素近傍で色のよく似た計測点における距離測
定値の影響を大きく受けるように、補間対象画素におけ
る距離値を決定することを意味する。

【００６４】

【数９】 （数９）において、添え字ｉはｉ番目の参照距離データ
を示す。（ｘ，ｙ）は距離画像中の着目画素の座標値、
（ｘ_i，ｙ_i）は補間時に参照する距離データが計測され
た画素座標値、Ｘ（ｘ，ｙ），Ｙ（ｘ，ｙ），Ｚ（ｘ，
ｙ）は着目画素（ｘ，ｙ）で撮像されるべき３次元座標
値であり、（数３）を満たす視線上の３次元座標値であ
る。Ｘ（ｘ_i，ｙ_i），Ｙ（ｘ_i，ｙ_i），Ｚ（ｘ_i，ｙ_i）
はｉ番目の参照距離データの３次元座標値、Ｒ（ｘ，
ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）は着目画素（ｘ，
ｙ）におけるＲＧＢ値、Ｒ（ｘ_i，ｙ_i），Ｇ（ｘ_i，
ｙ_i），Ｂ（ｘ_i，ｙ_i）はｉ番目の参照距離データのＲ
ＧＢ値である。補間時には、計測されたすべての距離デ
ータを参照する必要はなく、距離画像中の着目画素
（ｘ，ｙ）の近傍で計測された距離データを参照すれば
良い。

【００６５】（数９）は、（ｘ，ｙ）で決まる視線上の
３次元座標値と、補間時に参照する距離データとの３次
元空間中での２乗距離を、両者のＲＧＢ値の２乗距離で
重み付けしたものの和である。したがって、（数９）を
最小化して得られるＸ，Ｙ，Ｚは、ＲＧＢ値の差が小さ
くかつ３次元空間中での距離の近い距離データの影響を
強く受ける。

【００６６】（数９）を最小化するＺ（ｘ、ｙ）を以下
の計算により決定する。ｒ≠０のときは、（数３）よ
り、（数１０）となる。

【００６７】

【数１０】 ここで、Ｘ，Ｙ，ＺはＸ（ｘ，ｙ），Ｙ（ｘ，ｙ），Ｚ
（ｘ，ｙ）を示す。（なお、ｒ＝０の状態は視線が撮像
面と水平になることを意味する。ここでは、そのような
状態については考慮しない。）（数１０）を（数９）に
代入し、Ｚで偏微分する。（数１１）は、Ｚで偏微分し
た式である。

【００６８】

【数１１】 ここで、Ｘ_i，Ｙ_i，Ｚ_iは、それぞれ、Ｘ（ｘ_i，
ｙ_i），Ｙ（ｘ_i，ｙ_i），Ｚ（ｘ_i，ｙ_i）を示す。ここ
で、Ｊが最小となるＺは、∂Ｊ／∂Ｚ＝０になるＺであ
る。よって、Ｊが最小となるＺは、（数１２）により、
計算できる。そして、このＺ値を補間対象画素における
距離データとする。このようにして、補間対象位置の距
離データが容易に求められる。

【００６９】

【数１２】 また、Ｘ，Ｙについては、（数１２）で計算したＺ値と
（数１０）より計算できる。

【００７０】なお、上記補間計算は、（数９）のかわり
に（数１３）を用いても良い。

【００７１】

【数１３】 そして、（数１３）を最小化するＺを（数１４）で計算
しても同様の効果を得ることができ、本発明に含まれ
る。

【００７２】

【数１４】 遅延部１２は、カラーカメラ６によって撮影されたカラ
ー画像（テキスチャ画像）を遅延させ、補間部１４の奥
行き画像とを同期させてカラー画像を出力する。

【００７３】制御部１１は、計測の開始、終了、ライン
光検出時のしきい値設定等の装置全体の制御を行う。

【００７４】以上のように、実施の形態１によれば、フ
ィールド毎に異なる方向にライン光を投影し、複数の赤
外カメラによりライン光位置での３次元座標値を計算
し、得られた３次元座標値をカラーカメラ視点での距離
データに変換し統合することで距離画像を生成し、距離
画像中で距離が計測されなかった画素における距離デー
タは、２フィールドの距離データとテキスチャデータを
用いた補間処理により決定することにより、距離画像中
の全ての画素についての距離データを計算し、距離画像
を用いた画像切り出しの精度を改善できる。

【００７５】また、実施の形態１のように、補間対象画
素における距離データを、ＲＧＢ値の差が小さくかつ３
次元空間中での距離の近い距離データとして計算するこ
とで、補間対象画素が距離データが急激に変化する被写
体の輪郭付近であっても、輪郭付近の距離データの変化
がなだらかになることなく、正確な距離データになる。
これにより、撮像された被写体の全てのテキスチャ情報
に対する距離データを正確に計算できる。よって、この
距離データを用いることで、撮像された被写体の画像の
切り出し精度を改善できる。

【００７６】さらに、実施の形態１では、フィールド毎
にライン光の投射方向を変化させているため、フレーム
内で距離が計測される画素位置はライン毎に異なるの
で、より多くの距離データを計測できる。そして、フィ
ールド毎の距離データを補間することにより、空間解像
度の改善された距離画像を計算することが可能となる。

【００７７】なお、実施の形態１では、被写体を撮像す
るカメラを含んだ形態になっているが、被写体を撮像す
るカメラ部分を含まず距離データのみを得るような装置
に本発明を適用してもよい。

【００７８】（実施の形態２）本発明の実施の形態２
は、前フレーム、現フレーム、次フレームの各フィール
ド、つまり６フィールド周期でライン光の走査角を変更
するようにしたものである。そして、距離データの補間
において、この６フィールドで計測された６フィールド
分の距離データを用いるものである。これにより、実施
の形態１より、さらに空間解像度の改善された距離画像
を計算することが可能となるものである。

【００７９】図１２は、実施の形態２におけるレンジフ
ァインダ装置の構成図である。図１２の構成のうち、本
発明の第１の実施の形態と同一のものには、図１と同一
の符号を付し説明を省略し、以下にミラー駆動部１７、
距離計算部１８ａ〜１８ｈ、補間部１９の動作について
説明する。

【００８０】ミラー駆動部１７は、フィールド毎に異な
る６通りの回転ミラー駆動を行う。図１３は、ミラー駆
動部１７による回転ミラーの駆動を説明する図である。
図１３において、ミラーの駆動は各フィールド毎に６分
の１ステップずつシフトしている。このミラー駆動によ
り、各フィールド毎に異なる方向にライン光が投射され
る。

【００８１】距離計算部１８ａ〜１８ｈでは、ライン光
の検出位置（すなわちライン光の検出画素座標値）から
距離データを計算する。その際、上記６通りの回転ミラ
ー駆動に応じた６通りの計算を順次切り替えて行う。計
算の切り替えは、６通りの距離データ計算方法をＬＵＴ
として保持し、フィールド番号によってＬＵＴを切り替
えることで実現できる。

【００８２】補間部１９は、着目フレーム及び前後各１
フレーム（すなわち、前フレーム、現フレーム、次フレ
ーム）において計測された距離データを用い、距離デー
タの補間を行う。図１４は、補間部１９の構成図であ
る。図１４において、２０ａ，２０ｂ、２０ｃは、それ
ぞれ前フレーム、現フレーム、次フレームの距離統合部
９からの距離データおよび、カラーカメラ６で撮像され
たテキスチャ画像を記憶するメモリ、２１は、前フレー
ム、現フレーム、次フレームの距離データを用いて補間
演算を行う補間演算部である。これにより、より多くの
距離データが計算されている位置から補間対象位置に用
いる位置を特定できる。よって、補間対象位置の距離デ
ータの精度を上げることができる。

【００８３】補間演算部２１は、上記距離データを補間
することにより、距離が計測されなかった画素における
距離値を決定し、距離画像を出力する。距離データの補
間は現フレームについて距離が計測されなかった画素に
ついて、（数１５）を最小化するＺ値として計算する。
（数１５）は、実施の形態１の（数９）に対応するもの
である。

【００８４】

【数１５】 ここで、Ｘ，Ｙ，Ｚは（数３）を満たす視線上の３次元
座標値。添え字ｊは−１から１までの整数値をとり、−
１は前フレーム、０は現フレーム、１は次フレームを示
す。添え字ｉは、フレーム画像中でのｉ番目の参照距離
データを示す。（ｘ，ｙ）は距離画像中の着目画素の座
標値、（ｘ_i，ｙ_i）は補間時に参照する距離データが計
測された画素座標値、Ｘ（ｘ，ｙ），Ｙ（ｘ，ｙ），Ｚ
（ｘ，ｙ）は着目画素（ｘ，ｙ）で撮像されるべき３次
元座標値、Ｘ_j（ｘ_i，ｙ_i），Ｙ_j（ｘ_i，ｙ_i），Ｚ
_j（ｘ_i，ｙ_i）はｊ番目のフレーム（すなわち、前フレ
ーム、現フレーム、次フレームのいづれか）におけるｉ
番目の参照距離データの３次元座標値、Ｒ₀（ｘ，
ｙ），Ｇ₀（ｘ，ｙ），Ｂ₀（ｘ，ｙ）は現フレームの着
目画素（ｘ，ｙ）におけるＲＧＢ値、Ｒ_j（ｘ_i，
ｙ_i），Ｇ_j（ｘ_i，ｙ_i），Ｂ_j（ｘ_i，ｙ_i）はｊ番目の
フレーム（すなわち、前フレーム、現フレーム、次フレ
ームのいづれか）におけるｉ番目の参照距離データのＲ
ＧＢ値である。補間時には、計測されたすべての距離デ
ータを参照する必要はなく、距離画像中の着目画素
（ｘ，ｙ）の近傍で計測された距離データを参照すれば
良い。

【００８５】（数１５）を最小化するＺは、以下の計算
により決定する。（数１０）を（数１５）に代入し、Ｚ
で偏微分すると、（数１６）となる。

【００８６】

【数１６】 Ｊを最小にするＺは、∂Ｊ／∂Ｚ＝０となるＺである。
よって、（数１７）として、Ｚを計算する。

【００８７】

【数１７】 Ｘ，Ｙについては、（数１７）で計算したＺ値と（数１
０）より計算できる。

【００８８】なお、Ｚの計算は、（数１５）の代わりに
（数１８）を最小化し、（数１９）としても同様の効果
を得ることができ、本発明に含まれる。

【００８９】

【数１８】

【数１９】 以上のように、実施の形態２によれば、フィールド毎に
異なる方向にライン光を投影し、複数の赤外カメラによ
りライン光位置での３次元座標値を計算し、得られた３
次元座標値をカラーカメラ視点での距離画像に変換し統
合し、距離画像中で距離が計測されなかった画素におけ
る距離は、６フィールドの距離データとテキスチャデー
タを用いた補間処理により決定することにより、距離画
像中の全ての画素についての距離値をさらに正確に計算
し、距離画像を用いた画像切り出しの精度を改善でき
る。

【００９０】なお、実施の形態１においては２フィール
ド周期で、実施の形態２においては６フィールド周期で
ライン光の走査角を変更したが、２周期もしくは６周期
以外の複数フィールド周期でも良く、例えば３フィール
ド周期でライン光の走査角を変更する形態であっても良
い。３フィールド周期の場合は、図１４のメモリ２０
ａ、２０ｂ、２０ｃにそれぞれ前フィールド、現フィー
ルド、次フィールドの距離データを記憶するような形態
になる。

【００９１】また、実施の形態１または実施の形態２に
おいては、補間部１４が、距離統合部９によって統合さ
れた距離画像では距離データが得られていない画素にお
ける距離データをカラー画像を用いて補間処理を行う形
態で説明したが、カラー画像を用いないで距離データの
みを補間する形態、例えば以下に説明する変形例であっ
てよく、本発明に含まれる。

【００９２】本発明の変形例では、補間部１４が、距離
統合部９によって統合された距離画像で距離データが得
られていない画素における距離データＺ（ｘ，ｙ）を決
定する際に、（数２０）を最小化するように距離データ
Ｚ（ｘ，ｙ）の分布を決定する。

【００９３】

【数２０】 （数２０）はＺ値の分布の滑らかさを示す式であり、
（数２０）を最小化するＺ（ｘ，ｙ）の分布は、変分δ
Ｊ＝０を求めることにより求められる。δＪ＝０は、以
下の（数２１）により表される。

【００９４】

【数２１】 （数２１）は、距離統合部９によって統合された距離画
像で得られる各水平ライン毎の数十点の距離データを境
界条件として、有限要素法等の数値計算によって解くこ
とができる。このようにして、本発明の変形例では、距
離統合部９によって統合された距離画像では距離データ
が得られていない画素における距離データを求めてい
る。

【００９５】

【発明の効果】以上説明したように、本発明によれば、
カラー画像と同一の視点における距離画像中のすべての
画素についての距離値を計算し、距離画像を用いた画像
切り出しの精度を改善ことができ、その実用的効果は大
きい。

【図面の簡単な説明】

【図１】本発明の実施の形態１に係わるレンジファイン
ダ装置の構成を示す概略図

【図２】実施の形態１における同期制御部からの垂直同
期信号とレーザー発光との間の関係を示すタイミング図

【図３】実施の形態１における同期制御部からの同期信
号、回転ミラーの駆動、及び各カメラにおける撮像の間
のタイミングの関係を示すタイミング図

【図４】実施の形態１におけるカメラの配置を示す図

【図５】実施の形態１におけるカメラの配置を示す図

【図６】（ａ） 実施の形態１における複数のライン光
による距離計測の原理を説明するための図 （ｂ） 実施の形態１におけるライン光が撮像されるべ
き範囲を示した図

【図７】（ａ） 実施の形態１における第１フィールド
のライン光投射を説明するための図 （ｂ） 実施の形態１における第２フィールドのライン
光投射を説明するための図

【図８】（ａ） 着目水平ラインａｂ間でのライン光の
投射を説明するための図 （ｂ） 着目水平ラインａｂ間での輝度分布を示す図 （ｃ） 着目水平ラインａｂ間での累積輝度を示す図

【図９】実施の形態１における距離計測の原理を説明す
るための図

【図１０】実施の形態１における隠れ検出を説明するた
めの図

【図１１】実施の形態１における補間部の構成を説明す
るための図

【図１２】本発明の実施の形態２に係わるレンジファイ
ンダ装置の構成を示す概略図

【図１３】実施の形態２における同期制御部からの垂直
同期信号と回転ミラーの駆動との間の関係を示すタイミ
ング図

【図１４】実施の形態２における補間部の構成を説明す
るための図

【図１５】従来のレンジファインダ装置の構成を示す概
略図

【符号の説明】 １ レーザー光源 ２ レーザー駆動部 ３ 回転ミラー ４ 回転ミラー駆動部 ５ａ〜５ｈ 赤外カメラ ６ カラーカメラ ７ａ〜７ｈ ライン光検出部 ８ａ〜８ｈ 距離計算部 ９ 距離統合部 １０ 同期制御部 １１ 制御部 １２ 遅延部 １３ 被写体 １４ 補間部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 魚森 謙也 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 森村 淳 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Ｆターム(参考） 2F065 AA04 AA06 AA53 BB05 DD03 FF01 FF09 GG04 GG14 HH04 JJ03 JJ05 JJ26 LL13 LL62 MM12 MM16 PP22 QQ23 RR07 SS13 UU05

Claims (4)

【特許請求の範囲】
1. 【請求項１】 被写体のカラー画像を撮像するカラーカ
   メラと、複数のライン光を発する光源と、前記複数のラ
   イン光を走査する走査手段と、前記複数のライン光が照
   射された前記被写体を撮像する複数のカメラと、前記複
   数のカメラの露光タイミングを制御するタイミング制御
   手段と、前記カメラによって撮像された前記被写体の画
   像から前記被写体に投射されたライン光を検出するライ
   ン検出手段と、前記ライン検出手段が検出した前記ライ
   ン光に対応する位置での前記被写体の３次元座標値を計
   算する距離計算手段と、前記３次元座標値を前記カラー
   カメラの視点の距離データに変換し統合して距離画像を
   生成する距離データ統合手段と、統合された距離データ
   を補間する距離データ補間手段と、を具備し、前記走査
   手段は、複数フィールド周期でライン光の走査角をフィ
   ールド毎に変更することを特徴とするレンジファインダ
   装置。
2. 【請求項２】 前記距離データ補間手段は、前記複数の
   フィールドの前記距離データと前記カラー画像を用いる
   ことを特徴とする請求項１に記載のレンジファインダ装
   置。
3. 【請求項３】 前記走査手段は、２フィールド周期でラ
   イン光の走査角を変更し、前記距離データ補間手段は、
   ２フィールドの前記距離データを用いることを特徴とす
   る請求項１または請求項２に記載のレンジファインダ装
   置。
4. 【請求項４】 前記走査手段は、６フィールド周期でラ
   イン光の走査角を変更し、前記距離データ補間手段は、
   ６フィールドの前記距離データを用いることを特徴とす
   る請求項１または請求項２に記載のレンジファインダ装
   置。