JP2001091232A - ３次元形状計測装置および方法、並びに記録媒体 - Google Patents
３次元形状計測装置および方法、並びに記録媒体Info
- Publication number
- JP2001091232A JP2001091232A JP26983899A JP26983899A JP2001091232A JP 2001091232 A JP2001091232 A JP 2001091232A JP 26983899 A JP26983899 A JP 26983899A JP 26983899 A JP26983899 A JP 26983899A JP 2001091232 A JP2001091232 A JP 2001091232A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- reference image
- subject
- photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
(57)【要約】
【課題】 対応点付けを確実に実行し、ミスマッチング
領域の発生を減少させる。 【解決手段】 投光パターン生成回路２は、一様乱数や
正規乱数を用い、ドットのサイズ、線の長さや太さ、位
置、濃度等が不規則な投光パターンを生成して投光器３
に供給する。投光器３は、投光パターンを被写体１に拡
大して照射する。基準カメラ４は、基準画像を撮影す
る。基準カメラ４に対して所定の距離と角度が設けられ
ている参照カメラ５は、参照画像を撮影する。画像間対
応付け回路６，７は、基準画像と、参照画像との対応点
付けを行う。距離画像生成回路８は、画像間対応付け回
路６，７から入力される基準画像と参照画像の各画素の
視差を用いて、距離画像を生成する。
領域の発生を減少させる。 【解決手段】 投光パターン生成回路２は、一様乱数や
正規乱数を用い、ドットのサイズ、線の長さや太さ、位
置、濃度等が不規則な投光パターンを生成して投光器３
に供給する。投光器３は、投光パターンを被写体１に拡
大して照射する。基準カメラ４は、基準画像を撮影す
る。基準カメラ４に対して所定の距離と角度が設けられ
ている参照カメラ５は、参照画像を撮影する。画像間対
応付け回路６，７は、基準画像と、参照画像との対応点
付けを行う。距離画像生成回路８は、画像間対応付け回
路６，７から入力される基準画像と参照画像の各画素の
視差を用いて、距離画像を生成する。
Description
【０００１】
【発明の属する技術分野】本発明は、３次元形状計測装
置および方法、並びに記録媒体に関し、特に、被写体を
複数の異なる位置から撮影した画像を用いて被写体表面
の３次元形状を測定する場合に用いて好適な３次元形状
計測装置および方法、並びに記録媒体に関する。
置および方法、並びに記録媒体に関し、特に、被写体を
複数の異なる位置から撮影した画像を用いて被写体表面
の３次元形状を測定する場合に用いて好適な３次元形状
計測装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】一般に「ステレオ視」または「ステレオ
３次元画像計測」等と呼ばれている距離測定方法は、異
なる位置に設けられた少なくとも２台以上のカメラ（基
準カメラと、その他の参照カメラ）で被写体を撮影し
て、得られた複数の画像（基準カメラによる基準画像
と、参照カメラによる参照画像）の間で対応する画素を
特定し（一般に、「対応点付け」と呼ばれる）、対応付
けられた基準画像上の画素と、参照画像上の画素との位
置の差（視差）に三角測量の原理を適用することによ
り、基準カメラ（または、参照カメラ）から当該画素に
対応する被写体上の点までの距離を計測するものであ
る。従って、被写体の表面全体に対応する全ての画素ま
での距離を測定すれば、被写体の形状や奥行きを測定す
ることが可能となる。
３次元画像計測」等と呼ばれている距離測定方法は、異
なる位置に設けられた少なくとも２台以上のカメラ（基
準カメラと、その他の参照カメラ）で被写体を撮影し
て、得られた複数の画像（基準カメラによる基準画像
と、参照カメラによる参照画像）の間で対応する画素を
特定し（一般に、「対応点付け」と呼ばれる）、対応付
けられた基準画像上の画素と、参照画像上の画素との位
置の差（視差）に三角測量の原理を適用することによ
り、基準カメラ（または、参照カメラ）から当該画素に
対応する被写体上の点までの距離を計測するものであ
る。従って、被写体の表面全体に対応する全ての画素ま
での距離を測定すれば、被写体の形状や奥行きを測定す
ることが可能となる。
【０００３】なお、「ステレオ３次元画像計測」におい
て最も重要な「対応点付け」は、基準画像上のある点Ｐ
ａに写像される実空間上の点は複数（図１に示す実空間
上の点Ｐ1，Ｐ2，Ｐ3等）存在するので、実空間上の点
Ｐ1，Ｐ2，Ｐ3等の写像である直線（エピポーラライン
と呼ばれている）上に、点Ｐａに対応する参照画像上の
点Ｐａ’が存在することに基づいて行われる。
て最も重要な「対応点付け」は、基準画像上のある点Ｐ
ａに写像される実空間上の点は複数（図１に示す実空間
上の点Ｐ1，Ｐ2，Ｐ3等）存在するので、実空間上の点
Ｐ1，Ｐ2，Ｐ3等の写像である直線（エピポーラライン
と呼ばれている）上に、点Ｐａに対応する参照画像上の
点Ｐａ’が存在することに基づいて行われる。
【０００４】ところで、「対応点付け」の具体的な方法
としては、例えば、「C.Lawrence Zitnick and Jon A.W
ebb:Mult-baseline Stereo Using Surface Extraction,
Technical Report,CMU-CS-96-196,(1996)」に記述され
ているピクセルベース(Pixel-based)マッチング法、例
えば、「奥富、金出：複数の基線長を利用したステレオ
マッチング、電子情報通信学会論文誌Ｄ−II、Vol.75-D
-II,No.8,pp.1317-1327,(1992)」に記述されているエリ
アベース(Area-based)マッチング法、例えば、「H.H.Ba
ker and T.O.Binford:Depth from edge intensity base
d stereo,In Proc.IJCAI'81,(1981)」に記述されている
フィーチャベース(Feature-based)マッチング法等が提
案されている。
としては、例えば、「C.Lawrence Zitnick and Jon A.W
ebb:Mult-baseline Stereo Using Surface Extraction,
Technical Report,CMU-CS-96-196,(1996)」に記述され
ているピクセルベース(Pixel-based)マッチング法、例
えば、「奥富、金出：複数の基線長を利用したステレオ
マッチング、電子情報通信学会論文誌Ｄ−II、Vol.75-D
-II,No.8,pp.1317-1327,(1992)」に記述されているエリ
アベース(Area-based)マッチング法、例えば、「H.H.Ba
ker and T.O.Binford:Depth from edge intensity base
d stereo,In Proc.IJCAI'81,(1981)」に記述されている
フィーチャベース(Feature-based)マッチング法等が提
案されている。
【０００５】しかしながら、上述したいずれの方法にお
いても、被写体（距離を測定する対象物）が、例えば、
単色の壁や人の顔のように、濃淡、形状、色等の局所的
な特徴がないものである場合、対応点付けが行えない領
域（ミスマッチング領域）が生じてしまう問題があっ
た。
いても、被写体（距離を測定する対象物）が、例えば、
単色の壁や人の顔のように、濃淡、形状、色等の局所的
な特徴がないものである場合、対応点付けが行えない領
域（ミスマッチング領域）が生じてしまう問題があっ
た。
【０００６】
【発明が解決しようとする課題】そのような問題を解決
するために、例えば、「S.B.Kang,J.A.Webb,C.L.Zitnic
k and T.Kanade:A Multibaseline Stereo System with
Active Illumination and Real-time Image Acquisitio
n,Proc IEEE Int Conf.Comput.Vis.,Vol.5,pp88-93,(19
95)」に記述された方法では、局所的な特徴を有しない
被写体に周期的な模様の光を照射して撮影し、得られた
画像の対応点付けを行うことが提案されたが、周期的な
模様を被写体に照射する方法は、３台以上のカメラを用
いた場合には、ミスマッチング領域の発生を減少させる
ことに対して効果的であるが、２台のカメラを用いた場
合、模様が周期的である故に、対応点付けを誤ることが
あり、必ずしも効果的ではない課題があった。
するために、例えば、「S.B.Kang,J.A.Webb,C.L.Zitnic
k and T.Kanade:A Multibaseline Stereo System with
Active Illumination and Real-time Image Acquisitio
n,Proc IEEE Int Conf.Comput.Vis.,Vol.5,pp88-93,(19
95)」に記述された方法では、局所的な特徴を有しない
被写体に周期的な模様の光を照射して撮影し、得られた
画像の対応点付けを行うことが提案されたが、周期的な
模様を被写体に照射する方法は、３台以上のカメラを用
いた場合には、ミスマッチング領域の発生を減少させる
ことに対して効果的であるが、２台のカメラを用いた場
合、模様が周期的である故に、対応点付けを誤ることが
あり、必ずしも効果的ではない課題があった。
【０００７】本発明はこのような状況に鑑みてなされた
ものであり、２台のカメラを用いたステレオ３次元画像
計測において、ランダムな模様を被写体に投光すること
により、対応点付けを確実に実行し、ミスマッチング領
域の発生を減少させるようにするものである。
ものであり、２台のカメラを用いたステレオ３次元画像
計測において、ランダムな模様を被写体に投光すること
により、対応点付けを確実に実行し、ミスマッチング領
域の発生を減少させるようにするものである。
【０００８】
【課題を解決するための手段】請求項１に記載の３次元
形状計測装置は、乱数を用いて非周期的な投光パターン
を生成する投光パターン生成手段と、被写体に複数の投
光パターンを切り替えて照射する照射手段と、照射手段
により投光パターンが照射された被写体を撮影して、基
準画像を生成する第１の撮影手段と、第１の撮影手段の
位置とは異なる位置から、照射手段により投光パターン
が照射された被写体を撮影して、参照画像を生成する第
２の撮影手段と、同一の投光パターンに対応する基準画
像上の画素と、参照画像上の画素との対応を識別して、
対応する画素間の視差を算出する識別手段と、視差に基
づいて距離画像を生成する距離画像生成手段とを含むこ
とを特徴とする。
形状計測装置は、乱数を用いて非周期的な投光パターン
を生成する投光パターン生成手段と、被写体に複数の投
光パターンを切り替えて照射する照射手段と、照射手段
により投光パターンが照射された被写体を撮影して、基
準画像を生成する第１の撮影手段と、第１の撮影手段の
位置とは異なる位置から、照射手段により投光パターン
が照射された被写体を撮影して、参照画像を生成する第
２の撮影手段と、同一の投光パターンに対応する基準画
像上の画素と、参照画像上の画素との対応を識別して、
対応する画素間の視差を算出する識別手段と、視差に基
づいて距離画像を生成する距離画像生成手段とを含むこ
とを特徴とする。
【０００９】請求項２に記載の３次元形状計測装置は、
ある投光パターンに対応する距離画像の中で、画素値の
信頼性が低い領域を検出する検出手段と、検出手段が検
出した領域の画素値を、他の投光パターンに対応する距
離画像の対応する画素の画素値を用いて置換する置換手
段とをさらに含むことを特徴とする。
ある投光パターンに対応する距離画像の中で、画素値の
信頼性が低い領域を検出する検出手段と、検出手段が検
出した領域の画素値を、他の投光パターンに対応する距
離画像の対応する画素の画素値を用いて置換する置換手
段とをさらに含むことを特徴とする。
【００１０】前記検出手段は、距離画像の画素値の連続
性に基づいて、画素値の信頼性が低い領域を検出するよ
うにすることができる。
性に基づいて、画素値の信頼性が低い領域を検出するよ
うにすることができる。
【００１１】請求項４に記載の３次元形状計測方法は、
乱数を用いて非周期的な投光パターンを生成する投光パ
ターン生成ステップと、被写体に複数の投光パターンを
切り替えて照射する照射ステップと、照射ステップの処
理により投光パターンが照射された被写体を撮影して、
基準画像を生成する第１の撮影ステップと、第１の撮影
ステップの処理で撮影した位置とは異なる位置から、照
射ステップの処理により投光パターンが照射された被写
体を撮影して、参照画像を生成する第２の撮影ステップ
と、同一の前記投光パターンに対応する基準画像上の画
素と、参照画像上の画素との対応を識別して、対応する
画素間の視差を算出する識別ステップと、視差に基づい
て距離画像を生成する距離画像生成ステップとを含むこ
とを特徴とする。
乱数を用いて非周期的な投光パターンを生成する投光パ
ターン生成ステップと、被写体に複数の投光パターンを
切り替えて照射する照射ステップと、照射ステップの処
理により投光パターンが照射された被写体を撮影して、
基準画像を生成する第１の撮影ステップと、第１の撮影
ステップの処理で撮影した位置とは異なる位置から、照
射ステップの処理により投光パターンが照射された被写
体を撮影して、参照画像を生成する第２の撮影ステップ
と、同一の前記投光パターンに対応する基準画像上の画
素と、参照画像上の画素との対応を識別して、対応する
画素間の視差を算出する識別ステップと、視差に基づい
て距離画像を生成する距離画像生成ステップとを含むこ
とを特徴とする。
【００１２】請求項５に記載の記録媒体のプログラム
は、乱数を用いて生成された非周期的な投光パターンが
切り替えられて照射された被写体を撮影して得られた画
像から、基準画像を生成する第１の生成ステップと、基
準画像を得るために撮影した位置とは異なる位置から、
投光パターンが照射された被写体を撮影して得られた画
像から、参照画像を生成する第２の生成ステップと、同
一の前記投光パターンに対応する基準画像上の画素と、
参照画像上の画素との対応を識別して、対応する画素間
の視差を算出する識別ステップと、視差に基づいて距離
画像を生成する距離画像生成ステップとを含むことを特
徴とする。
は、乱数を用いて生成された非周期的な投光パターンが
切り替えられて照射された被写体を撮影して得られた画
像から、基準画像を生成する第１の生成ステップと、基
準画像を得るために撮影した位置とは異なる位置から、
投光パターンが照射された被写体を撮影して得られた画
像から、参照画像を生成する第２の生成ステップと、同
一の前記投光パターンに対応する基準画像上の画素と、
参照画像上の画素との対応を識別して、対応する画素間
の視差を算出する識別ステップと、視差に基づいて距離
画像を生成する距離画像生成ステップとを含むことを特
徴とする。
【００１３】請求項１に記載の３次元形状計測装置、請
求項４に記載の３次元形状計測方法、および請求項５に
記載の記録媒体のプログラムにおいては、乱数を用いて
非周期的な投光パターンが生成され、被写体に複数の投
光パターンが切り替えられて照射され、投光パターンが
照射された被写体が撮影されて基準画像が生成され、基
準画像が撮影された位置とは異なる位置から、投光パタ
ーンが照射された被写体が撮影されて参照画像が生成さ
れる。さらに、同一の投光パターンに対応する基準画像
上の画素と、参照画像上の画素との対応が識別されて対
応する画素間の視差が算出され、視差に基づいて距離画
像が生成される。
求項４に記載の３次元形状計測方法、および請求項５に
記載の記録媒体のプログラムにおいては、乱数を用いて
非周期的な投光パターンが生成され、被写体に複数の投
光パターンが切り替えられて照射され、投光パターンが
照射された被写体が撮影されて基準画像が生成され、基
準画像が撮影された位置とは異なる位置から、投光パタ
ーンが照射された被写体が撮影されて参照画像が生成さ
れる。さらに、同一の投光パターンに対応する基準画像
上の画素と、参照画像上の画素との対応が識別されて対
応する画素間の視差が算出され、視差に基づいて距離画
像が生成される。
【００１４】
【発明の実施の形態】本発明を適用した距離画像生成シ
ステムの構成例について、図２を参照して説明する。こ
の距離画像生成システムは、例えば、人の顔のような立
体的な被写体１の表面と基準カメラ４との距離を示す距
離画像、すなわち、基準カメラ４から見た被写体１の表
面形状を示す画像を生成するものである。
ステムの構成例について、図２を参照して説明する。こ
の距離画像生成システムは、例えば、人の顔のような立
体的な被写体１の表面と基準カメラ４との距離を示す距
離画像、すなわち、基準カメラ４から見た被写体１の表
面形状を示す画像を生成するものである。
【００１５】距離画像生成システムの投光パターン生成
回路２は、一様乱数や正規乱数を発生して、図３(A)，
(B)に示すような、ドットのサイズ、線の長さや太さ、
位置、濃度等が非周期的である投光パターンを生成して
投光器３に供給する。投光器３は、図４に示すように、
光を投光パターンスライド２２に照射する光源２１、投
光パターン生成回路２から供給された投光パターンのス
ライド２２、および、投光パターンを被写体１に拡大し
て照射するレンズ２３から構成される。
回路２は、一様乱数や正規乱数を発生して、図３(A)，
(B)に示すような、ドットのサイズ、線の長さや太さ、
位置、濃度等が非周期的である投光パターンを生成して
投光器３に供給する。投光器３は、図４に示すように、
光を投光パターンスライド２２に照射する光源２１、投
光パターン生成回路２から供給された投光パターンのス
ライド２２、および、投光パターンを被写体１に拡大し
て照射するレンズ２３から構成される。
【００１６】基準カメラ４は、投光パターンが照射され
た被写体１を撮影し、得られた基準画像を画像間対応付
け回路６（または画像間対応付け回路７）に出力する。
参照カメラ５は、基準カメラ４に対して所定の距離と角
度が設けられており、基準カメラ４と同時に被写体１を
撮影し、得られた参照画像を画像間対応付け回路６（ま
たは画像間対応付け回路７）に出力する。
た被写体１を撮影し、得られた基準画像を画像間対応付
け回路６（または画像間対応付け回路７）に出力する。
参照カメラ５は、基準カメラ４に対して所定の距離と角
度が設けられており、基準カメラ４と同時に被写体１を
撮影し、得られた参照画像を画像間対応付け回路６（ま
たは画像間対応付け回路７）に出力する。
【００１７】画像間対応付け回路６，７は、基準カメラ
４からの基準画像と、参照カメラ５からの参照画像との
対応点付けを行い、基準画像の各画素に対する参照画像
の画素の視差を距離画像生成回路８に出力する。なお、
画像間対応付け回路６および画像間対応付け回路７は、
被写体１に照射される投光パターンの種類の数（いまの
場合、２）に対応して設けられているが、画像間対応付
け回路６および画像間対応付け回路７が同時に動作する
必要はないので、画像間対応付け回路７を省略し、画像
間対応付け回路６が、異なる投光パターンに対応する基
準画像と参照画像の組を、順次、対応点付けするように
してもよい。
４からの基準画像と、参照カメラ５からの参照画像との
対応点付けを行い、基準画像の各画素に対する参照画像
の画素の視差を距離画像生成回路８に出力する。なお、
画像間対応付け回路６および画像間対応付け回路７は、
被写体１に照射される投光パターンの種類の数（いまの
場合、２）に対応して設けられているが、画像間対応付
け回路６および画像間対応付け回路７が同時に動作する
必要はないので、画像間対応付け回路７を省略し、画像
間対応付け回路６が、異なる投光パターンに対応する基
準画像と参照画像の組を、順次、対応点付けするように
してもよい。
【００１８】距離画像生成回路８は、画像間対応付け回
路６，７のうちの一方から入力される基準画像と参照画
像の各画素の視差を用いて、距離画像（被写体１の写像
の画素値が、被写体１の対応する点と基準カメラ４との
距離に対応している画像）を生成し、画像メモリ９に出
力する。距離画像生成回路８はまた、画像間対応付け回
路６，７のうちの他方から入力される基準画像と参照画
像の視差を用いて、ミスマッチング領域検出回路１０か
らのミスマッチング領域の位置情報に対応する部分的な
距離画像を生成し、画像メモリ９に出力する。画像メモ
リ９は、距離画像生成回路８から入力される距離画像、
および部分的な距離画像を記憶する。
路６，７のうちの一方から入力される基準画像と参照画
像の各画素の視差を用いて、距離画像（被写体１の写像
の画素値が、被写体１の対応する点と基準カメラ４との
距離に対応している画像）を生成し、画像メモリ９に出
力する。距離画像生成回路８はまた、画像間対応付け回
路６，７のうちの他方から入力される基準画像と参照画
像の視差を用いて、ミスマッチング領域検出回路１０か
らのミスマッチング領域の位置情報に対応する部分的な
距離画像を生成し、画像メモリ９に出力する。画像メモ
リ９は、距離画像生成回路８から入力される距離画像、
および部分的な距離画像を記憶する。
【００１９】ミスマッチング領域検出回路１０は、画像
メモリ９から距離画像を読み出してラベリング（詳細は
後述する）し、距離画像の中の被写体１に対応する部分
の上に存在するミスマッチング領域を検出して、その位
置情報を距離画像生成回路８、および置換回路１１に出
力する。置換回路１１は、画像メモリ９から距離画像、
および部分的な距離画像を読み出して、ミスマッチング
領域周辺の画素値（距離）の連続性を判定し、判定結果
に対応して、距離画像のミスマッチング領域に対応する
部分の画素値（距離）を、部分的な距離画像の画素値
（距離）で置換して、出力回路１２に供給する。出力回
路１２は、置換回路１１からの距離画像をシステム外部
に出力する。
メモリ９から距離画像を読み出してラベリング（詳細は
後述する）し、距離画像の中の被写体１に対応する部分
の上に存在するミスマッチング領域を検出して、その位
置情報を距離画像生成回路８、および置換回路１１に出
力する。置換回路１１は、画像メモリ９から距離画像、
および部分的な距離画像を読み出して、ミスマッチング
領域周辺の画素値（距離）の連続性を判定し、判定結果
に対応して、距離画像のミスマッチング領域に対応する
部分の画素値（距離）を、部分的な距離画像の画素値
（距離）で置換して、出力回路１２に供給する。出力回
路１２は、置換回路１１からの距離画像をシステム外部
に出力する。
【００２０】制御回路１３は、ドライブ１４を駆動させ
て、磁気ディスク１５、光ディスク１６、光磁気ディス
ク１７、または半導体メモリ１８に記憶されている制御
用プログラムを読み出し、読み出した制御用プログラム
に基づいて、距離画像生成システムの各回路を制御す
る。制御回路１３はまた、ユーザから入力されるコマン
ド等に対応して、距離画像生成システムの全体を制御す
る。
て、磁気ディスク１５、光ディスク１６、光磁気ディス
ク１７、または半導体メモリ１８に記憶されている制御
用プログラムを読み出し、読み出した制御用プログラム
に基づいて、距離画像生成システムの各回路を制御す
る。制御回路１３はまた、ユーザから入力されるコマン
ド等に対応して、距離画像生成システムの全体を制御す
る。
【００２１】次に、距離画像生成システムの動作につい
て、図５のフローチャートを参照して説明する。
て、図５のフローチャートを参照して説明する。
【００２２】ステップＳ１において、投光パターン生成
回路２は、一様乱数や正規乱数を用いて、例えば図３
(A)に示すような非周期的な投光パターン（投光パター
ンＰ１とする）を生成し、投光器３に供給する。投光器
３は、投光パターン生成回路２から供給された投光パタ
ーンＰ１を被写体１に拡大して照射する。ステップＳ２
において、基準カメラ４と参照カメラ５は、投光パター
ンＰ１が照射された被写体１（例えば、人の顔）を撮影
し、それぞれ、得られた基準画像Ｇ１１（図６(A)）、
または参照画像Ｇ１２（図６(B)）を画像間対応付け回
路６，７に出力する。
回路２は、一様乱数や正規乱数を用いて、例えば図３
(A)に示すような非周期的な投光パターン（投光パター
ンＰ１とする）を生成し、投光器３に供給する。投光器
３は、投光パターン生成回路２から供給された投光パタ
ーンＰ１を被写体１に拡大して照射する。ステップＳ２
において、基準カメラ４と参照カメラ５は、投光パター
ンＰ１が照射された被写体１（例えば、人の顔）を撮影
し、それぞれ、得られた基準画像Ｇ１１（図６(A)）、
または参照画像Ｇ１２（図６(B)）を画像間対応付け回
路６，７に出力する。
【００２３】ステップＳ３において、投光パターン生成
回路２は、一様乱数や正規乱数を用いて、例えば図３
(B)に示すような非周期的な投光パターン（投光パター
ンＰ２とする）を生成し、投光器３に供給する。投光器
３は、投光パターン生成回路２から供給された投光パタ
ーンＰ２を被写体１に拡大して照射する。ステップＳ４
において、基準カメラ４と参照カメラ５は、投光パター
ンＰ２が照射された被写体１（例えば、人の顔）を撮影
し、それぞれ、得られた基準画像Ｇ２１（図７(A)）、
または参照画像Ｇ２２（図７(B)）を画像間対応付け回
路６，７に出力する。
回路２は、一様乱数や正規乱数を用いて、例えば図３
(B)に示すような非周期的な投光パターン（投光パター
ンＰ２とする）を生成し、投光器３に供給する。投光器
３は、投光パターン生成回路２から供給された投光パタ
ーンＰ２を被写体１に拡大して照射する。ステップＳ４
において、基準カメラ４と参照カメラ５は、投光パター
ンＰ２が照射された被写体１（例えば、人の顔）を撮影
し、それぞれ、得られた基準画像Ｇ２１（図７(A)）、
または参照画像Ｇ２２（図７(B)）を画像間対応付け回
路６，７に出力する。
【００２４】なお、被写体１が、不動の物体ではない場
合、ステップＳ１乃至Ｓ４の処理を短時間で連続的に実
行する必要がある。
合、ステップＳ１乃至Ｓ４の処理を短時間で連続的に実
行する必要がある。
【００２５】ステップＳ５において、画像間対応付け回
路６は、基準カメラ４からの基準画像Ｇ１１と、参照カ
メラ５からの参照画像Ｇ１２との対応点付けを行い、基
準画像Ｇ１１の各画素に対する参照画像Ｇ１２の画素の
視差を距離画像生成回路８に出力する。
路６は、基準カメラ４からの基準画像Ｇ１１と、参照カ
メラ５からの参照画像Ｇ１２との対応点付けを行い、基
準画像Ｇ１１の各画素に対する参照画像Ｇ１２の画素の
視差を距離画像生成回路８に出力する。
【００２６】ステップＳ６において、距離画像生成回路
８は、画像間対応付け回路６から入力された基準画像Ｇ
１１と参照画像Ｇ１２の各画素の視差を用い、距離画像
Ｄ１を生成して画像メモリ９に記憶させる。
８は、画像間対応付け回路６から入力された基準画像Ｇ
１１と参照画像Ｇ１２の各画素の視差を用い、距離画像
Ｄ１を生成して画像メモリ９に記憶させる。
【００２７】ステップＳ７において、ミスマッチング領
域検出回路１０は、画像メモリ９から距離画像Ｄ１を読
み出してラベリング処理を実行し、距離画像Ｄ１の中の
被写体１に対応する部分の上に存在するミスマッチング
領域を検出して、その位置情報を距離画像生成回路８、
および置換回路１１に出力する。
域検出回路１０は、画像メモリ９から距離画像Ｄ１を読
み出してラベリング処理を実行し、距離画像Ｄ１の中の
被写体１に対応する部分の上に存在するミスマッチング
領域を検出して、その位置情報を距離画像生成回路８、
および置換回路１１に出力する。
【００２８】ここで、ラベリング処理の詳細について、
図８のフローチャートを参照して説明する。
図８のフローチャートを参照して説明する。
【００２９】ステップＳ２１において、ミスマッチング
領域検出回路１０は、画像メモリ９から距離画像Ｄ１を
読み出す。ステップＳ２２において、ミスマッチング領
域検出回路１０は、ラベリング未処理画素数ｋを０に初
期化する。また、ミスマッチング領域検出回路１０は、
内蔵する座標記憶用バッファｘ[k]，ｙ[k]を初期化す
る。ステップＳ２３において、ミスマッチング領域検出
回路１０は、距離画像Ｄ１の中の被写体１に対応する部
分の任意の位置の座標を、注目する画素の座標（ｉ，
ｊ）に代入する。
領域検出回路１０は、画像メモリ９から距離画像Ｄ１を
読み出す。ステップＳ２２において、ミスマッチング領
域検出回路１０は、ラベリング未処理画素数ｋを０に初
期化する。また、ミスマッチング領域検出回路１０は、
内蔵する座標記憶用バッファｘ[k]，ｙ[k]を初期化す
る。ステップＳ２３において、ミスマッチング領域検出
回路１０は、距離画像Ｄ１の中の被写体１に対応する部
分の任意の位置の座標を、注目する画素の座標（ｉ，
ｊ）に代入する。
【００３０】ステップＳ２４において、ミスマッチング
領域検出回路１０は、距離画像Ｄ１の注目画素の画素値
ｇ（ｉ，ｊ）を抽出する。ステップＳ２５において、ミ
スマッチング領域検出回路１０は、注目画素に隣接する
８つの画素のうちの１つの画素値ｇ（ｉ＋ｍ，ｊ＋ｎ）
（ｍ，ｎ＝−１，０，１）を抽出する。
領域検出回路１０は、距離画像Ｄ１の注目画素の画素値
ｇ（ｉ，ｊ）を抽出する。ステップＳ２５において、ミ
スマッチング領域検出回路１０は、注目画素に隣接する
８つの画素のうちの１つの画素値ｇ（ｉ＋ｍ，ｊ＋ｎ）
（ｍ，ｎ＝−１，０，１）を抽出する。
【００３１】ステップＳ２６において、ミスマッチング
領域検出回路１０は、注目する画素の画素値ｇ（ｉ，
ｊ）が、ラベル値Ｌ０である否かを判定し、さらに、注
目する画素の画素値ｇ（ｉ，ｊ）と、隣接する画素の画
素値ｇ（ｉ＋ｍ，ｊ＋ｎ）の差の絶対値が所定の閾値よ
りも小さいか否か、すなわち、注目する画素の画素値ｇ
（ｉ，ｊ）に対して、隣接する画素の画素値ｇ（ｉ＋
ｍ，ｊ＋ｎ）が連続しているか否かを判定する。注目す
る画素の画素値ｇ（ｉ，ｊ）がラベル値Ｌ０ではなく、
且つ、隣接する画素の画素値ｇ（ｉ＋ｍ，ｊ＋ｎ）が画
素値ｇ（ｉ，ｊ）に対して連続していると判定された場
合、ステップＳ２７に進む。
領域検出回路１０は、注目する画素の画素値ｇ（ｉ，
ｊ）が、ラベル値Ｌ０である否かを判定し、さらに、注
目する画素の画素値ｇ（ｉ，ｊ）と、隣接する画素の画
素値ｇ（ｉ＋ｍ，ｊ＋ｎ）の差の絶対値が所定の閾値よ
りも小さいか否か、すなわち、注目する画素の画素値ｇ
（ｉ，ｊ）に対して、隣接する画素の画素値ｇ（ｉ＋
ｍ，ｊ＋ｎ）が連続しているか否かを判定する。注目す
る画素の画素値ｇ（ｉ，ｊ）がラベル値Ｌ０ではなく、
且つ、隣接する画素の画素値ｇ（ｉ＋ｍ，ｊ＋ｎ）が画
素値ｇ（ｉ，ｊ）に対して連続していると判定された場
合、ステップＳ２７に進む。
【００３２】ステップＳ２７において、ミスマッチング
領域検出回路１０は、ラベリング未処理画素数ｋを１だ
けインクリメントし、隣接する画素のｘ座標ｉ＋ｍを座
標記憶用バッファｘ[k]に記録し、ｙ座標ｊ＋ｎを座標
記憶用バッファｙ[k]に記録する。
領域検出回路１０は、ラベリング未処理画素数ｋを１だ
けインクリメントし、隣接する画素のｘ座標ｉ＋ｍを座
標記憶用バッファｘ[k]に記録し、ｙ座標ｊ＋ｎを座標
記憶用バッファｙ[k]に記録する。
【００３３】ステップＳ２８において、ミスマッチング
領域検出回路１０は、注目する画素に隣接する８つ全て
の画素に対してステップＳ２５，Ｓ２６の処理を施した
か否かを判定し、隣接する画素に、ステップＳ２５，Ｓ
２６の処理を施していないものが存在すると判定した場
合、ステップＳ２５に戻り、それ以降の処理を繰り返
す。その後、ステップＳ２８で、隣接する８つ全ての画
素に、ステップＳ２５，Ｓ２６の処理を施したと判定さ
れた場合、ステップＳ２９に進む。
領域検出回路１０は、注目する画素に隣接する８つ全て
の画素に対してステップＳ２５，Ｓ２６の処理を施した
か否かを判定し、隣接する画素に、ステップＳ２５，Ｓ
２６の処理を施していないものが存在すると判定した場
合、ステップＳ２５に戻り、それ以降の処理を繰り返
す。その後、ステップＳ２８で、隣接する８つ全ての画
素に、ステップＳ２５，Ｓ２６の処理を施したと判定さ
れた場合、ステップＳ２９に進む。
【００３４】ステップＳ２９において、ミスマッチング
領域検出回路１０は、注目画素の画素値ｇ（ｉ，ｊ）を
ラベル値Ｌ０に置換する。ここで、ラベル値Ｌ０は、距
離画像Ｄ１の被写体１に対応する部分の画素に対して付
されるものである。
領域検出回路１０は、注目画素の画素値ｇ（ｉ，ｊ）を
ラベル値Ｌ０に置換する。ここで、ラベル値Ｌ０は、距
離画像Ｄ１の被写体１に対応する部分の画素に対して付
されるものである。
【００３５】ステップＳ３０において、ミスマッチング
領域検出回路１０は、ラベリング未処理画素数ｋが０で
あるか否かを判定し、ラベリング未処理画素数ｋが０で
はないと判定した場合、ステップＳ３１に進む。
領域検出回路１０は、ラベリング未処理画素数ｋが０で
あるか否かを判定し、ラベリング未処理画素数ｋが０で
はないと判定した場合、ステップＳ３１に進む。
【００３６】ステップＳ３１において、ミスマッチング
領域検出回路１０は、座標記憶用バッファｘ[k]に記録
されている値を注目画素のｘ座標とし、座標記憶用バッ
ファｙ[k]に記録されている値を注目画素のｙ座標とす
る。これにより、先程までの注目画素に隣接し、且つ、
画素値が連続する画素が新たな注目画素とされる。その
後、ミスマッチング領域検出回路１０は、ラベリング未
処理画素数ｋを１だけインクリメントして、ステップＳ
２４に戻る。
領域検出回路１０は、座標記憶用バッファｘ[k]に記録
されている値を注目画素のｘ座標とし、座標記憶用バッ
ファｙ[k]に記録されている値を注目画素のｙ座標とす
る。これにより、先程までの注目画素に隣接し、且つ、
画素値が連続する画素が新たな注目画素とされる。その
後、ミスマッチング領域検出回路１０は、ラベリング未
処理画素数ｋを１だけインクリメントして、ステップＳ
２４に戻る。
【００３７】その後、ステップＳ３０において、ラベリ
ング未処理画素数ｋが０であると判定されるまで、ステ
ップＳ２４以降の処理が繰り返され、ラベリング未処理
画素数ｋが０であると判定された場合、ステップＳ３２
に進む。ステップＳ３２において、ミスマッチング領域
検出回路１０は、距離画像Ｄ１の画素で画素値がラベル
値Ｌ０に置換されていない画素の画素値を、ミスマッチ
ング領域であることを示すラベル値Ｌ１に置換する。さ
らに、ミスマッチング領域検出回路１０は、ラベル値Ｌ
１を付した画素の位置情報を距離画像生成回路８、およ
び置換回路１１に出力する。
ング未処理画素数ｋが０であると判定されるまで、ステ
ップＳ２４以降の処理が繰り返され、ラベリング未処理
画素数ｋが０であると判定された場合、ステップＳ３２
に進む。ステップＳ３２において、ミスマッチング領域
検出回路１０は、距離画像Ｄ１の画素で画素値がラベル
値Ｌ０に置換されていない画素の画素値を、ミスマッチ
ング領域であることを示すラベル値Ｌ１に置換する。さ
らに、ミスマッチング領域検出回路１０は、ラベル値Ｌ
１を付した画素の位置情報を距離画像生成回路８、およ
び置換回路１１に出力する。
【００３８】以上のようなラベリング処理により、距離
画像Ｄ１の中の被写体１に対応する部分であって、且
つ、隣接する画素と画素値が連続している画素は、その
画素値がラベル値Ｌ０とされ、距離画像Ｄ１の中の被写
体１に対応しない部分、および、被写体１に対応する部
分であって、且つ、隣接する画素と画素値が連続しない
画素は、その画素値がラベル値Ｌ１とされる。
画像Ｄ１の中の被写体１に対応する部分であって、且
つ、隣接する画素と画素値が連続している画素は、その
画素値がラベル値Ｌ０とされ、距離画像Ｄ１の中の被写
体１に対応しない部分、および、被写体１に対応する部
分であって、且つ、隣接する画素と画素値が連続しない
画素は、その画素値がラベル値Ｌ１とされる。
【００３９】図５に戻る。ステップＳ８において、ミス
マッチング領域検出回路１０は、ラベル値Ｌ１が付され
た画素のうちで、ラベル値Ｌ０が付された画素に囲まれ
ているものが存在するか否かを判定することにより、距
離画像Ｄ１の中の被写体１に対応する部分にミスマッチ
ング領域が存在するか否かを判定し、距離画像Ｄ１の中
の被写体１に対応する部分にミスマッチング領域が存在
すると判定した場合、ステップＳ９に進む。
マッチング領域検出回路１０は、ラベル値Ｌ１が付され
た画素のうちで、ラベル値Ｌ０が付された画素に囲まれ
ているものが存在するか否かを判定することにより、距
離画像Ｄ１の中の被写体１に対応する部分にミスマッチ
ング領域が存在するか否かを判定し、距離画像Ｄ１の中
の被写体１に対応する部分にミスマッチング領域が存在
すると判定した場合、ステップＳ９に進む。
【００４０】ステップＳ９において、画像間対応付け回
路７は、基準カメラ４からの基準画像Ｇ２１と、参照カ
メラ５からの参照画像Ｇ２２との対応点付けを行い、基
準画像Ｇ２１の各画素に対する参照画像Ｇ２２の画素の
視差を距離画像生成回路８に出力する。
路７は、基準カメラ４からの基準画像Ｇ２１と、参照カ
メラ５からの参照画像Ｇ２２との対応点付けを行い、基
準画像Ｇ２１の各画素に対する参照画像Ｇ２２の画素の
視差を距離画像生成回路８に出力する。
【００４１】ステップＳ１０において、距離画像生成回
路８は、画像間対応付け回路７から入力された基準画像
Ｇ２１と参照画像Ｇ２２の各画素の視差を用い、距離画
像Ｄ１の中の被写体１に対応する部分のミスマッチング
領域に対応する部分的な距離画像Ｄ２を生成して画像メ
モリ９に記憶させる。
路８は、画像間対応付け回路７から入力された基準画像
Ｇ２１と参照画像Ｇ２２の各画素の視差を用い、距離画
像Ｄ１の中の被写体１に対応する部分のミスマッチング
領域に対応する部分的な距離画像Ｄ２を生成して画像メ
モリ９に記憶させる。
【００４２】ステップＳ１１において、置換回路１１
は、距離画像Ｄ１の中の被写体１に対応する部分に存在
する全てのミスマッチング領域のうちの１つを選択す
る。
は、距離画像Ｄ１の中の被写体１に対応する部分に存在
する全てのミスマッチング領域のうちの１つを選択す
る。
【００４３】ステップＳ１２において、置換回路１１
は、ステップＳ１１で選択したミスマッチング領域に対
応する部分的距離画像Ｄ２の画素値（距離）と、ステッ
プＳ１１で選択したミスマッチング領域の周囲に対する
距離画像Ｄ１の画素値の連続性を所定のアルゴリズム
（例えば、画素値の差の絶対値を所定の閾値と比較す
る）に基づいて判定し、連続していると判定した場合、
ステップＳ１３に進む。
は、ステップＳ１１で選択したミスマッチング領域に対
応する部分的距離画像Ｄ２の画素値（距離）と、ステッ
プＳ１１で選択したミスマッチング領域の周囲に対する
距離画像Ｄ１の画素値の連続性を所定のアルゴリズム
（例えば、画素値の差の絶対値を所定の閾値と比較す
る）に基づいて判定し、連続していると判定した場合、
ステップＳ１３に進む。
【００４４】ステップＳ１３において、置換回路１１
は、ステップＳ１１で選択したミスマッチング領域に対
応する距離画像Ｄ１の画素値を、部分的距離画像Ｄ２の
対応する部分の画素値を用いて置換する。
は、ステップＳ１１で選択したミスマッチング領域に対
応する距離画像Ｄ１の画素値を、部分的距離画像Ｄ２の
対応する部分の画素値を用いて置換する。
【００４５】ステップＳ１４において、置換回路１１
は、ステップＳ１１で、距離画像Ｄ１の中の被写体１に
対応する部分に存在する全てのミスマッチング領域を選
択したか否かを判定し、全てのミスマッチング領域を選
択したと判定するまで、ステップＳ１１に戻り、それ以
降の処理を繰り返す。
は、ステップＳ１１で、距離画像Ｄ１の中の被写体１に
対応する部分に存在する全てのミスマッチング領域を選
択したか否かを判定し、全てのミスマッチング領域を選
択したと判定するまで、ステップＳ１１に戻り、それ以
降の処理を繰り返す。
【００４６】その後、ステップＳ１４において、全ての
ミスマッチング領域を選択したと判定した場合、ステッ
プＳ１５に進む。ステップＳ１５において、置換回路１
１は、部分的距離画像Ｄ２の画素値を用いて部分的に置
換した距離画像Ｄ１を出力回路１２に供給する。出力回
路１２は、置換回路１１からの距離画像Ｄ１をシステム
外部に出力する。
ミスマッチング領域を選択したと判定した場合、ステッ
プＳ１５に進む。ステップＳ１５において、置換回路１
１は、部分的距離画像Ｄ２の画素値を用いて部分的に置
換した距離画像Ｄ１を出力回路１２に供給する。出力回
路１２は、置換回路１１からの距離画像Ｄ１をシステム
外部に出力する。
【００４７】なお、ステップＳ１２において、ステップ
Ｓ１１で選択したミスマッチング領域に対応する部分的
距離画像Ｄ２の画素値と、ステップＳ１１で選択したミ
スマッチング領域の周囲に対する距離画像Ｄ１の画素値
が連続していないと判定された場合、そのミスマッチン
グ領域は、被写体１上に実在する極端な凹凸部分である
か、または、オクリュージョン領域であると考えられる
ので、ステップＳ１３をスキップする。
Ｓ１１で選択したミスマッチング領域に対応する部分的
距離画像Ｄ２の画素値と、ステップＳ１１で選択したミ
スマッチング領域の周囲に対する距離画像Ｄ１の画素値
が連続していないと判定された場合、そのミスマッチン
グ領域は、被写体１上に実在する極端な凹凸部分である
か、または、オクリュージョン領域であると考えられる
ので、ステップＳ１３をスキップする。
【００４８】このような距離画像生成処理により、距離
画像Ｄ１に、例えば図９(A)に示すように、被写体１に
対応する部分上にミスマッチング領域があった場合、そ
の部分を、距離画像Ｄ２の画素値を用いて置換すること
により補正するので、結果的に、図９(B)に示すような
ミスマッチング領域のない距離画像を得ることが可能と
なる。
画像Ｄ１に、例えば図９(A)に示すように、被写体１に
対応する部分上にミスマッチング領域があった場合、そ
の部分を、距離画像Ｄ２の画素値を用いて置換すること
により補正するので、結果的に、図９(B)に示すような
ミスマッチング領域のない距離画像を得ることが可能と
なる。
【００４９】なお、距離画像Ｄ１のミスマッチング領域
が、被写体１上に実在する極端な凹凸部分ではなく、且
つ、オクリュージョン領域でもないことが明らかである
場合において、ミスマッチング領域に対応する距離画像
Ｄ２の画素値が置換に用いる値として適切ではないとき
には、さらに異なる投光パターンを被写体に照射して部
分的な距離画像Ｄ３を生成し、その画素値を用いて距離
画像Ｄ１を補正するようにしてもよい。
が、被写体１上に実在する極端な凹凸部分ではなく、且
つ、オクリュージョン領域でもないことが明らかである
場合において、ミスマッチング領域に対応する距離画像
Ｄ２の画素値が置換に用いる値として適切ではないとき
には、さらに異なる投光パターンを被写体に照射して部
分的な距離画像Ｄ３を生成し、その画素値を用いて距離
画像Ｄ１を補正するようにしてもよい。
【００５０】以上のように、本発明を適用した距離画像
生成システムによれば、複数の投光パターンを照射し、
複数の基準画像と参照画像の組から、複数の距離画像を
生成し、ある距離画像のミスマッチング領域を、他の距
離画像の画素値で補間するようにしたので、白い壁や人
の顔等のように、特徴が少ない立体的な被写体の表面形
状を示す距離画像を生成することが可能となる。
生成システムによれば、複数の投光パターンを照射し、
複数の基準画像と参照画像の組から、複数の距離画像を
生成し、ある距離画像のミスマッチング領域を、他の距
離画像の画素値で補間するようにしたので、白い壁や人
の顔等のように、特徴が少ない立体的な被写体の表面形
状を示す距離画像を生成することが可能となる。
【００５１】ところで、上述した一連の処理は、ハード
ウェアにより実行させることもできるが、ソフトウェア
により実行させることもできる。一連の処理をソフトウ
ェアにより実行させる場合には、そのソフトウェアを構
成するプログラムが、専用のハードウェアに組み込まれ
ているコンピュータ、または、各種のプログラムをイン
ストールすることで、各種の機能を実行することが可能
な、例えば汎用のパーソナルコンピュータなどに、記録
媒体からインストールされる。
ウェアにより実行させることもできるが、ソフトウェア
により実行させることもできる。一連の処理をソフトウ
ェアにより実行させる場合には、そのソフトウェアを構
成するプログラムが、専用のハードウェアに組み込まれ
ているコンピュータ、または、各種のプログラムをイン
ストールすることで、各種の機能を実行することが可能
な、例えば汎用のパーソナルコンピュータなどに、記録
媒体からインストールされる。
【００５２】この記録媒体は、図２に示すように、コン
ピュータとは別に、ユーザにプログラムを提供するため
に配布される、プログラムが記録されている磁気ディス
ク１５（フロッピディスクを含む）、光ディスク１６
（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digit
al Versatile Disc)を含む）、光磁気ディスク１７（Ｍ
Ｄ(Mini Disc)を含む）、もしくは半導体メモリ１８な
どよりなるパッケージメディアにより構成されるだけで
なく、コンピュータに予め組み込まれた状態でユーザに
提供される、プログラムが記録されているROMや記憶部
に含まれるハードディスクなどで構成される。
ピュータとは別に、ユーザにプログラムを提供するため
に配布される、プログラムが記録されている磁気ディス
ク１５（フロッピディスクを含む）、光ディスク１６
（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digit
al Versatile Disc)を含む）、光磁気ディスク１７（Ｍ
Ｄ(Mini Disc)を含む）、もしくは半導体メモリ１８な
どよりなるパッケージメディアにより構成されるだけで
なく、コンピュータに予め組み込まれた状態でユーザに
提供される、プログラムが記録されているROMや記憶部
に含まれるハードディスクなどで構成される。
【００５３】なお、本明細書において、記録媒体に記録
されるプログラムを記述するステップは、記載された順
序に従って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。
されるプログラムを記述するステップは、記載された順
序に従って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。
【００５４】また、本明細書において、システムとは、
複数の装置により構成される装置全体を表すものであ
る。
複数の装置により構成される装置全体を表すものであ
る。
【００５５】
【発明の効果】以上のように、請求項１に記載の３次元
形状計測装置、請求項４に記載の３次元形状計測方法、
および請求項５に記載の記録媒体のプログラムによれ
ば、乱数を用いて非周期的な投光パターンを生成して被
写体に照射し、同一の投光パターンに対応する基準画像
上の画素と、参照画像上の画素との対応を識別して、対
応する画素間の視差を算出するようにしたので、対応点
付けを確実に実行し、ミスマッチング領域の発生を減少
させることが可能となる。
形状計測装置、請求項４に記載の３次元形状計測方法、
および請求項５に記載の記録媒体のプログラムによれ
ば、乱数を用いて非周期的な投光パターンを生成して被
写体に照射し、同一の投光パターンに対応する基準画像
上の画素と、参照画像上の画素との対応を識別して、対
応する画素間の視差を算出するようにしたので、対応点
付けを確実に実行し、ミスマッチング領域の発生を減少
させることが可能となる。
【図面の簡単な説明】
【図１】エピポーララインを説明するための図である。
【図２】本発明を適用した距離画像生成システムの構成
例を示すブロック図である。
例を示すブロック図である。
【図３】投光パターンの一例を示す図である。
【図４】投光器３の構成例を示すブロック図である。
【図５】距離画像生成処理を説明するフローチャートで
ある。
ある。
【図６】基準画像と参照画像の一例を示す図である。
【図７】基準画像と参照画像の一例を示す図である。
【図８】図５のステップＳ５のラベリング処理の詳細を
説明するフローチャートである。
説明するフローチャートである。
【図９】補正された距離画像の例を示す図である。
１ 被写体， ２ 投光パターン生成回路， ３ 投光
器， ４ 基準カメラ， ５ 参照カメラ， ６，７
画像間対応付け回路， ８ 距離画像生成回路， ９
画像メモリ， １０ ミスマッチ領域検出回路， １１
置換回路，１２ 出力回路， １３ 制御回路， １
４ ドライブ， １５ 磁気ディスク， １６ 光ディ
スク， １７ 光磁気ディスク， １８ 半導体メモリ
器， ４ 基準カメラ， ５ 参照カメラ， ６，７
画像間対応付け回路， ８ 距離画像生成回路， ９
画像メモリ， １０ ミスマッチ領域検出回路， １１
置換回路，１２ 出力回路， １３ 制御回路， １
４ ドライブ， １５ 磁気ディスク， １６ 光ディ
スク， １７ 光磁気ディスク， １８ 半導体メモリ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 松下 伸行 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 横山 敦 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 2F065 AA06 AA53 BB05 DD00 FF05 HH06 HH07 JJ03 JJ05 JJ26 MM26 PP23 QQ04 QQ24 QQ39 UU01 UU05 2F112 AC04 AC06 EA07 FA03 FA07 FA19 5B057 DA07 DB03 DC02 DC09
Claims (5)
- 【請求項１】 被写体を異なる視点から撮影した画像を
用いて、前記被写体の３次元形状を計測する３次元形状
計測装置において、 乱数を用いて非周期的な投光パターンを生成する投光パ
ターン生成手段と、 前記被写体に複数の前記投光パターンを切り替えて照射
する照射手段と、 前記照射手段により前記投光パターンが照射された前記
被写体を撮影して、基準画像を生成する第１の撮影手段
と、 前記第１の撮影手段の位置とは異なる位置から、前記照
射手段により前記投光パターンが照射された前記被写体
を撮影して、参照画像を生成する第２の撮影手段と、 同一の前記投光パターンに対応する前記基準画像上の画
素と、前記参照画像上の画素との対応を識別して、対応
する画素間の視差を算出する識別手段と、 前記視差に基づいて距離画像を生成する距離画像生成手
段とを含むことを特徴とする３次元形状計測装置。 - 【請求項２】 所定の投光パターンに対応する前記距離
画像の中で、画素値の信頼性が低い領域を検出する検出
手段と、 前記検出手段が検出した前記領域の画素値を、他の投光
パターンに対応する距離画像の対応する画素の画素値を
用いて置換する置換手段とをさらに含むことを特徴とす
る請求項１に記載の３次元形状計測装置。 - 【請求項３】 前記検出手段は、前記距離画像の画素値
の連続性に基づいて、前記画素値の信頼性が低い領域を
検出することを特徴とする請求項２に記載の３次元形状
計測装置。 - 【請求項４】 被写体を異なる視点から撮影した画像を
用いて、前記被写体の３次元形状を計測する３次元形状
計測装置の３次元形状計測方法において、 乱数を用いて非周期的な投光パターンを生成する投光パ
ターン生成ステップと、 前記被写体に複数の前記投光パターンを切り替えて照射
する照射ステップと、 前記照射ステップの処理により前記投光パターンが照射
された前記被写体を撮影して、基準画像を生成する第１
の撮影ステップと、 前記第１の撮影ステップの処理で撮影した位置とは異な
る位置から、前記照射ステップの処理により前記投光パ
ターンが照射された前記被写体を撮影して、参照画像を
生成する第２の撮影ステップと、 同一の前記投光パターンに対応する前記基準画像上の画
素と、前記参照画像上の画素との対応を識別して、対応
する画素間の視差を算出する識別ステップと、 前記視差に基づいて距離画像を生成する距離画像生成ス
テップとを含むことを特徴とする３次元形状計測方法。 - 【請求項５】 被写体を異なる視点から撮影した画像を
用いて、前記被写体の３次元形状を計測する３次元形状
計測用のプログラムであって、 乱数を用いて生成された非周期的な投光パターンが切り
替えられて照射された前記被写体を撮影して得られた画
像から、基準画像を生成する第１の生成ステップと、 前記基準画像を得るために撮影した位置とは異なる位置
から、前記投光パターンが照射された前記被写体を撮影
して得られた画像から、参照画像を生成する第２の生成
ステップと、 同一の前記投光パターンに対応する前記基準画像上の画
素と、前記参照画像上の画素との対応を識別して、対応
する画素間の視差を算出する識別ステップと、 前記視差に基づいて距離画像を生成する距離画像生成ス
テップとを含むことを特徴とするコンピュータが読み取
り可能なプログラムが記録されている記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26983899A JP2001091232A (ja) | 1999-09-24 | 1999-09-24 | ３次元形状計測装置および方法、並びに記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26983899A JP2001091232A (ja) | 1999-09-24 | 1999-09-24 | ３次元形状計測装置および方法、並びに記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001091232A true JP2001091232A (ja) | 2001-04-06 |
Family
ID=17477899
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26983899A Withdrawn JP2001091232A (ja) | 1999-09-24 | 1999-09-24 | ３次元形状計測装置および方法、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001091232A (ja) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002323301A (ja) * | 2001-04-26 | 2002-11-08 | Fujitsu Ltd | 物体位置計測装置 |
| JP2006528770A (ja) * | 2003-07-24 | 2006-12-21 | コグニテンス リミテッド | 対象物の３次元表面再構築の方法およびシステム |
| WO2007091604A1 (ja) * | 2006-02-09 | 2007-08-16 | Honda Motor Co., Ltd. | 三次元物体を検出する装置 |
| KR100764419B1 (ko) * | 2004-02-09 | 2007-10-05 | 강철권 | 불규칙패턴을 이용한 3차원형상 측정장치 및 측정방법 |
| WO2007138904A1 (ja) * | 2006-05-30 | 2007-12-06 | Panasonic Corporation | パターン投影光源および複眼測距装置 |
| KR100933466B1 (ko) | 2009-08-28 | 2009-12-23 | 주식회사 래보 | 입체 영상 처리 장치 및 방법 |
| JP2012047469A (ja) * | 2010-08-24 | 2012-03-08 | Nissan Motor Co Ltd | 距離計測装置及び距離計測方法 |
| JP2013224895A (ja) * | 2012-04-23 | 2013-10-31 | Sharp Corp | ３次元計測装置 |
| EP2957397A2 (en) | 2014-06-20 | 2015-12-23 | Ricoh Company, Ltd. | Measurement system, object pickup system, measurement method, and carrier means |
| EP3062516A1 (en) | 2015-02-25 | 2016-08-31 | Ricoh Company, Ltd. | Parallax image generation system, picking system, parallax image generation method, and computer-readable recording medium |
| JP2017020971A (ja) * | 2015-07-14 | 2017-01-26 | 株式会社リコー | パターン画像投射装置、視差情報生成装置、パターン画像生成プログラム |
| JP2017511468A (ja) * | 2014-04-24 | 2017-04-20 | インテル・コーポレーション | 構造化ステレオ |
| JP2019086294A (ja) * | 2017-11-01 | 2019-06-06 | オムロン株式会社 | ３次元測定装置、３次元測定方法及びプログラム |
| JP2021021730A (ja) * | 2019-07-25 | 2021-02-18 | Ｊｆｅスチール株式会社 | 計測方法及び計測装置 |
| WO2022181129A1 (ja) * | 2021-02-24 | 2022-09-01 | ソニーグループ株式会社 | 光出力制御装置、および光出力制御方法、並びにプログラム |
| WO2023189125A1 (ja) * | 2022-03-31 | 2023-10-05 | ｉ－ＰＲＯ株式会社 | カメラ装置、画像生成方法及びシステム |
-
1999
- 1999-09-24 JP JP26983899A patent/JP2001091232A/ja not_active Withdrawn
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4588914B2 (ja) * | 2001-04-26 | 2010-12-01 | 富士通株式会社 | 物体位置計測装置 |
| JP2002323301A (ja) * | 2001-04-26 | 2002-11-08 | Fujitsu Ltd | 物体位置計測装置 |
| JP2006528770A (ja) * | 2003-07-24 | 2006-12-21 | コグニテンス リミテッド | 対象物の３次元表面再構築の方法およびシステム |
| KR100764419B1 (ko) * | 2004-02-09 | 2007-10-05 | 강철권 | 불규칙패턴을 이용한 3차원형상 측정장치 및 측정방법 |
| WO2007091604A1 (ja) * | 2006-02-09 | 2007-08-16 | Honda Motor Co., Ltd. | 三次元物体を検出する装置 |
| JP2007213353A (ja) * | 2006-02-09 | 2007-08-23 | Honda Motor Co Ltd | 三次元物体を検出する装置 |
| US8396283B2 (en) | 2006-02-09 | 2013-03-12 | Honda Motor Co., Ltd. | Three-dimensional object detecting device |
| US8434874B2 (en) | 2006-05-30 | 2013-05-07 | Panasonic Corporation | Pattern projection light source and compound-eye distance measurement apparatus |
| WO2007138904A1 (ja) * | 2006-05-30 | 2007-12-06 | Panasonic Corporation | パターン投影光源および複眼測距装置 |
| KR100933466B1 (ko) | 2009-08-28 | 2009-12-23 | 주식회사 래보 | 입체 영상 처리 장치 및 방법 |
| JP2012047469A (ja) * | 2010-08-24 | 2012-03-08 | Nissan Motor Co Ltd | 距離計測装置及び距離計測方法 |
| JP2013224895A (ja) * | 2012-04-23 | 2013-10-31 | Sharp Corp | ３次元計測装置 |
| JP2017511468A (ja) * | 2014-04-24 | 2017-04-20 | インテル・コーポレーション | 構造化ステレオ |
| EP2957397A2 (en) | 2014-06-20 | 2015-12-23 | Ricoh Company, Ltd. | Measurement system, object pickup system, measurement method, and carrier means |
| EP3062516A1 (en) | 2015-02-25 | 2016-08-31 | Ricoh Company, Ltd. | Parallax image generation system, picking system, parallax image generation method, and computer-readable recording medium |
| JP2017020971A (ja) * | 2015-07-14 | 2017-01-26 | 株式会社リコー | パターン画像投射装置、視差情報生成装置、パターン画像生成プログラム |
| JP2019086294A (ja) * | 2017-11-01 | 2019-06-06 | オムロン株式会社 | ３次元測定装置、３次元測定方法及びプログラム |
| JP2021021730A (ja) * | 2019-07-25 | 2021-02-18 | Ｊｆｅスチール株式会社 | 計測方法及び計測装置 |
| JP7226407B2 (ja) | 2019-07-25 | 2023-02-21 | Ｊｆｅスチール株式会社 | 計測方法及び計測装置 |
| WO2022181129A1 (ja) * | 2021-02-24 | 2022-09-01 | ソニーグループ株式会社 | 光出力制御装置、および光出力制御方法、並びにプログラム |
| WO2023189125A1 (ja) * | 2022-03-31 | 2023-10-05 | ｉ－ＰＲＯ株式会社 | カメラ装置、画像生成方法及びシステム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10462362B2 (en) | Feature based high resolution motion estimation from low resolution images captured using an array source | |
| US6658136B1 (en) | System and process for locating and tracking a person or object in a scene using a series of range images | |
| Jin et al. | Real-time feature tracking and outlier rejection with changes in illumination | |
| US9098908B2 (en) | Generating a depth map | |
| JP2001091232A (ja) | ３次元形状計測装置および方法、並びに記録媒体 | |
| CN108470356B (zh) | 一种基于双目视觉的目标对象快速测距方法 | |
| Shen et al. | Video completion for perspective camera under constrained motion | |
| Venkatesh et al. | Efficient object-based video inpainting | |
| US6342917B1 (en) | Image recording apparatus and method using light fields to track position and orientation | |
| US6181345B1 (en) | Method and apparatus for replacing target zones in a video sequence | |
| JP2001264033A (ja) | 三次元形状計測装置とその方法、三次元モデリング装置とその方法、およびプログラム提供媒体 | |
| US20020006282A1 (en) | Image pickup apparatus and method, and recording medium | |
| JP2001159506A (ja) | ３次元形状計測装置および方法、並びに記録媒体 | |
| JP4110501B2 (ja) | ランダムパターン生成装置とその方法、距離画像生成装置とその方法、およびプログラム提供媒体 | |
| US20190347530A1 (en) | Method and System for Identifying Targets in Scenes Shot by a Camera | |
| JP2006033329A (ja) | 光学マーカシステム | |
| Griesser et al. | Automatic interactive calibration of multi-projector-camera systems | |
| JP2001266128A (ja) | 奥行き情報取得方法，装置および奥行き情報取得プログラムを記録した記録媒体 | |
| WO2019201355A1 (en) | Light field system occlusion removal | |
| Mori et al. | Good keyframes to inpaint | |
| JP4337203B2 (ja) | 距離画像生成装置および距離画像生成方法、並びにプログラム提供媒体 | |
| JP3253328B2 (ja) | 距離動画像入力処理方法 | |
| AT&T | ||
| JP2001183133A (ja) | ３次元形状計測装置および方法、並びに記録媒体 | |
| US20240265579A1 (en) | Electronic device, parameter calibration method, and non-transitory computer readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20061205 |