JP2001298655A - 撮像装置および方法、並びに記録媒体 - Google Patents

撮像装置および方法、並びに記録媒体

Info

Publication number
JP2001298655A
JP2001298655A JP2000112069A JP2000112069A JP2001298655A JP 2001298655 A JP2001298655 A JP 2001298655A JP 2000112069 A JP2000112069 A JP 2000112069A JP 2000112069 A JP2000112069 A JP 2000112069A JP 2001298655 A JP2001298655 A JP 2001298655A
Authority
JP
Japan
Prior art keywords
light
image
image signal
generating
projected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2000112069A
Other languages
English (en)
Inventor
Teruyuki Ushiro
輝行 後
Ikoku Go
偉国 呉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2000112069A priority Critical patent/JP2001298655A/ja
Priority to EP01109160A priority patent/EP1146313A3/en
Priority to US09/835,223 priority patent/US20020006282A1/en
Publication of JP2001298655A publication Critical patent/JP2001298655A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Abstract

(57)【要約】 【課題】 計測対象物を2回撮像する時間を短縮する。 【解決手段】 パターン光を照射した状態のステレオ画
像、パターン光を照射していない状態のテクスチャ画像
の順で撮像するようにすれば、考えられる最長の撮像時
間は、ステレオ画像を撮像するときのシャッタ時間Ts
とテクスチャ画像の1フレーム分の電荷を蓄積する時間
Tfを加算した時間(Ts+Tf)となる。これは、逆
の順序で撮像した場合の撮影時間(Tf+Tf)よりも
短くなる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、撮像装置および方
法、並びに記録媒体に関し、例えば、物体の3次元形状
を計測する際に用いられる画像を撮像する場合に用いて
好適な撮像装置および方法、並びに記録媒体に関する。
【0002】
【従来の技術】物体の3次元形状を求める手法を大別す
ると、能動的手法(アクティブ手法)と受動的手法(パ
ッシブ手法)がある。能動的手法としては、レーザ光等
を計測対象物に投光して、その反射光が戻ってくるまで
の時間を計測することで距離を測定する方法、計測対象
物にスリット状のパターン光を照射して軽食対象物に投
影されたパターンの形状を測定することで計測対象物の
3次元形状を計測する方法(光切断法)、周期の異なる
白黒の縞パターンを照射して撮像した複数の画像を用い
て3次元形状を求める方法、カラーの縞パターンを照射
して撮像した画像を用いて3次元形状を求める方法(空
間コード化法)等がある。
【0003】受動的手法としては、一般に「ステレオ
法」または「ステレオ3次元画像計測」等と呼ばれてい
る方法が代表的である。
【0004】ステレオ法は、異なる位置に設けられた少
なくとも2台以上のカメラ(基準カメラと、その他の参
照カメラ)で計測対象物を撮像して、得られた複数の画
像(基準カメラによる基準画像と、参照カメラによる参
照画像)の間で対応する画素を特定し(一般に、「対応
点付け」と呼ばれる)、対応付けられた基準画像上の画
素と、参照画像上の画素との位置の差(視差)に三角測
量の原理を適用することにより、基準カメラ(または、
参照カメラ)から当該画素に対応する計測対象物上の点
までの距離を計測するものである。従って、計測対象物
の表面全体に対応する全ての画素までの距離を測定すれ
ば、計測対象物の形状や奥行きを測定することが可能と
なる。
【0005】なお、「ステレオ法」において最も重要な
「対応点付け」は、基準画像上のある点Paに写像され
る実空間上の点は複数(図1に示す実空間上の点P1
2,P3等)存在するので、実空間上の点P1,P2,P
3等の写像である直線(エピポーララインと呼ばれてい
る)上に、点Paに対応する参照画像上の点Pa’が存
在することに基づいて行われる。
【0006】ところで、「対応点付け」の具体的な方法
としては、例えば、「C.Lawrence Zitnick and Jon A.W
ebb:Mult-baseline Stereo Using Surface Extraction,
Technical Report,CMU-CS-96-196,(1996)」に記述され
ているピクセルベース(Pixel-based)マッチング法、例
えば、「奥富、金出:複数の基線長を利用したステレオ
マッチング、電子情報通信学会論文誌D−II、Vol.75-D
-II,No.8,pp.1317-1327,(1992)」に記述されているエリ
アベース(Area-based)マッチング法、例えば、「H.H.Ba
ker and T.O.Binford:Depth from edge intensity base
d stereo,In Proc.IJCAI'81,(1981)」に記述されている
フィーチャベース(Feature-based)マッチング法等が提
案されている。
【0007】しかしながら、上述したいずれの方法にお
いても、計測対象物が、例えば、単色の壁や人の顔のよ
うに、濃淡、形状、色等の局所的な特徴が少ないもので
ある場合、対応点付けが困難となり、ミスマッチング領
域が生じてしまう問題があった。
【0008】そのような問題を解決するために、例え
ば、「S.B.Kang,J.A.Webb,C.L.Zitnick and T.Kanade:A
Multibaseline Stereo System with Active Illuminat
ion and Real-time Image Acquisition,Proc IEEE Int
Conf.Comput.Vis.,Vol.5,pp88-93,(1995)」に記述され
た方法では、局所的な特徴を有しない計測対象物に周期
的な模様の光を照射して撮像し、得られた画像の対応点
付けを行うことが提案されたが、周期的な模様を被写体
に照射する方法は、模様が周期的であるが故に、対応点
付けを誤ることがあり、必ずしも効果的ではなかった。
【0009】そこで本出願人は、例えば特願平11−3
44392号(以下、先願と記述する)として、非周期
的なパターンを計測対象物に照射して撮像し、得られた
画像の対応点付けを行うことによって距離画像を生成
し、さらに、非周期的なパターンを照射していない計測
対象物を撮像し、得られたテクスチャ画像を距離画像に
張り付ける方法を既に提案済みである。先願に記載の発
明によって、計測対象物が、濃淡、形状、色等の局所的
な特徴が少ないものである場合でも、対応点付けを行う
ことができるようになった。
【0010】
【発明が解決しようとする課題】しかしながら、先願に
おいては、非周期的なパターンを照射した状態と、照射
していない状態の計測対象物を2回撮像しなければなら
ないが、撮像を2回実行する間に、手ブレや計測対象物
の移動が発生する可能性があるので、2回の撮像に要す
る時間はできる限り短いことが望ましい。
【0011】本発明はこのような状況に鑑みてなされた
ものであり、非周期的なパターンを照射した状態と、照
射していない状態の計測対象物を2回撮像することに要
する時間をできる限り短くすることを目的とする。
【0012】
【課題を解決するための手段】本発明の撮像装置は、計
測対象物に対して非周期的なパターン光を投光する投光
手段と、計測対象物の光画像を用いて複数のフレームの
画像信号を生成する生成手段と、生成手段に対する計測
対象物の光画像の入力を制限する制限手段と、投光手
段、制限手段、および生成手段を制御して、非周期的な
パターン光が投光された計測対象物のパターン画像と、
非周期的なパターン光が投光されていない計測対象物の
テクスチャ画像信号を、連続するフレームの画像信号と
して生成させるタイミング制御手段とを含み、前記タイ
ミング制御手段は、制限手段が生成手段に対する計測対
象物の光画像の入力を制限しない開放時間において、開
放時間よりも短い時間だけ、投光手段に非周期的なパタ
ーン光を計測対象物に対して投光させることを特徴とす
る。
【0013】前記タイミング制御手段は、投光手段、制
限手段、および生成手段を制御して、非周期的なパター
ン光が投光された計測対象物のパターン画像信号を生成
させた後、連続するフレームの画像信号として、非周期
的なパターン光が投光されていない計測対象物のテクス
チャ画像を生成させるようにすることができる。
【0014】前記制限手段は、メカニカルシャッタとす
ることができる。
【0015】前記制限手段がメカニカルシャッタである
場合、前記タイミング制御手段は、投光手段、制限手
段、および生成手段を制御して、非周期的なパターン光
が投光されていない計測対象物のテクスチャ画像信号を
生成させた後、連続するフレームの画像信号として、非
周期的なパターン光が投光された計測対象物のパターン
画像を生成させるようにすることができる。
【0016】本発明の撮像装置は、計測対象物に対して
閃光を照射する照射手段をさらに含むことができる。
【0017】前記照射手段をさらに含み、且つ、前記制
限手段がメカニカルシャッタである場合、前記タイミン
グ制御手段は、投光手段、制限手段、生成手段、および
照射手段を制御して、非周期的なパターン光が投光され
た計測対象物のパターン画像信号を生成させた後、連続
するフレームの画像信号として、非周期的なパターン光
が投光されておらず、且つ、閃光が照射されている計測
対象物のテクスチャ画像信号を生成させるようにするこ
とができる。
【0018】前記照射手段をさらに含み、且つ、前記制
限手段がメカニカルシャッタである場合、前記タイミン
グ制御手段は、投光手段、制限手段、生成手段、および
照射手段を制御して、非周期的な前記パターン光が投光
されておらず、且つ、閃光が照射されている計測対象物
のテクスチャ画像信号を生成させた後、連続するフレー
ムの画像信号として、非周期的なパターン光が投光され
た計測対象物のパターン画像信号を生成させるようにす
ることができる。
【0019】前記生成手段は、異なる複数の視点から同
時に入力された非周期的なパターン光が投光された計測
対象物の複数の光画像を用いて、複数のパターン画像信
号を生成するようにすることができる。
【0020】本発明の撮像方法は、計測対象物に対して
非周期的なパターン光を投光する投光ステップと、計測
対象物の光画像を用いて複数のフレームの画像信号を生
成する生成ステップと、生成ステップの処理に対する計
測対象物の光画像の入力を制限する制限ステップと、投
光ステップの処理、制限ステップの処理、および生成ス
テップの処理を制御して、非周期的なパターン光が投光
された計測対象物のパターン画像信号と、非周期的なパ
ターン光が投光されていない計測対象物のテクスチャ画
像信号を、連続するフレームの画像信号として生成させ
るタイミング制御ステップとを含み、前記タイミング制
御ステップの処理は、制限ステップの処理で生成ステッ
プの処理に対する計測対象物の光画像の入力を制限しな
い開放時間において、開放時間よりも短い時間だけ、投
光ステップの処理に非周期的なパターン光を計測対象物
に対して投光させることを特徴とする。
【0021】本発明の記録媒体のプログラムは、投光手
段、制限手段、および生成手段を制御して、非周期的な
パターン光が投光された計測対象物のパターン画像信号
と、非周期的なパターン光が投光されていない計測対象
物のテクスチャ画像信号を、連続するフレームの画像信
号として生成させる制御ステップを含み、前記制御ステ
ップの処理は、制限手段が生成手段に対して計測対象物
の光画像の入力を制限しない開放時間において、開放時
間よりも短い時間だけ、投光手段に非周期的なパターン
光を計測対象物に対して投光させることを特徴とする。
【0022】本発明の撮像装置および方法、並びに記録
媒体のプログラムにおいては、計測対象物に対して非周
期的なパターン光が投光され、計測対象物の光画像を用
いて複数のフレームの画像信号が生成され、生成処理に
対する計測対象物の光画像の入力が制限される。また、
投光処理、制限処理、および生成処理が制御されて、非
周期的なパターン光が投光された計測対象物のパターン
画像信号と、非周期的なパターン光が投光されていない
計測対象物のテクスチャ画像信号が、連続するフレーム
の画像信号として生成される。さらに、生成処理に対す
る計測対象物の光画像の入力が制限されない開放時間に
おいて、開放時間よりも短い時間だけ、非周期的なパタ
ーン光が計測対象物に対して投光されるように制御され
る。
【0023】
【発明の実施の形態】本発明を適用した3次元カメラ
(3Dカメラ)について、図2乃至図4を参照して説明
する。この3次元カメラは、ユーザのシャッタ操作に対
応して、パターン光を照射した計測対象物の2枚のパタ
ーン画像(ステレオ画像)と、パターン光を照射しない
計測対象物のテクスチャ画像とを連続して撮像し、撮像
したステレオ画像と、ステレオ画像の撮像と連続して撮
像したテクスチャ画像をパーソナルコンピュータ等に供
給するものである。
【0024】図2は3次元カメラの外観正面図を示し、
図3は3次元カメラの外観背面図を示している。
【0025】3次元カメラの正面(計測対象物に向ける
面)には、レンズ群31およびCCD(Charge Coupled Dev
ice)32等(詳細は図6および図7を参照して後述す
る)から構成され、計測対象物の光画像を電気的な画像
信号に変換する撮像部1,2が所定の距離だけ離されて
設けられる。
【0026】3次元カメラの上部には、ユーザが撮像タ
イミングを指令するとき操作する画像取り込みボタン
3、および、計測対象物に向けてパターン光または閃光
(パターン光ではない)を照射するパターン投光部兼ス
トロボライト4が設けられる。
【0027】3次元カメラの側面には、インタフェース
5が設けられる。インタフェース5は、例えば、RS-232
C、IEEE1394、USB、Ethernet(登録商標)等の
有線インタフェース、または赤外線信号、電波信号等を
送受する無線インタフェースであり、ステレオ画像およ
びテクスチャ画像のデータをパーソナルコンピュータに
送信する。
【0028】3次元カメラの背面(ユーザに向ける面)
には、撮像した画像等を表示するディスプレイ6、およ
び、各種の設定等を入力するとき操作する操作ボタン7
が設けられる。
【0029】図4は、3次元カメラの電気的な構成例を
示している。操作部11は、画像取り込みボタン3およ
び操作ボタン7に対するユーザの操作を検知して、その
情報をタイミング制御部12または表示制御部17に出
力する。タイミング制御部12は、記録媒体18に記録
されている制御用プログラムおよび操作部11から入力
されるユーザの操作情報に対応して、ストロボライト1
3およびパターン投光部14の発光タイミングや、撮像
部1,2のシャッタタイミング(詳細は後述する)を制
御する。タイミング制御部12はまた、操作部11から
入力されるユーザの操作の情報に対応して、画像取り込
み部15の画像取り込みタイミングを制御する。
【0030】ストロボライト13は、計測対象物のテク
スチャ画像を撮像するとき、必要に応じて使用されるも
のであり、タイミング制御部12からの制御に基づき、
計測対象物を照射する閃光を照射する。
【0031】パターン投光部14は、計測対象物の距離
画像を得るために用いられるステレオ画像を撮像すると
きに使用されるものであり、タイミング制御部12から
の制御に基づき、計測対象物にパターン光を投光する。
【0032】図5は、パターン投光部14の構成例を示
している。パターン投光部14は、キセノン管やLEDな
どからなる光源21、コンデンサレンズ22、一様乱数
や正規乱数を用いて生成された非周期的なパターンが印
刷されているスライド23、および、投影レンズ24か
ら構成される。
【0033】パターン投光部14において、光源21で
発生した光は、コンデンサレンズ22によってスライド
23を介して投影レンズ24に集光され、投影レンズ2
4によって計測対象物の表面に投光される。なお、光源
21の発光は、撮像部1,2のシャッタ時間(後述)に
おいて、シャッタ時間よりも短い時間に行われる。
【0034】画像取り込み部15は、タイミング制御部
12からの制御に基づき、撮像部1,2から入力される
画像信号(ステレオ画像信号およびテクスチャ画像信
号)を内蔵するフレームメモリ等に取り込み、その後、
データ蓄積部16に出力する。データ蓄積部16は、画
像取り込み部15から入力される画像信号を記憶する。
表示制御部17は、操作部11から入力されるユーザの
操作情報に対応して、データ蓄積部16から画像信号を
読み出し、ディスプレイ6に表示させる。
【0035】記録媒体18は、プログラムが記録されて
いる磁気ディスク(フロッピディスクを含む)、光ディ
スク(CD-ROM(Compact Disc-Read Only Memory)、DVD(D
igital Versatile Disc)を含む)、光磁気ディスク(M
D(Mini Disc)を含む)、もしくは半導体メモリなどの
脱着可能なメディア、あるいは、3次元カメラに組み込
まれたROMやハードディスクなどよりなる。
【0036】次に、図6は撮像部1の構成例を示してい
る。撮像部1のレンズ群31は、計測対象物の光画像を
CCD32に集光する。CCD32は、通常時、受光した光量
に応じて光電変換した電荷を所定の時間Tfだけ蓄積
し、蓄積した電荷を1フレーム分の画像信号として画像
取り込み部15に出力する。また、CCD32は、内蔵す
る電子シャッタ機能により、1フレーム分の電荷を蓄積
する蓄積時間Tfのうち、後半のシャッタ時間Tsだけ
電荷を蓄積し、蓄積時間Tfの前半の時間(Tf−T
s)に蓄積した電荷を捨てるようにすることができる。
【0037】なお、撮像部1の構成を、図7に示すよう
に、レンズ群31とCCD32の間に、メカニカルシャッ
タ41を設けるようにしてもよい。メカニカルシャッタ
41は、タイミング制御部12からの制御に基づくタイ
ミングで、レンズ群31からの光を透過させるようにす
ることができる。メカニカルシャッタ41を設けること
により、撮像部1において、任意のタイミングでCCD3
2を露光させることが可能となる。
【0038】なお、撮像部2の構成例は、撮像部1と同
様であるのでその説明は省略する。
【0039】次に、ユーザの画像取り込みボタン3を押
下する操作に対応して、3次元カメラが、パターン光が
照射された計測対象物と、パターン光が照射されていな
い計測対象物とを連続して撮像するタイミングについて
説明する。
【0040】パターン光を照射した状態の計測対象物を
撮像してステレオ画像を得る場合、タイミング制御部1
2は、撮像部1,2を同期して動作させ、CCD32の電
子シャッタ機能またはメカニカルシャッタ41を利用し
て、シャッタ時間Tsの間だけCCD32で電荷の蓄積が
行われるようにし、且つ、シャッタ時間Tsの間のシャ
ッタ時間Tsよりも短い時間だけパターン光を照射する
ようにする。このとき、シャッタ時間Tsを短くすれ
ば、環境光をほとんど遮断することが可能となる。ま
た、シャッタ時間Tsの間のシャッタ時間Tsよりも短
い時間だけパターン光を照射することにより、CCD32
はパターン光だけによる安定した光量を得ることが可能
となる。これにより、計測対象物の周囲の環境光の強弱
に影響されることなく、常に安定して、パターン光が照
射された状態の計測対象物のステレオ画像を撮像するこ
とができるようになる。
【0041】パターン光を照射していない状態の計測対
象物を撮像してテクスチャ画像を得る場合、撮像部1,
2のうちの一方を動作させ、環境光の強弱等に対応し
て、シャッタ(CCD32の電子シャッタ機能またはメカ
ニカルシャッタ41)の使用の有無、および、シャッタ
を使用するときのシャッタ時間は適宜変更する必要があ
る。
【0042】ここで、撮像部1,2がメカニカルシャッ
タ41を備えていない場合(図6の場合)を考える。こ
の場合において、パターン光を照射していない状態のテ
クスチャ画像、パターン光を照射した状態のステレオ画
像の順序で撮像すると、考えられる最長の撮像時間(手
ブレを発生させないように3次元カメラを保持しなけれ
ばならない時間)は、図8に示すように、1フレーム分
の電荷を蓄積する時間Tfの2倍の時間(2Tf)を要
することになる。
【0043】これに対して、図9に示すように、パター
ン光を照射した状態のステレオ画像、パターン光を照射
していない状態のテクスチャ画像の順で撮像するように
すれば、考えられる最長の撮像時間は、ステレオ画像を
撮像するときのシャッタ時間Tsとテクスチャ画像の1
フレーム分の電荷を蓄積する時間Tfを加算した時間
(Ts+Tf)となる。シャッタ時間Tsは、1フレー
ム分の電荷を蓄積する時間Tfよりも短いので、図9に
示した順序で撮像すれば、図8に示した順序で撮像する
よりも、撮像時間が短くなり、手ブレの発生が抑止され
る。
【0044】次に、撮像部1,2がメカニカルシャッタ
41を備えている場合(図7の場合)を考える。この場
合、上述したように、撮像部1,2においては任意のタ
イミング(例えば、1フレーム分の電荷を蓄積する蓄積
時間Tfのうちの前半の時間Ts)でCCD32に電荷を
蓄積させることが可能である。したがって、図10に示
すように、パターン光を照射していない状態のテクスチ
ャ画像、パターン光を照射した状態のステレオ画像の順
序で撮像しても、考えられる最長の撮像時間は、テクス
チャ画像の1フレーム分の電荷を蓄積する時間Tfとス
テレオ画像を撮像するときのシャッタ時間Tsを加算し
た時間(Ts+Tf)となる。したがって、図10に示
した順序で撮像した場合も、図8に示した順序で撮像す
るより撮像時間が短くなり、手ブレの発生が抑止され
る。
【0045】さらに、図11に示すように、パターン光
を照射していない状態のテクスチャ画像を撮影するとき
にもメカニカルシャッタ41を用いるようにすれば、撮
像時間は、パターン光を照射していない状態のテクスチ
ャ画像を撮影するときのシャッタ時間(CCD32のチャ
ージ時間)Tcと、パターン光を照射した状態のステレ
オ画像を撮像するときのシャッタ時間Tsを加算した時
間(Tc+Ts)となる。シャッタ時間Tcは、1フレ
ーム分の電荷を蓄積する時間Tfよりも短いので、図1
1に示した順序で撮像すれば、図10に示した順序で撮
像するよりも、さらに撮像時間が短くなり、手ブレの発
生が抑止される。なお、パターン光を照射していない状
態のテクスチャ画像を撮影するときにメカニカルシャッ
タ41を用いることにより、CCD32の電荷の蓄積時間
が不足するような場合には、シャッタ時間Tcの間にス
トロボライト31を発光させるようにすればよい。
【0046】なお、撮像部1,2がメカニカルシャッタ
41を備えている場合(図7の場合)において、パター
ン光を照射していない状態のテクスチャ画像を撮影する
ときにもメカニカルシャッタ41を用いるようにすれ
ば、図12に示すように、パターン光を照射していない
状態のテクスチャ画像、パターン光を照射した状態のス
テレオ画像の順序で撮像する用にしてもよい。この場
合、撮像時間は、図11に示した順序で撮像した場合と
同様に、(Tc+Ts)となり、図10に示した順序で
撮像するよりも、さらに撮像時間が短くなり、手ブレの
発生が抑止される。
【0047】以上のようなタイミングで撮像部1,2に
より撮像されたステレオ画像およびテクスチャ画像の画
像信号は、画像取り込み部15に内蔵されるフレームメ
モリ等に記録された後、データ蓄積部16に記憶され、
インタフェース5からパーソナルコンピュータなどに供
給される。
【0048】図示せぬパーソナルコンピュータ等におい
ては、ステレオ画像のうち、一方が基準画像とされ、他
方が参照画像とされて対応点付けが行われ、その結果に
基づいて距離画像が生成され、距離画像にテクスチャ画
像が貼付されることにより、計測対象物の3次元形状を
示す画像が生成される。
【0049】なお、本発明の3次元カメラによって生成
される画像は、ステレオ法だけでなく、物体の3次元形
状を求める他の方法に用いることが可能である。
【0050】
【発明の効果】以上のように、本発明の撮像装置および
方法、並びに記録媒体のプログラムによれば、パターン
光の投光タイミング、計測対象物の光画像の入力の制
限、および画像信号生成処理を制御して、非周期的なパ
ターン光が投光された計測対象物のパターン画像信号
と、非周期的なパターン光が投光されていない計測対象
物のテクスチャ画像信号を、連続するフレームの画像信
号として生成するようにしたので、計測対象物を2回撮
像することに要する時間を短縮することが可能となる。
【図面の簡単な説明】
【図1】エピポーララインを説明するための図である。
【図2】本発明を適用した3次元カメラの外観正面図を
示す図である。
【図3】3次元カメラの外観背面図を示す図である。
【図4】3次元カメラの電気的な構成例を示すブロック
図である。
【図5】パターン投光部14の構成例を示すブロック図
である。
【図6】撮像部1の構成例を示すブロック図である。
【図7】撮像部1の構成例を示すブロック図である。
【図8】ステレオ画像およびテクスチャ画像の撮像タイ
ミングを説明するための図である。
【図9】ステレオ画像およびテクスチャ画像の撮像タイ
ミングを説明するための図である。
【図10】ステレオ画像およびテクスチャ画像の撮像タ
イミングを説明するための図である。
【図11】ステレオ画像およびテクスチャ画像の撮像タ
イミングを説明するための図である。
【図12】ステレオ画像およびテクスチャ画像の撮像タ
イミングを説明するための図である。
【符号の説明】
1,2 撮像部, 3 画像取り込みボタン, 5 イ
ンタフェース, 6ディスプレイ, 11 操作部,
12 タイミング制御部, 13 ストロボライト,
14 パターン投光部, 16 データ蓄積部, 18
記録媒体,32 CCD, 41 メカニカルシャッタ
フロントページの続き Fターム(参考) 2F065 AA04 AA53 BB05 DD00 DD14 FF01 FF05 FF09 GG08 HH07 HH12 JJ03 JJ05 JJ26 KK01 LL30 NN12 PP23 QQ24 QQ25 QQ36 RR09 SS13 UU01 UU05 5B057 BA02 BA21 BA26 CA13 CB13 CE20 5C022 AA01 AB12 AB15 AB61 AB68 AC42 AC52 AC69 5C054 AA01 CA04 CC02 CH09 EA01 FD01 HA05

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 3次元形状計測に用いる画像信号を撮像
    する撮像装置において、 計測対象物に対して非周期的なパターン光を投光する投
    光手段と、 前記計測対象物の光画像を用いて複数のフレームの画像
    信号を生成する生成手段と、 前記生成手段に対する前記計測対象物の前記光画像の入
    力を制限する制限手段と、 前記投光手段、前記制限手段、および前記生成手段を制
    御して、非周期的な前記パターン光が投光された前記計
    測対象物のパターン画像信号と、非周期的な前記パター
    ン光が投光されていない前記計測対象物のテクスチャ画
    像信号を、連続する前記フレームの画像信号として生成
    させるタイミング制御手段とを含み、 前記タイミング制御手段は、前記制限手段が前記生成手
    段に対する前記計測対象物の前記光画像の入力を制限し
    ない開放時間において、前記開放時間よりも短い時間だ
    け、前記投光手段に非周期的な前記パターン光を前記計
    測対象物に対して投光させることを特徴とする撮像装
    置。
  2. 【請求項2】 前記タイミング制御手段は、前記投光手
    段、前記制限手段、および前記生成手段を制御して、非
    周期的な前記パターン光が投光された前記計測対象物の
    前記パターン画像信号を生成させた後、連続する前記フ
    レームの画像信号として、非周期的な前記パターン光が
    投光されていない前記計測対象物の前記テクスチャ画像
    信号を生成させることを特徴とする請求項1に記載の撮
    像装置。
  3. 【請求項3】 前記制限手段は、メカニカルシャッタで
    あることを特徴とする請求項1に記載の撮像装置。
  4. 【請求項4】 前記タイミング制御手段は、前記投光手
    段、前記制限手段、および前記生成手段を制御して、非
    周期的な前記パターン光が投光されていない前記計測対
    象物の前記テクスチャ画像信号を生成させた後、連続す
    る前記フレームの画像信号として、非周期的な前記パタ
    ーン光が投光された前記計測対象物の前記パターン画像
    信号を生成させることを特徴とする請求項3に記載の撮
    像装置。
  5. 【請求項5】 前記計測対象物に対して閃光を照射する
    照射手段をさらに含むことを特徴とする請求項3に記載
    の撮像装置。
  6. 【請求項6】 前記タイミング制御手段は、前記投光手
    段、前記制限手段、前記生成手段、および前記照射手段
    を制御して、非周期的な前記パターン光が投光された前
    記計測対象物の前記パターン画像信号を生成させた後、
    連続する前記フレームの画像信号として、非周期的な前
    記パターン光が投光されておらず、且つ、前記閃光が照
    射された前記計測対象物の前記テクスチャ画像信号を生
    成させることを特徴とする請求項5に記載の撮像装置。
  7. 【請求項7】 前記タイミング制御手段は、前記投光手
    段、前記制限手段、前記生成手段、および前記照射手段
    を制御して、非周期的な前記パターン光が投光されてお
    らず、且つ、前記閃光が照射された前記計測対象物の前
    記テクスチャ画像信号を生成させた後、連続する前記フ
    レームの画像信号として、非周期的な前記パターン光が
    投光された前記計測対象物の前記パターン画像信号を生
    成させることを特徴とする請求項5に記載の撮像装置。
  8. 【請求項8】 前記生成手段は、異なる複数の視点から
    同時に入力された非周期的な前記パターン光が投光され
    た前記計測対象物の複数の前記光画像を用いて、複数の
    前記パターン画像信号を生成することを特徴とする請求
    項1に記載の撮像装置。
  9. 【請求項9】 3次元形状計測に用いる画像を撮像する
    撮像装置の撮像方法において、 計測対象物に対して非周期的なパターン光を投光する投
    光ステップと、 前記計測対象物の光画像を用いて複数のフレームの画像
    信号を生成する生成ステップと、 前記生成ステップの処理に対する前記計測対象物の前記
    光画像の入力を制限する制限ステップと、 前記投光ステップの処理、前記制限ステップの処理、お
    よび前記生成ステップの処理を制御して、非周期的な前
    記パターン光が投光された前記計測対象物のパターン画
    像信号と、非周期的な前記パターン光が投光されていな
    い前記計測対象物のテクスチャ画像信号を、連続する前
    記フレームの画像信号として生成させるタイミング制御
    ステップとを含み、 前記タイミング制御ステップの処理は、前記制限ステッ
    プの処理で前記生成ステップの処理に対する前記計測対
    象物の前記光画像の入力を制限しない開放時間におい
    て、前記開放時間よりも短い時間だけ、前記投光ステッ
    プの処理に非周期的な前記パターン光を前記計測対象物
    に対して投光させることを特徴とする撮像方法。
  10. 【請求項10】 計測対象物に対して非周期的なパター
    ン光を投光する投光手段と、 前記計測対象物の光画像を用いて複数のフレームの画像
    信号を生成する生成手段と、 前記生成手段に対する前記計測対象物の前記光画像の入
    力を制限する制限手段とを備える撮像装置の制御用のプ
    ログラムであって、 前記投光手段、前記制限手段、および前記生成手段を制
    御して、非周期的な前記パターン光が投光された前記計
    測対象物のパターン画像信号と、非周期的な前記パター
    ン光が投光されていない前記計測対象物のテクスチャ画
    像信号を、連続する前記フレームの画像信号として生成
    させる制御ステップを含み、 前記制御ステップの処理は、前記制限手段が前記生成手
    段に対して前記計測対象物の前記光画像の入力を制限し
    ない開放時間において、前記開放時間よりも短い時間だ
    け、前記投光手段に非周期的な前記パターン光を前記計
    測対象物に対して投光させることを特徴とするコンピュ
    ータが読み取り可能なプログラムが記録されている記録
    媒体。
JP2000112069A 2000-04-13 2000-04-13 撮像装置および方法、並びに記録媒体 Withdrawn JP2001298655A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2000112069A JP2001298655A (ja) 2000-04-13 2000-04-13 撮像装置および方法、並びに記録媒体
EP01109160A EP1146313A3 (en) 2000-04-13 2001-04-12 Image pickup apparatus and method, and recording medium
US09/835,223 US20020006282A1 (en) 2000-04-13 2001-04-13 Image pickup apparatus and method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000112069A JP2001298655A (ja) 2000-04-13 2000-04-13 撮像装置および方法、並びに記録媒体

Publications (1)

Publication Number Publication Date
JP2001298655A true JP2001298655A (ja) 2001-10-26

Family

ID=18624301

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000112069A Withdrawn JP2001298655A (ja) 2000-04-13 2000-04-13 撮像装置および方法、並びに記録媒体

Country Status (3)

Country Link
US (1) US20020006282A1 (ja)
EP (1) EP1146313A3 (ja)
JP (1) JP2001298655A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007101276A (ja) * 2005-09-30 2007-04-19 Topcon Corp 三次元計測用投影装置及びシステム
US7272255B2 (en) 2002-01-15 2007-09-18 Nec Corporation Three-dimensional body photography apparatus, three-dimensional geometricmodel generation apparatus, three-dimensional geometric model generation method, and record medium in which three-dimensional geometric model generation program was stored
JP2010504522A (ja) * 2006-09-21 2010-02-12 トムソン ライセンシング 3次元モデル取得のための方法及びシステム
JP2011080843A (ja) * 2009-10-06 2011-04-21 Honda Motor Co Ltd 立体形状測定システム及び立体形状測定方法
JP2022138847A (ja) * 2021-03-11 2022-09-26 株式会社ギャラクシーズ 三次元グラフィックスデータ作成方法、プログラム及び三次元グラフィックスデータ作成システム

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10117050C1 (de) 2001-04-05 2002-09-12 Siemens Ag Verfahren zum Reinigen des Abgases einer Brennkraftmaschine
JP4081435B2 (ja) * 2001-06-18 2008-04-23 栄研化学株式会社 二本鎖核酸の効率的検出方法
JP3905736B2 (ja) * 2001-10-12 2007-04-18 ペンタックス株式会社 ステレオ画像撮像装置及び自動輻輳調整装置
KR100616127B1 (ko) * 2004-01-26 2006-08-25 주식회사 애트랩 광원 제어 방법 및 이를 이용하는 광 포인팅 장치
FR2889303B1 (fr) * 2005-07-26 2008-07-11 Airbus France Sas Procede de mesure d'une anomalie de forme sur un panneau d'une structure d'aeronef et systeme de mise en oeuvre
JP4701948B2 (ja) * 2005-09-21 2011-06-15 オムロン株式会社 パタン光照射装置、3次元形状計測装置、及びパタン光照射方法
US20070091174A1 (en) * 2005-09-30 2007-04-26 Topcon Corporation Projection device for three-dimensional measurement, and three-dimensional measurement system
DE102006048726A1 (de) * 2006-10-16 2008-04-17 Robert Bosch Gmbh Verfahren zum Vermessen der Rad- oder Achsgeometrie eines Fahrzeugs
JP4944635B2 (ja) * 2007-02-15 2012-06-06 本田技研工業株式会社 環境認識装置
JP5694332B2 (ja) * 2009-09-11 2015-04-01 コーニンクレッカ フィリップス エヌ ヴェ オブジェクトの外観を強調するための照明システム及び方法
US8665361B1 (en) * 2010-05-21 2014-03-04 Southern Methodist University Enhancing imaging performance through the use of active illumination
US8823822B1 (en) 2011-02-11 2014-09-02 Southern Methodist University Determining phase transfer function
US9131223B1 (en) 2011-07-07 2015-09-08 Southern Methodist University Enhancing imaging performance through the use of active illumination
KR101696630B1 (ko) * 2012-03-13 2017-01-16 돌비 레버러토리즈 라이쎈싱 코오포레이션 이미지 및 오브젝트 개선을 위한 라이팅 시스템 및 방법
EP3002550B1 (en) * 2014-10-03 2017-08-30 Ricoh Company, Ltd. Information processing system and information processing method for distance measurement
CN105496444B (zh) * 2015-12-01 2018-06-26 苏州佳世达光电有限公司 扫描控制方法及扫描装置
US20190187721A1 (en) * 2017-12-15 2019-06-20 Ankobot (Shanghai) Smart Technologies Co., Ltd. Control method and system, and mobile robot using the same

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9828118D0 (en) * 1998-12-21 1999-02-17 Greenagate Limited Trading As Flash unit for 3d photography
US6287647B1 (en) * 1999-12-03 2001-09-11 Minolta Co., Ltd. Liquid crystal composition and liquid crystal display using the same

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7272255B2 (en) 2002-01-15 2007-09-18 Nec Corporation Three-dimensional body photography apparatus, three-dimensional geometricmodel generation apparatus, three-dimensional geometric model generation method, and record medium in which three-dimensional geometric model generation program was stored
JP2007101276A (ja) * 2005-09-30 2007-04-19 Topcon Corp 三次元計測用投影装置及びシステム
JP2010504522A (ja) * 2006-09-21 2010-02-12 トムソン ライセンシング 3次元モデル取得のための方法及びシステム
US8284194B2 (en) 2006-09-21 2012-10-09 Thomson Licensing Method and system for three-dimensional model acquisition
JP2011080843A (ja) * 2009-10-06 2011-04-21 Honda Motor Co Ltd 立体形状測定システム及び立体形状測定方法
JP2022138847A (ja) * 2021-03-11 2022-09-26 株式会社ギャラクシーズ 三次元グラフィックスデータ作成方法、プログラム及び三次元グラフィックスデータ作成システム
JP7197211B2 (ja) 2021-03-11 2022-12-27 株式会社ギャラクシーズ 三次元グラフィックスデータ作成方法、プログラム及び三次元グラフィックスデータ作成システム

Also Published As

Publication number Publication date
EP1146313A2 (en) 2001-10-17
EP1146313A3 (en) 2003-01-29
US20020006282A1 (en) 2002-01-17

Similar Documents

Publication Publication Date Title
JP2001298655A (ja) 撮像装置および方法、並びに記録媒体
JP7139452B2 (ja) 画像処理方法、コンピュータ可読記憶媒体、および電子機器
US8786679B2 (en) Imaging device, 3D modeling data creation method, and computer-readable recording medium storing programs
CN104253947B (zh) 智能相机闪光灯
CN103371795B (zh) 图像处理装置和图像处理方法
EP1107021A2 (en) Method and apparatus for a color scannerless range imaging system
KR20110084029A (ko) 3차원 영상 획득 장치 및 방법
CN108351199B (zh) 信息处理装置、信息处理方法及存储介质
US6987531B2 (en) Imaging system, photographing device and three-dimensional measurement auxiliary unit used for the system
CN102959942B (zh) 立体观看用图像拍摄装置及其控制方法
TW201830957A (zh) 用於具有背景去除的主動深度成像儀的系統和方法
CN107370950B (zh) 对焦处理方法、装置和移动终端
CN110169042A (zh) 用于使相机闪光与传感器消隐同步的方法和设备
CN103543575A (zh) 图像获取装置与其光源辅助拍摄方法
JP2002051360A (ja) カラー非走査型距離撮像システム
JP3414624B2 (ja) 実時間レンジファインダ
JP3986748B2 (ja) 3次元画像検出装置
CN110062145B (zh) 深度相机、电子设备及图像获取方法
JP2001159506A (ja) 3次元形状計測装置および方法、並びに記録媒体
KR101407818B1 (ko) 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법
JP2004328657A (ja) 画像入力装置、画像入力方法およびプログラム
CN108603745B (zh) 信息处理装置、信息处理方法及程序
US7570281B1 (en) Image processing apparatus and method for detecting a main subject to be photographed
JPH0791927A (ja) 三次元計測装置
JP2013074466A (ja) 動画撮影システム、動画解析装置、動画解析方法およびコンピュータプログラム

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20070703