JP2011205198A - 立体撮影装置及び方法 - Google Patents

Abstract

【課題】立体撮影装置において、奥行き推定を誤らせる、被写体の鏡面反射成分を抽出する。
【解決手段】２台の光源と２台のカメラと、光源とカメラを制御する制御装置で構成される立体撮影装置において、２台の光源のうちの第1の光源を点灯して、２台のカメラで撮影した撮影データから第１の奥行きデータを求める手段、２台の光源のうちの第２の光源を点灯して、２台のカメラで撮影した撮影データから第２の奥行きデータを求める手段、第１の奥行きデータと第２の奥行きデータとの画素ごとの差を求める手段、及び、差が予め定めた閾値以上である画素により構成される領域を鏡面反射領域とする手段を設ける。
【選択図】図１

Description

本発明は、被写体の反射特性の取得が可能な立体撮影装置に関するものである。

非特許文献１に示されるように、２台のカメラで撮影した２枚の画像間の差異を比べることによる奥行き推定技術が存在する。非特許文献１の奥行き推定技術は、画像の横ライン毎に、画素の輝度を用いたコスト関数が最小になるような推定を行う。

また、非特許文献２に示されるように、位置が固定された照明とカメラを用いて、被写体を回転させながら画像群を撮影し、その画像群から鏡面反射成分を推定する技術がある。

Stan Birchfield and Carlo Tomasi, "Depth Discontinuities by Pixel-to-Pixel Stereo"，Proc. of ICCV, pp. 1073-1080, 1998. Yoichi Sato, Mark D. Wheeler, and Katsushi Ikeuchi, "Object shape and reflectance modeling from observation", Proc. SIGGRAPH 97, pp. 379-387, 1997.

解決しようとする問題点は、２台、または、それ以上の数のカメラを用いた立体撮影装置において、それぞれのカメラにより撮影した画像群から奥行き推定を行う方法に関して、被写体の鏡面反射成分の影響により、奥行き推定を誤ることである。ここで、拡散反射は、被写体に光が当たった時に、全方向に同じ強度の光を反射する特性のことを言い、その反射強度を拡散反射成分と呼ぶ。通常、紙や木などは拡散反射成分が多い。一方で鏡面反射とは、光の入射角に対応する反射角方向に強く光を反射する特性のことを言い、その反射強度を鏡面反射成分とよぶ。通常、金属や鏡なでは鏡面反射成分が多い。たとえば、非特許文献１に記載の方法では、被写体は拡散成分のみを持つと仮定しているため、鏡面反射成分を持つ場合には、正しい奥行きを得ることができない。表面が光を反射する被写体に照明を当ててカメラで撮影すると、光を反射している部分は明るく撮影され、被写体が拡散成分のみを持つと仮定して奥行き推定すると、光を反射している明るい部分は、たとえカメラから、その周辺と同じ距離にあるとしても、その周辺より手前にあると推定される。

そこで、奥行き推定を誤らせる、被写体の鏡面反射成分を抽出することが要求される。

また、非特許文献２に記載の方法では、被写体を回転させて撮影した多数の画像群を必要とするため、大規模なシーンの撮影などには適用できない。

本発明は、２台の光源と２台のカメラと、光源とカメラを制御する制御装置で構成される立体撮影装置において、２台の光源のうちの第１の光源を点灯して、２台のカメラで撮影した撮影データから第１の奥行きデータを求め、２台の光源のうちの第２の光源を点灯して、２台のカメラで撮影した撮影データから第２の奥行きデータを求め、第１の奥行きデータと第２の奥行きデータとの画素ごとの差を求め、及び、差が予め定めた閾値以上である画素により構成される領域を鏡面反射領域とする。

本発明の他の態様は、２台、または、それ以上の数のカメラから構成される立体撮影装置において、被写体を照らす照明が二つ以上存在し、その照明の位置が既知で、かつ、照明間の距離が十分に小さいか、その照明の位置が既知で、かつ、その照明の位置が変更可能な一つ以上の照明を用いる。

本発明の立体撮影装置によれば、被写体の反射成分の推定が可能になる。

立体撮影装置の構成図である。 照明部の実施例図である。 撮影部の実施例図である。 被写体と立体撮影装置の位置関係図である。 立体撮影処理のフローチャートである。 鏡面での光源の反射を表す図である。

図１は、立体撮影装置１の構成図である。立体撮影装置１は、図１に示すように、照明部１１、撮影部１２、制御部１３を設けた構成である。本立体撮影装置１は、撮影部１２により被写体２を撮影し、立体画像を取得する。制御部１３は、照明部１１及び撮影部１２に接続し、ＣＰＵ、メモリなどにより構成され、これらの構成によりコンピュータ制御により、光源１１１、１１２の所定位置への位置制御、光源１１１、１１２の点滅の制御、カメラ１２１、１２２の所定位置への制御、カメラ１２１、１２２による撮影の制御を実現する。

照明部１１は、可動部を持つ一つの光源１１１か、二つ以上の距離が近い（又は、稼動部を持ち、近い距離に制御される）光源１１１、１１２から構成される。照明部１１は、図２に示すような構成である。図２には、光源１１１を代表させて示している。可動部を持つ照明部１１は、光源１１１と、光源可動ステージ１１３と、可動レール１１４から構成される。光源１１１は、制御部１３が、可動レール１１４に沿って光源可動ステージ１１３を移動させることにより、所定の位置に制御される。

撮影部１２の詳細について、図３を用いて説明する。撮影部１２は、可動部を持つ１台のカメラ１２１か、２台以上のステレオ撮影が可能なカメラ１２１、１２２から構成される。可動部を持つ撮影部１２は、図３に示すような構成で実現できる。図３には、カメラ１２１を代表させて示している。可動部を持つ撮影部１２は、カメラ１２１と、カメラ可動ステージ１２３と可動レール１２４から構成される。カメラ１２１は、制御部１３が、可動レール１２４に沿って光源可動ステージ１２３を移動させることにより、所定の位置に制御される。

図５を用いて、立体撮影の処理方法を説明する。立体撮影とは、視差を持つ２枚以上の実写画像を取得することである。一般に、カメラ光軸が、ほぼ同一方向である２台のカメラで被写体を撮影し、カメラが持つメモリ又はカメラに接続するＰＣ（パーソナルコンピュータ）に撮影した画像データを記憶する。被写体が動く場合は同時撮影機構が必要であり、動く被写体の動画像を取得するためには同期撮影機構が必要である。同期撮影機構はカメラのシャッタースピードの半分程度の精度で同期されていても良い。被写体が動かない場合か、動いていても、その動きが無視できる場合には、撮影は手動で行ってもよい。

照明制御部１１４による制御により一方の光源１１１を点灯した状態の照明で（Ｓ１００１）、被写体２をカメラ１２１、カメラ１２２で撮影する（Ｓ１００２）。この時得られた撮影データをそれぞれ、撮影データ１−１、撮影データ１−２とする。この時の、撮影データは、二次元の画素配列である。

続いて、照明制御部１１４による制御により他方の光源１１２を点灯した状態の照明で（Ｓ１００３）、被写体２をカメラ１２１、カメラ１２２で撮影する（Ｓ１００４）。この時得られた撮影データをそれぞれ、撮影データ２−１、撮影データ２−２とする。

撮影データ１−１と撮影データ１−２を用いて、被写体２の奥行きを推定し、奥行き推定データ１を求め、撮影データ２−１と撮影データ２−２を用いて、被写体２の奥行きを推定し、奥行き推定データ２を求める（Ｓ１００５）。被写体の奥行き推定は、例えば非特許文献１に記載の手法を用いる。

撮影データ１−１の対応画素と同色の画素である対応点を、撮影データ１−２の同じ縦軸をもつ画素群から求め、その差分、つまり横座標の対応点間の距離を視差１とする。視差と奥行きは反比例の関係であるので、視差を求めることは奥行きを求めることと同じ意味になる。

通常の奥行き推定は、前述のように、被写体表面の反射特性を拡散成分が主であると仮定する。この仮定が成立する被写体の表面上の一点は、他の被写体に隠されない限り、どの方向からもほぼ同じ色である可能性が高い。しかし、鏡などのように、被写体の反射特性がほぼ鏡面反射特性である場合は、拡散成分が主であるとの仮定が成立しない。このような場合を図６を用いて説明する。光源１１１が鏡に映り込む場合、光源１１１は光源１１６の位置にあるようにカメラ１２１に写る。このようにして撮影した画像データを基に奥行き推定すると、カメラ１２１から鏡面までの距離と、鏡面から光源１１１までの距離との和の奥行きであると推定される。

被写体の反射特性がほぼ拡散反射特性である場合は、被写体で光源１１１からの光が反射するときに、被写体表面に面した全方向にほぼ等しく同じ強度で光が反射する。このときカメラ１２１には、光源１１１の位置によらず、ほぼ同じ輝度で写ることになる。言い換えれば、拡散反射成分のみを持つ場合には、光源の位置を推定することができない。

鏡面反射成分を持つ被写体に対する二つの光源１１１、１１２は、異なる位置の光源であると推定されるので、この差の出る領域を鏡面反射成分領域であると推定できる。一方、拡散成分のみを持つ場合には、微小な光源の位置移動により、被写体の輝度や色はほとんど変化しないので、この差の出ない領域を拡散反射成分領域であると推定することになる。

奥行きデータ１は、撮影データ１−１の対応画素における被写体２の奥行き値で構成される二次元配列データである。同様に、奥行きデータ２は、撮影データ２-１の対応画素における被写体２の奥行き値で構成される二次元配列データである。奥行きデータ１や奥行きデータ２は、通常、撮影データと同じ要素数、つまり、各次元が同じ要素数を持つ、2次元配列であるが、撮影データより少ない要素数であってもよい。2次元配列と同等な一次元配列であっても良い。この時、被写体の材質や反射特性が拡散成分のみで構成される場合、奥行きデータ1と奥行きデータ2は、同一となる。

奥行きデータ1と奥行きデータ2の、各画素成分に対して、差の絶対値を計算し、奥行き差分データ１に格納する（Ｓ１００６）。奥行き差分データ１の各要素は、撮影データの各要素に対応するため、差の絶対値が予め定めた閾値以上である領域を求める（Ｓ１００７）。この領域を、被写体の鏡面反射領域とする。この領域を初期値として、グラフカット手法（Y. Boykov, O. Veksler and R. Zabih (2001), "Fast approximate energy minimisation via graph cuts", IEEE Transactions on Pattern Analysis and Machine Intelligence, 29, 1222-1239.参照）を用いて、鏡面反射領域を求めても良い。誤差に対する輝度の変化量は２０％を許容量とする。

被写体２と立体撮影装置１との関係を図４を用いて説明する。図４は、被写体２と立体撮影装置１のカメラ１２１と光源１１１がなす平面を示す。被写体２の法線方向がわかっている場合は、それを用いてもよい。被写体２の法線と、被写体２の中心と光源１１１とのなす角度θ１と、被写体２の法線と、被写体２の中心とカメラ１２１のなす角度θ２に対して、下記の関係式
｜θ１｜≒｜θ２｜
が成り立つと推定がやりやすい。絶対値の２０％程度の誤差範囲内で同一であれば良い。

光源の間隔は、カメラの間隔より短い方が良い。一般に、成人した人間の眼間距離は、６０ｍｍから６５ｍｍ程度と言われているため、光源の間隔は、６０ｍｍより短い方が良い。

被写体２の中心は、撮影時のカメラ中央を被写体２の中心とするなどが考えられる。

被写体２は、一つで構成される必要はなく、複数であって良い。複数の場合でも、カメラ中央を被写体２の中心とするか、撮影時に最も大きく写る被写体の中心を、被写体２の中心とするなどが考えられる。

照明部１１は、位置が既知であればよい。もし、既知でない場合でも、形状や反射特性が既知の被写体を撮影し、その撮影データから、光源位置の推定が出来れば良い。

光源は、手動で点滅状態が制御出来ればよく、制御装置に接続されている必要はない。照明部１１を構成する光源１１１、１１２は、被写体２を撮影するのに必要な光量が得られる照明であれば、蛍光灯、白熱電球、ＬＥＤ光源、または、プロジェクタでも良い。光源としてプロジェクタを用いる場合は、それ自身が照明部の役割を満たしても良い。照明部１１を構成する光源１１１、１１２の形状は、処理時に、点光源と近似可能な球状のものが好ましいが、一般的な蛍光灯のような棒状のものでも構わない。光源の形状が既知である場合は、推定時にその形状を用いても良い。

１：立体撮影装置、２：被写体、１１：照明部、１２：撮影部、１３：制御部、１１１、１１２：光源、１１３：可動ステージ、１１４：可動レール、１２１、１２２：カメラ、１２３：可動ステージ、１２４：可動レール。

Claims (4)

1. ２台の光源と２台のカメラと、前記光源と前記カメラを制御する制御装置で構成される立体撮影装置において、
   ２台の前記光源のうちの第1の光源を点灯して、２台の前記カメラで撮影した撮影データから第１の奥行きデータを求める手段、
   ２台の前記光源のうちの第２の光源を点灯して、２台の前記カメラで撮影した撮影データから第２の奥行きデータを求める手段、
   前記第１の奥行きデータと前記第２の奥行きデータとの画素ごとの差を求める手段、及び、
   前記差が予め定めた閾値以上である画素により構成される領域を鏡面反射領域とする手段を設けることを特徴とする立体撮影装置。
2. ２台の光源と２台のカメラと、前記光源と前記カメラを制御する制御装置で構成される立体撮影装置において、２台の前記光源の間隔が、２台の前記カメラの間隔より短い距離を有することを特徴とする立体撮影装置。
3. 前記制御装置が、２台の前記光源の間隔を制御することを特徴とする請求項２記載の立体撮影装置。
4. ２台の光源と２台のカメラと、前記光源と前記カメラを制御する制御装置で構成される立体撮影装置における立体撮影方法であって、前記制御装置が、
   ２台の前記光源のうちの第1の光源を点灯して、２台の前記カメラで撮影した撮影データから第１の奥行きデータを求め、
   ２台の前記光源のうちの第２の光源を点灯して、２台の前記カメラで撮影した撮影データから第２の奥行きデータを求め、
   前記第１の奥行きデータと前記第２の奥行きデータとの画素ごとの差を求め、
   前記差が予め定めた閾値以上である画素により構成される領域を鏡面反射領域とすることを特徴とする立体撮影方法。

Images