JP2016097657A - 画像情報処理装置、画像情報処理方法およびプログラム、並びに撮像装置 - Google Patents

Abstract

【課題】ユーザーの作業を簡略化しつつも高精度な立体造形物の３次元情報を構築できる画像情報処理装置の提供。
【解決手段】画像情報処理装置は、被写体を異なる視点位置から撮影した複数の画像情報を取得する取得手段と、複数の画像情報を用いて前記被写体の３次元情報を生成する３次元情報生成手段と、３次元情報を用いて立体物を生成する立体造形装置の構成に係わる情報を記憶するメモリ手段と、３次元情報の座標系を決定する座標系決定手段とを備え、座標系決定手段は、座標系の座標軸を、３次元情報と構成に係わる情報に基づいて決定する。
【選択図】図２

Description

本発明は、被写体の３次元情報を生成する画像処理装置に関し、特に、立体物造形システムで被写体の立体物造形を行なうために好適な被写体の３次元情報を生成する画像情報処理装置に関する。

従来、被写体に対して複数の方向から撮影を行うことで、被写体の３次元情報を取得するカメラシステムがある。特許文献１では、カメラを移動しながら撮影を行い、各画像の特徴点のマッチングにより被写体の３次元情報を構築している。また、特許文献２では、被写体にパターンを投影して撮影を行うことで被写体の距離情報を取得して３次元情報を構築する方法や、視差の異なる被写体画像の位相差を用いて被写体の距離情報を取得する方法など様々な方法が開示されている。

一方、造形材料を硬化させながら走査して硬化層を形成して順次積層していくことで立体物を造形する立体物造形装置が知られている。特許文献３では光造形と呼ばれる手法で、光硬化する樹脂材に光ビームを走査しながら照射することで硬化させ、樹脂硬化層を順次積層することで立体物を成形している。その他にも溶解させた熱可塑性樹脂をヘッドから押し出しながら走査する方法や、粉末材料をノズルから噴射し接着して積層する方法など様々な方法が知られている。

特開２０１１−８５９７１号公報 特開平０９−１４５３１号公報 特開２００４−１２２５０１号公報

しかしながら、上述の特許文献に開示された従来技術では、以下のような問題がある。特許文献１や２で示すカメラで撮影して構築された３次元情報を用いて立体物を造形する場合、３次元情報の座標系と特許文献３で示す立体物造形装置の走査方向および積層方向が適正でないと、以下のような課題が発生する。立体物造形装置の光ビームの走査方向に対し、被写体の稜線部分が略平行でない場合は、造形される立体物の稜線は不連続なものとなり造形精度が低下する。また、３次元情報の座標系と立体物造形装置の積層方向の座標系が適切でない場合、立体物造形手法によっては造形時に立体物を支えるための、一時的に立体物を構成する硬化素材とともに硬化されるサポート材が余計に必要になることが考えられる。一方で、撮影により得られた３次元情報に対して、立体物造形装置の方式に適した座標系をユーザーが設定することはユーザーの作業が煩雑になる。

そこで、本発明の目的は、ユーザーの作業を簡略化しつつも高精度な立体造形物の３次元情報を構築できる画像情報処理装置および画像情報処理方法を提供することである。

上記目的を達成するため、本発明によれば、画像情報処理装置は、被写体を異なる視点位置から撮影した複数の画像情報を取得する取得手段と、複数の画像情報を用いて前記被写体の３次元情報を生成する３次元情報生成手段と、３次元情報を用いて立体物を生成する立体造形装置の構成に係わる情報を記憶するメモリ手段と、３次元情報の座標系を決定する場合、座標系の座標軸を、３次元情報と構成に係わる情報に基づいて決定する座標系決定手段を備える。

本発明によれば、ユーザーの作業を簡略化しつつも高精度な立体造形物の３次元情報を構築できる画像情報処理装置および画像情報処理方法を提供することができる。

立体的な被写体とカメラの撮影位置を模式的に示す図 本発明の第１の実施例に係わる画像情報処理装置を適用した撮像装置としてのカメラのブロック図 異なる座標系が設定された場合の立体物造形時の立体造形物を説明するための図 本発明の第１の実施例に係わる３次元情報生成動作のフローチャートを示す図 本発明の第１の実施例に係わる直線成分検出の概念を説明するための図 座標系を決定する他の方法における表示部の表示を説明するための図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

以下、図１から図５を参照して、本発明の第１の実施例に係わる画像情報処理装置を適用した撮像装置としてのカメラについて説明する。

図１は、カメラ２と被写体１である立体造形物との撮影時の位置関係を説明するための図である。図１（ａ）は、カメラ２の各撮影時の視点位置と被写体１との関係を、図１（ｂ）（ｃ）（ｄ）は被写体１の三面図であり、図１（ｂ）は上面図、図１（ｃ）は側面図、図１（ｄ）は正面図を示している。

図１（ａ）のように被写体１をカメラ２が各視点位置３ａ、３ｂ、３ｃ、３ｄを軌跡２ａのように移動して撮影することにより、カメラ取得情報として複数の画像データ及び被写体距離情報が得られる。被写体１は図１（ｂ）（ｃ）（ｄ）で示すように、一つの視点位置からの撮影のみでは被写体の形状が不明なので、カメラ２を移動し視点位置を変更した撮影を行う。カメラ２では、カメラ取得情報を用いて被写体１の３次元情報を構築し、その後不図示の立体造形装置において３次元情報に基づいて被写体１を模した立体造形物が生成される。

図２は、本実施例に係わる画像情報処理装置を適用した撮像装置としてのカメラの構成を示すブロック図である。なお、図１と同様の部分には同じ符号を付して示す。

同図において、２２１はカメラシステム制御部であり、内蔵する不図示のメモリに格納されているプログラムを実行することでカメラ２の各部を制御し、カメラ２内の各処理部の動作を司る。レンズ２２２を通過した被写体からの光線は撮像素子２２３の受光面の位置に集光する。撮像素子２２３では結像された被写体の光学像が光電変換により電気信号に変換され、不図示のＡ／Ｄ変換部で量子化処理された後、画像処理部２２４に送られる。画像処理部２２４は、内部にホワイトバランス回路、ガンマ補正回路、補間演算回路等を有しており、撮像素子２２３から出力された撮像信号を処理し画像データを生成する。画像処理部２２４で生成された画像データはメモリ部２２５に記録される。メモリ部２２５は実際の記録部に加えて記録に必要な処理回路を備えている。一方、被写体距離生成部２２６は画像データから被写体距離の情報を生成する。被写体距離とは、カメラ２から被写体までの距離であり、カメラ２からみた被写体の細部の奥行情報である。撮像素子２２３は受光面の手前に光学系の瞳分割をするマイクロレンズアレイが配され、複数の視差画像を一度の撮影で取得することができる。この複数の視差画像の位相差を検出することで、被写体の距離情報を得ることができる。撮像素子２２３の詳細な構成、及び視差画像の位相差による距離情報生成動作は、公知の技術のため説明を割愛する。被写体の距離情報が画像処理部２２４で生成された画像データとともにメモリ部２２５に記録される。

姿勢検出センサ２２９は重力方向を検出するセンサであり、加速度センサなどで構成する。姿勢検出センサ２２９の検出結果は、画像処理部２２４で生成された画像データとともにメモリ部２２５に記録される。直線成分検出部２３０は３次元情報生成部２２７により求められた３次元情報から直線成分を検出する。つまり、被写体の稜線を検出し、各稜線の３次元ベクトル成分を生成する。

複数の撮影により得られた被写体距離情報を用いて、３次元情報生成部２２７は、被写体の立体形状である３次元情報を生成する。例えば、複数の被写体距離情報をマッチングにより共通の撮影範囲、奥行情報の位置を探索し、つなぎ合わせていくことで被写体の３次元情報を生成する。また、３次元情報生成部２２７では、座標系決定部２２８により適正な座標系での３次元情報を生成する。生成された３次元情報はメモリ部２２５に記録される。

座標系決定部２２８によって決定された３次元情報の座標系は、立体物造形装置での造形時に用いられる。Ｘ軸方向が硬化素材を走査する主走査方向に対応して設定され、Ｙ軸方向が１回の主操作をした後に移動する副走査方向に対応して設定され、Ｚ軸方向が硬化素材を順次積層する積層面の法線方向に対応して設定される。さらに、Ｚ軸の正の方向に向かって順次積層するように設定される。このような立体物造形装置の硬化素材の走査方向及び積層方向が立体物造形装置の構成に係わる情報としてメモリ部２２５に記憶される。座標系決定部２２８及び直線成分検出部２３０の詳細な動作については後述する。

画像表示部２３１は画像処理部２２４で処理された画像データや、３次元情報などをユーザーに対して表示する。操作部２３２は、ユーザーからの撮影命令や、表示の切り替えなどの命令を受け付け、カメラシステム制御部２２１に命令を送る。

次に図３を用いて、３次元情報の座標系の取り方による、立体物造形装置での立体物造形の精度への影響について説明する。

図３は、図１に示す被写体１から求められたある座標系の３次元情報を用いて、立体物造形装置で生成した立体造形物の例である。同図において図１と同様の部分は同じ符号を付して示す。

図３（ａ）は、不適切な方向にＺ軸を設定した時の立体造形物及び立体造形工程の例を示している。図１とは異なる方向、具体的には、図１に示すにＸ軸をＺ軸に設定したため、造形時に立体物を支えるサポート材３１が多く必要になっている様子を表している。斜線部がサポート材３１を示し、Ｚ軸方向に順次積層しながら立体物を造形する際に、位置姿勢によっては立体造形物を直立するよう支えるためにサポート材が必要となっている。サポート材の部分は立体造形物が完成した後に除去されるが、サポート材が多く使用されていると、除去作業が煩雑になる。一方、図１に示す座標系のように３次元情報の座標系を設定していれば、被写体は図１の状態で接地面に対して直立姿勢となっているので、立体造形時の立体造形物も直立姿勢が容易であり、サポート材の量も抑えることができる。

図３（ｂ）は、不適切な方向にＸ軸を設定した時の立体造形物３０の例を示しており、図１の被写体の稜線１ａに平行な方向をＸ軸に設定している。図３（ｃ）はＸ軸に平行でない直線成分が含まれる図３（ｂ）に示す範囲３２を拡大した図であり、３３は立体造形装置で硬化される硬化素材を模式的に示している。Ｘ軸方向に硬化素材３３が走査されるが、硬化素材３３は一定の幅があるため、点線３４で示す本来の３次元情報の直線に対し、離散的な稜線となり立体造形物の精度の低下が発生する。

図３（ｄ）は適切な方向にＸ軸を設定した時の立体造形物３０の例を示しており、図１の被写体の稜線１ｃに平行な方向にＸ軸を設定している。図３（ｅ）は、図３（ｂ）に示す範囲３２と同じ範囲である図３（ｄ）に示す範囲３５を拡大した図であり、図３（ｃ）と同様に硬化素材３３を模式的に示している。図３（ｃ）と異なり稜線１ｃの直線成分と立体造形装置の硬化素材の走査方向が平行なため、精度よく立体造形物が生成されている。

図１で示す直線成分である稜線１ａと平行な直線成分は稜線１ｂのみであるのに対し、図３（ｂ）のＸ軸に対して斜めになっている稜線１ｃは稜線１ｄ、１ｅ、１ｆ、１ｇ、１ｈと平行であり、直線成分が稜線１ａと平行な線よりも多い。そこで、直線成分が多い方向を３次元情報のＸ軸として設定すると、立体物の造形時に精度よく稜線が再現されるので、全体として立体造形物の造形精度が向上する。

上述したように、撮影した被写体の立体造形物を作製する際に、被写体の３次元情報の座標系を適切に設定することが重要である。座標系の設定を別のソフトウェアでユーザーが行うことが考えられるが、適切に設定することはユーザーの作業負荷が大きい。そこで本発明では、カメラで撮影時に取得されるカメラ取得情報とメモリ部２２５に記憶されている立体物造形装置の構成に係わる情報を用いて適切に３次元情報の座標系を決定する。

まずカメラ２内に配された姿勢検出センサ２２９により、カメラ２の位置姿勢からカメラ２の重量方向を検出することで、被写体１の重力方向つまり設置状態を検出する。そして、取得された距離情報を用いて３次元情報を生成する際に、座標系決定部２２８によって重力方向の反対方向をＺ軸の正の方向として決定した後、適当な方向に仮のＸＹ軸を設定し３次元情報を生成する。次に、複数回の撮影により３次元情報の全周囲からの情報が揃ったと判断すると、３次元情報の稜線を検出することで直線成分のベクトルを検出する。それぞれ求められた直線成分について、お互いに平行な直線成分の直線成分ベクトルの和を求める。そして、設定されたＺ軸方向に対し略直交する方向で、最も直線成分ベクトルの和のスカラ量が大きい方向をＸ軸として決定し、設定されたＸ、Ｚ軸に互いに直交する方向をＹ軸として３次元情報の座標系を決定する。座標系決定部２２８の動作の詳細については後述する。

次に、図４を用いて、本実施例に係わる３次元情報を生成する画像情報処理動作について述べる。図４は、本実施例に係わる座標系決定部の処理動作を含む３次元情報を生成する処理動作のフローチャートを示す図である。

同図において、ステップＳ４０１では、カメラ２がある視点位置での撮影を行い、被写体距離生成部２２６により被写体の距離情報の生成を行う。

ステップＳ４０２では、姿勢検出センサ２２９の検出結果とメモリ部２２５に記録されている立体物造形装置情報を用いて、座標系決定部２２８が重力方向と反対の方向をＺ軸の正の方向として決定する。これにより、立体物造形装置による立体造形物の作成時に、被写体の地面や設置台に設置されている方向から硬化素材の層が順次積層されていくこととなる。

ステップＳ４０３では、決定したＺ軸に対して直交し、かつお互いに直交する方向に仮のＸ軸、Ｙ軸をとる。

ステップＳ４０４では、３次元情報生成部２２７によりステップＳ４０１で求められた被写体の距離情報より３次元情報を生成する。この時、撮影は１回しか行われていないので、被写体の３次元情報は撮影視点位置からの距離だけで表された不完全なものである。

次にステップＳ４０５では、ステップＳ４０１の視点位置からカメラ２を移動し、ステップ４０１と同様に被写体の撮影を行い、被写体の距離情報を生成する。

ステップＳ４０６では、すでに生成された３次元情報に対してステップＳ４０５で得られた距離情報を用いてマッチングを行い、３次元情報を更新し距離情報の無かった不完全な箇所の距離情報を生成していく。

ステップＳ４０７ではカメラ２が移動した各視点からの撮影を行い、その移動量が所定量以上であるかどうかを判断する。具体的には、被写体に対し下面を除く全周囲の視点からの撮影が行われたか、つまり被写体の全周囲の距離情報を得ることができており、完全な３次元情報を得られているかを判断する。カメラの移動量は、最初に撮影を行った視点から少なくとも、被写体の１８０度反対方向まで移動して撮影していればよい。カメラ２の移動量が所定量以上である場合はステップＳ４０８に進み、それ以外はステップＳ４０５に戻って移動した各視点での撮影が繰り返される。

次に、ステップＳ４０８では直線成分検出部２３０により、３次元情報の直線成分を検出し、その結果と立体物造形装置情報を用いて座標系決定部２２８によりＸＹ軸を決定する。図５は直線成分検出部２３０により、３次元情報から各直線成分を抽出した結果を被写体画像において模式的に示した図であり、図５（ａ）、（ｂ）での被写体は、それぞれ図示する座標系の方向から斜視された場合の被写体である。平行な直線成分のベクトルについては、同じ様式の線を用いて示しており、線の太さ、点線、破線でそれぞれの差異を表している。直線成分５１，５２，５３はそれぞれＺ軸に対して略直交しているので、同じ様式で表される各直線成分について直線成分ベクトルの和を生成する。生成された直線成分ベクトルの和のスカラ量を比較すると直線成分５１が最も大きいので、座標系決定部２２８は直線成分５１の方向をＸ軸として決定し、Ｘ軸及びＺ軸に直交する方向をＹ軸として決定する。これにより、立体物造形装置による立体造形物の作成時に、硬化素材の主走査がＸ軸と平行な方向に行われ、副走査がＹ軸と平行な方向に行われることになる。

そして、ステップＳ４０９では、３次元情報生成部２２７によりこれまでに取得した距離情報を用いて、ステップＳ４０８で決定された座標系での３次元情報を再度生成しなおす。そして、立体物造形装置に適した３次元情報の座標系を決定したので、再度生成した３次元情報を残して、これまでに取得された距離情報を削除する。

ステップＳ４１０で、カメラシステム制御部２２１が操作部２３２を介して撮影終了の命令が下されたと判断するとフローを終了する。一方、撮影終了の命令が下されない場合はステップＳ４１１に進む。

ステップＳ４１１では、ステップＳ４０５と同様にカメラ２を移動して別の視点からの撮影を行い、被写体の距離情報を生成する。

ステップＳ４１２では、ステップＳ４１１で取得した距離情報を用いて３次元情報を更新するとともに距離情報を削除し、その後ステップＳ４１０に戻り、撮影終了の命令が判断されるまでフローを繰り返す。

以上述べたように、本実施例ではカメラから取得された情報と立体物造形装置情報に基づき、適正に３次元情報の座標系を決定している。これにより、生成された３次元情報を用いて立体物造形装置により立体造形物を生成する際に、ユーザーが座標系を決定するという煩雑な作業を行うことなく高精度な立体造形を生成することが可能な３次元情報を構築できる。

また、本実施例ではステップＳ４０７でカメラの移動量が所定量以上であるかを判断されてから、ＸＹ座標系を決定し３次元情報を再生成した後、それまでメモリ部２２５に記憶されていた各視点の距離情報を削除している。そして、ステップＳ４１２では随時新たに取得された異なる視点の距離情報を用いて３次元情報を更新した後、距離情報を削除している。これにより、撮影視点が多数点に及ぶ際においても、３次元情報は更新されつつも、距離情報による記録容量の負荷を低減することができている。

本実施例では、カメラの取得情報に基づきＸＹＺ軸座標系を自動で決定したが、少なくとも１つの座標軸についてはユーザーが選択的に決定してもよい。例えば、ステップＳ４０８において直線成分検出部２３０により直線成分が検出された際に、図６のように、Ｚ軸と直交する直線成分で、ベクトルの和のスカラ量が大きい直線成分のいくつかをＸ軸の候補として画像表示部２３１に表示する。そして、操作部２３２を介したユーザー入力により候補のＸ軸のうち一つが選択されたら、座標系決定部２２８により選択されたＸ軸の候補を３次元情報のＸ軸として決定する。図６はカメラ２の表示部２３１に、被写体１にＸ軸座標の候補を重ねて表示している様を表しており、線の幅、破線の長さで直線成分のベクトルの違いを識別可能に示している。

なお、本実施例では被写体の距離情報生成を行うのに、マイクロレンズアレイの配された撮像素子２２３から得られる視差画像を用いたが、その他の構成や手法でも構わない。例えば、カメラ２が光投影部を有しており、縞模様などの複数のパターンを被写体に向けて投影して撮影を行い、異なるパターンを投影した画像間の差異により距離情報を取得するパターン投影手法を用いてもよい。その他にも、異なる視点から取得された画像の輪郭などの特徴点を抽出しステレオマッチングにより、同じ点とみなされた特徴点を立体的につなぎ合わせることで３次元情報を得る手法でも構わない。距離情報を求めることなく画像情報から３次元情報を生成する手法の場合においても、本手法は有効である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、カメラ２は少なくとも撮像素子２２３のみを有し、ネットワークまたは記録媒体を介して撮像素子の情報が送られる情報処理装置システムがその他の手段を有していてもよい。

［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明は立体物造形装置のための３次元情報を取得できるカメラ又はカメラから画像信号を取得して処理する情報処理装置を含むカメラシステムに有用である。

Claims (11)

1. 被写体を異なる視点位置から撮影した複数の画像情報を取得する取得手段と、
   前記複数の画像情報を用いて前記被写体の３次元情報を生成する３次元情報生成手段と、
   前記３次元情報を用いて立体物を生成する立体造形装置の構成に係わる情報を記憶するメモリ手段と、
   前記３次元情報の座標系を決定する場合、前記座標系の座標軸を、前記３次元情報と前記構成に係わる情報に基づいて決定する座標系決定手段と、
   を備えることを特徴とする画像情報処理装置。
2. 前記構成に係わる情報は、前記立体造形装置における硬化素材の主走査方向、副走査方向および積層方向の情報を含み、前記決定される座標系の座標軸は、前記主走査方向、副走査方向および積層方法に対応していることを特徴とする画像情報処理装置。
3. 前記被写体の重力方向の情報を取得する手段を有し、前記座標系決定手段は、前記重力方向に平行な方向に、前記積層方向に対応する座標軸を決定し、前記主走査方向に対応する座標軸および前記副走査方向に対応する座標軸を、互いに直交し、かつ前記積層方向に直交する方向に決定することを特徴とする請求項２に記載の画像情報処理装置。
4. 前記座標系決定手段は前記被写体の３次元情報から直線成分を検出する直線成分検出手段を有し、前記直線成分に基づいて前記座標系を決定することを特徴とする請求項３に記載の画像情報処理装置。
5. 前記３次元情報生成手段は、前記直線成分のうち同じ方向の直線成分が最も多い方向に前記主走査方向に対応する座標軸を決定し、前記直線成分検出手段は、前記検出された直線成分のうちの略直交する直線成分のそれぞれについての和を生成し、前記直線成分のうち同じ方向の直線成分が最も多い方向は、前記和が最も大きい直線成分の方向であることを特徴とする請求項４記載の画像情報処理装置。
6. 前記座標系決定手段は、前記座標系の少なくとも１つの座標軸をユーザー入力に従って選択する選択手段を有し、前記選択手段は、前記検出された直線成分を識別可能に表示する手段を有することを特徴とする請求項４に記載の画像情報処理装置。
7. 前記座標系決定手段は、少なくとも所定量の前記画像情報から生成された３次元情報について前記座標系を決定し、前記３次元情報生成手段は、前記決定された座標系に基づいて３次元情報を再生成することを特徴とする請求項３から６のいずれか１項に記載の画像情報処理装置。
8. 被写体を異なる視点位置から撮影した複数の画像情報を取得する取得工程と、
   前記複数の画像情報を用いて前記被写体の３次元情報を生成する３次元情報生成工程と、
   前記３次元情報を用いて立体物を生成する立体造形装置の構成に係わる情報をメモリに記憶する記憶工程と、
   前記３次元情報の座標系を決定する場合、前記座標系の座標軸を、前記３次元情報と前記構成に係わる情報に基づいて決定する座標系決定工程と、
   を備えることを特徴とする画像情報処理方法。
9. 画像処理装置を制御するためのプログラムであり、
   コンピュータを、
   被写体を異なる視点位置から撮影した複数の画像情報を取得する取得手段、
   前記複数の画像情報を用いて前記被写体の３次元情報を生成する３次元情報生成手段、
   前記３次元情報を用いて立体物を生成する立体造形装置の構成に係わる情報をメモリに記憶する記憶手段、
   前記３次元情報の座標系を決定する決定手段であり、前記座標系の座標軸を、前記３次元情報と前記構成に係わる情報に基づいて決定する座標系決定手段として機能させることを特徴とするプログラム。
10. 請求項９に記載のプログラムを記憶するコンピュータが読み取り可能な記憶媒体。
11. 被写体を異なる視点位置から撮影して複数の画像情報を生成する撮像手段と、
    前記複数の画像情報を用いて前記被写体の３次元情報を生成する３次元情報生成手段と、
    前記３次元情報を用いて立体物を生成する立体造形装置の構成に係わる情報を記憶するメモリ手段と、
    前記３次元情報の座標系を決定する場合、前記座標系の座標軸を、前記３次元情報と前記構成に係わる情報に基づいて決定する座標系決定手段と、
    を備えることを特徴とする撮像装置。

Images