JP2004007213A

JP2004007213A - ディジタル３次元モデル撮像機器

Info

Publication number: JP2004007213A
Application number: JP2002159708A
Authority: JP
Inventors: Toshihiro Fukumoto; 福本　利博
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-05-31
Filing date: 2002-05-31
Publication date: 2004-01-08

Abstract

【目的】より高精度に３次元モデルを撮影することができるディジタル３次元モデル撮像機器を提供すること。
【構成】被写体に対し複数の撮影視点を構成する光学系、撮像素子、この撮像素子からの出力信号を処理してディジタル画像データに変換するデータ処理部、前記光学系による画像劣化を補正する画像劣化補正処理部、画像処理部、複数の撮影画像から３次元モデルデータを計算、構築する３次元モデルデータ構築処理部、処理中及び処理後の画像データ、３次元モデルデータを記憶するためのメモリ部を有する３次元モデル撮像機器であって、前記光学系の特性データと前記撮像素子から取り込まれた出力信号を元に、前記光学系による画像劣化を補正して画像劣化を抑えた劣化補正画像を作成し、各視点の劣化補正画像から被写体の３次元モデルデータを精度で取得する。
【選択図】　　　図３

Description

【０００１】
【発明の属する技術分野】
本発明は、多視点入力によるディジタル３次元モデル撮影機器の技術分野に属し、多視点を構成する光学系による撮影画像の劣化が存在していても、３次元モデルデータを精度良く計算、構成することが可能なディジタル３次元モデル撮像機器に関する。
【０００２】
【従来の技術】
近年、３Ｄ画像や３Ｄ映像は、映画やイベントといったエンターテイメント用途での活用、製品設計や都市開発における業務目的での活用はもとより、コンシューマ用途においてもＷｅｂ上での仮想モールや３Ｄ表示製品カタログといった高臨場感、情報のより正確な伝達といった目的で必要性が高まっている。そのようなニーズに対する３次元モデル撮影方法の１つとして、撮影した２次元画像を元に被写体と撮影位置の幾何学的な関係から被写体の３次元形状を算出する方法が応用されており、３次元モデル撮像機器は増えつつある。
【０００３】
その中でもステレオ撮影による３次元モデル撮影、３次元モデル表示は、その装置の容易性から広く応用されている。図１にステレオ撮影画像と被写体の３次元形状（座標）の関係を示す。
【０００４】
焦点距離が共にｆで、光軸が水平方向に幅ａの間隔で平行に設置された２つの光学系撮像機器により、被写体Ｐを撮影した場合を想定する。このとき、左側の撮像機器の光学中心をＯＬ
、左側の撮像機器による取得画像中のＯＬ
の写像をＯＬ
、被写体の写像をＰＬ
とし、同様に右側の光学中心をＯＲ
、右側の撮像機器による取得画像中のＯＲ
の写像をＯＲ
、被写体の写像をＰＲ
とする。又、座標系の原点をＯＬ
とＯＲ
の中心に設定し、その原点に対する被写体の座標Ｐを（Ｘ，Ｙ，Ｚ）とする。更に、被写体の写像座標ＰＬ，ＰＲをＰＬ（ｘＬ，ｙＬ），ＰＲ（ｘＲ，ｙＲ
）とする。このときの被写体座標Ｐ（Ｘ，Ｙ，Ｚ）は、
Ｘ＝ａ（ｘＬ＋ｘＲ）／２（ｘＬ−ｘＲ）
Ｙ＝ａ（ｙＬ＋ｙＲ）／２（ｘＬ−ｘＲ）　　　　　式（１）
Ｚ＝ａｆ／（ｘＬ−ｘＲ）
と与えられる。このように左右のステレオ画像において、被写体位置の対応が得られれば、上記パラメータからその被写体位置の３次元座標が算出できる。
【０００５】
その左右のステレオ画像中において、被写体位置の対応を検出するためには様々な手法が存在するが、左右画像の輝度値や色、空間周波数特性等の画像情報の類似性に着目して対応点検出を行う手法が一般的である。
【０００６】
この入力視点が増えても、上記と同様にある２視点の画像同士の幾何学的関係から位置検出をしていけば良い。視点を増やすことにより、被写体の３次元モデルをより精密に、或は広角度に入力でき、全方位から被写体を撮影すれば、図２のように被写体の全方位の３次元モデルデータを得ることが可能となる。
【０００７】
【発明が解決しようとする課題】
しかしながら、各視点を構成する撮像機器には被写体を結像するためのレンズが必要となり、レンズの収差や周辺光量落ちは撮影画像に画像劣化を引き起こす。この画像劣化により、上記のように２画像から被写体の３次元座標を算出する精度が低下して誤った３次元座標が計算されたり、２画像の対応点を検出できないために３次元座標が算出されないといった問題が発生する。
【０００８】
そのような問題を引き起こす要因として特に重要なものは、レンズの軸外色収差、歪曲収差、周辺光量落ちである。
【０００９】
例えば、２画像間の対応点を検出する際に、画像の輝度値や色を元に検出する場合、撮影レンズの軸外色収差、周辺光量落ちを伴った画像を用いれば、異なる視点から撮影した２画像においては、対応点間で色や輝度値が異なってしまい、対応点検出ができなくなる恐れがある。
【００１０】
又、対応点検出後の３次元座標算出において、撮影レンズの歪曲や軸外色収差を伴った画像を用いれば、異なる視点から撮影した２画像においては、位置ずれを伴う画像中の対応点の座標を用いて３次元座標を計算することとなるので、計算される３次元座標に誤差を伴うこととなる。
【００１１】
本発明は上記問題に鑑みてなされたもので、その目的とする処は、より高精度に３次元モデルを撮影することができるディジタル３次元モデル撮像機器を提供することにある。
【００１２】
【課題を解決するための手段】
上記目的を達成するため、本発明は、被写体に対し複数の撮影視点を構成する光学系、撮像素子、この撮像素子からの出力信号を処理してディジタル画像データに変換するデータ処理部、前記光学系による画像劣化を補正する画像劣化補正処理部、画像処理部、複数の撮影画像から３次元モデルデータを計算、構築する３次元モデルデータ構築処理部、処理中及び処理後の画像データ、３次元モデルデータを記憶するためのメモリ部を有する３次元モデル撮像機器であって、前記光学系の特性データと前記撮像素子から取り込まれた出力信号を元に、前記光学系による画像劣化を補正して画像劣化を抑えた劣化補正画像を作成し、各視点の劣化補正画像から被写体の３次元モデルデータを精度で取得することを特徴とする。
【００１３】
【発明の実施の形態】
以下に本発明の実施の形態を添付図面に基づいて説明する。
【００１４】
＜実施の形態１＞
本発明の実施の形態は、特許請求の範囲の請求項１〜６、８記載の発明に対応する。
【００１５】
図３に本発明を適用したディジタル撮像機器の一実施の形態である２視点入力の３次元モデル撮像ディジタルスチルカメラのシステムブロック図を、図４に３次元モデル撮影の処理フローのチャートを示す。
【００１６】
本発明の実施の形態１に係るディジタルスチルカメラは、図３に示す撮像光学系２１、撮像素子２２を有する撮像部２０と、ＡＧＣ（オートゲインコントローラ）、Ａ／Ｄ変換部３１、画像データ変換部３２、画像劣化補正処理部３３、画像処理部３４、３次元モデルデータ構築処理部３５、圧縮処理部３６を有するデータ処理部３０と、ＣＰＵ、内蔵メモリ部４０と、ユーザーインターフェース部４１と、画像表示部４２と、データインターフェース部４３と、出力画像メモリ４４とを具備している。
【００１７】
上記構成を詳細に説明する。
【００１８】
３次元モデルデータ取得の処理の流れは図４のフローチャートのようになされる。ＣＰＵ、内蔵メモリ部４０のＣＰＵは、ディジタルスチルカメラの全体の管理、図４のフローチャートの処理を行うための命令を行う機能を有し、図１中の点線の矢印は処理の流れを、実線の矢印は画像データの流れを、二重線矢印は３次元モデルデータの流れを示す。以下、図４のフローチャートの流れに沿って図３の各部の構成と機能を順に説明してゆく。
【００１９】
撮像部２０の撮像光学系２１は左右対称の反射光学系２１ａとズーム可能な回転軸対称の集光レンズ２１ｂから構成されており、反射光学系２１ａによって視点の異なる被写体のステレオ像を、集光レンズ２１ｂに入射する。この際、ステレオ像を構成する左右の像はそれぞれ集光レンズ２１ｂを左右対称に通過して集光され、撮像素子２２に結像する。例えば、図３における被写体１０を撮影した際は、撮像素子２２には図５のように、垂直方向の中心線を境に、左右視差画像が結像している。
【００２０】
又、集光レンズ２１ｂには、撮影時のズームステートや絞りの大きさを検出する機構が付随しており、それらのデータはＣＰＵ、内蔵メモリ部４０のＣＰＵによって検出、認識される。撮像素子２２は、受光面上に結像された像による光信号を位置対応する受光画素ごとに電気信号に変換する単一の光電変換素子である。又、撮像素子２２は、その受光部の画素に図１２に示す市松模様の配列で配置されたＲ，Ｇ，Ｂの各フィルタにより色分解を行う機能を有している。
【００２１】
このディジタルスチルカメラのオペレーターが被写体１０を撮影すべく、ユーザーインターフェース部の撮影ボタン（図示略）を押すと、撮像部２０におけるズームステートや絞りの大きさが検出され、そのデータがＣＰＵ、内蔵メモリ部４０のＣＰＵに送られる。そして、撮像素子２２に結像した被写体１０のステレオ像は、撮像素子により電気信号に変換されて、データ処理部３０に電気信号として転送される。この際、撮影時の撮像素子の露光時間や被写体像取得のタイミングは、ＣＰＵ、内蔵メモリ部４０のＣＰＵによって制御され、電気信号として取得された像のデータは、ＣＰＵ、内蔵メモリ部４０のＣＰＵの指示によりデータ処理部３０に転送される。
【００２２】
データ処理部３０に転送された画像データの電気信号は、先ず、ＡＧＣ、Ａ／Ｄ変換部３１に転送される。転送された画像信号は、ＡＧＣにより増幅、強度補正され、Ａ／Ｄ変換部によりディジタルデータに変換され、画像データ変換部３２に転送される。更に、転送されたディジタルデータは、画像データ変換部３２によりディジタル画像（階調）データに変換される。
【００２３】
画像データ変換部により変換されたディジタル画像データは、画像劣化補正処理部３３による画像補正処理を経て、或は補正処理を経ないで、画像劣化処理部３４に転送される。この処理の分岐は、画像表示部４２をファインダとして使用するために、取得した撮影画像を画像劣化補正処理しないで画像表示部４２で表示するという目的の場合と、撮影ボタンを押して正しい３次元モデルを計算、取得するために、撮影されたステレオ画像の画像劣化補正処理を行うという目的の場合の、処理目的の相違のために発生する。
【００２４】
又、撮影時の撮像光学系の軸外色収差と歪曲及び周辺光量落ちの特性値から、画像劣化補正処理が必要でないとＣＰＵ、内蔵メモリ部４０のＣＰＵで判断された場合は、撮像ボタンを押して得られた撮影画像であっても、画像劣化補正処理を行なうことなく、画像処理部３４に転送される。
【００２５】
画像劣化補正処理部３３は撮像光学系２１による画像劣化を補正する部位である。ＣＰＵ、内蔵メモリ部４０のＣＰＵの指示により、画像劣化補正処理部３３に転送されたデータは、ＣＰＵ、内蔵メモリ部４０の内蔵メモリ部に格納された撮像光学系２１の軸外色収差特性、歪曲特性、周辺光量特性に基づき、撮像光学系２１の軸外色収差、歪曲、周辺光量落ちに起因する画像劣化が補正される。この場合、画像劣化補正処理部３３による画像劣化補正処理に用いるデータは、レンズ設計値、レンズ収差データ、レンズ収差補正パラメータ、周辺光量落ちデータ、周辺光量落ち補正データ等、軸外色収差、歪曲、周辺光量落ちの補正に有効なデータであれば何でも良い。
【００２６】
一般的に、静止画像、動画像の撮像機器においては、ローパスフィルタ処理、エッジ処理等の画像処理を施して画質を向上させるために、Ｒ，Ｇ，Ｂの３原色画像データを輝度Ｙ、色差ＣＲ
，ＣＢ
のデータに変換する必要がある。その際の変換式は一般的に、
Ｙ＝０．５９Ｒ＋０．３Ｇ＋０．１１Ｂ
ＣＲ＝Ｒ−Ｙ　　　　　　　　　　式（２）
ＣＢ＝Ｂ−Ｙ
という変換式で与えられる。この変換は、各表色系を通して一致する画素位置においてなされる。そのため、軸外色収差や周辺光量落ちに波長依存性が大きく発生している光学系を通して得られた画像データを元に式（２）の変換を行うと、得られる輝度データ、色差データは軸外点においては、誤差の多い、或は使いものにならないデータとなってしまう。
【００２７】
又、表色系変換等の処理においても、新たに変換される、或る表色における階調データを求める際に、同じ画素位置における複数の表色における階調データを用いるので、軸外色収差や周辺光量落ちの波長依存性が存在していると、軸外点における表色系変換後の階調データは、誤差の多いデータ、或は色が崩れた無意味なデータになってしまう。そのため、画像劣化補正処理が必要な場合は、画像処理部４０による画像処理を行う前に、画像劣化補正処理部３３による画像劣化補正処理を行う。
【００２８】
ＣＰＵ、内蔵メモリ部４０のＣＰＵで画像劣化補正処理が必要と判断された場合、ディジタル画像データは、画像劣化補正処理部３３に転送され画像劣化補正処理がなされる。画像劣化補正処理部３３は、図６に示すように、周辺光量落ち補正部３３ａ、座標変換部３３ｂ、補間処理部３３ｃから成る。画像データは先ず、ＣＰＵ、内蔵メモリ部４０のＣＰＵで周辺光量落ち補正が行われると判断された場合、ＣＰＵ、内蔵メモリ部４０から送られてくる各表色系ごとの周辺光量落ち補正パラメータを用いて各表色系ごとの周辺光量落ち補正を行う。周辺光量落ち補正の手法としては、光学系の光軸を通過する軸上点（撮像素子２２の受光面と撮像光学系２１の光軸との交点に存在する画素位置）における透過光強度に対して、透過光強度の落ちた軸外点での透過光強度を同じ程度に保つように、画像データの階調データにその比を掛けることにより補正する。そして、この周辺光量落ち補正は各表色系に対して行う。
【００２９】
一般的に、周辺光量落ちの特性は光の波長に応じて異なるが、上記の各周辺光量落ち補正のための各表色系における周辺光量落ち補正パラメータ算出は、各表色系における重心波長における周辺光量落ちデータを用いても良く、各表色系の分光特性において最大強度を与える波長の周辺光量落ちデータを用いても良いし、各表色系の分光特性を用いて各波長における周辺光量落ちデータを重み付けし、表色系ごとの重み平均による周辺光量落ちデータを算出し、それを用いても良いが、有効なパラメータを用いるのであれば、その算出手法は特に指定しない。
【００３０】
上記手法によって周辺光量落ち補正部３３ａにおける周辺光量落ち補正がなされたディジタル画像データ、或はＣＰＵ、内蔵メモリ部４０のＣＰＵにより周辺光量落ち補正を行う必要がないと判断されたディジタル画像データは、座標変換部３３ｂに転送される。ＣＰＵ、内蔵メモリ部４０のＣＰＵにより軸外色収差、歪曲のうち、少なくとも１つの収差が画像劣化補正を行なうと判断された場合、座標変換部３３ｂと補間処理部３３ｃにおいては、撮像光学系２１により生じた軸外色収差若しくは歪曲、若しくはその両方による画像劣化を補正する。
【００３１】
ディジタル画像データの軸外色収差と歪曲収差は、ＣＰＵ、内蔵メモリ部４０の内蔵メモリ部に格納されている収差特性データを用いて、Ｒ，Ｇ，Ｂそれぞれの画像データについて座標変換部３３ｂで座標変換を行ない、その後、補間処理部３３ｃで補間処理を行うことで補正される。前記座標変換は、画像データの各画素において発生している軸外色収差と歪曲収差による被写体像の位置ずれを打ち消すように新たな座標系を求めることで行う。次に、正方格子座標でなくなった前記座標系を、正方格子座標系に再度変換するために、前記補間処理を行う。
【００３２】
座標変換を行う際は、図７に示すように、正方格子状で展開される画像データの中心座標（Ｘｏ，Ｙｏ）と各画素の位置との距離を用いて、撮像部２０の撮像光学系２１の収差による画素の位置ずれを補正する。ここで、中心座標とは、撮像部２０の撮像素子２２の受光面における光軸位置と一致した座標とする。軸外色収差と歪曲収差は、一般に、図９に示すように、結像面における像高と収差の関数として求められる。この収差特性値を結像面の各画素に対して求めておき、軸外色収差と歪曲収差を合計して、図８に示すように、各画素位置での収差を収差特性データとして得て、ＣＰＵ、内蔵メモリ部４０の内蔵メモリ部に格納しておく。
【００３３】
軸外色収差に関しては、Ｒ，Ｇ，Ｂそれぞれ特性が異なるので、前記収差特性データは、Ｒ，Ｇ，Ｂそれぞれに対して存在する。又、軸外色収差は、図９に示すように、任意の波長に対して求められるが、Ｒ，Ｇ，Ｂは有限な波長幅を持つ分光特性により特徴づけられる。このため、各表色系の軸外色収差を求めるには、各表色系の重心波長を求めてその波長における軸外色収差量を求める方法、或は分光強度の最大値の波長を用いて軸外色収差量を求める方法等が挙げられるが、特に指定はしない。又、軸外色収差は、Ｒ，Ｇ，Ｂにおいて異なる収差量を持つが、演算量を減らすために、予めＧの軸外色収差を基準として、ＲとＢのみの軸外色収差の収差データを求めておいても良い。
【００３４】
次に、図７の正方格子座標で中心座標である（Ｘｏ，Ｙｏ）を原点（０，０）として、撮像素子２２の受光面の最大像高で正規化した相対距離の座標データを作成し、Ｒ，Ｇ，Ｂそれぞれの収差特性データとの和をとって、座標変換された座標データを得る（図１０）。Ｒ，Ｇ，Ｂそれぞれの図７の正方格子座標上で（Ｘｎ，Ｙｎ）にある座標は以下のように変換される。
【００３５】
【数１】

但し、
ＡｂＲＸｎ，　ＡｂＧＸｎ，　ＡｂＢＸｎ　：　Ｒ，Ｇ，Ｂ各表色系における軸外色収差と歪曲収差の和のＸ成分
ＡｂＲＸｎ，　ＡｂＧＸｎ，　ＡｂＢＸｎ　：　Ｒ，Ｇ，Ｂ各表色系における軸外色収差と歪曲収差の和のＹ成分
Ｘｏ，Ｙｏ　：画像中心点と最大像高位置の相対Ｘ座標と相対Ｙ座標、
ｈ　：受光素子面における最大像高
である。
【００３６】
これにより、周辺光量落ち補正部３３ａから転送された画像データは、軸外色収差、歪曲色収差が無い場合の被写体像座標データとして、図１０の座標変換された座標データと対応を取ることができる。又、左右の視差画像を合成する反射光学系２１ａのミラーの角度によって決まる輻輳角の値によっては、撮像素子２２の受光面に結像する左右の視点画像が台形歪みを生じている場合があり、この台形歪みは、アフィン変換等の線形座標変換により補正可能であることは公知である。本実施の形態に係る撮像機器においても、上記台形歪みが生じている場合には、座標変換部３３ｂにおいて、軸外色収差、歪曲等の集光レンズによる収差と同時に反射光学系による台形歪みを座標変換して補正しても良い。
【００３７】
上記のように得られた２次元座標位置データと、周辺光量落ち補正部３３ａから転送された画像の階調データは、収差補正がなされた２次元座標位置と階調データとして対応している。収差補正のために座標変換された座標データは、正方格子座標系ではないので、これを正方格子座標に変換する。この際、収差補正された画像が、図１１に示すように矩形では無くなっているので、これをＲ，Ｇ，Ｂ各表色系全てにおいて画欠けしないように所望のアスペクト比の矩形で抽出できる最大領域を判定し、必要とするスペックの画素数に応じて正方格子座標系を決め、その正方格子座標系の各座標に対応する画像の階調データは、補間処理することにより求める。
【００３８】
この補間処理の方法は特に指定しないが、４点線形補間、３次畳み込み内挿法等の方法で補間処理を行う。又、最終的に必要となる画像領域を確保するために、収差補正による画欠けを予め想定して、より広い画像範囲を撮像素子で撮影しておいても良い。
【００３９】
又、本実施の形態のディジタルスチルカメラは、撮像素子１２として、図８に示すような市松模様のカラーフィルタ配列を有する単板撮像素子を用いているので、Ｒ，Ｇ，Ｂの画像の階調データは、各表色系において図１３に示すように階調データの存在する画素としない画素を有する。このため、上記の補間処理において、データの存在しない画素の階調データも同時に補間して、１画素に全表色系の階調データを有するように処理される。
【００４０】
上記の処理により撮像光学系２１による画像劣化を取り除いた、或は十分に低減された画像データは、画像処理部３４に転送され、輝度色分離処理、ホワイトバランス調整、グレイバランス調整、濃度調整、カラーバランス調整、エッジ強調等の各種の画像処理が施される。又、ＣＰＵ、内蔵メモリ部４０のＣＰＵにより画像劣化処理を行わないと判断された画像データは、画像データ変換部３２から直接、画像処理部３４へ転送される。最初に画像データには、図１３に示すように各表色系においてデータが存在しない画素の階調データの補間処理が施され、その後に輝度色分離処理、ホワイトバランス調整、グレイバランス調整、濃度調整、カラーバランス調整、エッジ強調等の各種の画像処理が施される。
【００４１】
画像データは、図５のように左部と右部で異なる視点の画像が得られている。この画像データは画像処理部３４の処理を経た後３次元モデルデータ構築処理部３５に転送されて、この左右視点画像の対応点検出を行い、被写体の３次元座標を算出してゆく。又は、画像処理部３４の処理を経た後、画像サイズが大きいとき等必要に応じてＣＰＵ、内蔵メモリ部４０の内蔵メモリ部に画像データを一時的に仮記憶しておいて、処理のタイミングが訪れた際、３次元モデルデータ構築処理部３５に転送される仕様をとっても良い。
【００４２】
先ず、画像データは、光学中心（撮像光学系２１の光軸と撮像素子２２の交わる画素位置）を原点に、左右画像の画素位置座標が設定される。対応点検出処理は、右側画像若しくは左側画像の一部領域を基準に、他方の同じ大きさの領域における階調データの相互相関を求め、最も大きな相関値を返す領域を対応領域として左右画像を対応付ける。そして、対応付けられた画素位置の座標データを用いて、式（１）に代入することにより、被写体の３次元座標データを算出する。この際、座標原点は光学中心とし、左右視差画像の座標は、［光軸中心画素位置からの画素数］×［画素ピッチ］という撮像素子受光面における実寸に変換して用いる。
【００４３】
そして、この処理を画像全領域に対して行い、被写体の３次元座標と、その座標に対する各表色系の階調データを得る。これを３次元モデルデータとする。得られた３次元モデルデータに対し、不必要に密に３次元モデルデータが存在していればデータの間引く間引き処理や、規定の３次元座標系のデータに変換するために、求めた３次元モデルデータにおける各表色系の階調データを補間したり、うまく３次元座標の階調データが算出できなかったと判定される領域の３次元座標に対する階調データを補間により求めるといった補間処理を行なう。このような処理を経て３次元モデルデータ構築がなされる。
【００４４】
最終的に構築する３次元モデルデータの仕様は、例えば立方格子上の３次元座標系に対し、その座標系に３次元モデルデータが存在する位置の最近傍の格子点に対して各表色系の階調データを補間して求めてゆき、３次元モデルデータを計算し、それを決まった座標系の順番に従って、各表色系の階調値のデータ配列形式で与える仕様でも良いし、単純に３次元座標位置と各表色系の階調値のデータ配列形式で与える仕様でも良い。
【００４５】
上記においては、被写体の３次元座標を求めるための一般的手法を示したが、上に示した手法を用いなくとも、最終的に被写体の３次元モデルデータが構築できるのであれば、どのような手法をとっても良い。
【００４６】
３次元モデルデータ構築処理部３５により構築された３次元モデルデータは、圧縮処理部３６によるデータ圧縮処理を受けて出力データメモリ４４に格納される。この際のデータ圧縮は、３次元モデルデータのデータ圧縮に有用な圧縮処理技術を用いていれば、どのような仕様をとっても構わない。
【００４７】
出力画像を格納する出力画像メモリ４４は、本ディジタルスチルカメラに着脱可能なメモリで、この記録媒体を介して他の情報端末機器への出力画像の直接的な転送が可能となる。出力画像メモリ４４は書き換え可能なメモリであり、例えばフラッシュメモリ、ＰＣカード、ＡＴＡカード等のカード状メモリ、ＭＯディスク、フロッピーディスク、ＺＩＰ、ＣＤ−ＲＷ等の汎用メモリ等、どのような形態をとるものでも良い。又、データインターフェース部４３を介して出力画像メモリに蓄えられた画像を有線伝送若しくは無線伝送により、他の情報端末に転送可能である。
【００４８】
画像表示部４２は、例えば液晶ディスプレイから構成されており、ファインダーとして被写体像を表示可能である。ファインダーとして表示する画像は画像劣化補正処理を行っていない画像データを用いて表示する。画像表示部４２の画像表示機能は、ユーザーインターフェース部４１を介して、ＯＮ，ＯＦＦ可能である。
【００４９】
以上説明したように、本実施の形態のディジタルスチルカメラを用いれば、撮像光学系２１、撮像素子２２から成る撮像部２０により撮像された画像信号と、撮像時の撮像光学系２１のズ−ムステート、絞り形状を検知し、内蔵メモリに蓄えられている、対応するズームステートと絞り形状での光学系の周辺光量落ちデータ、軸外色収差、歪曲収差の和の収差データを用いることにより、光学系の周辺光量落ち、軸外色収差、歪曲収差に起因する画像劣化を補正することが可能となる。これにより、周辺光量落ちや軸外色収差、歪曲収差が存在しない光学系を用いて得たことを前提にした、視差画像から被写体の３次元形状を計測する処理を不都合なく適応できることにより、精度の高い３次元モデルデータ構築処理を可能とするディジタルスチルカメラを提供できる。
【００５０】
又、比較的周辺光量落ち、軸外色収差、歪曲の大きい安価な光学系を用いても、実用上十分な精度の３次元モデルデータが構築できるので、光学系のコストの低減を図りつつ、良好な精度を持つ３次元モデルデータの構築が可能となる。
【００５１】
尚、説明した実施形態のディジタルスチルカメラは、上述したような実施の形態に限定されるものではなく、例えば撮像素子が単板式でも３板式でも良く、或はシャッターを用いて左右それぞれの視点からの画像を時系列で、撮像素子２２の全面を用いて取得する仕様でも良いし、その他の仕様でも良い。又、実施の形態としてディジタルスチルカメラではなく、ディジタルビデオカメラであって、３次元モデルデータを時系列で取得する仕様でも良い。又、階調データとして取り扱う表色系は原色系でも、補色系でも、モノクロでも良い。その他、本実施の形態の要旨を踏襲した実施の形態であれば、どのような仕様をとっても良い。
【００５２】
＜実施の形態２＞
本発明の実施の形態２は、特許請求の範囲の請求項１，３，４，５，８記載の発明に対応する。
【００５３】
本実施の形態に係る３次元モデルディジタル撮像機器は、図１４に示すように、３次元モデルデータを取得したい被写体に対し、全方位から撮影したディジタル画像を元に３次元モデルデータを取得する仕様の３次元モデルディジタル撮像機器である。
【００５４】
３次元モデルディジタル撮像機器の処理フローのチャートは実施の形態１と同じく図４に示す通りである。本発明の実施の形態１に係るディジタルスチルカメラは、図１５に示す撮像光学系２１、撮像素子２２をｎ対（ｎは自然数）有する撮像部２０と、ＡＧＣ、Ａ／Ｄ変換部３１、画像データ変換部３２、画像劣化補正処理部３３、画像処理部３４、３次元モデルデータ構築処理部３５、圧縮処理部３６を有するデータ処理部３０と、ＣＰＵ、内蔵メモリ部４０と、ユーザーインターフェース部４１と、画像表示部４２と、データインターフェース部４３と、出力画像メモリ４４と被写体照明系５０とを具備している。各部の構成は前記実施の形態１で詳述したので説明を省略する。
【００５５】
本実施の形態においては、被写体の全方位からの撮影画像を得るために、複数（ｎ個）の撮像部２０から構成されている。又、被写体を全方位から均等に照らせられるように、被写体照明系５０を具備している。本実施の形態に係る３次元モデルディジタル撮像機器が機能上で上記実施の形態１によるディジタルスチルカメラと大きく異なる点は、２視点ではなく全方位から多視点で画像を撮像し、その画像を用いて被写体の３次元モデルデータを構築することにより、被写体の全方位３次元モデルが得られる点である。
【００５６】
ユーザーインターフェース部４１の撮像ボタンを押すことにより、各方位における撮像部から出力され、各視点における画像信号はＣＰＵ、内蔵メモリ部４０のＣＰＵにより決まったタイミングでデータ処理部３０に時系列で転送される。又、この際の各視点における被写体撮影の色分解は、実施の形態１と同様、図１２に示す各撮像素子表面の原色系カラーフィルタ配列によるものや、図１８に示す各撮像素子表面の補色系カラーフィルタ配列によっても良いし、被写体照明系５０の光源に、Ｒ，Ｇ，Ｂといった各原色系分光特性や、Ｙ，Ｍ，Ｃ，Ｇといった各補色形分光特性を持たせ、各表色系で照明した際の被写体像を得ることにより色分解しても良い。
【００５７】
各視点における撮像部から転送されてくる画像信号は、ＡＧＣ、Ａ／Ｄ変換部３１、画像データ変換部３２を経て画像劣化補正処理部３３に転送される。撮像光学系２１を構成するレンズ群は、どの視点のレンズも同じ設計値のレンズを用いて設計している。又、そのレンズの数の多さから、軸外色収差、歪曲、周辺光量落ちが比較的大きい安価なレンズを用いている。これらのレンズによる軸外色収差、歪曲、周辺光量落ちを画像劣化補正処理部３３により補正する。上記補正のためのデータは、ＣＰＵ、内蔵メモリ部４０の内蔵メモリ部に格納されており、補正するためのデータは、レンズ設計値、レンズ収差データ、レンズ収差補正パラメータ、周辺光量特性データ、周辺光量特性補正パラメータ等、収差や周辺光量落ちの補正に有効なものであれば何でも良い。
【００５８】
又、被写体１０は被写体照明系５０によって全方位から極力均等に照明されるように設計されているが、それでも残存する照明ムラは、撮像部２０と照明との相対的な関係により特性を割り出して、その照明ムラを打ち消せるように周辺光量落ち補正データに掛け合わせて、画像劣化補正処理部３３による画象劣化補正処理を行っても良い。画像劣化補正処理部３３による補正処理は、実施の形態１における手法と同様で良い。
【００５９】
又、本実施の形態における３次元モデルディジタル撮像機器においては、図１４に示すように各視点における撮像素子が他の撮像素子と角度をなしているので、２つの視点における撮影画像から３次元座標算出を行うために式（１）を適応するためには、適応する２視点の画像の座標系が一致するように両画像、或は片方の画像にアフィン変換等の線形座標変換を施す必要がある。この公知な技術である２視点画像の座標系の統一を、３３ｂの座標変換部において、集光レンズ２１ｂによる収差補正のための座標変換と同時に線形座標変換することにより行っても良い。
【００６０】
上記の処理により撮像光学系２１による画像劣化を取り除いた、或は十分に低減された画像データは、画像処理部３４に転送され、輝度色分離処理、ホワイトバランス調整、グレイバランス調整、濃度調整、カラーバランス調整、エッジ強調等の各種の画像処理が施される。又、ＣＰＵ、内蔵メモリ部４０のＣＰＵにより画像劣化処理を行なわないと判断された画像データは、画像データ変換部３２から直接、画像処理部３４へ転送される。そして、画像処理部による画像処理を経た各視点における画像データは、一度ＣＰＵ、内蔵メモリ部４０に仮記憶され、必要な画像データごとに３次元モデルデータ構築処理部３５に転送される。
【００６１】
３次元モデルデータ構築処理部３５による３次元モデルデータ構築処理に際しても、実施の形態１と同様の手順で行う。この際、任意の２視点の幾何学的位置関係と、その視点における画像データを用いて被写体の３次元モデルデータを構築するが、任意の２視点は隣接する２視点を選んで演算しても良いし、隣接する２視点よりも視差が大きくなる２視点を選んでも良いし、ユーザーがユーザーインターフェース部４１を介して任意の２の視点を選択しても良いし、被写体の表面形状に応じてＣＰＵ、内蔵メモリ部４０が自動判別しても良い。
【００６２】
又、或る視点に対し、他の複数の視点との３次モデルデータ構築処理を行って、算出座標値や階調数の平均値をとることで３次モデルデータを取得する仕様でも良い。
【００６３】
算出した３次元モデルデータは、圧縮処理部３６による圧縮処理を受けた後、出力データメモリに格納される。又、必要に応じてデータインターフェース部から他の情報端末に転送可能な仕様となっている。
【００６４】
又、被写体撮像待機時は、必要に応じてユーザーインターフェース部４１を介した指示により、任意の視点における被写体画像を撮像表示部４２に表示することが可能な仕様である。この際、任意視点の撮像部２１及びそれに対応する撮像素子２２２のみが動作し、それによる出力信号がＡＧＣ、Ａ／Ｄ変換部３１、画像データ変換部３２による処理を経て、画像劣化補正処理部３３による画像劣化補正処理を経て、或は経ないで画像処理部３４に転送され、画層処理を経た後に画像表示部４２に指定した視点による画像が表示される。この際の画像劣化補正処理部３３による画象劣化補正処理の有無もユーザーインターフェース部４１により指定できる仕様である。
【００６５】
以上説明したように、本発明の実施の形態２に係る３次元モデルディジタル撮像機器によれば、多視点を形成する撮像系によって得られる複数の画像とその幾何学的関係及び撮像光学系の特性データを元に、被写体の、誤差の小さい３次元モデルデータを取得することが可能となる。又、本３次元モデルディジタル撮像機器によって補正可能な軸外色収差、歪曲、周辺光量落ちの性能を余り気にすることなく廉価な光学系を用いて撮像光学系を実現することにより、実用上充分な精度の３次元モデルディジタル撮像機器を安価に提供することが可能となる。
【００６６】
＜実施の形態３＞
本発明の実施の形態３は、特許請求の範囲の請求項１〜６及び８記載の発明に対応する。
【００６７】
本実施の形態に係る３次元モデルディジタル撮像機器は、図１６に示すように、建物の通路や入口に複数個並べて設置された広角レンズを用いた撮像系を具備し、撮像している場所付近を人や物が通過した際、全撮像系で、その人や物を撮像し、３次元形状を撮像する防犯用３次元モデル撮影システムである。
【００６８】
本３次元モデル撮影システムの処理フローのチャート図１７に示す通りで、実施の形態２と異なる点は、各視点を構成する撮像系のうち、メインカメラ１台とその他サブカメラが存在し、メインカメラは常に動画撮影を行なっている。そして、撮像領域中に動きのある物体が入り込んだ際、全視点のサブカメラで撮影を開始し、物体の３次元モデルデータを取得する処理を行う。又、システムブロック図は図１５で示される。
【００６９】
本実施の形態に係る３次元モデル撮影システムは、図１５に示す撮像光学系２１、撮像素子２２をｎ対（ｎは自然数）有する撮像部２０と、ＡＧＣ、Ａ／Ｄ変換部３１、画像データ変換部３２、画像劣化補正処理部３３、画像処理部３４、３次元モデルデータ構築処理部３５、圧縮処理部３６を有するデータ処理部３０と、ＣＰＵ、内蔵メモリ部４０と、ユーザーインターフェース部４１と、画像表示部４２と、データインターフェース部４３と、出力画像メモリ４４と被写体照明系５０とを具備している。
【００７０】
ここで、撮像部２０の第１視野における撮像光学系がメインカメラである。又、撮像部２０の撮像光学系２１は全て広角レンズで構成されている。又、画像処理部３４は、動画像の撮影フレーム間における画像の変化を検知することにより、撮像領域に動きのある物体の存在、画像中のその領域の検出及びそれをＣＰＵ、内蔵メモリ部４０のＣＰＵに認識させる機能を搭載している。又、被写体照明系５０は、消灯時に撮像領域中に動きのある物体が入り込んだ際にのみ点灯する。又、点灯方向は、被写体の３次元形状が充分に確認できるのであれば全方位でなくとも構わない。その他各部の構成は前記実施の形態１で詳述したので説明を省略する。
【００７１】
本３次元モデル撮影システムは、撮像部２０のメインカメラにより常に撮像領域を撮影している。そして、メインカメラによって撮像された画像信号のみがＡＧＣ、Ａ／Ｄ変換部３１、画像データ変換部３２に転送されて画像データに変換され、画像劣化補正処理部３３による画象劣化補正処理を経ずに画像処理部３４に転送される。画像処理部３４による処理によって、撮像画像中に経時的な変化があるかないかを常に調べ、変化が無ければ、警備員の詰め所等に設置している画像表示部４２にその撮影画像を表示するだけで、画像データは先に転送せずに破棄する。動画像において経時変化が生じれば、ＣＰＵ、内蔵メモリ部４０のＣＰＵを経て、撮像系２０の全視点における撮像が開始される。全視点において撮影された画像出力信号は、ＣＰＵ、内蔵メモリ部４０のＣＰＵにより決まったタイミングでデータ処理部３０に時系列で転送される。
【００７２】
又、この際の各視点における被写体撮影の色分解は、実施の形態１と同様、図１２に示す各撮像素子表面の原色系カラーフィルタ配列によるものや、図１８に示す各撮像素子表面の補色系カラーフィルタ配列によってなされる。
【００７３】
各視点における撮像部から転送されてくる画像信号は、ＡＧＣ、Ａ／Ｄ変換部３１、画像データ変換部３２を経て画像劣化補正処理部３３に転送される。撮像光学系２１を構成するレンズ群は、どの視点のレンズも同じ設計値のレンズを用いて設計している。これらのレンズによる軸外色収差、歪曲、周辺光量落ちを画像劣化補正処理部３３により補正する。上記補正のためのデータは、ＣＰＵ、内蔵メモリ部４０の内蔵メモリ部に格納されており、補正するためのデータは、レンズ設計値、レンズ収差データ、レンズ収差補正パラメータ、周辺光量特性データ、周辺光量特性補正パラメータ等、収差や周辺光量落ちの補正に有効なものであれば何でも良い。画像劣化補正処理部３３による補正処理は、実施の形態１における手法と同様で良い。
【００７４】
又、実施の形態３における３次元モデルディジタル撮像機器においては、図１６に示すように各視点における撮像素子が他の撮像素子と角度をなしているので、２つの視点における撮影画像から３次元座標算出を行なうために式（１）を適応するためには、適応する２視点の画像の座標系が一致するように両画像、或は片方の画像にアフィン変換等の線形座標変換を施す必要がある。この公知な技術である２視点画像の座標系の統一を、３３ｂの座標変換部において、集光レンズ２１ｂによる収差補正のための座標変換と同時に線形座標変換することにより行なっても良い。
【００７５】
上記の処理により撮像光学系２１による画像劣化を取り除いた、或は十分に低減された画像データは、画像処理部３４に転送され、輝度色分離処理、ホワイトバランス調整、グレイバランス調整、濃度調整、カラーバランス調整、エッジ強調等の各種の画像処理が施される。そして、画像処理部による画像処理を経た各視点における画像データは、一度ＣＰＵ、内蔵メモリ部４０に仮記憶され、必要な画像データごとに３次元モデルデータ構築処理部３５に転送される。
【００７６】
３次元モデルデータ構築処理部３５による３次元モデルデータ構築処理に際しても、実施の形態１と同様の手順で行う。但し、演算量の低減のため、メインカメラによって検知された、動画中の経時変化が存在する領域でのみ３次元モデルデータを構築する。具体的には、メインカメラで経時変化が確認された領域を元に、他の視点との対応点検出を行い、それによって検出された領域のみ、３次元モデルデータを計算する。
【００７７】
算出した３次元モデルデータは、圧縮処理部３６による圧縮処理を受けた後、出力データメモリに格納される。又、必要に応じてデータインターフェース部から他の情報端末に転送可能な仕様となっている。
【００７８】
以上説明したように、本実施の形態に係る３次元モデルディジタル撮像機器によれば、メインカメラによる動画撮影により撮像領域における侵入者を検知し、それを元に複数の視点を形成する広角レンズを搭載した撮像系によって得られる複数の画像とその幾何学的関係及び撮像光学系の特性データを元に、侵入者の誤差の小さい３次元モデルデータを取得する防犯用３次元モデル撮影システムが可能となる。
【００７９】
又、本３次元モデルディジタル撮像機器によって補正可能な軸外色収差、歪曲、周辺光量落ちの性能を余り気にすることなく廉価な光学系を用いて撮像光学系を実現することにより、実用上充分な精度の３次元モデル撮影システムを安価に提供することが可能となる。
【００８０】
【発明の効果】
以上の説明で明らかなように、本発明によれば、光学系による画像劣化を補正する処理がなされることにより、良好な精度の３次元モデル撮像機器を得ることが可能となる。
【００８１】
又、本発明によれば、ディジタル撮像機器の光学系がズーム可能な場合や交換可能な場合であっても、光学系のズームステートの検知機構、交換レンズの種類の識別機構と、予めディジタル撮像機器の内蔵メモリに内蔵された光学系の収差、周辺光量落ち補正のためのデータを用いて、光学系による画像劣化を補正し、精度の高い３次元モデルデータ構築を行うことが可能である。
【００８２】
更に、多視点３次元モデル撮像機器において、比較的光学性能の良くない廉価な光学系を用いてコストを抑えた撮像機器でも、光学系による画像劣化補正機能により、充分な精度を有した３次元モデル撮像機器を実現可能である。
【図面の簡単な説明】
【図１】ステレオ撮影画像と被写体の３次元形状（座標）の関係図である。
【図２】被写体の全方位３次元モデルデータを求めるための撮影系である。
【図３】本発明の実施の形態１に係るディジタル撮像機器の２視点入力の３次元モデル撮像ディジタルスチルカメラのシステムブロック図である。
【図４】図３における撮像機器の３次元モデル撮影の処理フローのチャートである。
【図５】図３における撮像機器において被写体を撮影した際の撮影画像である。
【図６】図３における画像劣化補正処理部の処理構成図である。
【図７】図３における画像データ変換部により変換された画像データのフォーマットの概略図である。
【図８】図３における画像劣化補正処理部のＲ，Ｇ，Ｂ表色系それぞれの座標変換処理で用いられる収差特性データの概略図である。
【図９】歪曲収差と軸外色収差の像高との関係を示すグラフデータである。
【図１０】図３における画像劣化補正処理部による座標変換のなされた表色系Ｒ，Ｇ，Ｂそれぞれの２次元座標データの概略図である。
【図１１】図３における画像劣化補正処理部により収差補正のために座標変換したＲ，Ｇ，Ｂ各表色系の座標と画像として抽出すべき領域の概略図である。
【図１２】撮像素子の受光面に市松模様状に配列されたＲ，Ｇ，Ｂの各フィルタの配列例である。
【図１３】図１２のカラーフィルタによりデータ取得可能な各表色系の座標の概略図である。
【図１４】本発明の実施の形態２に係る被写体に対し全方位からディジタル画像を撮影し、３次元モデルデータを取得する仕様の３次元モデルディジタル撮像機器の撮像素子の概略図である。
【図１５】本発明の実施の形態２に係るディジタル撮像機器の多視点全方位入力の３次元モデル撮像ディジタルスチルカメラのシステムブロック図である。
【図１６】本発明の実施の形態３に係るディジタル撮像機器の防犯用３次元モデル撮影システムの概略図である。
【図１７】本発明の実施の形態３に係る防犯用３次元モデル撮影システムの処理フローのチャートである。
【図１８】撮像素子の受光面に市松模様状に配列されたＹ，Ｍ，Ｃ，Ｇの各フィルタの配列例である。
【符号の説明】
１０　　被写体
２０　　撮像部
２１　　撮像光学系
２１ａ　反射光学系
２１ｂ　集光レンズ
２２　　撮像素子
３０　　データ処理部
３１　　ＡＧＣ、Ａ／Ｄ変換部
３２　　画像データ変換部
３３　　画像劣化補正処理部
３３ａ　周辺光量落ち補正部
３３ｂ　座標変換部
３３ｃ　補間処理部
３４　　画像処理部
３５　　３次元モデルデータ構築処理部
３６　　圧縮処理部
４０　　ＣＰＵ、内蔵メモリ部
４１　　ユーザーインターフェース部
４２　　画像表示部
４３　　データインターフェース部
４４　　出力データメモリ
５０　　被写体照明系

Claims

被写体に対し複数の撮影視点を構成する光学系、撮像素子、この撮像素子からの出力信号を処理してディジタル画像データに変換するデータ処理部、前記光学系による画像劣化を補正する画像劣化補正処理部、画像処理部、複数の撮影画像から３次元モデルデータを計算、構築する３次元モデルデータ構築処理部、処理中及び処理後の画像データ、３次元モデルデータを記憶するためのメモリ部を有する３次元モデル撮像機器であって、前記光学系の特性データと前記撮像素子から取り込まれた出力信号を元に、前記光学系による画像劣化を補正して画像劣化を抑えた劣化補正画像を作成し、各視点の劣化補正画像から被写体の３次元モデルデータを精度で取得することを特徴とするディジタル３次元モデル撮像機器。
前記光学系の特性データの特性値、或は取得する３次元モデルデータのタイプに応じて、前記画像劣化補正処理部による補正処理の実行、不実行の判断を行う画像劣化補正処理判断部を有することを特徴とする請求項１記載のディジタル３次元モデル撮像機器。
前記画像劣化補正処理部によって補正される前記画質劣化は、軸外色収差、歪曲収差、周辺光量落ちのうち、少なくとも何れか１つを含むことを特徴とする請求項１又は２記載のディジタル３次元モデル撮像機器。
前記画像劣化補正処理部による画像劣化補正処理が、前記画像処理部による画像処理よりも先に行われることを特徴とする請求項１〜３の何れかに記載のディジタル３次元モデル撮像機器。
前記画像処理部による画像処理は、輝度／色分離処理、表色系変換処理のうち少なくとも何れか１つを含む請求項４記載のディジタル３次元モデル撮像機器。
前記撮像光学系がズーム可能で、且つ、ズームステートを検出可能な機構を有し、前記機構により前記撮像光学系のズームステートにおける特性データを得ることが可能な請求項１〜５の何れかに記載のディジタル３次元モデル撮像機器。
前記撮像光学系部分が交換可能で、且つ、撮像光学系の種類を識別可能な機構を有し、前記機構により前記撮像光学系における特性データを得ることが可能な請求項１〜６の何れに記載のディジタル３次元モデル撮像機器。
前記撮影光学系の特性データが前記ディジタル撮像機器に内蔵の記録媒体に保存されている、若しくは前記ディジタル撮像機器に着脱可能な記録媒体を介して内蔵の記録媒体に保存可能である、若しくは前記ディジタル撮像機器の記録媒体にアクセス可能なインターフェースを介してディジタル撮像機器内部の記録媒体に保存可能である請求項１〜７の何れかに記載のディジタル３次元モデル撮像機器。