JP2004350070A

JP2004350070A - 画像処理装置

Info

Publication number: JP2004350070A
Application number: JP2003145581A
Authority: JP
Inventors: Teiichi Okochi; 禎一大河内; 寿男 ▲福▼井; Toshio Fukui
Original assignee: AICHI GAKUIN
Current assignee: AICHI GAKUIN
Priority date: 2003-05-23
Filing date: 2003-05-23
Publication date: 2004-12-09

Abstract

【課題】撮像素子の移動制御をできるだけ行なうことなく、実用上充分なＮＭＦ画像合成を行なえる画像処理装置を提供する。
【解決手段】共通の撮影光学系Ｏにより結像された画像を撮影するよう複数のＣＣＤ１１〜１３を配置しＣＣＤ１１〜１３により撮影された複数の画像データを合成した画像を得るに際し、撮影光学系Ｏに関する焦点距離、開放Ｆ値（あるいはさらに現在の絞り値）などを含む特定の作動条件下においては、各ＣＣＤの形成する被写界深度範囲が隣接またはわずかに重畳するように配置する。撮影光学系Ｏのレンズ交換、あるいはズーミングにより撮影光学系Ｏに関する作動条件が変更された場合は、ＣＣＤ１１〜１３を所定条件を満足する相互間隔の位置に移動する。その場合、たとえばＣＣＤ１１〜１３のうち１つを固定し、残りのＣＣＤを移動する構成を用いることができる。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、単一の撮影光学系により結像された画像を撮影する複数の撮像素子を有し、前記複数の撮像素子により撮影された複数の画像データを合成した画像を得る画像処理装置に関するものである。
【０００２】
【従来の技術】
撮影距離の異なる画像を合成し、遠景から近景までの全ての被写体にピントの合った画像を得る技術が知られている（たとえば下記の特許文献１）。
【０００３】
この種の画像処理装置では、たとえば、近距離（Ｎ：Ｎｅａｒ）、中距離（Ｍ：Ｍｉｄｄｌｅ）、遠距離（Ｆ：Ｆａｒ）にそれぞれ被写界深度を持つよう撮影光学系に対して異なる位置にそれぞれ近距離用、中距離用、遠距離用の撮像素子（ＣＣＤなど）を配置し、各撮像素子から得られたＮ（近距離）、Ｍ（中距離）、Ｆ（遠距離）の各画像を解析し、画像の鮮鋭度などに基づき各画像より適切な部位を抽出して合成する。このような撮影システムを以下ではＮＭＦ画像合成システムという。
【０００４】
出願人は、既にＮＭＦ画像合成システムの構成として、撮影光学系と複数の撮像素子の間の距離をそれぞれ独立して操作者が調節する手動調節手段を有する画像処理装置を提案している（下記の特許文献２）。
【０００５】
【特許文献１】特開平１０−２６２１７６号（図１）
【特許文献２】特願２００２−５０６０７号（図１）
【０００６】
【発明が解決しようとする課題】
特許文献２に記載の発明では、撮影光学系と複数の撮像素子の間の距離をそれぞれ独立して調節する構成を提案している。それぞれの撮像素子が受け持つ近距離（以下Ｎ）、中距離（以下Ｍ）、遠距離（以下Ｆ）の被写体の距離は一定ではないから、特許文献２のような構成には精密な調節を行なえる、という利点がある。特に、撮影絞りを開放で用いる必要があり、なおかつ遠距離の山と、至近距離の口腔内のような通常のカメラでは到底被写界深度内に置けないような複数の被写体を撮影しなければならない、というような特殊な撮影需要を満たすことができる。
【０００７】
しかしながら、特許文献２のような構成では、全ての撮像素子をそれぞれ移動させる手段が必要であり、ハードウェア構成が複雑である上、撮像素子の移動を操作者が手動で行なうものとすると極めて操作が困難かつ熟練を要するものとなる、という問題がある。また、コンピュータのような制御手段により全ての撮像素子の位置を制御するとしても、その場合、撮像素子の位置制御を行なうためのプログラムは少なくとも近距離（Ｎ）、中距離（Ｍ）、遠距離（Ｆ）の各被写体のいずれを対象とするかなどを判別する必要があり、その構成は極めて複雑なものとなる。
【０００８】
そこで、撮像素子の移動制御をなるべく行なわずにほぼ遠景から至近距離の常識的な範囲の被写体に関しては実用上充分なＮＭＦ画像合成を行なえるシステムが望まれる。たとえば、撮影レンズが単一焦点距離の固定式でかつ撮影絞りも変化しない場合には、全く撮像素子の移動制御を行なうことなく撮影が行なえれば便利である。
【０００９】
また、撮影絞りを調節したり、撮影レンズが交換式、ズーム式のように焦点距離が変化する構成においてレンズ交換あるいはズーム設定により特定の焦点距離や開放Ｆナンバーが変化した場合は撮像素子の位置は調節する必要があると考えられるが、たとえば、ある特定の焦点距離を選択した状態においては、それ以上の撮像素子の移動制御を必要とせず撮影が行なえれば便利であるのはいうまでもない。
【００１０】
本発明の課題は、撮像素子の移動制御をなるべく行なわずに実用上充分なＮＭＦ画像合成を行なえる画像処理装置を提供することにある。
【００１１】
【課題を解決するための手段】
上記の課題を解決するため、本発明によれば、単一の撮影光学系により結像された画像を撮影する複数の撮像素子を有し、前記複数の撮像素子により撮影された複数の画像データを合成した画像を得る画像処理装置において、撮影光学系の作動条件に応じて、前記各撮像素子の形成する被写界深度範囲が隣接またはわずかに重畳する条件を満足するよう前記各撮像素子の位置を制御する制御手段を有する構成を採用した。
【００１２】
【発明の実施の形態】
以下、図を参照して本発明の実施の形態を説明する。
【００１３】
図１は本発明を採用したＮＭＦ画像合成システムの構成を示している。図１において符号Ｏは撮影光学系であり、その光軸上にはハーフミラー（あるいはビームスプリッタなど）Ｍ１、Ｍ２、ミラー（あるいはプリズムなど）Ｍ３を配置し、遠距離（Ｆ）、中距離（Ｍ）、および近距離（Ｎ）にそれぞれ被写界深度を持つよう撮影光学系Ｏに対して異なる位置にＣＣＤ１１、１２、および１３を配置してある。図１では不図示であるが、撮影光学系Ｏ〜各ＣＣＤの間の光路には必要に応じて撮影絞りが配置される。
【００１４】
ＣＣＤ１１〜１３の出力は、ビデオＩ／Ｆ（インターフェース）１４を介して画像の合成を行なう画像処理系に入力される。
【００１５】
図１では、光学系〜ＣＣＤの距離を判り易くするために全反射ミラーからなるミラーＭ３を図示しているが、このミラーＭ３は必ずしも必要はなく、実際の光学系では多くの場合省略できる。ハーフミラーＭ１、Ｍ２の透過比率は、Ｍ１＝６６％、Ｍ２＝５０％程度とし、各ＣＣＤに到達する光量にアンバランスが生じないように設定する。
【００１６】
このような構成では、各ＣＣＤ１１〜１３と撮影光学系Ｏの距離ｄｆ、ｄｍ、ｄｎを設定することにより、Ｎ、Ｍ、Ｆの各画像の撮影距離（合焦距離）、およびＮ、Ｍ、Ｆの各被写界深度が決定される。本実施形態では、各ＣＣＤ１１〜１３と撮影光学系Ｏの距離はｄｆ、ｄｍ、ｄｎである。
【００１７】
本発明はこれらＣＣＤ１１〜１３の位置制御（ｄｆ、ｄｍ、ｄｎの制御）をなるべく行なわないで済む構成を提供しようとするものである。
【００１８】
各ＣＣＤ１１〜１３と撮影光学系Ｏの距離ｄｆ、ｄｍ、ｄｎの決定、およびＣＣＤ１１〜１３の位置制御（ｄｆ、ｄｍ、ｄｎの制御）については後で詳述する。
【００１９】
撮影光学系Ｏは、フォーカス手段２７により近距離の被写体に合焦させる場合はｎ、遠距離の被写体に合焦させる場合はｆ方向に移動できるようになっている。フォーカス手段２７の最も簡単な構成は、ヘリコイドやカムのような機構を介して操作者が撮影光学系Ｏを手動で移動させるものである。もちろん、フォーカス手段２７はモータなどで駆動されるものであってもよく、また、公知のオートフォーカス制御手段を用いて焦点合せを行なうものであってよい。オートフォーカス制御のための検出器としては、別途設けた不図示の光センサや超音波センサを用いる他、ＣＣＤ１１〜１３の出力を用いる構成も考えられる。
【００２０】
図１の構成では、レンズ検出手段２８が設けられている。レンズ検出手段２８は、現在装着されている撮影光学系Ｏの少なくとも
・焦点距離
・開放Ｆ値（あるいはさらに現在の絞り値）
のような、現在のレンズ構成に関する情報を検出できるよう構成される。あるいはさらにレンズ検出手段２８はレンズの機種情報などを検出できるようなものであってもよい。
【００２１】
なお、上記のうち「焦点距離」は撮影光学系Ｏのレンズの焦点距離であり、「被写体距離」ではない。本明細書では、「焦点距離」は撮影光学系Ｏのレンズの焦点距離のみを指すものとして用い、合焦している被写体の距離を指す場合は「被写体距離」を用いるものとする。
【００２２】
レンズ検出手段２８は撮影光学系Ｏが筐体に固定された単一焦点距離の固定レンズであれば不要であるが、交換式またはズーム式のレンズの場合はレンズ交換、あるいはズーミングによって、上記の焦点距離、開放Ｆ値のような構成情報が変化するので、これらの情報を後述のＣＰＵ３０に伝達する。
【００２３】
上記の現在のレンズ構成に関する情報のうち、焦点距離を検出するには、交換式レンズの場合は、レンズ検出手段２８をレンズそれぞれの固有位置に設けたノッチなどの位置情報をリミットスイッチや磁気センサなどを用いて検出するよう構成し、また、ズーム式のレンズの場合は、レンズのズーム環の回動位置情報を検出することにより現在の焦点距離を検出するよう構成すればよい。さらに交換式でかつズーム式のレンズも装着できるようなシステムとする場合は、これら両者の検出機構を設けることができる。
【００２４】
開放Ｆ値に関しても同様に、レンズそれぞれの固有位置に設けたノッチなどの位置情報をリミットスイッチや磁気センサなどを用いてレンズ検出手段２８により検出することができる。現在の絞り値を検出するには絞り環の位置を検出する従来の検出手段を用いることができる。
【００２５】
ＣＣＤ１１〜１３の出力は、ビデオＩ／Ｆ１４を介して図１右側の画像処理装置に入力される。各ＣＣＤ１１〜１３から合成用の画像を取り込む処理は、不図示のシャッタボタンなどの操作により行なわれる。
【００２６】
ビデオＩ／Ｆ１４より右側の画像処理装置は、ＰＣ（パーソナルコンピュータ）などのハードウェアを利用して構成することもできる。この画像処理装置は、後述の画像処理を行なうＣＰＵ３０、シャッタボタンなどの操作手段を含む操作部３１、後述の画像処理をＣＰＵ３０のプログラムとして格納するプログラムメモリ３２、画像処理のワークエリアとして用いられるメモリ３５を含む。
【００２７】
ＣＰＵ３０は、ビデオＩ／Ｆ１４より入力し、メモリ３５に格納したＣＣＤ１１、１２、１３の遠距離（Ｆ：Ｆａｒ）、中距離（Ｍ：Ｍｉｄｄｌｅ）、近距離（Ｎ：Ｎｅａｒ）の各画像データに対して所定の画像処理を行なうことにより、Ｎ、Ｍ、Ｆの画像から鮮明度の高い部分をそれぞれ抽出し、鮮明度の高い画像を合成する。この合成処理自体は本発明の対象とするところではなく、当業者において好都合な画像処理を適宜行なえばよい。
【００２８】
図１では、さらに得られた画像データを他の装置と共有するために、ネットワークＩ／Ｆ３３が設けられている。ネットワークＩ／Ｆ３３のＩ／Ｆ方式はイーサネット（商標名）など任意である。
【００２９】
次に、各ＣＣＤ１１〜１３の位置、すなわち、ＣＣＤ１１〜１３と撮影光学系Ｏの距離ｄｆ、ｄｍ、ｄｎの決定方法につき説明する。
【００３０】
本実施形態においては、撮影光学系Ｏの焦点距離や撮影絞り（Ｆナンバー）が一定である間はＣＣＤ１１〜１３の位置を固定とし、撮影光学系Ｏの移動のみにより遠景から至近距離の被写体の撮影を行なえるようにする。
【００３１】
また、ＣＣＤ１１〜１３間のピッチ（間隔）は、制御の容易性を考慮し、等間隔となるよう制御する構成についても考察する。ＣＣＤ１１〜１３の位置を固定とする、あるいはその配置ピッチを等間隔とすることができれば、機器の設計、ＣＣＤ１１〜１３の制御回路の構成を極めて簡単安価にできるからである。
【００３２】
図２は本発明の画像合成システムにおけるＣＣＤ１１〜１３と撮影光学系Ｏの距離ｄｆ、ｄｍ、ｄｎを決定するための設計思想の概略を説明するためのものである。
【００３３】
図２では、遠景から至近距離の被写体と撮影光学系Ｏを一定の位置に置き、撮影光学系Ｏの後方にＣＣＤ１１〜１３を３枚配置してある。ここで、ＣＣＤ１１と１２の間隔ｄ１と、ＣＣＤ１２と１３の間隔ｄ２がほぼ等しいと考えると、これらのＣＣＤ１１〜１３の被写界深度範囲は近距離の被写体では狭く、遠距離領域の被写体では広くなる。
【００３４】
図２は厳密なものではなく被写体とその像の対応は用いる撮影光学系Ｏの焦点距離に応じて変化しうるが、数〜数１０ｍｍの焦点距離の一般的なレンズにおいては、図示のようにＣＣＤ１１〜１３はそれぞれ遠距離では遠景の山、中景の木、近景の人のような被写体、また、口腔内のような至近距離では被写体（奥歯、中歯、前歯）のような被写体を中心とする被写界深度範囲をカバーする。
【００３５】
また、図２は、撮影光学系Ｏの焦点距離と撮影絞りのＦ値が決まっていれば、その間、ＣＣＤ１１と１２の間隔ｄ１と、ＣＣＤ１２と１３の間隔ｄ２を一定に制御してしまっても、実用的な撮影状況にはほぼ対応可能であることも示している。
【００３６】
すなわち、実用上は至近距離の口腔内と、遠景の山を同一画面内に鮮鋭に撮影しなければならないような撮影状況は極めて稀であり、通常、遠景の山、中景の木、近景の人を含む風景撮影、あるいは至近距離の口腔内の被写体（奥歯、中歯、前歯）の撮影を選択的に行なうようカメラが使用される。
【００３７】
したがって、これらの風景（遠距離）撮影および口腔内（近距離）撮影のそれぞれの用途において、良好なＮＭＦ画像合成を行なうには、ＣＣＤ１１〜１３の受け持つ被写界深度範囲に不連続が生じないように、すなわち、被写界深度範囲が隣接ないしわずかに重畳するように制御するだけでよい。
【００３８】
以下にＣＣＤ１１〜１３の配置位置ないし配置間隔についての考察を示す。
【００３９】
＜ＣＣＤ位置制御についての考察その１＞
図３は口径Ａの撮影光学系Ｏ（焦点距離ｆ、撮影絞り値Ｆとする）が形成する２つの被写体の像点ＬおよびＷ、および像点ＬおよびＷのそれぞれ前後で許容錯乱円直径δを満足する被写界深度範囲を図示したものである。図３の像点ＬおよびＷに関する２つの被写界深度範囲は重畳なしで隣接する特別な状態となっており、したがって、像点ＬおよびＷの位置にＣＣＤをそれぞれ配置すれば、この２枚のＣＣＤにより点Ｒから点Ｖまでの範囲をカバーし、この範囲内において許容錯乱円直径δを満足する鮮鋭な画像を撮影できる。
【００４０】
ここで像点Ｌの位置にあるＣＣＤｎ−１を置き、像点Ｗの位置に次のＣＣＤｎを置くものとし、ＣＣＤｎ−１およびＣＣＤｎの撮影光学系Ｏからの距離をｘｎ−１およびｘｎとする。３角形ＭＳＮと３角形ＵＴＮは合同、かつ３角形ＭＳＮと３角形ＰＰ’Ｎは相似であるから、ＣＣＤｎ−１およびＣＣＤｎの距離ｘｎ−１およびｘｎは、
【００４１】
【数１】

【００４２】
【数２】

と示すことができる。ここでＫは、撮影光学系Ｏの焦点距離ｆ＝１２．５ｍｍ、Ｆ＝１．４、かつ許容錯乱円直径δ＝０．０２ｍｍ、のとき、約１．００４５と計算できる。
【００４３】
式（１）の右側の等式は左側の等式に基づくもので、１枚めのＣＣＤ１１の撮影光学系Ｏからの距離Ｘ１が決まれば、図３のような被写界深度の隣接条件を満足するｎ枚めのＣＣＤｎの距離ｘｎを等比級数演算により求めることができることを示している。
【００４４】
ここで、図１のようにＣＣＤが３枚であり、１枚めのＣＣＤ（Ｆ）１１が無限遠被写体に合焦するよう配置されている、すなわちＣＣＤ（Ｆ）１１の撮影光学系Ｏからの距離ｘ１がｘ１＝ｆとなるよう配置されている場合、ＣＣＤ（Ｆ）１１とＣＣＤ（Ｍ）１２、およびＣＣＤ（Ｍ）１２とＣＣＤ（Ｎ）１３がそれぞれ図３の条件を満足する時、ＣＣＤ（Ｍ）１２の距離ｘ２はｆ＊Ｋ、ＣＣＤ（Ｎ）１３の距離ｘ３はｆ＊Ｋ＊Ｋで求められる。たとえば、上記の撮影光学系Ｏの焦点距離ｆ＝１２．５ｍｍ、Ｆ＝１．４、かつ許容錯乱円直径δ＝０．０２ｍｍ、のとき、ＣＣＤ（Ｆ）１１の距離ｘ１＝１２．５００ｍｍ、ＣＣＤ（Ｍ）１２の距離ｘ２＝１２．５５６ｍｍ、ＣＣＤ（Ｎ）１３の距離ｘ３＝１２．６１３ｍｍと求めることができる。
【００４５】
また、図３を観察すると、近距離側（図の右側）に配置したＣＣＤほど、そのＣＣＤの被写界深度範囲に対応する像側の距離が長いことが判る。したがって、上述のようにｘ１＝ｆとしてＣＣＤ１１〜１３の位置を決定し、その間隔を保ったまま、撮影光学系Ｏを移動（合焦調節）したとしても、各ＣＣＤが受け持つ被写界深度範囲は重畳こそすれ、不連続は生じないことがわかる。すなわち、上記の例においては、ＣＣＤ（Ｆ）１１の距離ｘ１＝１２．５００ｍｍ、ＣＣＤ（Ｍ）１２の距離ｘ２＝１２．５５６ｍｍ、ＣＣＤ（Ｎ）１３の距離ｘ３＝１２．６１３ｍｍの配置状態において、ＣＣＤ（Ｆ）１１〜ＣＣＤ（Ｍ）１２の配置ピッチ０．０５６ｍｍ、ＣＣＤ（Ｍ）１２〜ＣＣＤ（Ｎ）１３の配置ピッチ０．０５７ｍｍのままにしておいても、焦点距離ｆ＝１２．５ｍｍ、Ｆ＝１．４、許容錯乱円直径δ＝０．０２ｍｍの各条件が変化しない間は撮影光学系Ｏでどのような距離の被写体をフォーカスしようと、被写界深度範囲に不連続は生じない（ＣＣＤ（Ｆ）１１が無限遠合焦、つまりｘ１＝ｆの時のみ各被写界深度範囲が隣接、他の合焦状態では各被写界深度範囲が重畳する）。
【００４６】
＜ＣＣＤ位置制御についての考察その２＞
上記の式（１）、（２）式の計算例から明らかなように、３枚程度のＣＣＤを配置する場合、各ＣＣＤが隣りのＣＣＤとの距離を図３の条件を満足するように求めた１枚目と２枚目、および２枚目と３枚目のＣＣＤの配置ピッチ（間隔）には大きな差が無いことがわかる。
【００４７】
そこで、ＣＣＤ配置ピッチを制御する場合、全てのＣＣＤを等距離で配置することも考えられる。その場合、上述のように図３において近距離側（図の右側）に配置したＣＣＤほど、そのＣＣＤの被写界深度範囲に対応する像側の距離が長いことから、ＣＣＤ配置ピッチとしては、最小値を求めれば良い。
【００４８】
ここで、ＣＣＤ１１〜１３の間隔を等間隔とする場合、その等間隔はどのように決定すれば良いかを考察する。
【００４９】
図３において、３角形ＭＳＮと３角形ＵＴＮは合同であるから２枚のＣＣＤのピッチ（配置距離）ｐは線分ＬＮの長さｈの２倍である。そして図３において３角形ＰＱＭと３角形ＭＬＮは相似であるから、線分ＬＮの長さｈは
【００５０】
【数３】

である。また、撮影光学系Ｏの口径Ａはその焦点距離ｆと開口絞り値Ｆで表現すればＡ＝ｆ／Ｆであるから、したがってｐは
【００５１】
【数４】

と表せる。なお、式（１）との関係において、ｌ’＝ｘｎ−１、かつｐはｘｎとｘｎ−１の差であるから、式（４）は、式（１）の左側の等式の両辺からｘｎ−１を減じ、Ｋを式（２）で置換することによっても導くことができる。
【００５２】
上記の式（４）は、図３のような隣接する被写界深度を有する２枚のＣＣＤのピッチｐの一般表現と見ることができる。特に、式（４）はｌ’の１次関数であり、ｐはｌ’が増大するほど、すなわち被写体距離が近距離であるほど大きな値となることが判る。
【００５３】
ここで、被写体距離に拘らず一定の等距離ピッチのＣＣＤを用いる場合、そのピッチｐはどのような値であるべきかを考えると、式（４）から明らかなように被写体が近距離にある条件、すなわち比較的大きな像距離ｌ’を用いて求めたピッチｐは、それよりも被写体が遠距離である場合にはその被写体距離で必要なピッチｐよりも過大となり、連続すべき２つの被写界深度範囲が不連続となってしまうため、不適当であることがわかる。すなわち、被写体距離に拘らず一定の等距離ピッチのＣＣＤを用いるには、そのピッチは式（４）のｐが取り得る最小値でなければならない。
【００５４】
式（４）が最小値をとるのは、像距離ｌ’、すなわち像点Ｌに対応する被写体の距離が無限大である場合で、この時像点Ｌは撮影光学系Ｏの後側焦点に一致するから、式（４）のｌ’をｌ’＝ｆで置換することによってこの光学系において採用すべきＣＣＤの等距離ピッチｐｃｃｄは
【００５５】
【数５】

と求めることができる。一般のカメラ設計仕様においては、最も遠距離を受け持つＣＣＤ（図１のＣＣＤ１１（Ｆ））は後焦点位置まで相対移動できるように設計するのが普通であると考えられ、ｌ’＝ｆの条件を用いて式（５）を導くのは至極妥当なものといえる。
【００５６】
さて、式（５）で示されるＣＣＤピッチｐｃｃｄは、撮影光学系Ｏの焦点距離ｆおよび開放Ｆ値（さらに許容錯乱円直径δ、しかしＣＣＤを交換するなどそのサイズが変更となる場合を除けばこの値には定数を用いるのが普通である）によって決定される。したがって、レンズ交換ないしズーミングによって撮影光学系Ｏの焦点距離ｆおよび開放Ｆ値のいずれかに変更が生じた場合は、ＣＣＤ１１〜１３の距離が式（５）により求められる等距離ピッチｐｃｃｄになるように移動すればよい。
【００５７】
δ＝０．０２（ｍｍ）の場合、８．０ｍｍ、１２．５ｍｍ、２０．０ｍｍの各焦点距離ｆ、および１．４、２．８、５．６の各開放Ｆ値における式（５）のｐｃｃｄの計算結果（ｍｍ）は、たとえば
【００５８】
【表１】

のようになる。ここで、上の表１を観察すると、ｐｃｃｄの値は開放絞り値Ｆに大きく依存し、焦点距離ｆの影響は少ないことが判る。このことは、式（５）を観察すると、右辺分母全体と分子のｆにより形成される定数項ｆ／（ｆ−δＦ）が常に１よりも大きく、かつ１にごく近い値となることからも明らかである。したがって、近似計算においては、ＣＣＤピッチｐｃｃｄは
【００５９】
【数６】

としても実用上は充分であるといえる。この式（６）のＣＣＤピッチｐｃｃｄは式（５）の値に極めて近く、しかも必ず式（５）の値よりも小さな値となるので、２つの被写界深度範囲が不連続となる問題も生じない（表１の２δＦの値を参照）。
【００６０】
すなわち、最も簡便な設計仕様においてはＣＣＤピッチｐｃｃｄは式（６）により決定すればよく、その場合、撮影光学系Ｏの開放Ｆ値のみによりＣＣＤピッチｐｃｃｄを決定できる（たとえばレンズ交換を行なっても、交換前と後のレンズの開放Ｆ値が同一であればＣＣＤピッチｐｃｃｄは変更する必要がない）ため、制御のためのハードウェアおよびソフトウェアはより簡単安価なものとなる。なお、式（６）は、いわゆる無限遠の焦点深度２δＦと同一であり、開放Ｆ値および許容錯乱円直径δのみにより決定される。
【００６１】
なお、式（５）のｐｃｃｄをＣＣＤピッチとして採用した場合、図３の像点Ｗの像距離（以下ｌｗ’）は像点Ｌの像距離ｌ’と式（５）のｐｃｃｄの和として求めることができ、また像距離ｌ’およびｌｗ’から、（１／ｌ）＋（１／ｌ’）＝（１／ｆ）の関係を用いて像距離ｌ’およびｌｗ’それぞれに対応する被写体距離ｌおよびｌｗを算出することができる。ちなみにｆ＝１２．５（ｍｍ）、Ｆ＝１．４、δ＝０．０２（ｍｍ）の場合（ＣＣＤピッチｐｃｃｄ＝０．０５６１ｍｍ）、被写体距離の差（ｌ−ｌｗ）すなわち、２枚のＣＣＤに結像する被写体距離の差は、ｌ＝１００（ｍ）において（ｌ−ｌｗ）＝９７．３ｍ、ｌ＝５（ｍ）において（ｌ−ｌｗ）＝３２０１ｍｍ、ｌ＝１（ｍ）において（ｌ−ｌｗ）＝２５９ｍｍ、ｌ＝７００（ｍｍ）において（ｌ−ｌｗ）＝１３６ｍｍ、ｌ＝５００（ｍｍ）において（ｌ−ｌｗ）＝７２ｍｍとなり、これらの数値は図２に示した結像範囲の構成と概ね一致していることが判る。
【００６２】
以上のように、撮影光学系の作動条件（焦点距離ｆ、許容錯乱円直径δ、撮影絞りＦ）が変化しない間は、撮像素子の形成する被写界深度範囲が隣接またはわずかに重畳する条件（式（１）および式（２））を満足するようＣＣＤ配置ピッチを制御する、あるいは各撮像素子の配置間隔がほぼ等距離となる（式（５）あるいは式（６））よう各撮像素子の位置を制御することにより、撮影光学系Ｏを移動するだけで風景撮影〜口腔内撮影において、３つのＣＣＤで全ての被写界深度を連続的にカバーして撮影を行なえることが判る。
【００６３】
なお、式（１）および式（２）による条件は、撮影光学系Ｏよりも遠い側（近距離被写体側）のＣＣＤピッチが大きくなる。つまり、式（５）あるいは式（６）による等距離配置よりも撮影光学系Ｏよりも遠い側（近距離被写体側）においてより広い被写界深度を確保できる利点があり、一方、式（５）あるいは式（６）による等距離配置の場合はＣＣＤ位置の制御がより容易になる、という利点がある。
【００６４】
＜ＣＣＤ配置ピッチの制御＞
レンズ交換やズーミングによりレンズの設定（焦点距離、開放絞り）条件が変化した場合は、式（１）および（２）、あるいは式（５）または式（６）に基いてＣＣＤ配置ピッチを制御する必要がある。
【００６５】
以下では、撮影光学系Ｏの焦点距離に応じてどのような制御を行なえば良いかについて制御の一例を示す。
【００６６】
ここでは、式（５）または式（６）の条件（ＣＣＤ等距離配置）に基いてＣＣＤ配置ピッチを等距離に制御する例を示すが、下記と同様の制御は式（１）および（２）の条件を用いる場合でも遠距離側と近距離側のＣＣＤピッチの変更量が異なるだけで同様に適用できる。
【００６７】
さて、もし、多少厳密な制御を行なうのであれば、式（５）に基づくＣＣＤ配置ピッチを制御する、つまり上述の表１に示したレンズの場合であれば、最も右側のカラムの数値に基づきＣＣＤ配置ピッチを制御する。すなわち、式（６）に基づく制御では、レンズの設定条件のうち、焦点距離ｆおよび開放絞り値Ｆのいずれかが変更となった場合にはこれに応じてＣＣＤ配置ピッチを制御することになる。この式（５）に基づく制御によれば、後述の絞り値のみを用いる制御に比して３枚のＣＣＤによって少し広い被写界深度範囲をカバーできる利点があるが、以下では、式（６）に基く絞り値のみを用いるより簡便な制御を例示する。
【００６８】
図１においては、図１のＣＰＵ３０がレンズ交換やズーミングによる撮影光学系Ｏの焦点距離の変化を検出できるよう、レンズ検出手段２８を設けてあるので、ＣＰＵ３０はレンズ検出手段２８の出力に基いてＣＣＤの位置を制御することができる。
【００６９】
図１にはＣＣＤ配置ピッチ制御を行なうための最も簡略な構成を示してある。すなわち、図１では、ＣＣＤ１２（Ｍ）を固定とし、このＣＣＤ１２（Ｍ）を基準として、ＣＣＤ１１（Ｆ）とＣＣＤ１３（Ｎ）をＣＣＤ１２（Ｍ）に近づけたり、離したりできるようにしてある。
【００７０】
図１のＣＣＤ１１〜１３の位置は、撮影光学系Ｏが大きな開口絞り値（Ｌ）のもの（「暗い」レンズ。たとえばＦ＝４．０やＦ＝５．６など）である場合を示しており、このときのＣＣＤ１１〜１２の像面距離（上述のＣＣＤ配置ピッチｄ）はｄｍｆｌ、ＣＣＤ１２〜１３の像面距離（上述のＣＣＤ配置ピッチｄ）はｄｍｎｌである。
【００７１】
撮影光学系Ｏが中程度の開口絞り値（Ｍ）のもの（「暗い」レンズ。たとえばＦ＝１．４〜Ｆ＝２．０程度）である場合は、ＣＣＤ１１〜１２の像面距離（上述のＣＣＤ配置ピッチｄ）はより短いｄｍｆｍに、ＣＣＤ１２〜１３の像面距離（上述のＣＣＤ配置ピッチｄ）はより短いｄｍｎｍに調節すればよい。
【００７２】
また、撮影光学系Ｏが小さな開口絞り値（Ｓ）のもの（「明るい」レンズ。たとえばＦ＝１．０〜Ｆ＝１．４程度）である場合を示しており、このときのＣＣＤ１１〜１２の像面距離（上述のＣＣＤ配置ピッチｄ）はさらに短いｄｍｆｓに、ＣＣＤ１２〜１３の像面距離（上述のＣＣＤ配置ピッチｄ）はさらに短いｄｍｎｓに調節すればよい。
【００７３】
このようなＣＣＤ間隔の制御は、ＣＣＤ位置制御手段２１によりＣＣＤ１１（Ｆ）を、ＣＣＤ位置制御手段２３によりＣＣＤ１３（Ｎ）によって移動させ、ＣＣＤ１２（Ｍ）は固定位置に置いておけばよい。このようにＣＣＤ１２（Ｍ）は固定位置に置く場合は、ＣＣＤ１２（Ｍ）のためのＣＣＤ位置制御手段２２（破線）は当然ながら不要である。ＣＣＤ位置制御手段２１および２３は、ＣＰＵ３０の指令に応じて図示のＣＣＤ間隔ｄｍｆｌ、ｄｍｎｌ、ｄｍｆｍ、ｄｍｎｍ、ｄｍｆｓ、およびｄｍｎｓを形成するよう動作するソレノイドやモータなどの駆動手段を用いて構成することができる（あるいは、機械的な精度を充分確保できるのであれば、純機械的な機構を介してユーザの操作力のみを駆動源として動作するようＣＣＤ位置制御手段２１および２３を構成することもできる）。
【００７４】
以上のようにして、本実施形態によれば、ＣＣＤの移動制御をなるべく行なうことなく実用上充分なＮＭＦ画像合成を行なえる画像処理装置を提供することができる。すなわち、本実施形態によれば、固定焦点距離の撮影光学系ＯではＣＣＤの移動制御は不要、レンズ交換ないしズーミングが行なわれ焦点距離が変更された時のみ行なえばよく、現実の風景撮影から至近距離の撮影において、実用上問題ない連続した被写界深度を得ることができ、良好な条件でＣＣＤ１１〜１３から得た１１、１２、１３の遠距離（Ｆ：Ｆａｒ）、中距離（Ｍ：Ｍｉｄｄｌｅ）、近距離（Ｎ：Ｎｅａｒ）を合成処理することができ、極めて高画質の画像を出力することができる。
【００７５】
本実施形態では、ＣＣＤの移動制御を行なう場合でも、レンズ交換ないしズーミングに応じて、各撮像素子の形成する被写界深度範囲が隣接またはわずかに重畳する条件を満足するよう、また、特に簡便な仕様においては等間隔の位置にＣＣＤを移動すれば足りるので、ＣＰＵ３０の制御は極めて簡単になる。あるいは、ＣＰＵ３０のような制御手段を用いなくても、レンズ交換ないしズーミングに連動する機械的な機構のみによって、ＣＣＤの移動制御を行なうことも極めて容易であり、ＣＣＤの移動のために必要なハードウェアあるいはソフトウェアのコストは極めて小さくて済む。
【００７６】
また、図１の構成では、３つのＣＣＤのうち、１つを固定し、他の２つのみを移動する、という極めて簡単安価な構成により不要、レンズ交換ないしズーミングに応じて必要なＣＣＤの移動制御を行なうことができる。
【００７７】
なお、図１では説明を容易にするため、ＣＣＤ（Ｍ）１２を固定とし、ＣＣＤ（Ｆ）１１とＣＣＤ（Ｎ）１３を移動させる構成を示したが、いずれのＣＣＤを固定とするかは任意である。たとえば、通常のレンズ構成では、撮影光学系Ｏは近距離側で被写体方向に前進し、遠距離側でＣＣＤの方向に後退し所定の無限遠位置で停止するよう動作させるので、ＣＣＤ（Ｆ）１１を固定し、ＣＣＤ（Ｍ）１２とＣＣＤ（Ｎ）１３を移動させるような構成とすれば、焦点距離の異なる各レンズにおいて距離環（フォーカス手段２７）の設計を簡略に行なえるようになる、と考えられる。
【００７８】
【発明の効果】
以上の説明から明らかなように、本発明によれば、単一の撮影光学系により結像された画像を撮影する複数の撮像素子を有し、前記複数の撮像素子により撮影された複数の画像データを合成した画像を得る画像処理装置において、撮影光学系の作動条件に応じて、前記各撮像素子の形成する被写界深度範囲が隣接またはわずかに重畳する条件を満足するよう前記各撮像素子の位置を制御する制御手段を有する構成を採用しているので、撮像素子の移動制御をできるだけ行なうことなく、極めて簡単安価なハードウェアおよび制御機構ないし制御ソフトウェアにより、実用上充分なＮＭＦ画像合成を行なえる画像処理装置を提供することができる、という優れた効果が得られる。
【図面の簡単な説明】
【図１】本発明のＮＭＦ画像合成システムの要部の構成を示したブロック図である。
【図２】本発明の画像合成システムの原理を示した説明図である。
【図３】本発明の画像合成システムにおけるＣＣＤ配置条件を示した説明図である。
【符号の説明】
１１〜１３ＣＣＤ
１４ビデオＩ／Ｆ
２１、２２、２３ＣＣＤ位置制御手段
２７フォーカス手段
２８レンズ検出手段
３０ＣＰＵ
３１操作部
３２プログラムメモリ
３３ネットワークＩ／Ｆ
３５メモリ
Ｍ１、Ｍ２ハーフミラー
Ｍ３ミラー

Claims

単一の撮影光学系により結像された画像を撮影する複数の撮像素子を有し、前記複数の撮像素子により撮影された複数の画像データを合成した画像を得る画像処理装置において、
撮影光学系の作動条件に応じて、前記各撮像素子の形成する被写界深度範囲が隣接またはわずかに重畳する条件を満足するよう前記各撮像素子の位置を制御する制御手段を有することを特徴とする画像処理装置。
前記撮影光学系の交換、あるいはズーミングにより生じた前記撮影光学系の作動条件を検出する検出手段を有し、前記検出手段により前記撮影光学系の作動条件の変更が検出された場合、前記制御手段は前記条件を満足するよう前記各撮像素子の位置を制御することを特徴とする請求項１に記載の画像処理装置。
前記制御手段は、前記条件を満足するとともに、前記各撮像素子の配置間隔がほぼ等距離となるよう前記各撮像素子の位置を制御することを特徴とする請求項１に記載の画像処理装置。
前記複数の撮像素子のうち特定の１つの位置を固定し、残りの撮像素子を前記撮像素子移動手段により移動させることを特徴とする請求項２に記載の画像処理装置。
前記撮影光学系の特定の作動条件に少なくとも前記撮影光学系の開放絞りの値が含まれることを特徴とする請求項１に記載の画像処理装置。
前記撮影光学系の特定の作動条件に前記撮影光学系の焦点距離の値が含まれることを特徴とする請求項１に記載の画像処理装置。