JP2006074634A - 撮像装置および被写界深度の表示方法 - Google Patents

Abstract

【課題】 表示画面上に被写界深度の範囲を撮像画像に対応して示すことができ、また、電気的な補償を撮像画像の不必要な部分に対してすることがなく、さらに、超高精細画像（映像）に対してもピントのあっている範囲と合っていない範囲とを判別することができる撮像装置および被写界深度の表示方法を提供すること。
【解決手段】 撮像装置は、被写体を撮像する撮像カメラ２と、この撮像カメラのレンズおよび絞りに連動させてレンズおよび絞りを合わせて前記被写体を撮像する第１補助カメラ２Ａおよび第２補助カメラ２Ｂと、を備える撮像装置１であって、レンズパラメータ検出手段３と、奥行き距離検出手段５と、マスク画像生成手段６と、遅延調整手段７と、画像合成手段８と、を備える構成とした。
【選択図】 図１

Description

本発明は、映像（画像）を撮像して被写界深度の範囲と共に表示する撮像装置および撮像した表示画面に被写界深度の範囲を表示する被写界深度の表示方法に関する。

一般に、動画を撮像する撮像カメラでは、手前の被写体と奥の被写体に同時にピントを合わせて撮像する場合、つぎのような操作をしている。すなわち、撮像カメラでは、同時に手前と奥の被写体にピントが合う奥行き距離を被写界深度といい、この被写界深度を十分深く設定して、手前と奥行き方向の被写体に同時にピントを合わせたり、絞りを十分小さくして、手前から無限大の距離までピントを合わせたり、いわゆるパンフォーカスの状態にして撮像している。

そして、被写界深度をＬとし、被写界深度限界近点をｄ１とし、また、被写界深度限界遠点をｄ２としたとき、被写界深度Ｌは、Ｌ＝ｄ１＋ｄ２で示され、また、ｄ１、ｄ２は、下記の式（１）および式（２）で示される。なお、式中において、「ａ」は撮像カメラのレンズから被写体までの距離、「ｆ」はレンズの焦点距離、「Ｆ_NO」は絞り度合（アイリス値）を示すＦ値、「δ」は光学像の広がりが許される許容錯乱円の直径である。

ｄ１＝（δ・Ｆ_NO・ａ²）／（ｆ²−δ・Ｆ_NO・ａ） 式（１）
ｄ２＝（δ・Ｆ_NO・ａ²）／（ｆ²＋δ・Ｆ_NO・ａ） 式（２）

さらに、撮像カメラにおけるレンズの解像度は、収差や絞りの回折の影響を受けることが知られている。特に、収差のない理想レンズにおいては、回折による解像度低下を示す解像度特性が導かれる。この理想レンズを用いた撮像カメラにおいて、レンズの絞り値（Ｆ値）を大きくする（絞りを絞る）と、回折の影響により解像度は低下することが知られている。

そのため、被写界深度を深く（Ｌを大きく）し、手前から遠くまでピントを合わせるために絞り値を大きくすると、撮像カメラの光学系の影響のために解像度が低下する。特に、画素サイズを小さくすることによって画素数を増やすことや、また、チップサイズ（撮像素子のサイズ）を小さい構成とする超高精細カメラや小型カメラでは、被写界深度と光学系解像度の維持が相反する条件となり両立が困難である。したがって、超高精細な映像（画像）を撮像するための撮像カメラでは、光量や信号の出力レベルに依存して決められていたレンズのＦ値について、撮像画像の解像度に対しても考慮する必要がある。

一方、スナップ写真などの静止画を撮像するデジタルカメラでは、レンズから入射される被写体の状態を液晶画面などの表示画面で確認しながら、撮像動作をすることができる構成のものが知られている。このデジタルカメラでは、操作者に対して焦点距離、被写界深度などの情報を表示画面に表示させることにより、その表示された情報に基づいて、撮像作業の向上を図ることができるものである（例えば、特許文献１）。なお、前記デジタルカメラでは、前記被写界深度を表示画面に表示する場合には、被写体を表示する画面から切り替えて、表示させるように構成されている。

また、被写界深度が表示画面で表される際に、実際にデジタルカメラの被写体を表示している表示画面に対応させるようにしているものがある（例えば、特許文献２）。このデジタルカメラでは、測距装置、露出値設定装置、中央制御装置が設けられており、また、表示画面内に、測定領域をあらかじめ設定しておき、その測定領域内の対応する位置に表示灯を設けて構成されている。そのため、このデジタルカメラは、設けられている測距装置により、被写体に対する距離を測定し、また、露出値設定装置により、測定した被写体までの距離に基づいて、絞り値、シャッタ速度などを数字として表示画面内に表示している。さらに、前記デジタルカメラでは、被写体までの距離などの情報を介して、中央制御装置が、被写界深度を演算し、被写体の距離が、被写界深度の範囲にあるか否かを表示画面上で判断できるように表示させている。

なお、前記デジタルカメラでは、被写界深度を表示画面上で表示するときには、測定領域内に対応する被写体に対して、中央制御装置が被写界深度内であると演算して判断した場合、表示画面の表示灯が点滅して表示され、また、測定領域内に対応する他の被写体に対して、中央制御装置が被写界深度外であると演算して判断した場合、表示画面の表示灯が消灯したままで表示されることになる。そして、このデジタルカメラでは、合焦した測定領域内の被写体に対して、表示画面内の表示灯が点滅して表示するものである。
特開平８−２６２５５２号公報（段落番号００１６、図４） 特開平５−２３２３７１号公報（段落番号０００８〜００１５、図１〜図５）

しかし、従来のデジタルカメラによる被写界深度を表示する技術では、以下に示す問題点が存在した。
従来の被写界深度を表示するデジタルカメラでは、あらかじめ区画された測定領域内において表示灯を点灯、点滅、消灯することで、測定領域内の被写体に対する合焦、あるいは、被写界深度の範囲内であるか否かを表している。つまり、任意に設定された表示画面内の領域に対して焦点があっているかどうかを選択できるものであるため、被写界深度の範囲を画面上で表示することができなかった。

また、従来の被写界深度を表示するデジタルカメラでは、焦点が合っている範囲は、レンズ、ズーム機構などのカメラ本体側の構造によりある程度決まるため、ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を上げるには限界がある。そのため、デジタルカメラの撮像画像のＭＴＦを上げるには、電気的に補償することが考えられる。ただし、撮像画像を電気的に補償するためには、デジタルカメラの表示画面上において被写界深度の範囲が分からないと、画像全面に対して補償作業を行なうしかなく、過度の高周波補償をかけることになってしまう。

また、走査線がハイビジョンを越える高精細画像および超高精細画像では、カメラで撮像した画像を表示画面上に表示したときに、操作しているカメラマンの目では表示画面上において、どの位置のピントがあっていて、また、表示画面上のどの位置のピントが合ってないかを見極めることが、画素サイズが小さいことから困難になる。そのため、超高精細画像を撮像する超高精細撮像カメラを操作して撮像作業を行なうためには、ピントの合った撮像範囲を経験的に判断して撮像するしかなかった。まして、走査線が４０００本級の超高精細画像では、表示画面上でピントの範囲を判断することが極めて困難な状態であった。

本発明は、前記の問題点に鑑み創案されたものであり、表示画面上に被写界深度の範囲を撮像画像に対応して示すことができ、また、電気的な補償を撮像画像の不必要な部分に対してすることがなく、さらに、超高精細画像（映像）に対してもピントのあっている範囲と合っていない範囲とを判別することができる撮像装置および被写界深度の表示方法を提供することを目的とする。

前記した目的を達成するため、本発明に係る撮像装置は、被写体を撮像する撮像カメラと、この撮像カメラの絞り、ズームおよびフォーカスに連動させて前記被写体を撮像する第１補助カメラおよび第２補助カメラと、を備える撮像装置であって、レンズパラメータ検出手段と、奥行き距離検出手段と、マスク画像生成手段と、遅延調整手段と、画像合成手段と、を備える構成とした。

このように構成された撮像装置は、レンズパラメータ検出手段により撮像カメラのレンズ倍率と、レンズの焦点距離と、絞りの状態を示す絞り値とを含むレンズパラメータを検出すると共に、奥行き距離検出手段により両補助カメラからの撮像画像から視差を求めることにより被写体までの距離を検出する。さらに、撮像装置は、検出したレンズパラメータと、被写体までの距離と、あらかじめ入力された撮像素子（撮像カメラの撮像部分）の画素サイズである許容錯乱円のサイズ情報と、撮像画像とに基づいて、マスク画像生成手段が、前記撮像画像における被写界深度の範囲を明暗により示すマスク画像を生成する。撮像装置は、例えば、被写界深度の範囲において中央の位置となる距離の画像に対応する画素を「０」とし、それより遠くなるあるいは近くなるにつれて画素値を増すことで明暗で示すマスク画像を生成する。そして、撮像装置では、遅延調整手段により撮像画像とマスク画像との同期を調整して画像合成手段により撮像画像とマスク画像とが合成され、撮像カメラの表示画面に出力される。

また、本発明に係る撮像装置は、被写体を撮像する撮像カメラと、この撮像カメラの絞り、ズームおよびフォーカスに連動させて前記被写体を撮像する第１補助カメラおよび第２補助カメラと、を備える撮像装置であって、レンズパラメータ検出手段と、奥行き距離検出手段と、マスク画像生成手段と、遅延調整手段と、高域周波数成分検出手段と、ゲイン調整手段と、画像合成手段と、を備える構成とした。

このように構成された撮像装置は、レンズパラメータ検出手段により撮像カメラのレンズ倍率と、レンズの焦点距離と、絞りの状態を示す絞り値とを含むレンズパラメータを検出すると共に、奥行き距離検出手段により両補助カメラからの撮像画像から視差を求めることにより被写体までの距離を検出する。そして、撮像装置は、検出したレンズパラメータと、被写体までの距離と、あらかじめ入力された許容錯乱円のサイズと、撮像画像とに基づいて、マスク画像生成手段が、前記撮像画像における被写界深度の範囲を明暗により示すマスク画像を生成する。

このとき、マスク画像は例えば、グレースケールによりピントの合っている被写界深度の範囲については明るくし、距離に応じて段階的に暗くなるようにマスク画像を生成している。マスク画像は、例えば、被写界深度の範囲において中央の位置となる距離の画像に対応する画素を「０」とし、それより遠くなるあるいは近くなるにつれて画素値を増すことで作成される。さらに、撮像装置は、高域周波数成分検出手段により撮像画像を周波数成分に変換して所定領域をフィルタリングすることで所望の高域周波数成分を検出し、ゲイン調整手段により高域周波数成分に対してゲインの調整を行う。そして、撮像装置は、遅延調整手段によりタイミングを調整した撮像画像とゲイン調整を行なった画像領域とをはじめに合成しさらにマスク画像と合成する。つまり、マスク画像の被写界深度の範囲に対する情報により、被写界深度を広げる領域については、ゲイン調整を行なった画像領域、それ以外は撮像画像領域とすることで、被写界深度の範囲を広げた画像とし、さらにマスク画像と合成することで合成画像を生成し、この合成画像を撮像カメラの表示画面に出力している。

さらに、前記撮像装置は、前記画像合成手段が、前記マスク画像の被写界深度の範囲に基づいて、キー信号を作成するキー信号作成部を備え、前記キー信号に基づいて、ゲイン調整された画像と、前記撮像画像と、前記マスク画像とを合成する構成とした。
このように構成された撮像装置は、画像合成手段に撮像画像、マスク画像およびゲイン調整された画像が入力されると、キー信号作成部がマスク画像から被写界深度の幅を広げようとする距離に対応するキー信号を作成し、そのキー信号によりゲイン調整された画像と撮像画像とを合成して被写界深度の幅を、ゲイン調整される前である本来の幅より広がった状態とし、さらにマスク画像を合成することで合成画像とし、この合成画像を生成する。

また、前記撮像装置は、前記撮像カメラのレンズを光軸方向に移動させるためのズーム調整リングおよび絞りを調整するための絞り調整リングにそれぞれ設けた主歯車と、この主歯車に噛合する介在歯車を介して、前記両補助カメラのレンズのズーム調整リングおよび絞り調整リングにそれぞれ設けた従動歯車と、を備える構成とした。

このように構成された撮像装置は、例えば、駆動モータなどの駆動手段を介して主歯車をそれぞれ独立に回転させると、介在歯車を介して従動歯車が主歯車と同じ方向に同じ回転量だけ回転することができる。

また、本発明に係る被写界深度の表示方法は、撮像カメラからの被写体に対する撮像画像を撮像すると共に、前記撮像画像に対応する前記被写体までの距離を検出する第１ステップと、検出した前記被写体までの距離と、前記撮像カメラのレンズ倍率および焦点距離ならびに前記撮像カメラの絞り値とを含むレンズパラメータと、あらかじめ入力された前記撮像カメラの許容錯乱円のサイズと、前記撮像画像とに基づいて、前記撮像画像における被写界深度の範囲を明暗により示すマスク画像を生成する第２ステップと、生成した前記マスク画像と、前記撮像画像とを合成して合成画像を作成すると共に、前記撮像カメラの表示画面に出力する第３ステップと、を含むものである。

このようにした被写界深度の表示方法によれば、被写体の被写界深度の範囲を明暗により示すマスク画像と、遅延させタイミングを合わせた撮像画像とを合成することで、表示画面に表示される撮像画像に被写界深度の範囲を示した状態の合成画像として出力することができる。なお、被写体までの距離を検出するための距離検出手段としては、補助カメラを所定距離ｄ離した状態で２台設置して、撮像カメラのレンズ倍率、絞り値および焦点距離とを連動させることで被写体を撮像するものがあげられる。この補助カメラを使用する場合、補助カメラで撮像した画像の視差により検出することができる。また、距離検出手段として、ＬＥＤなどの信号発生器から被写体に近赤外光を照射し、その反射した近赤外光を赤外透過フィルタ、ダイクロイックプリズムなどの分光手段で取出し、距離検出器[イメージインテンシファイア]、ＣＣＤカメラ、信号処理手段を介して被写体までの距離を求めても構わない。

さらに、被写界深度の表示方法は、撮像カメラからの被写体に対する撮像画像を撮像すると共に、前記撮像画像に対応する前記被写体までの距離を検出する第１ステップと、検出した前記被写体までの距離と、前記撮像カメラのレンズ倍率および焦点距離ならびに前記撮像カメラの絞り値とを含むレンズパラメータと、あらかじめ入力された前記撮像カメラの許容錯乱円のサイズと、前記撮像画像とに基づいて、前記撮像画像における被写界深度の範囲を明暗により示すマスク画像を生成する第２ステップと、前記撮像画像の高域周波数成分を検出すると共に、検出した高域周波数成分のゲインの調整を行う第３ステップと、前記ゲインの調整を行なった画像と、前記マスク画像と、前記撮像画像とに基づいて合成画像を作成すると共に、前記撮像カメラの表示画面に出力する第４ステップと、を含むものとした。

このような被写界深度の表示方法によれば、撮像カメラの撮像画像に対応して例えば補助カメラなどにより被写体までの距離を検出し、かつ、被写界深度を算出するために必要な他のパラメータを用いてマスク画像を生成する。そして、撮像画像に対して、ＨＰＦ（Ｈｉｇｈ Ｐａｓｓ Ｆｉｌｔｅｒ）やアンシャープマスク等の処理、あるいは、任意の周波数を持ち上げるためのＢＰＦ（Ｂａｎｄ Ｐａｓｓ Ｆｉｌｔｅｒ）などを用いて高域周波数成分を検出する処理を行う。さらに、検出された（高域）周波数成分に対して、高域信号成分を増幅させる。そして、遅延させたカメラの撮像画像、ゲイン調整された画像、マスク画像を用いて、マスク画像から高域周波数を強調する距離の領域を選び、キー信号となるゲインの幅を示すマスクを生成する。さらに、そのマスクを用いて、付加するゲイン調整された高域周波数信号に対応する画像にマスキングし、マスキングされたその画像（信号）を撮像カメラの撮像画像に付加して出力する。

本発明は、つぎに示す優れた効果を奏するものである。
請求項１、５に記載の発明によれば、被写体が表示された表示画面上において被写界深度の範囲を示すことができるため、撮像画面のピント位置や、画角に対する最適な被写体の撮像を容易とする。特に、走査線数がハイビジョンの走査線数を越える高精細画像あるいは超高精細画像を撮像するときに、操作者の肉眼では、ピントが合っているかどうか分かり難い状態となるため、被写界深度の範囲が表示画面上に表示されることで的確な撮像操作を行なうことが可能となる。

請求項２、６に記載の発明によれば、被写界深度の範囲を除く部分においてゲイン調整することで、あたかもピントの合っている範囲を広げた状態として撮像画像および合成画像を作成することができるため、過度の高周波補正をすることなく、ゲイン調整される前である本来の範囲より被写界深度の範囲を広げて示すことが可能になる。

請求項３に記載の発明によれば、マスク画像からキー信号を作成し、そのキー信号によりマスク画像およびゲイン調整された画像ならびに撮像画像から、被写界深度の範囲を広げた状態の合成画像を合成することができるため、過度の高周波補正をすることがない。

請求項４に記載の発明によれば、撮像カメラと両補助カメラとのレンズおよび絞りが連動して操作できるため、撮像対象とする被写体を、撮像カメラおよび両補助カメラが常に同じズーム状態、同じ絞り状態として撮像することができ、被写体に対する距離を正確に取得することができる。

以下、本発明を実施するための最良の形態を、図面を参照しながら説明する。図１は撮像装置の全体を模式的に示すブロック図、図２は撮像装置の外観を示す斜視図である。
図１および図２に示すように、撮像装置１は、被写体を撮像する撮像カメラ２と、第１補助カメラ２Ａと、第２補助カメラ２Ｂと、レンズパラメータ検出ユニット（レンズパラメータ検出手段）３と、撮像カメラ２および補助カメラ２Ａ，２Ｂとが撮像する被写体の撮像条件を一致させるための連動機構４と、奥行き距離検出回路（奥行き距離検出手段）５と、マスク画像生成回路（マスク画像生成手段）６と、遅延調整回路（遅延調整手段）７と、画像合成回路（画像合成手段）８と、表示装置９とを備えている。

撮像カメラ２は、ここでは、被写体に対して動画を撮像することができるデジタルカメラであり、レンズのズーム、絞り（アイリス）などの撮像に必要な動作を、図示しない操作ボタン（操作信号）を操作することで、連動機構４を介してズーム調整リングおよび絞り調整リングを回動させることができるように構成されている。なお、ここでは、ハイビジョンあるいはスーパーハイビジョンで使用される高精細画像または超高精細画像を撮像するカメラとして説明するが、特に限定されるものではない。この撮像カメラ２で撮像された撮像画像Ｐは、マスク画像生成回路６と、遅延調整回路７とに出力される。

レンズパラメータ検出ユニット３は、撮像カメラ２においてズーム調整を行なうためのレンズの移動（ズーム状態）と、絞りである絞り値（Ｆ値）と、レンズの焦点距離とを検出するものである。このレンズパラメータ検出ユニット３は、レンズが移動したときのレンズの移動量（移動距離）から検出できるレンズ倍率と、絞りを変化させるときの絞り値であるＦ値を、電気的あるいは機械的に検出し、さらに、検出したレンズ倍率およびＦ値からレンズの焦点距離を検出してマスク画像生成回路６に出力している。

第１補助カメラ２Ａおよび第２補助カメラ２Ｂは、カメラヘッドのレンズの近傍に所定間隔をあけて設けられており、ここでは設置面に対して平行になるように設置されている。この補助カメラ２Ａ,２Ｂは、撮像カメラ２で撮像した被写体に対する撮像画像Ｐと同じ撮像画像を撮像できるように構成されている。ここでは、補助カメラ２Ａ，２Ｂは、一例として、機械的な連動機構４を介して、撮像カメラ２のレンズのズーム状態（移動位置）および絞り状態（アイリス値）に合わせている。

図２および図１に示すように、連動機構４は、撮像カメラ２のズーム調整を行なうためにレンズの位置を移動させるためのズーム調整リングおよび絞り調整を行なうための絞り調整リングの外周にそれぞれ設けた主歯車としてのズーム用歯車４ａおよび絞り用歯車４ｂと、このズーム調整用歯車４ａに対応する介在歯車４ｃ，４ｄを介して連動する、補助カメラ２Ａ，２Ｂのズーム調整リングの外周にそれぞれ設けた第２歯車４ｇ，４ｈと、絞り用歯車４ｂに対応する介在歯車４ｅ，４ｆを介して連動する、補助カメラ２Ａ，２Ｂの絞り調整リングの外周にそれぞれ設けた第３歯車４ｉ，４ｊと、を備えている。そして、この連動機構４は、図示しないモータなどの駆動手段を介してズーム用歯車４ａおよび絞り用歯車４ｂを別々に独立して回動させることで、撮像カメラ２のズーム調整および絞り調整を行なうと共に、補助カメラ２Ａ，２Ｂのズーム調整および絞り調整を、撮像カメラ２に連動させることができるものである。

なお、連動機構４は、ここでは、一例として、ズーム調整リングおよび絞り調整リングの外周に設けた各歯車の構成として説明したが、レンズ調整リングおよび絞り調整リングを、各々駆動する駆動モータおよびその駆動モータを制御する制御手段によって連動する構成であっても構わないものである。

補助カメラ２Ａ，２Ｂで撮像された撮像画像（補助カメラの映像信号）は、奥行き距離検出回路５に出力される。奥行き距離検出回路５は、ここでは、補助カメラ２Ａ，２Ｂの撮像画像から視差を用いて被写体までの距離を検出している。ここで、視差を利用して被写体までの距離を検出するための説明を図３を参照して行なう。図３は、補助カメラを用いて被写体を撮像した状態を模式的に示す模式図である。

図３に示すように、補助カメラ２Ａ，２Ｂは、互いに間隔をあけて設置されていることから、撮像された撮像画像のそれぞれを合わせて比較すると、視差を生じる状態となっている。そのため、例えば、任意の被写体点Ｐ（ｘ，ｙ）を補助カメラ２Ａ，２Ｂで撮像したときに、補助カメラ２Ａ，２Ｂにおいて、光軸間（レンズ中心間）をｄとし、そのときの焦点距離をｆ_subとし、また、補助カメラ２Ａ，２Ｂの点Ｐに対する像点をＰ１，Ｐ２とし、光軸から像点Ｐ１，Ｐ２までのずれ量をＹ１，Ｙ２とすると、その被写体とみなす点Ｐまでの距離ａは、ａ＝（ｆ_sub・ｄ）／（Ｙ２−Ｙ１）として表すことができる。なお、奥行き距離検出回路５には、あらかじめ「ｄ」「ｆ_sub」の値が入力されている。
奥行き距離検出回路５により検出された被写体までの距離は、距離情報としてマスク画像生成回路６に出力される。

図１および図４に示すように、マスク画像生成回路６は、奥行き距離検出回路５で検出された被写体までの距離（距離情報）と、レンズパラメータ検出ユニット３からのレンズパラメータと、撮像カメラ２で撮像された撮像画像Ｐと、あらかじめ入力されている許容錯乱円のサイズ（情報）とにより被写界深度の範囲を明暗として表示するマスク画像ＭＰを作成するものである。撮像カメラ２の受光部（撮像部）である固体撮像素子を用いて撮像するときには、その固体撮像素子の画素サイズが、ほぼ許容錯乱円に相当することから、マスク画像生成回路６には、画素サイズ（直径）が入力されることになる。

このマスク画像生成回路６は、許容錯乱円のサイズ（画素サイズ）および絞り値とからレンズの焦点距離を（図示しない算出部を介して）算出し、被写界深度を計算するための式（１）、式（２）を用いて被写界深度の範囲を（図示しない算出部が）算出している。
ｄ１＝（δ・Ｆ_NO・ａ²）／（ｆ²−δ・Ｆ_NO・ａ） 式（１）
ｄ２＝（δ・Ｆ_NO・ａ²）／（ｆ²＋δ・Ｆ_NO・ａ） 式（２）
なお、式中において、「ａ」はレンズから被写体までの距離、「ｆ」はレンズの焦点距離、「Ｆ_NO」は絞り状態（絞り値）を示すＦ値、「δ」は光学像の広がりが許される許容錯乱円（ここでは画素サイズ）の直径である（図９参照）。

そして、マスク画像生成回路６は、被写界深度の範囲および被写体までの距離を明暗により示すマスク画像ＭＰを生成する。このマスク画像ＭＰは、ここでは、例えば８ビットの２５６階調によるグレースケールとして被写界深度の範囲と距離により、あらかじめ設定された段階的な濃淡で明暗を示している。すなわち、図４に示すように、白のような明るいトーンである範囲ではピントがあっており、色が濃いグレーとなるトーンである範囲となるにしたがって、ピントの合っている範囲から遠くなるように設定されている。

なお、マスク画像生成回路６は、図１および図６に示すように、表示装置９に対して、インジケータ表示のように、あらかじめ設定された奥行き距離を示すインジケータ画像ＩＰを、図示しない操作ボタンなどの操作により、表示装置９に切り替えて表示させる構成としても構わない。
このマスク画像生成回路６により生成されたマスク画像ＭＰは、画像合成回路８に出力される。

遅延調整手段としての遅延調整回路７は、撮像カメラ２により撮像された撮像画像Ｐの出力を遅延させることにより、マスク画像形成回路６で生成されたマスク画像とのタイミング（同期）を調整するためのものである。この遅延調整回路７で遅延された撮像画像Ｐは、画像合成回路８に出力される。

画像合成回路８は、マスク画像ＭＰおよび撮像画像Ｐを合成して、撮像画像Ｐに被写界深度の範囲を示した合成画像ＣＰを作成するものである。この画像合成回路８は、マスク画像ＭＰに基づいてキー信号を作成し、そのキー信号により、マスク画像ＭＰの被写界深度の範囲内および範囲外に対して撮像画像Ｐに、二値化した領域マスクをかけた状態とする。つまり、被写界深度の範囲外では、図４に示すように、二値化した領域マスクをかけて撮像画像に合成し、かつ、被写界深度の範囲内では、領域マスクがかかっていない状態として、合成画像ＣＰを作成している。なお、二値化した領域マスクは、マスク画像ＭＰのグレースケールの情報を利用して形成される。画像合成回路８により作成された合成画像ＣＰは、表示装置９に出力される。そして、画像合成回路８に入力して合成される前の撮像画像Ｐは、録画するための図示しない記録手段側に出力される。

表示装置９は、画像合成回路８から出力された合成画像ＣＰを表示するものであり、液晶画面あるいはＣＲＴ画面などにより構成されるものである。なお、表示装置９は、図２では、カメラマンが視認する撮像カメラ２のファインダとして構成される。

以上のように構成された撮像装置１では、つぎのように作動する。
（ステップ１）
［撮像画像を撮像すると共に、前記被写体までの距離を検出するステップ］
はじめに、図１および図４に示すように、撮像カメラ２により被写体を撮像すると共に、その被写体を補助カメラ２Ａ，２Ｂにより撮像する。このとき、撮像カメラ２と補助カメラ２Ａ，２Ｂとが連動機構４を介してズームおよび絞りを同じ状態として画像を撮像している。そして、撮像装置１では、補助カメラ２Ａ，２Ｂで撮像した画像から奥行き距離検出回路５が、被写体までの距離を検出して、マスク画像生成回路６に距離情報として出力する（ここでは補助カメラ２Ａ，２Ｂから視差により被写体までの距離を求めたが、ＬＥＤなどの信号発生器から被写体に近赤外光を照射し、その反射した近赤外光を撮像カメラ２のレンズから取り込み、レンズ赤外透過フィルタ、ダイクロイックプリズムなどの分光手段で取出し、距離検出器[イメージインテンシファイア]、ＣＣＤカメラ、信号処理手段を介して被写体までの距離[距離画像]を求めても構わない）。

（ステップ２）
［マスク画像を生成するステップ］
さらに、撮像装置１では、マスク画像生成回路６により被写体までの距離と、撮像カメラ２のレンズパラメータと、あらかじめ入力された撮像カメラ２の許容錯乱円のサイズ情報と、撮像画像Ｐとに基づいて、撮像画像Ｐにおける被写界深度の範囲および被写体までの距離を明暗により示すマスク画像ＭＰを生成する。マスク画像は、例えば、被写界深度の範囲において中央の位置となる距離に対応する画素を「０」とし、それより遠くなるあるいは近くなるにつれて画素値を増すことで作成される。

（ステップ３）
［合成画像を生成するステップ］
そして、撮像装置１では、生成したマスク画像ＭＰと、撮像画像Ｐとのタイミングを遅延調整回路７が同期させ、画像合成回路８が、マスク画像ＭＰと撮像画像Ｐとを合成して合成画像ＣＰを作成すると共に、前記撮像カメラ２の表示装置９に出力している（ステップ３）。なお、図４に示すように、表示装置９に表示される合成画像ＣＰでは、被写界深度の範囲と範囲外とが二値化した領域を示す領域マスクをかけた状態として表示される。

そのため、撮像装置１では、撮像カメラ２および補助カメラ２Ａ，２Ｂにより被写体を撮像すると、図４に示すように、撮像画像Ｐとマスク画像ＭＰとを合成して被写界深度の範囲を示す合成画像ＣＰとして表示装置９に表示するため、カメラマンは、表示装置９に表示される合成画像ＣＰにより常にピントの合った状態を容易に把握することができる状態となる。特に、ハイビジョンの走査線数を越える高精細画像および超高精細画像による画像（映像）を撮像する場合に、カメラマンは、画面上でどの範囲がピントの合っている範囲であるかを確実に判断できるようになる。

なお、撮像装置１では、図５に示すように、操作ボタン（図示せず）により画面を切り替える操作をすることで、合成画像ＣＰに被写界深度の実際の距離を数値により画面上に表示させても良い。距離を数値により画面上に表示させるときには、画像合成回路８が、マスク画像ＭＰが持っている距離情報および被写界深度の範囲を用いて、あらかじめ用意されている表示エリアＳに対して被写界深度の範囲を示す数値を文字列として合成し、合成画像ＣＰに表示することができるものである。

また、操作ボタン（図示せず）により画面を切り替える操作をすることで、図６に示すように、インジケータ画像ＩＰを合成画像ＣＰと切り替えて表示させても構わない。なお、インジケータ画像ＩＰは、撮像画像Ｐの被写界深度の範囲とピントから外れている範囲を距離に応じて色分けして示すものである。

つぎに、図７および図８を参照して、本発明の他の実施の形態について説明する。図７は他の構成における撮像装置の全体を模式的に示すブロック図、図８は、他の構成における撮像装置で合成画像を合成する状態を模式的に示す模式図である。なお、図１ないし図４ですでに説明した構成は、同じ符号を付して説明を省略する。

図７に示すように、撮像装置２０は、撮像カメラ２と、第１および第２補助カメラ２Ａ，２Ｂと、レンズパラメータ検出ユニット３と、奥行き距離検出回路５と、マスク画像生成回路６と、遅延調整回路７と、切替スイッチ１０と、高域周波数成分検出回路（高域周波数成分検出手段）１１と、ゲイン調整回路（ゲイン調整手段）１２と、画像合成回路８と、表示装置９と、を備えている。

切替スイッチ１０は、撮像カメラ２からの撮像画像Ｐを高域周波数成分検出回路１１に入力させるか否かを切り替えるためのものである。この切替スイッチ１０は、カメラマンなどの操作者が操作しやすいように、カメラヘッド側の図示しない所定位置に設けられた切替ボタン（図示せず）の操作により開放している端子の接続離脱を操作するように構成されている。この切替スイッチ１０の端子を切り替えることで、高域周波数成分検出回路１１およびゲイン調整回路１２により補償処理が行われ、被写界深度の範囲を広げた状態の画像を出力することができる状態になるように構成されている。

高域周波数成分検出回路１１は、撮像画像Ｐを空間周波数領域から周波数領域に変換して、所定周波数以上の高域周波数成分を検出するものである。この高域周波数成分検出回路１１では、高速フーリエ変換ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）により周波数成分から変波数成分に変換して処理したり、また、ハイパスフィルタによる処理をしたり、あるいはバンドパスフィルタなどにより、検出したい高域周波数成分のみをフィルタリングしている（なお、アンシャープマスク処理などであっても良い）。高域周波数成分検出回路１１により検出された高域周波数成分は、ゲイン調整回路１２に出力される。

ゲイン調整回路１２は、入力された高域周波数成分に対して所定レベルのゲインを調整するためのものである。このゲイン調整回路１２では、ゲイン調整されるレベルが撮像カメラ２側のカメラヘッド部分に設けた調整ツマミ（図示せず）を調整することで自在に変えられるように構成されている。なお、ゲイン調整回路１２で行われるゲイン調整は、あらかじめ設定されたレベルにゲイン調整されるように構成されても良い。ゲイン調整回路１２によりゲインを調整された信号は、画像合成回路８に出力される。

画像合成回路８は、遅延調整回路７からの撮像画像Ｐと、ゲイン調整回路１２からのゲイン調整された信号（画像）と、マスク画像生成回路６からのマスク画像ＭＰに基づいて合成画像を合成するものである。この画像合成回路８は、ここでは、キー信号作成部８ａを備えている。キー信号作成部８ａは、マスク画像ＭＰが持っている距離情報および被写界深度の範囲についての情報により、ゲイン調整した画像を付加する領域を決めるためのキー信号を作成するものである。

そして、画像合成回路８は、作成されたキー信号に基づいて、ゲイン調整された画像の被写界深度の範囲を除き、その被写界深度の範囲に隣接する拡張したい部分を選択し、その他の部分では撮像画像Ｐから選択してゲイン調整された画像と撮像画像Ｐとをはじめに合成する。さらに、画像合成回路８は、ゲイン調整された画像と撮像画像Ｐとを合成した画像に、マスク画像ＭＰを合成することで、撮像画像Ｐに被写界深度の範囲を広げて表示した合成画像ＣＰ′を作成している。

このとき、画像合成回路８では、マスク画像ＭＰを合成するときに、キー信号に対応する部分につては、被写界深度の範囲となるように明暗で示す「明」の部分を広げた範囲として合成している。すなわち、図８に示すように、被写界深度の範囲と範囲外とが二値化した領域を示す領域マスクをかけた状態として表示される。

なお、画像合成回路８は、マスク画像ＭＰを合成する前の状態の画像を録画用として出力している。こうすることで、被写界深度の範囲が広がった状態の画像を、図示しない記録手段側に記録するようにしている。また、画像合成回路８は、切替スイッチ１０が切り替えられ端子が離脱した状態では、図１ですでに説明した被写界深度の範囲を表示する合成画像ＣＰを出力するものである。

以上のように構成された撮像装置２０は、つぎのように作動する。
（ステップ１）
［撮像画像を撮像すると共に、被写体までの距離を検出するステップ］
図７および図８に示すように、はじめに、撮像カメラ２から被写体を撮像すると共に、補助カメラ２Ａ，２Ｂにより被写体を撮像する。そして、撮像装置２０では、補助カメラ２Ａ，２Ｂにより被写体までの距離（距離情報）を奥行き距離検出回路５が検出する（ここでは補助カメラ２Ａ，２Ｂから視差により被写体までの距離を求めたが、ＬＥＤなどの信号発生器から被写体に近赤外光を照射し、その反射した近赤外光を赤外透過フィルタ、ダイクロイックプリズムなどの分光手段で取出し、距離検出器[イメージインテンシファイア]、ＣＣＤカメラ、信号処理手段を介して被写体までの距離を求めても構わない）。

（ステップ２）
［マスク画像を生成するステップ］
さらに、撮像カメラ２０では、検出した被写体までの距離と、撮像カメラ２のレンズ倍率および焦点距離ならびに撮像カメラ２の絞り値を含むレンズパラメータと、あらかじめ入力された撮像カメラ２の許容錯乱円のサイズ情報と、撮像カメラ２の撮像画像Ｐとに基づいて、マスク画像生成回路６がマスク画像ＭＰを生成する。マスク画像は、例えば、被写界深度の範囲において中央の位置となる距離の画像を「０」とし、それより遠くなるあるいは近くなるにつれて画素値を増すことで作成される。

（ステップ３）
［ゲイン調整を行なうステップ］
また、撮像装置２０では、切替スイッチ１０を介して、高域周波数成分検出回路１１に撮像画像Ｐが入力され、この高域周波数成分検出回路１１より高域周波数成分を検出し、ゲイン調整回路１２によりゲインを調整して画像合成回路８に出力する。

（ステップ４）
［合成画像を生成するステップ］
そして、撮像装置２０では、画像合成回路８において、キー信号作成部８ａがマスク画像ＭＰからキー信号を作成し、そのキー信号に基づいて撮像画像Ｐとゲイン調整された画像とを合成し、かつ、マスク画像ＭＰと合成することで、被写界深度の範囲の広がった状態の合成画像ＣＰ′を表示装置９に出力している。なお、表示装置９に表示される合成画像ＣＰ′では、被写界深度の範囲と範囲外とが二値化した領域を示す領域マスクをかけた状態として表示される。
そのため、特に、ハイビジョンを越える走査線数となる高精細画像および超高精細画像による画像（映像）を撮像する場合に、カメラマンは、画面上でどの範囲がピントの合っている範囲であるかを確実に判断できるようになる。

本発明は、前記実施の形態の記載のみに限定されるものではなく、例えば、図７で示すゲイン調整回路１２の出力と、マスク画像生成回路６からの出力とを、第２の切替スイッチ（図示せず）を設けることで出力を切り替える構成としても構わない。

また、補助カメラ２Ａ、２Ｂを用いて被写体までの距離を検出したが、赤外線などの光線を被写体に照射しその反射波を利用して距離を検出するなど、他の距離検出手段を用いても構わない。したがって、図１および図７で示す奥行き情報検出手段５は、補助カメラ以外の距離検出手段を使用したときには、その構成に応じて距離を検出する対応となり、例えば、前記した近赤外光を利用する場合では、近赤外光の信号発生器、赤外透過フィルタ、ダイクロイックプリズムなどの分光手段、距離検出器[イメージインテンシファイア]、ＣＣＤカメラ、信号処理手段により被写体までの距離を検出することになる。

本発明に係る撮像装置の全体を模式的に示すブロックである。 本発明に係る撮像装置の外観を示す斜視図である。 本発明に係る撮像装置の第１および第２補助カメラを用いて被写体を撮像する状態を模式的に示す模式図である。 本発明に係る撮像装置で合成画像を合成する状態を模式的に示す模式図である。 本発明に係る撮像装置の表示装置で表示した合成画像の一例を示す模式図である。 本発明に係る撮像装置の表示装置で表示した画面を示す模式図である。 本発明に係る他の構成における撮像装置の全体を模式的に示すブロック図である。 本発明に係る他の構成における撮像装置で合成画像を合成する状態を模式的に示す模式図である。 本発明における被写界深度の範囲を説明するための模式図である。

符号の説明

１、２０ 撮像装置
２ 撮像カメラ
２Ａ 第１補助カメラ
２Ｂ 第２補助カメラ
３ レンズパラメータ検出ユニット（レンズユニット検出手段）
４ 連動機構
４ａ ズーム調整歯車（主歯車）
４ｂ 絞り調整歯車（主歯車）
４ｃ，４ｄ 介在歯車
４ｅ，４ｆ 介在歯車
４ｇ，４ｈ 第２歯車（従動歯車）
４ｉ，４ｊ 第３歯車（従動歯車）
５ 奥行き距離検出回路（奥行き距離検出手段）
６ マスク画像生成回路（マスク画像生成手段）
７ 遅延調整回路（遅延調整手段）
８ 画像合成回路（画像合成手段）
８ａ キー信号作成部
９ 表示装置
１０ 切替スイッチ
１１ 高域周波数成分検出回路（周波数成分検出手段）
１２ ゲイン調整回路（ゲイン調整手段）
Ｐ 撮像画像
ＭＰ マスク画像
ＣＰ 合成画像
ＣＰ′ 合成画像（ゲイン調整後）

Claims (6)

1. 被写体を撮像する撮像カメラと、この撮像カメラの絞り、ズームおよびフォーカスに連動させて前記被写体を撮像する第１補助カメラおよび第２補助カメラと、を備える撮像装置であって、
   前記撮像カメラの絞り値および焦点距離ならびに前記撮像カメラのレンズ倍率を含むレンズパラメータを検出するレンズパラメータ検出手段と、
   前記第1補助カメラおよび前記第２補助カメラで撮像した各画像に基づいて前記撮像カメラのレンズから前記被写体までの距離を検出する奥行き距離検出手段と、
   この奥行き距離検出手段により検出した被写体までの距離と、前記レンズパラメータと、あらかじめ入力された前記撮像カメラの許容錯乱円のサイズと、前記撮像カメラで撮像した撮像画像とに基づいて、前記撮像画像における被写界深度の範囲を明暗により示すマスク画像を生成するマスク画像生成手段と、
   このマスク画像生成手段により生成されたマスク画像と、前記撮像カメラで撮像した撮像画像との同期の調整を行なう遅延調整手段と、
   この遅延調整手段により同期の調整を行なった撮像画像、および、前記マスク画像生成手段により生成されたマスク画像を合成して合成画像を生成すると共に、その合成画像を出力する画像合成手段と、
   を備えることを特徴とする撮像装置。
2. 被写体を撮像する撮像カメラと、この撮像カメラの絞り、ズームおよびフォーカスに連動させて前記被写体を撮像する第１補助カメラおよび第２補助カメラと、を備える撮像装置であって、
   前記撮像カメラの絞り値および焦点距離ならびに前記撮像カメラのレンズ倍率を含むレンズパラメータを検出するレンズパラメータ検出手段と、
   前記第１補助カメラおよび前記第２補助カメラで撮像した各画像に基づいて前記撮像カメラのレンズから前記被写体までの距離を検出する奥行き距離検出手段と、
   この奥行き距離検出手段により検出した被写体までの距離と、前記レンズパラメータと、あらかじめ入力された前記撮像カメラの許容錯乱円のサイズと、前記撮像カメラで撮像した撮像画像とに基づいて、前記撮像画像における被写界深度の範囲を明暗により示すマスク画像を生成するマスク画像生成手段と、
   このマスク画像生成手段により生成されたマスク画像と、前記撮像カメラで撮像した撮像画像との同期の調整を行なう遅延調整手段と、
   前記撮像カメラからの撮像画像を入力して高域周波数成分を検出する高域周波数成分検出手段と、
   この高域周波数成分検出手段により検出された高域周波数成分のゲインの調整を行なうゲイン調整手段と、
   このゲイン調整手段によりゲインの調整された画像と、前記遅延調整手段により同期の調整を行なった撮像画像と、前記マスク画像生成手段により生成されたマスク画像とに基づいて、合成画像を生成すると共に、その合成画像を出力する画像合成手段と、
   を備えることを特徴とする撮像装置。
3. 前記画像合成手段は、前記マスク画像の被写界深度の範囲に基づいて、キー信号を作成するキー信号作成部を備え、前記キー信号に基づいて、ゲイン調整された画像と、同期の調整を行なった前記撮像画像と、前記マスク画像とを合成することを特徴とする請求項２に記載の撮像装置。
4. 前記撮像カメラのレンズを光軸方向に移動させるためのズーム調整リングおよび絞りを調整するための絞り調整リングにそれぞれ設けた主歯車と、この主歯車に噛合する介在歯車を介して、前記両補助カメラのレンズのズーム調整リングおよび絞り調整リングにそれぞれ設けた従動歯車と、を備えることを特徴とする請求項１または請求項２に記載の撮像装置。
5. 撮像カメラからの被写体に対する撮像画像を撮像すると共に、前記撮像画像に対応する前記被写体までの距離を検出する第１ステップと、
   検出した前記被写体までの距離と、前記撮像カメラのレンズ倍率および焦点距離ならびに前記撮像カメラの絞り値を含むレンズパラメータと、あらかじめ入力された前記撮像カメラの許容錯乱円のサイズと、前記撮像画像とに基づいて、前記撮像画像における被写界深度の範囲を明暗により示すマスク画像を生成する第２ステップと、
   生成した前記マスク画像と、前記撮像画像とを合成して合成画像を作成すると共に、表示画面に出力する第３ステップと、
   を含むことを特徴とする被写界深度の表示方法。
6. 撮像カメラからの被写体に対する撮像画像を撮像すると共に、前記撮像画像に対応する前記被写体までの距離を検出する第１ステップと、
   検出した前記被写体までの距離と、前記撮像カメラのレンズ倍率および焦点距離ならびに前記撮像カメラの絞り値を含むレンズパラメータと、あらかじめ入力された前記撮像カメラの許容錯乱円のサイズと、前記撮像画像とに基づいて、前記撮像画像における被写界深度の範囲を明暗により示すマスク画像を生成する第２ステップと、
   前記撮像画像の高域周波数成分を検出すると共に、検出した高域周波数成分のゲインの調整を行う第３ステップと、
   前記ゲインの調整を行なった画像と、前記マスク画像と、前記撮像画像とに基づいて合成画像を作成すると共に、表示画面に出力する第４ステップと、
   を含むことを特徴とする被写界深度の表示方法。
   

Images