JP2017125985A - 撮像装置 - Google Patents

Abstract

【課題】撮像装置のフォーカス補助機能の操作性向上。【解決手段】被写体撮影画像と同時に位相差情報取得用画像を出力し、ライン毎に時間差を設けて電荷をリセットし所定時間経過後に該ラインを読み出す事で露光時間を制御するローリングシャッタ制御を備えた撮像素子と、一フレーム時間単位で該撮像素子からフレーム画像を形成する為の画像を読み出し、該一フレーム時間単位で画像の更新を行う第一の読み出し手段と、該撮像素子から該主被写体領域のみを読み出す第二の読み出し手段と、焦点を合わせる主被写体領域を設定する主被写体領域設定手段と、主被写体領域の位相差情報を取得しデフォーカス量を算出するデフォーカス量算出手段を備え、該一フレーム時間内で該第二の読み出しの為の露光時間経過後に該第二の読み出しを行い、主被写体領域のデフォーカス量を算出し、該第二の読み出しの露光時間と同じになるように、露光時間を制御して第一の読み出しを行い主被写体領域のデフォーカス量を算出することを特徴とする。【選択図】図１

Description

本発明は、被写体画像と、位相差情報取得用画像を同時に読み出すことが可能なマトリクス状に配置した画素を順次に読み出す撮像素子を用いたビデオカメラ等の撮像素子の読み出し制御及びフォーカス機能の制御に関する。

従来のビデオカメラ等のフォーカス制御には、撮像素子より出力される画像の周波数成分を検出して、フォーカス位置を細かく動かし適切なフォーカス位置の検出を行うＴＶフォーカス制御がある。

一方、近年の撮像装置においては、フォーカス動作の高速化及び合焦精度の向上を実現する手段として、位相差取得用画像と被写体画像を同時に取得可能な撮像素子を備えることでフォーカス性能を向上させている（特許文献１参照）。

上記デフォーカス量から主被写体領域がどの程度フォーカスがずれているのかをユーザーに示すマニュアルフォーカスの補助機能であるフォーカスアシスト機能がある。

特開２０１４−２０６５６２号公報

しかしながら、主被写体の動作が早い場合、フォーカス動作が早い場合、更には低フレームレートのモードでは主被写体領域のデフォーカス量の更新が遅れる傾向があり、フォーカスアシストの精度が落ちてしまうという懸念があった。

上記の課題を解決するために、本発明に係る撮像装置は、
被写体撮影画像と同時に位相差情報取得用画像を出力し、ライン毎に時間差を設けて電荷をリセットし所定時間経過後に該ラインを読み出す事で露光時間を制御するローリングシャッタ制御を備えた撮像素子と、一フレーム時間単位で該撮像素子からフレーム画像を形成する為の画像を読み出し、該一フレーム時間単位で画像の更新を行う第一の読み出し手段と、該撮像素子から該主被写体領域のみを読み出す第二の読み出し手段と、焦点を合わせる主被写体領域を設定する主被写体領域設定手段と、主被写体領域の位相差情報を取得しデフォーカス量を算出するデフォーカス量算出手段を備え、該一フレーム時間内で該第二の読み出しの為の露光時間経過後に該第二の読み出しを行い、主被写体領域のデフォーカス量を算出し、該第二の読み出しの露光時間と同じになるように露光時間を制御して第一の読み出しを行い、主被写体領域のデフォーカス量を算出することを特徴とする。

本発明に係る撮像装置によれば、１フレーム期間内で撮像素子からの通常読み出しとは別に、主被写体領域のみ撮像素子から読み出す事で主被写体領域のデフォーカス量を１フレーム期間で複数回更新できるのでフォーカスアシスト機能の精度を向上させることが可能となる。

実施例１における全体構成図 実施例１、２における撮像素子を示す図 実施例１、２における撮像素子読み出しタイミングを示す図 実施例１、２における主被写体と合焦インジゲータを示す図 実施例１、２における撮像素子読み出しタイミングを示す図 実施例１、２における撮像素子読み出しタイミングを示す図 実施例２における全体構成図 実施例２におけるフローチャート

以下、本発明を実施するための形態を図面に基づいて説明する。

本発明の第一の実施形態を説明する。

図１は本発明における実施形態であり、被写体画像を出力する撮像素子の各画素に瞳分割による位相差情報取得用画像も出力する撮像素子を用いた撮像装置の構成図である。

１００は被写体像からの光量を収束、及び焦点を合わせるためのフォーカス制御機構、ズーム機構が組み込まれたレンズ群であり、ＣＰＵ（後述）により制御される。

１０１はＣＰＵにより制御され、撮像素子（後述）に入射される光量を可変する為の絞り部である。

１０２はＣＰＵに制御されるＣＭＯＳセンサ等の撮像素子で、レンズを抜けた被写体象の光を電気信号に変換する為の半導体撮像素子であり、前述したように位相差情報取得用画像と画像データを出力する。

尚、後述するが、位相差情報取得用画像は１０２の撮像素子の各画素を瞳分割によるＬ像及びＲ像であり、Ｌ像とＲ像を加算するとその画素の出力レベルすなわち画像データ（ＲＡＷデータ）となる。

１０３は画像処理ＩＣであり、主に位相差情報算出部／画像処理部（後述）／撮像処理部（後述）で構成される。

１０４はＣＰＵ（後述）により制御され、撮像素子より出力される位相差情報取得用画像であるＬ像及びＲ像より、デフォーカス量を算出し任意のタイミングでデフォーカス量を算出する位相差情報算出部である。

１０５は１０２の撮像素子より出力されるデータより、画像情報を生成しゲイン、クランプ、γ、アパーチャ、カラーバランス等の画像処理を行う画像処理部である
１０６は１０５の画像処理部より出力される画像データから、出力及び記録に適したフォーマットに変換する現像処理部である。

１０７は１０６の撮像処理部より出力される動画等を特定のフレームレートで記録する記録部、
１０８は１０６の撮像処理部より出力される画像を表示し、さらに任意のフォーカス領域がどの程度フォーカスがあっているかユーザーに示すためのＧＵＩであるフォーカスエイド表示が出力される。

１０９はユーザーが操作する操作部であり様々な設定を行う為のもので、本実施例では特に１００のフォーカス部を動作させる為のものであり、ＣＰＵを介してレンズのフォーカス駆動を行う
１１０はあらゆる制御を司るＣＰＵであり、撮像素子の領域読み出し設定、タイミング設定、位相差情報算出部のデフォーカス量により前述したＧＵＩの設定を行う。

次に図２を用いて位相差情報取得用画像と画像データを出力する撮像素子１０２の説明をする。

１０２の撮像素子は図２に示すように、１つのマイクロレンズと、カラーフィルタに対して、２つのダイオードを備える事で一つの画素を構成しており、この画素がマトリクス状に配置されている。撮像素子１０２は、２つのフォトダイオードの出力信号を加算した本画像と、１つのフォトダイオードからの出力信号である片目画像Ｌが画像データとして出力される。すなわち本画像を画像処理部１０５に、本画像と片目画像Ｌの両方を、位相差情報算出部１０４にそれぞれ出力する。

尚、本実施例では、図２の２００に示すように、４Ｋに対応する４０９６×２１６０の画素で構成されているものとし、更に１１０のＣＰＵに制御され４０９６×２１６０の全体の画素のうちフォーカスをあわせる任意の領域（以後フォーカス領域）を出力することができる。

１１０のＣＰＵは所定の１０２の撮像素子に対してフレームレート、露光時間を設定し、任意の絞りに設定し、１０２の撮像素子に対する露光量を決定する。

１００のレンズを抜けた被写体光が２００の画素部に所定の露光時間照射され、１０３の画像処理ＩＣに画像データが出力される。先述した様に１０５の画像処理部には、本画像が入力されホワイトバランス、輪郭強調、ガンマ等の所定の画像処理が行われ、１０６の現像処理部へ入力される。１０６の現像処理部では現像処理（画像データ（ＲＧＢ）からＹＵＶへの変換）を行い、ユーザーガイド等のビットマップ表示を行う為の合成処理を行う。１０４の位相差情報算出部には本画像と片目画像Ｌの両方が入力され、本画像から片目画像の差分をとることで片目画像Ｒと片目画像Ｌを算出する。さらに片目画像Ｒと片目画像Ｌを比較する事で位相差情報（デフォーカス量）を算出する事で主要被写体の合焦度合を求める。

次に１０２撮像素子からの画像データの読み出しタイミングを図３を用いて説明する。

図３は１／６０［ｓ］の周期（６０ｆｐｓ）のモードで動作している読み出しタイミングであり、３００はＶＤ信号であり撮像素子に１／６０［ｓ］毎に入力される。

ＶＤ信号が入力されると所定の露光時間を満たす為に、撮像素子内部で３０１のリセット信号が出力され図３のＡから１ライン目、２ライン目・・・２１６０ライン目と図３のＢまでリセット信号が１ライン毎に出力される。リセット信号が出力されたタイミングで、所定ラインのフォトダイオードの電荷がリセットされ、露光が開始される。更に次のＶＤが出力されると図３の３０１の様に、撮像素子内部で読み出し信号が出力され、図３のＣから１ライン目、２ライン目・・・２１６０ライン目と図３のＤまで読み出し信号が１ライン毎に出力され、１０３の画像処理ＩＣに入力される。

尚、１１０のＣＰＵはリセットタイミングと読み出し領域を１０２の撮像素子に設定し、設定されたラインよりリセットを行う事で、図３の様に露光時間が決定され、所定の領域より読み出される。１０４の位相差情報算出部により求められたデフォーカス量は１０６の現像処理部に送信され、合焦度合いを示すインジゲータ（後述）を生成画像に重畳しフォーカスアシスト機能を実現する。

図４に、本実施例におけるフォーカスアシスト機能の一例を示す。

１０８の表示部には図４に示す様に現像処理部からの出力が表示され、ユーザーが任意に位置に選択する４００の主被写体部を枠表示し、４０１の様に合焦度合いを示すインジケータを表示する。

４０１のインジゲータは４０２〜４０３のデフォーカス量により動き、４０２は合焦時、４０３は主被写体の前方に焦点（前ピン）があるとき、４０４は後方に焦点があるとき（後ピン）であり、△マークの開き具合でボケ具合が認識できるようになっている。

次にフレームレートを低速にした場合の制御を説明する。

低フレームレートに設定するとインジケータの更新も遅くなるので、被写体の動きやマニュアルフォーカスの移動量によってはフォーカスが合わせにくくなる。１０９の操作部により、フレームレートを１／２４［ｓ］に設定すると１０２の撮像素子からの読み出しレートは１／２４［ｓ］になる。

図５に本実施例における１／２４［ｓ］の撮像素子からの読み出し制御を説明する。

図５の５００はＶＤ信号であり１／２４［ｓ］毎に、１０２の撮像素子に入力し、１１０のＣＰＵはフォーカス対象領域である主被写体部をセンサ読み出し位置として設定する。尚、主被写体部は先述した様に、ユーザーが設定する合焦度合いを知るべく設定される任意の画像領域（図４の４０１）であり、例えば５００×５００程度の領域である。

図５の５０１の様に、主被写体領域に相当するラインから１０２の撮像センサ内でリセット信号を出力し、主被写体部のみリセット動作を行い５０２の読み出し信号で主被写体部の読み出しを行う。この時露光時間Ａは全体画像の読み出しの露光時間Ｂと同じになるようにリセット信号を出力する様に制御する。読み出された主被写体部の画像は先述した様にデフォーカス量を算出し、４０１のインジケータを更新する。尚、主被写体部のみ画像更新を行うようにしても良い。

更に露光時間が長い場合の撮像素子からの読み出しを図６に示す。

読み出し周期が１／２４［ｓ］なので、本画像には最大１／２４［ｓ］の露光を行う事が可能となる。この場合所定の露光時間Ｂ［ｓ］となるようなタイミングである、６０１でリセット信号を１０２の撮像素子内で出力する。そして図６の様に露光時間Ａ［ｓ］経過後に、主被写体領域からの読み出しを６０２の読み出し信号を出力する事で読み出しをと共に、主被写体画像は１０５の画像処理部内のメモリ（不図示）に記憶する。更に先述した様に片目画像Ｌと片目画像Ｒを算出し、Ｂ／Ａ倍のゲインをかけてデフォーカス量を算出し４０１のインジケータを更新する。そして６０１のリセット信号より露光時間Ｂ［ｓ］経過後に、６０３の読み出し信号を出力し本画像を読み出す。尚、本実施例では主被写体の領域読み出しを本画像とは別に１回であるが、フレームレート等により、主被写体の領域読み出しを複数回行うようにしてもよい。またフレームレートが低い時だけでなく、通常時も行ってもよい。

主被写体部の片目画像Ｌと片目画像Ｒに対しては、６０２の読み出し信号より露光期間Ｃ［ｓ］が経過しているので、Ｂ／Ｃ倍のゲインをかけてデフォーカス量を算出し４０１のインジケータを更新する。また先述した１０５の画像処理部内のメモリに記憶してある露光時間Ａ［ｓ］経過後の主被写体の画像と、露光時間Ｂ［ｓ］経過後の主被写体分のそれぞれ対応する画像を加算する事で本画像の主被写体部の画像を構成する。

以上述べたように、低フレームレート時にはフォーカス領域である主被写体領域を複数回読む事で、被写体の動き、マニュアルフォーカスの動かしても主被写体部のインジケータは更新されるので合焦しやすくなる。更に露光時間が長い時には、本画像の露光中に主被写体部の読み出しを行い、画像出力は加算する事で画像の品位を保つことが可能となる。

次に本発明の第２の実施形態を図７を用いて説明する。

図７は実施例１の構成図に対して７１１のジャイロ部が存在し、その他は図１と同等であるので割愛する。

７１１は本体のブレを検出する為の角速度センサ等のジャイロ部であり、ＣＰＵ７１０に接続され、検出されたブレ量により７００のレンズ群の光学中心を補正する事で光学防振を実現する。尚、光学防振ではなく７０２の撮像素子からのセンサ読み出し領域、もしくは７０５の画像処理部による領域切り出しによる電子防振でも構わない。

次に図８のフローチャートを用いて、実際の動作を説明する。

先ずフロー８００で電源オンされると先述した様に、７０２の撮像素子から通常のセンサ読み出しを行い（フロー８０１）７０８の表示部に画像出力を行う。

フロー８０２ではユーザーによる、フォーカス領域である主被写体領域が設定されているかを判断し、設定されていればフロー８０３へ進み、設定されていなければ、８０１に戻り通常センサ読み出しを繰り返し行う。尚、通常センサ読み出しとは実施例１で述べたように、７０２の撮像素子より本画像のみを読み出す方式である。

フロー８０３ではユーザー操作によるフォーカス操作の有無を検出し、フォーカス操作すなわち焦点距離が動いている時には８０５に進み、フォーカス操作が無い場合にはフロー８０４に進む。

７１０のＣＰＵは７１１のジャイロ部と通信を行い、検出された機体のブレ量が所定値以上の場合は８０５に進み、所定値以下の場合は８０７に進む。尚、上記のブレ量の所定値はあらかじめ実験等で求められた数値であり、機体のブレ量がフォーカス精度に影響を及ぼす程度のブレ量である。

フォーカス動作（８０３）及び本体のブレ（８０４）がない場合は、８０７に進み通常センサ読み出しを行い、８０２のフローに戻る。フォーカス動作（８０３）及び本体のブレ（８０４）どちらかがあった場合には、８０５に進み本画像読み出しとは別に主被写体領域の領域読み出しを実施例１と同様に行う。

更に読み出された主被写体領域から、実施例１と同様にデフォーカス量を算出し、フォーカスアシスト機能のＧＵＩ部の更新及び主被写体領域の画像更新を行う。また実施例１と同様に主被写体領域読み出し後に本画像読み出しを行い、全体画像を生成すると共に主被写体のデフォーカス量を求めて、フォーカスアシスト機能のＧＵＩ部の更新を行い、８０６に進む。

８０６では読みだされたデフォーカス量から合焦の判定を行い、合焦されていれば８０７に進み、されていなければ８０５に進み繰り返し主被写体領域からの読み出しを行う。

また、本実施例では被写体のブレ、フォーカス動作により主被写体領域の読み出し実行の判断を行ったが、主被写体部が合焦していない時のみ主被写体領域の読み出しを行うように制御してもよい。

以上述べてきたように、主被写体領域読み出しを焦点距離の動きにより適宜行う事により、余分な消費電力の増加、フォーカス精度の向上を実現する事が可能となる。

１００ 実施例１におけるレンズ、１０１ 実施例１における絞り部、
１０２ 実施例１における撮像素子、１０３ 実施例１における画像処理ＩＣ、
１０４ 実施例１における位相差情報算出部、１０５ 実施例１における画像処理部、
１０６ 実施例１における現像処理部、１０７ 実施例１における記録部、
１０８ 実施例１における表示部、１０９ 実施例１における操作部、
１１０ 実施例１におけるＣＰＵ、２００ 実施例１、２における撮像素子の構成図、
２０１ 実施例１、２における撮像素子の画素拡大部、
４００ 実施例１、２における主被写体領域部、
４０１ 実施例１、２における合焦インジゲータ、
４０２ 実施例１、２における合焦インジゲータ（合焦時）、
４０３ 実施例１、２における合焦インジゲータ（前ピン時）、
４０４ 実施例１、２における合焦インジゲータ（後ピン時）、
７０１ 実施例２における絞り部、７０２ 実施例２における撮像素子、
７０３ 実施例２における画像処理ＩＣ、
７０４ 実施例２における位相差情報算出部、７０５ 実施例２における画像処理部、
７０６ 実施例２における現像処理部、７０７ 実施例２における記録部、
７０８ 実施例２における表示部、７０９ 実施例２における操作部、
７１０ 実施例２におけるＣＰＵ、７１１ 実施例２におけるジャイロ部

Claims (3)

1. 被写体撮影画像と同時に位相差情報取得用画像を出力し、ライン毎に時間差を設けて電荷をリセットし所定時間経過後に該ラインを読み出す事で露光時間を制御するローリングシャッタ制御を備えた撮像素子と、
   一フレーム時間単位で該撮像素子からフレーム画像を形成する為の画像を読み出し、該一フレーム時間単位で画像の更新を行う第一の読み出し手段と、
   該撮像素子から該主被写体領域のみを読み出す第二の読み出し手段と、
   焦点を合わせる主被写体領域を設定する主被写体領域設定手段と、
   主被写体領域の位相差情報を取得しデフォーカス量を算出するデフォーカス量算出手段を備え、
   該一フレーム時間内で該第二の読み出しの為の露光時間経過後に該第二の読み出しを行い、主被写体領域のデフォーカス量を算出し、該第二の読み出しの露光時間と同じになるように露光時間を制御して第一の読み出しを行い、主被写体領域のデフォーカス量を算出することを特徴とする撮像装置。
2. 前記一フレーム時間内で第一の読み出しの為の露光を開始し、所定の時間経過後に第二の読み出しを行い第一の露光時間と同出力レベルになるように読み出した画像にゲインをかけて主被写体領域のデフォーカス量を算出し、更に第一の露光時間経過後に第一の読み出しを行い主被写体領域のみ該ゲインをかけてデフォーカス量を算出し、ゲインをかける前の第一の読み出し手段による画像のうち主被写体領域の画像とゲインをかける前の第二の読み出しによる画像を加算する事により、前記フレーム画像を形成することを特徴とする請求項１に記載の撮像装置。
3. 前記デフォーカス量から主被写体領域の合焦度合いを示す合焦レベルを表示する合焦レベル表示手段を備え、前記一フレーム時間内で前記第二の読み出しにより算出されたデフォーカス量を基に該合焦レベル表示を更新し、前記第一の読み出しにより算出されたデフォーカス量を基に該合焦レベル表示を更新することを特徴とする請求項１又は請求項２に記載の撮像装置。