JP2018057040A - 撮像素子および撮像装置 - Google Patents

Abstract

【課題】ＡＦ制御などを行う際、データ転送時間を短縮するとともに画質の低下ないようにする。【解決手段】撮像素子１０２は複数の画素のうちの第１の画素群から得られる電圧信号に応じた第１のデジタル画像信号に応じて光学像の撮像制御情報を生成し、さらに、複数の画素のうち第２の画素群から得られる電圧信号に応じた第２のデジタル画像信号を画像データとして外部に出力する。この際、撮像制御情報は画像データとは独立して外部に出力される。【選択図】図１

Description

本発明は、積層構造を有する撮像素子および当該撮像素子を備える撮像装置に関し、特に、画像信号に応じて測光測距などに係る評価値を検出することのできる撮像素子に関する。

撮像装置によって撮像された信号を用いて画像評価及び画像表示を行う技術がある。例えば、特許文献１では、ライブビュー表示のための撮像用信号を読み出すライブビュー用読み出しモードを備え、さらに、焦点検出用信号および自動露光用測光情報に用いるための撮像用信号を撮像素子から読み出す焦点検出・自動露光用読み出しモードを備えている。そして、これら読み出しモードをフレーム毎に循環的に繰り返して行っている。

特開２００９−８９１０５号公報

ところが、特許文献１においては、画素単位で撮像素子から画像信号（つまり、電荷）を読み出すため、電荷の転送に時間が掛かってしまうばかりでなく、転送データ量が多くなって消費電力が増大する。

さらに、撮像素子の出力である画像信号は別の制御装置などによって画像信号処理されることになるので、転送データ量が多いと、制御装置における処理負荷が増大してしまう。

加えて、特許文献１においては、画素部に焦点信号検出用画素が設けられているため、不可避的に撮像信号用画素のエリアが小さくなってしまい、焦点信号検出用画素は撮像信号（画像信号）を得る際には用いられないので、画質が低下する。

そこで、本発明の目的は、データ転送時間を短縮するとともに画質が低下することを抑えることのできる撮像素子および撮像装置を提供することにある。

上記目的を達成するため、本発明による撮像素子は、マトリックス状に配列され、光学像に応じた電圧信号を出力する複数の画素と、前記電圧信号をデジタル画像信号に変換するＡＤ変換部と、前記複数の画素の第１の画素群から出力され前記ＡＤ変換部により変換される第１のデジタル画像信号に基づいて前記光学像の撮像制御情報を生成する制御情報生成部と、前記複数の画素の前記第１の画素群とは異なる第２の画素群から出力され前記ＡＤ変換部により変換される前記第２のデジタル画像信号を画像データとして外部に出力する画像データ出力部と、前記撮像制御情報を前記画像データとは独立して外部に出力する制御情報出力部と、を有することを特徴とする。

本発明による撮像装置は、上記の撮像素子と、前記撮像制御情報に応じて前記光学像の撮像制御を行う制御手段と、を有することを特徴とする。

本発明によれば、撮像制御情報を画像データとは独立して撮像素子から出力するようにしたので、データ転送時間を短縮して、しかも画質の低下を回避することができる。

本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。 図１に示す撮像素子の構成を説明するための図であり、（ａ）はその構造を示す斜視図、（ｂ）はその構成を示すブロック図である。 図２に示す第１のチップにおいて列信号線における画素選択を説明するための図である。 図１に示すカメラにおけるＡＦ評価モードの際の撮像タイミングを説明するためのタイミング図である。 図１に示すカメラにおける制御を説明するためのフローチャートである。 本発明の第２の実施形態によるカメラで用いられる撮像素子の一例についてその構成を示すブロック図である。 本発明の第２の実施形態における測光評価モードの際の撮像タイミングを説明するためのタイミング図である。 本発明の第３の実施形態によるカメラで用いられる撮像素子の一例についてその構成を示すブロック図である。 本発明の第３の実施形態における標準偏差評価モードの際の撮像タイミングを説明するためのタイミング図である。 従来の撮像装置においてライブビューの際のオートフォーカス撮像動作のタイミングを説明するための図である。

以下、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。図示の撮像装置は、例えば、動画機能付き電子スチルカメラ又はビデオカメラに適用される。

撮像装置１００は、光学鏡筒１０１、撮像素子１０２、駆動回路１０３、信号処理部１０４、圧縮伸長部１０５、制御部１０６、発光部１０７、操作部１０８、画像表示部１０９、および画像記録部１１０を有している。

光学鏡筒１０１は、レンズユニット（図示せず、以下単にレンズと呼ぶ）および光学機構部１０１１を備えている。レンズは被写体からの光（光学像）を撮像素子１０２に集光する（つまり、結像する）。図示はしないが、光学機構部１０１１はＡＦ機構、ズーム駆動機構、メカニカルシャッタ機構、および絞り機構など有している。そして、光学機構部１０１１は制御部１０６から制御下で駆動回路１０３によって駆動される。

撮像素子１０２は、後述する画素部２０１およびＡ／Ｄコンバータ（図示せず）を有し、例えば、所謂ＸＹ読み出し方式のＣＭＯＳ型イメージセンサである。そして、撮像素子１０２は制御部１０６の制御下で動作する駆動回路１０３によって、露光、信号読み出し、およびリセットなどの撮像動作を行って、撮像信号（画像信号ともいう）を出力する。

撮像素子１０２には、ＡＦ評価値検出部１０２１が備えられており、このＡＦ評価値検出部１０２１は撮像素子１０２で得られる画像信号に応じて得られるコントラスト情報および位相差情報に基づいて、制御部１０６で制御されるタイミングでＡＦ評価値（オートフォーカス評価値）を検出する。そして、ＡＦ評価値検出部１０２１は当該ＡＦ評価値を制御部１０６に出力する。

信号処理部１０４は、制御部１０６の制御下で、撮像素子１０２の出力である画像信号に対して、ホワイトバランス調整処理、色補正処理、およびＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）処理などの信号処理を施して画像データとして出力する。

圧縮伸長部１０５は、制御部１０６の制御下で動作し、信号処理部１０４の出力である画像データに対して、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式などの所定の静止画像データフォーマットによって圧縮符号化処理を行う。また、圧縮伸長部１０５は制御部１０６から送られた符号化画像データを伸長復号化処理する。

なお、圧縮伸長部１０５は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式などによって動画像データについて圧縮符号化／伸長復号化処理を行うようにしてもよい。

制御部１０６は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを備えるマイクロコントローラである。そして、ＣＰＵがＲＯＭに記憶されたプログラムを実行することによって、撮像装置１００全体を統括的に制御する。

発光部１０７は、信号処理部１０４によるＡＥ処理によって被写体の露光値が低いと判定されると、被写体に対して光を照射して照明を行う。発光部１０７として、例えば、キセノン管を用いたストロボ装置又はＬＥＤ発光装置が用いられる。

操作部１０８は、例えば、シャッタレリーズボタンなどの各種操作キー、レバー、およびダイヤルを有し、ユーザの入力操作に応じた操作信号を制御部１０６に与える。

画像表示部１０９は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの表示デバイスおよびＬＣＤに対するインタフェース回路を備え、制御部１０６から送られた画像データに応じた画像を表示デバイスに表示する。

画像記録部１１０は、例えば、可搬型の半導体メモリ、光ディスク、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、又は磁気テープなどの記録媒体であり、圧縮伸長部１０５により圧縮符号化された画像データを画像ファイルとして記憶する。また、画像記録部１１０は制御部１０６によって指定された画像ファイルを読み出して制御部１０６に出力する。

ここで、図１に示す撮像装置１００の基本的な動作について説明する。

例えば、静止画像を撮影する際には、その撮像前において、撮像素子１０２では画素２０１から出力された画像信号を順次ＣＤＳ処理およびＡＧＣ処理を施した後、Ａ／Ｄコンバータでデジタル画像信号に変換される。そして、このデジタル画像信号はＡＦ評価検出部１０２１および信号処理部１０４に出力される。

ＡＦ評価値検出部１０２１は、デジタル画像信号から得られるコントラスト情報に応じてＡＦ評価値（制御情報）を算出して、当該ＡＦ評価値を制御部１０６に出力する。制御部１０６はＡＦ評価値に基づいて光学機構部１０１１の制御量を決定し、この制御量に応じて駆動回路１０３を制御する。これによって、光学機構部１０１１が駆動回路１０３によって駆動される。

信号処理部１０４は、上記のデジタル画像信号に対して、例えば、画質補正処理を施してカメラスルー画像信号を生成して、当該カメラスルー信号を制御部１０６を介して画像表示部１０８に送る。これによって、画像表示部１０８はカメラスルー画像信号に応じたカメラスルー画像を表示し、ユーザはカメラスルー画像を目視しつつ画角合わせを行うことができる。

この状態で、操作部１０８のシャッタレリーズボタンが押下されると、制御部１０６の制御によって、撮像素子１０２からの１フレーム分の撮像信号（デジタル画像信号）が信号処理部１０４に取り込まれる。信号処理部１０４は当該１フレーム分のデジタル画像信号に画質補正処理を施して、処理後のデジタル画像信号（画像データ）を圧縮伸長部１０５に送る。

圧縮伸長部１０５は画像データ圧縮符号化して、符号化画像データを制御部１０６を介して画像記録部１１０に送る。これによって、撮像された静止画像に係る画像ファイルが画像記録部１１０に記録される。

画像記録部１１０に記録された画像ファイルを再生する際には、制御部１０６は、操作部１０８からの操作入力に応じて選択された画像ファイルを画像記録部１１０から読み込む。そして、制御部１０６は当該画像ファイルを圧縮伸長部１０５に送って、圧縮伸長部１０５に伸長復号化処理を実行させる。

復号化された画像データは制御部１０６を介して画像表示部１０９に送られる。これによって、画像表示部１０９には画総データに応じた静止画像が再生表示される。

動画像データを記録する際には、制御部１０６の制御によって撮像素子１０２から出力されたデジタル画像信号が信号処理部１０４に取り込まれる。信号処理部１０４において順次処理された画像データは圧縮伸長部１０５で圧縮符号化処理される。そして、圧縮伸長部１０５から符号化動画像データが順次画像記録部１１０に転送されて動画像ファイルとして記録される。

画像記録部１１０に記録された動画像ファイルを再生する際には、制御部１０６は、操作部１０８からの操作入力に応じて、選択された動画像ファイルを画像記録部１１０から読み込む。そして、制御部１０６は当該動画像ファイルを圧縮伸長部１０５に送って、圧縮伸長部１０５に伸長復号化処理を実行させる。復号化された動画像データは制御部１０６を介して画像表示部１０９に送られる。これによって、画像表示部１０９には動画像データに応じた動画像が再生表示される。

ここで、従来の撮像装置における撮像画像から評価値を算出しつつ、表示画像を表示する技術とその課題について説明する。従来、撮像装置においてフォーカス制御に用いる被写体の位置情報を得る際には、撮像素子から出力される画像信号に応じて当該位置情報を得ている。また、被写体を示す光信号を専用の検出装置に直接入力して、当該光信号が示す画像における位相差に応じて位置情報を得ることも行われている。そして、画像信号に応じて位置情報を得る場合には、専用の検出装置が不要となる点で、撮像装置を小型化することができる。

図１０は、従来の撮像装置においてライブビューの際のオートフォーカス撮像動作（ＡＦ評価撮像）のタイミングを説明するための図である。

従来の撮像装置においては、垂直同期信号（Ｖｅｒｔｉｃａｌ Ｄｒｉｖｉｎｇ Ｐｕｌｓｅ：ＶＤ）によって撮像タイミングが規定されており、ＡＦ制御信号がオンとなると、ライブビュー撮像期間後のＶＤに応じてＡＦ評価像が撮像される。そして、ＡＦ制御信号がオフとなると、再びライブビュー撮像期間となる。

このように、ライブビュー用画像を得るライブビュー撮像期間とＡＦ評価用画像を得るＡＦ動作期間とは時間軸に沿ってシリアルに存在するので、ライブビュー用画像とＡＦ評価用画像を同時に撮像することはできない。

このため、図示のようにライブビュー期間（フレーム）の間に位置するＡＦ動作期間でＡＦ評価用画像を撮像することになって、ライブビュー用画像とＡＦ評価用画像との間にタイムラグが存在する。

加えて、ＡＦ評価用画像を撮像する際においてもライブビュー表示は行われるものの、この際には、ＡＦ評価用画像に応じてライブビュー表示が行われる。そして、図１０に示すように、ＡＦ評価用画像を撮像する際には、ライブビュー撮像期間よりもフレームレートが高くされるため、撮像素子の読み出しにおいては間引き率が高くなり、不可避的に画質が低くなってしまう。この点を回避するため、例えば、撮像素子の画素部に焦点信号検出用画素を撮像信号用画素とは別に設けるようにしたものもある。

本実施形態では、上記課題に鑑み、図２に示すような撮像素子１０２の構成をもって、画像信号から得られる評価値あるいは評価値に基づく制御情報を表示用の画像信号と並行して生成し、処理時間の短縮および処理負荷の軽減を図る。

図２は、図１に示す撮像素子１０２の構成を説明するための図である。そして、図２（ａ）はその構造を示す斜視図であり、図２（ｂ）はその構成を示すブロック図である。

図２（ａ）において、撮像素子１０２は第１のチップ（画素部）２０および第２のチップ２１を有しており、第２のチップ（第２の素子部）２１上に第１のチップ（第１の素子部）２０が積層されている。第１のチップ２０はマトリックス状に配列された複数の画素２０１を有しており、第１のチップ２０は光入射側に配置されている（つまり、光学像の受光側に位置している）。

第２のチップ２１は後述する列走査回路２１３−ａおよび２１３−ｂと行走査回路２１２などの画素駆動回路が形成されるとともに、前述のＡＦ評価値検出部（制御情報生成部）１０２１が形成されている。

このように、第１のチップ２０に画素２０１を形成し、第２のチップ２１に画素駆動回路およびＡＦ評価値検出部１０２１を形成すれば、撮像素子１０２の周辺回路および画素部の製造プロセスを分けることができ、周辺回路における配線の細線化、高密度化による高速化、小型化、および高機能化を図ることができる。

図２（ｂ）に示すように、第１のチップ２０において、画素２０１はマトリクス状に配列されており、画素２０１は水平方向（行方向）において転送信号線２０３、リセット信号線２０４、および行選択信号線２０５に接続され、垂直方向（列方向）において列信号線２０２−ａおよび２０２−ｂに接続されている。なお、列信号線２０２−ａおよび２０２−ｂの各々は読み出し行単位に応じて接続先が異なる。

図示のように、画素２０１の各々は、光電変換素子であるフォトダイオードＰＤ、転送トランジスタＭ１、リセットトランジスタＭ２、増幅トランジスタＭ３、選択トランジスタＭ４、フローティングディフュージョンＦＤを有している。

なお、図示の例では、トランジスタの各々はｎチャネルＭＯＳＦＥＴ（ＭＯＳ Ｆｉｅｌｄ−Ｅｆｆｅｃｔ Ｔｒａｎｓｉｓｔｏｒ）である。

転送トランジスタＭ１、リセットトランジスタＭ２、および選択トランジスタＭ４のゲートには、それぞれ転送信号線２０３、リセット信号線２０４、および行選択信号線２０５が接続されている。これら信号線２０３〜２０５は水平方向に延在し、同一行の画素が同時に駆動される。これによってライン順次動作型のローリングシャッタの動作を制御して、所定の行毎に露出時間を変えて撮像することができる。又は全行同時動作型のグローバルシャッタの動作を制御することができる。さらに、選択トランジスタＭ４のソースには列信号線２０２−ａ又は２０２−ｂが行単位で接続されている。

フォトダイオードＰＤは、光電変換によって生成された電荷を蓄積する。そして、フォトダイオードＰＤのＰ側が接地され、Ｎ側が転送トランジスタＭ１のソースに接続されている。転送トランジスタＭ１がオンすると、フォトダイオードＰＤの電荷がＦＤに転送され、ＦＤには寄生容量が存在するので、ＦＤに転送された電荷が蓄積される。

増幅トランジスタＭ３のドレインには電源電圧Ｖｄｄが印加され、そのゲートはＦＤに接続されている。増幅トランジスタＭ３は、ＦＤの電荷（つまり、電圧）を増幅して電圧信号に変換する。選択トランジスタＭ４は、信号を読み出す画素を行単位で選択するためのものであり、そのドレインは増幅トランジスタＭ３のソースに接続されている。また、選択トランジスタＭ４のソースは列信号線２０２に接続されている。

選択トランジスタＭ４がオンすると、ＦＤの電圧に対応する電圧信号が列信号線２０２に出力される。リセットトランジスタＭ２のドレインには電源電圧Ｖｄｄが印加され、そのソースはＦＤに接続されている。リセットトランジスタＭ２のオンによって、ＦＤの電圧は電源電圧Ｖｄｄにリセットされる。

第２のチップ２１には、カラムＡＤＣブロック２１１が備えられており、カラムＡＤＣ２１１は列信号線２０２−ａ又は２０２−ｂに接続されている。さらに、第２のチップ２１には、行走査回路２１２、列走査回路２１３−ａおよび２１３−ｂ、タイミング制御回路２１４、水平信号線（出力手段）２１５−ａおよび２１５−ｂ、切替スイッチ２１６、フレームメモリ２１７、およびＡＦ評価値検出部１０２１が備えられている。

タイミング制御回路２１４は制御部１０６の制御下で行走査回路２１２、列走査回路２１３−ａおよび２１３−ｂ、およびカラムＡＤＣブロック２１１の動作タイミングを制御する。行走査回路２１２は各行の走査を行い、列走査回路２１３ａおよび２１３ｂはそれぞれ各列の走査を行う。

水平信号線２１５−ａおよび２１５−ｂは、それぞれ列走査回路２１３−ａおよび２１３−ｂで制御されるタイミングに応じてカラムＡＤＣブロック２１１の出力信号（画像信号）を転送する。フレームメモリ２１７は水平信号線２１５−ｂから出力される画像信号を一時的に記憶する。ＡＦ評価値検出部１０２１はフレームメモリ２１７に記憶された画像信号に応じてＡＦ評価値して、当該ＡＦ評価値を制御部１０６に送る。

切替スイッチ２１６は水平信号線２１５−ｂに出力される画像信号をＡＦ評価値検出部１０２１および信号処理部１０４のいずれか一方に選択的に出力するためのスイッチである。なお、水平信号線２１５−ａに転送された画像信号は信号処理部１０４に与えられる。

図３は、図２に示す第１のチップ２０において列信号線２０２−ａ又は２０２−ｂにおける画素選択を説明するための図である。図３においては、６行×８列の画素部が示されており、ここでは各画素はベイヤ配列されている。

図１に示す操作部１０８の操作によってフォーカス制御モードになると、制御部１０６はライブビュー用撮像（第２の撮像モード）およびＡＦ評価値検出用撮像（第１の撮像モード）を同時に行うことができるように、撮像素子１０２における読み出し行を分ける（つまり、切替スイッチ２１６を切替制御して、水平信号線２１５−ｂをフレームメモリ２１７に接続する）。

これによって、ライブビュー用の画像信号（第２の画像信号、つまり、画像表示信号）は列信号線２０２−ａに出力され、ＡＦ評価検出用の画像信号（第１の画像信号）は列信号線２０２−ｂに出力される。

図３において、行番号１および２はＡＦ評価値検出用撮像のための行（第１の画素群）であり、行番号３〜８はライブビュー用撮像のための行（第２の画素群）である。図示の例では、読み出し走査が行単位で順次行われて、８行単位で繰り返し読み出し走査が行われることになる。

ＡＦ評価値検出用撮像では、フレームレート重視のため垂直同色４画素中３画素（４ライン中３ライン）を間引き読み出しする。一方、ライブビュー用撮像では、画質重視のため、残りの垂直同色４画素中１画素（４ライン中１ライン）を間引き３画素を加算する。言い換えると、ＡＦ評価値検出用撮像においては、第１の画素群を第１のフレームレートで読み出しを行う。そして、ライブビュー用撮像では第２の画素群を第１のフレームレートよりも遅い第２のフレームレートで読み出しを行う。

上述のように、選択行毎にＡＦ走査用撮像とライブビュー用撮像とを分けることによって、異なる電荷蓄積時間でデータサイズの異なるフレームレートの画像信号を取得することが可能となる。

次に列信号線２０２−ａおよび２０２−ｂに出力された電圧信号（アナログ信号）は、図２に示すカラムＡＤＣブロック２１１においてアナログ信号からデジタル信号（画像信号）に変換される。カラムＡＤＣブロック２１１の出力である画像信号は、列走査回路２１３−ａ又は２１３−ｂによってカラムＡＤＣブロック２１１から水平信号線２１５−ａ又は２１５−ｂに読み出される。水平信号線２１５−ａに読み出された画像信号は信号処理部１０４に送られる。一方、水平信号線２１５−ｂに読み出された画像信号は、スイッチ２１６に出力され、制御部１０６の制御に応じて信号処理部１０４又はフレームメモリ２１７に出力される。なお、切替スイッチ２１６による切り替えはフレーム単位で行われる。このとき、静止画などの撮影では間引くことなく画素信号を読み出すことから、スイッチ２１６は信号処理部１０４に繋ぐ経路にスイッチする。

一方、ＡＦ評価モード（つまり、オートフォーカス制御モード）の際には、水平信号線２１５−ｂから切替スイッチ２１６を介してフレームメモリ２１７に画像信号が記録され、ＡＦ評価値検出部１０２１はフレームメモリ２１７に記録された画像信号におけるコントラスト情報に基づいてＡＦ評価値を検出する。ＡＦ評価値は被写体のフォーカス情報として、コントラスト情報、もしくは光学機構部１０１１内のＡＦ機構部におけるデフォーカス移動量やＡＦ機構部の制御情報で構成され、多画素のＡＦ評価値用画像データと比較すると、データ量として十分に小さい。このＡＦ評価値はＡＦ評価値検出部１０２１から制御部１０６に送られる。

このように、本実施形態においてＡＦ評価値検出部１０２１がチップ２１内に組み込まれているのは、省電力と高速処理、低コスト設計のためである。チップ２１と、信号処理部１０４もしくは制御部１０６は、それぞれ別基板などに配置されることが多く、チップ間の通信に当たっては配線の抵抗成分や容量成分が多くなる。そのため、同一チップ内の配線による通信に比べて低速になるか、高速な信号を送出するには信号波形品質を保つためアンプで駆動する必要があるなど、駆動電力を上げなければならない。

一方、同一半導体チップ上にＡＦ評価値検出部１０２１があることで画像データの出力配線が短く済み、アンプの配置も省ける。加えて、ＡＦ評価値自体もデータ量が少ないため、撮像素子１０２と制御部１０６との通信時間が短くなるため、消費電力の低下を図ることができる。

以下の説明では、撮像の際、列信号線２０２−ａおよび水平信号線２１５−ａによる出力経路をチャンネルＣｈ１と呼び、列信号線２０２−ｂおよび水平信号線２１５−ｂによる出力経路をチャンネルＣｈ２と呼ぶ。

図４は、図１に示すカメラ１００におけるＡＦ評価モードの際の撮像タイミングを説明するためのタイミング図である。

図示のように、垂直同期信号（ＶＤ）によって撮像タイミングが規定されており、ＡＦ評価モードとなると、制御部１０６は時間Ｔ０の垂直同期信号ＶＤの立下りでＡＦ制御信号、チャンネルＣｈ１を用いたライブビュー撮像とチャンネルＣｈ２を用いたＡＦ評価用撮像とを同時に開始する。

期間Ｔ０〜ＴＦ１で、チャンネルＣｈ２を介して画素部２０から読み出されたＡＦ評価用画像信号は、水平信号線２１５−ｂおよび切替スイッチ２１６を介してフレームメモリ２１７に保存される。そして、期間ＴＦ１〜ＴＦ２において、ＡＦ評価値検出部１０２１はフレームメモリ２１７に保存されたＡＦ用画像信号に応じてＡＦ評価値を算出する。その後、期間ＴＦ２〜ＴＦ３において、ＡＦ評価値検出部１０２１はＡＦ評価値を制御部１０６に出力する。

図示の例では、１垂直同期信号ＶＤの期間中にライブビューが１フレーム分撮像され、ＡＦ評価（ＡＦ走査）が３フレーム分撮像される。そして、制御部１０６が垂直同期信号ＶＤをＬレベルとすると（時間Ｔ１）、ＡＦ評価が終了する。

上記のように、図１に示すカメラ１００では、ＡＦ評価モードの際に、信号処理部１０４を介して画像データを制御部１０６に送ってＡＦ評価値を得る必要がないので、つまり、データ容量の少ないＡＦ評価値を撮像素子１０２から直接制御部１０６に出力するようにしたので、負荷低減による電力削減を行うことができる。

制御部１０６はＡＦ評価値と後述する所定のＡＦ期待値とを比較して、ＡＦ評価値がＡＦ期待値を満足すると、ＡＦ制御信号を立ち下げる（時間Ｔ１）。ＡＦ制御信号が立ち下がると、ＡＦ評価用撮像のみが停止して、ライブビュー撮像が継続して行われることになる。

図５は、図１に示すカメラ１００における制御を説明するためのフローチャートである。なお、図示のフローチャートは制御部１０６の制御下で行われる。

カメラ１００の電源がオンとされてスタンバイ状態（つまり、撮像前の撮像準備状態）になると、制御部１０６はＡＦ評価モードであるか否かを判定する（ステップＳ５０２）。つまり、制御部１０６はオートフォーカスモードが設定されているか否かを判定する。ＡＦ評価モードでないと（ステップＳ５０２において、ＮＯ）、制御部１０６はライブビュー撮像を開始して（ステップＳ５０３）、後述のステップＳ５１５に進む。

一方、ＡＦ評価モードであると（ステップＳ５０２において、ＹＥＳ）、制御部１０６はＡＦ制御信号をオン（Ｈレベル）とする（ステップＳＯＮにする（ステップＳ５０４）。続いて、制御部１０６はＡＦ評価用撮像回数をカウントするための変数ｎに０を代入する（ステップＳ５０５）。次に、図４で説明したようにして、制御部１０６はＡＦ評価用撮像を開始するとともに（ステップＳ５０６）、ステップＳ５１６においてライブビュー用撮像を開始する。

ＡＦ評価用撮像を開始した後、制御部１０６は変数ｎを１インクリメントする（ステップＳ５０７）。その後、制御部１０６の制御下で、ＡＦ評価値検出部１０２１はＡＦ評価用撮像によって得られたＡＦ評価用画像信号に応じてＡＦ評価値ＡＦ＿Ｋを検出する（ステップＳ５０８）。

続いて、制御部１０６は、ＡＦ評価値ＡＦ＿ＫがＡＦ期待値であるＫ＿ｍｉｎおよびＫ＿ｍａｘに対して次の式（１）、つまり、所定の評価条件を満たすか否かを判定する（ステップＳ５０９）。

Ｋ＿ｍｉｎ＜ＡＦ＿Ｋ＜Ｋ＿ｍａｘ （１）
ここでＡＦ期待値Ｋ＿ｍｉｎおよびＫ＿ｍａｘは期待されるＡＦ評価値の最小値および最大値を示しており、予めカメラ１００の設計の際又はカメラ１００の調整の際に制御部１０６に記録される。

ＡＦ評価値ＡＦ＿Ｋが式（１）を満たさないと（ステップＳ５０９において、ＮＯ）、制御部１０６は上記のＡＦ評価値ＡＦ＿Ｋに応じてフィードバック制御量を求める。そして、制御部１０６は当該フィードバック制御量に応じて駆動回路１０３を駆動制御して光学機構部１０１１に備えられたフォーカスレンズを光軸に沿って駆動する（ステップＳ５１０）。

続いて、制御部１０６は変数（ＡＦ評価値撮像回数）ｎが所定の数（ここでは、３）であるか否かを判定する（ステップＳ５１１）。ＡＦ評価値撮像回数が３回未満であれば（ステップＳ５１１において、ＮＯ）、制御部１０６はステップＳ５０６の処理に戻ってＡＦ評価用撮像を行う。

一方、ＡＦ評価値撮像回数が３回であれば（ステップＳ５１１において、ＹＥＳ）、制御部１０６はライブビュー表示を行った後（ステップＳ５１２）、ステップＳ５０５の処理に戻ってＡＦ評価値撮像回数ｎをゼロとする。

ＡＦ評価値ＡＦ＿Ｋが式（１）を満たすと（ステップＳ５０９において、ＹＥＳ）、制御部１０６はＡＦ制御信号をオフ（Ｌレベル）として（ステップＳ５１３）、撮像素子１０２におけるＡＦ評価用撮像を停止する（ステップＳ５１４）。そして、制御部１０６は撮像したライブビュー用画像信号に応じた画像を画像表示部１０９に表示して（ステップＳ５１５）、待機状態となる（ステップＳ５１７）。

なお、図５に示すフローチャートでは、制御部１０６はＡＦ評価用撮像を停止した後、ステップＳ５１６のライブビュー用撮像によって得られた画像信号に応じた画像を表示することになる。また、ステップＳ５０３のライブビュー用撮像を開始すると、制御部１０６はステップＳ５１５の処理に進んで、ライブビュー表示を行う。

上述のように、本発明の第１の実施形態では、第２のチップ２１内にＡＦ評価値検出部１０２１を備え、ライブビュー用画像の撮像と並行して、フレームレートの速いＡＦ評価用画像の撮像とＡＦ評価値を算出して出力することができる。これにより、ＡＦ評価を行う際のタイムラグを短縮することができる。また、ＡＦ評価の際には、データ容量の少ないＡＦ評価値のみが撮像素子１０２から直接制御部１０６に送られるので、信号出力負荷が軽減されて消費電力を削減することができる。なお、上述の実施形態ではライブビューの際にＡＦを行う例について説明したが、ライブビューに限らずその他動画撮影の際においても上記の手法を用いることができる。

また、ここでは、ＡＦ評価値を撮像素子１０２から制御部１０６に直接出力して、制御部１０６がＡＦ評価値に応じて駆動回路１０３によって光学機構部１０１１を制御するようにしたが、駆動回路１０３がＡＦ評価値に応じて光学機構部１０１１を駆動制御するようにしてもよい。

［第２の実施形態］
次に、本発明の第２の実施形態によるカメラの一例について説明する。なお、第２の実施形態によるカメラの構成は図１に示すカメラと同様であるが、撮像素子１０２の構成が図２（ｂ）に示す撮像素子と異なる。また、以下の説明では、ストロボなどの発光部による測光動作の際の静止画撮影について説明する。

図６は、本発明の第２の実施形態によるカメラで用いられる撮像素子の一例についてその構成を示すブロック図である。なお、図６において、図２（ａ）に示す撮像素子と同一の構成要素については同一の参照番号を付して説明を省略する。

図６に示す撮像素子１０２では、第２のチップ２１はＡＦ評価値用検出部１０２１の代わりに測光値評価部６０１を備えており、この測光値評価部６０１はフレームメモリ２１７に接続されるとともに、制御部１０６に接続されている。

測光値評価部６０１は、第１のチップ２０から列信号線２０２−ｂおよび水平信号線２１５ｂ（つまり、チャンネルＣｈ２）を介して読み出された画像信号に応じて色比率および露光値を測光値として算出する。そして、測光評価部６０１は当該測光値に応じてホワイトバランス係数および発光部１０７の発光制御量などの測光制御データを制御部１０６に出力する。制御部１０６は測光制御データに応じて信号処理部１０４および発光部１０７に制御命令を送って、信号処理部１０４におけるホワイトバランス補正および発光部１０７の発光量を制御する。

図７は、本発明の第２の実施形態における測光評価モードの際の撮像タイミングを説明するためのタイミング図である。

測光評価モードとなると、制御部１０６は時間Ｔ７０の垂直同期信号ＶＤの立下りで垂直同期信号ＶＤに同期してチャンネルＣｈ１を用いたライブビュー撮像とチャンネルＣｈ２を用いた測光評価用撮像とを同時に開始する。この測光評価用撮像においては、ホワイトバランス係数および発光部１０７の発光制御のための測光評価用撮像が行われる。ここでは、ホワイトバランス係数算出のための測光評価用撮像をホワイトバランス係数算出用撮像と呼び、発光制御のための測光評価用撮像を発光制御量測光用撮像と呼ぶ。

まず、期間Ｔ７０〜Ｔ７１において、ホワイトバランス係数算出用撮像が行われて、チャンネルＣｈ２を介して画素部２０から読み出されたホワイトバランス係数評価用画像信号は、水平信号線２１５−ｂおよび切替スイッチ２１６を介してフレームメモリ２１７に保存される。そして、期間Ｔ７１〜Ｔ７２において、測光値評価部６０１はフレームメモリ２１７に保存されたホワイトバランス係数評価用画像信号に応じてホワイトバランス係数を算出する。その後、期間Ｔ７２〜Ｔ７３において、測光値評価部６０１はホワイトバランス係数を制御部１０６に出力する。

続いて、時間Ｔ７３において、制御部１０６は発光制御信号を立ち上げて（Ｈレベル）、発光部１０７を所定の発光量で発光させながら、発光制御量測光用撮像を開始する。そして、時間Ｔ７４において、制御部１０６は発光制御信号を立ち下げて（Ｌレベル）、発光制御量測光用撮像を停止する。

これによって、期間Ｔ７３〜Ｔ７４において、静止画撮影の際における発光部１０７の発光制御量測光用撮像が行われて、発光制御量評価用画像信号がフレームメモリ２１７に保存される。なお、期間Ｔ７３〜Ｔ７４においては、発光制御信号がオンとなるので、発光部１０７による事前発光（つまり、プリ発光）が行われて、被写体の露光量を算出するための撮像である発光制御量測光用撮像が行われることになる。

期間Ｔ７４〜Ｔ７５において、測光値評価部６０１はフレームメモリ２１７に保存された発光制御量評価用画像信号に応じて被写体に係る露光値を算出して、当該露光値に応じて発光制御量を生成する。続いて、期間Ｔ７５〜Ｔ７６において、測光値評価部６０１は発光制御量制御部１０６に出力する。

時間Ｔ７６において、制御部１０６は測光評価モードを静止画撮影モードに切り替えるとともに、発光制御信号をオンとして発光部１０９を発光させる（本発光）。この際、制御部１０６は発光制御量に応じて発光部１０７の発光量を制御する。さらに、制御部１０６は切替スイッチ２１６を切り替えて、チャンネルＣｈ２を介して出力される画像信号を信号処理部１０４に出力して、画素部２０の全画素から読み出された画像信号を信号処理部１０４に与える。

図示の例では、１垂直同期信号ＶＤの期間中にライブビューが１フレーム分撮像され、この間にホワイトバランス係数算出用撮像およびホワイトバランス係数の算出・出力と発光制御量測光用撮像および発光制御量の算出・出力が行われる。

このように、本発明の第２の実施形態では、第２のチップ２１内にＡＦ評価値検出部１０２１を備え、ライブビュー用画像の撮像と並行して、フレームレートの速い測光評価用画像の撮像と測光評価値を算出して出力することができる。これにより、測光評価を行う際のタイムラグを短縮することができる。また、測光評価の際には、データ容量の少ない測光評価値（ホワイトバランス係数および発光制御量）のみが撮像素子１０２から直接制御部１０６に送られるので、信号出力負荷が軽減されて消費電力を削減することができる。

なお、上述の実施形態では測光評価値を撮像素子１０２から制御部１０６に直接出力して、制御部１０６が測光評価値に応じて信号処理部１０４および発光部１０７を制御するようにしたが、撮像素子１０２から測光評価値を信号処理部１０４および発光部１０７に送って直接的に制御するようにしてもよい。

［第３の実施形態］
続いて、本発明の第３の実施形態によるカメラの一例について説明する。なお、第３の実施形態によるカメラの構成は図１に示すカメラと同様であるが、撮像素子１０２の構成が図２（ｂ）に示す撮像素子と異なる。

図８は、本発明の第３の実施形態によるカメラで用いられる撮像素子の一例についてその構成を示すブロック図である。なお、図８において、図２（ａ）および図６に示す撮像素子と同一の構成要素については同一の参照番号を付して説明を省略する。

図８に示す撮像素子１０２では、第２のチップ２１はＡＦ評価値用検出部１０２１の代わりに画像信号評価部８０１を備えており、この画像信号評価部８０１はフレームメモリ２１７に接続されるとともに、制御部１０６に接続されている。画像信号評価部８０１は、第１のチップ２０から列信号線２０２−ｂを介して読み出された画像信号に応じて信号ばらつきを示す標準偏差（標準偏差値ともいう）を算出する。そして、画像信号評価部８０１は当該標準偏差を画像信号評価値として制御部１０６に出力する。制御部１０６は標準偏差が予め設定された閾値（標準偏差閾値）を超えると、ゲインアップ量又は露光量（つまり、露光期間）を抑える撮像制御信号を駆動回路１０３に送る。駆動回路１０３はこの撮像制御信号に応じて撮像素子１０２を駆動して露出制御を行う。標準偏差が予め設定された閾値を超えると、画像信号におけるＳ／Ｎ比が悪化していることになり、所定の画質を保つためには、露出制御に制限をかけるとよいからである。

図８に示す例では、露出制御によって所定の画質を保つようにしたが、露出制御に限らず、例えば、ノイズリダクション処理における補正値を切り替えて所定の画質を保つようにしてもよい。さらに、図示の例では、画像信号評価部８０１は標準偏差である画像信号評価値を出力するようにしたが、画像信号評価部８０１は駆動回路１０３、信号処理部１０４、又は発光部１０７に標準偏差に応じた制御信号を出力して所定の画質を保つようにしてもよい。

図９は、本発明の第３の実施形態における標準偏差評価モードの際の撮像タイミングを説明するためのタイミング図である。

標準偏差評価モードとなると、制御部１０６は時間Ｔ９０において垂直同期信号ＶＤ１およびＶＤ２の立下りで撮像を開始する。ここでは、制御部１０６は垂直同期信号ＶＤ１に同期してチャンネルＣｈ１を用いたライブビュー撮像と、垂直同期信号ＶＤ２に同期してチャンネルＣｈ２を用いた標準偏差評価用撮像（画像信号評価用撮像ともいう）とを開始する。

なお、垂直同期信号ＶＤ１に同期したライブビュー撮像においては、ライブビュー表示のためのフレームレートに応じて撮像動作が行われ、垂直同期信号ＶＤ２に係る１ＶＤ期間（Ｔ９０〜Ｔ９３）の間に複数フレームのライブビュー撮像が行われることになる。

期間Ｔ９０〜Ｔ９１における画像信号評価用撮像において、チャンネルＣｈ２に読み出された標準偏差検出用画像信号が撮像素子１０２から読み出されるが、この期間Ｔ９０〜Ｔ９１は、時間Ｔ９３以降における静止画撮像における露出期間と同一の設定となる。時間Ｔ９３以降の露出制御については、操作部１０８を用いたユーザ操作又は撮像素子１０２から得られる画像信号に応じたＡＥ制御に応じて決定される。よって、チャンネルＣｈ２における画像信号評価用撮像においてはチャンネルＣｈ１におけるライブビュー表示とは異なる露出制御となる。

さらに、チャンネルＣｈ２において、時間Ｔ９３以降の静止画撮影と同様の露出制御をすることによって、静止画撮影前に画質の悪化要因となる信号増幅によるＳ／Ｎの悪化、そして、撮像画素の長秒蓄積動作などの撮像制御に制限をかけることができる。その結果、静止画の画質が所定のレベル以上に悪化することを防止することができる。

期間Ｔ９０〜Ｔ９１において撮像の結果得られたチャンネルＣｈ２の出力、つまり、標準偏差検出用画像信号は、水平信号線２１５−ｂおよびスイッチ２１６を介してフレームメモリ２１７に保存される。そして、期間Ｔ９１〜Ｔ９２において、フレームメモリ２１７に保存された標準偏差検出用画像信号は画像信号評価部８０１に読み出されて、画像信号評価部８０１は標準偏差検出用画像信号について信号ばらつきである標準偏差値を算出する。その後、期間Ｔ９２〜Ｔ９３において、画像信号評価部８０１は期間Ｔ９１〜Ｔ９２で算出された標準偏差値のみを撮像素子１０２から制御部１０６に出力する。時間Ｔ９３以降においては、カメラは標準偏差評価モードから静止画撮影モードに切り替わり、制御部１０６はスイッチ２１６を切り替えて画像信号を信号処理１０４に出力可能な状態として、全画素の読み出しができるようにする。この際、制御部１０６は画像信号評価部８０１で算出された標準偏差値に応じて露光制御を行う。

上述のように、本発明の第３の実施形態では、ライブビュー用画像信号と評価用の画像信号とを同時に撮像するようにしたので、静止画の撮像を行う前に静止画撮像における動作を制御するための標準偏差値を実際の撮影前に検出することができる。

さらに、第３の実施形態では、データ量が少ない画像信号評価値である標準偏差値を直接制御部１０６に出力するようにしたので、撮像素子１０２から信号処理部１０４にデータ量が大きい画像信号を送る必要がなくなる。この結果、信号出力に起因する負荷低減によって電力削減を行うことができる。

このようにして、本発明の第３の実施形態では、ライブビュー用の撮像とは別にライブビューとは異なる撮像期間で画像信号を撮像素子１０２において同時に取得して、当該画像信号に応じて画像信号評価値である標準偏差値を撮像素子１０２で算出して制御部１０６に出力する。これによって、ライブビュー中に画像信号評価値が得られて、省電力とともに時間短縮を図ることができる。なお、第３の実施形態では、画像信号に係る標準偏差値を求める例について説明したが、次のような評価値を画像信号評価部８０１で算出させて、対応する補正を制御部１０６に行わせてもよい。

（１）画像信号基準値となるオフセット成分の１フレームあたりの変動量を画像信号から算出する画像信号オフセット補正値の算出、（２）列もしくは行単位での筋状となる固定パターンノイズの検出、（３）動画録画やライブビュー表示とは別の露出条件を設定し、光源出力の変化を検知することによるフリッカ検出、（４）ＷＢ係数、（５）対象被写体の移動量、（６）ベクトル量を検知することによる手ぶれ補正値もしくは被写体の動き検出値の算出、（７）色シェーディング評価値、（８）輝度シェーディング評価値、（９）フリッカ評価値を求めて、光学機構部１０１１内の絞り機構部や撮像素子１０２のシャッタ制御による露光制御を行うようにしてもよい。なお、上記各評価値の取得方法と補正方法については上記しているものの他に公知の手法を用いることももちろん可能である。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１０２ 撮像素子
１０４ 信号処理部
１０６ 制御部
２１２ 行走査回路
２１３ 列走査回路
２１６ 切替スイッチ
２１７ フレームメモリ
６０１ 測光値評価部
８０１ 画像信号評価部
１０２１ ＡＦ評価値検出部

Claims (12)

1. マトリックス状に配列され、光学像に応じた電圧信号を出力する複数の画素と、
   前記電圧信号をデジタル画像信号に変換するＡＤ変換部と、
   前記複数の画素の第１の画素群から出力され前記ＡＤ変換部により変換される第１のデジタル画像信号に基づいて前記光学像の撮像制御情報を生成する制御情報生成部と、
   前記複数の画素の前記第１の画素群とは異なる第２の画素群から出力され前記ＡＤ変換部により変換される前記第２のデジタル画像信号を画像データとして外部に出力する画像データ出力部と、
   前記撮像制御情報を前記画像データとは独立して外部に出力する制御情報出力部と、
   を有することを特徴とする撮像素子。
2. 前記撮像制御情報と前記画像データとは異なるフレームレートで出力されることを特徴とする請求項１に記載の撮像素子。
3. 前記撮像制御情報と前記画像データとは並行して出力されることを特徴とする請求項１又は２に記載の撮像素子。
4. 前記デジタル画像信号を一時的に記憶するためのフレームメモリを備えることを特徴とする請求項１〜３のいずれか１項に記載の撮像素子。
5. 第１の素子部と第２の素子部とからなり、前記第１の素子部が前記複数の画素を備え、前記第２の素子部が前記制御情報生成部を備えることを特徴とする請求項１〜４のいずれか１項に記載の撮像素子。
6. 前記第２の素子部は、さらに前記ＡＤ変換部を備えることを特徴とする請求項５に記載の撮像素子。
7. 前記第１の素子部と前記第２の素子部とは積層して配置され、前記第１の素子部が前記光学像を受光する側に位置していることを特徴とする請求項５又は６に記載の撮像素子。
8. 前記制御情報生成部は、前記撮像制御情報として露出を制御するための露出制御情報を生成することを特徴とする請求項１〜７のいずれか１項に記載の撮像素子。
9. 前記制御情報生成部は、前記撮像制御情報として発光部の発光量を制御するための発光制御情報を生成することを特徴とする請求項１〜８のいずれか１項に記載の撮像素子。
10. 前記制御情報生成部は、前記撮像制御情報として前記画像データの補正するための補正情報を生成することを特徴とする請求項１〜９のいずれか１項に記載の撮像素子。
11. 前記補正情報は、ホワイトバランス補正情報、オフセット補正情報、ノイズ補正情報、シェーディング補正情報、フリッカ補正情報、およびぶれ補正情報の少なくとも１つを含むことを特徴とする請求項１０に記載の撮像素子。
12. 請求項１〜１１のいずれか１項に記載の撮像素子と、
    前記撮像制御情報に応じて前記光学像の撮像制御を行う制御手段と、
    を有することを特徴とする撮像装置。

Images