JP2007174149A

JP2007174149A - 撮像システム

Info

Publication number: JP2007174149A
Application number: JP2005367441A
Authority: JP
Inventors: Hironao Otsu; 弘直大津
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2005-12-21
Filing date: 2005-12-21
Publication date: 2007-07-05
Anticipated expiration: 2025-12-21
Also published as: JP4608425B2

Abstract

【課題】画素読み出し時間が無視できない場合でも、所望の撮像レートにて撮像することができる撮像システムを提供する。
【解決手段】撮像素子１は、撮像によって生成した画像信号を、画素密度が異なる少なくとも２種類の読み出しパターンで読み出して出力可能である。領域毎読み出しパターン設定部９は、注目する被写体が特定された後、領域Ｓ１において画像信号を読み出す画素密度が、領域Ｓ２において画像信号を読み出す画素密度よりも大きくなるように、領域Ｓ１と領域Ｓ２の各々に読み出しパターンを設定する。合焦情報検出部１０は、これらの読み出しパターンで撮像素子１が読み出して出力した画像信号に基づいて、画像の合焦度を検出する。領域分離部１２は、この画像の合焦度から得られる合焦エリア情報の少なくとも一部を含むように領域Ｓ１を再設定する。
【選択図】図１

Description

本発明は、撮像素子に蓄積された画像信号を読み出す方法を改善した撮像システムに関する。

撮像素子の撮像領域の一部分から画像信号を読み出す技術が、例えば特許文献１に開示されている。この特許文献１に記載された撮像装置は、有効走査領域より広い撮像領域を有する撮像素子と、撮像素子の撮像領域のうち一部の領域の映像信号を読み出すための第１のクロックを生成する第１のクロック生成手段と、撮像素子の全領域の映像信号を読み出すための第２のクロックを生成する第２のクロック生成手段とを備え、第１のクロックを選択しているときは撮像素子の一部の領域の映像信号を読み出し、第２のクロックを選択しているときは撮像素子の全領域の映像信号を読み出す制御を行う。

一方、特許文献２には、被写体を追尾する動体追尾装置が開示されている。この動体追尾装置は、撮像光学系と、この撮像光学系を介した被写体像をイメージ信号に変換するための光電変換素子と、この光電変換素子の出力信号から特定周波数成分を抜き出す周波数検出手段と、フォーカスエリアを設定するためのフォーカスエリア設定手段と、フォーカスエリアより広い追尾エリア内の上記光電変換素子の各行ごとに加算値を演算する加算手段と、上記フォーカスエリアを含む行の上記加算値を各行ごとに記憶する第１記憶手段と、上記追尾エリア内の全行の上記加算値を記憶可能な容量を有し、相関演算を行う領域について上記加算値を記憶すると共に、空いている領域に上記特定周波数成分を記憶する第２記憶手段と、上記第１及び第２記憶手段にそれぞれ記憶された加算値に基いて相関演算を行い追尾を行う追尾手段と、この追尾手段によって追尾されたフォーカスエリアについて上記第２記憶手段に記憶された特定周波数成分に基いて合焦検出を行う合焦検出手段とを備えている。
特開平１１−３０８５３５号公報特開平５−１４５８２２号公報

被写体を描写して理想に近い被写体画像を得る為には、所望の画素数を所望のフレーム速度（フレームレート）にて撮像したいのだが、現実的には画素数とフレーム速度とには時代とともに移り変わる限界がある。仮に、フレーム速度が不問である撮像であるならば、撮像領域の画素から画像信号を読み出すのに要する時間である画素読み出し時間を無視できるので、撮像素子の有効画素に対して全画素読み出しをすることが最善手となりうるが、所望のフレーム速度が限定される場合には、画素読み出し時間を無視できないので、撮像素子の有効画素に対して全画素読み出しをすることが不可能となる場合がある。特に、多画素の撮像素子における高速フレーム撮像などのように、１フレームあたりの画素の読み出し時間が密に詰まっている撮像システムでは、この問題は顕著となる。

本発明は、上述した問題点に鑑みてなされたものであって、画素読み出し時間が無視できない場合でも、所望の撮像レートにて撮像することができる撮像システムを提供することを目的とする。

本発明は、上記の課題を解決する為になされたものであり、撮像素子の撮像領域（実効画素領域）から画像信号を読み出す方法の改善を図った撮像システムである。画素読み出し時間という有限の制限事項に着目すれば、撮像素子の実効画素領域を、１フレーム内で注目する領域と注目しない領域とに分離し、注目する領域を優先的に読み出し、注目しない領域については、注目する領域よりも画素を間引いて読み出すことが考えられる。

仮に、１フレームで一律に画素を間引いて画像信号を読み出した場合について考えてみれば、被写体の非合焦領域については画質劣化が小さいが、被写体の合焦領域については画質劣化が大きくなる現象がある。この現象の主な理由は、画像信号の解像度が画素読み出しによるサンプリング定理に従うからであり、サンプリング定理が光学系を介した被写体のナイキスト周波数付近の画像再現性を左右するからである。別の言い方をすれば、画像信号のサンプリング数の減少は水平解像度および垂直解像度の理論限界に影響するからである。

これは、被写体の非合焦領域は光学系を介した被写体のナイキスト周波数が低い領域なので、水平解像度および垂直解像度の理論限界が多少落ちたとしても画質劣化は小さいことを意味する。また、被写体の合焦領域は光学系を介した被写体のナイキスト周波数が高い領域なので、水平解像度および垂直解像度の理論限界が落ちれば画質劣化が大きくなることを意味する。

そこで、注目する領域を領域Ｓ１と考えて、合焦度の高い画素の合焦情報を多く含む関数情報（例えば図８で説明するように２値の合焦情報を論理和演算した結果）を合焦エリア情報とすれば、合焦エリア情報から生成される領域Ｓ１から画像信号を優先的に読み出すことで、画素の読み出し時間という制限の中での最適な画質が得られると考えられる。上記の点に鑑み、１フレーム単位での画像信号の読み出し画素数を減らすことで、１フレームあたりの画素の読み出し時間を減らすことに着目した。また、画質劣化の低減を図りつつ高速フレーム撮像などを可能とする目的で、撮像素子の１フレーム内の実効画素領域を、注目する被写体のある領域Ｓ１と注目しない領域Ｓ２とに分離することと、注目する被写体のある領域Ｓ１の自動追尾とにも着目した。

上記の点に鑑み、本発明は、被写体を撮像する撮像システムであって、撮像によって生成した画像信号を、画素密度が異なる少なくとも２種類の読み出しパターンで読み出して出力可能な撮像素子と、前記撮像素子の１フレーム内の実効画素領域を少なくとも２つの領域Ｓ１と領域Ｓ２に分離する領域分離手段と、注目する被写体が特定された後、前記領域Ｓ１において前記画像信号を読み出す画素密度が、前記領域Ｓ２において前記画像信号を読み出す画素密度よりも大きくなるように、前記領域Ｓ１と前記領域Ｓ２の各々に読み出しパターンを設定する領域毎読み出しパターン設定手段と、前記領域毎読み出しパターン設定手段が設定した読み出しパターンで前記撮像素子から読み出して出力した前記画像信号に基づいて、画像の合焦度を検出する合焦情報検出手段とを有し、前記領域分離手段は、前記合焦情報検出手段が検出した画像の合焦度から得られる合焦エリア情報の少なくとも一部を含むように前記領域Ｓ１を再設定することを特徴とする撮像システムである。

また、本発明の撮像システムにおいて、注目する被写体が特定されるまでの間、前記領域毎読み出しパターン設定手段は、前記領域Ｓ１と前記領域Ｓ２に同一の読み出しパターンを設定し、前記領域分離手段は、前記同一の読み出しパターンで前記領域Ｓ１および前記領域Ｓ２から読み出されて出力された前記画像信号に基づいて前記合焦情報検出手段が検出した前記画像の合焦度から得られる合焦エリア情報の少なくとも一部を含む領域を前記領域Ｓ１として設定し、前記領域分離手段が前記領域Ｓ１を設定することによって、前記合焦エリア情報に含まれる被写体が、注目する被写体として特定されることを特徴とする。

また、本発明の撮像システムにおいて、注目する被写体が特定されるまでの間、前記領域分離手段は、前記領域Ｓ１を前記実効画素領域と略一致するように設定した後、前記領域Ｓ１から読み出されて出力された前記画像信号に基づいて前記合焦情報検出手段が検出した前記画像の合焦度から得られる合焦エリア情報の少なくとも一部を含む領域を前記領域Ｓ１として再設定し、前記領域分離手段が前記領域Ｓ１を再設定することによって、前記合焦エリア情報に含まれる被写体が、注目する被写体として特定されることを特徴とする。

また、本発明の撮像システムは、前記撮像素子が撮像した画像を表示する表示手段をさらに備え、前記表示手段は、前記領域Ｓ１の枠線を前記画像に重畳して表示することを特徴とする。

また、本発明の撮像システムは、操作者が手動で前記領域Ｓ１の大きさおよび／または位置を設定することが可能な領域手動設定手段をさらに有することを特徴とする。

また、本発明の撮像システムは、前記撮像素子が撮像した画像を表示する表示手段をさらに備え、前記領域手動設定手段は、前記表示手段の表示面に配置されたタッチパネルを有し、前記操作者によって前記タッチパネルに入力される情報に基づいて前記領域Ｓ１の大きさおよび／または位置を設定することを特徴とする。

また、本発明の撮像システムにおいて、前記領域手動設定手段は、前記操作者が時間単位またはフレーム単位で前記領域Ｓ１の大きさおよび／または位置を予約入力することが可能であり、前記領域分離手段は、前記合焦情報検出手段による前記画像の合焦度の検出結果に関わらず、前記領域手動設定手段に予約入力された情報に基づいて、前記実効画素領域を前記領域Ｓ１と前記領域Ｓ２に分離することを特徴とする。

また、本発明の撮像システムにおいて、前記領域分離手段は、前記合焦情報検出手段が検出した前記画像の合焦度を同一行の画素について論理和演算した各行についての結果から得られる合焦エリア情報の行範囲の中心に対して、前記領域Ｓ１の行範囲の中心が略一致するように、かつ前記画像の合焦度を同一列の画素について論理和演算した各列についての結果から得られる合焦エリア情報の列範囲の中心に対して、前記領域Ｓ１の列範囲の中心が略一致するように前記領域Ｓ１を設定することを特徴とする。

また、本発明の撮像システムにおいて、前記領域分離手段は、前記合焦情報検出手段が検出した前記画像の合焦度を同一行の画素について積分演算した各行についての結果から得られる合焦エリア情報の行範囲の中心に対して、前記領域Ｓ１の行範囲の中心が略一致するように、かつ前記画像の合焦度を同一列の画素について積分演算した各列についての結果から得られる合焦エリア情報の列範囲の中心に対して、前記領域Ｓ１の列範囲の中心が略一致するように前記領域Ｓ１を設定することを特徴とする。

また、本発明の撮像システムにおいて、前記合焦情報検出手段が検出した前記画像の合焦度に基づいて前記領域Ｓ１と前記領域Ｓ２の初期設定を自動で行う自動領域設定モードと、操作者が手動で前記領域Ｓ１の大きさおよび／または位置を設定することが可能な領域手動設定手段の設定に基づいて前記領域Ｓ１と前記領域Ｓ２の初期設定を行う手動領域設定モードと、注目する被写体の動きに応じて前記領域Ｓ１を前記被写体に追尾させる自動追尾モードと、前記自動追尾モードによる前記領域Ｓ１の自動追尾中に、前記領域手動設定手段の設定に基づいた前記領域Ｓ１と前記領域Ｓ２の設定を割り込ませることができる自動追尾中手動割り込み可能モードと、前記自動追尾モードによる前記領域Ｓ１の自動追尾中に、前記領域手動設定手段の設定に基づいた前記領域Ｓ１と前記領域Ｓ２の設定を割り込ませることができない自動追尾中手動割り込み禁止モードと、前記自動追尾モードによる前記領域Ｓ１の自動追尾を行わないで、前記領域手動設定手段の設定に基づいて前記領域Ｓ１を設定する手動調整モードとのうち少なくとも２つのモードを有し、各モードの切り替えが可能であることを特徴とする。

また、本発明の撮像システムにおいて、前記領域分離手段は、前記合焦情報検出手段が検出した画像の合焦度から得られる合焦エリア情報の略中心に前記領域Ｓ１の中心が略一致するように前記領域Ｓ１を設定することを特徴とする。

特許文献１には、第１のクロックを選択しているときは撮像素子の一部の領域の映像信号を読み出し、第２のクロックを選択しているときは撮像素子の全領域の映像信号を読み出すように制御し、１フレーム内にあるのは第１のクロック、第２のクロックのうちどちらか一方の選択であるかのような記載があるが、本発明の撮像システムでは１フレーム内に第１のクロックと第２のクロックとが混在している、つまり１フレーム内に領域Ｓ１と領域Ｓ２とが混在している。また、本発明のように画像の合焦度を検出して、撮像素子の実効画素領域を、注目する被写体のある領域Ｓ１と注目しない領域Ｓ２とに分離することについては触れられていない。

特許文献２には、フォーカスエリア設定手段と、追尾エリア内の光電変換素子の各行ごとに加算値を演算する加算手段と、特定周波数成分に基づいて合焦検出を行う合焦検出手段とを具備する動体追尾装置が記載されているが、この技術はオートフォーカスを目的としたものであり、追尾エリア内からフォーカスエリアを設定すると記載されている。しかし、本発明では、注目しない領域から画像信号を読み出す画素密度は、注目する被写体のある領域Ｓ１から画像信号を読み出す画素密度よりも小さいので、撮像中に注目しない領域で光学像における合焦画素が存在したとしても、注目しない領域での画像の合焦度は、注目する領域での画像の合焦度ほど高くはなりにくい。その特徴がある為に、本発明の撮像システムは、注目する被写体のある領域Ｓ１の空間位相が不連続に移動することはないシステムでもあり、特許文献２に記載された技術と本発明とでは具体的な構成が異なる。また、特許文献２には、領域分離手段と領域毎読み出しパターン設定手段に関する記載はない。

本発明によれば、領域Ｓ１および領域Ｓ２に領域毎で異なる画素読み出しパターンを設定することによって、実効画素領域の全画素から画像信号を読み出す場合と比べて１フレーム内の画素読み出し時間を減らし、所望の撮像レートにて撮像することができるという効果が得られる。また、領域Ｓ１で画像信号を読み出す画素密度が、領域Ｓ２で画像信号を読み出す画素密度よりも高いことと、画像の合焦度から得られる合焦エリア情報の少なくとも一部を含むように領域Ｓ１が設定されることとから、１フレーム単位での画像信号の読み出し画素数を減らしても、画質の劣化を低減することができるという効果も得られる。

以下、図面を参照し、本発明の実施形態を説明する。図１は、本発明の一実施形態による撮像システムの構成を示している。撮像素子１は被写体を撮像し、被写体像に基づいた画像信号を生成する。この撮像素子１は、撮像によって生成した画像信号を、画素密度が異なる少なくとも２種類の読み出しパターンで読み出して出力することが可能である。後述するように撮像素子１の実効画素領域から画像信号を読み出す方法として、所定の領域を構成する全画素の画像信号を読み出す全画素読み出しと、所定の領域を構成する全画素の中から一部の画素を間引いて画像信号を読み出す画素間引き読み出しとを選択することが可能であり、１フレーム内に両者は混在できる。

画素間引き読み出しに使用される画素間引き読み出しパターンは複数用意されており、それらの中から所望の画素間引き読み出しパターンを選択することが可能である。本実施形態では、撮像素子１の実効画素領域が領域Ｓ１と領域Ｓ２に分離され、画像信号を読み出す為の読み出しパターン（全画素読み出しパターンまたは画素間引き読み出しパターン）が領域毎に設定される。注目する被写体が特定された後では、領域Ｓ１において画像信号を読み出す画素密度が、領域Ｓ２において画像信号を読み出す画素密度よりも大きくなるように、領域Ｓ１と領域Ｓ２の各々に読み出しパターンが設定される。本実施形態では、注目する被写体が特定された後は、領域Ｓ１に全画素読み出しパターンが設定され、領域Ｓ２に画素間引き読み出しパターンが設定される。画像の合焦度から得られる合焦エリア情報の少なくとも一部を含むように領域Ｓ１が設定されるので、１フレーム内での画像信号の読み出し画素数を減らしても、画質の劣化を低減することが可能となる。

撮像素子駆動装置２は撮像素子１を駆動し、画像信号の読み出しを制御する。この撮像素子駆動装置２は撮像素子１内に搭載してもよい。撮像素子１から出力されるアナログ画像信号はＡ／Ｄ変換器３によりデジタル画像信号に変換される。このＡ／Ｄ変換器３は撮像素子１内に搭載してもよい。Ａ／Ｄ変換器３により変換されたデジタル画像信号は原画像データとして出力されるが、画素間引き読み出しで読み出された画像信号を含む場合もあり、撮像素子１に配列される光電変換素子の空間位相が正しく配列されているとは限らない。この原画像データは原画像データメモリ４に格納され、記憶される。

原画像データメモリ４に格納された原画像データは、アドレス変換部５によって原画像データメモリ４から読み出される。本実施形態のアドレス変換部５は、原画像データを読み出す際にアドレス変換を用いて原画像データの読み出し順序を制御することで画素の空間位相を復元する。

つまり、画素間引き読み出しで読み出されたデータを含む原画像データが原画像データメモリ４に格納されると、画素間引き読み出しで読み出されなかった画素データは消滅するが、アドレス変換部５がアドレス変換を用いて原画像データを読み出すことによって、原画像データは、撮像素子１に配列される光電変換素子のように空間位相の正しい画像データへと復元される。画素間引きで読み出されなかった画素に関しては、アドレス変換部５によって原画像データに例えば補間データが挿入され、原画像データから画像データに変換される。アドレス変換部５には後述する領域Ｓ１ウィンドウ信号および領域Ｓ２ウィンドウ信号が入力される。

アドレス変換部５から出力された画像データは、フィルタリング部６を介して画像処理部７に入力される。フィルタリング部６では画像データに対してフィルタリングを行うか否かを任意に設定することが可能である。領域Ｓ１と領域Ｓ２とで異なる読み出しパターンが設定された場合、表示画像上で領域Ｓ１と領域Ｓ２との境界線が、画像の解像度の再現性を介して残ってしまう場合がある。そこで、領域Ｓ１と領域Ｓ２の境界線と、領域Ｓ１の中にある非合焦画素とについては、フィルタリングを施すことで目立たなくする必要がある。フィルタリング部６には後述する領域Ｓ１ウィンドウ信号および領域Ｓ２ウィンドウ信号が入力される。画像処理部７に入力された画像データは、ホワイトバランス、色再現性処理、輝度階調性処理、低輝度部処理、高輝度部処理、輪郭補正等の画像処理が施されて画像情報として表示部８へ出力される。画像処理部７には領域Ｓ１ウィンドウ信号が入力され、表示部８の画面上に画像情報と共に領域Ｓ１の枠線が重畳表示されることも可能である。

領域毎読み出しパターン設定部９は、領域Ｓ１および領域Ｓ２のそれぞれの読み出しパターンを設定する。設定した読み出しパターンの情報は領域Ｓ１ウィンドウ信号生成部１３および領域Ｓ２ウィンドウ信号生成部１４へ出力される。合焦情報検出部１０は、画像データ（または画像情報）に基づいて合焦情報（画像の合焦度に関する情報）を検出し、領域分離部１２へ出力する。領域入力部１１は、操作者が自身の判断で領域Ｓ１および領域Ｓ２を指定する情報を入力する為の入力装置（例えばタッチパネルやカーソルボタン等）を備えている。操作者の入力結果の情報は領域分離部１２へ出力される。なお、領域入力部１１に視線検出機構を設け、視線検出によって操作者の注目する領域を検出し、その領域の情報を領域分離部１２へ出力するようにしてもよい。

領域分離部１２は、撮像素子１の実効画素領域を領域Ｓ１および領域Ｓ２に分離し、領域Ｓ１の情報（実効画素領域中のどの領域が領域Ｓ１であるのか等の情報）を領域Ｓ１ウィンドウ信号生成部１３へ出力すると共に、領域Ｓ２の情報（実効画素領域中のどの領域が領域Ｓ２であるのか等の情報）を領域Ｓ２ウィンドウ信号生成部１４へ出力する。領域分離部１２が領域Ｓ１および領域Ｓ２を設定するのに必要な情報は合焦情報検出部１０または領域入力部１１から出力される。

領域分離部１２は、領域入力部１１から出力された操作者の入力結果の情報、または合焦情報検出部１０から出力された合焦情報に基づいて領域Ｓ１および領域Ｓ２を設定する。操作者の入力結果と合焦情報のうち、どちらの情報に基づいて領域Ｓ１および領域Ｓ２を設定するのかは、領域設定動作モードに応じて変わる（これに関しては図１６を用いて後述する）。領域入力部１１から出力された操作者の入力結果の情報に基づいて領域Ｓ１および領域Ｓ２を設定する場合には、操作者の意思を反映した領域設定を行うことができる。また、合焦情報検出部１０から出力された合焦情報に基づいて領域Ｓ１および領域Ｓ２を設定する場合には、画像中の合焦の度合いを反映した領域設定を自動的に行うことができる。本実施形態では、注目する被写体の少なくとも一部が領域Ｓ１に含まれるように、合焦情報に基づいて領域Ｓ１の設定更新を行う自動追尾が可能となっている。

領域Ｓ１ウィンドウ信号生成部１３は、領域分離部１２によって設定された領域Ｓ１の画素から画像信号を読み出す為に必要な制御信号である領域Ｓ１ウィンドウ信号を生成する。この領域Ｓ１ウィンドウ信号には、領域毎読み出しパターン設定部９によって設定された読み出しパターンの情報が含まれる。領域Ｓ２ウィンドウ信号生成部１４は、領域分離部１２によって設定された領域Ｓ２の画素から画像信号を読み出す為に必要な制御信号である領域Ｓ２ウィンドウ信号を生成する。この領域Ｓ２ウィンドウ信号には、領域毎読み出しパターン設定部９によって設定された読み出しパターンの情報が含まれる。なお、読み出しパターンの情報に基づいて、撮像素子１の動作を制御する為のクロックに係るクロック情報（読み出し用のクロックを指定する情報であってもよいし、クロックそれ自体であってもよい）を生成し、領域Ｓ１ウィンドウ信号および領域Ｓ２ウィンドウ信号として出力してもよい。

撮像素子駆動装置２には上記の領域Ｓ１ウィンドウ信号および領域Ｓ２ウィンドウ信号が入力される。撮像素子駆動装置２は、入力された信号を撮像素子１の仕様に合わせて変換する等の処理を行い、撮像素子１を駆動する為の撮像素子駆動信号を生成する。出力先の負荷によっては撮像素子１と撮像素子駆動装置２の間に電流ドライバを挿入してもよい。なお、図１によればＡ／Ｄ変換器３には領域Ｓ１ウィンドウ信号と領域Ｓ２ウィンドウ信号が入力されているが、Ａ／Ｄ変換器３へのこれらウィンドウ信号の入力は実施の一例であり、設計次第では省略も可能である。

次に、撮像素子１の実効画素領域から画像信号を読み出す際の読み出しパターンの詳細を説明する。図２〜図５は、本発明が適用される撮像素子１の実施の一例として、ＲＧＢカラーフィルタを搭載した単板式イメージセンサの画素配列を示す上面拡大図の一部である。図２は、全画素読み出しによる読み出しパターンＡを拡大したものの一部と等価である。実際の撮像素子１の画素数は図２よりももっと多いし、カラーフィルタの色や配列等の具体的な構成は図２に限られるものではない。

図３は、画素間引き読み出しによる読み出しパターンＢである。図２でＧ２が配列された部分が黒く塗りつぶされているが（以降、スマッジングと呼ぶ）、これは、画素Ｇ２については読み出されないことを意味する。図２と図３とを比較して見た場合、読み出されないＧ２の分だけ画素数が減るので、読み出しパターンＢでは単位領域に対して読み出し時間が短くなる原理がある。ただし、Ｇ２の画素を放棄する分だけ特に感度と画像解像度とが犠牲になる。

図４は、画素間引き読み出しによる読み出しパターンＣである。スマッジングが施された画素が読み出されないことを意味するが、ＲとＢとが間引かれてＧ１とＧ２とが読み出される。読み出しパターンＣでも読み出されない画素があるので、単位領域に対して読み出し時間を短くすることができる。読み出しパターンＣは、例えば画像情報記録前のスタンバイモード時に領域Ｓ１と領域Ｓ２との初期設定に使われることを想定している。

画像情報記録前のスタンバイモード時の領域Ｓ１と領域Ｓ２との初期設定において、被写体の動き量に応じて撮像レートを高速にしたい場合等に、図４の間引き読み出しパターンを利用できる方が、撮像システムとして都合がよい。図２の全画素読み出しパターンを設定するよりも、図４の間引き読み出しパターンを設定した方が約２倍の高速撮像レートに設定できるし、領域Ｓ１と領域Ｓ２との初期設定には必ずしも色情報が必要とは限らないからである。ただし、図４の間引き読み出しパターンからは色情報が得られないのと、輝度信号についても、ＲとＧとＢとのマトリックス演算から得られる輝度とは違うので正しい輝度信号とはいえないとの理由から、記録用の撮像には不向きな要素がある。

図５は、画素間引き読み出しによる読み出しパターンＤである。スマッジングが施された画素が読み出されないことを意味するが、読み出しパターンＤは、全画素読み出しによる読み出しパターンＡと比較して半数の画素しか読み出されない読み出しパターンの一例である。読み出しパターンＡと比較してみれば、撮像素子の感度は半分になり、撮像素子の解像度も半分に劣化する。しかし、単位領域に対しての読み出し時間を約半分にできるメリットがある。

なお、読み出しパターンの例は読み出しパターンＡ、読み出しパターンＢ、読み出しパターンＣ、読み出しパターンＤに限られるものではなく、いろいろな変形が考えられる。

図６は、撮像素子１の実効画素領域を１フレーム内で少なくとも２つの領域Ｓ１と領域Ｓ２とに分けた一例である。領域Ｓ１および領域Ｓ２は、領域分離部１２によって設定される。各領域から画像信号を読み出すには、特許文献１に記載された技術を応用し、例えば全画素読み出しクロックを選択して領域Ｓ１の画像信号を読み出し、画素間引き読み出しパターンクロックを選択して領域Ｓ２の画像信号を画素間引きで読み出すように制御する。

図６において、領域Ｓ１を予め合焦画素の領域とし、領域Ｓ２を予め非合焦画素の領域とはしていない。なぜなら、注目する被写体である人物等が毎フレーム動くことを想定するべきであるからである。この想定は、本発明を静止画撮像システムに応用した場合にも当てはまる。領域Ｓ１の位置については、毎フレーム補正する必要がある被写体を想定しておくべきであり、その為にも少なくとも合焦画素の領域よりも領域Ｓ１の方が広くあるべきである。表示部８では、画像処理部７に入力される領域Ｓ１ウィンドウ信号に基づいて、領域Ｓ１と領域Ｓ２との境界を示す枠線を表示画像上に重畳して表示することが可能である。領域Ｓ１の枠形状は必ずしも四角形でなくてもよいが、上述したように、領域Ｓ１は合焦画素のみから構成されるわけではない。

領域分離部１２により分けられた領域毎に設定される具体的な読み出しパターンの例には、前述した図２〜図５に示されるパターン等がある。図３〜図５でスマッジングが施されている読み出されない画素については、空間アドレス自体の消滅はないと考えてもよい。撮像素子１からの画素間引き読み出しの時には一時的に画素としては消滅するが、原画像データメモリ４からアドレス変換部５を介してフィルタリング部６に画像データが入力された時には、撮像素子１における本来のアドレスに復元されるからである。本実施形態のアドレス変換部５は、画像表示部への適用に限らず、間引きで失われた空間位相を復元する役目を果たす。

図３〜図５でスマッジングが施されている読み出されない画素に対する画像処理については、補間データを挿入する手段を用いてもよいし、ｎタップのレゾリューションコンバート（ｎは自然数）を用いてもよいし、一般的なバイキュービック法を用いてもよい。

次に、合焦情報検出部１０の詳細を説明する。図７は合焦情報検出部１０の構成を示している。合焦情報検出部１０は輝度成分作成回路１０１、高輝度成分クリップ回路１０２、および高周波成分抽出回路１０３を備えている。輝度成分作成回路１０１には画像データ（画像情報）が入力される。この画像データ（画像情報）とは、例えばアドレス変換部５から出力される画像データ、画像処理部７から出力される画像情報（フィルタリング部６がＯＮ・ＯＦＦのいずれの場合でもよい）のいずれかでよい。どの画像データ（画像情報）を用いるかは、注目する被写体のある領域Ｓ１の自動追尾に求める特性、特徴により設計してもよい。

輝度成分作成回路１０１は画像データ（画像情報）から輝度成分の情報を作成し、高輝度成分クリップ回路１０２へ出力する。高輝度成分クリップ回路１０２は輝度成分のうち高輝度成分をクリップし、その情報を高周波成分抽出回路１０３へ出力する。高周波成分抽出回路１０３は高輝度成分をクリップした輝度成分から高周波成分を抽出した合焦情報を生成し、出力する。

合焦情報は、全画素読み出しが行われる領域Ｓ１から主に抽出される（または抽出されやすい）ので、注目する被写体は領域Ｓ１の中に存在すべきであり、少なくとも注目する被写体の一部は常に領域Ｓ１の中に存在すべきである。注目する被写体が次フレームで再び領域Ｓ１に存在する為には、領域Ｓ１にはある程度の広さが要求される。本実施形態による撮像システムは、合焦情報の変化に伴い合焦エリア情報が変化して領域Ｓ１を移動させるシステムなので、領域Ｓ２の読み出しパターンを間引き読み出しパターンに設定した場合は、領域Ｓ２からは合焦情報および合焦エリア情報が検出されにくい特徴がある。従って、領域Ｓ１には、合焦画素と隣接した周辺の画素をマージンとして含むべきである。

次に、図８〜図１５を参照しながら、注目する被写体の自動追尾方法を説明する。図８において、枠線８０１で囲まれた領域が領域Ｓ１であり、注目する被写体（被写体８０２）を撮像する領域である。領域Ｓ１では全画素読み出しが行われるものとする。図８において、実効画素領域における残りの領域が領域Ｓ２であり、注目しない領域（例えばデフォーカス領域）である。高速撮像中においては領域Ｓ２では画素間引き読み出しが行われるものとする。

図８の右側にある縦線８０３と縦ブロック８０４、および図８の下側にある横線８０５と横ブロック８０６は、合焦エリア情報の一形態である。画像データ（画像情報）が、図１にある合焦情報検出部１０に入力され、合焦情報検出部１０によって合焦情報（例えば２値であり、所定以上の合焦度合いの画素（合焦画素）については“１”、それ以外の合焦度合いの画素（非合焦画素を含む）については“０”）が検出される。領域分離部１２は、この合焦情報を用いて行画素単位および列画素単位で以下のような演算を行う。

領域分離部１２は、合焦情報を同一行の画素について論理和演算することによって、縦線８０３と縦ブロック８０４とを生成する。縦線８０３は、論理和演算の結果が“０”であったことを示しており、縦ブロック８０４は、論理和演算の結果が“１”であったことを示している。同様に、領域分離部１２は、合焦情報を同一列の画素について論理和演算することによって、横線８０５と横ブロック８０６とを生成する。横線８０５は、論理和演算の結果が“０”であったことを示しており、縦ブロック８０６は、論理和演算の結果が“１”であったことを示している。

なお、領域分離部１２が、合焦情報を同一行の画素について積分演算すると共に、合焦情報を同一列の画素について積分演算するようにしてもよい。領域分離部１２は、合焦情報を同一行の画素について積分演算することによって、縦線８０３ａと縦積分結果８０４ａとを生成する。縦線８０３ａは、積分演算の結果が“０”であったことを示しており、縦積分結果８０４ａは積分演算の結果の大小を示している。同様に、領域分離部１２は、合焦情報を同一列の画素について積分演算することによって、横線８０５ａと横積分結果８０６ａとを生成する。横線８０５ａは、積分演算の結果が“０”であったことを示しており、横積分結果８０６ａは積分演算の結果の大小を示している。また、合焦エリア情報を決定する為の合焦情報は２値である必要はなく、３値以上の実数値でもよい。

図８〜図１０は、図７にある高周波成分抽出回路１０３の設定を撮像装置のナイキスト周波数付近に設定した場合の自動追尾の一例を示している。この場合、図８にある縦ブロック８０４と横ブロック８０６とは、領域Ｓ２内には存在せず、常に領域Ｓ１内の行画素単位と列画素単位とにそれぞれ存在している。これは、間引き読み出しが行われる領域Ｓ２からは高周波成分が抽出されないからである。ただし、領域Ｓ１の初期設定の為、図４にある読み出しパターンＣによる画素間引き読み出しが行われる場合には、領域Ｓ２からも高周波成分が抽出されるように高周波成分抽出回路１０３を一時的に設定すべきである。なお、高周波成分抽出回路１０３の設定は、ナイキスト周波数付近に限られるものではなく、いろいろな変形が考えられる。高周波成分抽出回路１０３の設定によっては、図８〜図１０にある縦ブロック８０４と横ブロック８０６とが常に領域Ｓ１内にあるとは限らない。

図９は、図８より被写体の時系列が１フレーム分進んでおり、注目する被写体８０２が図８よりもやや右下に向かって移動した様子を示している。図８よりも縦ブロック８０４がやや下に向かって移動し、横ブロック８０６がやや右に向かって移動しているのがわかる。また、注目する被写体８０２が領域Ｓ１から若干下にはみ出しているが、はみ出した部分については、縦ブロック８０４が反応していないことが確認できる。これは、高周波成分抽出回路１０３の設定をナイキスト周波数付近に持ってきた結果、画素間引き読み出しが行われる領域Ｓ２からは高周波成分が抽出されなかったからである。

図１０は、図９と同じ時系列の撮像フレームについての図であり、次フレーム用の領域Ｓ１を設定更新した様子を示している。図８から図９で縦ブロック８０４と横ブロック８０６とが移動した分だけ、次フレーム用の領域Ｓ１が移動している。図１０では、領域Ｓ１の設定の一例として、ブロックの両端からの距離的な中心地を縦ブロック８０４と横ブロック８０６とのそれぞれについて算出し、それぞれの中心地から行方向および列方向に伸ばした行仮想線８０７と列仮想線８０８との交点を領域Ｓ１の重心としている。言い換えると、合焦エリア情報の行範囲の中心に対して、領域Ｓ１の行範囲の中心が一致するように、かつ合焦エリア情報の列範囲の中心に対して、領域Ｓ１の列範囲の中心が一致するように、領域Ｓ１が設定される。

なお、この行仮想線８０７と列仮想線８０８とを、ブロックの両端からの距離的な中心地から引き出すことに限定しない。例えばメディアン法（変量のすべての値を大きさの順に並べた時，中央にくる変量の値）を用いたり、行画素単位と列画素単位とのそれぞれの合焦情報の積分値について、それぞれの最大値を算出し交点を求めたりする等いろいろな変形が考えられる。

また、上記の説明では、行方向および列方向の１次元に分布する合焦エリア情報が生成されるものとしているが、２次元に分布する合焦エリア情報が生成されるものとしてもよい。例えば図１１にある被写体１１０１の位置の画素から合焦情報（例えば“１”）が検出され、その結果、合焦エリア情報は、図１２にあるような２次元の合焦エリア情報１２０１となる。この合焦エリア情報１２０１によって示される領域の重心位置に対して、領域Ｓ１の中心が略一致するように、領域Ｓ１が設定される。

図１３は、図１２より被写体の時系列が１フレーム分進んだ画像を示している。領域Ｓ１で全画素読み出しが行われ、領域Ｓ２で画素間引き読み出しが行われる為、領域Ｓ１内から合焦情報（例えば“１”）が検出され、その結果、合焦エリア情報は、図１４にあるような２次元の合焦エリア情報１４０１となる。この合焦エリア情報１４０１によって示される領域の重心位置に対して、領域Ｓ１の中心が略一致するように、領域Ｓ１が再設定される（図１５参照）。

合焦情報検出部１０で検出された合焦情報から、領域分離部１２による領域Ｓ１の設定手法について述べれば、領域Ｓ１の空間位相は、最小でも１フレーム遅れによる設定となるはずである。注目被写体の動き予測をして予め領域Ｓ１の設定に補正を加える手法を加えてもよい。

領域Ｓ１の自動追尾中に誤判定により、注目被写体から領域Ｓ１が外れてしまう場合について追記する。被写体に奥行きがなく、撮像画枠全体が合焦してしまうような撮像条件下では、注目する被写体よりも注目しない背景にある被写体の方がより多くの合焦情報を出力してしまう場合もあり、領域Ｓ１が背景に吸い寄せられたまま、注目する被写体に自動追尾をしないことがある。

この場合に対応する為、手動調整にて領域Ｓ１を注目被写体に呼び戻す機能を設けることが考えられる。手動調整の手段として、表示部８の表示面に装着してあるタッチパネルを用いる等が考えられる。或いは撮像システムにジョイスティックのような少なくとも４方向以上のレバーを装備してもよい。また、タッチパネルや４方向以上のレバーの装備については、それらが撮像システム上にあればよく、必ずしも撮像装置本体になくともよい。

例えばタッチパネルにて領域Ｓ１を設定する場合は、領域Ｓ１の枠線を表示部８に撮像画像と供に重畳表示し、注目する被写体の座標を操作者がタッチすればよい。領域Ｓ１の大きさおよび位置は、操作者の操作の仕方に応じて変更可能である。この場合、表示部８上に撮像画像と供に重畳表示される領域Ｓ１の枠線を見れば、領域Ｓ１が、注目する被写体のある領域に呼び戻されたかどうかを確認することができる。

次に、図１６を参照しながら、領域Ｓ１を、注目する被写体に設定する制御の一例を説明する。画像情報記録前のスタンバイモード時に、図１にある領域毎読み出しパターン設定部９は領域Ｓ１と領域Ｓ２との両方について、図４にある読み出しパターンＣを設定する（ステップＳ１６０１）。このように、領域Ｓ１と領域Ｓ２との初期設定時には、Ｇ画素のみで構成されている間引き読み出しパターンが実効画素領域全体に一時的に設定される。一時的というのは、領域Ｓ１と領域Ｓ２とが初期設定された後に、各領域の読み出しパターンを、設定済みである画像情報記録用の読み出しパターン（領域Ｓ１は全画素読み出しパターン、領域Ｓ２は画素間引き読み出しパターン）に戻すからである。ステップＳ１６０１については各種変形や応用があってもよく、必ずしもここで読み出しパターンＣを設定するとは限らない。

なお、ステップＳ１６０１において、領域Ｓ１と領域Ｓ２とには同じ読み出しパターンＣが設定される為、領域Ｓ１および領域Ｓ２は任意に設定してよい。また、領域分離部１２が領域Ｓ１を実効画素領域と略一致するように設定し、領域毎読み出しパターン設定部９が領域Ｓ１に読み出しパターンＣを設定してもよい。

続いて、撮像システムのモードがどのモードに設定されているのかが判断される（ステップＳ１６０２）。画像情報記録前の領域初期設定には、自動領域設定モードと手動領域設定モードとがあり、自動領域設定モードの場合は、合焦情報検出部１０によって合焦情報が検出され、検出された合焦情報が領域分離部１２に入力される。また、手動領域設定モードの場合で、後述する領域Ｓ１自動追尾モードの場合は、タッチパネルや４方向以上のレバーなどを備えた領域入力部１１から、手動調整による結果の情報が図１にある領域分離部１２に入力される。

自動領域設定モードでは、合焦情報に基づいて領域Ｓ１と領域Ｓ２との設定が自動で行われる。手動領域設定モードでは、操作者の手動によって、領域Ｓ１と領域Ｓ２との設定が行われる。このモードでは、特に領域Ｓ１に関しては大きさおよび位置の少なくとも一方が設定可能である。自動領域設定モードおよび領域Ｓ１自動追尾モードでは、領域Ｓ１および領域Ｓ２の初期設定が行われた後、注目する被写体の動きに応じて、領域Ｓ１を被写体に自動追尾させる制御が行われる。

撮像システムのモードが自動領域設定モードの場合、合焦情報検出部１０は合焦情報を検出し、領域分離部１２へ出力する（ステップＳ１６０３）。領域分離部１２は、検出された合焦情報に基づいて、前述した方法で領域Ｓ１および領域Ｓ２を設定する（ステップＳ１６０４）。このようにして領域Ｓ１および領域Ｓ２の初期設定が行われることによって、合焦エリア情報に含まれる被写体が、注目する被写体として特定されることになる。

一方、撮像システムのモードが手動領域設定モードの場合、さらに撮像システムのモードが領域Ｓ１自動追尾モードであるか否かが判断される（ステップＳ１６１０）。撮像システムのモードが領域Ｓ１自動追尾モードの場合、タッチパネル等からの入力信号が有効となり、操作者によるタッチパネル等の操作結果の情報が図１にある領域入力部１１から領域分離部１２に入力される（ステップＳ１６１１）。領域分離部１２は、入力された情報に基づいて、領域Ｓ１および領域Ｓ２を設定する（ステップＳ１６０４）。このようにして領域Ｓ１および領域Ｓ２の初期設定が行われることによって、領域Ｓ１に含まれる被写体が、注目する被写体であるとみなされる。

領域Ｓ１および領域Ｓ２が設定された後、領域毎読み出しパターン設定部９は各領域の読み出しパターンを設定する（ステップＳ１６０５）。これによって、画像情報記録前の領域初期設定が完了する。続いて、画像処理部７から出力される画像情報を記録装置等に記録する動作が開始される（ステップＳ１６０６）。スイッチ等の操作手段からの信号が監視され、撮像終了が指示されたか否かが判断される（ステップＳ１６０７）。撮像終了が指示された場合には、一連の撮像動作が終了する。

また、撮像終了が指示されていない場合には、撮像システムのモードが自動追尾中手動割り込み禁止モードであるか否かが判断される（ステップＳ１６０８）。自動追尾中手動割り込み禁止モードでは、領域Ｓ１自動追尾モードによる領域Ｓ１の自動追尾中に、手動領域設定モードによる領域Ｓ１と領域Ｓ２との手動設定を割り込ませることができない。撮像システムのモードが自動追尾中手動割り込み禁止モードの場合、次のフレームでの領域Ｓ１と領域Ｓ２との設定の為、処理がステップＳ１６０３に戻る。

また、撮像システムのモードが自動追尾中手動割り込み禁止モードでなく、自動追尾モードによる領域Ｓ１の自動追尾中に、手動領域設定モードによる領域Ｓ１と領域Ｓ２との手動設定を割り込ませることができる自動追尾中手動割り込み可能モードである場合には、タッチパネル等からの入力信号が有効となる。この入力信号に基づいて、操作者がタッチパネル等を操作したか否かが判断される（ステップＳ１６０９）。タッチパネル等が操作された場合には、処理がステップＳ１６１１に戻る。

また、タッチパネル等が操作されていない場合には、次のフレームでの領域Ｓ１と領域Ｓ２との設定の為、処理がステップＳ１６０３に戻る。撮像終了の合図が発生するまでの間、ステップＳ１６０３〜ステップＳ１６０６の動作が毎フレームで繰り返され、領域Ｓ１および領域Ｓ２が設定更新される。

一方、画像情報記録前の領域初期設定時のステップＳ１６１０において、撮像システムのモードが領域Ｓ１自動追尾モードでなかった場合、領域Ｓ１の大きさおよび位置の少なくとも一方を予約入力するモードとなる。このモードでは、自動追尾モードによる領域Ｓ１の自動追尾を行わないで、予め手動で設定された領域Ｓ１の情報に基づいて、各フレームでの領域Ｓ１が設定される。まず、予め複数フレームの領域Ｓ１の情報が、操作者によってタッチパネル等に入力され、その情報が領域分離部１２へ出力される（ステップＳ１６１２）。

領域分離部１２は、入力された情報に基づいて、複数フレーム分の領域Ｓ１の設定情報を生成する。操作者は時間単位またはフレーム単位で複数フレームの領域Ｓ１を設定することが可能である。時間単位で領域Ｓ１を設定する場合、時間の情報と、その時間に対応した領域Ｓ１の入力情報とが領域分離部１２に入力される。領域分離部１２は、指定された時間の情報とタイムコードとを用いて、フレームと領域Ｓ１の入力情報との対応付けを行い、各フレームの領域Ｓ１の設定情報を生成する。

また、フレーム単位で領域Ｓ１を設定する場合、各フレームの領域Ｓ１の情報が図１にある領域分離部１２に入力される。領域分離部１２は、入力された情報に基づいて、各フレームの領域Ｓ１の設定情報を生成する（ステップＳ１６１３）。領域分離部１２は、領域Ｓ１の設定情報に基づいて、フレームカウンタを用いて対象フレームの領域Ｓ１および領域Ｓ２を設定する（ステップＳ１６１４）。領域Ｓ１および領域Ｓ２が設定された後、領域毎読み出しパターン設定部９は各領域の読み出しパターンを設定する（ステップＳ１６１５）。続いて、画像処理部７から出力される画像情報を記録装置等に記録する動作が開始される（ステップＳ１６１６）。スイッチ等の操作手段からの信号が監視され、撮像終了が指示されたか否かが判断される（ステップＳ１６１７）。

撮像終了が指示された場合には、一連の撮像動作が終了する。また、撮像終了が指示されていない場合には、次のフレームでの領域Ｓ１と領域Ｓ２との設定の為、処理がステップＳ１６１３に戻る。撮像終了の合図が発生するまでの間、ステップＳ１６１３〜ステップＳ１６１６の動作が毎フレームで繰り返され、領域Ｓ１および領域Ｓ２が設定更新される。上述したように複数のモードを切り替え可能とすることによって、撮影目的や撮影条件に合わせて領域Ｓ１および領域Ｓ２を設定することができる。これらの切り替え可能なモードの設定の仕方は、物理的レバーまたはプッシュボタンとLEDの組み合わせによる手法や、ブルダウンメニューのようなソフト的な手法が考えられるが、各種変形や応用があってもよい。

上述したように、本実施形態による撮像システムでは、撮像素子の実効画素領域が複数の領域（領域Ｓ１および領域Ｓ２を少なくとも含む）に分離され、注目する被写体が特定された後、領域Ｓ１および領域Ｓ２に対して、画像信号を読み出す為の読み出し画素密度が異なる読み出しパターンが設定される。これによって、実効画素領域の全画素から画像信号を読み出す場合と比べて画素読み出し時間が減るので、画素読み出し時間を無視できない場合でも、所望の撮像レートにて撮像を行うことができる。また、領域Ｓ１で画像信号を読み出す画素密度が、領域Ｓ２で画像信号を読み出す画素密度よりも高いことと、合焦情報から得られる合焦エリア情報の少なくとも一部を含むように領域Ｓ１が設定されることとから、１フレーム単位での画像信号の読み出し画素数を減らしても、画質の劣化を低減することができる。

また、図８〜図１０を参照して説明したように、行画素単位および列画素単位で合焦情報の演算を行い、合焦情報の行範囲および列範囲を示す２つの１次元分布の合焦エリア情報を生成し、この合焦エリア情報に基づいて領域Ｓ１を決定するように撮像システムを構成した場合には、２次元分布の合焦エリア情報を生成する場合と比較して、合焦エリア情報の情報量が圧縮できる。従って、合焦エリア情報を高速に生成することができる。また、合焦エリア情報を生成する為の演算に必要な構成が簡易となる。従って、低コストで上記の撮像システムを実現することができる。さらに、合焦エリア情報の中心と領域Ｓ１の中心とを略一致させることによって、次フレームの画像で被写体が領域Ｓ１から外れる可能性をできるだけ低減することができる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

本発明の一実施形態による撮像システムの構成を示すブロック図である。本発明の一実施形態における読み出しパターンの一例を示す参考図である。本発明の一実施形態における読み出しパターンの一例を示す参考図である。本発明の一実施形態における読み出しパターンの一例を示す参考図である。本発明の一実施形態における読み出しパターンの一例を示す参考図である。本発明の一実施形態による撮像システムが備える撮像素子の実効画素領域を複数の領域に分離した例を示す参考図である。本発明の一実施形態による撮像システムが備える合焦情報検出部の構成を示すブロック図である。本発明の一実施形態による、注目する被写体の自動追尾方法を説明する為の参考図である。本発明の一実施形態による、注目する被写体の自動追尾方法を説明する為の参考図である。本発明の一実施形態による、注目する被写体の自動追尾方法を説明する為の参考図である。本発明の一実施形態による、注目する被写体の自動追尾方法を説明する為の参考図である。本発明の一実施形態による、注目する被写体の自動追尾方法を説明する為の参考図である。本発明の一実施形態による、注目する被写体の自動追尾方法を説明する為の参考図である。本発明の一実施形態による、注目する被写体の自動追尾方法を説明する為の参考図である。本発明の一実施形態による、注目する被写体の自動追尾方法を説明する為の参考図である。本発明の一実施形態において、領域Ｓ１を、注目する被写体に設定する制御の手順を示すフローチャートである。

符号の説明

１・・・撮像素子、２・・・撮像素子駆動装置、３・・・Ａ／Ｄ変換器、４・・・原画像データメモリ、５・・・アドレス変換部、６・・・フィルタリング部、７・・・画像処理部、８・・・表示部、９・・・領域毎読み出しパターン設定部、１０・・・合焦情報検出部、１１・・・領域入力部、１２・・・領域分離部、１３・・・領域Ｓ１ウィンドウ信号生成部、１４・・・領域Ｓ２ウィンドウ信号生成部、１０１・・・輝度成分作成回路、１０２・・・高輝度成分クリップ回路、１０３・・・高周波成分抽出回路

Claims

被写体を撮像する撮像システムであって、
撮像によって生成した画像信号を、画素密度が異なる少なくとも２種類の読み出しパターンで読み出して出力可能な撮像素子と、
前記撮像素子の１フレーム内の実効画素領域を少なくとも２つの領域Ｓ１と領域Ｓ２に分離する領域分離手段と、
注目する被写体が特定された後、前記領域Ｓ１において前記画像信号を読み出す画素密度が、前記領域Ｓ２において前記画像信号を読み出す画素密度よりも大きくなるように、前記領域Ｓ１と前記領域Ｓ２の各々に読み出しパターンを設定する領域毎読み出しパターン設定手段と、
前記領域毎読み出しパターン設定手段が設定した読み出しパターンで前記撮像素子から読み出して出力した前記画像信号に基づいて、画像の合焦度を検出する合焦情報検出手段とを有し、
前記領域分離手段は、前記合焦情報検出手段が検出した画像の合焦度から得られる合焦エリア情報の少なくとも一部を含むように前記領域Ｓ１を再設定する
ことを特徴とする撮像システム。
注目する被写体が特定されるまでの間、前記領域毎読み出しパターン設定手段は、前記領域Ｓ１と前記領域Ｓ２に同一の読み出しパターンを設定し、
前記領域分離手段は、前記同一の読み出しパターンで前記領域Ｓ１および前記領域Ｓ２から読み出されて出力された前記画像信号に基づいて前記合焦情報検出手段が検出した前記画像の合焦度から得られる合焦エリア情報の少なくとも一部を含む領域を前記領域Ｓ１として設定し、
前記領域分離手段が前記領域Ｓ１を設定することによって、前記合焦エリア情報に含まれる被写体が、注目する被写体として特定される
ことを特徴とする請求項１に記載の撮像システム。
注目する被写体が特定されるまでの間、前記領域分離手段は、前記領域Ｓ１を前記実効画素領域と略一致するように設定した後、前記領域Ｓ１から読み出されて出力された前記画像信号に基づいて前記合焦情報検出手段が検出した前記画像の合焦度から得られる合焦エリア情報の少なくとも一部を含む領域を前記領域Ｓ１として再設定し、
前記領域分離手段が前記領域Ｓ１を再設定することによって、前記合焦エリア情報に含まれる被写体が、注目する被写体として特定される
ことを特徴とする請求項１に記載の撮像システム。
前記撮像素子が撮像した画像を表示する表示手段をさらに備え、前記表示手段は、前記領域Ｓ１の枠線を前記画像に重畳して表示することを特徴とする請求項１〜請求項３のいずれかの項に記載の撮像システム。
操作者が手動で前記領域Ｓ１の大きさおよび／または位置を設定することが可能な領域手動設定手段をさらに有することを特徴とする請求項１〜請求項４のいずれかの項に記載の撮像システム。
前記撮像素子が撮像した画像を表示する表示手段をさらに備え、前記領域手動設定手段は、前記表示手段の表示面に配置されたタッチパネルを有し、前記操作者によって前記タッチパネルに入力される情報に基づいて前記領域Ｓ１の大きさおよび／または位置を設定することを特徴とする請求項５に記載の撮像システム。
前記領域手動設定手段は、前記操作者が時間単位またはフレーム単位で前記領域Ｓ１の大きさおよび／または位置を予約入力することが可能であり、
前記領域分離手段は、前記合焦情報検出手段による前記画像の合焦度の検出結果に関わらず、前記領域手動設定手段に予約入力された情報に基づいて、前記実効画素領域を前記領域Ｓ１と前記領域Ｓ２に分離する
ことを特徴とする請求項５に記載の撮像システム。
前記領域分離手段は、前記合焦情報検出手段が検出した前記画像の合焦度を同一行の画素について論理和演算した各行についての結果から得られる合焦エリア情報の行範囲の中心に対して、前記領域Ｓ１の行範囲の中心が略一致するように、かつ前記画像の合焦度を同一列の画素について論理和演算した各列についての結果から得られる合焦エリア情報の列範囲の中心に対して、前記領域Ｓ１の列範囲の中心が略一致するように前記領域Ｓ１を設定することを特徴とする請求項１に記載の撮像システム。
前記領域分離手段は、前記合焦情報検出手段が検出した前記画像の合焦度を同一行の画素について積分演算した各行についての結果から得られる合焦エリア情報の行範囲の中心に対して、前記領域Ｓ１の行範囲の中心が略一致するように、かつ前記画像の合焦度を同一列の画素について積分演算した各列についての結果から得られる合焦エリア情報の列範囲の中心に対して、前記領域Ｓ１の列範囲の中心が略一致するように前記領域Ｓ１を設定することを特徴とする請求項１に記載の撮像システム。
前記合焦情報検出手段が検出した前記画像の合焦度に基づいて前記領域Ｓ１と前記領域Ｓ２の初期設定を自動で行う自動領域設定モードと、
操作者が手動で前記領域Ｓ１の大きさおよび／または位置を設定することが可能な領域手動設定手段の設定に基づいて前記領域Ｓ１と前記領域Ｓ２の初期設定を行う手動領域設定モードと、
注目する被写体の動きに応じて前記領域Ｓ１を前記被写体に追尾させる自動追尾モードと、
前記自動追尾モードによる前記領域Ｓ１の自動追尾中に、前記領域手動設定手段の設定に基づいた前記領域Ｓ１と前記領域Ｓ２の設定を割り込ませることができる自動追尾中手動割り込み可能モードと、
前記自動追尾モードによる前記領域Ｓ１の自動追尾中に、前記領域手動設定手段の設定に基づいた前記領域Ｓ１と前記領域Ｓ２の設定を割り込ませることができない自動追尾中手動割り込み禁止モードと、
前記自動追尾モードによる前記領域Ｓ１の自動追尾を行わないで、前記領域手動設定手段の設定に基づいて前記領域Ｓ１を設定する手動調整モードと、
のうち少なくとも２つのモードを有し、各モードの切り替えが可能であることを特徴とする請求項１〜請求項９のいずれかの項に記載の撮像システム。
前記領域分離手段は、前記合焦情報検出手段が検出した画像の合焦度から得られる合焦エリア情報の略中心に前記領域Ｓ１の中心が略一致するように前記領域Ｓ１を設定することを特徴とする請求項１〜請求項１０のいずれかの項に記載の撮像システム。