JP2021177646A - 撮像素子、撮像装置、画像データ処理方法、及びプログラム - Google Patents

Abstract

【課題】積層型撮像素子において、画像データの読み出し時の消費電力を低減する撮像素子、撮像装置、画像データ処理方法及びプログラムを提供する。【解決手段】撮像素子２０は、光電変換素子駆動回路９４Ａと、光電変換素子駆動回路により読み出された撮像画像データを記憶可能なメモリ９６と、撮像画像データに基づく出力用画像データを外部に出力する出力回路９４Ｄと、を含む。光電変換素子駆動回路は、第１読み出し方式又は第１読み出し方式よりも読み出しデータ量が少ない第２読み出し方式で、撮像画像データを読み出す。第１読み出し方式の場合、第１フレームレートは、第２フレームレート相当であり、第２読み出し方式の場合、第１フレームレートは、第１読み出し方式の場合に比べ、低いフレームレートである。被写体の動きに応じて、第１読み出し方式及び第２読み出し方式を切り替える。【選択図】図６

Description

本開示の技術は、撮像素子、撮像装置、画像データ処理方法、及びプログラムに関する。

特開２０１７−１８８７６０号公報には、メモリ基板と信号処理基板とが積層された積層型撮像素子が開示されている。メモリ基板は、画素基板が出力する画素信号を一時的に蓄えるＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリを有する。信号処理基板は、メモリ基板に蓄えられた画素信号に対する各種信号処理を実行する。特開２０１７−１８８７６０号公報に記載の積層型撮像素子では、信号処理基板に含まれる解析部によって画素信号の中に動体が検出された場合に、信号処理基板に含まれる信号処理部によって信号処理が実行される。

特開２０１７−１８３９５２号公報には、撮像素子と、第２の画像処理部とを備えた撮像装置が開示されている。特開２０１７−１８３９５２号公報に記載の撮像装置において、撮像素子は、撮像用の画素が形成された撮像部と、撮像部により取得された画像データを処理する第１の画像処理部とを有する。また、第２の画像処理部は、第１の画像処理部と電気的に接続されている。

特開２０１７−１８３９５２号公報に記載の撮像装置において、第１の画像処理部は、第２の画像処理部におけるフレームレートよりも高いフレームレートで取得された画像データを用いて被写体検出を行う被写体検出部を備え、被写体検出部が検出した検出情報を第２の画像処理部に送信する。また、第１の画像処理部は、被写体検出部が検出した検出情報を取得して、次回の被写体検出を行う際のフレームレートを変更する制御手段を有する。更に、被写体検出部は、被写体の動き量を示す検出情報を制御手段に出力し、制御手段は、被写体の動き量が小さい場合に被写体の動き量が大きい場合に比べてフレームレートを相対的に低く設定する。

しかしながら、特開２０１７−１８８７６０号公報に記載の画像処理装置は、被写体の動きに拘らず、画像データの読み出し方式が常に同じであり、１つの読み出し方式のみでは消費電力を低減することは困難である。特開２０１７−１８３９５２号公報に記載の撮像装置は、被写体の動きに応じてフレームレートを変更することで消費電力の低減を図っているが、フレームレートを変更しただけでは、消費電力は十分に低減されない。

本発明の一つの実施形態は、読出部による画像データの読み出しのフレームレートのみを変更する場合に比べ、消費電力を低減することができる撮像素子、撮像装置、画像データ処理方法、及びプログラムを提供する。

本開示の技術の第１の態様は、撮像素子であって、被写体が光電変換素子により撮像されることで得られた撮像画像データを光電変換素子から読み出し、かつ、撮像素子に内蔵された読出部と、読出部により光電変換素子から読み出された撮像画像データを記憶可能であり、かつ、撮像素子に内蔵された記憶部と、記憶部に記憶された撮像画像データに基づく出力用画像データを撮像素子の外部に出力し、かつ、撮像素子に内蔵された出力部と、を含み、出力部は、第１フレームレートで出力用画像データを外部に出力し、読出部は、第２フレームレートで撮像画像データを光電変換素子から読み出し、読出部は、第１読み出し方式、又は、第１読み出し方式よりも読み出しデータ量が少ない第２読み出し方式で、光電変換素子から撮像画像データを読み出し、第１読み出し方式の場合、第１フレームレートは、第２フレームレートに相当するフレームレートであり、第２読み出し方式の場合、第１フレームレートは、第１読み出し方式の場合に比べ、低いフレームレートであり、被写体の動きを検出する検出部での検出結果に応じて、第１読み出し方式と第２読み出し方式とが切り替えられる、撮像素子である。

従って、本開示の技術に係る第１の態様の撮像素子は、読出部による画像データの読み出しのフレームレートのみを変更する場合に比べ、消費電力を低減することができる。

本開示の技術に係る第２の態様は、記憶部は、撮像画像データを、撮像タイミングが前後する複数フレームで記憶可能である、第１の態様に係る撮像素子である。

従って、本開示の技術に係る第２の態様の撮像素子は、記憶部に同一フレームの撮像画像データが複数記憶される場合に比べ、多くの画像処理を実現することができる。

本開示の技術の第３の態様は、検出部は、記憶部に記憶された複数フレームの撮像画像データに基づいて被写体の動きを検出する、第２の態様に係る撮像素子である。

従って、本開示の技術に係る第３の態様の撮像素子は、記憶部に同一フレームの撮像画像データが複数記憶される場合に比べ、検出部による被写体の動きの高精度な検出を実現することができる。

本開示の技術に係る第４の態様は、第１フレームレートは、第１読み出し方式と第２読み出し方式との切り替えに応じて変更される、第１の態様から第３の態様の何れか１つの態様に係る撮像素子である。

従って、本開示の技術に係る第４の態様の撮像素子は、第２フレームレートと同じフレームレートを常に第１フレームレートとして使用する場合に比べ、出力用画像データの出力に要する消費電力を低減することができる。

本開示の技術に係る第５の態様は、第２フレームレートは、第１読み出し方式と第２読み出し方式との切り替えに関わらず固定化されている、第１の態様から第４の態様の何れか１つの態様に係る撮像素子である。

従って、本開示の技術に係る第５の態様の撮像素子は、第２フレームレートが第１読み出し方式と第２読み出し方式との切り替えに応じて変更される場合に比べ、撮像素子の内部での処理に要する時間を安定させることができる。

本開示の技術に係る第６の態様は、第２読み出し方式で、撮像画像データの１フレームは、予め定められた撮像条件で被写体が光電変換素子により撮像された場合よりも画素が間引かれた間引き画像フレームである、第１の態様から第５の態様の何れか１つの態様に係る撮像素子である。

従って、本開示の技術に係る第６の態様の撮像素子は、撮像画像データの１フレームが、画素が間引かれないフレームの場合に比べ、消費電力を低減することができる。

本開示の技術に係る第７の態様は、撮像画像データが読出部によって第２読み出し方式で読み出される場合、撮像画像データは、予め定められた撮像条件で被写体が光電変換素子により撮像された場合よりも画素が間引かれ、かつ、互いに異なる箇所の画素が間引かれた複数の間引き画像フレームであり、出力用画像データは、複数の間引き画像フレームを合成して得られた画像データである、第１の態様から第５の態様の何れか１つの態様に係る撮像素子である。

従って、本開示の技術に係る第７の態様の撮像素子は、出力用画像データとして単一の間引き画像フレームが出力される場合に比べ、出力用画像データにより高画質を実現することができる。

本開示の技術に係る第８の態様は、第２読み出し方式では、光電変換素子に対して画素が間引かれた状態で被写体を撮像させる、第６の態様又は第７の態様に係る撮像素子である。

従って、本開示の技術に係る第８の態様の撮像素子は、光電変換素子に対して画素が間引かれない状態で被写体を撮像させる場合に比べ、光電変換素子の撮像に要する消費電力を低減することができる。

本開示の技術に係る第９の態様は、読出部は、第２読み出し方式において、光電変換素子から画素が間引かれた状態で撮像画像データを読み出す、第６の態様又は第７の態様に係る撮像素子である。

従って、本開示の技術に係る第９の態様の撮像素子は、画素が間引かれていない撮像画像データが読出部によって読み出される場合に比べ、読出部による撮像画像データの読み出しに要する消費電力を低減することができる。

本開示の技術に係る第１０の態様は、第２読み出し方式では、撮像画像データは、フレーム毎に異なる箇所の画素が間引かれて得られた複数の間引き画像データであり、記憶部は、複数の間引き画像データを記憶し、検出部は、記憶部に記憶された複数の間引き画像データに基づいて被写体の動きを検出する、第１の態様にから第９の態様の何れか１つの態様に係る撮像素子である。

従って、本開示の技術に係る第１０の態様の撮像素子は、複数の間引き画像データを記憶部に記憶する期間と同じ期間に、画素が間引かれていない１フレーム分の撮像画像データを記憶部に記憶する場合に比べ、被写体の動きを迅速に検出することができる。

本開示の技術に係る第１１の態様は、検出部により被写体の動きが検出された場合に第１読み出し方式とされ、検出部により被写体の動きが検出されなかった場合に第２読み出し方式とされる、第１の態様から第１０の態様の何れか１つの態様に係る撮像素子である。

従って、本開示の技術に係る第１１の態様の撮像素子は、被写体の動きに依らず常に第１読み出し方式を採用する場合に比べ、消費電力を低減することができる。

本開示の技術に係る第１２の態様は、検出部を含む、第１の態様から第１１の態様の何れか１つの態様に係る撮像素子である。従って、本開示の技術に係る第１２の態様の撮像素子は、検出部が撮像素子の外部に設けられている場合に比べ、撮像画像データに基づいて被写体の動きを迅速に検出することができる。

本開示の技術に係る第１３の態様は、撮像素子は、光電変換素子を有し、光電変換素子に記憶部が積層された積層型撮像素子である、第１の態様から第１２の態様の何れか１つの態様に係る撮像素子である。

従って、本開示の技術に係る第１３の態様の撮像素子は、光電変換素子に記憶部が積層されていないタイプの撮像素子を用いる場合に比べ、複数フレーム分の画像処理の高速化を図ることができる。

本開示の技術に係る第１４の態様は、本開示の技術の第１の態様から第１３の態様の何れか１つの態様に係る撮像素子と、撮像素子に含まれる出力部により出力された出力用画像データに基づく画像を表示部に対して表示させる制御を行う制御部と、を含む撮像装置である。

従って、本開示の技術に係る第１４の態様の撮像装置は、読出部による画像データの読み出しのフレームレートのみを変更する場合に比べ、消費電力を低減することができる。

本開示の技術に係る第１５の態様は、撮像素子には、被写体が光電変換素子により撮像されることで得られた撮像画像データを光電変換素子から読み出す読出部と、読出部により光電変換素子から読み出された撮像画像データを記憶可能な記憶部と、記憶部に記憶された撮像画像データに基づく出力用画像データを撮像素子の外部に出力する出力部とが内蔵されており、撮像素子に含まれる出力部に対して、第１フレームレートで出力用画像データを外部に出力させ、読出部に対して、第２フレームレートで撮像画像データを光電変換素子から読み出させ、読出部に対して、第１読み出し方式、又は、第１読み出し方式よりも読み出しデータ量が少ない第２読み出し方式で、光電変換素子から撮像画像データを読み出させることを含み、第１読み出し方式の場合、第１フレームレートを、第２フレームレートに相当するフレームレートとし、第２読み出し方式の場合、第１フレームレートを、第１読み出し方式の場合に比べ、低いフレームレートとし、被写体の動きを検出する検出部での検出結果に応じて、第１読み出し方式と第２読み出し方式とを切り替えることを含む、画像データ処理方法である。

従って、本開示の技術に係る第１５の態様の画像データ処理方法は、読出部による画像データの読み出しのフレームレートのみを変更する場合に比べ、消費電力を低減することができる。

本開示の技術に係る第１６の態様は、撮像素子には、被写体が光電変換素子により撮像されることで得られた撮像画像データを光電変換素子から読み出す読出部と、読出部により光電変換素子から読み出された撮像画像データを記憶可能な記憶部と、記憶部に記憶された撮像画像データに基づく出力用画像データを撮像素子の外部に出力する出力部とが内蔵されており、コンピュータを、読出部及び出力部として機能させるためのプログラムであって、出力部は、第１フレームレートで出力用画像データを外部に出力し、読出部は、第２フレームレートで撮像画像データを光電変換素子から読み出し、読出部は、第１読み出し方式、又は、第１読み出し方式よりも読み出しデータ量が少ない第２読み出し方式で、光電変換素子から撮像画像データを読み出し、第１読み出し方式の場合、第１フレームレートは、第２フレームレートに相当するフレームレートであり、第２読み出し方式の場合、第１フレームレートは、第１読み出し方式の場合に比べ、低いフレームレートであり、被写体の動きを検出する検出部での検出結果に応じて、第１読み出し方式と第２読み出し方式とが切り替えられる、プログラムである。

従って、本開示の技術に係る第１６の態様のプログラムは、読出部による画像データの読み出しのフレームレートのみを変更する場合に比べ、消費電力を低減することができる。

本開示の技術に係る第１７の態様は、撮像素子であって、撮像素子に内蔵されたプロセッサとメモリとを含み、プロセッサは、被写体が光電変換素子により撮像されることで得られた撮像画像データを光電変換素子から読み出し、メモリは、プロセッサにより光電変換素子から読み出された撮像画像データを記憶可能であり、プロセッサは、メモリに記憶された撮像画像データに基づく出力用画像データを撮像素子の外部に出力し、プロセッサは、第１フレームレートで出力用画像データを外部に出力し、プロセッサは、第２フレームレートで撮像画像データを光電変換素子から読み出し、プロセッサは、第１読み出し方式、又は、第１読み出し方式よりも読み出しデータ量が少ない第２読み出し方式で、光電変換素子から撮像画像データを読み出し、第１読み出し方式の場合、第１フレームレートは、第２フレームレートに相当するフレームレートであり、第２読み出し方式の場合、第１フレームレートは、第１読み出し方式の場合に比べ、低いフレームレートであり、被写体の動きを検出する検出部での検出結果に応じて、第１読み出し方式と第２読み出し方式とが切り替えられる、撮像素子である。

本発明の一つの実施形態によれば、読出部による画像データの読み出しのフレームレートのみを変更する場合に比べ、消費電力を低減することができる、という効果が得られる。

実施形態に係るレンズ交換式カメラである撮像装置の外観の一例を示す斜視図である。 実施形態に係る撮像装置の背面側を示す背面図である。 実施形態に係る撮像装置のハードウェア構成の一例を示すブロック図である。 実施形態に係る撮像装置に含まれるハイブリッドファインダーの構成の一例を示す概略構成図である。 実施形態に係る撮像装置に含まれる撮像素子の概略構成の一例を示す概略構成図である。 実施形態に係る撮像装置に含まれる撮像素子の要部構成の一例を示すブロック図である。 実施形態に係る読み出し方式切替処理の流れの一例を示すフローチャートである。 実施形態に係る画像データ出力処理の流れの一例を示すフローチャートである。 実施形態に係る表示制御処理の流れの一例を示すフローチャートである。 低速モード及び高速モードの各々の動作モード下での撮像画像データ及び出力用画像データの時系列態様の一例を示す概略状態遷移図である。 インターレースで読み出される場合及びインターレースで読み出されない場合での被写体の動きの検出精度の違いの説明に供する説明図である。 実施形態に係るプログラムが記憶された記憶媒体から、実施形態に係るプログラムが撮像素子にインストールされる態様の一例を示す概念図である。 実施形態に係る撮像素子が組み込まれたスマートデバイスの概略構成の一例を示すブロック図である。

以下、添付図面に従って本開示の技術に係る撮像装置の実施形態の一例について説明する。

一例として図１に示すように、撮像装置１０は、レンズ交換式カメラである。撮像装置１０は、撮像装置本体１２と、撮像装置本体１２に交換可能に装着される交換レンズ１４と、を含み、レフレックスミラーが省略されたデジタルカメラである。交換レンズ１４は、手動操作により光軸方向に移動可能なフォーカスレンズ１６を有する撮像レンズ１８を含む。

また、撮像装置本体１２には、ハイブリッドファインダー（登録商標）２１が設けられている。ここで言うハイブリッドファインダー２１とは、例えば光学ビューファインダー（以下、「ＯＶＦ」という）及び電子ビューファインダー（以下、「ＥＶＦ」という）が選択的に使用されるファインダーを指す。なお、ＯＶＦとは、“ｏｐｔｉｃａｌ ｖｉｅｗｆｉｎｄｅｒ”の略称を指す。また、ＥＶＦとは、“ｅｌｅｃｔｒｏｎｉｃ ｖｉｅｗｆｉｎｄｅｒ” の略称を指す。

交換レンズ１４は、撮像装置本体１２に対して交換可能に装着される。また、交換レンズ１４の鏡筒には、マニュアルフォーカスモード時に使用されるフォーカスリング２２が設けられている。フォーカスリング２２の手動による回転操作に伴ってフォーカスレンズ１６は、光軸方向に移動し、被写体距離に応じた合焦位置で後述の撮像素子２０（図３参照）に被写体光が結像される。

撮像装置本体１２の前面には、ハイブリッドファインダー２１に含まれるＯＶＦのファインダー窓２４が設けられている。また、撮像装置本体１２の前面には、ファインダー切替レバー（ファインダー切替え部）２３が設けられている。ファインダー切替レバー２３を矢印ＳＷ方向に回動させると、ＯＶＦで視認可能な光学像とＥＶＦで視認可能な電子像（ライブビュー画像）との間で切り換わるようになっている。

なお、ＯＶＦの光軸Ｌ２は、交換レンズ１４の光軸Ｌ１とは異なる光軸である。また、撮像装置本体１２の上面には、レリーズボタン２５、撮像系のモード、及び再生系のモード等の設定用のダイヤル２８が設けられている。

レリーズボタン２５は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との２段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。

本実施形態に係る撮像装置１０では、動作モードとして撮像モードと再生モードとがユーザの指示に応じて選択的に設定される。撮像モードでは、マニュアルフォーカスモードとオートフォーカスモードとがユーザの指示に応じて選択的に設定される。オートフォーカスモードでは、レリーズボタン２５が半押し状態にされることにより撮像条件の調整が行われ、その後、引き続き全押し状態にすると露光が行われる。つまり、レリーズボタン２５が半押し状態にされることによりＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）機能が働いて露出状態が設定された後、ＡＦ（Ａｕｔｏ−Ｆｏｃｕｓ）機能が働いて合焦制御され、レリーズボタン２５を全押し状態にすると撮像が行われる。

一例として図２に示すように、撮像装置本体１２の背面には、タッチパネル・ディスプレイ３０、十字キー３２、メニューキー３４、指示ボタン３６、及びファインダー接眼部３８が設けられている。

タッチパネル・ディスプレイ３０は、液晶ディスプレイ（以下、「第１ディスプレイ」という）４０及びタッチパネル４２（図３参照）を備えている。

第１ディスプレイ４０は、画像及び文字情報等を表示する。第１ディスプレイ４０は、撮像モード時に連続フレームで撮像されて得られた連続フレーム画像の一例であるライブビュー画像（スルー画像）の表示に用いられる。また、第１ディスプレイ４０は、静止画撮像の指示が与えられた場合に単一フレームで撮像されて得られた単一フレーム画像の一例である静止画像の表示にも用いられる。更に、第１ディスプレイ４０は、再生モード時の再生画像の表示及び／又はメニュー画面等の表示にも用いられる。

タッチパネル４２は、透過型のタッチパネルであり、第１ディスプレイ４０の表示領域の表面に重ねられている。タッチパネル４２は、例えば、指又はスタイラスペン等の指示体による接触を検知する。タッチパネル４２は、検知結果（タッチパネル４２に対する指示体による接触の有無）を示す検知結果情報を所定周期（例えば１００ミリ秒）で既定の出力先（例えば、後述のＣＰＵ５２（図３参照））に出力する。検知結果情報は、タッチパネル４２が指示体による接触を検知した場合、タッチパネル４２上の指示体による接触位置を特定可能な二次元座標（以下、「座標」という）を含み、タッチパネル４２が指示体による接触を検知していない場合、座標を含まない。

十字キー３２は、１つ又は複数のメニューの選択、ズーム及び／又はコマ送り等の各種の指令信号を出力するマルチファンクションのキーとして機能する。メニューキー３４は、第１ディスプレイ４０の画面上に１つ又は複数のメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令する指令ボタンとしての機能とを兼備した操作キーである。指示ボタン３６は、選択項目など所望の対象の消去、指定内容の取消し、及び１つ前の操作状態に戻す場合に等に操作される。

撮像装置１０は、撮像系の動作モードとして、静止画撮像モードと動画撮像モードとを有する。静止画撮像モードは、撮像装置１０により被写体が撮像されて得られた静止画像を記録する動作モードであり、動画撮像モードは、撮像装置１０により被写体が撮像されて得られた動画像を記録する動作モードである。

一例として図３に示すように、撮像装置１０は、撮像装置本体１２に備えられたマウント４６（図１も参照）と、マウント４６に対応する交換レンズ１４側のマウント４４と、を含む。交換レンズ１４は、マウント４６にマウント４４が結合されることにより撮像装置本体１２に交換可能に装着される。

撮像レンズ１８は、スライド機構４８及びモータ５０を含む。スライド機構４８は、フォーカスリング２２の操作が行われることでフォーカスレンズ１６を光軸Ｌ１に沿って移動させる。スライド機構４８には光軸Ｌ１に沿ってスライド可能にフォーカスレンズ１６が取り付けられている。また、スライド機構４８にはモータ５０が接続されており、スライド機構４８は、モータ５０の動力を受けてフォーカスレンズ１６を光軸Ｌ１に沿ってスライドさせる。

モータ５０は、マウント４４，４６を介して撮像装置本体１２に接続されており、撮像装置本体１２からの命令に従って駆動が制御される。なお、本実施形態では、モータ５０の一例として、ステッピングモータを適用している。従って、モータ５０は、撮像装置本体１２からの命令によりパルス電力に同期して動作する。また、図３に示す例では、モータ５０が撮像レンズ１８に設けられている例が示されているが、これに限らず、モータ５０は撮像装置本体１２に設けられていてもよい。

撮像装置１０は、被写体を撮像することで得た静止画像及び動画像を記録するデジタルカメラである。撮像装置本体１２は、操作部５４、外部インタフェース（Ｉ／Ｆ）６３、及び後段回路９０を備えている。後段回路９０は、撮像素子２０から送り出されるデータを受け取る側の回路である。本実施形態では、後段回路９０としてＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）が採用されている。ＩＣの一例としては、ＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）が挙げられる。

撮像装置１０は、低速モードと高速モードとの何れかの動作モードで動作する。低速モードとは、後段回路９０により低フレームレートで処理が行われる動作モードを指す。本実施形態では、低フレームレートとして、６０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）が採用されている。

これに対し、高速モードとは、後段回路９０により高フレームレートで処理が行われる動作モードを指す。本実施形態では、高フレームレートとして、２４０ｆｐｓが採用されている。

なお、本実施形態では、低フレームレートとして６０ｆｐｓが例示され、高フレームレートとして２４０ｆｐｓが例示されているが、本開示の技術はこれに限定されない。低フレームレートが３０ｆｐｓであり、高フレームレートが１２０ｆｐｓであってもよい。このように、高フレームレートが低フレームレートよりも高ければよい。

後段回路９０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５２、Ｉ／Ｆ５６、一次記憶部５８、二次記憶部６０、画像処理部６２、第１表示制御部６４、第２表示制御部６６、位置検出部７０、及びデバイス制御部７４を含む。本実施形態では、ＣＰＵ５２として、単数のＣＰＵを例示しているが、本開示の技術はこれに限定されず、ＣＰＵ５２に代えて複数のＣＰＵを採用してもよい。つまり、ＣＰＵ５２によって実行される各種処理は、１つのプロセッサ、又は、物理的に離れている複数のプロセッサによって実行されるようにしてもよい。

なお、本実施形態では、画像処理部６２、第１表示制御部６４、第２表示制御部６６、位置検出部７０、及びデバイス制御部７４の各々がＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）によって実現されているが、本開示の技術はこれに限定されるものではない。例えば、ＡＳＩＣに代えてＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）及びＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）のうちの少なくとも１つが採用されてもよい。また、ＡＳＩＣ、ＰＬＤ、及びＦＰＧＡのうちの少なくとも１つが採用されてもよい。また、ＣＰＵ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、画像処理部６２、第１表示制御部６４、第２表示制御部６６、位置検出部７０、及びデバイス制御部７４のうちの少なくとも１つが、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

ＣＰＵ５２、Ｉ／Ｆ５６、一次記憶部５８、二次記憶部６０、画像処理部６２、第１表示制御部６４、第２表示制御部６６、操作部５４、外部Ｉ／Ｆ６３、及びタッチパネル４２は、バス６８を介して相互に接続されている。

ＣＰＵ５２は、撮像装置１０の全体を制御する。本実施形態に係る撮像装置１０では、オートフォーカスモード時に、ＣＰＵ５２が、撮像によって得られた画像のコントラスト値が最大となるようにモータ５０を駆動制御することによって合焦制御を行う。また、オートフォーカスモード時に、ＣＰＵ５２は、撮像によって得られた画像の明るさを示す物理量であるＡＥ情報を算出する。ＣＰＵ５２は、レリーズボタン２５が半押し状態とされたときには、ＡＥ情報により示される画像の明るさに応じたシャッタスピード及びＦ値を導出する。そして、導出したシャッタスピード及びＦ値となるように関係各部を制御することによって露出状態の設定を行う。

一次記憶部５８とは、揮発性のメモリを意味し、例えばＲＡＭを指す。二次記憶部６０とは、不揮発性のメモリを意味し、例えばフラッシュメモリ又はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）を指す。

操作部５４は、後段回路９０に対して各種指示を与える際にユーザによって操作されるユーザインタフェースである。操作部５４は、レリーズボタン２５、ダイヤル２８、ファインダー切替レバー２３、十字キー３２、メニューキー３４、及び指示ボタン３６を含む。操作部５４によって受け付けられた各種指示は操作信号としてＣＰＵ５２に出力され、ＣＰＵ５２は、操作部５４から入力された操作信号に応じた処理を実行する。

位置検出部７０は、ＣＰＵ５２に接続されている。位置検出部７０は、マウント４４，４６を介してフォーカスリング２２に接続されており、フォーカスリング２２の回転角度を検出し、検出結果である回転角度を示す回転角度情報をＣＰＵ５２に出力する。ＣＰＵ５２は、位置検出部７０から入力された回転角度情報に応じた処理を実行する。

撮像モードが設定されると、被写体を示す画像光は、手動操作により移動可能なフォーカスレンズ１６を含む撮像レンズ１８及びメカニカルシャッタ７２を介してカラーの撮像素子２０の受光面に結像される。

デバイス制御部７４は、ＣＰＵ５２に接続されている。また、デバイス制御部７４は、撮像素子２０及びメカニカルシャッタ７２に接続されている。更に、デバイス制御部７４は、マウント４４，４６を介して撮像レンズ１８のモータ５０に接続されている。

デバイス制御部７４は、ＣＰＵ５２の制御下で、撮像素子２０、メカニカルシャッタ７２、及びモータ５０を制御する。

一例として図４に示すように、ハイブリッドファインダー２１は、ＯＶＦ７６及びＥＶＦ７８を含む。ＯＶＦ７６は、対物レンズ８１と接眼レンズ８６とを有する逆ガリレオ式ファインダーであり、ＥＶＦ７８は、第２ディスプレイ８０、プリズム８４、及び接眼レンズ８６を有する。

また、対物レンズ８１の前方には、液晶シャッタ８８が配設されており、液晶シャッタ８８は、ＥＶＦ７８を使用する際に、対物レンズ８１に光学像が入射しないように遮光する。

プリズム８４は、第２ディスプレイ８０に表示される電子像又は各種の情報を反射させて接眼レンズ８６に導き、且つ、光学像と第２ディスプレイ８０に表示される電子像及び／又は各種情報とを合成する。

ここで、ファインダー切替レバー２３を図１に示す矢印ＳＷ方向に回動させると、回動させる毎にＯＶＦ７６により光学像を視認することができるＯＶＦモードと、ＥＶＦ７８により電子像を視認することができるＥＶＦモードとが交互に切り替えられる。

第２表示制御部６６は、ＯＶＦモードの場合、液晶シャッタ８８が非遮光状態になるように制御し、接眼部から光学像が視認できるようにする。また、第２表示制御部６６は、ＥＶＦモードの場合、液晶シャッタ８８が遮光状態になるように制御し、接眼部から第２ディスプレイ８０に表示される電子像のみが視認できるようにする。

撮像素子２０は、本開示の技術に係る「積層型撮像素子」の一例である。撮像素子２０は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。一例として図５に示すように、撮像素子２０には、光電変換素子９２、処理回路９４、及びメモリ９６が内蔵されている。撮像素子２０では、光電変換素子９２に対して処理回路９４及びメモリ９６が積層されている。なお、メモリ９６は、本開示の技術に係る「記憶部」の一例である。

処理回路９４は、例えば、ＬＳＩであり、メモリ９６は、例えば、ＲＡＭである。本実施形態では、メモリ９６の一例として、ＤＲＡＭが採用されているが、本開示の技術はこれに限らず、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であってもよい。

本実施形態では、処理回路９４は、ＡＳＩＣによって実現されているが、本開示の技術はこれに限定されるものではない。例えば、ＡＳＩＣに代えてＰＬＤ及びＦＰＧＡのうちの少なくとも１つが採用されてもよい。また、ＡＳＩＣ、ＰＬＤ、及びＦＰＧＡのうちの少なくとも１つが採用されてもよい。また、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、処理回路９４は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

光電変換素子９２は、マトリクス状に配置された複数のフォトセンサを有している。本実施形態では、フォトセンサの一例として、フォトダイオードが採用されている。また、複数のフォトセンサの一例としては、“４８９６×３２６５”画素分のフォトダイオードが挙げられる。

光電変換素子９２は、カラーフィルタを備えており、カラーフィルタは、輝度信号を得るために最も寄与するＧ（緑）に対応するＧフィルタ、Ｒ（赤）に対応するＲフィルタ、及びＢ（青）に対応するＢフィルタを含む。本実施形態では、光電変換素子９２の複数のフォトダイオードに対してＧフィルタ、Ｒフィルタ、及びＢフィルタが行方向（水平方向）及び列方向（垂直方向）の各々に既定の周期性で配置されている。そのため、撮像装置１０は、Ｒ，Ｇ，Ｂ信号の同時化処理等を行う際に、繰り返しパターンに従って処理を行うことが可能となる。なお、同時化処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理を指す。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、同時化処理とは、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理を意味する。

なお、ここでは、撮像素子２０としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、光電変換素子９２がＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサであっても本開示の技術は成立する。

撮像素子２０は、いわゆる電子シャッタ機能を有しており、デバイス制御部７４の制御下で電子シャッタ機能を働かせることで、光電変換素子９２内の各フォトダイオードの電荷蓄積時間を制御する。電荷蓄積時間とは、いわゆるシャッタスピードを指す。

処理回路９４は、デバイス制御部７４によって制御される。処理回路９４は、被写体が光電変換素子９２により撮像されることで得られた撮像画像データを読み出す。ここで言う「撮像画像データ」とは、被写体を示す画像データを指す。撮像画像データは、光電変換素子９２に蓄積された信号電荷である。処理回路９４は、光電変換素子９２から読み出した撮像画像データに対してＡ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換を行う。処理回路９４は、撮像画像データに対してＡ／Ｄ変換を行うことで得た撮像画像データをメモリ９６に記憶する。処理回路９４は、メモリ９６から撮像画像データを取得し、取得した撮像画像データに基づく画像データである出力用画像データを後段回路９０のＩ／Ｆ５６に出力する。なお、以下では、説明の便宜上、「撮像画像データに基づく画像データである出力用画像データ」を単に「出力用画像データ」と称する。

撮像画像データは、低解像度画像を示す低解像度画像データと、高解像度画像を示す高解像度画像データとに大別される。高解像度画像は、低解像度画像よりも解像度が高い画像である。本実施形態において、低解像度画像とは、インターレースで読み出した画像を指す。具体的には、低解像度画像とは、垂直１／４間引き画像を指す。高解像度画像とは、間引き無し画像を指す。

垂直１／４間引き画像とは、一例として図１０に示すように、垂直方向に画像の水平ラインを３ライン飛ばしで間引きした画像である。図１０に示す例では、メモリ９６に記憶する撮像画像データとして示されている１フレーム目〜４フレーム目の低解像度画像データの各々により示される各画像が垂直１／４間引き画像を表している。

なお、一例として図１０に示す１フレーム目〜４フレーム目の各々の低解像度画像データは、本開示の技術に係る「予め定められた撮像条件で被写体が光電変換素子により撮像された場合よりも画素が間引かれた間引き画像フレーム」の一例である。また、一例として図１０に示す１フレーム目〜４フレーム目の低解像度画像データは、本開示の技術に係る「予め定められた撮像条件で被写体が光電変換素子により撮像された場合よりも画素が間引かれ、かつ、互いに異なる箇所の画素が間引かれた複数の間引き画像フレーム」の一例でもある。更に、一例として図１０に示す１フレーム目〜４フレーム目の低解像度画像データは、本開示の技術に係る「フレーム毎に異なる箇所の画素が間引かれて得られた複数の間引き画像データ」の一例でもある。また、本実施形態では、光電変換素子９２内の全てのフォトダイオードにより被写体が撮像されることが、本開示の技術に係る「予め定められた撮像条件」の一例である。

一例として図１０に示すように、低解像度画像データにより示される低解像度画像は、４フレーム分の読み出す周期を１周期とした場合、１周期内で１フレーム毎に垂直方向に水平ラインを１ラインずつずらして間引きされる。

これに対し、間引き無し画像とは、一例として図１０に示すように、画素の間引きがされていない画像を指す。図１０に示す例では、５フレーム目〜７フレーム目が間引き無し画像を示している。間引き無し画像の一例としては、光電変換素子９２内の全てのフォトダイオードにより被写体が撮像されることで得られた画像データにより示される画像を指す。なお、本実施形態において、「全てのフォトダイオード」とは、不具合が生じていない使用可能なフォトダイオードを指す。

出力用画像データは、第１出力用画像を示す第１出力用画像データと第２出力用画像を示す第２出力用画像データとに大別される。第２出力用画像データとは、一例として図１０に示すように、４フレーム分の低解像度画像データが合成されることで得られた合成データを指す。これは、第２出力用画像が、４フレーム分の垂直１／４間引き画像が合成されることで得られた合成画像であることを意味する。

これに対し、第１出力用画像データとは、一例として図１０に示すように、１フレーム分の高解像度画像データそのものを指す。これは、第１出力用画像が、高解像度画像そのものであることを意味する。

なお、本実施形態では、第１出力用画像データが１フレーム分の高解像度画像データそのものである形態例を挙げているが、本開示の技術はこれに限定されない。例えば、第１出力用画像データは、１フレーム分の高解像度画像データに対して画像処理が施されることで得られた画像データであってもよい。

以下では、説明の便宜上、第１出力用画像と第２出力用画像とを区別して説明する必要がない場合、単に「出力用画像」と称する。

一例として図６に示すように、処理回路９４は、光電変換素子駆動回路９４Ａ、ＡＤ（Ａｎａｌｏｇ−ｔｏ−Ｄｉｇｉｔａｌ）変換回路９４Ｂ、画像処理回路９４Ｃ、及び出力回路９４Ｄを含み、ＣＰＵ５２の制御下で動作する。光電変換素子駆動回路９４Ａは、光電変換素子９２及びＡＤ変換回路９４Ｂに接続されている。メモリ９６は、ＡＤ変換回路９４Ｂ及び画像処理回路９４Ｃに接続されている。画像処理回路９４Ｃは出力回路９４Ｄに接続されている。出力回路９４Ｄは、後段回路９０のＩ／Ｆ５６に接続されている。

光電変換素子駆動回路９４Ａは、本開示の技術に係る「読出部」の一例である。光電変換素子駆動回路９４Ａは、デバイス制御部７４の制御下で、光電変換素子９２を制御し、光電変換素子９２からアナログの撮像画像データを読み出す。ＡＤ変換回路９４Ｂは、光電変換素子駆動回路９４Ａにより読み出された撮像画像データをデジタル化し、デジタル化した撮像画像データをメモリ９６に記憶する。

メモリ９６は、撮像タイミングが前後する複数フレームの撮像画像データを記憶可能なメモリである。画像処理回路９４Ｃは、メモリ９６に記憶された撮像画像データからメモリ９６に対するランダムアクセスにより出力用画像データを取得する。画像処理回路９４Ｃは、取得した出力用画像データに対して必要に応じた信号処理を施す。

出力回路９４Ｄは、画像処理回路９４Ｃにより信号処理が施された出力用画像データを第１フレームレートで撮像素子２０の外部に出力する。ここで言う「撮像素子２０の外部」とは、例えば、後段回路９０のＩ／Ｆ５６を指す。

なお、撮像素子２０では、光電変換素子駆動回路９４Ａによる読み出し、ＡＤ変換回路９４Ｂによるメモリ９６への撮像画像データの記憶、及び画像処理回路９４Ｃによる処理は、第２フレームレートで行われるが、本開示の技術はこれに限定されない。

例えば、光電変換素子駆動回路９４Ａによる読み出し、ＡＤ変換回路９４Ｂによるメモリ９６への撮像画像データの記憶、及び画像処理回路９４Ｃによる処理のうち、光電変換素子駆動回路９４Ａによる読み出しが第２フレームレートで行われるようにしてもよい。また、光電変換素子駆動回路９４Ａによる読み出し、ＡＤ変換回路９４Ｂによるメモリ９６への撮像画像データの記憶、及び画像処理回路９４Ｃによる処理のうち、光電変換素子駆動回路９４Ａによる読み出し、及びＡＤ変換回路９４Ｂによるメモリ９６への撮像画像データの記憶が第２フレームレートで行われるようにしてもよい。このように、少なくとも光電変換素子駆動回路９４Ａによる読み出しが第２フレームレートで行われるようにすればよい。

第１フレームレートは、可変なフレームレートである。第２フレームレートは、第１フレームレートよりも高いフレームレートに設定可能とされている。

処理回路９４では、第１読み出し方式と第２読み出し方式とが選択的に用いられ、光電変換素子駆動回路９４Ａは、第１読み出し方式、又は、第１読み出し方式よりも読み出しデータ量が少ない第２読み出し方式で、光電変換素子９２から撮像画像データを読み出す。すなわち、一例として表１に示すように、第１読み出し方式では、光電変換素子９２から高解像度画像データが読み出され、第２読み出し方式では、光電変換素子９２から低解像度画像データが読み出される。

一例として表２に示すように、撮像装置１０の動作モードが高速モードの場合に、処理回路９４では第１読み出し方式が用いられ、撮像装置１０の動作モードが低速モードの場合に、処理回路９４では第２読み出し方式が用いられる。

第１読み出し方式の場合、第１フレームレートは、第２フレームレートに相当するフレームレートである。第２読み出し方式の場合、第１フレームレートは、第１読み出し方式の場合に比べ、低いフレームレートである。

なお、本実施形態では、第２読み出し方式での第２フレームレートの一例として、第１読み出し方式の場合のフレームレートに相当するフレームレートが採用されているが、本開示の技術はこれに限定されない。例えば、第１読み出し方式の場合のフレームレートと異なるフレームレートであってもよく、第１読み出し方式が採用されている状態で既定の条件を満足した場合に、第２フレームレートが強制的に変更されるようにしてもよい。ここで言う「既定の条件」の一例としては、第１読み出し方式の場合に、タッチパネル４２及び／又は操作部５４を介してユーザから第２フレームレートの変更指示が与えられた、との条件が挙げられる。

本実施形態では、一例として表２に示すように、第１読み出し方式の場合、処理回路９４により、第１フレームレート及び第２フレームレートが高フレームレート、すなわち、２４０ｆｐｓに設定される。また、本実施形態では、一例として表２に示すように、第２読み出し方式の場合、処理回路９４により、第１フレームレートが低フレームレート、すなわち、６０ｆｐｓに設定され、第２フレームレートが高フレームレート、すなわち、２４０ｆｐｓに設定される。

画像処理回路９４Ｃは、本開示の技術に係る「検出部」の一例である。画像処理回路９４Ｃは、被写体の動きを検出する。処理回路９４は、画像処理回路９４Ｃでの検出結果に応じて、第１読み出し方式と第２読み出し方式とを切り替える。

具体的には、画像処理回路９４Ｃは、複数の低解像度画像データ又は複数の高解像度画像データに基づいて、被写体の動きを検出する。処理回路９４は、画像処理回路９４Ｃにより被写体の動きが検出された場合に第１読み出し方式を設定し、画像処理回路９４Ｃにより被写体の動きが検出されなかった場合に第２読み出し方式を設定する。

次に、撮像装置１０の本開示の技術に係る部分の作用について説明する。

なお、以下では、説明の便宜上、第１ディスプレイ４０及び第２ディスプレイ８０を区別して説明する必要がない場合は、符号を付さずに「表示装置」と称する。表示装置は、本開示の技術に係る「表示部」の一例である。また、以下では、説明の便宜上、第１表示制御部６４及び第２表示制御部６６を区別して説明する必要がない場合は、符号を付さずに「表示制御部」と称する。表示制御部は、本開示の技術に係る「制御部」の一例である。また、以下では、説明の便宜上、表示装置に対してライブビュー画像を表示させる場合について説明する。

先ず、処理回路９４によって実行される読み出し方式切替処理について図７を参照して説明する。なお、図７に示す読み出し方式切替処理は、処理回路９４によって第２フレームレートで行われる。また、以下では、説明の便宜上、メモリ９６が４フレーム分の撮像画像データをＦＩＦＯ方式で記憶可能なメモリであることを前提として説明する。

図７に示す読み出し方式切替処理では、先ず、ステップ１００で、処理回路９４は、現時点で設定されている読み出し方式が第２読み出し方式であるか否かを判定する。ステップ１００において、現時点で設定されている読み出し方式が第２読み出し方式の場合は、判定が肯定されて、読み出し方式切替処理はステップ１０２へ移行する。ステップ１００において、現時点で設定されている読み出し方式が第１読み出し方式の場合は、判定が否定されて、読み出し方式切替処理はステップ１１６へ移行する。

ステップ１０２で、光電変換素子駆動回路９４Ａは、光電変換素子９２から低解像度画像データを読み出し、その後、読み出し方式切替処理はステップ１０４へ移行する。

ステップ１０４で、ＡＤ変換回路９４Ｂは、ステップ１０２で読み出された低解像度画像データをメモリ９６に記憶し、その後、読み出し方式切替処理はステップ１０６へ移行する。

ステップ１０６で、画像処理回路９４Ｃは、メモリ９６に既定数フレームの低解像度画像データが記憶されているか否かを判定する。ここで、既定数フレームとは、４フレームを指すが、本開示の技術はこれに限定されない。例えば、ｎを２以上の整数とした場合、低解像度画像として垂直１／ｎ間引き画像が採用されている場合は、既定数フレームは、ｎフレームである。

ステップ１０６において、メモリ９６に既定数フレームの低解像度画像データが記憶されていない場合は、判定が否定されて、読み出し方式切替処理はステップ１０２へ移行する。ステップ１０６において、メモリ９６に既定数フレームの低解像度画像データが記憶されている場合は、判定が肯定されて、読み出し方式切替処理はステップ１０８へ移行する。

ステップ１０８で、画像処理回路９４Ｃは、メモリ９６に記憶されている既定数フレームの低解像度画像データに基づいて被写体の動きを検出し、その後、読み出し方式切替処理はステップ１１０へ移行する。被写体の動きは、時間的に前後するフレーム間の撮像画像データの差分に基づいて検出される。例えば、差分が閾値よりも大きければ、被写体に動きが有ることが検出され、差分が閾値以下であれば、被写体に動き無ないことが検出される。

上記ステップ１０２〜ステップ１０６の処理が実行されることで、一例として図１１の上段に示すように、インターレースで読み出された低解像度画像データがメモリ９６に記憶される。そして、上記ステップ１０８の処理が実行されることで、例えば、図１１に示すように、５フレーム目〜８フレーム目の低解像度画像データから被写体に動きが有ることが検出される。

これに対し、例えば、図１１の下段に示すように、インターレースでの読み出しではなく、６０ｆｐｓで高解像度画像データが読み出される場合、インターレースでの読み出しの５〜８フレーム目の期間において被写体に動きが有ることは検出することはできない。

なお、被写体の動きの検出は、５フレーム目〜８フレーム目のうち、隣接するフレーム間の低解像度画像データに基づいて行われるようにしてもよいし、１つ飛ばしで隣接するフレーム間、例えば、５フレーム目と７フレーム目との低解像度画像データに基づいて行われるようにしてもよい。

また、本実施形態では、説明の便宜上、ステップ１０６において判定が肯定された場合、すなわち、４フレーム分の低解像度画像データがメモリ９６に記憶された場合にステップ１０８の処理が実行される場合を例示しているが、本開示の技術はこれに限定されない。本実施形態では、撮像素子２０に処理回路９４及びメモリ９６が内蔵されているので、例えば、図１１の上段に示す例において、７フレーム目と８フレーム目の低解像度画像データが読み出されている間に、５フレーム目と６フレーム目とを用いて被写体の動きが検出されるようにしてもよい。

ステップ１１０で、画像処理回路９４Ｃは、被写体に動きが無いか否かを判定する。ステップ１１０において、被写体に動きが無い場合は、判定が肯定されて、読み出し方式切替処理はステップ１１２へ移行する。ステップ１１０において、被写体に動きが有る場合は、判定が否定されて、読み出し方式切替処理はステップ１１４へ移行する。

ステップ１１２で、画像処理回路９４Ｃは、メモリ９６から既定数フレームの低解像度画像データを取得し、その後、読み出し方式切替処理はステップ１１３へ移行する。

ステップ１１３で、画像処理回路９４Ｃは、ステップ１１２で取得した既定数フレームの低解像度画像データに基づいて、上述した第２出力用画像データを生成する。そして、画像処理回路９４Ｃは、生成した第２出力用画像データを出力回路９４Ｄに出力し、その後、読み出し方式切替処理はステップ１３２へ移行する。

ステップ１１４で、処理回路９４は、読み出し方式を第２読み出し方式から第１読み出し方式に移行させ、その後、読み出し方式切替処理はステップ１３２へ移行する。

なお、読み出し方式の第２読み出し方式から第１読み出し方式への移行に伴って、ＣＰＵ５２は、撮像装置１０の動作モードを低速モードから高速モードへと移行させる。逆に、読み出し方式の第１読み出し方式から第２読み出し方式への移行に伴って、ＣＰＵ５２は、撮像装置１０の動作モードを高速モードから低速モードへと移行させる。

ステップ１１６で、光電変換素子駆動回路９４Ａは、光電変換素子９２から高解像度画像データを読み出し、その後、読み出し方式切替処理はステップ１１８へ移行する。

ステップ１１８で、ＡＤ変換回路９４Ｂは、ステップ１１６で読み出された高解像度画像データをメモリ９６に記憶し、その後、読み出し方式切替処理はステップ１２０へ移行する。

ステップ１２０で、画像処理回路９４Ｃは、メモリ９６に複数フレームの高解像度画像データが記憶されているか否かを判定する。ここで、複数フレームとは、例えば、撮像期間が前後する２以上のフレームを指す。ステップ１２０において、メモリ９６に複数フレームの高解像度画像データが記憶されていない場合は、判定が否定されて、読み出し方式切替処理はステップ１３０へ移行する。ステップ１２０において、メモリ９６に複数フレームの高解像度画像データが記憶されている場合は、判定が肯定されて、読み出し方式切替処理はステップ１２２へ移行する。

ステップ１２２で、画像処理回路９４Ｃは、メモリ９６に記憶されている複数フレームの高解像度画像データに基づいて被写体の動きを検出し、その後、読み出し方式切替処理はステップ１２４へ移行する。

ステップ１２４で、画像処理回路９４Ｃは、被写体に動きが無いか否かを判定する。ステップ１２４において、被写体に動きが無い場合は、判定が肯定されて、読み出し方式切替処理はステップ１２６へ移行する。ステップ１２４において、被写体に動きが有る場合は、判定が否定されて、読み出し方式切替処理はステップ１３０へ移行する。

ステップ１２６で、画像処理回路９４Ｃは、メモリ９６から１フレーム分の高解像度画像データを取得し、その後、読み出し方式切替処理はステップ１２８へ移行する。本ステップ１２６の処理が実行されることでメモリ９６から取得される１フレーム分の高解像度画像データは、メモリ９６に記憶されている複数フレームの高解像度画像データのうち、最も過去に記憶された高解像度画像データである。

ステップ１２８で、画像処理回路９４Ｃは、上記ステップ１２６で取得した１フレーム分の高解像度画像データに基づいて、上述した第１出力用画像データを生成する。そして、画像処理回路９４Ｃは、生成した第１出力用画像データを出力回路９４Ｄに出力し、その後、読み出し方式切替処理はステップ１２９へ移行する。

ステップ１２９で、処理回路９４は、読み出し方式を第１読み出し方式から第２読み出し方式に移行させ、その後、読み出し方式切替処理はステップ１３２へ移行する。

ステップ１３０で、画像処理回路９４Ｃは、メモリ９６から１フレーム分の高解像度画像データを取得し、その後、読み出し方式切替処理はステップ１３１へ移行する。

ステップ１３１で、画像処理回路９４Ｃは、上記ステップ１３０で取得した１フレーム分の高解像度画像データに基づいて、上述した第１出力用画像データを生成する。そして、画像処理回路９４Ｃは、生成した第１出力用画像データを出力回路９４Ｄに出力し、その後、読み出し方式切替処理はステップ１３２へ移行する。

ステップ１３２で、画像処理回路９４Ｃは、読み出し方式切替処理を終了する条件である読み出し方式切替処理終了条件を満足したか否かを判定する。読み出し方式切替処理終了条件としては、例えば、読み出し方式切替処理を終了させる指示がタッチパネル４２及び／又は操作部５４によって受け付けられたとの条件が挙げられる。また、読み出し方式切替処理終了条件としては、例えば、読み出し方式切替処理が開始されてからレリーズボタン２５が押されることなく、予め定められた時間を超えたとの条件が挙げられる。ここで言う「予め定められた時間」とは、例えば、５分を指す。予め定められた時間は、固定値であってもよいし、ユーザから与えられた指示に応じて変更可能な可変値であってもよい。

ステップ１３２において、読み出し方式切替処理終了条件を満足していない場合は、判定が否定されて、読み出し方式切替処理はステップ１００へ移行する。ステップ１３２において、読み出し方式切替処理終了条件を満足した場合は、判定が肯定されて、画像処理回路９４Ｃは読み出し方式切替処理を終了する。

次に、処理回路９４の出力回路９４Ｄによって実行される画像データ出力処理について図８を参照して説明する。

図８に示す画像データ出力処理では、先ず、ステップ１５０で、出力回路９４Ｄは、画像処理回路９４Ｃから第２出力用画像データが入力されたか否かを判定する。本ステップ１５０において、画像処理回路９４Ｃから入力される第２出力用画像データは、図７に示す読み出し方式切替処理に含まれるステップ１１３で出力された第２出力用画像データである。

ステップ１５０において、画像処理回路９４Ｃから第２出力用画像データが入力された場合は、判定が肯定されて、画像データ出力処理はステップ１５２へ移行する。ステップ１５０において、画像処理回路９４Ｃから第２出力用画像データが入力されていない場合は、判定が否定されて、画像データ出力処理はステップ１５４へ移行する。

ステップ１５２で、出力回路９４Ｄは、ステップ１５０で入力された第２出力用画像データを低フレームレートで後段回路９０のＩ／Ｆ５６に出力し、その後、画像データ出力処理はステップ１６２へ移行する。

ステップ１５４で、出力回路９４Ｄは、画像処理回路９４Ｃから第１出力用画像データが入力されたか否かを判定する。本ステップ１５４において、画像処理回路９４Ｃから入力される第１出力用画像データは、図７に示す読み出し方式切替処理に含まれるステップ１２９又はステップ１３１で出力された第１出力用画像データである。

ステップ１５４において、画像処理回路９４Ｃから第１出力用画像データが入力された場合は、判定が肯定されて、画像データ出力処理はステップ１５６へ移行する。ステップ１５４において、画像処理回路９４Ｃから第１出力用画像データが入力されていない場合は、判定が否定されて、画像データ出力処理はステップ１５８へ移行する。

ステップ１５６で、出力回路９４Ｄは、ステップ１５４で取得した第１出力用画像データを高フレームレートで後段回路９０のＩ／Ｆ５６に出力し、その後、画像データ出力処理はステップ１５８へ移行する。

ステップ１５８で、画像処理回路９４Ｃは、画像データ出力処理を終了する条件である画像データ出力処理終了条件を満足したか否かを判定する。画像データ出力処理終了条件は、例えば、上述した読み出し方式切替処理終了条件と同じ条件である。

ステップ１５８において、画像データ出力処理終了条件を満足していない場合は、判定が否定されて、画像データ出力処理はステップ１５０へ移行する。ステップ１５８において、画像データ出力処理終了条件を満足した場合は、判定が肯定されて、出力回路９４Ｄは画像データ出力処理を終了する。

次に、後段回路９０の表示制御部によって実行される表示制御処理について図９を参照して説明する。なお、ここでは、説明の便宜上、図８に示す画像データ出力処理が実行されることで出力回路９４Ｄから出力用画像データが後段回路９０に出力され、出力用画像データがＣＰＵ５２及び画像処理部６２に入力されたことを前提として説明する。

図９に示す表示制御処理では、ステップ２００で、表示制御部は、画像処理部６２から出力用画像データが入力されたか否かを判定する。ステップ２００において、画像処理部６２から出力用画像データが入力されていない場合は、判定が否定されて、表示制御処理はステップ２０４へ移行する。ステップ２００において、画像処理部６２から出力用画像データが入力された場合は、判定が肯定されて、表示制御処理はステップ２０２へ移行する。

ステップ２０２で、表示制御部は、出力用画像データをグラフィックデータとして表示装置に出力し、その後、表示制御処理はステップ２０４へ移行する。本ステップ２０２の処理が実行されることで出力用画像データが表示装置に出力されると、表示装置は、出力用画像データにより示される出力用画像を表示する。例えば、出力用画像データに全体画像データが含まれている場合、表示装置は、全体画像データにより示される全体画像を表示する。ここで言う「全体画像」とは、被写体の全体を示す画像を指す。

ステップ２０４で、表示制御部は、表示制御処理を終了する条件である表示制御処理終了条件を満足したか否かを判定する。表示制御処理終了条件は、例えば、上述した読み出し方式切替処理終了条件と同じ条件である。

ステップ２０４において、表示制御処理終了条件を満足していない場合は、判定が否定されて、表示制御処理はステップ２００へ移行する。ステップ２０４において、表示制御処理終了条件を満足した場合は、判定が肯定されて、表示制御部は表示制御処理を終了する。

以上説明したように、撮像装置１０では、撮像素子２０に処理回路９４及びメモリ９６が内蔵されている。また、光電変換素子駆動回路９４Ａにより、撮像画像データが光電変換素子９２から読み出される。また、メモリ９６には、読み出された撮像画像データが記憶される。また、メモリ９６に記憶された撮像画像データに基づく出力用画像データが出力回路９４Ｄにより後段回路９０のＩ／Ｆ５６に出力される。また、出力用画像データは、出力回路９４Ｄにより第１フレームレートでＩ／Ｆ５６に出力される。また、撮像画像データは、光電変換素子駆動回路９４Ａにより第２フレームレートで光電変換素子９２から読み出される。また、撮像画像データは、光電変換素子駆動回路９４Ａにより、上述した第１読み出し方式、又は、上述した第２読み出し方式で、光電変換素子９２から読み出される。そして、画像処理回路９４Ｃにより被写体の動きが検出され、検出結果に応じて、第１読み出し方式と第２読み出し方式とが切り替えられる。第１読み出し方式では、高解像度画像データが読み出され、第２読み出し方式では、低解像度画像データが読み出される。

従って、撮像装置１０は、撮像画像データの読み出しのフレームレートのみを変更する場合に比べ、消費電力を低減することができる。

また、撮像装置１０では、メモリ９６により、撮像タイミングが前後する複数フレームで撮像画像データが記憶可能とされている。

従って、撮像装置１０は、メモリ９６に同一フレームの撮像画像データが複数記憶される場合に比べ、多種多様な画像処理を実現することができる。

また、撮像装置１０では、メモリ９６に記憶された複数フレームの撮像画像データに基づいて、画像処理回路９４Ｃにより被写体の動きが検出される。

従って、撮像装置１０は、メモリ９６に同一フレームの撮像画像データが複数記憶される場合に比べ、画像処理回路９４Ｃによる被写体の動きの高精度な検出を実現することができる。

また、撮像装置１０では、第１フレームレートが、第１読み出し方式と第２読み出し方式との切り替えに応じて変更される。

従って、撮像装置１０は、第２フレームレートと同じフレームレートを常に第１フレームレートとして使用する場合に比べ、出力用画像データの出力に要する消費電力を低減することができる。

また、撮像装置１０では、第２フレームレートは、第１読み出し方式と第２読み出し方式との切り替えに関わらず固定化されている。

従って、撮像装置１０は、第２フレームレートが第１読み出し方式と第２読み出し方式との切り替えに応じて変更される場合に比べ、撮像素子２０の内部での処理に要する時間を安定させることができる。

また、撮像装置１０では、第２読み出し方式で、撮像画像データの１フレームは、予め定められた撮像条件で被写体が光電変換素子９２により撮像された場合よりも画素が間引かれた画像フレームである。ここで言う「予め定められた撮像条件で被写体が光電変換素子９２により撮像された場合」に得られる撮像画像データは、上記実施形態において「高解像度画像データ」を意味する。また、ここで言う「画素が間引かれた画像フレーム」とは、上記実施形態において「低解像度画像データ」を指す。

従って、撮像装置１０は、撮像画像データの１フレームが、画素が間引かれないフレームの場合に比べ、消費電力を低減することができる。

また、撮像装置１０では、第２読み出し方式で撮像画像データが読み出される場合、互いに異なる箇所の画素が間引かれた複数の低解像度画像データが撮像画像データとして読み出される。そして、複数の低解像度画像データが合成されることで得られた第２出力用画像データが後段回路９０に出力される。

従って、撮像装置１０は、出力用画像データとして単一の間引き画像フレームが出力される場合に比べ、出力用画像データにより高画質を実現することができる。

また、撮像装置１０では、第２読み出し方式において、光電変換素子９２から画素が間引かれた状態で撮像画像データが読み出される。つまり、第２読み出し方式において、光電変換素子９２から低解像度画像データが読み出される。

従って、撮像装置１０は、画素が間引かれていない撮像画像データが光電変換素子駆動回路９４Ａによって読み出される場合に比べ、光電変換素子駆動回路９４Ａによる撮像画像データの読み出しに要する消費電力を低減することができる。

また、撮像装置１０では、第２読み出し方式では、フレーム毎に異なる箇所の画素が間引かれて得られた複数の低解像度画像データが読み出され、メモリ９６に記憶される。そして、メモリ９６に記憶された複数の低解像度画像データに基づいて、画像処理回路９４Ｃにより被写体の動きが検出される。

従って、撮像装置１０は、複数の低解像度画像データがメモリ９６に記憶される期間と同じ期間に１フレーム分の高解像度画像データがメモリ９６に記憶される場合に比べ、被写体の動きを迅速に検出することができる。

また、撮像装置１０では、画像処理回路９４Ｃにより被写体の動きが検出された場合に第１読み出し方式とされ、画像処理回路９４Ｃにより被写体の動きが検出されなかった場合に第２読み出し方式とされる。

従って、撮像装置１０は、被写体の動きに依らず常に第１読み出し方式を採用する場合に比べ、消費電力を低減することができる。

また、撮像装置１０では、撮像素子２０に画像処理回路９４Ｃが含まれている。従って、撮像装置１０は、撮像素子２０の外部に画像処理回路９４Ｃが設けられている場合に比べ、撮像画像データに基づいて被写体の動きを迅速に検出することができる。

また、撮像装置１０では、撮像素子２０は、光電変換素子９２を有し、光電変換素子９２にメモリ９６が積層された積層型ＣＭＯＳイメージセンサである。

従って、撮像装置１０は、光電変換素子９２にメモリ９６が積層されていないタイプの撮像素子を用いる場合に比べ、複数フレーム分の画像処理の高速化を図ることができる。

なお、上記実施形態では、光電変換素子９２内の全てのフォトダイオードにより被写体が撮像されることで得られた撮像画像データから低解像度画像データを読み出す形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、第２読み出し方式では、光電変換素子９２に対して画素が間引かれた状態で被写体を撮像させるようにしてもよい。例えば、垂直１／４間引き画像を得ることが可能なフォトダイオードのみを使用して被写体が撮像されるようにしてもよい。これにより、光電変換素子９２に対して画素が間引かれていない状態で被写体を撮像させる場合に比べ、光電変換素子９２の撮像に要する消費電力を低減することができる。

また、上記実施形態では、本開示の技術に係る「予め定められた撮像条件」の一例として、光電変換素子９２内の全てのフォトダイオードにより被写体が撮像されることを例示したが、本開示の技術はこれに限定されない。本開示の技術に係る「予め定められた撮像条件」の他の例としては、表示装置に表示されるライブビュー画像よりも高画質な動画像を、外部Ｉ／Ｆ６３に接続されたメモリカードに記録する動画像記録モードで被写体が撮像されることが挙げられる。

また、上記実施形態では、低解像度画像として垂直１／４間引き画像を例示したが、本開示の技術はこれに限定されない。例えば、垂直１／４間引き画像以外の垂直１／ｎ間引き画像を低解像度画像として採用してもよい。また、水平ラインを垂直方向に間引きした画像ではなく、垂直ラインを水平方向に間引きした画像を低解像度画像として採用してもよい。また、１画素又は数画素の画素群単位で予め定められた規則に応じて間引かれた画像を低解像度画像として採用してもよい。

また、上記実施形態では、高解像度画像として間引き無し画像を採用し、低解像度画像として垂直１／４間引き画像を採用しているが、本開示の技術はこれに限定されない。例えば、高解像度画像として垂直１／４間引き画像を採用し、低解像度画像として垂直１／１６間引き画像を採用してもよい。このように、低解像度画像は、高解像度画像よりも間引きの度合いが高い画像であればよい。

また、上記実施形態では、出力用画像データがライブビュー画像の表示に供される場合について説明したが、本開示の技術はこれに限定されない。例えば、出力用画像データは、後段回路９０において、ＣＰＵ５２により、二次記憶部６０に記憶されるようにしてもよいし、外部Ｉ／Ｆ６３を介して撮像装置１０の外部に出力されるようにしてもよい。

上記実施形態では、ＡＳＩＣによって実現される処理回路９４を例示したが、上述した読み出し方式切替処理及び画像データ出力処理は、コンピュータによるソフトウェア構成により実現されるようにしてもよい。

この場合、例えば、図１２に示すように、上述した読み出し方式切替処理及び画像データ出力処理を撮像素子２０に内蔵されたコンピュータ２０Ａに実行させるためのプログラム６００を記憶媒体７００に記憶させておく。コンピュータ２０Ａは、ＣＰＵ２０Ａ１、ＲＯＭ２０Ａ２、及びＲＡＭ２０Ａ３を備えている。そして、記憶媒体７００のプログラム６００がコンピュータ２０Ａにインストールされ、コンピュータ２０ＡのＣＰＵ２０Ａ１は、プログラム６００に従って、上述した読み出し方式切替処理及び画像データ出力処理を実行する。ここでは、ＣＰＵ２０Ａ１として、単数のＣＰＵを例示しているが、本開示の技術はこれに限定されず、ＣＰＵ２０Ａ１に代えて複数のＣＰＵを採用してもよい。つまり、１つのプロセッサ、又は、物理的に離れている複数のプロセッサによって、上述した読み出し方式切替処理及び／又は画像データ出力処理が実行されるようにしてもよい。

なお、記憶媒体７００の一例としては、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）又はＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどの任意の可搬型の記憶媒体が挙げられる。

また、通信網（図示省略）を介してコンピュータ２０Ａに接続される他のコンピュータ又はサーバ装置等の記憶部にプログラム６００を記憶させておき、プログラム６００が撮像装置１０等の要求に応じてダウンロードされるようにしてもよい。この場合、ダウンロードされたプログラム６００がコンピュータ２０Ａによって実行される。

また、コンピュータ２０Ａは、撮像素子２０の外部に設けられるようにしてもよい。この場合、コンピュータ２０Ａがプログラム６００に従って処理回路９４を制御するようにすればよい。

上記実施形態で説明した各種処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。ここで、上記実施形態で説明した各種処理とは、読み出し方式切替処理、画像データ出力処理、及び表示制御処理が挙げられる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムを実行することで、本開示の技術に係る各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで各種処理を実行する。

本開示の技術に係る各種処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、本開示の技術に係る各種処理を実行するハードウェア資源は１つのプロセッサであってもよい。

１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、本開示の技術に係る各種処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−ｃｈｉｐ）などに代表されるように、本開示の技術に係る各種処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、本開示の技術に係る各種処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。

また、上記実施形態では、撮像装置１０としてレンズ交換式カメラを例示したが、本開示の技術はこれに限定されない。例えば、図１３に示すスマートデバイス９００に対して本開示の技術を適用するようにしてもよい。一例として図１３に示すスマートデバイス９００は、本開示の技術に係る撮像装置の一例である。スマートデバイス９００には、上記実施形態で説明した撮像素子２０が搭載されている。このように構成されたスマートデバイス９００であっても、上記実施形態で説明した撮像装置１０と同様の作用及び効果が得られる。なお、スマートデバイス９００に限らず、パーソナル・コンピュータ又はウェアラブル端末装置に対しても本開示の技術は適用可能である。

また、上記実施形態では、表示装置として第１ディスプレイ４０及び第２ディスプレイ８０を例示したが、本開示の技術はこれに限定されない。例えば、撮像装置本体１２に対して後付けされた別体のディスプレイを、本開示の技術に係る「表示部」として用いるようにしてもよい。

また、上記実施形態で説明した読み出し方式切替処理、画像データ出力処理、及び表示制御処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (13)

1. 撮像素子であって、
   被写体が光電変換素子により撮像されることで得られた撮像画像データを前記光電変換素子から読み出し、かつ、前記撮像素子に内蔵された読出部と、
   前記読出部により前記光電変換素子から読み出された前記撮像画像データを記憶可能であり、かつ、前記撮像素子に内蔵された記憶部と、
   前記記憶部に記憶された前記撮像画像データに基づく出力用画像データを前記撮像素子の外部に出力し、かつ、前記撮像素子に内蔵された出力部と、を含み、
   前記出力部は、第１フレームレートで前記出力用画像データを前記外部に出力し、
   前記読出部は、第２フレームレートで前記撮像画像データを前記光電変換素子から読み出し、
   前記読出部は、第１読み出し方式、又は、前記第１読み出し方式よりも読み出しデータ量が少ない第２読み出し方式で、前記光電変換素子から前記撮像画像データを読み出し、
   前記第１読み出し方式の場合、前記第１フレームレートは、前記第２フレームレートに相当するフレームレートであり、前記第２読み出し方式の場合、前記第１フレームレートは、前記第１読み出し方式の場合に比べ、低いフレームレートである
   撮像素子。
2. 前記記憶部は、前記撮像画像データを、撮像タイミングが前後する複数フレームで記憶可能である
   請求項１に記載の撮像素子。
3. 前記第１フレームレートは、前記第１読み出し方式と前記第２読み出し方式との切り替えに応じて変更される
   請求項１又は請求項２に記載の撮像素子。
4. 前記第２フレームレートは、前記第１読み出し方式と前記第２読み出し方式との切り替えに関わらず固定化されている
   請求項１から請求項３の何れか一項に記載の撮像素子。
5. 前記第２読み出し方式で、前記撮像画像データの１フレームは、予め定められた撮像条件で前記被写体が前記光電変換素子により撮像された場合よりも画素が間引かれた間引き画像フレームである
   請求項１から請求項４の何れか一項に記載の撮像素子。
6. 前記撮像画像データが前記読出部によって前記第２読み出し方式で読み出される場合、前記撮像画像データは、予め定められた撮像条件で前記被写体が前記光電変換素子により撮像された場合よりも画素が間引かれ、かつ、互いに異なる箇所の画素が間引かれた複数の間引き画像フレームであり、
   前記出力用画像データは、前記複数の間引き画像フレームを合成して得られた画像データである
   請求項１から請求項４の何れか一項に記載の撮像素子。
7. 前記第２読み出し方式では、前記光電変換素子に対して前記画素が間引かれた状態で前記被写体を撮像させる
   請求項５又は請求項６に記載の撮像素子。
8. 前記読出部は、前記第２読み出し方式において、前記光電変換素子から前記画素が間引かれた状態で前記撮像画像データを読み出す
   請求項５又は請求項６に記載の撮像素子。
9. 前記第２読み出し方式では、前記撮像画像データは、フレーム毎に異なる箇所の画素が間引かれて得られた複数の間引き画像データであり、
   前記記憶部は、前記複数の間引き画像データを記憶する
   請求項１から請求項８の何れか一項に記載の撮像素子。
10. 前記撮像素子は、前記光電変換素子を有し、前記光電変換素子に前記記憶部が積層された積層型撮像素子である請求項１から請求項９の何れか一項に記載の撮像素子。
11. 請求項１から請求項１０の何れか一項に記載の撮像素子と、
    前記撮像素子に含まれる前記出力部により出力された前記出力用画像データに基づく画像を表示部に対して表示させる制御を行う制御部と、
    を含む撮像装置。
12. 撮像素子には、被写体が光電変換素子により撮像されることで得られた撮像画像データを前記光電変換素子から読み出す読出部と、前記読出部により前記光電変換素子から読み出された前記撮像画像データを記憶可能な記憶部と、前記記憶部に記憶された前記撮像画像データに基づく出力用画像データを前記撮像素子の外部に出力する出力部とが内蔵されており、前記撮像素子に含まれる前記出力部に対して、第１フレームレートで前記出力用画像データを前記外部に出力させること、
    前記読出部に対して、第２フレームレートで前記撮像画像データを前記光電変換素子から読み出させること、
    前記読出部に対して、第１読み出し方式、又は、前記第１読み出し方式よりも読み出しデータ量が少ない第２読み出し方式で、前記光電変換素子から前記撮像画像データを読み出させること、
    前記第１読み出し方式の場合、前記第１フレームレートを、前記第２フレームレートに相当するフレームレートとすること、
    前記第２読み出し方式の場合、前記第１フレームレートを、前記第１読み出し方式の場合に比べ、低いフレームレートとすることを含む画像データ処理方法。
13. 撮像素子には、被写体が光電変換素子により撮像されることで得られた撮像画像データを前記光電変換素子から読み出す読出部と、前記読出部により前記光電変換素子から読み出された前記撮像画像データを記憶可能な記憶部と、前記記憶部に記憶された前記撮像画像データに基づく出力用画像データを前記撮像素子の外部に出力する出力部とが内蔵されており、コンピュータを、前記読出部及び前記出力部として機能させるためのプログラムであって、
    前記出力部は、第１フレームレートで前記出力用画像データを前記外部に出力し、
    前記読出部は、第２フレームレートで前記撮像画像データを前記光電変換素子から読み出し、
    前記読出部は、第１読み出し方式、又は、前記第１読み出し方式よりも読み出しデータ量が少ない第２読み出し方式で、前記光電変換素子から前記撮像画像データを読み出し、
    前記第１読み出し方式の場合、前記第１フレームレートは、前記第２フレームレートに相当するフレームレートであり、前記第２読み出し方式の場合、前記第１フレームレートは、前記第１読み出し方式の場合に比べ、低いフレームレートである
    プログラム。

Images