JP2020198640A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】撮像された画像の出力に係る処理時間をより短縮することが可能な撮像装置および撮像方法を提案する。【解決手段】画素アレイ部とフレームメモリとを備える撮像素子と、前記画素アレイ部から出力された第１のデータ密度の第１のデータに基づく第１の画像を表示部に表示する表示制御処理と、前記画素アレイ部から出力された前記第１のデータ密度より高い第２のデータ密度の第２のデータに基づく第２の画像を前記フレームメモリに記憶させ、さらに前記フレームメモリに記憶した前記第２の画像を記録する記録処理と、を行う処理部と、を備える撮像装置。【選択図】図４

Description

本開示は、撮像装置および撮像方法に関する。

近年では、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等の撮像素子を備えたデジタルスチルカメラやデジタルビデオカメラが普及している。デジタルスチルカメラは静止画像を撮像するものであり、デジタルビデオカメラは動画像を撮像するものであるが、動画像を撮像可能なデジタルスチルカメラや静止画像を撮像可能なデジタルビデオカメラも存在する。なお、以降では、デジタルスチルカメラとデジタルビデオカメラとを特に区別しない場合には、単に「デジタルカメラ」と記載する場合がある。

上記に示したようなデジタルカメラは、例えば、ＬＣＤ（Liquid Crystal Display）等で構成された表示部を備え、当該表示部に撮像された画像を表示可能に構成されている場合が少なくない。また、近年では、上記に示したデジタルカメラの中には、撮像された画像中から人間の顔の領域を検出し、検出された領域に対して色味の調整を行う等のような、撮像された画像に対して画像処理を自動で施すものもある。

特開２０１３−０５５５８９号公報

また、近年のデジタルカメラの中には、撮像素子中の画素数を増やすことで、より高精細な画像（解像度の高い画像）を撮像可能としたものもある。その一方で、画像の高精細化に伴い当該画像のデータ量も増大する傾向にある。そのため、例えば、撮像された画像をユーザが確認するために表示部に表示させる処理や、撮像された画像を解析し当該画像に対して画像処理を施して出力する処理等のように、撮像された画像の出力に係る処理時間も増大する場合がある。

そこで、本開示では、撮像された画像の出力に係る処理時間をより短縮することが可能な、新規かつ改良された撮像装置および撮像方法を提案する。

本開示によれば、画素アレイ部とフレームメモリとを備える撮像素子と、前記画素アレイ部から出力された第１のデータ密度の第１のデータに基づく第１の画像を表示部に表示する表示制御処理と、前記画素アレイ部から出力された前記第１のデータ密度より高い第２のデータ密度の第２のデータに基づく第２の画像を前記フレームメモリに記憶させ、さらに前記フレームメモリに記憶した前記第２の画像を記録する記録処理と、を行う処理部と、を備える撮像装置が提供される。

また、本開示によれば、撮像素子が備える画素アレイ部から出力された第１のデータ密度の第１のデータに基づく第１の画像を表示部に表示し、前記画素アレイ部から出力された前記第１のデータ密度より高い第２のデータ密度の第２のデータに基づく第２の画像を前記撮像素子が備えるフレームメモリに記憶させ、さらに前記フレームメモリに記憶した前記第２の画像を記録すること、を含む撮像方法が提供される。

以上説明したように本開示によれば、撮像された画像の出力に係る処理時間をより短縮することが可能な撮像装置および撮像方法が提供される。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

比較例に係る撮像装置の概略的な構成の一例について説明するための説明図である。 比較例２に係る撮像装置の処理の流れについて説明するための説明図である。 比較例３に係る撮像装置の処理の流れについて説明するための説明図である。 本開示の実施形態に係る撮像装置の概要について説明するための説明図である。 同実施形態に係るイメージセンサの一部の構成例を示すブロック図である。 同実施形態に係るイメージセンサのチップの構成の一例について説明するための説明図である。 同実施形態に係る撮像装置の構成の一例を示したブロック図である。 実施例１に係る撮像装置の処理の流れの一例について説明するための概略的なタイムチャートである。 実施例２に係る撮像装置の処理の流れの一例について説明するための概略的なタイムチャートである。 実施例３に係る撮像装置の処理の流れの一例について説明するための概略的なタイムチャートである。 同実施例に係る撮像装置の処理の流れの他の一例について説明するための概略的なタイムチャートである。 同実施形態に係るコンピュータのハードウェア構成の一例について説明するための説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．実施の形態
１．１．課題の整理
１．２．概要
１．３．イメージセンサの構成
１．４．撮像装置の構成
２．実施例
２．１．実施例１：解像度の異なる画像を時分割で出力する場合の一例
２．２．実施例２：解像度の異なる画像を並列で出力する場合の一例
２．３．実施例３：連続撮影を行う場合の一例
３．ハードウェア構成
４．まとめ

＜１．実施の形態＞
［１．１．課題の整理］
本開示の実施形態に係る撮像装置についての説明にあたり、図１〜３を参照して、従来の撮像装置の一例について比較例として説明することで、本実施形態に係る撮像装置の課題について整理する。まず、図１を参照して、比較例に係る撮像装置の概要について説明する。図１は、比較例に係る撮像装置の概略的な構成の一例について説明するための説明図である。なお、図１に示す例を、以降では比較例１と呼ぶ場合がある。

図１において、参照符号１００ａは、比較例１に係る撮像装置に設けられたイメージセンサを模式的に示している。イメージセンサ１００ａは、例えば、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）イメージセンサ等の、被写体を撮像し、撮像画像のデジタルデータを得る撮像素子である。イメージセンサ１００ａは、複数の画素が行列（アレイ）状に配置された画素アレイ部１１１を含んで構成される。なお、一般的には、画素アレイ部１１１以外の回路も含むが、図１に示す例では、説明をわかりやすくするために、当該画素アレイ部１１１以外の回路の図示を省略している。

また、参照符号２００ａは、画素アレイ部１１１の各画素からの画素信号に基づき供給される画像信号に対して、所謂画像処理を施す画像処理ＬＳＩ（Large Scale Integration）を模式的に示している。画像処理としては、例えば、黒レベル補正や、混色補正、欠陥補正、デモザイク処理、マトリックス処理、ガンマ補正、およびＹＣ変換等が挙げられる。画像処理部２１０は、画像処理ＬＳＩ２００ａにより実現される画像処理機能を模式的に示している。なお、画像処理ＬＳＩ２００ａは、画像処理以外の他の機能を実行するための構成を含んでもよいが、図１に示す例では、説明をわかりやすくするために、画像処理部２１０以外の構成の図示を省略している。

また、参照符号ｎ０は、イメージセンサ１００ａと画像処理ＬＳＩ２００ａとの間の信号の流れ（ストリーム）を模式的に示している。

即ち、図１に示した比較例１に係る撮像装置では、イメージセンサ１００ａは、図示しない光学系素子を介して入射した光を光電変換し、各画素の画素値をＡ／Ｄ変換することで、被写体の撮像画像を示す画像信号を生成する。そして、イメージセンサ１００ａは、生成した画像信号をストリームｎ０として、画像処理ＬＳＩ２００ａの画像処理部２１０に出力する。

画像処理ＬＳＩ２００ａは、ストリームｎ０として、イメージセンサ１００ａから出力された画像信号を取得し、取得した画像信号に対して画像処理を施し、画像処理後の画像信号を、例えば、図視しない表示部にプレビュー画像（所謂、スルー画）として表示させる。これにより、ユーザは、撮像された画像を、表示部を介して確認することが可能となる。

次に、図２を参照して、図１に示した撮像装置において、イメージセンサ１００ａにより被写体の画像が露光（撮像）され、露光された画像を示す画像信号が画像処理ＬＳＩ２００ａに読み出されるまでの処理の流れの一例について説明する。図２は、比較例に係る撮像装置の処理の流れについて説明するための説明図であり、機械式の先膜及び後膜を用いた所謂フォーカルプレーンシャッターを適用した場合の概略的なタイムチャートの一例を示している。なお、図２に示す例を、以降では比較例２と呼ぶ場合がある。

図２において、横軸は時間を示しており、縦軸は画素アレイ部１１１の行方向を示している。また、参照符号ｄ９１０及びｄ９１１は、画素アレイ部１１１の各画素の露光期間を模式的に示している。なお、参照符号ｄ９１０で示された露光期間は、参照符号ｄ９１１で示された露光期間以前に撮像された画像の露光期間を示しているものとする。

ここで、被写体の画像が撮像される際の一連の処理の流れについて、露光期間ｄ９１１に着目して説明する。まず、参照符号ｄ９０１に示されたタイミングで、全画素に蓄積された画素信号がリセットされる。全画素のリセットが完了すると、参照符号ｄ９２１に示すように、各画素への光の入射を遮蔽している先膜が行方向に移動することで、先膜により遮蔽されていた光が各画素に入射し、露光が開始される。その後、参照符号ｄ９３１に示すように、後膜が先行する先膜を追うように行方向に沿って移動することで、当該後膜が各画素への光の入射を遮蔽し、露光が終了する。即ち、各画素について、参照符号ｄ９２１とｄ９３１とで示された期間Ｔ９３が、当該画素における露光時間に相当し、図２に示す例では、行単位で、各画素の露光開始及び終了のタイミングが異なる。

また、図２における参照符号ｄ９４１は、各画素からの画素信号の読み出しに係る処理を模式的に示している。即ち、図２に示した比較例２では、一連の画素について露光が完了した後に、各画素から画素信号が行単位で逐次読み出される。参照符号Ｔ９５は、一連の画素からの画素信号の読み出しに係る処理の期間を示している。

即ち、図２に示す比較例２の場合には、一連の画素について露光が完了し、かつ、当該一連の画素から画素信号が読み出された後に、撮像された画像が生成されることとなる。換言すると、図２に示す比較例２の場合には、全画素のリセットが行われてから、一連の画素からの画像信号の読み出しが完了するまでの期間Ｔ９１ａ中は、露光期間ｄ９１１で撮像された画像を出力することが困難である。

なお、期間Ｔ９１ａ中に、露光期間ｄ９１０で撮像された画像を表示させることも可能である。しかしながら、以前に撮像された画像を、例えば、モニタリング画像として表示させる場合には、実際にユーザが見ている被写体よりも以前の被写体の画像を出力することとなる。リアルタイム性に乏しい。

次に、図３を参照して、図１に示した撮像装置における、イメージセンサ１００ａにより被写体の画像が露光（撮像）され、露光された画像を示す画像信号が画像処理ＬＳＩ２００ａに読み出されるまでの処理の流れの他の一例について説明する。図３は、比較例に係る撮像装置の処理の流れについて説明するための説明図であり、機械式の先膜及び後膜を用いずに、電子的に各画素の露光期間を制御する場合の概略的なタイムチャートの一例を示している。なお、図３に示す例を、以降では比較例３と呼ぶ場合がある。

図３において、横軸は時間を示しており、縦軸は画素アレイ部１１１の行方向を示している。また、参照符号ｄ９１０及びｄ９１１は、図２と同様に、画素アレイ部１１１の各画素の露光期間を模式的に示している。参照符号ｄ９１０で示された露光期間は、参照符号ｄ９１１で示された露光期間以前に撮像された画像の露光期間を示しているものとする。

図３に示す比較例３では、各画素に蓄積された画素信号のリセットと、当該画素の露光開始とが同期している。即ち、参照符号ｄ９０１に示すように、各画素のリセットが行単位で逐次実行され、各画素のリセットが完了すると、速やかに当該画素の露光が開始される。また、各画素の露光終了と、当該画素からの画素信号の読み出しとが同期している。即ち、参照符号ｄ９４１に示すように、各画素の露光が終了すると、速やかに当該画素からの画素信号の読み出しが開始される。

このような構成により、図３に示す比較例３では、全画素の露光の完了を待たずに、各画素からの画素信号の読み出しを開始することが可能となる。そのため、図３に示す比較例３では、図２に示す比較例２に比べて、露光が開始されてから一連の画素からの画素信号の読み出しが完了するまでの期間Ｔ９１ｂを短縮することが可能な場合がある。

一方で、図３に示す比較例３では、各画素間の走査速度が、参照符号ｄ９４１で示された各画素からの画像信号の読み出しに係る速度に依存する。そのため、例えば、図１に示す、ストリームｎ０の伝送速度が制限されている場合には、撮像される画像の解像度が大きいほど、走査スピードが遅くなり、例えば、フォーカルプレーン歪みが発生する場合がある。なお、ストリームｎ０の伝送速度が制限される場合の一例としては、イメージセンサ１００ａと画像処理ＬＳＩ２００ａとの間のバスの帯域が制限されている場合が挙げられる。

また、上記に示した比較例２及び比較例３のいずれにおいても、撮像された画像に対して画像処理を施す場合には、一連の画素からの画素信号の読み出しが完了し、当該画素信号に基づく画像を解析した後、当該解析結果に基づき画像処理を施すこととなる。そのため、比較例２及び比較例３においては、撮像される画像の解像度が高くなるほど、露光から画素信号の読み出しに係る処理と、画素信号に基づく画像の解析に係る処理との処理時間が増大し、結果として、画像の出力に要する時間が増大することとなる。

そこで、本実施形態に係る撮像装置は、撮像された画像をユーザが確認するために表示部に表示させる処理や、撮像された画像を解析し当該画像に対して画像処理を施して出力する処理等の、撮像された画像の出力に係る処理時間をより短縮することを目的とする。

［１．２．概要］
次に、図４を参照して、本実施形態に係る撮像装置の概要について説明する。図４は、本開示の実施形態に係る撮像装置の概要について説明するための説明図である。なお、図４は、本実施形態に係る撮像装置の概略的な構成について、イメージセンサ１００と画像処理ＬＳＩ２００とに着目して示しており、その他の構成については図示を省略している。

図４に示すように、本実施形態にイメージセンサ１００は、フレームメモリ１９０を含む点で、図１に示した比較例１に係るイメージセンサ１００ａと異なる。参照符号ｎ１及びｎ２は、イメージセンサ１００と画像処理ＬＳＩ２００との間の信号の流れ（ストリーム）を模式的に示している。

また、本実施形態に係る撮像装置は、図３に基づき説明した比較例３と同様に、機械式の先膜及び後膜を用いずに、電子的に各画素の露光期間を制御する。そのため、本実施形態に係る撮像装置は、全画素の露光完了を待たずに、露光が完了した画素から画素信号を逐次読み出し可能に構成されている。

具体的には、図４に示す本実施形態に係る撮像装置では、イメージセンサ１００は、図示しない光学系素子を介して入射した光を光電変換し、各画素の画素値をＡ／Ｄ変換することで、被写体の撮像画像を示す画像信号を生成する。このとき、イメージセンサ１００は、画素アレイ部１１１を構成する複数の画素のうち、少なくとも一部の画素からの画素信号に基づく画像信号を、ストリームｎ１として画像処理ＬＳＩ２００に出力する。

また、イメージセンサ１００は、画素アレイ部１１１を構成する複数の画素それぞれからの画素信号をフレームメモリ１９０に一時的に記録する。そして、イメージセンサ１００は、フレームメモリ１９０に記録された各画素の画素信号を逐次読み出し、読み出された画素信号に基づく画像信号を、ストリームｎ２として画像処理ＬＳＩ２００に出力する。

このような構成より、イメージセンサ１００は、例えば、一部の画素からの画素信号に基づく低解像度の画像（即ち、間引き画像）をストリームｎ１とし、全画素からの画素信号に基づく高解像度の画像をストリームｎ２として、画像処理ＬＳＩ２００に出力することが可能となる。

なお、イメージセンサ１００は、全画素からの画素信号をフレームメモリ１９０に一時的に保持させることが可能なため、ストリームｎ１とストリームｎ２とを、必ずしも同じタイミングで並列に画像処理ＬＳＩ２００に出力する必要はない。即ち、イメージセンサ１００は、ストリームｎ１の出力後にストリームｎ２を出力することも可能である。もちろん、イメージセンサ１００は、ストリームｎ１とストリームｎ２とを並列に画像処理ＬＳＩ２００に出力してもよいことは言うまでもない。

そのため、例えば、画像処理ＬＳＩ２００は、イメージセンサ１００からストリームｎ１として先行して出力される画像信号（低解像度の画像）をプレビュー画像として表示部に表示させ、ストリームｎ２として出力される画像信号（高解像度の画像）を画像データとして記録することも可能である。このような構成により、本実施形態に係る撮像装置は、イメージセンサ１００と画像処理ＬＳＩ２００との間の伝送速度が制限されている場合においても、前述した各比較例に比べて、露光の完了からプレビュー画像を表示するまでの時間（換言すると、画像の撮像後における画面が表示されない時間）を短縮することが可能となる。

また、他の一例として、画像処理ＬＳＩ２００は、イメージセンサ１００からストリームｎ１として先行して出力される画像信号（低解像度の画像）を解析し、当該解析の結果に基づき、ストリームｎ２として出力される画像信号（高解像度の画像）に対して画像処理を施すことも可能となる。

即ち、画像処理ＬＳＩ２００は、ストリームｎ１として出力される画像信号の解析と、ストリームｎ２として出力される画像信号の取得とを並行して実行することが可能となる。また、ストリームｎ１として低解像度の画像の画像信号を取得するため、全画素の画像信号を解析する場合に比べて、解析の対象となる画像信号の取得に係る時間と、当該解析自体に係る時間との双方を短縮することも可能となる。そのため、本実施形態に係る撮像装置は、露光の完了から、撮像された画像を解析し、当該解析結果に基づき撮像された画像に対して画像処理を施したうえで、画像処理後の画像を出力するまでの時間を短縮することが可能となる。

また、前述した構成により、画像処理ＬＳＩ２００は、ストリームｎ１及びｎ２を時分割で取得することが可能なため、当該ストリームｎ１及びｎ２として、同じフレームで撮像された画像の画像信号を使用することが可能となる。そのため、本実施形態に係る撮像装置は、異なるフレームで撮像された画像信号の解析結果に基づき画像処理を施す場合に比べて、画像処理の精度を向上させることが可能となる。

また、他の一例として、画像処理ＬＳＩ２００は、ストリームｎ１として低解像度の画像の画像信号をイメージセンサ１００から逐次取得し、取得した当該画像に基づき動画像を生成してもよい。また、このとき、画像処理ＬＳＩ２００は、所望のフレーム（例えば、ユーザから指定されたフレーム）に対応する高解像度の画像の画像信号をストリームｎ２として取得し、取得した画像信号に基づき静止画像を生成してもよい。

このような構成により、本実施形態に係る撮像装置は、動画像と静止画像との双方を同時に撮像し、かつ、静止画像として動画像よりも解像度の高い画像を記録することが可能となる。また、このとき、イメージセンサ１００からは、所望のフレームについてのみ高解像度の画像の画像信号が出力される。そのため、本実施形態に係る撮像装置は、イメージセンサ１００と画像処理ＬＳＩ２００との間で伝送される画像信号の容量を最小限に抑えることが可能となり、ひいては、各画像の出力に要する時間を短縮することが可能となる。

なお、イメージセンサ１００と、画像処理ＬＳＩ２００とは、必ずしも同一筐体内に設けられている必要はない。その場合には、画像処理ＬＳＩ２００が設けられた装置が、「情報処理装置」の一例に相当する。また、ストリームｎ１が「第１のデータ密度」で伝送される「第１のデータ」の一例に相当し、ストリームｎ２が「第２のデータ密度」で伝送される「第２のデータ」の一例に相当する。また、画像処理部２１０のうち、ストリームｎ１及びｎ２を取得する構成が「取得部」の一例に相当し、ストリームｎ１及びｎ２に基づき各画像（例えば、プレビュー画像や画像処理後の画像）を出力する構成が「処理部」の一例に相当する。

以上、図４を参照しながら、本実施形態に係る撮像装置の概要について説明した。次いで、以降では、本実施形態に係る撮像装置についてさらに詳しく説明する。

［１．３．イメージセンサの構成］
まず、図５を参照して、本実施形態に係るイメージセンサの構成の一例について、特に、図示しない光学系素子を介して入射した光を光電変換し、各画素の画素値をＡ／Ｄ変換することで画素信号を生成して出力する構成に着目して説明する。図５は、本実施形態に係るイメージセンサの一部の構成例を示すブロック図である。図５に示されるイメージセンサ１００は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）イメージセンサ等の、被写体を撮像し、撮像画像のデジタルデータを得る撮像素子である。

図５に示されるように、イメージセンサ１００は、制御部１０１、画素アレイ部１１１、選択部１１２、Ａ／Ｄ変換部（ＡＤＣ（Analog Digital Converter））１１３、及び定電流回路部１１４を有する。

制御部１０１は、イメージセンサ１００の各部を制御し、画像データ（画素信号）の読み出し等に関する処理を実行させる。

画素アレイ部１１１は、フォトダイオード等の光電変換素子を有する画素構成が行列（アレイ）状に配置される画素領域である。画素アレイ部１１１は、制御部１０１に制御されて、各画素で被写体の光を受光し、その入射光を光電変換して電荷を蓄積し、所定のタイミングにおいて、各画素に蓄積された電荷を画素信号として出力する。

画素１２１および画素１２２は、その画素アレイ部１１１に配置される画素群の中の、上下に隣接する２画素を示している。画素１２１および画素１２２は、互いに同じカラム（列）の連続する行の画素である。図５の例の場合、画素１２１および画素１２２に示されるように、各画素の回路には、光電変換素子並びに４つのトランジスタが用いられている。なお、各画素の回路の構成は、任意であり、図５に示される例以外であってもよい。

一般的な画素アレイには、カラム（列）毎に、画素信号の出力線が設けられる。画素アレイ部１１１の場合、１カラム（列）毎に、２本（２系統）の出力線が設けられる。１カラムの画素の回路は、１行おきに、この２本の出力線に交互に接続される。例えば、上から奇数番目の行の画素の回路が一方の出力線に接続され、偶数番目の行の画素の回路が他方の出力線に接続される。図５の例の場合、画素１２１の回路は、第１の出力線（ＶＳＬ１）に接続され、画素１２２の回路は、第２の出力線（ＶＳＬ２）に接続される。

なお、図５においては、説明の便宜上、１カラム分の出力線のみ示されているが、実際には、各カラムに対して、同様に２本ずつ出力線が設けられる。各出力線には、そのカラムの画素の回路が１行おきに接続される。

選択部１１２は、画素アレイ部１１１の各出力線をＡＤＣ１１３の入力に接続するスイッチを有し、制御部１０１に制御されて、画素アレイ部１１１とＡＤＣ１１３との接続を制御する。つまり、画素アレイ部１１１から読み出された画素信号は、この選択部１１２を介してＡＤＣ１１３に供給される。

選択部１１２は、スイッチ１３１、スイッチ１３２、およびスイッチ１３３を有する。スイッチ１３１（選択SW）は、互いに同じカラムに対応する２本の出力線の接続を制御する。例えば、スイッチ１３１がオン（ＯＮ）状態になると、第１の出力線（ＶＳＬ１）と第２の出力線（ＶＳＬ２）が接続され、オフ（ＯＦＦ）状態になると切断される。

詳細については後述するが、イメージセンサ１００においては、各出力線に対してＡＤＣが１つずつ設けられている（カラムＡＤＣ）。したがって、スイッチ１３２およびスイッチ１３３がともにオン状態であるとすると、スイッチ１３１がオン状態になれば、同カラムの２本の出力線が接続されるので、１画素の回路が２つのＡＤＣに接続されることになる。逆に、スイッチ１３１がオフ状態になると、同カラムの２本の出力線が切断されて、１画素の回路が１つのＡＤＣに接続されることになる。つまり、スイッチ１３１は、１つの画素の信号の出力先とするＡＤＣ（カラムＡＤＣ）の数を選択する。

詳細については後述するが、このようにスイッチ１３１が画素信号の出力先とするＡＤＣの数を制御することにより、イメージセンサ１００は、そのＡＤＣの数に応じてより多様な画素信号を出力することができる。つまり、イメージセンサ１００は、より多様なデータ出力を実現することができる。

スイッチ１３２は、画素１２１に対応する第１の出力線（ＶＳＬ１）と、その出力線に対応するＡＤＣとの接続を制御する。スイッチ１３２がオン（ＯＮ）状態になると、第１の出力線が、対応するＡＤＣの比較器の一方の入力に接続される。また、オフ（ＯＦＦ）状態になるとそれらが切断される。

スイッチ１３３は、画素１２２に対応する第２の出力線（ＶＳＬ２）と、その出力線に対応するＡＤＣとの接続を制御する。スイッチ１３３がオン（ＯＮ）状態になると、第２の出力線が、対応するＡＤＣの比較器の一方の入力に接続される。また、オフ（ＯＦＦ）状態になるとそれらが切断される。

選択部１１２は、制御部１０１の制御に従って、このようなスイッチ１３１〜スイッチ１３３の状態を切り替えることにより、１つの画素の信号の出力先とするＡＤＣ（カラムＡＤＣ）の数を制御することができる。

なお、スイッチ１３２やスイッチ１３３（いずれか一方もしくは両方）を省略し、各出力線と、その出力線に対応するＡＤＣとを常時接続するようにしてもよい。ただし、これらのスイッチによって、これらの接続・切断を制御することができるようにすることにより、１つの画素の信号の出力先とするＡＤＣ（カラムＡＤＣ）の数の選択の幅が拡がる。つまり、これらのスイッチを設けることにより、イメージセンサ１００は、より多様な画素信号を出力することができる。

なお、図５においては、１カラム分の出力線に対する構成のみ示されているが、実際には、選択部１１２は、カラム毎に、図５に示されるのと同様の構成（スイッチ１３１〜スイッチ１３３）を有している。つまり、選択部１１２は、各カラムについて、制御部１０１の制御に従って、上述したのと同様の接続制御を行う。

ＡＤＣ１１３は、画素アレイ部１１１から各出力線を介して供給される画素信号を、それぞれＡ／Ｄ変換し、デジタルデータとして出力する。ＡＤＣ１１３は、画素アレイ部１１１からの出力線毎のＡＤＣ（カラムＡＤＣ）を有する。つまり、ＡＤＣ１１３は、複数のカラムＡＤＣを有する。１出力線に対応するカラムＡＤＣは、比較器、Ｄ／Ａ変換器（ＤＡＣ）、およびカウンタを有するシングルスロープ型のＡＤＣである。

比較器は、そのDAC出力と画素信号の信号値とを比較する。カウンタは、画素信号とＤＡＣ出力が等しくなるまで、カウント値（デジタル値）をインクリメントする。比較器は、ＤＡＣ出力が信号値に達すると、カウンタを停止する。その後カウンタ１，２によってデジタル化された信号をＤＡＴＡ１およびＤＡＴＡ２よりイメージセンサ１００の外部に出力する。

カウンタは、次のＡ／Ｄ変換のためデータ出力後、カウント値を初期値（例えば０）に戻す。

ＡＤＣ１１３は、各カラムに対して２系統のカラムＡＤＣを有する。例えば、第１の出力線（ＶＳＬ１）に対して、比較器１４１（ＣＯＭＰ１）、ＤＡＣ１４２（ＤＡＣ1）、およびカウンタ１４３（カウンタ１）が設けられ、第２の出力線（ＶＳＬ２）に対して、比較器１５１（ＣＯＭＰ２）、ＤＡＣ１５２（ＤＡＣ2）、およびカウンタ１５３（カウンタ２）が設けられている。図示は省略しているが、ＡＤＣ１１３は、他のカラムの出力線に対しても同様の構成を有する。

ただし、これらの構成の内、ＤＡＣは、共通化することができる。ＤＡＣの共通化は、系統毎に行われる。つまり、各カラムの互いに同じ系統のＤＡＣが共通化される。図５の例の場合、各カラムの第１の出力線（ＶＳＬ１）に対応するＤＡＣがＤＡＣ１４２として共通化され、各カラムの第２の出力線（ＶＳＬ２）に対応するＤＡＣがＤＡＣ１５２として共通化されている。なお、比較器とカウンタは、各出力線の系統毎に設けられる。

定電流回路部１１４は、各出力線に接続される定電流回路であり、制御部１０１により制御されて駆動する。定電流回路部１１４の回路は、例えば、ＭＯＳ（Metal Oxide Semiconductor）トランジスタ等により構成される。この回路構成は任意であるが、図５においては、説明の便宜上、第１の出力線（ＶＳＬ１）に対して、ＭＯＳトランジスタ１６１（ＬＯＡＤ１）が設けられ、第２の出力線（ＶＳＬ２）に対して、ＭＯＳトランジスタ１６２（ＬＯＡＤ２）が設けられている。

制御部１０１は、例えばユーザ等の外部から要求を受け付けて読み出しモードを選択し、選択部１１２を制御して、出力線に対する接続を制御する。また、制御部１０１は、選択した読み出しモードに応じて、カラムＡＤＣの駆動を制御したりする。さらに、制御部１０１は、カラムＡＤＣ以外にも、必要に応じて、定電流回路部１１４の駆動を制御したり、例えば、読み出しのレートやタイミング等、画素アレイ部１１１の駆動を制御したりする。

つまり、制御部１０１は、選択部１１２の制御だけでなく、選択部１１２以外の各部も、より多様なモードで動作させることができる。したがって、イメージセンサ１００は、より多様な画素信号を出力することができる。

なお、図５に示す各部の数は、不足しない限り任意である。例えば、各カラムに対して、出力線が３系統以上設けられるようにしてもよい。また、図５に示した、ＡＤＣ１１３から出力される画素信号の並列数や、ＡＤＣ１１３自体の数を増やすことで、外部に並列して出力される画素信号の数を増やしてもよい。

次に、本実施形態に係るイメージセンサ１００のチップの構成について、図６を参照して説明する。図５を参照しながら説明したように、各カラムに対して複数のＡＤＣを設けると、チップサイズが増大し、コストが増大する場合がある。そのため、本実施形態に係るイメージセンサ１００では、図６に示すように、チップを積層化してもよい。

図６の場合、イメージセンサ１００は、画素アレイ部１１１が主に形成される画素チップ１００−１と、出力回路、周辺回路、およびＡＤＣ１１３等が形成される周辺回路チップ１００−２、およびパッド（ＰＡＤ）との複数チップにより構成される。画素チップ１００−１の画素アレイ部１１１の出力線とドライブ線が貫通ビア（ＶＩＡ）を介して周辺回路チップ１００−２の回路と接続されている。なお、図４に示したフレームメモリ１９０は、例えば、出力回路や周辺回路中に設ければよい。

このような構成とすることにより、チップサイズを小さくすることができ、コストを削減させることができる。また、配線層のスペースに余裕ができるので、配線の引き回しも容易になる。さらに、複数チップ化することにより、各チップをそれぞれ最適化することができる。例えば、画素チップにおいては、配線層による光学的な反射による量子効率の低下を防ぐためにより少ない配線層で低背化を実現し、周辺回路チップにおいては、配線間カップリング対策など最適化を可能にするために配線層の多層化を実現することができる。例えば、周辺回路チップの配線層を、画素チップの配線層よりも多層化することもできる。

なお、裏面照射型のイメージセンサの場合、配線層による光学的な反射は生じないが、不要な配線層数の増大を抑制することにより、配線工程数の増大等を抑制し、コストの削減を実現することができる。

また、画素チップエリアと同等なチップ面積があるため、トータルの積層チップの面積を増加させることなく周辺回路領域に複数のＡＤＣの搭載が可能になる。

なお、本技術を適用した撮像素子（撮像装置）は、上述した構成に限らず、他の構成であってもよいことは言うまでもない。

以上のようにして、本実施形態に係るイメージセンサ１００は、図示しない光学系素子を介した入射した光を光電変換し、各画素の画素値をＡ／Ｄ変換することで画素信号を生成し、生成した各画素信号を、図５に示すＤＡＴＡ１およびＤＡＴＡ２より出力する。そして、イメージセンサ１００は、例えば、ＤＡＴＡ１及びＤＡＴＡ２のうち、いずれか（ここでは、ＤＡＴＡ１とする）から出力される画素信号をスプリッタ等で分波し、分波された一方の画素信号を図４に示すストリームｎ１として画像処理ＬＳＩ２００に出力する。

また、イメージセンサ１００は、ＤＡＴＡ１より出力されスプリッタ等で分波された他方の画素信号と、ＤＡＴＡ２より出力された画素信号とをフレームメモリ１９０に一時的に記録する。そして、イメージセンサ１００は、フレームメモリ１９０に記録された各画素の画素信号を逐次読み出し、読み出された画素信号に基づく画像信号を、ストリームｎ２として画像処理ＬＳＩ２００に出力する。なお、フレームメモリ１９０への画素信号の入出力に係る制御の主体は特に限定されない。例えば、前述した制御部１０１が制御を行ってもよいし、当該制御部１０１とは別に制御部を設けてもよい。

また、画素アレイ部１１１を構成する各画素で取得された画素信号を一時的に保持可能であれば、フレームメモリ１９０を設ける位置や、当該フレームメモリ１９０の数は特に限定されない。例えば、フレームメモリ１９０の数を複数設けることで、当該複数のフレームメモリ１９０それぞれに対する画素信号の入出力を並列して実行することが可能となる。そのため、フレームメモリ１９０への画素信号の入出力に係る速度に依存した処理速度の低下を緩和することが可能となる。

また、他の一例として、画素アレイ部１１１を構成する各画素の画素回路上に、当該画素で取得された画素信号を一時的に保持するためのキャッシュを設けてもよい。このような構成により、各画素とフレームメモリ１９０との間の画素信号の入出力に係る処理や、フレームメモリ１９０からの各画素信号の読み出しに係る処理の実行タイミングを、より柔軟に制御することが可能となる。また、各画素回路から画素信号をフレームメモリ１９０に書き込むためのピン数が増加するため、当該画素回路と当該フレームメモリ１９０との間のバスの帯域をより広くすることも可能となる。

［１．４．撮像装置の構成］
次に、図７を参照して、本実施形態に係る撮像装置の構成の一例について説明する。図７は、本実施形態に係る撮像装置の構成の一例を示したブロック図であり、前述したイメージセンサ１００と画像処理ＬＳＩ２００とを同一筐体内に設けた場合の一例を示している。図７に示される撮像装置３００は、被写体を撮像し、その被写体の画像を電気信号として出力する装置である。

図７に示されるように撮像装置３００は、レンズ部３１１、ＣＭＯＳセンサ３１２、操作部３１４、制御部３１５、画像処理部３１６、表示部３１７、コーデック処理部３１８、および記録部３１９を有する。

レンズ部３１１は、レンズや絞り等の光学系素子よりなる。レンズ部３１１は、制御部３１５に制御されて、被写体までの焦点を調整し、焦点が合った位置からの光を集光し、ＣＭＯＳセンサ３１２に供給する。

ＣＭＯＳセンサ３１２は、被写体を撮像するイメージセンサであり、制御部３１５に制御されて、入射光を光電変換し、各画素の画素値をＡ／Ｄ変換することにより、被写体の撮像画像のデータ（撮像画像）を得る。ＣＭＯＳセンサ３１２は、制御部３１５に制御されて、その撮像により得られた撮像画像データを画像処理部３１６に供給する。

操作部３１４は、例えば、ジョグダイヤル（商標）、キー、ボタン、またはタッチパネル等により構成され、ユーザによる操作入力を受け、その操作入力に対応する信号を制御部３１５に供給する。

制御部３１５は、操作部３１４により入力されたユーザの操作入力に対応する信号に基づいて、レンズ部３１１、ＣＭＯＳセンサ３１２、画像処理部３１６、表示部３１７、コーデック処理部３１８、および記録部３１９の駆動を制御し、各部に撮像に関する処理を行わせる。

画像処理部３１６は、ＣＭＯＳセンサ３１２から供給された画像信号に対して、例えば、黒レベル補正や、混色補正、欠陥補正、デモザイク処理、マトリックス処理、ガンマ補正、およびYC変換等の各種画像処理を施す。この画像処理の内容は任意であり、上述した以外の処理が行われてもよい。画像処理部３１６は、画像処理を施した画像信号を表示部３１７およびコーデック処理部３１８に供給する。

表示部３１７は、例えば、液晶ディスプレイ等として構成され、画像処理部３１６からの画像信号に基づいて、被写体の画像を表示する。

コーデック処理部３１８は、画像処理部３１６からの画像信号に対して、所定の方式の符号化処理を施し、符号化処理の結果得られた画像データを記録部３１９に供給する。

記録部３１９は、コーデック処理部３１８からの画像データを記録する。記録部３１９に記録された画像データは、必要に応じて画像処理部３１６に読み出されることで、表示部３１７に供給され、対応する画像が表示される。

撮像装置３００のＣＭＯＳセンサ３１２は、図５を参照して上述したイメージセンサ１００と同様の構成を有する。

つまり、ＣＭＯＳセンサ３１２は、１つの画素の信号の出力先とするＡＤＣ（カラムＡＤＣ）の数を選択する選択部（スイッチ）を有する。即ち、ＣＭＯＳセンサ３１２は、このＡＤＣの数に応じて、より多様な画素信号を出力することができる。したがって撮像装置３００は、その多様な画素信号を用いて、より多様な処理を実現することができる。

また、ＣＭＯＳセンサ３１２は、フレームメモリ１９０を備え、全画素からの画素信号をフレームメモリ１９０に一時的に保持させることで、低解像度の画像と高解像度の画像とを、互いに異なるストリームｎ１及びｎ２として出力することができる。また、画像処理部３１６は、図４を参照して上述した画像処理ＬＳＩ２００の画像処理部２１０に相当する。そのため、画像処理部３１６は、例えば、ＣＭＯＳセンサ３１２から先行して出力される画像信号（低解像度の画像）をプレビュー画像として表示部に表示させ、次いで出力される画像信号（高解像度の画像）を画像データとして記録することが可能となる。即ち、撮像装置３００は、ＣＭＯＳセンサ３１２と画像処理部３１６との間の伝送速度が制限されている場合においても、露光の完了からプレビュー画像を表示するまでの時間をより短縮することが可能となる。

また、他の一例として、画像処理部３１６は、ＣＭＯＳセンサ３１２から先行して出力される画像信号（低解像度の画像）を解析し、当該解析の結果に基づき、次いで出力される画像信号（高解像度の画像）に対して画像処理を施すことも可能となる。即ち、撮像装置３００は、露光の完了から、撮像された画像を解析し、当該解析結果に基づき撮像された画像に対して画像処理を施したうえで、画像処理後の画像を出力するまでの時間を短縮することが可能となる。

また、前述した構成により、画像処理部３１６は、高解像度の画像に対する画像処理に対して、先行して出力される当該画像と同じフレームに対応する低解像度の画像の解析結果を利用することが可能となる。そのため、撮像装置３００は、異なるフレームで撮像された画像の解析結果に基づき画像処理を施す場合に比べて、画像処理の精度を向上させることが可能となる。

＜２．実施例＞
次に、本実施形態に係る撮像装置の実施例として、当該撮像装置が被写体の画像を撮像するモードの例と、当該モードごとの処理の流れ、即ち、被写体の画像が露光（撮像）され、露光された画像を示す画像信号が読み出されるまでの処理の流れの一例について説明する。

［２．１．実施例１：解像度の異なる画像を時分割で出力する場合の一例］
まず、実施例１に係る撮像装置の処理の流れの一例について、図４に示す概略的な構成の一例とあわせて、図８を参照して説明する。図８は、実施例１に係る撮像装置の処理の流れの一例について説明するための概略的なタイムチャートである。

図８は、各画素での露光処理を示す画素制御と、フレームメモリ１９０への画素信号の入出力に係る処理を示すメモリ制御と、イメージセンサ１００から画像処理ＬＳＩ２００への画素信号の伝送に係る処理を示す出力制御との関係を示している。図８において、横軸は時間を示している。また、画素制御、メモリ制御、及び出力制御として示したタイムチャートの縦軸は、対象となる画素信号の出力元である画素の行方向の位置を示している。

参照符号Ｔ１１及びＴ１２は、本実施形態に係るイメージセンサ１００における垂直同期信号の一例をフレームレートで示している。例えば、Ｔ１１は、約３０［ｆｐｓ］であり、Ｔ１２は、約１２０［ｆｐｓ］である。なお、図８に示すように、期間Ｔ１１は、１連の画素が露光を完了するために要する期間を示しており、期間Ｔ１２は、一連の画素を走査するために要する走査期間に相当する。

また、参照符号ｄ１１０〜ｄ１１４は、画素アレイ部１１１の各画素の露光期間を模式的に示している。即ち、露光期間ｄ１１０〜ｄ１１４のそれぞれは、画素アレイ部１１１の各画素における露光を、行単位で時系列に沿って開始タイミングをずらしながら実行する処理の流れを、時系列に沿って模式的に示している。また、参照符号Ｔ１３は、各画素の露光時間を示している。

参照符号ｄ２１０〜ｄ２１３は、露光期間ｄ１１０〜ｄ１１３のそれぞれにおいて、イメージセンサ１００が、各画素から出力された画素信号をフレームメモリ１９０に書き込む処理（一時的に保持させる処理）の流れを示している。なお、以降では、参照符号ｄ２１０〜ｄ２１３で示された、フレームメモリ１９０への画素信号の書き込み処理を、単に「書き込み処理」と記載する場合がある。

また、参照符号ｄ３１０〜ｄ３１３は、イメージセンサ１００が、画素アレイ部１１１を構成する複数の画素のうち、少なくとも一部の画素からの画素信号を、図４に示すストリームｎ１として、画像処理ＬＳＩ２００に出力する処理の流れを示している。なお、以降では、参照符号ｄ３１０〜ｄ３１３で示された、イメージセンサ１００から画像処理ＬＳＩ２００への画像信号の出力処理を、「第１の出力処理」と呼ぶ場合がある。

また、参照符号ｄ２２１〜ｄ２２３は、イメージセンサ１００が、フレームメモリ１９０に書き込まれた（一時的に保持された）画素信号を読み出す処理の流れを示している。なお、以降では、参照符号ｄ２２１〜ｄ２２３で示された、イメージセンサ１００からの画像信号の読み出しに係る処理を、単に「読み出し処理」と呼ぶ場合がある。

また、参照符号ｄ３２１〜ｄ３２３は、イメージセンサ１００が、フレームメモリ１９０から読み出した画素信号を、図４に示すストリームｎ２として、画像処理ＬＳＩ２００に出力する処理の流れを示している。なお、以降では、参照符号ｄ３２１〜ｄ３２３で示された、フレームメモリ１９０から読み出された画素信号が、イメージセンサ１００から画像処理ＬＳＩ２００へ出力される処理を、「第２の出力処理」と呼ぶ場合がある。

図８に示すように、書き込み処理ｄ２１１及び第１の出力処理ｄ３１１は、露光期間ｄ１１１の終了と同期して実行される。即ち、画素アレイ部１１１の各画素で露光が終了すると（即ち、露光期間ｄ１１１が完了すると）、イメージセンサ１００は、書き込み処理ｄ２１１に示す処理タイミングで、各画素から出力される画素信号をフレームメモリ１９０に逐次書き込む。また、一部の画素からの画素信号については、イメージセンサ１００は、フレームメモリ１９０に向けて出力される画素信号を分波させて、一方の画素信号を第１の出力処理ｄ３１１に示す処理タイミングで画像処理ＬＳＩ２００に直接出力する。また、分波された他方の画素信号については、イメージセンサ１００は、当該画素信号をフレームメモリ１９０に書き込む。このことは、ｄ１１０、ｄ１１２〜ｄ１１４で示した他の露光期間完了後に、各画素から出力される画素信号についても同様である。

また、イメージセンサ１００は、第１の出力処理ｄ３１１の完了後に、書き込み処理ｄ２１１においてフレームメモリ１９０に書き込まれた画素信号（例えば、全画素からの画素信号）を、読み出し処理ｄ２２１が示す処理タイミングで逐次読み出す。そして、イメージセンサ１００は、フレームメモリ１９０から読み出した画素信号を、第２の出力処理ｄ３２１に示す処理タイミングで、画像処理ＬＳＩ２００に出力する。このことは、ｄ２１２及びｄ２１３で示した他の書き込み処理により、フレームメモリ１９０に書き込まれた画素信号（即ち、露光期間ｄ１１２及びｄ１１３の完了後に出力された画素信号）についても同様である。

以上のような構成に基づき、イメージセンサ１００は、一部の画素からの画素信号に基づく画像信号（低解像度の画像）と、全画素からの画像信号に基づく画像信号（高解像度の画像）とを、第１の出力処理ｄ３１１及び第２の出力処理ｄ３２１として時分割で画像処理ＬＳＩ２００に出力する。そのため、画像処理ＬＳＩ２００は、例えば、第１の出力処理ｄ３１１に基づき先行して出力される画像信号（低解像度の画像）をプレビュー画像として表示部に表示させ、次いで第２の出力処理ｄ３２１に基づき出力される画像信号（高解像度の画像）を画像データとして記録することが可能となる。即ち、本実施例に係る撮像装置は、イメージセンサ１００と画像処理ＬＳＩ２００との間の伝送速度が制限されている場合においても、露光の完了からプレビュー画像を表示するまでの時間をより短縮することが可能となる。

また、画像処理ＬＳＩ２００は、第１の出力処理ｄ３１１に基づき先行して出力される画像信号（低解像度の画像）を解析し、当該解析の結果に基づき、次いで第２の出力処理ｄ３２１に基づき出力される画像信号（高解像度の画像）に対して画像処理を施すことも可能となる。即ち、本実施例に係る撮像装置は、露光の完了から、撮像された画像を解析し、当該解析結果に基づき撮像された画像に対して画像処理を施したうえで、画像処理後の画像を出力するまでの時間を短縮することが可能となる。

なお、上記に示す例では、露光期間ｄ１１０〜ｄ１１３それぞれで取得された画素信号に基づき、第１の出力処理ｄ３１０〜ｄ３１３を実行する例について説明したが、一部の露光期間で取得された画素信号については第１の出力処理を実行しなくてもよい。例えば、図８に示す例の場合には、第１の出力処理ｄ３１１を実行しなくてもよい。この場合には、露光期間ｄ１１１で撮像された画素信号については、第２の出力処理ｄ３２１に基づき高解像度の画像信号のみが画像処理ＬＳＩ２００に出力されることとなる。

同様に、一部の露光期間で取得された画素信号については第２の出力処理を実行しなくてもよい。例えば、図８に示す例では、露光期間ｄ１１０で撮像された画素信号については、第１の出力処理ｄ３１０に基づき低解像度の画像信号のみが画像処理ＬＳＩ２００に出力されることとなる。

また、第１の出力処理に基づき低解像度の画像のみを画像処理ＬＳＩ２００に出力する場合には、イメージセンサ１００は、書き込み処理、即ち、フレームメモリ１９０への画素信号の書き込みに係る処理を必ずしも実行しなくてもよい。

［２．２．実施例２：解像度の異なる画像を並列で出力する場合の一例］
次に、実施例２に係る撮像装置の処理の流れの一例について、図４に示す概略的な構成の一例とあわせて、図９を参照して説明する。図９は、実施例２に係る撮像装置の処理の流れの一例について説明するための概略的なタイムチャートである。

図９における、横軸及び縦軸は、図８を参照しながら説明した実施例１と同様である。同様に、図９における、参照符号Ｔ１１、Ｔ１２、ｄ１１０〜ｄ１１４、ｄ２１０〜ｄ２１３、及び、ｄ３１０〜ｄ３１３は、図８を参照しながら説明した実施例１と同様である。

また、参照符号ｄ２３１及びｄ２３３は、実施例２に係る撮像装置において、イメージセンサ１００が、フレームメモリ１９０に書き込まれた（一時的に保持された）画素信号を読み出す処理（即ち、読み出し処理）の流れを示している。

また、参照符号ｄ３３１及びｄ３３３は、実施例２に係る撮像装置において、イメージセンサ１００が、フレームメモリ１９０から読み出した画素信号を、図４に示すストリームｎ２として、画像処理ＬＳＩ２００に出力する処理（即ち、第２の出力処理）の流れを示している。

図９における読み出し処理ｄ２３１と、図８における読み出し処理ｄ２２１とを比較するとわかるように、本実施例に係るイメージセンサ１００は、読み出し処理（即ち、フレームメモリ１９０からの画素信号を読み出す処理）の速度が、図８に示す実施例１の場合と異なる。このことは、第２の出力処理についても同様である。即ち、本実施例に係るイメージセンサ１００は、第２の出力処理（即ち、フレームメモリ１９０から読み出された画素信号を画像処理ＬＳＩ２００に出力する処理）の速度が、図８に示す実施例１の場合と異なる。

具体的には、本実施例に係るイメージセンサ１００は、２枚分の画像が撮像される期間（期間Ｔ１１の２倍の期間）に亘って、１枚分の画素信号をフレームメモリ１９０から読み出し、読み出した画素信号に基づく画像信号を画像処理ＬＳＩ２００に出力する。換言すると、本実施例に係るイメージセンサ１００は、図８に示した実施例１の場合よりも遅い速度で、読み出し処理及び第２の出力処理を実行する。

また、図９における書き込み処理ｄ２１１と読み出し処理ｄ２３１とを比較するとわかるように、本実施例に係るイメージセンサ１００は、フレームメモリ１９０に書き込まれた画素信号を、一連の書き込み処理の完了を待たずに逐次読み出す。そして、イメージセンサ１００は、第２の出力処理ｄ３３１を、第１の出力処理ｄ３１１と並列して実行する。即ち、本実施例に係るイメージセンサ１００は、フレームメモリ１９０から読み出した画素信号に基づく画像信号を、第１の出力処理ｄ３１１に基づき画像処理ＬＳＩ２００に出力される画像信号と並列に、当該画像処理ＬＳＩ２００に出力する。

このような構成により、イメージセンサ１００は、イメージセンサ１００と画像処理ＬＳＩ２００との間の伝送速度が制限されている場合においても、低解像度及び高解像度の画像信号を並列して画像処理ＬＳＩ２００に出力することが可能となる。また、このとき、第１の出力処理ｄ３１１に基づき出力される画像信号（低解像度の画像信号）は、第２の出力処理ｄ３３１に基づき出力される画像信号（高解像度の画像信号）に先立って、画像処理ＬＳＩ２００に受信されることとなる。

そのため、画像処理ＬＳＩ２００は、例えば、第１の出力処理ｄ３１１に基づき先行して出力される画像信号（低解像度の画像）をプレビュー画像として表示部に表示させ、次いで第２の出力処理ｄ３３１に基づき出力される画像信号（高解像度の画像）を画像データとして記録することが可能となる。なお、このときイメージセンサ１００は、第２の出力処理の速度を遅くすることで、帯域の制限されたバスを介して高解像度の画像信号を画像処理ＬＳＩ２００に出力することが可能となる。このような構成により、本実施例に係る撮像装置は、イメージセンサ１００と画像処理ＬＳＩ２００との間の伝送速度が制限されている場合においても、露光の完了からプレビュー画像を表示するまでの時間を前より短縮することが可能となる。

また、画像処理ＬＳＩ２００は、第１の出力処理ｄ３１１に基づき先行して出力される画像信号（低解像度の画像）を解析し、当該解析の結果に基づき、次いで第２の出力処理ｄ３３１に基づき出力される画像信号（高解像度の画像）に対して画像処理を施すことも可能となる。即ち、本実施例に係る撮像装置は、露光の完了から、撮像された画像を解析し、当該解析結果に基づき撮像された画像に対して画像処理を施したうえで、画像処理後の画像を出力するまでの時間を短縮することが可能となる。

［２．３．実施例３：連続撮影を行う場合の一例］
次に、実施例３として、連続撮影を行う場合おける本実施形態に係る撮像装置の処理の流れの一例について、図４に示す概略的な構成の一例とあわせて、図１０を参照して説明する。図１０は、実施例３に係る撮像装置の処理の流れの一例について説明するための概略的なタイムチャートである。

図１０における、横軸及び縦軸は、図８を参照しながら説明した実施例１と同様である。同様に、図１０における、参照符号Ｔ１１及びＴ１２は、図８を参照しながら説明した比較例１と同様である。

また、図１０において、参照符号ｄ１３０は、画素アレイ部１１１の各画素に蓄積された画素信号をリセットするための処理を示している。また、参照符号ｄ１４１〜ｄ１４７は、画素アレイ部１１１の各画素の露光期間を模式的に示している。

また、参照符号ｄ２４１〜ｄ２４７は、露光期間ｄ１４１〜ｄ１４７のそれぞれにおいて、イメージセンサ１００が、各画素から出力された画素信号をフレームメモリ１９０に書き込む処理、即ち、書き込み処理の流れを示している。

また、参照符号ｄ３４１〜ｄ３４７は、イメージセンサ１００が、画素アレイ部１１１を構成する複数の画素のうち、少なくとも一部の画素からの画素信号を、画像処理ＬＳＩ２００に出力する処理、即ち、第１の出力処理の流れを示している。

また、参照符号ｄ２５１及びｄ２５２は、イメージセンサ１００が、フレームメモリ１９０に書き込まれた（一時的に保持された）画素信号を読み出す処理、即ち、読み出し処理の流れを示している。

また、参照符号ｄ３５１及びｄ３５２は、イメージセンサ１００が、フレームメモリ１９０から読み出した画素信号を、画像処理ＬＳＩ２００に出力する処理、即ち、第２の出力処理の流れを示している。

図１０に示す例では、イメージセンサ１００は、露光期間ｄ１４１〜ｄ１４７のそれぞれで取得された画素信号を、書き込み処理ｄ２４１〜ｄ２４７に基づき、フレームメモリ１９０に逐次書き込む。また、イメージセンサ１００は、書き込み処理ｄ２４１〜ｄ２４７に同期して、第１の出力処理ｄ３４１〜ｄ３４７を実行する。

なお、このとき、イメージセンサ１００は、必ずしも露光期間ｄ１４１〜ｄ１４７のそれぞれで取得された画素信号すべてについて、第１の出力処理を実行する必要はない。例えば、図１０の第１の出力処理ｄ３４１及びｄ３４７に示すように、イメージセンサ１００は、露光期間ｄ１４１〜ｄ１４７のそれぞれで取得された画素信号のうち、一部の画素信号についてのみ第１の出力処理を実行してもよい。

一連の露光期間ｄ１４１〜ｄ１４７（即ち、連続撮影の期間）で取得された各画素信号のフレームメモリ１９０への書き込みの完了後に、イメージセンサ１００は、読み出し処理ｄ２５１及びｄ２５２に示す処理タイミングで、当該フレームメモリ１９０から各画素信号を逐次読み出す。そして、イメージセンサ１００は、フレームメモリ１９０から読み出した画素信号を、第２の出力処理ｄ３５１及びｄ３５２に示す処理タイミングで、画像処理ＬＳＩ２００に出力する。

以上のような構成により、画像処理ＬＳＩ２００は、連続撮影時においても、第２の出力処理ｄ３５１に基づき出力される高解像度の画像信号に先立って、第１の出力処理ｄ３４１に基づき低解像度の画像信号を取得することが可能となる。そのため、本実施例に係る撮像装置においても、イメージセンサ１００と画像処理ＬＳＩ２００との間の伝送速度が制限されている場合においても、露光の完了からプレビュー画像を表示するまでの時間をより短縮することが可能となる。

また、画像処理ＬＳＩ２００は、第１の出力処理ｄ３４１に基づき先行して出力される画像信号（低解像度の画像）を解析し、当該解析の結果に基づき、次いで第２の出力処理ｄ３５１に基づき出力される画像信号（高解像度の画像）に対して画像処理を施すことも可能となる。即ち、本実施例に係る撮像装置においても、露光の完了から、撮像された画像を解析し、当該解析結果に基づき撮像された画像に対して画像処理を施したうえで、画像処理後の画像を出力するまでの時間を短縮することが可能となる。

なお、図１０に示す例では、本実施例に係る撮像装置が連続して撮影可能な画像の枚数の最大数は、１枚分の画素信号を記録するために必要な容量と、フレームメモリ１９０の容量とによって決定される。

一方で、図１０に示す例では、イメージセンサ１００は、一連の露光期間ｄ１４１〜ｄ１４７（即ち、連続撮影の期間）で取得された各画素信号のフレームメモリ１９０への書き込みの完了後に、読み込み処理を実行していた。しかしながら、例えば、露光期間ｄ１４１で取得された画素信号については、書き込み処理ｄ２４１より後であれば、読み込み処理ｄ２５１が開始されるタイミングは特に限定されない。そのため、一連の露光期間で取得された各画素信号の書き込み処理の完了を待たずに、イメージセンサ１００は、フレームメモリ１９０に書き込まれた画素信号の読み出し（即ち、読み出し処理）を開始してもよい。

例えば、図１１は、イメージセンサ１００が、一連の露光期間で取得された各画素信号の書き込み処理の完了を待たずに、フレームメモリ１９０に書き込まれた画素信号の読み出し（即ち、読み出し処理）を開始する場合の一例を示している。図１１に示す例は、読み出し処理ｄ２５１〜ｄ２５７及び第２の出力処理ｄ３５１〜ｄ３５７の開始タイミングが、図１０に基づき前述した例と異なる。

例えば、図１１に示す例では、イメージセンサ１００は、書き込み処理ｄ２４１に基づき各画素からの画素信号がフレームメモリ１９０に書き込まれると、一連の書き込み処理の完了を待たずに読み出し処理ｄ２５１を開始する。そして、イメージセンサ１００は、読み出し処理ｄ２５１に同期して、第２の出力処理ｄ３５１を実行する。

以上のような構成により、書き込み処理ｄ２４１及びｄ２４２に基づきフレームメモリ１９０に書き込まれた画素信号は、参照符号ｔ２１で示されたタイミングにおいて、既に読み出し処理ｄ２５１及びｄ２５２に基づきフレームメモリ１９０から読み出されている。即ち、図１１に示す例では、イメージセンサ１００は、タイミングｔ２１以降であれば、読み出し処理ｄ２５１及びｄ２５２に基づき画素信号が読み出された後のフレームメモリ１９０上の領域を改めて確保し、確保した領域を再利用することが可能となる。

そのため、例えば、図１１に示す例では、イメージセンサ１００は、タイミングｔ２１以降に改めて確保されたフレームメモリ１９０上の領域を再利用することで、露光期間ｄ１４８及びｄ１４９に基づき追加で画像を撮像することが可能となる。なお、このときイメージセンサ１００は、露光期間ｄ１４８及びｄ１４９において取得された画素信号を、改めて確保されたフレームメモリ１９０の領域に、書き込み処理ｄ２４８及びｄ２４９に基づき書き込めばよい。

もちろん、イメージセンサ１００は、露光期間ｄ１４８及びｄ１４９に取得された画素信号に基づき第１の出力処理を実行することで、低解像度の画像信号を画像処理ＬＳＩ２００に出力してもよい。また、書き込み処理ｄ２４８及びｄ２４９に基づきフレームメモリ１９０に書き込まれた画素信号については、イメージセンサ１００は、読み出し処理ｄ２５８及びｄ２５９に基づき読み出し、第２の出力処理ｄ３５８及びｄ３５９に基づき画像処理ＬＳＩ２００に出力すればよい。

以上のように、図１１に示す例では、フレームメモリ１９０の容量に合わせて、書き込み処理、読み出し処理、及び第２の出力処理の処理タイミングを制御することで、図１０に示す例に比べて、連続撮影可能な枚数の最大数を向上させることも可能となる。

なお、上記では、連続撮影の場合を例に説明したが、例えば、撮影条件を変えて複数の画像を連続して撮像する、所謂ブラケット撮影においても、本実施例に係る技術を適用可能であることは言うまでもない。

以上、図８〜図１１を参照しながら、本実施形態に係る撮像装置の各実施例について説明した。なお、上記に各実施例として説明した内容は、あくまで一例であり、本実施形態に係る撮像装置の態様を、上記に示す内容に限定するものではないことは言うまでもない。即ち、本実施形態に係る撮像装置のイメージセンサ１００は、フレームメモリを備え、互いに密度の異なるデータ（解像度の異なる画像信号）のうち一方を直接画像処理ＬＳＩ２００に出力し、他方をフレームメモリに一時的に保持する。そして、イメージセンサ１００は、フレームメモリから他方のデータを読み出して画像処理ＬＳＩ２００に出力する。このように、互いに密度の異なるデータそれぞれを図４に示すストリームｎ１及びｎ２として出力するように動作させれば、本実施形態に係る撮像装置の態様は特に限定されない。

＜３．ハードウェア構成＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、例えば、図７の制御部３１５のような、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のコンピュータなどが含まれる。そこで、図１２を参照して、以下に当該コンピュータのハードウェア構成の一例について説明する。図１２は、コンピュータのハードウェア構成の一例について説明するための説明図である。

図１２において、コンピュータ４００のＣＰＵ（Central Processing Unit）４０１は、ＲＯＭ（Read Only Memory）４０２に記憶されているプログラム、または記憶部４１３からＲＡＭ（Random Access Memory）４０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ４０３にはまた、ＣＰＵ４０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ４０１、ＲＯＭ４０２、およびＲＡＭ４０３は、バス４０４を介して相互に接続されている。このバス４０４にはまた、入出力インタフェース４１０も接続されている。

入出力インタフェース４１０には、キーボード、マウスなどよりなる入力部４１１、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部４１２、ハードディスクなどより構成される記憶部４１３、モデムなどより構成される通信部４１４が接続されている。通信部４１４は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース４１０にはまた、必要に応じてドライブ４１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア４２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部４１３にインストールされる。

上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図１２に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（ＣＤ−ＲＯＭ（Compact Disc−Read Only Memory）、ＤＶＤ（Digital Versatile Disc）を含む）、光磁気ディスク（ＭＤ（Mini Disc）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア４２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ４０２や、記憶部４１３に含まれるハードディスクなどで構成される。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

＜４．まとめ＞
以上説明したように、本実施形態に係るイメージセンサは、フレームメモリを備える。そして、本実施形態に係るイメージセンサは、画素アレイ部を構成する複数の画素のうち、少なくとも一部の画素からの画素信号に基づく画像信号を画像処理ＬＳＩに出力するとともに、当該複数の画素からの画像信号をフレームメモリに一時的に記録する。また、イメージセンサは、フレームメモリに記録された各画素の画素信号を逐次読み出し、読み出された画素信号に基づく画像信号を画像処理ＬＳＩに出力する。

このような構成により、本実施形態に係るイメージセンサは、例えば、低解像度の画像の画像信号を、画素アレイ部から画像処理ＬＳＩに直接出力し、高解像度の画像の画像信号を、低解像度の画像の画像信号とは別に画像処理ＬＳＩに出力することが可能となる。

そのため、画像処理ＬＳＩは、イメージセンサから先行して出力される画像信号（低解像度の画像）をプレビュー画像として表示部に表示させ、次いで出力される画像信号（高解像度の画像）を画像データとして記録することが可能となる。このような構成により、本実施形態に係る撮像装置は、イメージセンサと画像処理ＬＳＩとの間の伝送速度が制限されている場合においても、露光の完了からプレビュー画像を表示するまでの時間をより短縮することが可能となる。

また、他の一例として、画像処理ＬＳＩは、イメージセンサから先行して出力される画像信号（低解像度の画像）を解析し、当該解析の結果に基づき、次いで出力される画像信号（高解像度の画像）に対して画像処理を施すことも可能となる。そのため、本実施形態に係る撮像装置は、露光の完了から、撮像された画像を解析し、当該解析結果に基づき撮像された画像に対して画像処理を施したうえで、画像処理後の画像を出力するまでの時間をより短縮することが可能となる。

また、前述した構成により、画像処理ＬＳＩは、高解像度の画像に対する画像処理に対して、先行して出力される当該画像と同じフレームに対応する低解像度の画像の解析結果を利用することが可能となる。そのため、本実施形態に係る撮像装置は、異なるフレームで撮像された画像の解析結果に基づき画像処理を施す場合に比べて、画像処理の精度を向上させることが可能となる。

また、他の一例として、画像処理ＬＳＩは、低解像度の画像の画像信号をイメージセンサから逐次取得し、取得した当該画像に基づき動画像を生成してもよい。また、このとき、画像処理ＬＳＩは、所望のフレーム（例えば、ユーザから指定されたフレーム）に対応する高解像度の画像の画像信号を別途取得し、取得した画像信号に基づき静止画像を生成してもよい。

このような構成により、本実施形態に係る撮像装置は、動画像と静止画像との双方を同時に撮像し、かつ、静止画像として動画像よりも解像度の高い画像を記録することが可能となる。また、このとき、イメージセンサからは、所望のフレームについてのみ高解像度の画像の画像信号が出力される。そのため、本実施形態に係る撮像装置は、イメージセンサと画像処理ＬＳＩとの間で伝送される画像信号の容量を最小限に抑えることが可能となり、ひいては、各画像の出力に要する時間を短縮することが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
複数の画素それぞれから出力される画素信号に基づく、第１のデータ密度で伝送された第１のデータと、前記第１のデータ密度とは異なる第２のデータ密度で伝送された第２のデータとのそれぞれを処理する処理部を備え、
前記処理部は、前記第１のデータに基づく画像を出力する出力処理と、前記第１のデータに基づく前記第２のデータに対する画像処理とのうち、少なくともいずれかを実行する、情報処理装置。
（２）
前記処理部は、前記第１のデータに基づく画像をスルー画像として表示部に表示させ、前記第２のデータに基づく画像データを所定の記録部に記憶させる、前記（１）に記載の情報処理装置。
（３）
前記処理部は、前記第１のデータに基づき、当該第１のデータの生成元となる前記画素信号と同じフレームに基づく画素信号に基づき、前記第２のデータに対して前記画像処理を施す、前記（１）または（２）に記載の情報処理装置。
（４）
前記処理部は、複数の前記第１のデータを取得する期間中に、前記第１のデータよりも少ない数の前記第２のデータを取得する、前記（１）〜（３）のいずれか一項に記載の情報処理装置。
（５）
前記処理部は、互いに並列して伝送される前記第１のデータと前記第２のデータとを取得する、前記（１）〜（４）のいずれか一項に記載の情報処理装置。
（６）
前記処理部は、前記第１のデータと、当該第１のデータの生成元となる前記画素信号と同じフレームに基づく画素信号に基づいて、前記第２のデータとを時分割で取得する、前記（１）〜（４）のいずれか一項に記載の情報処理装置。
（７）
前記処理部は、前記第１のデータの取得後に、当該第１のデータの生成元となる前記画素信号と同じフレームに基づく画素信号に基づいて、前記第２のデータを取得する、前記（６）に記載の情報処理装置。
（８）
前記処理部は、互いに異なる条件に基づき撮像された画像を示す複数の前記第１のデータと、当該複数の前記第１のデータそれぞれに対応する前記画像のうち、少なくとも一部の画像を示す前記第２のデータを取得する、前記（１）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記第１のデータ密度は、前記第２のデータ密度よりも粗い、前記（１）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記処理部は、複数の前記第１のデータに基づき動画像を生成し、前記第２のデータに基づき前記動画像よりも解像度の高い静止画像を生成する、前記（９）に記載の情報処理装置。
（１１）
前記処理部は、前記動画像を形成する複数フレームのうち、少なくとも一部のフレームに基づく前記画素信号に応じた前記第２のデータに基づき前記静止画像を生成する、前記（１０）に記載の情報処理装置。
（１２）
複数の画素それぞれから出力される画素信号に基づくデータを保持する保持部と、
前記複数の画素のうち、少なくとも一部の画素から出力される画素信号に基づく第１のデータと、前記保持部に保持された前記画素信号に基づく第２のデータとを、前記第１のデータに基づく画像の処理と、前記第１のデータに基づいて行われる前記第２のデータに対する画像の処理との少なくともいずれかを実行する処理部に、それぞれ出力する出力部と、
を備える、情報処理装置。
（１３）
前記出力部は、１フレーム分の前記画素信号に基づく前記第２のデータが前記保持部に保持される速度よりも遅い速度で、当該保持部に保持された当該第２のデータを出力する、前記（１２）に記載の情報処理装置。
（１４）
前記出力部は、複数フレームの前記画素信号に基づき、当該複数フレームのうち少なくとも一部のフレームの画素信号に基づく前記第１のデータを出力し、当該第１のデータの出力後に、前記保持部に保持された当該複数フレームの画素信号に基づく複数の前記第２のデータを出力する、前記（１２）または（１３）に記載の情報処理装置。
（１５）
前記保持部は、１フレーム以上の前記画素信号に基づく前記第２のデータを保持可能な空き領域が存在する限り、前記複数の画素それぞれから出力される画素信号に基づく前記第２のデータを保持する、前記（１４）に記載の情報処理装置。
（１６）
第１のデータ密度で伝送された第１のデータと、前記第１のデータ密度とは異なる第２のデータ密度で伝送された第２のデータとのそれぞれを取得することと、
取得された前記第１のデータに基づく画像を表示部に表示させる表示処理と、前記第１のデータに基づく前記第２のデータに対する画像処理とのうち、少なくともいずれかを実行することと、
を含む、情報処理方法。

１００ イメージセンサ
１０１ 制御部
１１１ 画素アレイ部
１１２ 選択部
１１４ 定電流回路部
１２１、１２２ 画素
１３１、１３２、１３３ スイッチ
１４１、１５１ 比較器
１４３、１５３ カウンタ
１６１、１６２ ＭＯＳトランジスタ
１９０ フレームメモリ
２００ 画像処理ＬＳＩ
２１０ 画像処理部
３００ 撮像装置
３１１ レンズ部
３１２ ＣＭＯＳセンサ
３１４ 操作部
３１５ 制御部
３１６ 画像処理部
３１７ 表示部
３１８ コーデック処理部
３１９ 記録部

Claims (14)

1. 画素アレイ部とフレームメモリとを備える撮像素子と、
   前記画素アレイ部から出力された第１のデータ密度の第１のデータに基づく第１の画像を表示部に表示する表示制御処理と、前記画素アレイ部から出力された前記第１のデータ密度より高い第２のデータ密度の第２のデータに基づく第２の画像を前記フレームメモリに記憶させ、さらに前記フレームメモリに記憶した前記第２の画像を記録する記録処理と、を行う処理部と、
   を備える
   撮像装置。
2. 前記撮像素子は、第１の出力線と第２の出力線を有し、
   前記第１のデータは、前記第１の出力線から出力されたデータが分波されたデータである
   請求項１に記載の撮像装置。
3. 前記第１のデータが前記画素アレイ部からの間引き読み出しであり、前記第２のデータが全画素読出しである請求項１または請求項２に記載の撮像装置。
4. 前記第１のデータと、前記第２のデータが同一フレームのデータである請求項１〜３のいずれか１項に記載の撮像装置。
5. 前記処理部は、前記第２のデータを記録する処理の間に、前記表示制御処理を行う請求項１〜４のいずれか１項に記載の撮像装置。
6. 前記処理部は、前記第１のデータと、当該第１のデータの生成元となる画素信号と同じフレームの画素信号に基づく前記第２のデータと、に対して画像処理を施す、請求項１〜５のいずれか１項に記載の撮像装置。
7. 前記処理部は、複数の前記第１のデータを取得する期間中に、前記第１のデータよりも少ない数の前記第２のデータを取得する、請求項１〜６のいずれか１項に記載の撮像装置。
8. 前記処理部は、互いに並列して伝送される前記第１のデータと前記第２のデータとを取得する、請求項１〜７のいずれか一項に記載の撮像装置。
9. 前記処理部は、前記第１のデータと、当該第１のデータの生成元となる画素信号と同じフレームの画素信号に基づく前記第２のデータと、を時分割で取得する、請求項１〜８のいずれか１項に記載の撮像装置。
10. 前記処理部は、前記第１のデータの取得後に、当該第１のデータの生成元となる画素信号と同じフレームに基づく画素信号に基づいて、前記第２のデータを取得する、請求項９に記載の撮像装置。
11. 前記処理部は、互いに異なる条件に基づき撮像された画像を示す複数の前記第１のデータと、当該複数の前記第１のデータそれぞれに対応する前記第１の画像のうち、少なくとも一部の画像を示す前記第２のデータを取得する、請求項１〜１０のいずれか１項に記載の撮像装置。
12. 前記処理部は、複数の前記第１のデータに基づき動画像を生成し、前記第２のデータに基づき前記動画像よりも解像度の高い静止画像を生成する、請求項１〜１１のいずれか１項に記載の撮像装置。
13. 前記処理部は、前記動画像を形成する複数フレームのうち、少なくとも一部のフレームに基づく画素信号に応じた前記第２のデータに基づき前記静止画像を生成する、請求項１２に記載の撮像装置。
14. 撮像素子が備える画素アレイ部から出力された第１のデータ密度の第１のデータに基づく第１の画像を表示部に表示し、前記画素アレイ部から出力された前記第１のデータ密度より高い第２のデータ密度の第２のデータに基づく第２の画像を前記撮像素子が備えるフレームメモリに記憶させ、さらに前記フレームメモリに記憶した前記第２の画像を記録すること、
    を含む撮像方法。

Images