JP2020021989A - 撮像装置 - Google Patents

Abstract

【課題】撮像素子やＡＳＩＣ等のＳＲＡＭ容量を最適化しつつ撮像素子からの高速読み出しを実現する撮像装置を提供する。【解決手段】撮像素子１１０は、複数の画素が二次元状に配置された画素部１１３と、画素部から出力された撮像信号の少なくとも一部を記憶する第１のメモリ１１２と、第１のメモリに記憶された信号を用いて撮像信号の行または列の順番を並び替える第１の並び替え回路１１１とを有する。情報処理部１２０は、撮像素子の第１の並び替え回路１１１により並び替えられて出力された撮像信号を受け取り記憶する第２のメモリ１２２と、第２のメモリに記憶された信号を用いて撮像信号の行または列の順番を並び替える第２の並び替え回路１２１とを有し、画素部から複数行の撮像信号を同時に読み出す場合に、第１の並び替え回路による並び替えをした後で、第２の並び替え回路による並び替えをすることにより画素部における複数の画素の配列を復元する。【選択図】図１

Description

本発明は撮像装置に関し、特に、撮像素子から読み出した画像データの並び替えを行うための新規な構成や方法に関するものである。

光情報を電子に変換する撮像素子を内部に有し、静止画や動画を撮影することを実現する撮像装置が知られている。近年の微細加工技術の発展により、撮像素子から読み出す画像データの読み出しレートが向上しつつある。これによって、高フレームレートの動画や、高解像の静止画撮影や高速連写などの機能を実現することが可能となった。
とくに、撮像素子から情報を読み出す読出しレートの向上に対応するため、一度に複数行の画像データを読み出す工夫を施すことで読み出しスピードの高速化を実現する方法が知られている。

ところが、撮像素子を構成する回路構成の制約上、撮像素子から物理的画素配置順に画像情報を読み出せるとは限らない。たとえば、二次元状に配列された画素のうち、隣接する上下の画素の画素内の読み出し回路が共通になっている場合がある。その場合に、高速読み出しをしようとして複数行を同時に読み出すと、読み出された信号の画素配列の順番やピッチが変わってしまう場合がある。一方、例えば、特許文献１では画像データを効率的に符号化するためにマクロブロック単位でデータの配置を並び替える技術が開示されている。

特開２００６−２３８４０７号公報

しかし、上記の文献には符号化に適したようにデータの並べ替えを行うことは記載されてはいるが、撮像素子から高速読み出しをした場合に生じる上記のような画素配列変化の問題については全く考慮されておらず、撮像素子の高速読出しは実現できない。しかも、一般に画像処理ＩＣの内部には、高解像化を実現するための画像補正回路や、Ａ／Ｄ変換器などが設けられており、それらが大きな面積を占めている。そのうえ上記特許文献のような符号化のためのメモリを設けるとますます装置が大型化する問題が生じる。したがって、装置の大型化を防ぎつつ撮像素子の高速読み出しを実現する方法が望まれていた。

そこで、本発明の目的は、撮像装置の高速読み出しが実現でき、更には最適な小型化が実現できる撮像装置を提供することにある。

上記目的を達成するために、本発明は、
撮像素子と情報処理部とを有する撮像装置であって、
前記撮像素子は、
複数の画素が二次元状に配置された画素部と、
画素部から出力された撮像信号の少なくとも一部を記憶する第１のメモリと、
前記第１のメモリに記憶された信号を用いて撮像信号の行または列の順番を並び替える第１の並び替え回路と、を有し、
前記情報処理部は、
前記撮像素子の前記第１の並び替え回路により並び替えられて出力された撮像信号を受け取り記憶する第２のメモリと、
前記第２のメモリに記憶された信号を用いて撮像信号の行または列の順番を並び替える第２の並び替え回路と、
を有し、
前記画素部から複数行の撮像信号を同時に読み出す場合に、前記第１の並び替え回路による並び替えをした後で、前記第２の並び替え回路による並び替えをすることにより前記画素部における前記複数の画素の配列を復元するように並び替え制御する制御手段と、
を有することを特徴とする。

本発明によれば、撮像装置の高速読み出しと最適化した小型化が可能な撮像装置を提供することができる。

本発明の第１の実施例に係る撮像装置１００について説明したブロック図。 第１の実施例にかかる撮像素子１１０に内蔵される画素部１１３の画素対の構成例を示す図。 第１の実施例にかかる画素部１１３の画素配列例を示す図。 図２、図３に示した画素構造における読み出し方式の例を説明する図。 画像情報の並び替え方法の例を示すタイミングチャート。 第１記憶部１１２と第２記憶部１２２とで並び替えを分担する第１実施例のタイミングチャート。 図５とは異なる方法で第１記憶部１１２と第２記憶部１２２とで並び替えを分担する第２実施例のタイミングチャート。 第３実施例に係る画素部１１３の画素対の構成を示す図。 第３実施例に係る画素部１１３の画素配列例を示す図。 第４実施例に係る画像情報の並び替え方法を示すタイミングチャート。 第５実施例に係る画像情報の並び替え方法を示したタイミングチャート。 第６実施例に係る画像情報の並び替え方法を示したタイミングチャート。 第７実施例に係る画像情報の並び替え方法を示したタイミングチャート。 第８の実施例に係る撮像装置２００について説明したブロック図。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて複数の実施例を用いて詳細に説明する。

図１は、第１実施例に係る撮像装置１００について説明するブロック図である。撮像装置１００は、撮像素子１１０、情報処理部１２０、補助記憶装置１３０、主記憶装置１４０と表示部１５０を有する。

なお、撮像素子１１０は複数の半導体基板が積層された多層型撮像素子として構成されており全体がＩＣチップとして構成される。情報処理部１２０もＩＣチップとして構成されるが、一部が別体であってもよい。

第１Ｉ／Ｆ１０２は、撮像素子１１０から読み出した画像情報（撮像信号あるいは画素信号）を、情報処理部１２０へ転送するためのインターフェースである。例えば、クロック信号に同期しながらデータを転送するシリアルインターフェースであってもよく、クロック埋め込み方式でデータを転送するシリアルインターフェースであってもよい。また、画像情報を複数のデータレーンに分割しながら転送するパラレルインターフェースであってもよい。画像情報を複数のデータレーンに分割する場合、単一のデータレーンに比べ、画像情報を時間的に高密度に転送することが可能となる。本実施例においては、第１Ｉ／Ｆ１０２はクロック埋め込み方式でデータを転送するシリアルインターフェースであるとする。

駆動制御信号１０１は、撮像素子１１０全体を制御するための駆動制御信号であって、撮像素子１１０から画像情報を読み出すタイミング等を制御するための水平同期信号を含む。本実施例では、駆動制御信号１０１に含まれる水平同期信号が１回入力される度に、１行分／２行分／１２行分のうちいずれかの行数分の画像情報を読み出すことが出来るものとする。なお、駆動制御信号１０１は何行を同時に読み出すかを制御するための指示信号や、後述の第１並び替え回路における並び替え方法を制御するための並び替え制御信号を含んでいる。情報処理部１２０は、駆動制御信号１０１に含めて水平同期信号を出力することで、撮像素子１１０から画像情報を適切なタイミングで読み出すことが可能となる。

水平同期信号を用いた読み出し方法について、以下、説明する。例として、ＦＨＤ画質（２１６０列１０８０行分）の画像情報を３０ＦＰＳ（３０Ｆｒａｍｅ Ｐｅｒ Ｓｅｃｏｎｄ：１／３０秒につき１フレームのスピード）にて読み出す状況を想定する。水平同期信号の入力間隔を、２０ｕｓであるとする。水平同期信号の入力１回につき１行分の画像情報を読み出す場合、２０ｕｓ×１０８０行＝２１．６ｍｓの時間を要する。１フレームの時間は１／３０秒≒３３．３ｍｓであるため、１フレームにつき１１．７ｍｓの間、画像情報を読み出さない待機期間が存在する。その間、省電力駆動を行う事によって、撮像装置１００の消費電力低減を行うことが出来る。一方、水平同期信号の入力１回につき１２行分の画像情報を読み出すようにした場合、１フレーム分の画像情報の読み出しに２０ｕｓ×１０８０行／１２＝１．８ｍｓの時間を要する。この場合、１フレームにつき３１．５ｍｓの間、撮像装置１００の消費電力低減を行うことが出来る。つまり、複数行を同時に読み出した方が、消費電力を低く抑えることが出来る効果がある。また、同時読み行数を増やすことによる読み出し時間短縮によって、静止画撮影において、撮影した画像の画面内の歪を抑制する効果もある。

主記憶装置１４０は、撮像素子１１０から取得した画像情報を情報処理部１２０にて処理するための一時退避メモリとして用いる。主記憶装置１４０の例としては、ＤＲＡＭ（Ｄｙｎａｍｉｃａｌ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような揮発性メモリが含まれる。ＤＲＡＭは電源がオフされると内部の情報が消去される特徴がある一方、書き込み／読み出しの速度が速い特徴がある。つまり、書き込み／読み出しが頻発する場合の計算処理に向いている。

補助記憶装置１３０は、主記憶装置１４０の補助的な役割を担う記憶装置である。主に、撮像装置１００の電源が切られた後でもデータを保持することができる不揮発性記憶装置として使用する。例えば、画像情報の現像処理が終わった後の画像データを保存するための記憶装置として使用する。また、情報処理部１２０が撮像素子１１０を制御するために必要なコンピュータプログラムを格納する記憶装置としても使用する。補助記憶装置１３０は必ずしも撮像装置１００内部に内蔵されている必要はなく、撮像装置１００と切り離しが可能であってもよい。切り離し可能な補助記憶装置１３０の例としては、ＳＤカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ Ｃａｒｄ）という可搬記録メディア規格が知られている。ＳＤカード内部にはＮＡＮＤ記録領域が内蔵されており、ＳＤＩＯというインターフェースを通じて、ホスト機器との情報の書き込み／読み込みを行えるようになっている。補助記憶装置１３０をこのように撮像装置１００と切り離し可能な媒体に選ぶことで、撮像装置１００のユーザーは、補助記憶装置１３０に含まれる画像データを他の情報端末に取り込んだり、他のユーザーと画像データを共有したりすることが可能である。

表示部１５０は、補助記憶装置１３０や主記憶装置１４０に記憶された画像データを再生表示するための表示デバイスである。例えば、ＴＦＴ液晶などがこれに含まれる。ＴＦＴ液晶などの表示部１５０によって、ユーザーは撮影した画像を視認することが可能となる。

続いて、情報処理部１２０の構成について説明する。
中央演算処理部１２８は撮像素子１１０を制御するために必要な演算を実行したり、周辺の回路や装置に対して演算を指示したり各種制御信号を送るコンピュータとして機能する処理部である。また前記中央演算処理部１２８は、前記画素部から複数行の撮像信号を同時に読み出す場合に、前記第１の並び替え回路による並び替えをする。その後で、前記第２の並び替え回路による並び替えをすることにより前記画素部における前記複数の画素の配列を復元するように並び替え制御を行わせる。そのために駆動制御信号１０１には、何行の撮像信号を同時に読み出すかを指示する信号や第１記憶部や第１並び替え回路における動作を制御するための制御信号が含まれている。

第１外部Ｉ／Ｆ１２３は、補助記憶装置１３０とのインターフェースである。中央演算処理部１２８からの指示により、データの送受信を行う。主記憶装置１４０に一時記憶された現像後の画像データを補助記憶装置１３０に記憶する際や、補助記憶装置１３０からプログラムを読み込む際などに使用する。

第２外部Ｉ／Ｆ１２４は、主記憶装置１４０とのインターフェースである。中央演算処理部１２８の指示により、データの送受信を行う。一時記憶された画像データを補助記憶装置１３０に転送する際や、後述の補正回路１２６によって補正された画像データを主記憶装置１４０に書き込む際などに使用する。

第３外部Ｉ／Ｆ１２５は、表示部１５０とのインターフェースである。補助記憶装置１３０や主記憶装置１４０に記憶された画像データを表示部１５０に転送する際などに使用する。

演算部１２７は現像処理やオートフォーカス、画像認識、露出補正等の演算を行うための回路である。中央演算処理部１２８からの指示により、補助記憶装置１３０や主記憶装置１４０に記憶された画像データの演算を行う際に使用する。

補正回路１２６は画像の補正を行うための回路である。撮像素子１１０から読み出した画像情報は、温度条件や撮像素子１１０の個体特性等によって、性能に個体差が生じることがある。補正回路１２６は、そうした個体差を補正する目的に使用される。

第２並び替え回路１２１はデータの行または列方向の並び替えを行うための回路である。後述のように、撮像素子１１０から読み出される画像情報は、所定数以上の複数行を同時に読み出す場合、読み出し回路の構成などの制限によって物理的画素配置順では読み出されないことがある。そこで、読み出した画像情報に基づき、ユーザーに視認可能な画像を生成するためには、読み出した画像情報を予め並び替えるようにした点に本発明の実施例の特徴がある。すなわち、中央演算処理部１２８の指示により、画像データとして補助記憶装置１３０もしくは主記憶装置１４０に記憶する前に、画像情報を画素部１１３の元の物理的画素配置順に並び替え制御を行う。第２並び替え回路１２１はそのために用いられる回路である。

第２記憶部１２２は、第２並び替え回路１２１による並び替え処理を実現するにあたって画像情報の少なくとも一部を一時的に退避させるための記憶部でありＳＲＡＭで構成される。複数行の画像情報を同時に読み出すとき、第２記憶部１２２の記憶領域を大きく確保する必要がある。ところが、回路規模の制約があるため、なるべく記憶領域は小さく持ちたい。また第２並び替え回路１２１に処理負荷が集中すると全体の速度を律速することになる。そこで、後述の通り、第１並び替え回路１１１と第２並び替え回路１２１とで並び替え処理を分割する。それにより、並び替えに係る記憶領域を第１記憶部１１２と第２記憶部１２２とで分割し負荷を分散することができ、全体的なチップ面積を最適化することができるという更なるメリットがある。

撮影制御部１１５は、駆動制御信号１０１を生成するための回路である。中央演算処理部１２８による指示があった場合に、駆動制御信号１０１を生成・出力する。また、撮影制御部１１５は、水平同期信号以外にも撮像素子１１０内の各回路に対して各種パラメータの設定を行うことで第１送信回路を含めた撮像素子１１０全体の駆動制御を行う。具体的には、中央演算処理部１２８の制御によって、露出の設定、Ａ／Ｄ変換部１１４の動作設定、駆動モードの制御の制御等についてのパラメータの設定を行う。さらにこれらの設定により、同時に読み出す行数および第１の並び替え回路１１１で並び替えを行う行数等を撮像装置の動作に応じて切り替える制御を行うことが可能となる。また中央演算処理部１２８からの制御に応じて、撮像素子１１０の第１並び替え回路１１１や第１記憶部１１２を制御して並び替え制御をさせたり、並び替え方法の切り替え制御も行う。駆動制御信号１０１は上記のような撮像素子１１０内の各回路を制御するための制御信号を含む。

第２受信回路１２９は、第１Ｉ／Ｆ１０２を介して受信した画像データを受信するための回路である。第１Ｉ／Ｆ１０２によって伝送されてきたデータを、情報処理部１２０内部で処理を行いやすいよう変換するために使用する。本実施例において、第２受信回路１２９では、受信した信号に埋め込まれているＣＬＫ（クロック）信号を復元する復元処理を行うものとする。

次に、撮像素子１１０について説明する。
ＴＧ（タイミングジェネレータ）１１８は、入力された駆動制御信号１０１に含まれる水平同期信号に同期して、画素部１１３とＡ／Ｄ変換部１１４を駆動制御するための内部信号を生成するための回路である。撮影制御部１１５、水平同期信号とＴＧ１１８によって、情報処理部１２０から、画素部１１３とＡ／Ｄ変換部１１４の動作タイミングを適切に制御することが可能となる。

画素部１１３は、不図示の光学系を介してとりこんだ光学像を光電変換するための複数の光電変換素子を含む２次元状の画素の配列を有する。また、前記画素部１１３内の隣接する複数の画素は画素内の一部回路を共用している。画素内の一部回路は読み出し用の出力ゲート回路やフローティングディフュージョン領域などである。なお、実施例では上下に隣接する２つの画素の対が画素内の一部回路を共用しているが、水平に隣接する２つの画素の対が画素内の一部回路を共用していてもよい。また２つ以上の画素が画素内の一部回路を共用していてもよい。

前記画素部１１３は、内部に垂直走査部を有し、ＴＧ１１８から受信した信号のタイミングに同期することで画素部の垂直走査を行う。画素部１１３によって読み出されたアナログ画像情報は、Ａ／Ｄ変換部１１４へ順次転送される。なお、前記画素部１１３と前記第１の並び替え回路１１１とは、積層型の撮像素子１１０において、別の層に配置されている。

Ａ／Ｄ変換部１１４は、画素部１１３から受信したアナログ画像データをデジタルデータに変換する変換部である。Ａ／Ｄ変換部１１４も画素部１１３とは別の層に配置されている。

第１送信回路１１９は、第１Ｉ／Ｆ１０２を介して画像データにＣＬＫ信号を埋め込むことで生成する処理と、生成した信号を情報処理部１２０へ転送するための回路である。

第１記憶部１１２は、第１並び替え回路１１１においてデータの並び替えを実現するために画素部から読み出された撮像信号の少なくとも一部を一時的にデータを保持しておくための記憶部でありＳＲＡＭで構成されている。なお、前記第１記憶部１１２は前記第１の並び替え回路１１１とは積層型の撮像素子１１０において、別の層に配置されているが、第１の並び替え回路１１１と同じ層に配置してもよい。

第１並び替え回路１１１は、Ａ／Ｄ変換部１１４から受け取ったデジタルデータを第1の記憶部１１２に記憶された撮像信号を用いて並び替える並び替え回路である。第２並び替え回路１２１を使用することなく第１並び替え回路１１１のみを用いて画像データの並び替えを実現する場合、撮像素子１１０の回路面積を逼迫する。したがって他の回路が素子の中に納まりきらず他の回路の機能を削ることになったり、処理負荷が集中して全体の速度を律速する場合がある。一方、第２並び替え回路１２１のみを用いて画像データの並び替えを実現する場合も情報処理部１２０の回路面積を逼迫してしまったり、一部の機能の削減につながったり、処理負荷が集中して全体の速度を律速する場合がある。本実施例では、第１並び替え回路１１１と第２並び替え回路１２１の２つを設けて両者で役割を分担させることで、撮像素子１１０と情報処理部１２０の回路面積を最適化させ、全体の処理速度を最適化できる点に特徴がある。

以上が第１実施例に係る撮像装置１００の構成となるが、その構成は図１に示した構成に限定されない。例えば、撮像装置１００に、撮影開始を指示する釦等が付属していてもよい。この場合、ユーザーが撮影開始を指示する釦を押下したのち、中央演算処理部１２８から撮像素子１１０を制御して所定時間の撮影を行い、その結果を画像データとして読み出し記録すことが可能となる。
もちろんネットワークなどを介して外部からの指示で撮影できるように構成してもよい。

図２は、第１実施例に係る撮像素子１１０に内蔵される画素部１１３内の画素対の構成を示す図であり、図３は第１の実施例にかかる画素部１１３の画素配列例を示す図である。

図２において、４０１は光電変換部を構成するフォトダイオード（以下、ＰＤと表記する）であり、受光した被写体からの光をその光量に応じた電荷量の電荷に光電変換する。

画素対３０６の中には例えばＲフィルタを介した光を受光するＰＤ４０１を含む画素とＧｂフィルタを介した光を受光するＰＤ４０１を含む画素とが含まれている。

それぞれのＰＤ４０１はアノードが接地され、そのカソードは転送トランジスタ４０２を介して増幅トランジスタ４０４のゲートと電気的に接続されている。増幅トランジスタ４０４のゲートと電気的に繋がったノードは、フローティングディフュージョン部（以下、ＦＤ部という）４０７を構成する。図示のトランジスタ４０２〜４０５は、例えばＮチャネルのＭＯＳ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）トランジスタである。

リセットトランジスタ４０３は、そのドレインが画素電源Ｖｄｄに接続され、そのソースがＦＤ部４０７に接続されている。リセットトランジスタ４０３は、そのゲートに不図示のリセット信号線を介してリセットパルスＲＳＴが与えられることによってオン状態となりＦＤ部４０７がリセットされる。

前記ＦＤ部４０７をリセットした後で、ＲのＰＤ４０１に接続された転送トランジスタ４０２に、第１ゲート制御線３０８（図３参照）を介して転送パルスが与えられる。これによって転送トランジスタ４０２オン状態となり、ＲのＰＤ４０１で光電変換された電荷がＦＤ部４０７に転送される。

選択トランジスタ４０５は、例えば、そのドレインが増幅トランジスタ４０４のソースに接続され、そのソースが垂直出力線４０６に接続されている。選択トランジスタ４０５は、そのゲートに行選択線３０７（図３参照）を介して画素対内の２つの画素に対して共通の選択パルスが与えられることによってオン状態となる。
それによってＦＤ部４０１に転送された信号は増幅トランジスタ４０４で増幅された後、選択トランジスタを介して垂直出力線４０６に転送される。

画素対３０６内の画素から垂直出力線４０６を介して出力された画像信号は、ＡＤＣ３０３、または３０１に伝送されＡ／Ｄ変換される。図３に示されるように、画素部１１３は、２次元状に配列された複数の画素を有しており、隣接する上下の行の一対の画素（画素対）の選択トランジスタ４０５のゲートが共通化されている。なお、図において、（ｍ、ｎ）はｍ行、ｎ列の画素対３０６を示す。行選択回路３０２から画素対３０６の各行に対して第１ゲート制御線３０８、第２ゲート選択線３０５、行選択線３０７が配線されている。第１ゲート制御線３０８、第２ゲート選択線３０５と、行選択線３０７に所定の電圧を供給することによって、画素配列上の任意の画素行の中から１行を指定することが出来る。ここで画素行とはＲ、Ｇｒ、Ｒ、Ｇｒ、、、という画素行、またはＧｂ、Ｂ、Ｇｂ、Ｂ、、、という画素行のことである。指定された画素行の水平方向に配列された複数の画素からはそれぞれ光電変換された画素信号（光電変換信号）が垂直信号線４０６を介して並列に読み出される。そして、Ａ／Ｄ変換部１１４を構成する第１ＡＤＣ（Ａ／Ｄ変換器）３０３もしくは第２ＡＤＣ３０１へと転送される。

画素の種類は計４種類あり、Ｒ画素（赤）、Ｂ画素（青）、Ｇｒ画素（緑１）、Ｇｂ画素（緑２）が図３に示したようにベイヤー配列状に交互に並んでいる。上下に隣接するＲ画素とＧｂ画素、Ｇｒ画素とＢ画素は、画素の選択トランジスタ４０５のゲートを共有している。第１ゲート制御線３０８と第２ゲート選択線３０５の制御によって、どちらの画素行の画素を垂直線に読み出すかを切り替えている。

行選択回路３０２は、画素配列の中の任意の画素行を指定するための回路であり、本実施例では、同時に指定できる画素行数として、１行／２行／１２行の中から選択できるものとする。前述のように、行選択回路３０２が、行選択線３０７、第１ゲート制御線３０８と第２ゲート選択線３０５の電圧を制御することで、画素配列の中の画素行を複数同時に指定することが出来、それによって複数行を同時に読み出すことができる。

図３では、例として、行選択回路３０２が画素対のｍ行目〜ｍ＋１１行目までの１２本の画素対の行を同時に指定できる。その場合、行選択回路３０２の動作によって、１２本の画素対の行の行選択線３０７の電圧レベルが同時に切り替わる。そして行選択線３０７によって選択された１２行の画素対の中から第１ゲート制御線３０８、第２ゲート選択線３０５によって指定された上側または下側の一方の画素行の信号が同時に読み出される。

第１ＡＤＣ３０３と第２ＡＤＣ３０１は、高速化に対応するため、第１ＡＤＣ３０３が６行、第２ＡＤＣ３０１が６行、合わせて１２行分のＡ／Ｄ変換器を有している。そして、ＴＧ１１８から出力されたパルスに同期して最大で１２行分の画像情報を同時に読み出してＡ／Ｄ変換を行う事が可能となっている。

ＡＤＣ切替器３０４は１２本の垂直信号線に読み出した画素信号を垂直信号線６本ずつ第１ＡＤＣ３０３か第２ＡＤＣ３０１の一方に接続するように切り替える切替器である。切替先によって、第１ＡＤＣ３０３と第２ＡＤＣ３０１のどちらに画素信号が転送されるかが切り替わる。

図４は、図２、図３に示した画素部構造における読み出し方式の例について説明する図である。
行選択回路３０２の制御方法を異ならせることにより、図４（ａ）に示したように画素行を１行ずつ読み出す方法を選択できる。あるいは図４（ｂ）に示したように画素行を２行同時に読み出す方法を選択できる。あるいは図４（ｃ）に図示したように画素行を１２行同時に読み出す方法を選択できる。本実施例では上記の計３通りの読み出し方式を選択できる。同時に読み出す行数が１２行の場合、読み出し時間を大幅に短縮できるために静止画の連写速度や動画のフレームレートを向上させることが出来る。

図４（ａ）〜（ｃ）に示した通り、水平同期信号のＮ回目とＮ＋１回目の動作タイミングによって、２パターンの読み出しを交互に繰り返す動作を実現できる。

すなわち、図４（ａ）において、Ｎ回目の水平同期信号に応じて各列のグレー表示した１行目の画素行の複数の画素信号を同時に垂直信号線に読み出す。そして各列から読み出された１行目の画素信号はＡＤＣで行単位でＡ／Ｄ変換されて１Ｈ期間かけて読み出される。次にＮ＋１回目の水平同期信号に応じて各列のグレー表示した２行目の画素行の複数の画素信号を垂直信号線に同時に読み出す。そして各列から読み出された２行目の画素信号はＡＤＣで行単位でＡ／Ｄ変換され１Ｈ期間かけて読み出される。同様にＮ＋２回目は各列の３行目の画素行を読み出し、Ｎ＋３回目は各列の４行目の画素行を読み出す。

図４（ｂ）において、Ｎ回目の水平同期信号に応じて各列のグレー表示した２行目の画素行の複数の画素信号と３行目の画素行の複数の画素信号をそれぞれ同時に垂直信号線に読み出す。そして各列から読み出された２行分の画素信号は２個のＡＤＣで行単位でＡ／Ｄ変換され１Ｈ期間かけて読み出される。次にＮ＋１回目の水平同期信号に応じて各列のグレー表示した４行目の画素行の複数の画素信号と５行目の画素行の複数の画素信号をそれぞれ同時に垂直信号線に読み出す。そして各列から読み出された２行分の画素信号は２個のＡＤＣでそれぞれ行単位でＡ／Ｄ変換され１Ｈ期間かけて読み出される。同様にＮ＋２回目は各列の６，７行目を同時に読み出し、Ｎ＋３回目は各列の８，９行目を同時に読み出す。

また、図４（ｃ）において、Ｎ回目の水平同期信号に応じて各列のグレー表示した２，４，６，８，１０，１２行の画素行の複数の画素信号と１３，１５，１７，１９，２１，２３行の画素行の複数の画素信号を同時に垂直信号線に読み出す。そして各列から読み出された１２行分の画素信号は１２個のＡＤＣでそれぞれ行単位でＡ／Ｄ変換され１Ｈ期間かけて読み出される。そしてＮ＋１回目の水平同期信号に応じて各列の画素のうちグレー表示した１４，１６，１８，２０，２２，２４行の画素行の複数の画素信号と２５，２７，２９，３１，３３，３５行の画素行の複数の画素信号を同時に垂直信号線に読み出す。そして各列から読み出された２行分の画素信号はＡＤＣで行単位でＡ／Ｄ変換され１Ｈ期間かけて読み出される。同様にＮ＋２回目は各列の２６，２８、３０，３２，３４，３６行の画素信号と３７，３９，４１，４３，４５，４７行の画素信号を同時に垂直信号線に読み出す。Ｎ＋３回目は各列の３８，４０，４２，４４，４６，４８行の画素信号と４９，５１，５３，５５，５７，５９行の画素信号を同時に垂直信号線に読み出す。

画素部の構造上、１２行を同時に読み出す場合、各列の６行分の奇数行の画素信号と次の６行分の偶数行の画素信号が同時に読み出されることになる。そこで、ユーザーが視認可能な静止画や動画として成立させるために本実施例では、画素部１１３から読み出した画素信号（画像情報）の並び替える処理を行っている。

図５は、図４示の１２行を同時に読み出す方式にしたがって読み出した画像情報の並び替え方法の一例について記載するタイミングチャートであり、第２並び替え回路１２１による並び替えのみによって画像情報を並び替えている。

図５に示したタイミングチャートの中で、上から順に、水平同期信号がアサートされるタイミング、アサートされたタイミングにしたがって撮像素子１１０から読み出されるタイミングを示している。更に、中段では、第１Ｉ／Ｆ１０２によって転送されるタイミングを示している。また、下段では、第２記憶部１２２に保持される行と、演算部から後段の回路に送信される並び替え後のデータが示されている。

以下説明するように、第２並び替え回路１２１と第２記憶部１２２のみを用いた並び替え処理実現のために、１行目、３行目、５行目、７行目、９行目、１１行目（図５にてドット模様が施されている行）を水平同期信号の１周期分、第２記憶部１２２に保持する。
すなわち、第１のＨ期間（水平期間）では、１行目、３行目、５行目、７行目、９行目、１１行目（図５においてドット模様が施されている部分）を読み出し、Ａ／Ｄ変換してＩ／Ｆ１０２にて転送し、第２記憶部１２２にてそれらを保持する。第２のＨ期間では、２行目、４行目、６行目、８行目、１０行目、１２行目を画素部１１３から読出し、Ａ／Ｄ変換してＩ／Ｆ１０２にて転送する。最後に、第２記憶部１２２で保持していた６行分のデータと交互にマージすることで、元の画素配列パターン（元の行の順番）に戻すように１行目〜１２行目の並び替えを実現する。

並び替えられた画像情報１行目〜１２行目は、後段の演算部１２７にて処理を行ったり、補助記憶装置１３０や表示部１５０に転送したりすることが出来る。
ただし図５に示した並び替え方法では、第２記憶部１２２に６行分のデータを保持する必要がある。画像データの記憶領域が情報処理部ＩＣの回路面積をしばしば逼迫し、情報処理部ＩＣの処理能力のスペックダウンにつながるので、第２記憶部１２２の記憶領域は可能な限り削減したい。

そこで、図６で説明するように、第２記憶部１２２と第２並び替え回路１２１以外に、第１記憶部１１２と第１並び替え回路１１１を活用し、並び替え処理を撮像素子１１０と情報処理部１２０との間で役割分担する。これによって、並び替え処理にかかる記憶領域の面積を撮像素子１１０と情報処理部１２０とで分散させチップ面積の最適化と処理速度の最適化等を実現できる。

図６は、第１実施例の撮像素子１１０側と情報処理部１２０側とで並び替えを役割分担する場合のタイミングチャートである。
図６に示した並び替え方法について以下説明する。
まず、第１のＨ期間で画素部１１３から読み出されＡ／Ｄ変換された画像情報（撮像信号）を第１記憶部１１２にて１行目と３行目の２行分を保持する（ドット模様太枠部分）。同じタイミングで読み出されＡ／Ｄ変換された残りの５行目、７行目、９行目、１１行目は記憶せずそのまま情報処理部１２０に転送する。

第１Ｉ／Ｆ１０２によって情報処理部１２０へ転送されたこの４行分の画像情報は、第２記憶部１２２にて保持しておく。
続いて、第２のＨ期間にて、画素部１１３の２行目、４行目、６行目、８行目、１０行目、１２行目をＡ／Ｄ変換部１１４を介して読出す。このとき、前記第１記憶部１１２に保持しておいた１行目を読み出してから画素部１１３から２行目をＡ／Ｄ変換部１１４を介して読み出す。次いで前記第１記憶部１１２に保持しておいた３行目を読み出してから画素部１１３から４行目をＡ／Ｄ変換部１１４を介して読み出す。これにより１行目〜４行目については画素部１１３の画素配置順（行の順番）に戻すように並び替えた状態で第１Ｉ／Ｆ１０２を経由して情報処理部１２０へ伝送する。

情報処理部１２０が画像情報を第１Ｉ／Ｆ１０２を経由して受信すると、第２記憶部１２２で保持しておいた４行分（５行目、７行目、９行目、１１行目）をＡ／Ｄ変換部１１４から読み出される行信号と交互に読み出す。これにより、５行目〜１２行目についても画素部１１３の画素配置（行の順番）に戻すように並び替えを実現する。すなわち、第２記憶部１２２で保持しておいた５，７，９，１１行目の読み出しと、第２のＨ期間にＡ／Ｄ変換部１１４を介して読み出される６、８，１０，１２行目の画像情報を交互につなぎ合わせる。これによって最終的に１行目から１２行目までの画素部１１３における画素配置に合わせた画像情報を復元することができる。図６に示した並び替え方法の場合、図５の方法に比べて、第２記憶部１２２と第１記憶部１１２に確保する必要のある記憶領域をそれぞれのＩＣチップ面積の制限内に分散させることができるのでそれぞれのチップ面積の最適化を実現できる。また処理能力のスペックダウンや、一部に処理負荷が集中することが減り全体としての処理速度の向上を実現できる。

次に図７を参照して、第２の実施例による、画像情報の並び替え方法について説明する。
図７は、図６に対して、第１並び替え回路１１１と第２並び替え回路１２１とで分担する並び替え行数が異なる。具体的には、第１のＨ期間において、１行目、３行目、５行目の画像情報を第１記憶部１１２にて保持する。この場合、第２記憶部１２２において、７行目、９行目、１１行目の３行分の画像情報のみを保持すればよい。
より一般化すると、Ｘ行分の並び替えをしたい場合、Ｙ行を撮像素子１１０で並び替えるとすると、第１記憶部１１２の記憶領域はＹ行分で、第２記憶部１２２の記憶領域はＸ−Ｙ行であればよいことになる。

つまり、並び替えの行数は、実施例１や実施例２には限定されない。撮像素子１１０や情報処理部１２０の回路規模やスペック上のチップ面積の制限等に応じて、並び替えの行数を適切に分配することができる。これによって、撮像素子１１０や情報処理部１２０それぞれの内部の他の回路の機能をスペックダウンすることなく設計することが可能となる。また、特に撮像素子１１０と情報処理部とを多層配置する場合などにおいては、投影面積を最適化することができる。

次に図８は、実施例３に係る画素部１１３の画素対の構成を示す図であり、図９は画素配列の例を示す図である。図８において、１４０１は光電変換部を構成するフォトダイオード（以下、ＰＤと表記する）であり、受光した被写体からの光をその光量に応じた電荷量の電荷に光電変換する。

画素対１３０６の中には例えばＲフィルタを介した光を受光するＰＤ１４０１を含むＲ画素とＧｂフィルタを介した光を受光するＰＤ１４０１を含むＧｂ画素とが含まれている。それぞれのＰＤ１４０１はアノードが接地され、それぞれのカソードは転送トランジスタ１４０２を介して共通の増幅トランジスタ１４０４のゲートと電気的に接続されている。増幅トランジスタ１４０４のゲートと電気的に繋がったノードは、フローティングディフュージョン部（以下、ＦＤ部という）１４０７を構成しており、第３実施例ではＲ画素とＧｂ画素はＦＤ部１４０７も共用している。図示のトランジスタ１４０２〜１４０５は、例えばＮチャネルのＭＯＳ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）トランジスタである。

リセットトランジスタ１４０３は、そのドレインが画素電源Ｖｄｄに接続され、そのソースがＦＤ部１４０７に接続されている。リセットトランジスタ１４０３は、そのゲートに不図示のリセット信号線を介してリセットパルスＲＳＴが与えることによってオン状態となりＦＤ部１４０７がリセットされる。

ＦＤ部１４０７をリセットした後で、ＲのＰＤ１４０１に接続された転送トランジスタ１４０２に第１ゲート制御線１３０８（図９参照）を介して転送パルスが与えられる。これによって転送トランジスタ１４０２がオン状態となり、ＲのＰＤ１４０１で光電変換された電荷がＦＤ部１４０７に転送される。

選択トランジスタ１４０５は、例えば、そのドレインが増幅トランジスタ１４０４のソースに接続され、そのソースが垂直出力線１４０６に接続されている。選択トランジスタ１４０５は、そのゲートに行選択線１３０７（図９参照）を介して画素対内の２つの画素に対して共通の選択パルスが与えられることによってオン状態となる。このようにＲのＰＤ１４０１で光電変換された電荷がＦＤ部１４０７に転送され、増幅トランジスタ１４０４で増幅されたのち、選択トランジスタ１４０５がオンすることによって垂直出力線１４０６に転送され、ＡＤＣ１３０３、または１３０１に伝送される。

図９に示されるように、画素部１１３は、２次元状に配列された複数の画素を有している。また図８に示されるように隣接する上下の行の一対の画素（画素対）の画素内のリセットトランジスタ１４０３、ＦＤ部１４０７、増幅トランジスタ１４０４と選択トランジスタ１４０５が共通化されている。なお、図において（ｍ、ｎ）はｍ行、ｎ列の画素対１３０６を示す。行選択回路１３０２から画素対１３０６の各行に対して第１ゲート制御線１３０８、第２ゲート選択線１３０５、行選択線１３０７が配線されている。図３と同様、行選択回路１３０２によって行選択線１３０７と第１ゲート制御線１３０８と第２ゲート選択線１３０５を切り替えることによって、画素配列上の任意の画素行を指定することが可能である。図３とは異なり、同時に読み出す行を４行の場合としているため、第１ＡＤＣ１３０３と第２ＡＤＣ１３０１では、それぞれ４行分の画素群のＡ／Ｄ変換を行う。また読み出される先のＡＤＣが列毎によって交互になっている。具体的には、奇数列の画素はそれぞれ第１ＡＤＣ１３０３に読み出され、偶数列の画素は第２ＡＤＣ１３０１に読み出される構造にしている。

図１０は、図８、図９にて説明した画素部構造を有する撮像素子を用いて、第２並び替え回路１２１と第２記憶部１２２のみを用いて並び替えを行う第４実施例の方法を説明する図である。図において、「ｏ」は奇数列の画素（奇数画素）を示しており、「ｅ」は偶数列の画素（偶数画素）を示している。たとえば、「ｏ１」は、１行目の奇数列の画素の群を表している。即ち、１行１列目、１行３列目、１行５列目、１行７列目…の画素の集まりを表す。第１ＡＤＣ１３０３へ奇数列が、第２ＡＤＣ１３０１へ偶数列が読み出され、それぞれ別々にＡ／Ｄ変換される。そのため、図１０のように、偶数列と奇数列が異なるタイミングで出力されることになる。また、構造上、読み出す行の並び順にも特徴がある。たとえば、図１０に示した第１の期間では、１，３，４，６行目を読出し、第２の期間では、０，２，５，７行目を読み出すようになっている。

このように、本実施例では画素の読み出しタイミングが、画素部１１３の物理的画素配置順に対して列方向・行方向の両方ともに入れ替わった状態で出力されることになるため、並び替え回路にて並び替えて元の画素配列順に戻している。すなわち、最初にｏ１、ｏ３、ｏ４、ｏ６の行信号を第２記憶部に記憶し、次にｅ１、ｅ３、ｅ４、ｅ６の行信号を第２記憶部に記憶する。次にｏ０、ｏ２、ｏ５、ｏ７の行信号を第２記憶部に記憶し、次にｅ０、ｅ２、ｅ５、ｅ７の行信号を第２記憶部に記憶して元の画素配列順に戻している。

図１０の場合、情報処理部１２０内部で列方向と行方向の両方を用いて並び替えを行うため、処理が煩雑になるとともに、８行分の画素信号を第２記憶部１２２内部に保持する必要がある。

次に図１１は、撮像素子１１０と情報処理部１２０とで並び替え処理を役割分担する場合の第５実施例のタイミングチャートを示した図である。図１０とは異なり、第１記憶部１１２と第１並び替え回路１１１を用いて列方向の画素配列の復元をするための並び替えを済ました後で情報処理部１２０に行方向の全画素信号を転送する。その後、第２記憶部１２２と第２並び替え回路１２１を用いて行の順番を復元するための並び替えを行っている。

すなわち、第１のＨ期間に第１記憶部１１２にｏ１、ｏ３、ｏ４、ｏ６の行信号を読み出して記憶し、次に第１のＨ期間中にｅ１、ｅ３、ｅ４、ｅ６の行信号を読み出して、例えば一旦前記第１記憶部に記憶する。そのあとであらかじめ記憶したｏ１、ｏ３、ｏ４、ｏ６の行信号の信号と交互に読み出すことによって、行方向について１，３，４，６行の全画素信号をもとの行方向の画素配列の奇数偶数の順番に戻すように並べ替える。そのあとでＩ／Ｆ１０２を介して情報処理部１２０に転送し、第２記憶部で１，３，４，６行の全画素を記憶する。次に第２のＨ期間に、ｏ０、ｏ２、ｏ５、ｏ７の行信号を第１記憶部に記憶し、次に第２のＨ期間内にｅ０、ｅ２、ｅ５、ｅ７の行信号を一旦第１記憶部に記憶する。そのあとで前記第１記憶部から０，２，５，７行の全画素をもとの行方向の画素配列の奇数偶数の順番に戻すように読み出してからＩ／Ｆ１０２を介して情報処理部１２０に転送している。そして第２記憶部で０，２，５，７行の全画素を記憶した後、演算部で行の順番をもとの配列に戻している。このように、撮像素子１１０と情報処理部１２０とで行方向・列方向の並び替え処理を役割分担することで、それぞれの並び替え回路にかかる処理負荷を軽減できるとともに、第１記憶部１１２と第２記憶部１２２の記憶部の面積を分散させることが可能となる。

並び替え処理を第１並び替え回路１１１と第２並び替え回路１２１とで分担することで回路規模の分散や最適化をさせることなどが出来ることを説明してきたが、以下に説明する第６の実施例のようにすればさらなる効果がある。
図１２は、第６の実施例について説明するタイミングチャートである。

図１１の実施例との違いは、情報処理部１２０が、第１Ｉ／Ｆ１０２を介して受信した１、３、４、６行目の画素信号（第１の撮像信号）を、第２記憶部１２２に記憶する際に、第１のＨ期間中に後段の演算部１２７にも転送するようにした点にある。図１０や図１１に示した方法だと、第２記憶部１２２にて１〜８行すべてを並び替えてから後段の演算部１２７に転送していた。しかし、図１２のように、列方向について予め並び替えが済んだ状態で、第１Ｉ／Ｆ１０２を介して受け取ったデータを演算部１２７に転送すれば各種演算（例えばオートフォーカス、画像認識、圧縮符号化等のための演算）のために前倒しで使うことができる。

すなわち、たとえば、撮像装置１００において撮像信号を用いてオートフォーカス演算や画素認識演算や圧縮符号化演算をする場合、水平方向に全画素の順番が復元されている方が好ましい。つまり、第１並び替え回路１１１と第１記憶部１１２を用いて行方向の奇数画素と偶数画素の順番を復元するように並び替えが済んでいれば、第２並び替え回路１２１による行の順番の並び替え中に、上記のような各種演算を行うことができる。したがってそれらの演算を実行するまでの待ち時間を短縮することが可能となる。

言い換えれば、撮像素子１１０の外部ＩＣである後段の信号処理部の処理に合わせて必要な行または列数分の並び替えを第１の並び替え回路による並び替えを先行して行うことで、第２の並べ替え回路での並び替えを待たずに、高速な並列処理が可能となる。高速性が求められる処理としては上述した演算処理以外であってもよく、例えば画角を決定するために表示部に表示するために必要な部分の信号を優先して並び替えることで表示遅延も低減することができる。

次に図１３は、第７実施例に係る並び替え方法を示したタイミングチャート図である。図８、図９に示した画素構造にしたがって画素信号を読み出すが、第４実施例等とは異なる駆動をする。具体的には、水平同期信号に同期した同じ第１のＨ期間内で、第１記憶部１１２に奇数列の行信号ｏ１、ｏ３、ｏ４、ｏ６を読み出して記憶する。そのあとで別の奇数列の行信号ｏ０、ｏ２、ｏ５、ｏ７を読み出して第１の並び替え回路によって並び替えして行順をもとに戻し、次の第２のＨ期間内で、偶数列の画素群を８行分読み出して第１の並び替え回路によって並び替えして行順をもとに戻す。すなわち、第１並び替え回路１１１と第１記憶部１１２を用いて、行の順番（つまり垂直方向の画素の順番）が画素部１１３の画素配列と同じになるように並び替えを行う。続いて、第２記憶部１２２と第２並び替え回路１２１を用いて、列の順番（つまり水平方向の奇数画素と偶数画素の順番）が画素部１１３の画素配列と同じになるように並び替えを行う。こうすることによって、第４実施例と同様に、それぞれの並び替え回路の並び替え処理負荷を軽減できるとともに、それぞれの記憶部の記憶容量を分散させることが可能となる。

次に図１４は、第８実施例に係る撮像装置２００の構成を示すブロック図である。撮像装置１００の違いは、撮像素子１１０と情報処理部１２０の間にデジタルフロントエンド回路１３５が設けられている点にある。
デジタルフロントエンド回路１３５の構成について説明する。
第３受信回路１３８は、第１Ｉ／Ｆ１０２を介して撮像素子１１０から受信したデジタル信号を、デジタルフロントエンド回路１３５内部で処理しやすいデータに変換するための回路である。

第３並び替え回路１３１は、第３受信回路１３８で受信したデジタルデータを並び替えるための回路である。
第３記憶部１３２は、第３並び替え回路１３１による並び替えを実現するためにデータを一時的に保持しておくための記憶部である。
第３送信回路１３９は、第３並び替え回路１３１による並び替え処理が終了後のデジタル画像データを第２Ｉ／Ｆ２０２によって情報処理部１２０に伝送するための信号に変換するための回路である。

第２Ｉ／Ｆ２０２は、第３送信回路１３９によって変換された信号を情報処理部１２０に伝送するためのインターフェースである。
図１４の構成にした場合、画像情報の並び替え処理は、第１並び替え回路１１１、第２並び替え回路１２１と第３並び替え回路１３１の３つの回路で分担されることになる。即ち、撮像装置１００の構成に比べ、並び替え処理にかかる負荷を更に分散させることが可能となる。また、特にデジタルフロントエンド回路１３５を撮像素子と多層配置した場合に効果が大きい。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。また、本発明における制御の一部または全部を上述した実施例の機能を実現するプログラム（ソフトウェア）をネットワーク又は各種記憶媒体を介して撮像装置に供給してもよい。そして撮像装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

１００ ・・・・ 撮像装置
１１０ ・・・・ 撮像素子
１２０ ・・・・ 情報処理部
１３０ ・・・・ 補助記憶装置
１４０ ・・・・ 主記憶装置
１５０ ・・・・ 表示部
１１３ ・・・・ 画素部
１１４ ・・・・ Ａ／Ｄ変換部
１１１ ・・・・ 第１並び替え回路
１１２ ・・・・ 第１記憶部
１１９ ・・・・ 第１送信回路
１１８ ・・・・ ＴＧ
１０１ ・・・・ 駆動制御信号
１０２ ・・・・ 第１Ｉ／Ｆ
１１０ ・・・・ 撮像素子
１１５ ・・・・ 撮影制御部
１２１ ・・・・ 第２並び替え回路
１２２ ・・・・ 第２記憶部
１２３ ・・・・ 第１外部Ｉ／Ｆ
１２４ ・・・・ 第２外部Ｉ／Ｆ
１２５ ・・・・ 第３外部Ｉ／Ｆ
１２６ ・・・・ 補正回路
１２７ ・・・・ 演算部
１２８ ・・・・ 中央演算処理部
１２９ ・・・・ 第２受信回路
１３５・・・・デジタルフロントエンド回路

Claims (17)

1. 撮像素子と情報処理部とを有する撮像装置であって、
   前記撮像素子は、
   複数の画素が二次元状に配置された画素部と、
   画素部から出力された撮像信号の少なくとも一部を記憶する第１のメモリと、
   前記第１のメモリに記憶された信号を用いて撮像信号の行または列の順番を並び替える第１の並び替え回路と、
   を有し、
   前記情報処理部は、
   前記撮像素子の前記第１の並び替え回路により並び替えられて出力された撮像信号の少なくとも一部を受け取り記憶する第２のメモリと、
   前記第２のメモリに記憶された信号を用いて撮像信号の行または列の順番を並び替える第２の並び替え回路と、
   を有し、
   前記画素部から複数行の撮像信号を同時に読み出す場合に、前記第１の並び替え回路による並び替えをした後で、前記第２の並び替え回路による並び替えをすることにより前記画素部における前記複数の画素の配列を復元するように並び替え制御する制御手段と、
   を有することを特徴とする撮像装置。
2. 前記撮像素子はＩＣチップとして構成されていることを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子は積層型の撮像素子であって、
   前記画素部と前記第１の並び替え回路とを別の層に配置したことを特徴とする請求項２に記載の撮像装置。
4. 前記撮像素子は、積層型の撮像素子であって、
   前記第１の並び替え回路と、
   前記第１メモリを互いに別の層に配置したことを特徴とする請求項１または２に記載の撮像装置。
5. 前記撮像装置は、さらに
   第３の並び替え回路と、
   撮像信号を記憶する第３メモリと、を有するデジタルフロントエンド回路を前記撮像素子と前記情報処理部の間に接続することを特徴とする請求項１記載の撮像装置。
6. 前記第１の並び替え回路にて前記列方向の画素信号の並び替えを行い、前記第２の並び替え回路にて前記行方向の画素信号の並び替えを行う事を特徴とする請求項１から請求項５のうちいずれか一項に記載の撮像装置。
7. 前記第１の並び替え回路にて前記行方向の画素信号の並び替えを行い、前記第２の並び替え回路にて前記列方向の画素信号の並び替えを行う事を特徴とする請求項１から請求項５のうちいずれか一項に記載の撮像装置。
8. 前記第１の並び替え回路にて前記行方向の画素信号の並び替えを行なうことによって得られた第１の撮像信号に対して前記第２の並び替え回路によって前記列方向の画素信号の並び替えを行う間に、前記第１の撮像信号を用いて所定の他の信号処理を実行することを特徴とする請求項７に記載の撮像装置。
9. 前記他の信号処理はオートフォーカスのための演算、画像認識のための演算、圧縮符号化のための演算の少なくとも一つを含むこと特徴とする請求項８に記載の撮像装置。
10. 前記画素内の隣接する複数の画素は画素内の一部回路を共用していることを特徴とする請求項１から９のうちいずれか一項に記載の撮像装置。
11. 前記一部回路はフローティングディフュージョン領域を含むことを特徴とする請求項１０に記載の撮像装置。
12. 前記情報処理部は前記撮像素子とは別のＩＣチップであることを特徴とする請求項１から１１のうちいずれか一項に記載の撮像装置。
13. 複数の画素が２次元状に配置され、隣接する複数の画素が画素内の一部回路を共用している画素部と、
    前記読み出し手段によって画素部から出力された撮像信号の少なくとも一部を記憶するメモリと、
    前記メモリに記憶された信号を用いて撮像信号の行または列の順番を並び替える並び替え回路と、
    を有し、
    前記画素部から所定数以上の複数行の撮像信号を同時に読み出す場合に、少なくとも前記並び替え回路により前記画素部における前記複数の画素の配列を復元するように並び替え制御する制御手段と、
    を有することを特徴とする撮像装置。
14. 前記メモリの少なくとも一部と前記並べ替え回路の少なくとも一部は前記画素部に対して積層された半導体基板に配置されていることを特徴とする請求項１３に記載の撮像装置。
15. 前記画素部を有する撮像素子のＩＣチップと、前記撮像素子から出力された撮像信号を処理する情報処理部のＩＣチップとを有し、前記メモリと前記並べ替え回路は、前記撮像素子のＩＣチップと、前記撮像素子から出力された撮像信号を処理する情報処理部のＩＣチップにそれぞれ配置されていることを特徴とする請求項１３または１４に記載の撮像装置。
16. 前記撮像素子のＩＣチップに配置された前記メモリと前記並べ替え回路は第１の並べ替え処理を行い、前記情報処理部のＩＣチップに配置された前記メモリと前記並べ替え回路は前記第１の並べ替え処理とは異なる第２の並べ替え処理を行うように制御されることを特徴とする請求項１５に記載の撮像装置。
17. 前記一部回路はフローティングディフュージョン領域を含むことを特徴とする請求項１３から１６のうちいずれか一項に記載の撮像装置。
    
    

Images