JP2015185927A - 撮像素子、制御方法、並びに、撮像装置 - Google Patents

撮像素子、制御方法、並びに、撮像装置 Download PDF

Info

Publication number
JP2015185927A
JP2015185927A JP2014058761A JP2014058761A JP2015185927A JP 2015185927 A JP2015185927 A JP 2015185927A JP 2014058761 A JP2014058761 A JP 2014058761A JP 2014058761 A JP2014058761 A JP 2014058761A JP 2015185927 A JP2015185927 A JP 2015185927A
Authority
JP
Japan
Prior art keywords
processing
unit
digital
signal
analog
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014058761A
Other languages
English (en)
Inventor
岡本　晃一
Koichi Okamoto
晃一 岡本
淳 橋爪
Atsushi Hashizume
淳 橋爪
慶太 佐々木
Keita Sasaki
慶太 佐々木
中島　務
Tsutomu Nakajima
務 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014058761A priority Critical patent/JP2015185927A/ja
Priority to TW104104161A priority patent/TW201540070A/zh
Priority to PCT/JP2015/056599 priority patent/WO2015141491A1/ja
Publication of JP2015185927A publication Critical patent/JP2015185927A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】画質の低減を抑制する。【解決手段】撮像素子は、複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す画素アレイ部１１１と、アナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理部１１２と、前記画像データを格納するフレームメモリ１１５と、前記記憶部から前記画像データを読み出して信号処理する信号処理部１２２と、処理実行タイミングを制御し、読み出し処理、および、アナログ処理の内、少なくともいずれか一方への影響が少ないタイミングでデジタル処理を実行させるタイミング制御部１２１とを備える。【選択図】図３

Description

本技術は、撮像素子、制御方法、並びに、撮像装置に関し、特に、画質の低減を抑制することができるようにした撮像素子、制御方法、並びに、撮像装置に関する。
従来のイメージセンサには、フレーム格納が可能なメモリ（DRAM（Dynamic Random Access Memory）など）や十分な量のライン格納が可能なメモリ（SRAM（Static Random Access Memory）など）がなかった。そのため、イメージセンサにおいて行われる、画素、アナログ処理、デジタル処理、出力処理等は、処理遅延のみが付加された同一のタイミングで実行されていた。ただし、この場合、デジタル処理は、主に、画素やアナログ処理の制御に関する処理であるため、その動作が画素やアナログ処理へ影響を与えることは少なかった。
ところで、イメージセンサにおける、画素アレイ部の各画素からの信号の読み出し方法として、画素から読み出したアナログ画素信号をデジタル化する信号処理部の後段に不揮発メモリを設け、当該不揮発メモリを用いて高速読み出しを実現する技術があった（例えば、特許文献１参照）。
この場合も、イメージセンサにおいて行われるデジタル処理は、信号読み出しに関する処理のみであり、その動作が画素やアナログ処理へ影響を与えることは少なかった。
特開２００４−６４４１０号公報
しかしながら、近年、イメージセンサの高機能化（付加価値）に伴い、デジタル処理の処理量が増加してきた。そのため、デジタル処理の動作がノイズ源となり画素やアナログ処理へ画質（品質）面で影響を与える可能性が大きくなってきた。デジタル処理の機能On/Offや入力画像に依存してノイズ源が発生することにより、出力画像のレベルが変化し、帯・筋・むらとして劣化の影響が出てしまうおそれがあった。
本技術は、このような状況に鑑みて提案されたものであり、このようなデジタル処理による画質の低減を抑制することができるようにすることを目的とする。
本技術の一側面は、画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す画素アレイと、アナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理部と、前記画像データを格納する記憶部と、前記記憶部から前記画像データを読み出して信号処理する信号処理部と、処理実行タイミングを制御し、前記画素アレイによる前記画素信号を読み出す読み出し処理、および、前記アナログ処理部による前記アナログの画素信号に対する信号処理であるアナログ処理の内、少なくともいずれか一方への影響が少ないタイミングで、前記信号処理部による前記デジタルの画像データに対する信号処理であるデジタル処理を実行させる制御部とを備える撮像素子である。
前記制御部は、前記アナログ処理が実行されていない期間に前記デジタル処理を実行させることができる。
前記制御部は、前記読み出し処理が実行されていない期間に前記デジタル処理を実行させることができる。
前記制御部は、前記アナログ処理がノイズの影響を受け難い期間に前記デジタル処理を実行させることができる。
前記アナログ処理は、前記アナログの画素信号を前記デジタルの画像データに変換するA/D変換処理を含むことができる。
前記制御部は、前記A/D変換処理における、前記画素信号と所定の参照信号との比較中に前記デジタル処理を停止させることができる。
前記アナログ処理は、前記A/D変換処理を用いた相関二重サンプリングを含み、前記制御部は、P相とD相のそれぞれについて、前記A/D変換処理における、前記画素信号と所定の参照信号との比較中に前記デジタル処理を停止させることができる。
前記デジタル処理は、前記信号処理した前記画像データを前記記憶部に格納させ、出力する前記画像データを前記記憶部から読み出し、前記記憶部から読み出された前記画像データを出力する出力部をさらに備え、前記制御部は、処理実行タイミングを制御し、前記出力部による前記画像データを出力する出力処理への影響が少ないタイミングで前記デジタル処理を実行させることができる。
前記制御部は、前記出力処理が実行されていない期間に前記デジタル処理を実行させることができる。
前記制御部は、処理実行タイミングを制御し、前記読み出し処理および前記アナログ処理の内、少なくともいずれか一方への影響が少ないタイミングで、前記記憶部の制御処理を実行させることができる。
前記制御部は、前記アナログ処理が実行されていない期間に前記記憶部の制御処理を実行させることができる。
前記制御部は、前記読み出し処理が実行されていない期間に前記記憶部の制御処理を実行させることができる。
前記記憶部は、フレームメモリであるようにすることができる。
消費電力を検出する消費電力検出部をさらに備え、前記制御部は、前記消費電力検出部による前記消費電力の検出結果に基づいて、前記デジタル処理の処理実行タイミングを制御することができる。
前記制御部は、前記消費電力が小さい期間に前記デジタル処理を実行させることができる。
各処理部のデジタル電源を利用して駆動する回路は、共通のデジタル電源を利用することができる。
前記画素アレイ、前記アナログ処理部、前記信号処理部、および前記制御部は、互いに同一の半導体基板に形成されることができる。
前記記憶部も前記半導体基板に形成されるようにすることができる。
本技術の一側面は、また、処理実行タイミングを制御し、画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す読み出し処理、並びに、前記画素アレイの各画素から読み出されたアナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理の内、少なくともいずれか一方への影響が少ないタイミングで、前記デジタルの画像データに対する信号処理であるデジタル処理を実行させる制御方法である。
本技術の他の側面は、被写体を撮像する撮像部と、前記撮像部による撮像により得られた画像データを画像処理する画像処理部とを備え、前記撮像部は、画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す画素アレイと、アナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理部と、前記画像データを格納する記憶部と、前記記憶部から前記画像データを読み出して信号処理する信号処理部と、処理実行タイミングを制御し、前記画素アレイによる前記画素信号を読み出す読み出し処理、および、前記アナログ処理部による前記アナログの画素信号に対する信号処理であるアナログ処理の内、少なくともいずれか一方への影響が少ないタイミングで、前記信号処理部による前記デジタルの画像データに対する信号処理であるデジタル処理を実行させる制御部とを備える撮像装置である。
本技術の一側面においては、撮像素子において、画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す読み出し処理、並びに、前記画素アレイの各画素から読み出されたアナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理の内、少なくともいずれか一方への影響が少ないタイミングで、前記デジタルの画像データに対する信号処理であるデジタル処理が実行される。
本技術の他の側面においては、撮像装置において、被写体が撮像され、画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号が読み出され、アナログの前記画素信号に対して信号処理が行われ、デジタルの画像データに変換されて記憶部に格納され、その記憶部から画像データが読み出されて信号処理され、読み出し処理とアナログ処理の内、少なくともいずれか一方への影響が少ないタイミングで、デジタル処理が実行され、以上のような撮像により得られた画像データが画像処理される。
本技術によれば、撮像画像を得ることが出来る。また本技術によれば、撮像画像の画質の低減を抑制することができる。
イメージセンサの主な構成例を示す図である。 デジタル処理の動作による影響の例を説明する図である。 イメージセンサの主な構成例を示すブロック図である。 各処理部で実行される処理の例を示す図である。 イメージセンサの主な構成例を示すブロック図である。 単位画素の主な構成例を示す図である。 制御信号の例を示す図である。 制御処理の流れの例を説明するフローチャートである。 フレーム時間分離の例を説明する図である。 デジタル制御処理の流れの例を説明するフローチャートである。 ライン時間分離の例を説明する図である。 デジタル制御処理の流れの例を説明するフローチャートである。 DRAM制御の例を示す図である。 フレームメモリ制御処理の流れの例を説明するフローチャートである。 イメージセンサの主な構成例を示すブロック図である。 デジタル制御処理の様子の例を説明する図である。 制御処理の流れの例を説明するフローチャートである。 デジタル制御処理の流れの例を説明するフローチャートである。 端子の構成例を示す図である。 イメージセンサの物理構成の例を示す図である。 撮像装置の主な構成例を示す図である。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（イメージセンサ）
２．第２の実施の形態（イメージセンサ）
３．第３の実施の形態（イメージセンサ）
４．第４の実施の形態（撮像装置）
＜１．第１の実施の形態＞
＜デジタル処理の増加＞
従来のイメージセンサで行われるデジタル処理は、主に、画素やアナログ処理の制御に関する処理であるため、その動作が画素やアナログ処理へ影響を与えることは少なかった。そのため、従来のイメージセンサでは、画素、アナログ処理、デジタル処理、出力処理等の各処理は、処理遅延のみが付加された同一のタイミングで実行されていた。
ところで、特許文献１には、イメージセンサにおける、画素アレイ部の各画素からの信号の読み出し方法として、画素から読み出したアナログ画素信号をデジタル化する信号処理部の後段に不揮発メモリを設け、当該不揮発メモリを用いて高速読み出しを実現する方法が記載されている。しかしながら、この場合も、信号読み出しに関する処理以外のデジタル処理は行われておらず、処理遅延を除くと、画素、アナログ処理、デジタル処理等は同一のタイミングで実行されているが、その動作が画素やアナログ処理へ影響を与えることは少なかった。
近年、イメージセンサの高機能化（付加価値）に伴い、イメージセンサ内において、画素信号をA/D変換するだけでなく、そのA/D変換されたデジタルの画像データに対してデジタル処理が行われるようになってきた。例えば図１Ａに示されるイメージセンサ１０のように、画素やアナログ回路等が設けられる画素・アナログ処理部１１に加え、デジタル回路等が設けられるデジタル処理部１２が設けられるようになってきた。そして、そのデジタル処理への要求は高まる一方であり、より複雑な処理やより多様な処理を行うことが求められている。そのため、デジタル処理の処理量は増大し、デジタル回路の回路規模や消費電力量は、増加の一途を辿っている。
しかしながら、このようにイメージセンサで行われるデジタル処理の規模が増大すると、そのデジタル処理の動作がノイズ源となり、画素やアナログ処理へ画質（品質）面で影響を与える可能性が大きくなってきた。
例えば、図１Ｂに示されるように、画素・アナログ処理部１１の一部または全部の回路が、デジタル処理部１２と共通の電源（VDIG）やグランド（DGND）を有する場合がある。このような場合、デジタル処理部１２（デジタル回路）の動作によるデジタル電源・電流の変動がノイズとして、その電源配線２１やグランド配線２２を介して画素・アナログ処理部１１（画素信号の読出し回路やアナログ回路等）に伝搬するおそれがあった。
また、例えば、電源配線２１やグランド配線２２と画素・アナログ処理部１１の（アナログ回路の）配線との間で容量性のカップリングや相互インダクタンス（電流磁場）によるカップリングが発生し、デジタル処理部１２の動作によるノイズが画素・アナログ処理部１１に伝搬する恐れがあった。
このように、デジタル処理の機能On/Offや入力画像に依存してノイズ源が発生することにより、画像データにノイズ成分が混入し、結果として出力画像において、帯・筋・むらとして劣化の影響が出てしまうおそれがあった。つまり、デジタル処理がノイズ源となることにより、出力画像の画質が低減するおそれがあった。
例えば、１フレーム分の処理において、従来のイメージセンサでは、画素信号の読み出し処理、アナログ処理、デジタル処理、および出力処理の各処理の処理タイミングが、図２Ａに示されるように互いに重複していたが、この場合、デジタル処理において、容量性のカップリングや相互インダクタンスによるカップリングによるクロストークノイズや、電源ノイズが発生すると、そのノイズが、そのデジタル処理と並行して実行されている画素読み出し、アナログ処理、出力処理に混入（伝搬）し、出力画像の画質が低減するおそれがあった。
また、例えば、アナログ処理では、図２Ｂに示されるように、A/D変換における画素信号と所定の参照信号との比較中がノイズの影響を受けやすい。このような期間にアナログ処理と並行してデジタル処理が行われると、ノイズが伝搬し易く、出力画像の画質がより大きく低減するおそれがあった。
＜フロー制御＞
そこで、イメージセンサに、フレームや十分な量のラインを格納することができる大容量の記憶部を設け、その記憶部を用いてデジタル処理を、読み出し処理やアナログ処理とは独立に制御（フロー制御）するようにする。そして、読み出し処理やアナログ処理の内、少なくともいずれか一方への影響が少ないタイミングでデジタル処理を実行させるように、各処理の動作タイミングを制御するようにする。換言するに、読み出し処理やアナログ処理の内、少なくともいずれか一方への影響が大きい期間に、デジタル処理を停止するようにする。
ここで、読み出し処理は、例えば、画素アレイの各画素から画素信号を読み出す処理であり、アナログ処理は、例えば、画素から読み出されたアナログの画素信号に対する信号処理であり、デジタル処理は、例えば、アナログの画素信号がA/D変換されたデジタルの画像データに対する信号処理である。
また、記憶部は、例えばDRAM（Dynamic Random Access Memory）やSRAM（Static Random Access Memory）等、任意の記憶媒体により構成される。
このようにすることにより、デジタル処理の動作によるノイズの、読み出し処理またはアナログ処理への影響を低減させることができるので、出力画像の画質の低減を抑制することができる。
なお、デジタル処理を停止する代わりに、デジタル処理の処理量を低減させるようにしてもよい。例えば、読み出し処理やアナログ処理の内、少なくともいずれか一方への影響が大きい期間において、その一部のみデジタル処理の実行を停止する（換言するに、デジタル処理が実行される期間を間引く）ようにしてもよい。
また、記憶部を用いてデジタル処理を、出力処理に対しても独立に制御（フロー制御）するようにし、その出力処理への影響が少ないタイミングでデジタル処理を実行させるようにしてもよい。換言するに、出力処理への影響が大きい期間に、デジタル処理を停止するようにしてもよい。
ここで、出力処理は、例えば、画像データを撮像素子の外部に出力する処理である。
このようにすることにより、デジタル処理の動作によるノイズの、出力処理への影響を低減させることができるので、出力画像の画質の低減を抑制することができる。
＜イメージセンサ＞
このような本技術を適用した撮像素子の一実施の形態であるイメージセンサの構成例を、図３に示す。図３に示されるイメージセンサ１００は、被写体からの光を光電変換して画像データとして出力するデバイスである。例えば、イメージセンサ１００は、CMOS（Complementary Metal Oxide Semiconductor）を用いたCMOSイメージセンサ、CCD（Charge Coupled Device）を用いたCCDイメージセンサ等として構成される。
図３に示されるように、イメージセンサ１００は、画素アレイ部１１１、アナログ処理部１１２、デジタル処理部１１３、メモリバス１１４、フレームメモリ１１５、および出力部１１６を有する。
画素アレイ部１１１は、フォトダイオード等の光電変換素子を有する画素構成（単位画素）が平面状または曲面状に配置される画素領域である。画素アレイ部１１１の各単位画素は、被写体からの光を受光し、その入射光を光電変換して電荷を蓄積し、所定のタイミングにおいて、その電荷を画素信号として出力する。読み出し処理は、このような単位画素から画素信号を読み出す処理である。
アナログ処理部１１２は、画素アレイ部１１１の各単位画素から読み出されたアナログの画素信号に対してアナログ処理を行う。このアナログ処理には、例えば、画素信号をデジタルの画像データに変換するA/D変換処理が含まれる。
デジタル処理部１１３は、アナログ処理部１１２によりA/D変換されたデジタルの画像データに対して信号処理やタイミング制御等のロジック処理を行う。図３に示されるように、デジタル処理部１１３は、タイミング制御部１２１および信号処理部１２２を有する。
タイミング制御部１２１は、画素アレイ部１１１、アナログ処理部１１２、信号処理部１２２、および出力部１１６の動作タイミングを制御する。信号処理部１２２は、アナログ処理部１１２によりA/D変換されたデジタルの画像データに対して信号処理を行う。このデジタル処理には、例えば、図４に示されるように、画素並び替え処理や黒レベル処理等のセンサー機能の1次処理、並びに、HDR（High Dynamic Range）処理や解像度やアスペクト比を変換するスケーリング処理等の画像処理の2次処理、並びに、出力制御等の3次処理等が含まれる。
また、信号処理部１２２は、画像データのフレームメモリ１１５への書き込みや読み出しを行う。例えば、画像データの書き込みを行う場合、信号処理部１２２は、画像データをメモリバス１１４を介してフレームメモリ１１５に供給する。また、画像データの読み出しを行う場合、信号処理部１２２は、所望の画像データをフレームメモリ１１５に対して要求し、メモリバス１１４を介してその画像データを取得する。さらに、信号処理部１２２は、画像データを出力させる出力制御処理を行う。例えば、画像データをイメージセンサ１００の外部に出力する場合、信号処理部１２２は、その画像データを、フレームメモリ１１５からメモリバス１１４を介して取得し、出力部１１６に供給する。
メモリバス１１４は、デジタル処理部１１３（信号処理部１２２）とフレームメモリ１１５との間に設けられたデータ伝送路である。フレームメモリ１１５に格納されるデータ（画像データ等）は、このメモリバス１１４を介して伝送される。
フレームメモリ１１５は、上述した記憶部の一実施の形態であり、１フレーム以上の画像データを格納することができる容量を有する記憶媒体である。フレームメモリ１１５は、例えばDRAMを用いて形成される。もちろん、SRAMやフラッシュメモリ等のその他の半導体メモリを用いるようにしてもよい。フレームメモリ１１５は、信号処理部１２２からメモリバス１１４を介して供給される画像データを格納する。また、フレームメモリ１１５は、信号処理部１２２の要求に応じて、格納している画像データを、メモリバス１１４を介して信号処理部１２２に供給する。つまり、フレームメモリ１１５は、画素アレイ部１１１から読み出された画素信号から生成された画像データを格納する。
出力部１１６は、例えば、高速I/F(MIPI（Mobile Industry Processor Interface）)やI/Oセル等よりなり、信号処理部１２２を介してフレームメモリ１１５から取得した画像データを、イメージセンサ１００の外部に出力する。
このようにイメージセンサ１００は、フレームメモリ１１５を有する。タイミング制御部１２１は、このフレームメモリ１１５を利用して、信号処理部１２２におけるデジタルの画像データに対する信号処理であるデジタル処理を、画素アレイ部１１１における画素信号を読み出す読み出し処理や、アナログ処理部１１２におけるアナログの画素信号に対する信号処理であるアナログ処理に対して独立に実行させるようにする（フロー制御を行う）。
そして、タイミング制御部１２１は、読み出し処理やアナログ処理の内、少なくともいずれか一方への影響が少ないタイミングでデジタル処理を実行させるように、各処理の動作タイミングを制御する。換言するに、タイミング制御部１２１は、読み出し処理やアナログ処理の内、少なくともいずれか一方への影響が大きい期間に、デジタル処理を停止させる。
このようにすることにより、デジタル処理の動作によるノイズの、読み出し処理またはアナログ処理への影響を低減させることができる。
なお、タイミング制御部１２１は、このフレームメモリ１１５を利用して、デジタル処理を、出力部１１６における画像データを出力する出力処理に対しても独立に実行させるようにしてもよい。
そして、タイミング制御部１２１は、その出力処理への影響が少ないタイミングでデジタル処理を実行させるように、各処理の動作タイミングを制御するようにしてもよい。換言するに、タイミング制御部１２１は、出力処理への影響が大きい期間に、デジタル処理を停止させるようにしてもよい。
このようにすることにより、デジタル処理の動作によるノイズの、出力処理への影響を低減させることができる。
つまり、イメージセンサ１００は、出力画像の画質の低減を抑制することができる。
＜ラインメモリ＞
なお、フレームメモリ１１５の代わりにラインメモリを用いるようにしてもよい。図５にその場合のイメージセンサ１００の主な構成例を示す。図５の例の場合、イメージセンサ１００は、メモリバス１１４およびフレームメモリ１１５の代わりに、ラインメモリ１２３およびラインメモリ１２４を有する。
ラインメモリ１２３およびラインメモリ１２４は、上述した記憶部の一実施の形態であり、１ライン以上の画像データを格納することができる容量を有する記憶媒体である。ラインメモリ１２３およびラインメモリ１２４の記憶容量は、十分に多くのライン数の画像データを格納することができれば（十分に大容量であれば）、任意である。例えば、ラインメモリ１２３およびラインメモリ１２４がそれぞれ１フレーム分以上のライン数を記憶することができるようにしてもよい。換言するに、このラインメモリ１２３およびラインメモリ１２４をそれぞれフレームメモリとすることもできる。なお、ラインメモリ１２３の記憶容量とラインメモリ１２４の記憶容量とが同一であってもよいし、同一でなくてもよい。以上のように、記憶部の構成は任意である。
ラインメモリ１２３およびラインメモリ１２４は、例えばSRAMを用いて形成される。もちろん、DRAMやフラッシュメモリ等のその他の半導体メモリを用いるようにしてもよい。ラインメモリ１２３とラインメモリ１２４とが互いに同種の半導体メモリにより形成されるようにしてもよいし、互いに異なる種類の半導体メモリにより形成されるようにしてもよい。
ラインメモリ１２３は、アナログ処理部１１２と信号処理部１２２との間に形成される。ラインメモリ１２３は、アナログ処理部１１２から出力されるデジタルの画像データを所定ライン数分記憶する。ラインメモリ１２３は、所定のタイミングにおいて、記憶している画像データを信号処理部１２２に供給する。このとき、ラインメモリ１２３は、記憶している画像データのラインの内、一部のラインを信号処理部１２２に供給するようにしてもよいし、記憶している全ラインを信号処理部１２２に供給するようにしてもよい。
信号処理部１２２は、ラインメモリ１２３から読み出した所定ライン数分の画像データに対して信号処理（デジタル処理）を施し、処理後の画像データをラインメモリ１２４に供給し、記憶させる。
ラインメモリ１２４は、デジタル処理部１１３と出力部１１６との間に形成される。ラインメモリ１２４は、デジタル処理部１１３から出力されるデジタル処理された画像データを所定ライン数分記憶する。ラインメモリ１２４は、所定のタイミングにおいて、記憶している画像データを出力部１１６に供給する。このとき、ラインメモリ１２４は、記憶している画像データのラインの内、一部のラインを出力部１１６に供給するようにしてもよいし、記憶している全ラインを出力部１１６に供給するようにしてもよい。
タイミング制御部１２１は、このラインメモリ１２３を利用して、信号処理部１２２におけるデジタルの画像データに対する信号処理であるデジタル処理を、画素アレイ部１１１における画素信号を読み出す読み出し処理や、アナログ処理部１１２におけるアナログの画素信号に対する信号処理であるアナログ処理に対して独立に実行させるようにする（フロー制御を行う）。
そして、タイミング制御部１２１は、読み出し処理やアナログ処理の内、少なくともいずれか一方への影響が少ないタイミングでデジタル処理を実行させるように、各処理の動作タイミングを制御する。換言するに、タイミング制御部１２１は、読み出し処理やアナログ処理の内、少なくともいずれか一方への影響が大きい期間に、デジタル処理を停止させる。
このようにすることにより、デジタル処理の動作によるノイズの、読み出し処理またはアナログ処理への影響を低減させることができる。
なお、タイミング制御部１２１は、ラインメモリ１２４を利用して、デジタル処理を、出力部１１６における画像データを出力する出力処理に対しても独立に実行させるようにしてもよい。
そして、タイミング制御部１２１は、その出力処理への影響が少ないタイミングでデジタル処理を実行させるように、各処理の動作タイミングを制御するようにしてもよい。換言するに、タイミング制御部１２１は、出力処理への影響が大きい期間に、デジタル処理を停止させるようにしてもよい。
このようにすることにより、デジタル処理の動作によるノイズの、出力処理への影響を低減させることができる。
つまり、イメージセンサ１００は、この場合も、図３の場合と同様に、出力画像の画質の低減を抑制することができる。
＜単位画素構成＞
ここで、画素アレイ部１１１に形成される各単位画素の主な構成の例を図６に示す。画素アレイ部１１１に形成される各単位画素は、図６に示される例のような、基本的に互いに同一の構成を有する。図６に示される例の場合、単位画素１３１は、フォトダイオード１４１、読み出しトランジスタ１４２、リセットトランジスタ１４３、増幅トランジスタ１４４、およびセレクトトランジスタ１４５を有する。
フォトダイオード（PD）１４１は、受光した光をその光量に応じた電荷量の光電荷（ここでは、光電子）に光電変換してその光電荷を蓄積する。フォトダイオード１４１のアノード電極は画素領域のグランド（画素グランド）に接続され、カソード電極は読み出しトランジスタ１４２を介してフローティングディフュージョン（FD）に接続される。
読み出しトランジスタ１４２は、フォトダイオード１４１からの光電荷の読み出しを制御する。読み出しトランジスタ１４２は、ドレイン電極がフローティングディフュージョンに接続され、ソース電極がフォトダイオード１４１のカソード電極に接続される。また、読み出しトランジスタ１４２のゲート電極には、画素駆動部（図示せず）から制御信号TRGが供給される。制御信号TRG（すなわち、読み出しトランジスタ１４２のゲート電位）がオフ状態のとき、フォトダイオード１４１からの光電荷の読み出しが行われない（フォトダイオード１４１において光電荷が蓄積される）。制御信号TRG（すなわち、読み出しトランジスタ１４２のゲート電位）がオン状態のとき、フォトダイオード１４１に蓄積された光電荷が読み出され、フローティングディフュージョン（FD）に供給される。
リセットトランジスタ１４３は、フローティングディフュージョン（FD）の電位をリセットする。リセットトランジスタ１４３は、ドレイン電極が電源電位に接続され、ソース電極がフローティングディフュージョン（FD）に接続される。また、リセットトランジスタ１４３のゲート電極には、画素駆動部（図示せず）から制御信号RSTが供給される。制御信号RST（すなわち、リセットトランジスタ１４３のゲート電位）がオフ状態のとき、フローティングディフュージョン（FD）は電源電位と切り離されている。制御信号RST（すなわち、リセットトランジスタ１４３のゲート電位）がオン状態のとき、フローティングディフュージョン（FD）の電荷が電源電位に捨てられ、フローティングディフュージョン（FD）がリセットされる。
増幅トランジスタ１４４は、フローティングディフュージョン（FD）の電位変化を増幅し、電気信号（アナログ信号）として出力する。増幅トランジスタ１４４は、ゲート電極がフローティングディフュージョン（FD）に接続され、ドレイン電極が電源電位に接続され、ソース電極がセレクトトランジスタ１４５のドレイン電極に接続されている。例えば、増幅トランジスタ１４４は、リセットトランジスタ１４３によってリセットされたフローティングディフュージョン（FD）の電位をリセット信号（リセットレベル）としてセレクトトランジスタ１４５に出力する。また、増幅トランジスタ１４４は、読み出しトランジスタ１４２によって光電荷が転送されたフローティングディフュージョン（FD）の電位を光蓄積信号（信号レベル）としてセレクトトランジスタ１４５に出力する。
セレクトトランジスタ１４５は、増幅トランジスタ１４４から供給される電気信号の垂直信号線VSLへの出力を制御する。セレクトトランジスタ１４５は、ドレイン電極が増幅トランジスタ１４４のソース電極に接続され、ソース電極が垂直信号線VSLに接続されている。また、セレクトトランジスタ１４５のゲート電極には、画素駆動部（図示せず）から制御信号SELが供給される。制御信号SEL（すなわち、セレクトトランジスタ１４５のゲート電位）がオフ状態のとき、増幅トランジスタ１４４と垂直信号線VSLは電気的に切り離されている。したがって、この状態のとき、当該単位画素から画素信号が出力されない。制御信号SEL（すなわち、セレクトトランジスタ１４５のゲート電位）がオン状態のとき、当該単位画素が選択状態となる。つまり、増幅トランジスタ１４４と垂直信号線VSLが電気的に接続され、増幅トランジスタ１４４から出力される信号が、当該単位画素の画素信号として、垂直信号線VSLに供給される。すなわち、当該単位画素から画素信号が読み出される。
＜制御信号＞
タイミング制御部１２１は、制御信号を信号処理部１２２に供給することにより、信号処理部１２２による信号処理（デジタル処理）の動作を制御する。
例えば、図７Ａの例のように、タイミング制御部１２１が、データ出力を制御するデータイネーブル信号（DATA_EN）を信号処理部１２２に供給するようにしてもよい。この場合、データイネーブル信号（DATA_EN）が"L(Low)"のとき、信号処理部１２２は、データ出力（DATA）を停止する。
したがって、例えば、タイミング制御部１２１は、信号処理部１２２に供給するデータイネーブル信号（DATA_EN）を"L(Low)"とし、読み出し処理やアナログ処理の内、少なくともいずれか一方への影響が少ない期間のみ、そのデータイネーブル信号（DATA_EN）を"H(High)"とする。また、例えば、タイミング制御部１２１は、信号処理部１２２に供給するデータイネーブル信号（DATA_EN）を"H(High)"とし、読み出し処理やアナログ処理の内、少なくともいずれか一方への影響が大きい期間のみ、そのデータイネーブル信号（DATA_EN）を"L(Low)"とする。
また、例えば、図７Ｂの例のように、タイミング制御部１２１が、信号処理部１２２のクロック信号を制御するクロックイネーブル信号（CLK_EN）を信号処理部１２２に供給するようにしてもよい。この場合、クロックイネーブル信号（CLK_EN）が"L(Low)"のとき、信号処理部１２２へのクロック信号（CLK）の供給が停止する。
したがって、例えば、タイミング制御部１２１は、信号処理部１２２に供給するクロックイネーブル信号（CLK_EN）を"L(Low)"とし、読み出し処理やアナログ処理の内、少なくともいずれか一方への影響が少ない期間のみ、そのクロックイネーブル信号（CLK_EN）を"H(High)"とする。また、例えば、タイミング制御部１２１は、信号処理部１２２に供給するクロックイネーブル信号（CLK_EN）を"H(High)"とし、読み出し処理やアナログ処理の内、少なくともいずれか一方への影響が大きい期間のみ、そのクロックイネーブル信号（CLK_EN）を"L(Low)"とする。
以上のような制御信号を用いることにより、タイミング制御部１２１は、信号処理部１２２の動作を制御することができる。
＜制御処理の流れ＞
次に、図８のフローチャートを参照して、以上のような信号処理部１２２の動作の制御を行うためにタイミング制御部１２１が実行する制御処理の流れの例を説明する。制御処理が開始されると、タイミング制御部１２１は、ステップＳ１０１において、例えば、画素アレイ部１１１に制御信号を供給する等して画素アレイ部１１１の動作を制御し、画素アレイの各画素に光電変換を行わせ、各画素から画素信号を読み出させる。
ステップＳ１０２において、タイミング制御部１２１は、例えばアナログ処理部１１２に制御信号を供給する等してアナログ処理部１１２の動作を制御し、ステップＳ１０１の制御により得られたアナログの各画素信号に対して、例えばA/D変換等のアナログ処理を行わせる。
ステップＳ１０３において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号（例えば図７のデータイネーブル信号（DATA_EN）やクロックイネーブル信号（CLK_EN））を供給する等して信号処理部１２２の動作を制御し、他の処理（例えば、ステップＳ１０１の制御による読み出し処理、ステップＳ１０２の制御によるアナログ処理、ステップＳ１０４の制御による出力処理等）への影響が少ないタイミングで、ステップＳ１０２の制御により得られたデジタルの画像データに対してデジタル処理を行わせる。
ステップＳ１０４において、タイミング制御部１２１は、例えば出力部１１６に制御信号を供給する等して出力部１１６の動作を制御し、ステップＳ１０３の制御により適宜デジタル処理された画像データを出力させる。
ステップＳ１０４の処理が終了すると、制御処理が終了する。
以上の制御処理において、ステップＳ１０１の制御により実行される読み出し処理、ステップＳ１０２の制御により実行されるアナログ処理、およびステップＳ１０４の制御により実行される出力処理の各処理は、予め定められた所定のタイミングで実行される。各処理の実行タイミングはどのようなタイミングであってもよいが、一般的に、これらの処理は、少なくともその一部が、互いに並行して実行される。つまり、これらの各処理の処理実行期間の少なくとも一部が重複する。
これらの処理に対して、デジタル処理は、ステップＳ１０３の制御により、他の処理への影響が少ないタイミングで実行される。つまり、タイミング制御部１２１は、以上のような制御処理を実行することにより、デジタル処理を、他の処理への影響が少ないタイミングで実行させることができる。したがって、イメージセンサ１００は、出力画像の画質の低減を抑制することができる。
なお、このデジタル処理の実行タイミングが、他の処理の実行タイミングに基づいて予め決められていてももちろんよい。
＜フレーム時間分離＞
次に、図８の制御処理のステップＳ１０３の制御の詳細の例について説明する。デジタル処理は、例えば、読み出し処理が実行されていない期間に実行させるようにしてもよい。また、デジタル処理は、例えば、アナログ処理が実行されていない期間に実行させるようにしてもよい。また、デジタル処理は、例えば、出力処理が実行されていない期間に実行させるようにしてもよい。また、デジタル処理は、例えば、読み出し処理、アナログ処理、および出力処理の内、少なくともいずれか１つが実行されていない期間に実行させるようにしてもよいし、これらの処理が全て実行されていない期間に実行させるようにしてもよい。
例えば、図９に示されるように、１フレーム分の処理を行う期間（垂直同期期間XVS）において、読み出し処理、アナログ処理、出力処理のいずれも実行されていない期間にデジタル処理を実行するようにしてもよい。図９の例の場合、デジタル処理によりクロストークノイズや電源ノイズが発生するが、他の処理（読み出し処理、アナログ処理、出力処理）がこのデジタル処理と並行して実行されないため、そのノイズは他の処理にほとんど伝搬しない。したがって、デジタル処理によるノイズの、他の処理への影響を低減させることができる。つまり、タイミング制御部１２１が、このようにデジタル処理の実行タイミングを制御することにより、イメージセンサ１００は、出力画像の画質の低減を抑制することができる。
この場合の、ステップＳ１０３において実行されるデジタル制御処理の流れの例を、図１０のフローチャートを参照して説明する。
デジタル制御処理が開始されると、タイミング制御部１２１は、ステップＳ１２１において信号処理部１２２を制御し、画像データに対してデジタル処理を実行させる。信号処理部１２２は、このタイミング制御部１２１の制御に基づいて、ステップＳ１０２の制御により得られた画像データに対して、デジタル処理として簡易な処理である１次処理を行う。この１次処理の内容は任意であり、省略することもできる。
ステップＳ１２２において、タイミング制御部１２１は、信号処理部１２２を制御し、画像データを、フレームメモリ１１５に格納させる。信号処理部１２２は、このタイミング制御部１２１の制御に基づいて、ステップＳ１２１の制御によりフロントエンド処理された画像データを、メモリバス１１４を介してフレームメモリ１１５に供給し、格納させる。
ステップＳ１２３において、タイミング制御部１２１は、処理対象の画像データに対して未処理のデジタル処理が存在するか否かを判定する。なお、この処理対象の画像データは、フレーム全体の画像データであってもよいし、フレーム内の一部の画像データであってもよい。また、処理対象の画像データは、ステップＳ１２２の制御によりフレームメモリ１１５に格納された画像データでなくてもよい。例えば、ステップＳ１２２の制御によりフレームメモリ１１５に格納された画像データのフレームよりも前のフレームの画像データ（以前に格納された画像データ）を、処理対象の画像データとしてもよい。
未処理のデジタル処理が存在すると判定された場合、処理はステップＳ１２４に進む。
ステップＳ１２４において、タイミング制御部１２１は、デジタル処理以外の他の処理（例えば、読み出し処理、アナログ処理、出力処理等）が行われていないか否かを判定する。他の処理が行われていないと判定された場合、処理はステップＳ１２５に進む。
この「他の処理が行われていない」場合は、「他の処理が完全に行われていない（いずれの他の処理も行われていない）場合」であってもよいし、「少なくとも他の処理の一部が行われていない場合」であってもよい。例えば、他の処理が、読み出し処理、アナログ処理、および出力処理であるとすると、これらの処理の全てが行われていない場合のみ処理がステップＳ１２５に進むようにしてもよいし、これらの処理の内いずれか１つでも行われていない場合は、処理がステップＳ１２５に進むようにしてもよいし、これらの処理の内の所定数（例えば２つ）以上の処理が行われていない場合は、処理がステップＳ１２５に進むようにしてもよい。
また、例えば、アナログ処理が行われていない場合や、アナログ処理と読み出し処理が行われていない場合等のように、他の処理の中の所定の処理が実行されていない場合に処理がステップＳ１２５に進むようにしてもよい。
ステップＳ１２５において、タイミング制御部１２１は、信号処理部１２２を制御し、処理対象の画像データをフレームメモリ１１５から読み出させる。信号処理部１２２は、このタイミング制御部１２１の制御に基づいて、フレームメモリ１１５に格納されている処理対象の画像データを、メモリバス１１４を介してフレームメモリ１１５から取得する。
ステップＳ１２６において、タイミング制御部１２１は、信号処理部１２２を制御し、画像データに対してデジタル処理を行う。信号処理部１２２は、このタイミング制御部１２１の制御に基づいて、ステップＳ１２５の制御によりフレームメモリ１１５から読み出された画像データに対して、デジタル処理として２次処理を行う。この２次処理の内容は任意である。
ステップＳ１２７において、タイミング制御部１２１は、信号処理部１２２を制御し、画像データを、フレームメモリ１１５に格納させる。信号処理部１２２は、このタイミング制御部１２１の制御に基づいて、ステップＳ１２６の制御によりバックエンド処理された画像データを、メモリバス１１４を介してフレームメモリ１１５に供給し、格納させる。
ステップＳ１２７の処理が終了すると、処理はステップＳ１２３に戻り、それ以降の処理が繰り返される。
また、ステップＳ１２４において、他の処理が行われていると判定された場合、ステップＳ１２５乃至ステップＳ１２７の処理が省略され、処理はステップＳ１２３に戻り、それ以降の処理が繰り返される。この「他の処理が行われている」場合は、上述した「他の処理が行われていない場合」以外の全ての場合である。
以上のように、処理対象の画像データに対して未処理のデジタル処理（２次処理）が無くなるまで、ステップＳ１２３乃至ステップＳ１２７の各処理が実行される。
そしてステップＳ１２３において、未処理のデジタル処理が存在しないと判定された場合、処理はステップＳ１２８に進む。ステップＳ１２８において、タイミング制御部１２１は、信号処理部１２２を制御し、処理対象の画像データ（出力する画像データ）をフレームメモリ１１５から読み出させる。信号処理部１２２は、このタイミング制御部１２１の制御に基づいてデジタル処理として３次処理を行い、フレームメモリ１１５に格納されている処理対象の画像データを、メモリバス１１４を介してフレームメモリ１１５から取得し、出力部１１６に供給する。
ステップＳ１２８の処理が終了すると、デジタル制御処理が終了し、処理は、図８に戻る。
以上のようにデジタル制御処理を行うことにより、タイミング制御部１２１は、デジタル処理のフロー制御を実現し、他の処理が実行されていない期間にデジタル処理を実行させるようにすることができる。したがって、デジタル処理によるノイズの、他の処理への影響を低減させることができ、イメージセンサ１００は、出力画像の画質の低減を抑制することができる。
また、以上のようにデジタル制御処理を行うことにより、アナログ回路とデジタル回路が同時に動作する期間が低減するので、電源配線やグランド配線に生じる、消費電力増大に伴うIR積の電圧降下であるIRドロップを低減させることができる。したがって、イメージセンサ１００は、電圧マージンを増大させることができる。
＜ライン時間分離＞
また、デジタル処理は、例えば、アナログ処理がノイズの影響を受け難い期間に実行させるようにしてもよい。換言するに、アナログ処理がノイズの影響を受け易い期間は、デジタル処理を停止するようにしてもよい。そのアナログ処理は、例えば、アナログの画素信号をデジタルの画像データに変換するA/D変換処理を含むようにしてもよい。そして、アナログ処理がノイズの影響を受け易い期間は、そのA/D変換処理における、画素信号と所定の参照信号との比較している期間であるようにしてもよい。すなわち、その画素信号と所定の参照信号との比較中は、デジタル処理を停止させるようにしてもよい。換言するに、それ以外の期間に、デジタル処理を行わせるようにしてもよい。
例えば、アナログ処理としてA/D変換処理を用いた相関二重サンプリングが行われるようにし、アナログ処理がノイズの影響を受け易い期間が、その相関二重サンプリングのP相とD相のそれぞれについてのA/D変換処理における、画素信号と所定の参照信号との比較している期間であるようにしてもよい。例えば、図１１に示されるように、１ライン分の処理を行う期間（水平同期期間XHS）において、アナログ処理として行われる相関二重サンプリングのＰ相とＤ相のそれぞれについてのA/D変換処理における、画素信号と所定の参照信号との比較が行われている期間において、デジタル処理を停止させ、それ以外の期間においてデジタル処理を実行させるようにしてもよい。
この場合も、デジタル処理によりクロストークノイズや電源ノイズが発生するが、アナログ処理がノイズの影響を受け易い期間は、そのデジタル処理が行われないため、そのノイズはアナログ処理に伝搬し難い。したがって、デジタル処理によるノイズの、アナログ処理への影響を低減させることができる。つまり、タイミング制御部１２１が、このようにデジタル処理の実行タイミングを制御することにより、イメージセンサ１００は、出力画像の画質の低減を抑制することができる。
この場合の、ステップＳ１０３において実行されるデジタル制御処理の流れの例を、図１２のフローチャートを参照して説明する。この場合も、デジタル制御処理は、図１０のフローチャートを参照して説明した場合と基本的に同様に行われる。つまり、図１２のステップＳ１４１乃至ステップＳ１４３の各処理、並びに、ステップＳ１４５乃至ステップＳ１４８の各処理は、それぞれ、図１０のステップＳ１２１乃至ステップＳ１２３、並びに、ステップＳ１２５乃至ステップＳ１２８の各処理と同様に実行される。
ただし、図１２の例の場合、図１０のステップＳ１２４の代わりに、ステップＳ１４４の処理が行われる。
ステップＳ１４４において、タイミング制御部１２１は、ステップＳ１２４の場合と異なり、デジタル処理以外の他の処理（例えば、アナログ処理）が影響を受け難い状態であるか否かを判定する。他の処理が影響を受け難い状態であると判定された場合、処理はステップＳ１４５に進む。
なお、他の処理は、アナログ処理であってもよいが、アナログ処理以外の処理であってもよい。また、この「他の処理が影響を受け難い状態である」場合は、実行される他の処理によって定まる期間であり、一般的にはどのようなものであってもよい。例えば、他の処理として、A/D変換処理等のアナログ処理が行われる場合、上述した「A/D変換処理における、画素信号と所定の参照信号との比較が行われている期間」であってもよい。
この「他の処理が影響を受け難い状態」の期間は、予め定められていてもよい。その場合、タイミング制御部１２１は、現在がどの期間であるかを判定することにより、「他の処理が影響を受け難い状態」の期間であるか否かを判定することができる。また、この「他の処理が影響を受け難い状態」の期間は、予め定められていなくてもよい。その場合、タイミング制御部１２１は、何らかの方法で、実行されている他の処理が「影響を受け難い状態」であるか否かを判定するようにすればよい。この判定方法は任意である。
ステップＳ１４５に処理が進むと、ステップＳ１４５乃至ステップＳ１４７の各処理が実行され、処理はステップＳ１４３に戻り、それ以降の処理が繰り返される。
また、ステップＳ１４４において、他の処理が影響を受け難い状態でないと判定された場合、ステップＳ１４５乃至ステップＳ１４７の処理が省略され、処理はステップＳ１４３に戻り、それ以降の処理が繰り返される。この「他の処理が影響を受け難い状態」でない場合は、上述した「他の処理が影響を受け難い状態」である場合以外の全ての場合である。
ステップＳ１４８の処理が終了すると、デジタル制御処理が終了し、処理は、図８に戻る。
以上のようにデジタル制御処理を行うことにより、タイミング制御部１２１は、デジタル処理のフロー制御を実現し、他の処理が影響を受け難い状態である期間にデジタル処理を実行させるようにすることができる。したがって、デジタル処理によるノイズの、他の処理への影響を低減させることができ、イメージセンサ１００は、出力画像の画質の低減を抑制することができる。
＜DRAM制御＞
また、上述したような画像データに対するデジタル処理だけでなく、フレームメモリ１１５に対する制御処理（例えばDRAMのリフレッシュ等）についても、上述したデジタル処理の場合と同様に制御するようにしてもよい。このフレームメモリ１１５に対する制御処理には、例えばリフレッシュ制御（オートリフレッシュ等）のような、制御対象がデータでない処理が含まれるようにすることができる。つまり、このようなデータ制御でない処理についても、本技術を適用することができる。
例えば、図１３に示されるように、図９の場合と同様に、１フレーム分の処理を行う期間（垂直同期期間XVS）において、読み出し処理、アナログ処理、出力処理のいずれも実行されていない期間に、フレームメモリ１１５に対する制御処理を実行するようにしてもよい。図１３の例の場合、読み出し処理やアナログ処理が行われる期間は、フレームメモリ１１５に対する制御処理が停止されている（図１３の例の場合、この期間、デジタル処理や出力処理も停止されている）。
このようにすることにより、他の処理（読み出し処理、アナログ処理、出力処理）がこのノイズ源となるフレームメモリ１１５に対する制御処理と並行して実行されないため、そのノイズは他の処理にほとんど伝搬しない。したがって、フレームメモリ１１５に対する制御処理によるノイズの、他の処理への影響を低減させることができる。つまり、タイミング制御部１２１が、このようにフレームメモリ１１５に対する制御処理の実行タイミングを制御することにより、イメージセンサ１００は、出力画像の画質の低減を抑制することができる。
タイミング制御部１２１は、このような制御を行うために、フレームメモリ制御処理を実行する。図１４のフローチャートを参照して、このフレームメモリ制御処理の流れの例を説明する。このフレームメモリ制御処理は、上述した制御処理とは独立して実行される。例えば、このフレームメモリ制御処理が間断なく繰り返し実行されるようにしてもよいし、所定のタイミングにおいて、若しくは、何らかのトリガに基づいて、実行されるようにしてもよい。もちろん、上述した制御処理に基づく所定のタイミングにおいてフレームメモリ制御処理が実行されるようにしてもよい。
フレームメモリ制御処理が開始されると、タイミング制御部１２１は、ステップＳ１６１において、他の処理が行われていないか否かを判定する。ここで他の処理とは、フレームメモリ１１５に対する制御処理以外の任意の処理である。例えば、読み出し処理、アナログ処理、出力処理の少なくともいずれか１つを含むようにしてもよいし、さらにデジタル処理を含むようにしてもよい。
他の処理が行われていないと判定された場合、処理はステップＳ１６２に進む。ステップＳ１６２において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号（例えば図７のデータイネーブル信号（DATA_EN）やクロックイネーブル信号（CLK_EN））を供給する等して信号処理部１２２の動作を制御し、フレームメモリ１１５の制御処理を行わせる。タイミング制御部１２１は、データ制御の対象とならないリフレッシュ制御（オートリフレッシュ等）に関しても、停止や動作のコマンド設定を制御することで、フレームメモリに対する制御処理を実現する。ステップＳ１６２の処理が終了すると、フレームメモリ制御処理が終了する。
また、ステップＳ１６１において、他の処理が行われていると判定された場合、ステップＳ１６２の処理が省略され、フレームメモリ制御処理が終了する。つまり、信号処理部１２２は、タイミング制御部１２１の制御に基づいて、他の処理が行われている間、フレームメモリ１１５の制御処理を停止する。
タイミング制御部１２１は、以上のようなフレームメモリ制御処理を実行することにより、フレームメモリ１１５の制御処理を、他の処理への影響が少ないタイミングで実行させることができる。したがって、イメージセンサ１００は、出力画像の画質の低減を抑制することができる。
なお、以上においては、他の処理が行われていない期間にフレームメモリ１１５の制御処理を行う（換言するに、他の処理が行われている期間にフレームメモリ１１５の制御処理を停止する）用に説明したが、図１１等を参照して上述したデジタル処理の例と同様に、アナログ処理がノイズの影響を受け難い期間に、フレームメモリ１１５の制御処理を実行させるようにしてもよい。換言するに、アナログ処理がノイズの影響を受け易い期間は、フレームメモリ１１５の制御処理を停止するようにしてもよい。例えば、図１１に示される例と同様に、１ライン分の処理を行う期間（水平同期期間XHS）において、アナログ処理として行われる相関二重サンプリングのＰ相とＤ相のそれぞれについてのA/D変換処理における、画素信号と所定の参照信号との比較が行われている期間において、フレームメモリ１１５の制御処理を停止させ、それ以外の期間においてフレームメモリ１１５の制御処理を実行させるようにしてもよい。
＜２．第２の実施の形態＞
＜消費電力の検出＞
また、消費電力の大きさに応じてデジタル制御処理の動作タイミングを制御するようにしてもよい。その場合のイメージセンサの構成例を図１５に示す。図１５に示されるイメージセンサ２００は、本技術を適用した撮像素子の一実施の形態であり、イメージセンサ１００と同様に、被写体からの光を光電変換して画像データとして出力するデバイスである。図１５に示されるように、イメージセンサ２００は、イメージセンサ１００（図３）と基本的に同様の構成を有する。ただし、イメージセンサ２００は、さらに消費電力検出部２１１を有する。
消費電力検出部２１１は、イメージセンサ２００の実際の消費電力の大きさ（または電流値）を検出する。この消費電力（若しくは電流）の大きさの検出方法は任意である。消費電力検出部２１１は、その検出結果をタイミング制御部１２１に供給する。タイミング制御部１２１は、その検出結果に基づいて、デジタル処理の動作タイミングを制御する。
例えば、図１６に示される例のように、消費電力（若しくは電流）が大きい期間は、デジタル処理を停止するようにしてもよい（換言するに、消費電力（若しくは電流）が小さい期間にデジタル処理を実行するようにしてもよい）。
消費電力（若しくは電流）が大きいか否かを判定する方法は任意である。例えば、予め定められた所定の閾値に基づいて消費電力（若しくは電流）が大きいか否かを判定するようにしてもよいし、消費電力（若しくは電流）のピーク値（最大値）等に基づいて、現在の消費電力（若しくは電流）の大きさを判定するようにしてもよい。もちろん、これら以外の方法であってもよい。
このように、消費電力が増大する期間にデジタル処理を停止することにより、イメージセンサ２００は、デジタル処理の電源ノイズに起因する出力画像の画質劣化を抑制することができる。
なお、このイメージセンサ２００も、イメージセンサ１００の場合と同様に、フレームメモリの代わりにラインメモリを用いるようにしてもよい。その場合の構成は、図５を参照して説明した場合と同様であるので、その説明を省略する。換言するに、図５の構成に加え、図１３のように消費電力検出部２１１を設けるようにしてもよい。
＜制御処理の流れ＞
次に、図１７のフローチャートを参照して、この場合の制御処理の流れの例を説明する。制御処理が開始されると、消費電力検出部２１１は、ステップＳ２０１において、消費電力（若しくは電流）の計測を開始する。これ以降、消費電力（若しくは電流）の計測は継続して（連続して若しくは断続的に）行われる。
ステップＳ２０２およびステップＳ２０３の各処理は、ステップＳ１０１およびステップＳ１０２の各処理（図８）と同様に実行される。
ステップＳ２０４において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号（例えば図７のデータイネーブル信号（DATA_EN）やクロックイネーブル信号（CLK_EN））を供給する等して信号処理部１２２の動作を制御し、ステップＳ２０１において開始された消費電力（若しくは電流）の検出の結果に基づくタイミングで、ステップＳ２０３の制御により得られたデジタルの画像データに対してデジタル処理を行わせる。
ステップＳ２０５の処理は、ステップＳ１０４の処理（図８）と同様に実行される。
ステップＳ２０５の処理が終了すると、制御処理が終了する。
以上の制御処理において、デジタル処理は、ステップＳ２０４の制御により、消費電力（若しくは電流）の大きさに基づくタイミングで実行される。つまり、タイミング制御部１２１は、以上のような制御処理を実行することにより、デジタル処理を、他の処理への電源ノイズの影響が少ないタイミングで実行させることができる。したがって、イメージセンサ２００は、出力画像の画質の低減を抑制することができる。
＜デジタル制御処理の流れ＞
ステップＳ２０４において実行されるデジタル制御処理の流れの例を、図１８のフローチャートを参照して説明する。この場合も、デジタル制御処理は、図１０のフローチャートを参照して説明した場合と基本的に同様に行われる。つまり、図１８のステップＳ２２１乃至ステップＳ２２３の各処理、並びに、ステップＳ２２５乃至ステップＳ２２８の各処理は、それぞれ、図１０のステップＳ１２１乃至ステップＳ１２３、並びに、ステップＳ１２５乃至ステップＳ１２８の各処理と同様に実行される。
ただし、図１８の例の場合、図１０のステップＳ１２４の代わりに、ステップＳ２２４の処理が行われる。
ステップＳ２２４において、タイミング制御部１２１は、ステップＳ１２４の場合と異なり、ステップＳ２０１（図１７）において開始された消費電力（若しくは電流）の検出の結果に基づいて、現在の消費電力が小さいか否かを判定する。消費電力が小さいと判定された場合、処理はステップＳ２２５に進む。
ステップＳ２２５に処理が進むと、ステップＳ２２５乃至ステップＳ２２７の各処理が実行され、処理はステップＳ２２３に戻り、それ以降の処理が繰り返される。
また、ステップＳ２２４において、消費電力が大きいと判定された場合、ステップＳ２２５乃至ステップＳ２２７の処理が省略され、処理はステップＳ２２３に戻り、それ以降の処理が繰り返される。
ステップＳ２２８の処理が終了すると、デジタル制御処理が終了し、処理は、図１７に戻る。
以上のようにデジタル制御処理を行うことにより、タイミング制御部１２１は、デジタル処理のフロー制御を実現し、消費電力が増大する期間にデジタル処理を停止することができる。したがって、イメージセンサ２００は、デジタル処理の電源ノイズに起因する出力画像の画質劣化を抑制することができる。
＜電源端子＞
従来のイメージセンサ１０（図１）の場合、電源やグランド配線上に生じるIRドロップの影響を抑制するために、図１９Ａに示される例のように、デジタル電源を使用するアナログ回路であって、瞬時電流変化が大きい回路に対して、専用のパッド（デジタル電源ｘ、デジタルGNDｘ）を設ける必要があった。その分、半導体チップの面積が増大し、製造コストが増大するおそれがあった。仮にチップサイズを大きくしないとすると、回路のレイアウト設計における制約が増大し、その制約により設計がより困難になり、開発コストが増大するおそれがあった。
これに対して、本技術を適用したイメージセンサ１００の場合、アナログ処理（例えばA/D変換処理）と、デジタル処理とを互いに異なる期間に実行することができる。つまり、イメージセンサ１００の場合、アナログ回路によるIRドロップの他の回路への影響を低減させることができる。したがって、イメージセンサ１００の場合、図１９Ｂに示されるように、瞬時電流変化が大きなデジタル電源を使用するアナログ回路に対して、専用のパッド（デジタル電源ｘ、デジタルGNDｘ）を設ける必要が無い。つまり、瞬時電流変化が大きなデジタル電源を使用するアナログ回路も、他のデジタル回路と同一の電源（デジタル電源）やグランド（デジタルGND）を利用する（電源やグランドの配線やパッドを共通化する）ことができる。
したがって、図１９Ａのイメージセンサ１０の場合に比べて、電源やグランドに関するパッド数や配線等を低減させることができ、その分、半導体チップの面積を低減し、製造コストを低減させることができる。また、仮にチップサイズを小さくしないとすると、電源やグランドに関するパッド数や配線等が低減することにより、回路のレイアウト設計における制約が低減し、設計がより容易になり、開発コストが低減させることができる。
なお、イメージセンサ２００の場合、消費電力（若しくは電流）の大きさに基づいて、デジタル処理が制御される。より具体的には、消費電力（若しくは電流）が小さい期間、すなわち、マージンがある状態においてデジタル処理が実行される。したがって、イメージセンサ２００の場合も、アナログ回路によるIRドロップの他の回路への影響を低減させることができる。つまり、この場合も、瞬時電流変化が大きなデジタル電源を使用するアナログ回路が、他のデジタル回路と同一の電源やグランドを利用するようにすることができる。
＜デジタル処理の動作の制御＞
なお、以上においては、本技術を適用したイメージセンサ１００やイメージセンサ２００のタイミング制御部１２１は、条件を満たさない期間（例えば、他の処理が行われている期間、他の処理が影響を受け易い状態の期間、または、消費電力（若しくは電流）が大きい期間）において、データイネーブル信号（DATA_EN）やクロックイネーブル信号（CLK_EN）等によって信号処理部１２２を制御し、デジタル処理が行われない（若しくは処理結果が出力されない）ようにするように説明した。
しかしながら、デジタル処理の制御方法はこの方法に限らない。例えば、上述したような条件を満たさない期間において、デジタル処理を完全に停止させずに、動作を間引くようにしてもよい。
例えば、図７Ｂの例において、タイミング制御部１２１が、クロックイネーブル信号（CLK_EN）を"L(Low)"とする代わりに、そのクロックイネーブル信号（CLK_EN）の値（"L(Low)"若しくは"H(High)"）を所定の周波数で切り替えるようにしてもよい。つまり、図７Ｂの例において、クロックイネーブル信号（CLK_EN）を"L(Low)"とされた期間の一部において、クロックイネーブル信号（CLK_EN）が"H(High)"となり、その間だけデジタル処理が行われるようになる。換言するに、デジタル処理の動作が制限されない場合に比べて、クロックイネーブル信号（CLK_EN）が"L(Low)"の期間の分だけ、デジタル処理が実行される期間が短くなる。
このように制御することにより、デジタル処理は完全に停止しないが、実行される期間が低減するので、その分、デジタル処理による他の処理への影響を低減させることができる。したがって、出力画像の画質の低減を抑制することができる。
なお、デジタル処理が実行される期間を低減する制御方法は、任意であり、上述した例に限らない。例えば、低減する度合いを複数段階で制御することができるようにしてもよい。例えば、クロックイネーブル信号（CLK_EN）の値を切り替える周波数を可変としてもよい。例えば、「100MHz」、「50MHz」、「25MHz」、「"L(Low)"に固定」等のように複数の選択肢を予め用意し、条件に応じて、その中のいずれかが選択されるようにしてもよいし、条件に応じてクロックイネーブル信号（CLK_EN）の値を切り替える周波数を任意に設定することができるようにしてもよい。
例えば、図１０の場合、ステップＳ１２４において他の処理が行われているか否かが判定されるが、その際、実行中の他の処理の数や負荷量等に応じて、クロックイネーブル信号（CLK_EN）の値を切り替える周波数が設定（若しくは選択）されるようにしてもよい。
また、例えば、図１２の場合、ステップＳ１４４において他の処理が影響を受け難い状態であるか否かが判定されるが、その際、影響を受け易い状態の他の処理の数や負荷量等に応じて、クロックイネーブル信号（CLK_EN）の値を切り替える周波数が設定（若しくは選択）されるようにしてもよい。
さらに、例えば、図１８の場合、ステップＳ２２４において消費電力が大きいか否かが判定されるが、その際、消費電力の大きさ等に応じて、クロックイネーブル信号（CLK_EN）の値を切り替える周波数が設定（若しくは選択）されるようにしてもよい。
もちろん、この条件の内容は、任意であり、上述した例に限らない。また、以上においては、クロックイネーブル信号（CLK_EN）の値を周期的に切り替えるように説明したが、この切り替えは周期的でなくてもよい。また、クロックイネーブル信号（CLK_EN）の代わりに、図７Ａのように、データイネーブル信号（DATA_EN）を用いるようにしてもよい。その場合も、上述したクロックイネーブル信号（CLK_EN）の場合と同様に制御するようにすればよい。
＜３．第３の実施の形態＞
＜イメージセンサの物理構成＞
なお、本技術を適用する撮像素子は、例えば、封止されたパッケージやパッケージが回路基板に設置されたモジュール等として実現することができる。例えば、パッケージとして実現する場合、そのパッケージにおいて撮像素子が、単一の半導体基板により構成されるようにしてもよいし、互いに重畳される複数の半導体基板により構成されるようにしてもよい。
図２０は、本技術を適用した撮像素子であるイメージセンサ１００の物理構成の一例を示す図である。
図２０Ａに示される例の場合、図３を参照して説明したイメージセンサ１００の回路構成は、全て単一の半導体基板に形成される。図２０Ａの例の場合、画素・アナログ処理部３１１、デジタル処理部１１３、およびフレームメモリ１１５を囲むように出力部１１６−１乃至出力部１１６−４が配置されている。画素・アナログ処理部３１１は、画素アレイ部１１１とアナログ処理部１１２の構成（例えば、画素アレイやA/D変換部等）が形成される領域である。出力部１１６−１乃至出力部１１６−４は、出力部１１６の構成（例えば、I/Oセル等）が配置される領域である。
もちろん、図２０Ａの構成例は一例であり、各処理部の構成の配置は、この例に限らない。
図２０Ｂに示される例の場合、図３を参照して説明したイメージセンサ１００の回路構成は、互いに重畳される２枚の半導体基板（積層チップ（画素チップ３２１および回路チップ３２２））に形成される。
画素チップ３２１には、画素・アナログ処理部３１１、デジタル処理部１１３、並びに、出力部１１６−１および出力部１１６−２が形成される。出力部１１６−１および出力部１１６−２は、出力部１１６の構成（例えば、I/Oセル等）が配置される領域である。
また、回路チップ３２２には、フレームメモリ１１５が形成されている。
上述したように画素チップ３２１および回路チップ３２２は、互いに重畳され、多層構造（積層構造）を形成する。画素チップ３２１に形成されるデジタル処理部１１３と回路チップ３２２に形成されるフレームメモリ１１５は、ビア領域（VIA）３２３およびビア領域（VIA）３２４に形成される貫通ビア（VIA）等を介して互いに電気的に接続されている（メモリバス１１４が形成される）。
このような積層構造のイメージセンサにも本技術を適用することができる。なお、この半導体基板（積層チップ）の数（層数）は任意であり、例えば、３層以上であってもよい。
＜４．第４の実施の形態＞
＜撮像装置＞
なお、本技術は、撮像素子以外にも適用することができる。例えば、撮像装置のような、撮像素子を有する装置（電子機器等）に本技術を適用するようにしてもよい。図２１は、本技術を適用した電子機器の一例としての撮像装置の主な構成例を示すブロック図である。図２１に示される撮像装置６００は、被写体を撮像し、その被写体の画像を電気信号として出力する装置である。
図２１に示されるように撮像装置６００は、光学部６１１、CMOSイメージセンサ６１２、画像処理部６１３、表示部６１４、コーデック処理部６１５、記憶部６１６、出力部６１７、通信部６１８、制御部６２１、操作部６２２、およびドライブ６２３を有する。
光学部６１１は、被写体までの焦点を調整し、焦点が合った位置からの光を集光するレンズ、露出を調整する絞り、および、撮像のタイミングを制御するシャッタ等よりなる。光学部６１１は、被写体からの光（入射光）を透過し、CMOSイメージセンサ６１２に供給する。
CMOSイメージセンサ６１２は、入射光を光電変換して画素毎の信号（画素信号）をA/D変換し、CDS等の信号処理を行い、処理後の撮像画像データを画像処理部６１３に供給する。
画像処理部６１３は、CMOSイメージセンサ６１２により得られた撮像画像データを画像処理する。より具体的には、画像処理部６１３は、CMOSイメージセンサ６１２から供給された撮像画像データに対して、例えば、混色補正や、黒レベル補正、ホワイトバランス調整、デモザイク処理、マトリックス処理、ガンマ補正、およびYC変換等の各種画像処理を施す。画像処理部６１３は、画像処理を施した撮像画像データを表示部６１４に供給する。
表示部６１４は、例えば、液晶ディスプレイ等として構成され、画像処理部６１３から供給された撮像画像データの画像（例えば、被写体の画像）を表示する。
画像処理部６１３は、さらに、画像処理を施した撮像画像データを、必要に応じて、コーデック処理部６１５に供給する。
コーデック処理部６１５は、画像処理部６１３から供給された撮像画像データに対して、所定の方式の符号化処理を施し、得られた符号化データを記憶部６１６に供給する。また、コーデック処理部６１５は、記憶部６１６に記録されている符号化データを読み出し、復号して復号画像データを生成し、その復号画像データを画像処理部６１３に供給する。
画像処理部６１３は、コーデック処理部６１５から供給される復号画像データに対して所定の画像処理を施す。画像処理部６１３は、画像処理を施した復号画像データを表示部６１４に供給する。表示部６１４は、例えば、液晶ディスプレイ等として構成され、画像処理部６１３から供給された復号画像データの画像を表示する。
また、コーデック処理部６１５は、画像処理部６１３から供給された撮像画像データを符号化した符号化データ、または、記憶部６１６から読み出した撮像画像データの符号化データを出力部６１７に供給し、撮像装置６００の外部に出力させるようにしてもよい。また、コーデック処理部６１５は、符号化前の撮像画像データ、若しくは、記憶部６１６から読み出した符号化データを復号して得られた復号画像データを出力部６１７に供給し、撮像装置６００の外部に出力させるようにしてもよい。
さらに、コーデック処理部６１５は、撮像画像データ、撮像画像データの符号化データ、または、復号画像データを、通信部６１８を介して他の装置に伝送させるようにしてもよい。また、コーデック処理部６１５は、撮像画像データや画像データの符号化データを、通信部６１８を介して取得するようにしてもよい。コーデック処理部６１５は、通信部６１８を介して取得した撮像画像データや画像データの符号化データに対して、適宜、符号化や復号等を行う。コーデック処理部６１５は、得られた画像データ若しくは符号化データを、上述したように、画像処理部６１３に供給したり、記憶部６１６、出力部６１７、および通信部６１８に出力するようにしてもよい。
記憶部６１６は、コーデック処理部６１５から供給される符号化データ等を記憶する。記憶部６１６に格納された符号化データは、必要に応じてコーデック処理部６１５に読み出されて復号される。復号処理により得られた撮像画像データは、表示部６１４に供給され、その撮像画像データに対応する撮像画像が表示される。
出力部６１７は、外部出力端子等の外部出力インターフェイスを有し、コーデック処理部６１５を介して供給される各種データを、その外部出力インターフェイスを介して撮像装置６００の外部に出力する。
通信部６１８は、コーデック処理部６１５から供給される画像データや符号化データ等の各種情報を、所定の通信（有線通信若しくは無線通信）の通信相手である他の装置に供給する。また、通信部６１８は、所定の通信（有線通信若しくは無線通信）の通信相手である他の装置から、画像データや符号化データ等の各種情報を取得し、それをコーデック処理部６１５に供給する。
制御部６２１は、撮像装置６００の各処理部（点線６２０内に示される各処理部、操作部６２２、並びに、ドライブ６２３）の動作を制御する。
操作部６２２は、例えば、ジョグダイヤル（商標）、キー、ボタン、またはタッチパネル等の任意の入力デバイスにより構成され、例えばユーザ等による操作入力を受け、その操作入力に対応する信号を制御部６２１に供給する。
ドライブ６２３は、自身に装着された、例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア６２４に記憶されている情報を読み出す。ドライブ６２３は、リムーバブルメディア６２４からプログラムやデータ等の各種情報を読み出し、それを制御部６２１に供給する。また、ドライブ６２３は、書き込み可能なリムーバブルメディア６２４が自身に装着された場合、制御部６２１を介して供給される、例えば画像データや符号化データ等の各種情報を、そのリムーバブルメディア６２４に記憶させる。
以上のような撮像装置６００のCMOSイメージセンサ６１２として、各実施の形態において上述した本技術を適用する。すなわち、CMOSイメージセンサ６１２として、上述した各実施の形態のイメージセンサ（例えば、イメージセンサ１００、イメージセンサ２００等）が用いられる。これにより、CMOSイメージセンサ６１２は、より容易に、より多様なデータ出力を実現することができる。したがって撮像装置６００は、被写体を撮像することにより、より容易に、より多様なデータ出力を実現することができる。
なお、本技術を適用した撮像装置は、上述した構成に限らず、他の構成であってもよい。例えば、デジタルスチルカメラやビデオカメラだけでなく、携帯電話機、スマートホン、タブレット型デバイス、パーソナルコンピュータ等の、撮像機能を有する情報処理装置であってもよい。また、他の情報処理装置に装着して使用される（若しくは組み込みデバイスとして搭載される）カメラモジュールであってもよい。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば、図２１に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア６２４により構成される。このリムーバブルメディア６２４には、磁気ディスク（フレキシブルディスクを含む）や光ディスク（CD-ROMやDVDを含む）が含まれる。さらに、光磁気ディスク（MD（Mini Disc）を含む）や半導体メモリ等も含まれる。
その場合、プログラムは、そのリムーバブルメディア６２４をドライブ６２３に装着することにより、記憶部６１６にインストールすることができる。
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部１８で受信し、記憶部６１６にインストールすることができる。
その他、このプログラムは、記憶部６１６や制御部６２１内のROM（Read Only Memory）等に、あらかじめインストールしておくこともできる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
なお、本技術を適用した撮像装置は、上述した構成に限らず、他の構成であってもよい。例えば、デジタルスチルカメラやビデオカメラだけでなく、携帯電話機、スマートホン、タブレット型デバイス、パーソナルコンピュータ等の、撮像機能を有する情報処理装置であってもよい。また、他の情報処理装置に装着して使用される（若しくは組み込みデバイスとして搭載される）カメラモジュールであってもよい。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、本技術は以下のような構成も取ることができる。
（１） 画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す画素アレイと、
アナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理部と、
前記画像データを格納する記憶部と、
前記記憶部から前記画像データを読み出して信号処理する信号処理部と、
処理実行タイミングを制御し、前記画素アレイによる前記画素信号を読み出す読み出し処理、および、前記アナログ処理部による前記アナログの画素信号に対する信号処理であるアナログ処理の内、少なくともいずれか一方への影響が少ないタイミングで、前記信号処理部による前記デジタルの画像データに対する信号処理であるデジタル処理を実行させる制御部と
を備える撮像素子。
（２） 前記制御部は、前記アナログ処理が実行されていない期間に前記デジタル処理を実行させる
（１）に記載の撮像素子。
（３） 前記制御部は、前記読み出し処理が実行されていない期間に前記デジタル処理を実行させる
（１）または（２）に記載の撮像素子。
（４） 前記制御部は、前記アナログ処理がノイズの影響を受け難い期間に前記デジタル処理を実行させる
（１）乃至（３）のいずれかに記載の撮像素子。
（５） 前記アナログ処理は、前記アナログの画素信号を前記デジタルの画像データに変換するA/D変換処理を含む
（１）乃至（４）のいずれかに記載の撮像素子。
（６） 前記制御部は、前記A/D変換処理における、前記画素信号と所定の参照信号との比較中に前記デジタル処理を停止させる
（１）乃至（５）のいずれかに記載の撮像素子。
（７） 前記アナログ処理は、前記A/D変換処理を用いた相関二重サンプリングを含み、
前記制御部は、P相とD相のそれぞれについて、前記A/D変換処理における、前記画素信号と所定の参照信号との比較中に前記デジタル処理を停止させる
（１）乃至（６）のいずれかに記載の撮像素子。
（８） 前記デジタル処理は、
前記信号処理した前記画像データを前記記憶部に格納させ、
出力する前記画像データを前記記憶部から読み出し、
前記記憶部から読み出された前記画像データを出力する出力部をさらに備え、
前記制御部は、処理実行タイミングを制御し、前記出力部による前記画像データを出力する出力処理への影響が少ないタイミングで前記デジタル処理を実行させる
（１）乃至（７）のいずれかに記載の撮像素子。
（９） 前記制御部は、前記出力処理が実行されていない期間に前記デジタル処理を実行させる
（１）乃至（８）のいずれかに記載の撮像素子。
（１０） 前記制御部は、処理実行タイミングを制御し、前記読み出し処理および前記アナログ処理の内、少なくともいずれか一方への影響が少ないタイミングで、前記記憶部の制御処理を実行させる
（１）乃至（９）のいずれかに記載の撮像素子。
（１１） 前記制御部は、前記アナログ処理が実行されていない期間に前記記憶部の制御処理を実行させる
（１）乃至（１０）のいずれかに記載の撮像素子。
（１２） 前記制御部は、前記読み出し処理が実行されていない期間に前記記憶部の制御処理を実行させる
（１）乃至（１１）のいずれかに記載の撮像素子。
（１３） 前記記憶部は、フレームメモリである
（１）乃至（１２）のいずれかに記載の撮像素子。
（１４） 消費電力を検出する消費電力検出部をさらに備え、
前記制御部は、前記消費電力検出部による前記消費電力の検出結果に基づいて、前記デジタル処理の処理実行タイミングを制御する
（１）乃至（１３）のいずれかに記載の撮像素子。
（１５） 前記制御部は、前記消費電力が小さい期間に前記デジタル処理を実行させる
（１）乃至（１４）のいずれかに記載の撮像素子。
（１６） 各処理部のデジタル電源を利用して駆動する回路は、共通のデジタル電源を利用する
（１）乃至（１５）のいずれかに記載の撮像素子。
（１７） 前記画素アレイ、前記アナログ処理部、前記信号処理部、および前記制御部は、互いに同一の半導体基板に形成される
（１）乃至（１６）のいずれかに記載の撮像素子。
（１８） 前記記憶部も前記半導体基板に形成される
（１）乃至（１７）のいずれかに記載の撮像素子。
（１９） 処理実行タイミングを制御し、画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す読み出し処理、並びに、前記画素アレイの各画素から読み出されたアナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理の内、少なくともいずれか一方への影響が少ないタイミングで、前記デジタルの画像データに対する信号処理であるデジタル処理を実行させる
制御方法。
（２０） 被写体を撮像する撮像部と、
前記撮像部による撮像により得られた画像データを画像処理する画像処理部と
を備え、
前記撮像部は、
画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す画素アレイと、
アナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理部と、
前記画像データを格納する記憶部と、
前記記憶部から前記画像データを読み出して信号処理する信号処理部と、
処理実行タイミングを制御し、前記画素アレイによる前記画素信号を読み出す読み出し処理、および、前記アナログ処理部による前記アナログの画素信号に対する信号処理であるアナログ処理の内、少なくともいずれか一方への影響が少ないタイミングで、前記信号処理部による前記デジタルの画像データに対する信号処理であるデジタル処理を実行させる制御部と
を備える撮像装置。
１００ イメージセンサ， １１１ 画素アレイ部， １１２ アナログ処理部， １１３ デジタル処理部， １１４ メモリバス， １１５ フレームメモリ， １１６ 出力部， １２１ タイミング制御部， １２２ 信号処理部， １２３および１２４ ラインメモリ， ２００ イメージセンサ， ２１１ 消費電力検出部， ３２１ 画素チップ， ３２２ 回路チップ， ６００ 撮像装置， ６１２ CMOSイメージセンサ

Claims (20)

  1. 画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す画素アレイと、
    アナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理部と、
    前記画像データを格納する記憶部と、
    前記記憶部から前記画像データを読み出して信号処理する信号処理部と、
    処理実行タイミングを制御し、前記画素アレイによる前記画素信号を読み出す読み出し処理、および、前記アナログ処理部による前記アナログの画素信号に対する信号処理であるアナログ処理の内、少なくともいずれか一方への影響が少ないタイミングで、前記信号処理部による前記デジタルの画像データに対する信号処理であるデジタル処理を実行させる制御部と
    を備える撮像素子。
  2. 前記制御部は、前記アナログ処理が実行されていない期間に前記デジタル処理を実行させる
    請求項１に記載の撮像素子。
  3. 前記制御部は、前記読み出し処理が実行されていない期間に前記デジタル処理を実行させる
    請求項１に記載の撮像素子。
  4. 前記制御部は、前記アナログ処理がノイズの影響を受け難い期間に前記デジタル処理を実行させる
    請求項１に記載の撮像素子。
  5. 前記アナログ処理は、前記アナログの画素信号を前記デジタルの画像データに変換するA/D変換処理を含む
    請求項１に記載の撮像素子。
  6. 前記制御部は、前記A/D変換処理における、前記画素信号と所定の参照信号との比較中に前記デジタル処理を停止させる
    請求項５に記載の撮像素子。
  7. 前記アナログ処理は、前記A/D変換処理を用いた相関二重サンプリングを含み、
    前記制御部は、P相とD相のそれぞれについて、前記A/D変換処理における、前記画素信号と所定の参照信号との比較中に前記デジタル処理を停止させる
    請求項６に記載の撮像素子。
  8. 前記デジタル処理は、
    前記信号処理した前記画像データを前記記憶部に格納させ、
    出力する前記画像データを前記記憶部から読み出し、
    前記記憶部から読み出された前記画像データを出力する出力部をさらに備え、
    前記制御部は、処理実行タイミングを制御し、前記出力部による前記画像データを出力する出力処理への影響が少ないタイミングで前記デジタル処理を実行させる
    請求項１に記載の撮像素子。
  9. 前記制御部は、前記出力処理が実行されていない期間に前記デジタル処理を実行させる
    請求項８に記載の撮像素子。
  10. 前記制御部は、処理実行タイミングを制御し、前記読み出し処理および前記アナログ処理の内、少なくともいずれか一方への影響が少ないタイミングで、前記記憶部の制御処理を実行させる
    請求項１に記載の撮像素子。
  11. 前記制御部は、前記アナログ処理が実行されていない期間に前記記憶部の制御処理を実行させる
    請求項１０に記載の撮像素子。
  12. 前記制御部は、前記読み出し処理が実行されていない期間に前記記憶部の制御処理を実行させる
    請求項１０に記載の撮像素子。
  13. 前記記憶部は、フレームメモリである
    請求項１に記載の撮像素子。
  14. 消費電力を検出する消費電力検出部をさらに備え、
    前記制御部は、前記消費電力検出部による前記消費電力の検出結果に基づいて、前記デジタル処理の処理実行タイミングを制御する
    請求項１に記載の撮像素子。
  15. 前記制御部は、前記消費電力が小さい期間に前記デジタル処理を実行させる
    請求項１４に記載の撮像素子。
  16. 各処理部のデジタル電源を利用して駆動する回路は、共通のデジタル電源を利用する
    請求項１４に記載の撮像素子。
  17. 前記画素アレイ、前記アナログ処理部、前記信号処理部、および前記制御部は、互いに同一の半導体基板に形成される
    請求項１に記載の撮像素子。
  18. 前記記憶部も前記半導体基板に形成される
    請求項１７に記載の撮像素子。
  19. 処理実行タイミングを制御し、画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す読み出し処理、並びに、前記画素アレイの各画素から読み出されたアナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理の内、少なくともいずれか一方への影響が少ないタイミングで、前記デジタルの画像データに対する信号処理であるデジタル処理を実行させる
    制御方法。
  20. 被写体を撮像する撮像部と、
    前記撮像部による撮像により得られた画像データを画像処理する画像処理部と
    を備え、
    前記撮像部は、
    画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す画素アレイと、
    アナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理部と、
    前記画像データを格納する記憶部と、
    前記記憶部から前記画像データを読み出して信号処理する信号処理部と、
    処理実行タイミングを制御し、前記画素アレイによる前記画素信号を読み出す読み出し処理、および、前記アナログ処理部による前記アナログの画素信号に対する信号処理であるアナログ処理の内、少なくともいずれか一方への影響が少ないタイミングで、前記信号処理部による前記デジタルの画像データに対する信号処理であるデジタル処理を実行させる制御部と
    を備える撮像装置。
JP2014058761A 2014-03-20 2014-03-20 撮像素子、制御方法、並びに、撮像装置 Pending JP2015185927A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014058761A JP2015185927A (ja) 2014-03-20 2014-03-20 撮像素子、制御方法、並びに、撮像装置
TW104104161A TW201540070A (zh) 2014-03-20 2015-02-06 攝像元件、控制方法、及攝像裝置
PCT/JP2015/056599 WO2015141491A1 (ja) 2014-03-20 2015-03-06 撮像素子、制御方法、並びに、撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014058761A JP2015185927A (ja) 2014-03-20 2014-03-20 撮像素子、制御方法、並びに、撮像装置

Publications (1)

Publication Number Publication Date
JP2015185927A true JP2015185927A (ja) 2015-10-22

Family

ID=54144464

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014058761A Pending JP2015185927A (ja) 2014-03-20 2014-03-20 撮像素子、制御方法、並びに、撮像装置

Country Status (3)

Country Link
JP (1) JP2015185927A (ja)
TW (1) TW201540070A (ja)
WO (1) WO2015141491A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018207665A1 (ja) * 2017-05-11 2018-11-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、駆動方法、及び電子機器
JP2022111151A (ja) * 2016-09-16 2022-07-29 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像装置の制御方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000196947A (ja) * 1998-12-28 2000-07-14 Canon Inc 固体撮像装置
JP3999496B2 (ja) * 2001-11-09 2007-10-31 オリンパス株式会社 撮像装置
JP2007036425A (ja) * 2005-07-25 2007-02-08 Pentax Corp アナログ機器駆動システムおよび撮像装置
JP2007096633A (ja) * 2005-09-28 2007-04-12 Matsushita Electric Ind Co Ltd 映像信号処理装置およびデジタルカメラ
JP2009105852A (ja) * 2007-10-25 2009-05-14 Sharp Corp 映像信号処理装置、固体撮像装置および電子情報機器

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022111151A (ja) * 2016-09-16 2022-07-29 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像装置の制御方法
JP7342197B2 (ja) 2016-09-16 2023-09-11 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像装置の制御方法
WO2018207665A1 (ja) * 2017-05-11 2018-11-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、駆動方法、及び電子機器
US11201997B2 (en) 2017-05-11 2021-12-14 Sony Semiconductor Solutions Corporation Solid-state imaging device, driving method, and electronic apparatus

Also Published As

Publication number Publication date
TW201540070A (zh) 2015-10-16
WO2015141491A1 (ja) 2015-09-24

Similar Documents

Publication Publication Date Title
US9025064B2 (en) Solid-state imaging device, imaging device, and signal readout method
US10582139B2 (en) Signal processing device, imaging element, and electronic apparatus
TWI656630B (zh) 成像元件及成像裝置
JP6614133B2 (ja) 撮像素子、制御方法、並びに、撮像装置
JPWO2015182390A1 (ja) 信号処理装置、制御方法、撮像素子、並びに、電子機器
WO2014174898A1 (ja) 固体撮像装置および撮像装置
WO2016076139A1 (ja) 信号処理装置、制御方法、撮像素子、並びに、電子機器
US10277853B2 (en) Image capturing apparatus and control method of the same
JP6083977B2 (ja) 固体撮像装置および撮像装置
WO2015186509A1 (ja) 信号処理装置、制御方法、撮像素子、並びに、電子機器
WO2015141491A1 (ja) 撮像素子、制御方法、並びに、撮像装置
US9094626B2 (en) Solid-state imaging device, method for controlling solid-state imaging device, and imaging device
JP5335465B2 (ja) 固体撮像素子及び撮像装置
JP5835963B2 (ja) 固体撮像装置、撮像装置、および信号読み出し方法
EP4344243A1 (en) Image sensor comprising pixels usable in both rolling shutter and global shutter mode and image processing device including the same
JP2018113613A (ja) 撮像素子および電子機器
CN117768797A (zh) 图像传感器和包括图像传感器的图像处理装置
JP2013138406A (ja) 固体撮像装置、撮像装置、および信号読み出し方法