JP2019161438A - 画像処理装置、画像処理方法及び画像処理システム - Google Patents

画像処理装置、画像処理方法及び画像処理システム Download PDF

Info

Publication number
JP2019161438A
JP2019161438A JP2018045331A JP2018045331A JP2019161438A JP 2019161438 A JP2019161438 A JP 2019161438A JP 2018045331 A JP2018045331 A JP 2018045331A JP 2018045331 A JP2018045331 A JP 2018045331A JP 2019161438 A JP2019161438 A JP 2019161438A
Authority
JP
Japan
Prior art keywords
adcs
adc
pixel
image sensor
shutter operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018045331A
Other languages
English (en)
Inventor
千丈 岡田
Senjo Okada
千丈 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2018045331A priority Critical patent/JP2019161438A/ja
Priority to PCT/JP2019/002080 priority patent/WO2019176309A1/ja
Priority to US16/978,379 priority patent/US11212477B2/en
Publication of JP2019161438A publication Critical patent/JP2019161438A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Abstract

【課題】電力の消費を抑制しつつ、無効フレームの発生を防止する。【解決手段】イメージセンサから読み出される画素信号をアナログ形式からデジタル形式に変換する複数のＡＤＣを備えるＡＤＣ部と、前記イメージセンサからの前記画素信号の読出しにおける画素の間引き率に基づき、前記複数のＡＤＣのうちで使用するＡＤＣの数である使用ＡＤＣ数を選択する選択部と、を含み、前記使用ＡＤＣ数と前記間引き率との積が一定の状態を保って、前記使用ＡＤＣ数及び前記間引き率が切り替わる、画像処理装置。【選択図】図３

Description

本開示は、画像処理装置、画像処理方法及び画像処理システムに関する。
近年では、様々な種類の撮像装置が開発されている。撮像装置は、ＣＣＤ(Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ)イメージセンサに代表される電荷転送型撮像装置と、ＣＭＯＳ(Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ)イメージセンサに代表されるＭＯＳ型撮像装置に大別される。そして、例えばＣＭＯＳイメージセンサは特に、スマートフォンを含む携帯、カメラ等のモバイル製品に搭載されて用いられている。
ＣＭＯＳイメージセンサにおいては、ユーザの様々なユースケースに応じて、シャッター動作及び読み出し動作により読み出された各画素の信号をアナログ形式からデジタル形式に変換するＡＤＣの切り替え動作が行われる。特許文献１には、各画素から信号を読み出して、読み出した画素信号をアナログ形式からデジタル形式へ変換するＡＤＣが複数設けられた画像処理に関する技術が開示されている。例えば、ＣＭＯＳイメージセンサの中には、消費電力が大きく、高速かつ高解像で読み出された各画素の画素信号を変換するＡＤＣを使用する技術、速度及び解像度を低下させて消費電力を低下して読み出された画素信号を変換するＡＤＣを使用する技術等がある。複数のＡＤＣを使用するスマートフォンを含む携帯、カメラ等のモバイル製品においては、これらのシャッター動作から画素信号の変換を行うＡＤＣまで動作をユースケースに応じて切り替えることにより、動作可能時間の最大化と高速及び高画質とを実現している。
しかしながら、ＡＤＣ動作の切り替え時には、イメージセンサにおけるシャッター動作の傾き及び読み出し動作の傾きを一定に保てないことにより、各画素におけるシャッター動作から読出し動作開始までの画素による電荷の蓄積時間が、１つの撮像画像を形成する１フレーム内で一定ではなくなっていた。蓄積時間が一定ではないフレームは、無効フレームとされ、表示には使用されなかった。
このような無効フレームを発生させないように様々な技術が開発されている。例えば、異なる種類のＡＤＣの間で、シャッター動作及び読出し動作の傾きは異なるが、蓄積時間に制約を設けることで、１フレーム内の蓄積時間を一定とする方法が開示されている。
また、特許文献２には、１フレーム内の蓄積時間が一定でない場合に、蓄積時間を補正して、信号を出力する手法が開示されている。さらに、特許文献３には、シャッター動作及び読み出し動作が行われ、読み出された画素信号をＡＤＣにより変換する過程で、水平同期信号を一部間引くことにより、シャッター動作及び読出し動作の傾きを揃える手法が開示されている。
特開２０１３−５５５８９号公報 特開２０１０−１３０４９２号公報 特開２００７−１０４２４１号公報
しかし、上記のような技術においては、蓄積時間に制約が生じたり、新たな補正機構が必要であったり、補正が不十分であると１フレーム内で段差が発生してしまっていた。また、特許文献３に開示の技術では、蓄積時間は保障されるものの、低消費電力を実現する上で、その効果は限定的であった。
上記事情に鑑みれば、電力の消費を抑制しつつ、無効フレームの発生を防止することが望ましい。
本開示によれば、イメージセンサから読み出される画素信号をアナログ形式からデジタル形式に変換する複数のＡＤＣを備えるＡＤＣ部と、前記イメージセンサからの前記画素信号の読出しにおける画素の間引き率に基づき、前記複数のＡＤＣのうちで使用するＡＤＣの数である使用ＡＤＣ数を選択する選択部と、を含み、前記使用ＡＤＣ数と前記間引き率との積が一定の状態を保って、前記使用ＡＤＣ数及び前記間引き率が切り替わる、画像処理装置が提供される。
前記イメージセンサでは、蓄積された画素信号を掃き捨てるシャッター動作と、前記画素信号を読み出す読み出し動作とが、画像１フレーム毎に行われ、前記シャッター動作が行われる前に、前記使用ＡＤＣ数及び前記間引き率が異なる第１のＡＤＣモード及び第２のＡＤＣモードに利用されるパラメータ情報である第１のレジスタ及び第２のレジスタが設定されてもよい。
前記第１のレジスタ及び前記第２のレジスタは、前記第１のＡＤＣモード及び前記第２のＡＤＣモードが切り替わる対象となる前記シャッター動作が開始する前に与えられた垂直同期信号よりも前に設定されてもよい。
また、本開示によれば、プロセッサが、イメージセンサから読み出される画素信号を複数のＡＤＣによりアナログ形式からデジタル形式に変換することと、前記イメージセンサからの前記画素信号の読出しにおける画素の間引き率に基づき、前記複数のＡＤＣのうちで使用するＡＤＣの数である使用ＡＤＣ数を選択することと、を含み、前記使用ＡＤＣ数と前記間引き率との積が一定の状態を保って、前記使用ＡＤＣ数及び前記間引き率が切り替わる、画像処理方法が提供される。
また、本開示によれば、コンピュータを、イメージセンサから読み出される画素信号をアナログ形式からデジタル形式に変換する複数のＡＤＣを備えるＡＤＣ部と、前記イメージセンサからの前記画素信号の読出しにおける画素の間引き率に基づき、前記複数のＡＤＣのうちで使用するＡＤＣの数である使用ＡＤＣ数を選択する選択部と、として機能させ、さらに、前記使用ＡＤＣ数と前記間引き率との積が一定の状態を保って、前記使用ＡＤＣ数及び前記間引き率が切り替わるためのプログラムが提供される。
本開示によれば、使用するＡＤＣ数と間引き率との積を一定とすることで、シャッター動作及び読み出し動作の傾きを一定としたまま、使用するＡＤＣ数の変化に応じて消費電力が変化して電力の消費を抑制できる。
以上説明したように本開示によれば、電力の消費を抑制しつつ、無効フレームの発生を防止できる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の技術が適用されうる電子機器の一例を示す外観図である。 本開示の技術が適用されうる電子機器の一例を示す外観図である。 本開示の技術の比較例を示す図である。 本開示の実施形態に係る撮像装置の構成を示すブロック図である。 同実施形態に係るＡＤＣの配置を示す図である。 同実施形態に係る撮像装置の動作流れを示す図である。 同実施形態に係る撮像装置の動作流れを示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１． 本開示の技術概要
１．１． 本開示の技術が適用され得る電子機器の一例
１．２． ＣＭＯＳイメージセンサ
１．３． 本開示の技術に想到する背景
２． 本開示の技術が適用され得る撮像装置に関して
２．１． 機能及び構成
２．２． 垂直間引き率及び使用ＡＤＣ数の関係
２．３． ＡＤＣの配置例
２．４． 動作流れ
（１．本開示の技術概要）
（１．１．本開示の技術が適用され得る電子機器の一例）
図１Ａ及び図１Ｂを参照して、本開示の技術が適用される電子機器の一例を説明する。図１Ａおよび図１Ｂは、本開示の技術が適用されたデジタルカメラを示した図である。デジタルカメラ２００は、本体部（カメラボディ）２１１と、交換式のレンズユニット２１３と、撮影時にユーザによって把持されるグリップ部２１５と、各種情報を表示するモニタ部２１７と、撮影時にユーザによって観察されるスルー画を表示するＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）２１９と、を備える。なお、図１Ａは、デジタルカメラ２００を前方（すなわち、被写体側）から眺めた外観図であり、図１Ｂは、デジタルカメラ２００を後方（すなわち、撮影者側）から眺めた外観図である。
本開示の技術は、例えば、デジタルカメラ２００において、撮像する際に使用され、モニタ部２１７にて表示される撮像画像が途切れたりすることを防止できる。
（１．２．ＣＭＯＳイメージセンサ）
まず、デジタルカメラ２００のような撮像装置に搭載されるＣＭＯＳイメージセンサの機構に関して説明を行う。イメージセンサには、複数の画素が設けられている。イメージセンサでは、各画素に蓄積された電荷を読み出して、複数のＡＤＣで、読み出された画素信号をアナログ形式からデジタル形式に変換する。この複数のＡＤＣから出力されたデジタル形式の画素信号は、画像処理が施されることで撮像画像として形成される。ここで得られた撮像画像はデジタルカメラ２００のモニタ部２１７にて、例えば表示されることで、ユーザが撮像画像を確認することができる。
イメージセンサ内では、具体的に、光電変換素子である各画素に蓄積されている電荷を掃き捨てるシャッター動作と、各画素に蓄積された画素信号を読み出す読出し動作が行われる。このシャッター動作から読み出し動作までが画素に電荷が蓄積される時間であり、この時間を蓄積時間と称す。その後、イメージセンサから読み出された画素信号は、複数のＡＤＣにより、アナログ形式からデジタル形式に変換され、デジタル形式の画素信号が出力されて、画像処理が行われる。
（１．３．本開示の技術に想到する背景）
本開示の技術背景に関して、図２を参照して説明を行う。図２は、本開示の技術の比較例にかかるイメージセンサのシャッター動作Ｓ及び読み出し動作Ｒが行われるタイミングチャートを示した図である。水平同期信号の間隔は、所定の間隔で出力される水平方向の動作に関する信号である。垂直同期信号は、所定の間隔で出力される垂直方向の動作に関する信号である。
例えば、シャッター動作及び読み出し動作の速度が異なる２つの状態を駆動Ａ及び駆動Ｂとする。駆動Ａでは、水平同期信号の間隔が駆動Ｂより狭く、駆動Ｂでは、水平同期信号の間隔が駆動Ａよりも広い。つまり、１フレーム分の画素信号を読み出す際にかかる時間が駆動Ａの方が短く、駆動Ｂの方が長い。そして、駆動Ａに対応するシャッター動作Ｓ１及び読み出し動作Ｒ１は、動作開始から終了まで、同一の傾きを有し一定の間隔を保っている。この様にシャッター動作及び読み出し動作の傾きが同一で一定の間隔を保つことは、画素配列の全ての水平ラインにおいて、シャッター動作Ｓ１からの読み出し動作Ｒ１までで各画素の蓄積時間が同じであることを示している。
図２では、所定の間隔で垂直同期信号が出力され、駆動が切り替わるタイミングＣ１を示している。タイミングＣ１を機に、駆動Ａが駆動Ｂに切り替わる。例えば、このようにタイミングＣ１で駆動Ａから駆動Ｂに切り替わると、読み出し動作Ｒ２は駆動Ｂの読み出し速度にて画素信号を読み出す。一方で、読み出し動作Ｒ２に対応するシャッター動作Ｓ２では、シャッター動作Ｓ２の途中で、駆動Ａから駆動Ｂに切り替わっている。そのため、シャッター動作Ｓ２の傾きが、シャッター動作の開始から終了までで変化している。
つまり、タイミングＣ１の前後でシャッター動作Ｓ２が継続して行われており、タイミングＣ１で駆動Ａから駆動Ｂに切り替わると、シャッター動作Ｓ２は、駆動Ａにおけるシャッター動作の速度から、駆動Ｂにおけるシャッター動作の速度に変化する。よってシャッター動作から読み出し動作までの蓄積時間が、１フレームを通して一定ではなくなる。このように、蓄積時間が一定でないフレームは、無効フレームとされ、撮像画像の表示には使用されないフレームとなる。
次に、図２では、さらに次の垂直同期信号が出力され、駆動が切り替わるタイミングＣ２を示している。タイミングＣ２を機に、駆動Ｂから駆動Ａに切り替わる。例えば、タイミングＣ２の前後ではシャッター動作Ｓ３が継続して行われている。タイミングＣ２で駆動Ｂから駆動Ａに切り替わると、シャッター動作Ｓ３は、シャッター動作開始からタイミングＣ２までは駆動Ｂにおけるシャッター動作の速度にて動作するものの、タイミングＣ２を機に、駆動Ａにおけるシャッター動作速度にて動作する。
一方で、タイミングＣ２で駆動Ｂから駆動Ａに切り替わった後に、読み出しが始まる読み出し動作Ｒ３では、駆動Ａにおける読み出し速度で読み出し動作Ｒ３が行われる。これより、シャッター動作Ｓ３及び読み出し動作Ｒ３の傾きは一定ではなくなり、１フレームの画像内で、蓄積時間が一定でないフレームが生じる。このように１フレーム内で蓄積時間が一定でないフレームは、上述した駆動Ａから駆動Ｂに切り替わった時と同様に、無効フレームとされ、撮像画像の表示には使用されないフレームとなる。
そこで、発明者は、駆動間の切り替えを行っても、シャッター動作及び読み出し動作の傾きが一定とできる技術に関して、鋭意研究を行った。各駆動内では、シャッター動作及び読み出し動作が行われ、読み出された画素信号は、ＡＤＣにてアナログ形式からデジタル形式へ変換されて出力される。これより、ＡＤＣに着目してシャッター動作及び読み出し動作の傾きが一定であり、かつ低消費電力にてＡＤＣを動作させる技術を想到した。
（２．本開示の技術が適用され得る撮像装置に関して）
（２．１．機能及び構成）
図３を参照して、本開示の技術を適用した撮像装置１００の機能及び構成を説明する。図３は、本開示の技術を適用した撮像装置１００の各構成の一例をブロック図にて示した図である。撮像装置１００は、制御部１１０、イメージセンサ１２０、ＡＤＣ部１３０、及び画像処理部１４０を含む。
（（イメージセンサ））
イメージセンサ１２０は、シャッター動作処理部１２２及び読み出し動作処理部１２４を含む。イメージセンサ１２０は、各画素にて受光を行い、各画素の画素信号の読み出しを行う機能を有する。例えば、イメージセンサ１２０では、水平方向及び垂直方向に複数の画素が並んで配置され、撮像画像１フレーム分の被写体の光を受光する。
シャッター動作処理部１２２は、各画素において被写体の光を受光して蓄積された電荷を順次掃き捨てる機能を有する。シャッター動作処理部１２２が動作した後には、各画素において、新たに被写体の光の受光が行われることで電荷の蓄積が行われる。シャッター動作処理部１２２では、水平方向及び垂直方向に複数並んで配置される各画素に対して、シャッター動作が行われる。このシャッター動作は、撮像画像１フレームの最上段に対応する水平ラインに配置される画素から開始され、水平方向最下段まで順次行われる。
読み出し動作処理部１２４は、各画素において蓄積された電荷を読み出して、ＡＤＣ部１３０に出力する機能を有する。読み出し動作は、シャッター動作と同様に、水平方向及び垂直方向に複数並んで配置される各画素に対して行われる。読み出し動作は、撮像画像１フレームの最上段に対応する水平ラインに配置される画素から開始され、水平方向最下段まで順次行われる。
（（ＡＤＣ部））
ＡＤＣ部１３０は、イメージセンサ１２０にて読み出された画素信号をアナログ形式からデジタル形式に変換して、画素信号を画像処理部１４０に出力する機能を有する。ＡＤＣ部は、複数のＡＤＣを備えている。ＡＤＣ部１３０に備えられるＡＤＣの数は限定されない。
（（制御部１１０））
制御部１１０は、ＡＤＣ選択部１１２及び垂直間引き指定部１１４を含む。制御部１１０は、イメージセンサ１２０及びＡＤＣ部１３０を制御する機能を有する。
制御部１１０は、例えば、ソフトウェアとハードウェアとの協働によって上述した制御を実行してもよい。例えば、制御部１１０は、ハードウェアとして、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、を備えてもよい。
ＣＰＵは、例えば、演算処理装置または制御装置として機能し、ＲＯＭ、ＲＡＭに記録された各種プログラムに基づいて各構成要素の動作全般またはその一部を制御する。なお、本開示に係る技術の範疇には、ＣＰＵ等を含むコンピュータに上述した機能を実行させるプログラム、及び該プログラムを記憶させた記憶媒体も含まれるとする。
ＲＯＭは、ＣＰＵに読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭには、例えば、ＣＰＵに読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的または永続的に格納される。
制御部１１０に含まれるＡＤＣ選択部１１２は、ＡＤＣ部１３０に備えられる複数のＡＤＣの内で、使用するＡＣＤの数を選択する機能を有する。使用するＡＤＣの数を選択することにより、使用するＡＤＣと使用しないＡＤＣを分別することができる。使用しないＡＤＣを設けることにより、撮像装置１００の電力消費を抑制することができる。
垂直間引き指定部１１４は、イメージセンサから読み出される画素信号を垂直方向に間引く間引き率を指定する機能を有する。ここで、間引き率と使用ＡＤＣ数との積は一定の状態を保つように設定される。よって、ＡＤＣ選択部１１２及び垂直間引き指定部１１４は協働して、間引き率を指定したり使用するＡＤＣ数を選択したりする。垂直間引きの詳しくは、後述する。
（２．２．垂直間引き率及び使用ＡＤＣ数の関係）
まず、垂直間引きに関して説明する。垂直間引き動作とは、配列される画素の水平ラインの一部を抽出して読み込んで、読み込まれた画素信号はＡＤＣを用いてアナログ形式からデジタル形式に変換されて出力されることをいう。例えば、Ｒ（赤）Ｇ（緑）Ｂ（青）のカラーコーディングの色フィルタを持つ各画素において、水平方向に複数の画素（画素は２以上の整数）を有した画素水平ラインが、垂直方向にｎ行配置されるＲＧＢ画素配列（ベイヤ―配列）例を用いて説明する。
ベイヤ―配列では、奇数行がＧＲ行、偶数行がＧＢ行で並んで配置されている。このベイヤ―配列に対して、例えば、画素信号の読み出し動作は、画素水平ラインｎ行に対して順次読み出し動作が行われ、ｎ行目の画素水平ラインへの読み出し動作が終了すると、垂直方向に次行である（ｎ＋１）行目の読み出し動作を水平方向に行う。例えば、垂直方向の全ての行に対して、読み出し動作が行われた後は、次のフレームにかかる読み出し動作が順次ｎ行目の画素水平ラインへ行われ得る。画素水平ラインを読み出す中で、垂直方向に全ての行を読み出して画素信号の変換を行い、出力することを、全画素動作と呼ぶことができる。シャッター動作に関しても、読み出し動作と同様に順次行われる。
一方で、垂直間引き動作とは、垂直方向の全ての行に対して読み出しを行うのではなく、垂直方向に配置される行の一部を間引いて読み出しを行い、読み出した行の画素信号を加算して、任意の行の画素信号として読み出して、画素信号の変換が行われる動作である。例えば、２／３垂直間引きであれば、奇数行に並ぶＧＲ行の３行のうち、２行に対して読み出し動作が行われ、１行分の画素信号として出力され画素信号の変換が行われる。偶数行のＧＢ行においても同様に、読み出し動作を行い、偶数行に並ぶＧＢ行の３行のうち、２行に対して読み出し動作を行い、１行分の画素信号として出力され画素信号の変換が行われる。分母に表記される数字が、垂直方向の間引き率を示す。例えば、１／６垂直間引き動作であれば、奇数行に並ぶＧＲ行の６行のうち、１行に対して読み出し動作が行われ、１行分の画素信号として出力されて画素信号の変換が行われる。このように垂直間引き動作を行うことで、垂直方向に全ての行を読み出す全画素動作に比べて、読み出し及び画素信号の変換にかかる時間は低減される。
しかしながら、このように全画素動作と垂直間引き動作では、１フレーム分の画素信号を読み出してＡＤＣへ出力し、ＡＤＣが画素信号をアナログ形式からデジタル形式へ変換するまでの時間が異なる。この時間が異なれば、無効フレームが発生してしまうため、読み出し動作からＡＤＣにおける変換動作までの時間を一定とすることが求められる。
よって、垂直間引き動作を行う際には、使用するＡＤＣ数を全画素動作時に使用するＡＤＣ数から減少させることで、読み出しからＡＤＣにおける変換動作までの時間を変化させることができる。シャッター動作及び読み出し動作の傾きを一定とするには、垂直間引き率（以下間引き率と称す。）を指定して、間引き率に基づいて使用するＡＤＣ数を選択することで、読み出しからＡＤＣにおける変換動作までの時間を一定とすることが求められる。よって、間引き率と使用ＡＤＣ数との積が一定となるように、間引き率と使用ＡＤＣ数が切り替わることで、無効フレームの発生を防止することができる。
（２．３．ＡＤＣの配置例）
ここで、図４を参照して、ＡＤＣの配置例の説明を行う。図４は、ＡＤＣの配置例の一例を示した図である。図４では、単位基板上に、接続部、複数のＡＤＣ、出力回路及びＰＡＤが配置されている。接続部は、中心部に一対の接続部を有している。一対の接続部が配置される方向において、一対の接続部から一対の接続部が配置される方向の単位基板の両側に向かって、複数のＡＤＣが備えられている。複数のＡＤＣは、一対の接続部の片側に第１のＡＤＣ、もう片側に第２のＡＤＣを備え、第１のＡＤＣには隣り合って第３のＡＤＣ、第２のＡＤＣには隣り合って第４のＡＤＣが備えられている。また、一対の接続部が配置される方向と直交する方向には、単位基板の両端部に出力回路およびＰＡＤが配置されている。
図４に記載されるＡＤＣ配置例では、１２個のＡＤＣが単位基板上に配置される様子を示している。かかる例では、複数のＡＤＣが１２個である配置例を示しているが、ＡＤＣの個数は、２以上であれば限定されない。具体的には、２、４、８、１２、１６個のＡＤＣが配置されていてもよい。
本開示の技術では、間引き率に基づいて、複数設けられたＡＤＣのうち使用するＡＤＣを選択する。図４では、１２個配置されるＡＤＣの内、使用するＡＤＣ数が１２個の場合、及び使用するＡＤＣ数が２個とした場合を示している。ハッチングされていないＡＤＣが使用ＡＤＣとして選択されたＡＤＣを示しており、ハッチングされたＡＤＣは、使用されないＡＤＣを示している。例えば、図４においては、使用するＡＤＣ数が２個の場合には、一対の接続部に最も近い、第１のＡＤＣ及び第２のＡＤＣが選択されている。
なお、図４に記載されるＡＤＣ配置例では、画素の記載がされていないが、画素は複数のＡＤＣが設けられる単位基板上に画素が設けられてもよく、別途ウエハ上に画素が設けられ単位基板に積層化されてもよい。別途ウエハ上に画素が設けられることにより、チップの増大によるコスト増加等を抑制することができる。
（２．４．動作流れ）
次に、図５及び図６を参照して、使用されるＡＤＣ数が１２個から２個の間で切り替わる動作に関して説明を行う。図５は、使用されるＡＤＣ数が１２個から２個の間で切り替わる場合のタイミングチャートを示す図である。図５に示す使用ＡＤＣ数及び間引き率の関係は、間引き率が１／６で動作を行う時には、使用ＡＤＣ数は２個であり、間引き率が１／１で動作を行う時には、使用ＡＤＣ数が１２個である。
図５において、間引き率及び使用するＡＤＣ数が変更されることにより、シャッター動作ｓ１、ｓ２、ｓ３及び読み止し動作ｒ１、ｒ２、ｒ３の傾きが一定となっている。つまり、シャッター動作ｓ１及び読み出し動作ｒ１と、シャッター動作ｓ２及び読み出し動作ｒ２との傾きが一定である。これは、間引き率が１／６から間引き率が１／１で切り替えられる際に、使用するＡＤＣの数をタイミングｅ１にて２個から１２個に切り替えることによる。このように、間引き率及び使用するＡＤＣ数を切り替えることにより、全フレームを通して、電力消費を抑制することができる上、シャッター動作及び読み出し動作の傾きが一定となる。
図５に示すように、使用するＡＤＣ数は、１フレームのシャッター動作が行われている間に切り替わる。この切り替えに関して、図６を参照して、シャッター動作中に使用するＡＤＣ数を異ならせる場合を第１のＡＤＣモード及び第２のＡＤＣモードとして説明を行う。図６は、図５に対して、第１のＡＤＣモード及び第２のＡＤＣモードが切り替わる設定に関する記載を追加した図である。ここで、図５と同様に、垂直間引きは、第１のＡＤＣモードでは、１／６垂直間引きであり、第２のＡＤＣモードは、１／１垂直間引きである。また、第１のＡＤＣモードでは、使用するＡＤＣ数が２個であり、第２のＡＤＣモードでは、使用するＡＤＣ数が１２個である。
まず、図６を参照すると、垂直同期信号ｖ１から垂直同期信号ｖ２までの期間に対応するシャッター動作ｓ１は、垂直同期信号ｖ１よりも前から行われており、垂直同期信号ｖ１のタイミングでは、シャッター動作ｓ１は継続中である。読み出し動作ｒ１は、垂直同期信号ｖ１よりも後に行われ、シャッター動作ｓ１から所定の蓄積時間が完了した後に、順次開始する。
次の垂直同期信号ｖ２から垂直同期信号ｖ３までの期間にはシャッター動作ｓ２及び読み出し動作ｒ２が対応し、シャッター動作ｓ２は、垂直同期信号ｖ２よりも前から行われており、垂直同期信号ｖ２のタイミングでは、シャッター動作ｓ２は継続中である。読み出し動作ｒ２は、垂直同期信号ｖ２よりも後に行われ、シャッター動作ｓ２から所定の蓄積時間が経過した後に、順次開始する。
本開示の技術では、シャッター動作ｓ２が動作している最中に、使用するＡＤＣ数が切り替わる。図６を参照すると、シャッター動作ｓ２の動作最中に使用するＡＤＣ数が２個から１２個に切り替わっている。
ここで、シャッター動作ｓ２は、垂直同期信号ｖ２の前期間および後期間に亘り、第２のＡＤＣモードで行われる。このため、シャッター動作ｓ２の傾きが一定に維持される。垂直同期信号ｖ２の前期間においてもシャッター動作ｓ２が第２のＡＤＣモードで動作するために、本開示の技術では、垂直同期信号ｖ１の時点では、第１のＡＤＣモードに利用されるパラメータ情報である第１のレジスタに加え、第２のＡＤＣモードに利用されるパラメータ情報である第２のレジスタが設定されることが望ましい。
例えば、図６においては、シャッター動作ｓ２が動作している最中に、使用するＡＤＣ数が２個から１２個へ切り替わっている。この切り替えは、シャッター動作ｓ２が動作を開始する前に出力された垂直同期信号ｖ１よりも前のタイミングｃ１にて、第１のレジスタおよび第２のレジスタが設定されることにより実現される。これにより、撮像装置１００に不具合が生じずに撮像を行うことができる。
さらに、図６を参照すると、シャッター動作ｓ３の動作最中に使用するＡＤＣ数が１２個から２個に切り替わっている。
ここで、シャッター動作ｓ３は、垂直同期信号ｖ３の前期間および後期間に亘り、第２のＡＤＣモードで行われる。このため、シャッター動作ｓ３の傾きが一定に維持される。垂直同期信号ｖ３の前期間においてもシャッター動作ｓ３が第１のＡＤＣモードで動作するために、本開示の技術では、垂直同期信号ｖ２の時点では、第２のＡＤＣモードに利用されるパラメータ情報である第２のレジスタに加え、第１のＡＤＣモードに利用されるパラメータ情報である第１のレジスタが設定されることが望ましい。
例えば、図６においては、シャッター動作ｓ３が動作している最中に、使用するＡＤＣ数が１２個から２個へ切り替わっている。この切り替えは、シャッター動作ｓ３が動作を開始する前に出力された垂直同期信号ｖ２よりも前のタイミングｃ２にて、第２のレジスタおよび第１のレジスタが設定されることにより実現される。これにより、撮像装置１００に不具合が生じずに撮像を行うことができる。
上記では、所定のシャッター動作の最中に、使用するＡＤＣ数が切り替わる場合に関して説明を行ったが、所定のシャッター動作の最中に使用するＡＤＣ数の切り替えは行われない場合に関して説明を行う。図６を参照すると、シャッター動作ｓ３の動作最中に第２のＡＤＣモードから第１のＡＤＣモードに切り替えが行われ、切り替え後には第１のモードが継続する場合を示している。この時、シャッター動作ｓ３の次に行われるシャッター動作では、第１のＡＤＣモードが継続している。
この場合には、切り替え後のシャッター動作が行われる前に、第１のＡＤＣモードに利用されるパラメータ情報である第１のレジスタが設定される。図６では、例えば第１のＡＤＣモードへの切り替えが行われたタイミングｅ２と切り替え後に出力される垂直同期信号ｖ３との間で第１のレジスタが設定されることが好ましい。
上記のような構成を有して、使用するＡＤＣ数と間引き率との積を一定とすることで、シャッター動作及び読み出し動作の傾きを一定としたまま、使用するＡＤＣ数が減少するときには電力の消費を抑えつつ、無効フレームの発生を防止できる。無効フレームを防止することにより、撮像装置における撮影連射速度の低下が抑制されたり、ユーザが撮影したい瞬間を取り逃さずに撮像体験を行ったりすることができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、デジタルカメラに内蔵される撮像装置としたが、本技術はかかる例に限定されない。例えば、スマートフォン、その他電子機器等に適用されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
１００ 撮像装置
１１０ 制御部
１１２ ＡＤＣ選択部
１１４ 垂直間引き指定部
１２０ イメージセンサ
１２２ シャッター動作処理部
１２４ 読み出し動作処理部
１３０ ＡＤＣ部
１４０ 画像処理部

Claims (5)

  1. イメージセンサから読み出される画素信号をアナログ形式からデジタル形式に変換する複数のＡＤＣを備えるＡＤＣ部と、
    前記イメージセンサからの前記画素信号の読出しにおける画素の間引き率に基づき、前記複数のＡＤＣのうちで使用するＡＤＣの数である使用ＡＤＣ数を選択する選択部と、を含み、
    前記使用ＡＤＣ数と前記間引き率との積が一定の状態を保って、前記使用ＡＤＣ数及び前記間引き率が切り替わる、画像処理装置。
  2. 前記イメージセンサでは、蓄積された画素信号を掃き捨てるシャッター動作と、前記画素信号を読み出す読み出し動作とが、画像１フレーム毎に行われ、
    前記シャッター動作が行われる前に、前記使用ＡＤＣ数及び前記間引き率が異なる第１のＡＤＣモード及び第２のＡＤＣモードに利用されるパラメータ情報である第１のレジスタ及び第２のレジスタが設定される、請求項１に記載の画像処理装置。
  3. 前記第１のレジスタ及び前記第２のレジスタは、前記第１のＡＤＣモード及び前記第２のＡＤＣモードが切り替わる対象となる前記シャッター動作が開始する前に与えられた垂直同期信号よりも前に設定される、請求項２に記載の画像処理装置。
  4. プロセッサが、
    イメージセンサから読み出される画素信号を複数のＡＤＣによりアナログ形式からデジタル形式に変換することと、
    前記イメージセンサからの前記画素信号の読出しにおける画素の間引き率に基づき、前記複数のＡＤＣのうちで使用するＡＤＣの数である使用ＡＤＣ数を選択することと、を含み、
    前記使用ＡＤＣ数と前記間引き率との積が一定の状態を保って、前記使用ＡＤＣ数及び前記間引き率が切り替わる、画像処理方法。
  5. コンピュータを、
    イメージセンサから読み出される画素信号をアナログ形式からデジタル形式に変換する複数のＡＤＣを備えるＡＤＣ部と、
    前記イメージセンサからの前記画素信号の読出しにおける画素の間引き率に基づき、前記複数のＡＤＣのうちで使用するＡＤＣの数である使用ＡＤＣ数を選択する選択部と、として機能させ、
    さらに、前記使用ＡＤＣ数と前記間引き率との積が一定の状態を保って、前記使用ＡＤＣ数及び前記間引き率が切り替わるためのプログラム。
JP2018045331A 2018-03-13 2018-03-13 画像処理装置、画像処理方法及び画像処理システム Pending JP2019161438A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018045331A JP2019161438A (ja) 2018-03-13 2018-03-13 画像処理装置、画像処理方法及び画像処理システム
PCT/JP2019/002080 WO2019176309A1 (ja) 2018-03-13 2019-01-23 画像処理装置、画像処理方法及び画像処理システム
US16/978,379 US11212477B2 (en) 2018-03-13 2019-01-23 Image processing device, image processing method, and image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018045331A JP2019161438A (ja) 2018-03-13 2018-03-13 画像処理装置、画像処理方法及び画像処理システム

Publications (1)

Publication Number Publication Date
JP2019161438A true JP2019161438A (ja) 2019-09-19

Family

ID=67907141

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018045331A Pending JP2019161438A (ja) 2018-03-13 2018-03-13 画像処理装置、画像処理方法及び画像処理システム

Country Status (3)

Country Link
US (1) US11212477B2 (ja)
JP (1) JP2019161438A (ja)
WO (1) WO2019176309A1 (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002252809A (ja) * 2001-02-23 2002-09-06 Sanyo Electric Co Ltd パルス発生回路
JP4692196B2 (ja) 2005-10-04 2011-06-01 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および撮像装置
JP2010130492A (ja) 2008-11-28 2010-06-10 Canon Inc 撮像装置
JP5423125B2 (ja) * 2009-04-24 2014-02-19 ソニー株式会社 固体撮像素子およびその駆動方法、並びにカメラシステム
US8749656B2 (en) * 2011-03-16 2014-06-10 Analog Devices, Inc. Apparatus and method for image decimation for image sensors
JP2012249134A (ja) * 2011-05-30 2012-12-13 Sony Corp 固体撮像素子およびその駆動方法、カメラシステム
JP5862126B2 (ja) 2011-09-06 2016-02-16 ソニー株式会社 撮像素子および方法、並びに、撮像装置
US9503641B2 (en) 2013-02-19 2016-11-22 Microsoft Technology Licensing, Llc Energy-proportional image sensor

Also Published As

Publication number Publication date
US11212477B2 (en) 2021-12-28
US20210044773A1 (en) 2021-02-11
WO2019176309A1 (ja) 2019-09-19

Similar Documents

Publication Publication Date Title
JP6019692B2 (ja) 撮像素子、撮像素子の制御方法、および、撮像装置
JP4208904B2 (ja) 撮像装置及びその制御方法並びに撮像システム
JP4951440B2 (ja) 撮像装置及び固体撮像素子の駆動方法
JP4833213B2 (ja) 撮像データ処理装置、撮像データ処理方法および撮像素子
JP4616429B2 (ja) 画像処理装置
JP4317117B2 (ja) 固体撮像装置および撮像方法
JP5033711B2 (ja) 撮像装置及び撮像装置の駆動方法
JP2007124542A (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP4458864B2 (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP2006228801A (ja) 固体撮像素子
JP5452269B2 (ja) 撮像装置
WO2018021034A1 (ja) 撮像制御装置および撮像制御方法、並びに撮像素子
JP2008131460A (ja) ディジタルカメラ
JP2006246148A (ja) 撮像装置
JP2008187614A (ja) 撮影装置
WO2019176309A1 (ja) 画像処理装置、画像処理方法及び画像処理システム
JP4738667B2 (ja) 撮像装置
JP5530279B2 (ja) 撮像装置、撮像制御方法、およびプログラム
JP6393087B2 (ja) 撮像素子及び撮像装置
JP2005303653A (ja) 撮像装置
JP3965146B2 (ja) 電子的撮像装置
JP2008306616A (ja) 撮像装置
JP2004153710A (ja) 撮像装置の制御方法および撮像装置
JP2005012403A (ja) デジタルカメラ及び画像情報取得方法
JP4055052B2 (ja) デジタルカメラ