JP2022152974A - 撮像システム及び撮像装置 - Google Patents

Abstract

【課題】信号のノイズ成分を抑制するためのデータを取得する。
【解決手段】撮像システムは、光電変換部と、光電変換された電荷又は前記電荷に関する情報を保持する保持部と、を有する複数の画素から、前記電荷又は前記情報を信号として読み出す読出部と、前記読出部を制御することにより、画像データを生成するように複数の前記画素から信号を読み出すとともに、読出期間中に少なくとも一部の前記画素から信号を２回以上読み出す読出制御部と、読出期間中に２回目以降に読み出された信号に基づいて、前記画像データを生成するための信号を処理する信号処理部と、を備える。
【選択図】図８

Description

本開示による実施形態は、撮像システム及び撮像装置に関する。

画素内にメモリを有するグローバルシャッタ方式のイメージセンサにおいて、メモリへの光漏れ起因のＰＬＳ（Parasitic Light Sensitivity）、及び、フォトダイオードからの信号漏れ（ブルーミング）等が問題となる。このＰＬＳ及びブルーミング等によって、メモリに保持された信号電荷にノイズ成分が重畳されてしまう。このノイズ成分を補正するために、補正専用の画素、又は、補正専用のメモリを画素アレイ内に配置することが考えられている（特許文献１参照）。

特開２０１７－７６８９９号公報

しかしながら、画素アレイ内に補正専用の画素又は補正専用のメモリを配置すると、画素面積の低下により、飽和信号量の低下、感度の低下、又は、解像度の悪化につながる場合がある。

そこで、本開示では、信号のノイズ成分を抑制するためのデータを取得することができる撮像装置システム及び撮像装置を提供するものである。

上記の課題を解決するために、本開示によれば、
光電変換部と、光電変換された電荷又は前記電荷に関する情報を保持する保持部と、を有する複数の画素から、前記電荷又は前記情報を信号として読み出す読出部と、
前記読出部を制御することにより、画像データを生成するように複数の前記画素から信号を読み出すとともに、読出期間中に少なくとも一部の前記画素から信号を２回以上読み出す読出制御部と、
読出期間中に２回目以降に読み出された信号に基づいて、前記画像データを生成するための信号を処理する信号処理部と、を備える、撮像システムが提供される。

信号が読み出された少なくとも一部の前記画素の前記保持部は、初期化され、
前記読出制御部は、前記保持部が初期化されてから次の信号の読み出しまでの期間に前記保持部に保持された前記電荷又は前記情報を、読出期間中に２回目以降に読み出される信号として読み出してもよい。

前記読出制御部は、少なくとも一部の前記画素から信号を読み出した後に全ての前記画素から信号を読み出すことにより、読出期間中に少なくとも一部の前記画素から信号を２回以上読み出してもよい。

前記読出制御部は、少なくとも一部の前記画素を分けて信号を複数回読み出した後に全ての前記画素から信号を読み出すことにより、読出期間中に少なくとも一部の前記画素から信号を２回以上読み出してもよい。

前記読出制御部は、第１速度で少なくとも一部の前記画素から信号を読み出した後に、前記第１速度よりも遅い第２速度で全ての前記画素から信号を読み出してもよい。

複数の前記画素は、行列状に配置され、
前記読出制御部は、行単位又は列単位で少なくとも一部の前記画素から信号を読み出した後に、全ての前記画素から信号を読み出してもよい。

前記読出制御部は、前記画素単位で少なくとも一部の前記画素から信号を読み出した後に、全ての前記画素から信号を読み出してもよい。

前記読出制御部は、読出期間中に、間引かれた少なくとも一部の前記画素から信号を２回以上読み出し、
前記信号処理部は、
読出期間中に２回目以降に読み出された信号に基づいて、間引かれた前記画素の間の信号を補間することにより、信号分布を生成し、
前記信号分布に基づいて、前記画像データを生成するための信号を処理してもよい。

前記信号処理部は、間引かれた少なくとも一部の前記画素以外の前記画素から読み出された信号から、前記信号分布に基づく対応する前記画素の信号を減算することにより、前記画像データを生成するための信号を処理してもよい。

前記読出制御部は、複数の前記画素ごとに、又は、１つの前記画素ごとに、順次信号を読み出してもよい。

全ての前記画素は、略同時に露光され、
露光の終了後、全ての前記画素の前記電荷又は前記情報は、略同時に前記保持部に保持されてもよい。

本開示によれば、光電変換部と、光電変換された電荷又は前記電荷に関する情報を保持する保持部と、を有する複数の画素から、前記電荷又は前記情報を信号として読み出す読出部と、
前記読出部を制御することにより、画像データを生成するように複数の前記画素から信号を読み出すとともに、読出期間中に少なくとも一部の前記画素から信号を２回以上読み出す読出制御部と、を備える、撮像装置が提供される。

本開始の第１の実施の形態に係る撮像装置を備えた撮像システムの概略構成の一例を表す図である。 図１の撮像システムにおける撮像手順の一例を表す図である 本開示の第１の実施の形態に係る撮像装置の概略構成の一例を表す図である。 図１のセンサ画素及び読み出し回路の回路構成の一例を表す図である。 図１のセンサ画素の断面構成の一例を表す図である。 撮像装置の動作及びノイズ混入の一例を示すタイミングチャートである。 本開示の第１の実施の形態に係る分割読み出しが行われる画素の一例を示す図である。 本開示の第１の実施の形態に係る撮像装置の動作の一例を示すタイミングチャートである。 本開示の第１の実施の形態に係る後読み信号の行間の補間の一例を示す模式図である。 第１の実施の形態の変形例に係る撮像装置の概略構成の一例を表す図である。 本開示の第２の実施の形態に係る分割読み出しが行われる画素の一例を示す図である。 本開示の第２の実施の形態に係る撮像装置の動作の一例を示すタイミングチャートである。 本開示の第３の実施の形態に係る分割読み出しが行われる画素の一例を示す図である。 本開示の第３の実施の形態に係る撮像装置の動作の一例を示すタイミングチャートである。 本開示の第４の実施の形態に係る分割読み出しが行われる画素の一例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、図面を参照して、撮像システム及び撮像装置の実施形態について説明する。以下では、撮像システム及び撮像装置の主要な構成部分を中心に説明するが、撮像システム及び撮像装置には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。

＜第１の実施の形態＞
[撮像システム]
図１は、本開示の第１の実施の形態に係る撮像装置１を備えた撮像システム２の構成例を示すブロック図である。

撮像システム２は、例えば、デジタルスチルカメラやビデオカメラ等の撮像装置や、スマートフォンやタブレット型端末等の携帯端末装置などの電子機器である。撮像システム２は、例えば、撮像装置１、ＤＳＰ回路２１０、フレームメモリ２２０、表示部２３０、記憶部２４０、操作部２５０及び電源部２６０を備えている。ＤＳＰ回路２１０が、本開示の「信号処理部」の一具体例に相当する。撮像システム２において、ＤＳＰ回路２１０、フレームメモリ２２０、表示部２３０、記憶部２４０、操作部２５０及び電源部２６０は、バスライン２７０を介して相互に接続されている。

撮像装置１は、入射光に応じた画像データを出力する。ＤＳＰ回路２１０は、撮像装置１から出力される信号（画像データ）を処理する信号処理回路である。フレームメモリ２２０は、ＤＳＰ回路２１０により処理された画像データを、フレーム単位で一時的に保持する。表示部２３０は、例えば、液晶パネルや有機EL（Electro Luminescence）パネル等のパネル型表示装置からなり、撮像装置１で撮像された動画又は静止画を表示する。記憶部２４０は、撮像装置１で撮像された動画又は静止画の画像データを、半導体メモリやハードディスク等の記録媒体に記録する。操作部２５０は、ユーザによる操作に従い、撮像システム２が有する各種の機能についての操作指令を発する。電源部２６０は、ＤＳＰ回路２１０、フレームメモリ２２０、表示部２３０、記憶部２４０及び操作部２５０の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。

次に、撮像システム２における撮像手順について説明する。

図２は、撮像システム２における撮像動作のフローチャートの一例を表す。ユーザは、操作部２５０を操作することにより撮像開始を指示する（ステップＳ１０１）。すると、操作部２５０は、撮像指令を撮像装置１に送信する（ステップＳ１０２）。撮像装置１（具体的には撮像装置１のシステム制御回路２４）は、撮像指令を受けると、グローバルシャッター動作での撮像を実行する（ステップＳ１０３）。ＤＳＰ回路２１０は、撮像装置１から入力された後述の補正用データに基づいて所定のノイズ低減処理を行う（ステップＳ１０４）。なお、ノイズ低減処理の詳細については、図７～図９を参照して、後で説明する。ＤＳＰ回路２１０は、ノイズ低減処理により得られた画像データをフレームメモリ２２０に保持させ、フレームメモリ２２０は、画像データを記憶部２４０に記憶させる（ステップＳ１０８）。このようにして、撮像システム２における撮像が行われる。

[撮像装置の構成]
本開示の第１の実施の形態に係る撮像装置１について説明する。撮像装置１は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる表面照射型のイメージセンサである。撮像装置１は、被写体からの光を受光して光電変換し、画像信号を生成することで画像を撮像する。撮像装置１は、入射光に応じた画素信号を出力する。

表面照射型のイメージセンサとは、被写体からの光が入射する受光面と、半導体基板の裏面との間に、被写体からの光を受光し、電気信号に変換するフォトダイオード等の光電変換部が設けられている構成のイメージセンサである。なお、撮像装置１は、裏面照射型のイメージセンサであってもよい。また、本開示は、ＣＭＯＳイメージセンサへの適用に限られるものではない。

図３は、本開示の第１の実施の形態に係る撮像装置１の概略構成の一例を表す。撮像装置１は、画素アレイ部１０と、ロジック回路２０とを備えている。画素アレイ部１０は、複数のセンサ画素１１と、複数の読み出し回路１２（後述）とを有している。センサ画素１１は、本開示の「画素」の一具体例に相当する。各センサ画素１１は、光電変換を行って受光量に応じた電荷を出力する。複数のセンサ画素１１は、受光面１０Ａ（後述）と対向配置されており、画素アレイ部１０において、行列状に配置されている。各読み出し回路１２は、センサ画素１１から出力された電荷に基づく画素信号を出力する。複数の読み出し回路１２は、例えば、画素アレイ部１０において、１つのセンサ画素１１ごとに１つずつ設けられている。なお、複数の読み出し回路１２は、画素アレイ部１０において、複数のセンサ画素１１ごとに１つずつ設けられていてもよい。

画素アレイ部１０は、複数の画素駆動線ＨＳＬと、複数のデータ出力線ＶＳＬとを有している。画素駆動線ＨＳＬは、センサ画素１１に蓄積された電荷の出力を制御する制御信号が印加される配線であり、例えば、行方向に延在している。データ出力線ＶＳＬは、各読み出し回路１２から出力された画素信号をロジック回路２０に出力する配線であり、例えば、列方向に延在している。

ロジック回路２０は、例えば、垂直駆動回路２１、カラム信号処理回路２２、水平駆動回路２３及びシステム制御回路２４を有している。ロジック回路２０（具体的には水平駆動回路２３）は、センサ画素１１ごとの出力電圧を外部機器に出力することにより、外部機器に画像データを提供する。

垂直駆動回路２１は、例えば、複数のセンサ画素１１を所定の単位画素行ごとに順に選択する。「所定の単位画素行」とは、同一アドレスで画素選択可能な画素行を指している。例えば、１つの読み出し回路１２に１つのセンサ画素１１が割り当てられている場合、「所定の単位画素行」は、１画素行を指している。また、例えば、複数のセンサ画素１１が１つの読み出し回路１２を共有する場合、読み出し回路１２を共有する複数のセンサ画素１１のレイアウトが２画素行×ｎ画素列（ｎは１以上の整数）となっているときには、「所定の単位画素行」は、２画素行を指している。同様に、読み出し回路１２を共有する複数のセンサ画素１１のレイアウトが４画素行×ｎ画素列（ｎは１以上の整数）となっているときには、「所定の単位画素行」は、４画素行を指している。垂直駆動回路２１は、画素駆動線ＨＳＬを介して、各センサ画素１１内のトランジスタ（例えば、転送トランジスタＴＲＸ，ＴＲＧ及び排出トランジスタＯＦＧ）を制御し、さらに、各読み出し回路１２内のトランジスタ（例えば、リセットトランジスタＲＳＴ及び選択トランジスタＳＥＬ）を制御する。

カラム信号処理回路２２は、例えば、垂直駆動回路２１によって選択された行の各センサ画素１１から出力される画素信号に対して、相関二重サンプリング（Correlated Double Sampling：ＣＤＳ）処理を施す。カラム信号処理回路２２は、例えば、ＣＤＳ処理を施すことにより、画素信号の信号レベルを抽出し、各センサ画素１１の受光量に応じた画素データを保持する。カラム信号処理回路２２は、例えば、データ出力線ＶＳＬごとにカラム信号処理部を有している。カラム信号処理部は、例えば、シングルスロープＡ／Ｄ変換器を含んでいる。シングルスロープＡ／Ｄ変換器は、例えば、比較器及びカウンタ回路を含んで構成されている。水平駆動回路２３は、例えば、カラム信号処理回路２２に保持されている画素データを順次、外部に出力する。システム制御回路２４は、例えば、ロジック回路２０内の各ブロック（垂直駆動回路２１、カラム信号処理回路２２及び水平駆動回路２３）の駆動を制御する。

図４は、センサ画素１１及び読み出し回路１２の回路構成の一例を表す。図２には、１つの読み出し回路１２に１つのセンサ画素１１が割り当てられている場合が例示されている。各センサ画素１１は、互いに共通の構成要素を有している。各センサ画素１１は、例えば、フォトダイオードＰＤと、転送トランジスタＴＲＸ，ＴＲＧと、電荷保持部ＭＥＭと、フローティングディフュージョンＦＤと、排出トランジスタＯＦＧと、排出フローティングディフュージョンＯＦＤとを有している。転送トランジスタＴＲＸ，ＴＲＧ及び排出トランジスタＯＦＧは、例えば、ＮＭＯＳ（Metal Oxide Semiconductor）トランジスタである。

フォトダイオードＰＤは、本開示の「光電変換部」の一具体例に相当する。電荷保持部ＭＥＭは、本開示の「保持部」の一具体例に相当する。読み出し回路１２は、本開示の「読出部」の一具体例に相当する。垂直駆動回路２１及び水平駆動回路２３は、本開示の「読出制御部」の一具体例に相当する。

フォトダイオードＰＤは、受光面１０Ａ（後述）を介して入射した光を光電変換する。フォトダイオードＰＤは、光電変換を行って受光量に応じた電荷を発生する。フォトダイオードＰＤは、例えば、ＰＮ接合型の光電変換素子である。フォトダイオードＰＤのカソードが転送トランジスタＴＲＸのソースに電気的に接続されており、フォトダイオードＰＤのアノードが基準電位線（例えばグラウンドＧＮＤ）に電気的に接続されている。

転送トランジスタＴＲＸは、フォトダイオードＰＤと転送トランジスタＴＲＧとの間に接続されており、転送トランジスタＴＲＸのゲートに印加される制御信号に応じて、電荷保持部ＭＥＭのポテンシャルを制御する。例えば、転送トランジスタＴＲＸがオンしたとき、電荷保持部ＭＥＭのポテンシャルが深くなる。また、例えば、転送トランジスタＴＲＸがオフしたとき、電荷保持部ＭＥＭのポテンシャルが浅くなる。転送トランジスタＴＲＸがオンすると、フォトダイオードＰＤに蓄積されている電荷が、転送トランジスタＴＲＸを介して、電荷保持部ＭＥＭに転送される。転送トランジスタＴＲＸのドレインが転送トランジスタＴＲＧのソースに電気的に接続されており、転送トランジスタＴＲＸのゲートは画素駆動線ＨＳＬに接続されている。

電荷保持部ＭＥＭは、フォトダイオードＰＤに蓄積された電荷を一時的に保持する不純物半導体領域である。電荷保持部ＭＥＭは、フォトダイオードＰＤから転送された電荷を保持する。電荷保持部ＭＥＭ及び後述のフローティングディフュージョンＦＤは、ともに、共通の導電型の不純物半導体領域によって構成されている。さらに、電荷保持部ＭＥＭの不純物濃度は、後述のフローティングディフュージョンＦＤの不純物濃度よりも低くなっている。

転送トランジスタＴＲＧは、転送トランジスタＴＲＸとフローティングディフュージョンＦＤとの間に接続されており、転送トランジスタＴＲＧのゲートに印加される制御信号に応じて、電荷保持部ＭＥＭに保持されている電荷をフローティングディフュージョンＦＤに転送する。例えば、転送トランジスタＴＲＸがオフし、転送トランジスタＴＲＧがオンすると、電荷保持部ＭＥＭに保持されている電荷が、転送トランジスタＴＲＧを介して、フローティングディフュージョンＦＤに転送される。転送トランジスタＴＲＧのドレインがフローティングディフュージョンＦＤに電気的に接続されており、転送トランジスタＴＲＧのゲートは画素駆動線ＨＳＬに接続されている。

フローティングディフュージョンＦＤは、転送トランジスタＴＲＸ及び転送トランジスタＴＲＧを介してフォトダイオードＰＤから出力された電荷を一時的に保持する浮遊拡散領域（不純物半導体領域）である。フローティングディフュージョンＦＤには、例えば、リセットトランジスタＲＳＴが接続されるとともに、増幅トランジスタＡＭＰ及び選択トランジスタＳＥＬを介して垂直信号線ＶＳＬが接続されている。

排出トランジスタＯＦＧは、フォトダイオードＰＤと電源線ＶＤＤとの間に接続されており、排出トランジスタＯＦＧのゲートに印加される制御信号に応じて、フォトダイオードＰＤを初期化（リセット）する。例えば、排出トランジスタＯＦＧがオンすると、フォトダイオードＰＤの電位が電源線ＶＤＤの電位レベルにリセットされる。すなわち、フォトダイオードＰＤの初期化が行われる。また、排出トランジスタＯＦＧは、例えば、転送トランジスタＴＲＸと電源線ＶＤＤの間にオーバーフローパスを形成し、フォトダイオードＰＤから溢れた電荷を電源線ＶＤＤに排出する。排出トランジスタＯＦＧのドレインが電源線ＶＤＤに接続されるとともに、排出トランジスタＯＦＧのソースがフォトダイオードＰＤと転送トランジスタＴＲＸとの間に接続されており、排出トランジスタＯＦＧのゲートが画素駆動線ＨＳＬに接続されている。

リセットトランジスタＲＳＴは、フローティングディフュージョンＦＤと電源線ＶＤＤとの間に接続されており、リセットトランジスタＲＳＴのゲートに印加される制御信号に応じて、電荷保持部ＭＥＭからフローティングディフュージョンＦＤまでの各領域を初期化（リセット）する。例えば、転送トランジスタＴＲＧ及びリセットトランジスタＲＳＴがオンすると、電荷保持部ＭＥＭ及びフローティングディフュージョンＦＤの電位が電源線ＶＤＤの電位レベルにリセットされる。すなわち、電荷保持部ＭＥＭ及びフローティングディフュージョンＦＤの初期化が行われる。リセットトランジスタＲＳＴのドレインが電源線ＶＤＤに接続されており、リセットトランジスタＲＳＴのソースがフローティングディフュージョンＦＤに接続されており、リセットトランジスタＲＳＴのゲートが画素駆動線ＨＳＬに接続されている。

増幅トランジスタＡＭＰでは、ゲートがフローティングディフュージョンＦＤに接続されており、ドレインが電源線ＶＤＤに接続されており、ソースが選択トランジスタＳＥＬのドレインに接続されている。増幅トランジスタＡＭＰは、フォトダイオードＰＤでの光電変換によって得られる電荷を読み出すソースフォロワ回路の入力部となっている。増幅トランジスタＡＭＰは、増幅トランジスタＡＭＰのソースが選択トランジスタＳＥＬを介して垂直信号線ＶＳＬに接続されていることから、垂直信号線ＶＳＬの一端に接続される定電流源とソースフォロワ回路を構成する。増幅トランジスタＡＭＰは、フォトダイオードＰＤでの光電変換によって得られる電荷を画素信号に変換し、選択トランジスタＳＥＬを介して垂直信号線ＶＳＬに出力する。

選択トランジスタＳＥＬでは、ドレインが増幅トランジスタＡＭＰのソースに接続されており、ソースが垂直信号線ＶＳＬに接続されており、ゲートが画素駆動線ＨＳＬに接続されている。選択トランジスタＳＥＬは、選択トランジスタＳＥＬのゲートに印加される制御信号に応じて、増幅トランジスタＡＭＰから出力される画素信号の垂直信号線ＶＳＬへの出力を制御する。選択トランジスタＳＥＬは、制御信号がオンすると導通状態となり、選択トランジスタＳＥＬに連結されたセンサ画素１１が選択状態となる。センサ画素１１が選択状態になると、増幅トランジスタＡＭＰから出力される画素信号が垂直信号線ＶＳＬを介してカラム信号処理回路２２に読み出される。

次に、センサ画素１１の構成について詳細に説明する。図５は、センサ画素１１の断面構成の一例を表す。図５は、模式図であり、必ずしも厳密に図示されたものではない。図５には、不純物濃度の濃さが、「Ｐ＋」、「Ｎ－」、「Ｎ＋」、「Ｎ＋＋」といった表現で示されている。ここで、「Ｐ＋」と記載された箇所では、例えば、ｐ型不純物（アクセプタ）の濃度が１×１０^１６ｃｍ^－３～５×１０^１８ｃｍ^－３の範囲内の値よりも大きな値となっている。「Ｎ＋」は「Ｎ－」よりもｎ型不純物（ドナー）の濃度が高いことを示している。「Ｎ＋＋」は「Ｎ＋」よりもｎ型不純物（ドナー）の濃度が高いことを示している。「Ｎ－」と記載された箇所では、例えば、ｎ型不純物（ドナー）の濃度が１×１０^１６ｃｍ^－３～５×１０^１８ｃｍ^－３の範囲内の値となっている。

センサ画素１１は、半導体基板３０上に形成されている。半導体基板３０は、例えば、シリコン基板である。半導体基板３０は、半導体基板３０の上面及びその近傍にｐウェル層３２を有しており、ｐウェル層３２よりも深い箇所にｎ型半導体層３１を有している。ｐウェル層３２は、半導体基板３０の上面及びその近傍に形成されたｐ型半導体領域である。ｐウェル層３２には、ｎ型半導体領域３３及びｐ型半導体領域３４が形成されている。ｐ型半導体領域３４は、半導体基板３０の上面に形成されており、ｎ型半導体領域３３と接している。ｎ型半導体領域３３及びｐ型半導体領域３４は、半導体基板３０の厚さ方向（法線方向）に積層されており、フォトダイオードＰＤを構成している。

ｐウェル層３２のうち、転送トランジスタＴＲＸのゲートと対向する箇所には、電荷保持部ＭＥＭが形成されている。電荷保持部ＭＥＭは、半導体基板３０の上面から所定の深さに形成されている。電荷保持部ＭＥＭは、ｐウェル層３２内に形成されたｎ型不純物の半導体領域によって構成されている。半導体基板３０の上面と電荷保持部ＭＥＭとの間には、ｐ型半導体領域３５が形成されている。

フローティングディフュージョンＦＤ及び排出フローティングディフュージョンＯＦＤは、ともに、ｐウェル層３２内に形成されたｎ型不純物濃度の高い半導体領域によって構成されている。排出フローティングディフュージョンＯＦＤの近傍には、排出トランジスタＯＦＧが形成されている。つまり、センサ画素１１は、排出フローティングディフュージョンＯＦＤの近傍に、排出トランジスタＯＦＧを有している。

センサ画素１１は、半導体基板３０上に、遮光層３６を有している。遮光層３６は、フォトダイオードＰＤと対向する位置に開口部３６Ａを有している。開口部３６Ａ内には、受光面１０Ａが露出している。遮光層３６は、受光面１０Ａの周囲であって、かつ少なくとも電荷保持部ＭＥＭと対向する位置に配置されている。遮光層３６は、例えば、金属材料によって形成されている。

本開示は電荷保持部としてＭＥＭを例に説明したが、フローティングディフュージョンＦＤを電荷保持部とするＦＤ保持型や、画素毎のキャパシタに電圧を保持する電圧保持型のグローバルシャッター方式においても適用が可能である。

[ノイズ]
電荷保持部ＭＥＭは、上記のように、フォトダイオードＰＤから転送された電荷（以下、「信号電荷」と称する。）を保持する。しかし、ＰＬＳ（Parasitic Light Sensitivity）、ブルーミング及び暗電流等によって、ノイズ電荷が電荷保持部ＭＥＭに混入すると、信号電荷にノイズ成分として重畳されてしまう。これにより、画素信号にはノイズ成分が含まれることになるので、得られる画像は、画質が劣化したものとなる。

ＰＬＳは、フォトダイオードＰＤに強い光が入射したとき等に入射光量に応じて生じる迷光を指している。例えば、光が電荷保持部ＭＥＭに直接入り、光電変換されることにより、ノイズ電荷が生成される。

ブルーミングは、例えば、強い光の入射等により光電変換された信号電荷が所定以上になり、電荷保持部ＭＥＭに溢れ出ることである。フォトダイオードＰＤで溢れる電荷は、通常、排出フローティングディフュージョンＯＦＤに流れる。しかし、ブルーミングの影響を完全にゼロにすることは困難である。

暗電流は、画素に光が入射しない状況でも流れる電流であり、例えば、電荷保持部ＭＥＭで発生する。

図６は、撮像装置１の動作及びノイズ混入の一例を示すタイミングチャートである。図６は、一例として、４行の画素アレイ部の読み出しを示す。

画素内に電荷保持部ＭＥＭを有するグローバルシャッタ型のＣＭＯＳイメージセンサでは、光電変換されフォトダイオードＰＤに蓄積された全画素分の信号電荷は、略同時に電荷保持部ＭＥＭへ転送される。その後、画素行ごとに、順次信号が読み出されてＡＤ変換が行われる。

まず、フォトダイオードＰＤがリセットされ、露光が開始される。露光期間が終了すると、フォトダイオードＰＤから電荷保持部ＭＥＭへ電荷が一括転送される。これにより、信号電荷が電荷保持部ＭＥＭに保持される。なお、フォトダイオードＰＤのリセット及び電荷保持部ＭＥＭへの電荷の一括転送は、全行で略同時に行われる。従って、全ての画素は、略同時に露光（一括露光）される。

電荷保持部ＭＥＭへの電荷の一括転送後、各電荷保持部ＭＥＭは、行単位で順次信号が読み出される。全ての行における信号の読み出しが終了することにより、読出期間が終了する。メモリ保持期間Ｔｈは、露光期間が終了してから信号が読み出されるまでに、電荷保持部ＭＥＭが電荷を保持する期間を示す。メモリ読出期間Ｔｒは、メモリ保持期間Ｔｈ後に信号が読み出される期間を示す。

ここで、メモリ保持期間Ｔｈに、ＰＬＳ、ブルーミング及び暗電流によって不要電荷（ノイズ電荷）が蓄積される。図６に示すように、行の読み出し順が遅いほど、メモリ保持期間Ｔｈが長くなる。例えば、暗電流はほぼ常に発生しているため、メモリ保持期間Ｔｈにほぼ比例してノイズ電荷が蓄積される。また、例えば、メモリ保持期間Ｔｈが長いほど、強い光を受けてＰＬＳによるノイズ電荷が溜まる確率が高くなる。従って、理想的には、読み出し速度を高速化して、ノイズ電荷の影響を最小化することが望ましい。しかし、読み出し速度は、消費電力増大の懸念、画素内の物理的な制約、又は、出力インターフェースの仕様の制約を受けるため、限界がある。

そこで、撮像装置１は、上記の制約の中でノイズ電荷の量を把握し、補正に必要なデータを取得するために、電荷保持部ＭＥＭの電荷を２回以上に分割して読み出す。より詳細には、垂直駆動回路２１及び水平駆動回路２３である読出制御部は、読み出し回路１２を制御することにより、画像データを生成するように複数の画素から信号を読み出すとともに、読出期間中に少なくとも一部の画素（先読み画素）から信号を２回以上読み出す。

[補正用データの取得]
図７は、本開示の第１の実施の形態に係る分割読み出しが行われる画素の一例を示す図である。また、図７に示す複数のセンサ画素１１は、行列状に配置される。読出制御部は、行単位で画素から信号を読み出す。図７に示す各画素のカラーフィルタは、一例として、ベイヤー配列で配置される。

図７は、読出制御部による２回読み出しの例を示す。この２回の分割読み出しを、先読み、及び、後読みと定義する。また、先読み時に読み出される行を「先読み行」と定義する。

図７に示すように、先読み行の画素は、配列された画素から所定の行間隔で間引かれた画素である。すなわち、読出制御部は、間引くように画素の先読みを行う。

分割読み出しの先読み行（図７の先－１～先－４）が読み出されると、先読み行の電荷保持部ＭＥＭはリセット（初期化）され、電荷保持部ＭＥＭ内の電荷は空になる。この一度リセットされた電荷保持部ＭＥＭは、後読みまでの間にＰＬＳ、ブルーミング及び暗電流によるノイズ電荷が蓄積される。後読み時では、先読み時に読み出されなかった行の電荷保持部ＭＥＭの読み出しと、先読み行（図７の後－１、後－８、後－１５、後－２２）の電荷保持部ＭＥＭの２度目の読み出しと、が行われる。なお、先読み時に読み出されなかった行は、先読み行以外の行（図７の後－２～後－７、後－９～後－１４、後－１６～後－２１、後－２３～後－２８）である。つまり、後読みでは全画素分（全行分）の電荷保持部ＭＥＭの読み出しが行われる。この後読みの際に、先読み時に読み出しが行われた先読み行（図７の後－１、後－８、後－１５、後－２２）の電荷保持部ＭＥＭの読み出しで得られる信号は、ＰＬＳ、ブルーミング及び暗電流成分の信号である。

図８は、本開示の第１の実施の形態に係る撮像装置１の動作の一例を示すタイミングチャートである。図８は、各行におけるメモリ保持期間及び読み出しのタイミングを示す。なお、図８は、図７の下から１７行目までの画素の読み出しの例を示す。

まず、先読みにより、先読み行（図８の先－１、先－２、先－３）の読み出しが行われる。読み出しは、先－１、先－２、先－３の順番で行われる。これにより、メモリ保持期間Ｔｈ１の先読み信号Ｓ１が得られる。

次に、後読みが行われる。後読みは、全ての画素行で行われる。読み出しは、後－１、後－２、後－３、・・・、後－１５、後－１６、後－１７の順番で行われる。上記のように、先読みにより、先読み行の電荷保持部ＭＥＭの電荷がリセットされる。従って、先読み行（図８の後－１、後－８、後－１５）の読み出しにより、メモリ保持期間Ｔｈ１ａの後読み信号Ｓ３が得られる。なお、メモリ保持期間Ｔｈ１ａは、或る画素行における先読みから後読みまでのメモリ保持期間である。すなわち、読出制御部は、電荷保持部ＭＥＭが初期化されてから次の信号の読み出しまでの期間に電荷保持部ＭＥＭに保持された電荷を、読出期間中に２回目以降に読み出される信号として読み出す。先読み行以外の行（図８の後－２～後－７、後－９～後－１４、後－１６、後－１７）の読み出しにより、メモリ保持期間Ｔｈの後読み信号Ｓ２が得られる。

先読み行の先読み信号Ｓ１は、メモリ保持期間Ｔｈ１が短いため、僅かなノイズ成分が重畳された画素信号である。先読み行の後読み信号Ｓ３は、メモリ保持期間Ｔｈ１ａの間に蓄積されたノイズ電荷による信号である。先読み行以外の行の後読み信号Ｓ２は、メモリ保持期間Ｔｈの間に蓄積されたノイズ電荷による信号が重畳された画素信号である。

先読み行の先読み信号Ｓ１と、先読み行以外の行の後読み信号Ｓ２と、を合成することにより、全画素分（全行分）のフォトダイオードＰＤで光電変換された信号が得られる。後読み信号Ｓ３は、上記のように、ノイズ電荷による信号である。この後読み信号Ｓ３は、ノイズを補正（抑制）するためのデータである。

[補正]
図９は、本開示の第１の実施の形態に係る後読み信号Ｓ３の行間の補間の一例を示す模式図である。図９は、一例として、ＰＬＳによるノイズの分布を示す。

例えば、移動する強い光を撮像すると、画像内で強い光の周辺の一部が本来の明るさよりも明るくなってしまう。これは、ＰＬＳによるノイズ電荷が大きいためである。撮像システム２は、一例として、このようなノイズ電荷の影響を抑制する。

図９に示すように、後読み信号Ｓ３は、行間が間引かれたデータであるため、一般的な行間信号の補間処理により、全画素分のノイズ電荷信号分布が作成される。補間処理は、例えば、線形補間等であるが、これに限られない。この補間された全画素分の信号を、図９に示す分布信号Ｓ３ａとする。図９に示す例では、ＰＬＳにより、分布信号Ｓ３ａの中央部が明るくなっている。この分布信号Ｓ３ａを用いて、画像データのノイズ補正処理が行われる。ノイズ電荷信号分布の作成及びノイズ補正処理は、例えば、図１に示すＤＳＰ回路２１０により作成される。

先読み行では、メモリ保持期間Ｔｈ１がメモリ保持期間Ｔｈよりも短く、ＰＬＳ等のノイズの影響が抑制された先読み信号Ｓ１が得られる。先読み行以外の行では、後読み信号Ｓ２から分布信号Ｓ３ａを減算することにより、ＰＬＳ等のノイズの影響が減算された信号データが得られる。従って、先読み信号Ｓ１と、分布信号Ｓ３ａにより減算された後読み信号Ｓ２と、を合成することにより、ＰＬＳ等のノイズの影響が抑制された、全画素分の信号データである画像データを得ることができる。

以上のように、第１の実施の形態によれば、読出制御部は、読出期間中に、一部の画素である先読み行の画素から信号を２回読み出す。まず、先読み行の画素の信号が読み出され、次に、全行の画素の信号が読み出される。これにより、先読み行において、先読みによって少ないノイズ電荷での画素信号が取得することができる。さらに、後読みによって、ノイズ補正処理に用いられる、ノイズ電荷の信号を得ることができる。後読みで得られるノイズ電荷の信号から補間により全画素分のノイズ電荷信号分布を作成して、先読み行以外の行でのノイズ電荷の影響を減算することができる。この結果、ノイズ電荷を抑制した画像データを取得することができる。

また、先読み信号Ｓ１には、メモリ保持期間Ｔｈ１がゼロではないため、ノイズ電荷の影響は僅かに存在し得る。第１の実施の形態では、先読み信号Ｓ１にノイズ補正処理は行われていない。そこで、例えば、先読み時のみ走査線（垂直駆動回路２１及び水平駆動回路２３）のドライブ能力を上げる、又は、読み出し回路１２（例えば、垂直信号線ＶＳＬに接続される定電流源）の電流を増大させる等により、先読みに要する時間をより短縮することができる。この結果、メモリ保持期間Ｔｈ１をさらに短くすることができ、先読み信号Ｓ１におけるノイズ電荷の影響をさらに抑制することができる。従って、読出制御部は、第１速度で先読み行の画素から信号を読み出した後に、第１速度よりも遅い第２速度で全ての画素から信号を読み出す。後読みの読み出し速度は、変更されることなく、先読みの読み出し速度よりも遅い。これにより、消費電力増大等の影響は小さい。

なお、第１の実施の形態では、信号の読み出しが行単位で行われる。しかし、これに限られず、列単位又は１つの画素単位に信号が順次読み出されてもよい。

また、第１の実施の形態では、画素の先読みが行単位で行われる。しかし、これに限られず、読出制御部は、先読みを列単位で行ってもよい。

また、出力に関しては、アナログ出力方式を含めた構成も含み、ＡＤ変換の方式も問わない。図３に示す例では、ＡＤ変換にカラム信号処理回路２２が用いられている。すなわち、画素列内の画素で１つのＡＤ変換器が共有される。しかし、ＡＤ変換器がセンサ画素１１ごとに配置されてもよい。画素ごとにＡＤ変換及び信号の読み出しが行われる場合であっても、例えば、電荷の転送のタイミングが画素ごとにずれる場合、本開示の実施の形態を適用することができる。

また、一つの画素行に対して、読出期間中に最大で２回の信号の読み出しが行われているが、３回以上読み出しが行われてもよい。読出期間中に２回目以降に読み出されたがノイズ補正処理に用いられる。

また、ＤＳＰ回路２１０に代えて、ＦＰＧＡ（Field-Programmable Gate Array）がノイズ電荷信号分布の作成及びノイズ補正処理を行ってもよい。

また、電荷保持部ＭＥＭは、フローティングディフュージョンＦＤで代用されてもよい。また、ボルテージドメイングローバルシャッタ画素では、例えば、ＭＩＭ（Metal Insulator Metal）構造のキャパシタが設けられる。このキャパシタに、フォトダイオードＰＤで生成された電荷が電圧に変換されて保持される。従って、電荷保持部ＭＥＭに代えて、フォトダイオードＰＤで光電変換された電荷に関する情報を電圧として保持する電圧保持部が用いられてもよい。このように、電荷に限られず、電荷に関する情報が保持部に保持されてもよい。

[比較例]
ＰＬＳ、ブルーミング及び暗電流によるノイズを補正する方法として、例えば、補正専用の画素、又は、電荷保持部ＭＥＭとは別の補正専用の電荷保持部（メモリ）を画素アレイ部１０内に配置することが考えられる。しかし、画素アレイ部１０内に補正専用の画素又は補正専用の電荷保持部を配置すると、画素面積の低下により、飽和信号量の低下、感度の低下、又は、解像度の悪化につながる場合がある。

これに対して、第１の実施の形態では、補正専用の画素又は補正専用の電荷保持部が設けられない。従って、撮像装置１の構成を変更することなく、ＰＬＳ、ブルーミング及び暗電流等によるノイズを補正するためのデータを駆動によって取得することができる。この結果、画素面積の低下による特性の劣化を抑制しつつ、ノイズを補正するためのデータを取得することができる。

＜変形例＞
図１０は、第１の実施の形態の変形例に係る撮像装置１の概略構成の一例を表す。第１の実施の形態の変形例は、撮像装置１がノイズ補正処理を行う点で、第１の実施の形態とは異なっている。

第１の実施の形態では、撮像装置１は、補正用データである後読み信号Ｓ３の読み出し及びＡＤ変換を行い、後読み信号Ｓ３を外部（例えば、ＤＳＰ回路２１０）に出力する。ＤＳＰ回路２１０は、後読み信号Ｓ３に基づいて、ノイズ電荷信号分布の作成及びノイズ補正処理を行う。

図１０に示すように、第２の実施の形態に係る撮像装置１は、信号処理部２５をさらに備える。

信号処理部２５は、例えば、第１の実施の形態で説明したＤＳＰ回路２１０の機能を有する。すなわち、信号処理部２５は、後読み信号Ｓ３に基づいて、ノイズ電荷信号分布の作成及びノイズ補正処理を行う。このように、信号処理部２５は、画像データを生成するための信号を処理する。信号処理部２５は、例えば、フレームバッファ又はフレームメモリを有する。第２の実施の形態では、撮像装置１が単独でノイズ補正処理を行うことができる。

なお、図１０に示す例では、信号処理部２５は、水平駆動回路２３に接続されている。しかし、信号処理部２５は、例えば、カラム信号処理回路２２と接続されてもよく、また、カラム信号処理回路２２内に配置されてもよい。

また、信号処理部２５は、撮像装置１と同じ基板上に配置されてもよい。撮像装置１が積層された複数の基板を有する場合、画素アレイ部１０が配置される基板とは異なる、信号処理のための回路が配置される基板に、信号処理部２５が配置される。

第１の実施の形態の変形例のように、ノイズ補正処理を行う信号処理部２５が撮像装置１内に設けられてもよい。この場合にも、第１の実施の形態と同等の効果を得ることができる。

＜第２の実施の形態＞
図１１は、本開示の第２の実施の形態に係る分割読み出しが行われる画素の一例を示す図である。第２の実施の形態は、第１の実施の形態と比較して、先読みの間引き率が異なっている。

図１１に示す例では、第１の実施の形態の図７と比較して、先読み行（図１１の先－１～先－７）の数が多い。第１の実施の形態では、７行ごとに先読みが行われるのに対して、第２の実施の形態では、４行ごとに先読みが行われる。すなわち、第１の実施の形態の図７と比較して、先読み行の間引き率が減少し、先読み行の間隔が狭くなっている。これにより、先読み行の画素の解像度を向上させることができる。この結果、ノイズ電荷信号分布をより精度よく作成することができ、補正精度を向上させることができる。

図１２は、本開示の第２の実施の形態に係る撮像装置１の動作の一例を示すタイミングチャートである。

図１２に示すように、先読み行が多くなるほど、先読み行であっても、読み出しの順が遅い行におけるメモリ保持期間Ｔｈ１が長くなる。従って、先読み信号Ｓ１に重畳されるノイズ電荷の影響が大きくなる可能性がある。この場合、合成される画像データにおいて、先読み行における画素のノイズ電荷の影響を抑制することが困難になってしまう。従って、間引き率の変更に関して、先読み行以外の行の補正精度と、先読み行のノイズ成分の大きさと、がトレードオフの関係にある。

また、間引き率を下げる場合に限られず、間引き率を上げて先読み行の間隔を広くしてもよい。この場合、先読み行の画素の解像度が低下する。従って、先読み行のノイズ成分を低下させることができるが、先読み行以外の行の補正精度が低下してしまう。上記のトレードオフの関係により、先読み行の間引き率は、撮像装置１に必要な性能に応じて設定される。

第２の実施の形態のように、先読み行の間引き率が変更されてもよい。この場合にも、第１の実施の形態と同等の効果を得ることができる。なお、第２の実施の形態に係る撮像システム２及び撮像装置１に、第１の実施の形態の変形例を組み合わせてもよい。

＜第３の実施の形態＞
図１３は、本開示の第３の実施の形態に係る分割読み出しが行われる画素の一例を示す図である。第３の実施の形態は、行間引きによる３回読み出しが行われる点で、第１の実施の形態とは異なっている。

図１３に示す例では、第１の実施の形態と比較して、先読みと後読みとの間の中読みが行われる。なお、中読みは、先読み行を分けて先読みを複数回（例えば、２回）行うことに対応する。また、中読み時に読み出される行を「中読み行」と定義する。

中読みでは、中読み行（図１３の中－１～中－４）の信号が読み出される。中読み行の間引き率は、例えば、先読み行の間引き率と同じである。中読み行は、例えば、先読み行から２行分ずれている。

分割読み出しの中読み行（図１３の中－１～中－４）が読み出されると、先読みと同様に、中読み行の電荷保持部ＭＥＭはリセットされ、電荷保持部ＭＥＭ内の電荷は空になる。この一度リセットされた電荷保持部ＭＥＭは、後読みまでの間にＰＬＳ、ブルーミング及び暗電流によるノイズ電荷が蓄積される。

図１４は、本開示の第３の実施の形態に係る撮像装置１の動作の一例を示すタイミングチャートである。

図１４に示すように、第１の実施の形態の図８で説明した先読みと後読みとの間に、中読みが行われる。中読みにより、中読み行（図１４の中－１、中－２、中－３）の読み出しが行われる。読み出しは、中－１、中－２、中－３の順番で行われる。これにより、メモリ保持期間Ｔｈ２の中読み信号Ｓ４が得られる。また、後読み時に、中読み行（図１４の後－３、後－１０、後－１７）の読み出しにより、メモリ保持期間Ｔｈ２ａの後読み信号Ｓ５が得られる。

中読み行の中読み信号Ｓ４は、メモリ保持期間Ｔｈ２が短いため、僅かなノイズ成分が重畳された画素信号である。中読み行の後読み信号Ｓ５は、メモリ保持期間Ｔｈ２ａの間に蓄積されたノイズ電荷による信号である。

先読み行の先読み信号Ｓ１と、中読み行の中読み信号Ｓ４と、先読み行及び中読み行以外の行の後読み信号Ｓ２と、を合成することにより、全画素分（全行分）のフォトダイオードＰＤで光電変換された信号が得られる。後読み信号Ｓ３、Ｓ５は、上記のように、ノイズ電荷による信号である。この後読み信号Ｓ３、Ｓ５は、ノイズを補正するためのデータの１つである。

後読み信号Ｓ５により、第１の実施の形態と比較して、ノイズ電荷の信号の解像度を向上させることができる。この結果、ノイズ電荷信号分布をより精度よく作成することができ、補正精度を向上させることができる。

なお、中読みは先読みの後に行われるため、中読み信号Ｓ４のメモリ保持期間Ｔｈ２は、先読み信号Ｓ１のメモリ保持期間Ｔｈ１よりも長い。従って、中読み信号Ｓ４は、先読み信号Ｓ１よりも重畳されるノイズ電荷の影響が大きくなる可能性がある。この場合、合成される画像データにおいて、中読み行のノイズ電荷の影響を抑制することが困難になってしまう。従って、第２の実施の形態で説明した先読み行の間引き率の変更とほぼ同様に、読み出し回数の変更に関して、先読み行及び中読み行以外の行の補正精度と、先読み行及び中読み行のノイズ成分の大きさと、がトレードオフの関係にある。

第３の実施の形態のように、２回に限られず、３回以上の読み出しが行われてもよい。この場合にも、第１の実施の形態と同等の効果を得ることができる。なお、第３の実施の形態に係る撮像システム２及び撮像装置１に、第１の実施の形態の変形例、及び、第２の実施の形態を組み合わせてもよい。

＜第４の実施の形態＞
図１５は、本開示の第４の実施の形態に係る分割読み出しが行われる画素の一例を示す図である。第４の実施の形態は、画素の先読みが行単位ではない点で、第１の実施の形態とは異なっている。

図１５に示す例では、先読みは、行ごとではなく、画素ごとに行われる。すなわち、読出制御部は、先読みを画素単位で行う。先読み画素は、画素アレイ部１０においてばらばらに配置されている。図１５に示す例では、先読み画素は、下から１、７、１３、１９、２５行目の赤色用の画素１１Ｒ、及び、下から４、１０、１６、２２、２８行目の青色用の画素１１Ｂである。このように、行単位ではなく、画素ごとに散らして間引きすることにより、ノイズ補正の精度が上がり、先読み時に高速でスキャンできる可能性もある。

第４の実施の形態のように、画素ごとに先読みが行われてもよい。この場合にも、第１の実施の形態と同等の効果を得ることができる。なお、第４の実施の形態に係る撮像システム２及び撮像装置１に、第１の実施の形態の変形例、並びに、第２の実施の形態及び第３の実施の形態を組み合わせてもよい。

＜移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図１６は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１６に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１６の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図１７は、撮像部１２０３１の設置位置の例を示す図である。

図１７では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図１７には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１，１２１０１，１２１０２，１２１０３，１２１０４，１２１０５や、運転者状態検出部１２０４１等に適用され得る。具体的には、これらの撮像部や検出部に対して、例えば、本開示の撮像システム２及び撮像装置１を適用することができる。そして、本開示に係る技術を適用することにより、ノイズを抑制することができるため、より安全な車両走行を実現することが可能になる。

なお、本技術は以下のような構成を取ることができる。
（１）光電変換部と、光電変換された電荷又は前記電荷に関する情報を保持する保持部と、を有する複数の画素から、前記電荷又は前記情報を信号として読み出す読出部と、
前記読出部を制御することにより、画像データを生成するように複数の前記画素から信号を読み出すとともに、読出期間中に少なくとも一部の前記画素から信号を２回以上読み出す読出制御部と、
読出期間中に２回目以降に読み出された信号に基づいて、前記画像データを生成するための信号を処理する信号処理部と、を備える、撮像システム。
（２）信号が読み出された少なくとも一部の前記画素の前記保持部は、初期化され、
前記読出制御部は、前記保持部が初期化されてから次の信号の読み出しまでの期間に前記保持部に保持された前記電荷又は前記情報を、読出期間中に２回目以降に読み出される信号として読み出す、（１）に記載の撮像システム。
（３）前記読出制御部は、少なくとも一部の前記画素から信号を読み出した後に全ての前記画素から信号を読み出すことにより、読出期間中に少なくとも一部の前記画素から信号を２回以上読み出す、（１）又は（２）に記載の撮像システム。
（４）前記読出制御部は、少なくとも一部の前記画素を分けて信号を複数回読み出した後に全ての前記画素から信号を読み出すことにより、読出期間中に少なくとも一部の前記画素から信号を２回以上読み出す、（３）に記載の撮像システム。
（５）前記読出制御部は、第１速度で少なくとも一部の前記画素から信号を読み出した後に、前記第１速度よりも遅い第２速度で全ての前記画素から信号を読み出す、（３）又は（４）に記載の撮像システム。
（６）複数の前記画素は、行列状に配置され、
前記読出制御部は、行単位又は列単位で少なくとも一部の前記画素から信号を読み出した後に、全ての前記画素から信号を読み出す、（３）乃至（５）のいずれか一項に記載の撮像システム。
（７）前記読出制御部は、前記画素単位で少なくとも一部の前記画素から信号を読み出した後に、全ての前記画素から信号を読み出す、（３）乃至（５）のいずれか一項に記載の撮像システム。
（８）前記読出制御部は、読出期間中に、間引かれた少なくとも一部の前記画素から信号を２回以上読み出し、
前記信号処理部は、
読出期間中に２回目以降に読み出された信号に基づいて、間引かれた前記画素の間の信号を補間することにより、信号分布を生成し、
前記信号分布に基づいて、前記画像データを生成するための信号を処理する、（１）乃至（７）のいずれか一項に記載の撮像システム。
（９）前記信号処理部は、間引かれた少なくとも一部の前記画素以外の前記画素から読み出された信号から、前記信号分布に基づく対応する前記画素の信号を減算することにより、前記画像データを生成するための信号を処理する、（８）に記載の撮像システム。
（１０）前記読出制御部は、複数の前記画素ごとに、又は、１つの前記画素ごとに、順次信号を読み出す、（１）乃至（９）のいずれか一項に記載の撮像システム。
（１１）全ての前記画素は、略同時に露光され、
露光の終了後、全ての前記画素の前記電荷又は前記情報は、略同時に前記保持部に保持される、（１）乃至（１０）のいずれか一項に記載の撮像システム。
（１２）光電変換部と、光電変換された電荷又は前記電荷に関する情報を保持する保持部と、を有する複数の画素から、前記電荷又は前記情報を信号として読み出す読出部と、
前記読出部を制御することにより、画像データを生成するように複数の前記画素から信号を読み出すとともに、読出期間中に少なくとも一部の前記画素から信号を２回以上読み出す読出制御部と、を備える、撮像装置。

本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。

１ 撮像装置、２ 撮像システム、１０ 画素アレイ部、１１ センサ画素、１２ 読み出し回路、２０ ロジック回路、２１ 垂直駆動回路、２２ カラム信号処理回路、２３ 水平駆動回路、２５ 信号処理部、２１０ ＤＳＰ回路、ＰＤ フォトダイオード、ＭＥＭ 電荷保持部、Ｓ１ 先読み信号、Ｓ２ 後読み信号、Ｓ３ 後読み信号、Ｓ３ａ 分布信号、Ｓ４ 中読み信号、Ｓ５ 後読み信号

Claims (12)

1. 光電変換部と、光電変換された電荷又は前記電荷に関する情報を保持する保持部と、を有する複数の画素から、前記電荷又は前記情報を信号として読み出す読出部と、
   前記読出部を制御することにより、画像データを生成するように複数の前記画素から信号を読み出すとともに、読出期間中に少なくとも一部の前記画素から信号を２回以上読み出す読出制御部と、
   読出期間中に２回目以降に読み出された信号に基づいて、前記画像データを生成するための信号を処理する信号処理部と、を備える、撮像システム。
2. 信号が読み出された少なくとも一部の前記画素の前記保持部は、初期化され、
   前記読出制御部は、前記保持部が初期化されてから次の信号の読み出しまでの期間に前記保持部に保持された前記電荷又は前記情報を、読出期間中に２回目以降に読み出される信号として読み出す、請求項１に記載の撮像システム。
3. 前記読出制御部は、少なくとも一部の前記画素から信号を読み出した後に全ての前記画素から信号を読み出すことにより、読出期間中に少なくとも一部の前記画素から信号を２回以上読み出す、請求項１に記載の撮像システム。
4. 前記読出制御部は、少なくとも一部の前記画素を分けて信号を複数回読み出した後に全ての前記画素から信号を読み出すことにより、読出期間中に少なくとも一部の前記画素から信号を２回以上読み出す、請求項３に記載の撮像システム。
5. 前記読出制御部は、第１速度で少なくとも一部の前記画素から信号を読み出した後に、前記第１速度よりも遅い第２速度で全ての前記画素から信号を読み出す、請求項３に記載の撮像システム。
6. 複数の前記画素は、行列状に配置され、
   前記読出制御部は、行単位又は列単位で少なくとも一部の前記画素から信号を読み出した後に、全ての前記画素から信号を読み出す、請求項３に記載の撮像システム。
7. 前記読出制御部は、前記画素単位で少なくとも一部の前記画素から信号を読み出した後に、全ての前記画素から信号を読み出す、請求項３に記載の撮像システム。
8. 前記読出制御部は、読出期間中に、間引かれた少なくとも一部の前記画素から信号を２回以上読み出し、
   前記信号処理部は、
   読出期間中に２回目以降に読み出された信号に基づいて、間引かれた前記画素の間の信号を補間することにより、信号分布を生成し、
   前記信号分布に基づいて、前記画像データを生成するための信号を処理する、請求項１に記載の撮像システム。
9. 前記信号処理部は、間引かれた少なくとも一部の前記画素以外の前記画素から読み出された信号から、前記信号分布に基づく対応する前記画素の信号を減算することにより、前記画像データを生成するための信号を処理する、請求項８に記載の撮像システム。
10. 前記読出制御部は、複数の前記画素ごとに、又は、１つの前記画素ごとに、順次信号を読み出す、請求項１に記載の撮像システム。
11. 全ての前記画素は、略同時に露光され、
    露光の終了後、全ての前記画素の前記電荷又は前記情報は、略同時に前記保持部に保持される、請求項１に記載の撮像システム。
12. 光電変換部と、光電変換された電荷又は前記電荷に関する情報を保持する保持部と、を有する複数の画素から、前記電荷又は前記情報を信号として読み出す読出部と、
    前記読出部を制御することにより、画像データを生成するように複数の前記画素から信号を読み出すとともに、読出期間中に少なくとも一部の前記画素から信号を２回以上読み出す読出制御部と、を備える、撮像装置。

Images