JP2023003308A - 撮像装置、電子機器、および光検出方法 - Google Patents

撮像装置、電子機器、および光検出方法 Download PDF

Info

Publication number
JP2023003308A
JP2023003308A JP2021104406A JP2021104406A JP2023003308A JP 2023003308 A JP2023003308 A JP 2023003308A JP 2021104406 A JP2021104406 A JP 2021104406A JP 2021104406 A JP2021104406 A JP 2021104406A JP 2023003308 A JP2023003308 A JP 2023003308A
Authority
JP
Japan
Prior art keywords
pixel
data
signal
evs
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021104406A
Other languages
English (en)
Inventor
和俊 児玉
Kazutoshi Kodama
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2021104406A priority Critical patent/JP2023003308A/ja
Priority to PCT/JP2022/010374 priority patent/WO2022270034A1/ja
Priority to CN202280043147.1A priority patent/CN117546477A/zh
Priority to DE112022003194.8T priority patent/DE112022003194T5/de
Priority to KR1020237041725A priority patent/KR20240024796A/ko
Publication of JP2023003308A publication Critical patent/JP2023003308A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/7795—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】入射光の輝度変化に関するデータを高速に出力することが可能な撮像装置を提供する。【解決手段】本開示の一実施形態に係る撮像装置は、入射光を光電変換する複数の画素回路が行列状に配列された画素アレイと、画素アレイから行単位または列単位で出力された第１信号に基づいて、複数の画素回路の中で入射光の輝度変化を検出した画素回路を含む検出画素行または検出画素列を特定するタイミング制御回路と、画素アレイから検出画素行または検出画素列の第１信号を読み出す読出し回路と、を備える。【選択図】図２

Description

本開示は、撮像装置、電子機器、および光検出方法に関する。
イベントドリブン方式の撮像装置の一つとして、ＥＶＳ(Event-based Vision Sensor)と呼ばれる撮像装置が知られている。ＥＶＳは、シーンの中で何らかのイベント（例えば、動き）が発生したときに、当該イベントによって生じる輝度レベルの変化した部分のデータを出力する。ＥＶＳには、アービタ方式とスキャン方式が知られている。アービタ方式は、画素アレイに配列された複数の画素から出力された信号を調停することによって入射光の輝度変化を検出した画素を特定する。一方、スキャン方式では、画素アレイから検出画素の行を順番に選択し、行単位で出力された信号に基づいて入射光の輝度が変化したか否かを判断する。
特開２０１８－１４８５５３号公報 特表２０１５－５０１９３６号公報 特表２０２０－６８５２２号公報
ＥＶＳでは、入射光の輝度変化を検出する検出画素数は、撮像環境に応じて変化する。しかし、スキャン方式のＥＶＳは、検出画素数に関わらず、選択した順番に基づいて、画素アレイから全ての行の信号を読み出す。そのため、ＥＶＳに求められる高速なデータ出力性能に改善の余地がある。
本開示は、入射光の輝度変化に関するデータを高速に出力することが可能な撮像装置、電子機器、および光検出方法を提供する。
本開示の一実施形態に係る撮像装置は、入射光を光電変換する複数の画素回路が行列状に配列された画素アレイと、画素アレイから行単位または列単位で出力された第１信号に基づいて、複数の画素回路の中で入射光の輝度変化を検出した画素回路を含む検出画素行または検出画素列を特定するタイミング制御回路と、画素アレイから検出画素行または検出画素列の第１信号を読み出す読出し回路と、を備える。
前記タイミング制御回路は、所定の周期でフレーム同期信号を発信し、
前記読出し回路は、複数の前記フレーム同期信号を跨いで前記第１信号を読み出してもよい。
前記読出し回路は、前記複数のフレーム同期信号を跨ぐ際に、間隔を空けて前記第１信号を読み出してもよい。
前記タイミング制御回路は、前記読出し回路が前記第１信号の読み出しを完了するタイミングに同期するフレーム同期信号を発信してもよい。
前記読出し回路から読み出された前記第１信号を処理するＥＶＳ信号処理部をさらに備え、
前記ＥＶＳ信号処理部は、前記検出画素行の数または前記検出画素列の数に応じて少なくとも１つのダミーデータを第１出力データに埋め込んでもよい。
前記ＥＶＳ信号処理部は、複数のフレーム間で前記第１出力データのデータ数が同じになるように、前記ダミーデータを埋め込んでもよい。
前記ＥＶＳ信号処理部は、複数のフレームの前記第１出力データを組み合わせてもよい。
前記ＥＶＳ信号処理部は、前記複数のフレームの中で先頭のフレームの前記第１出力データにフレームスタートを埋め込み、最終のフレームの前記第１出力データにフレームエンドを埋め込んでもよい。
前記最終のフレームの前記第１出力データが、全て前記ダミーデータであってもよい。
前記複数の画素回路の各々が、前記第１信号を出力する第１画素回路と、前記入射光の輝度に応じた第２信号を出力する第２画素回路と、を有し、
前記第１信号を処理した第１出力データを、前記第２信号を処理した第２出力データと同時に出力する出力インターフェースをさらに備えていてもよい。
１つの前記第１画素回路に対して複数の第２画素回路が設けられていてもよい。
前記出力インターフェースは、互いに異なるバーチャネルチャネルを使用して前記第１出力データおよび前記第２出力データを出力してもよい。
前記出力インターフェースは、１つの前記第２出力データに対して複数の前記第１出力データを組み合わせて出力してもよい。
前記第１出力データおよび前記第２出力データが、同一のデータ行に埋め込まれていてもよい。
前記第１出力データの領域および前記第２出力データの領域を示すデータヘッダが埋め込まれていてもよい。
前記データヘッダが、前記第１出力データの先頭および前記第２出力データの先頭にそれぞれ埋め込まれていてもよい。
本開示の一実施形態に係る電子機器は、入射光を光電変換する複数の画素回路が行列状に配列された画素アレイと、前記画素アレイから行単位または列単位で出力された第１信号に基づいて、前記複数の画素回路の中で前記入射光の輝度変化を検出した画素回路を含む検出画素行または検出画素列を特定するタイミング制御回路と、前記画素アレイから前記検出画素行または前記検出画素列の前記第１信号を読み出す読出し回路と、を有する撮像装置を備える。
本開示の一実施形態に係る光検出方法は、
入射光を光電変換する複数の画素回路が行列状に配列された画素アレイから行単位または列単位で出力された第１信号に基づいて、前記複数の画素回路の中で前記入射光の輝度変化を検出した画素回路を含む検出画素行または検出画素列を特定し、
前記画素アレイから前記検出画素行または前記検出画素列の前記第１信号を読み出す。
第１実施形態に係る撮像装置が搭載される電子機器の一構成例を示すブロック図である。 第１実施形態に係る撮像装置の構成を示すブロック図である。 ＥＶＳ画素回路の構成を示す回路図である。 撮像装置のチップ構造の概略を示す分解斜視図である。 撮像装置の光検出動作の手順を示すフローチャートである。 撮像装置の光検出動作のタイミングチャートである。 読出し回路の読み出し動作の別のタイミングチャートである。 第１実施形態に係るＥＶＳデータの構造例を示す図である。 第２実施形態におけるフレーム同期信号の発信タイミングを示すタイミングチャートである。 第３実施形態に係るＥＶＳデータの構造例を示す図である。 第４実施形態に係るＥＶＳデータの構造例を示す図である。 第５実施形態に係る撮像装置の構成を示すブロック図である。 第５実施形態に係る画素回路の構成を示す図である。 階調画素回路の構成例を示す図である。 ＥＶＳデータおよび階調データの出力形式の一例を示す図である。 ＥＶＳデータおよび階調データの出力形式の別の一例を示す図である。 ＥＶＳデータおよび階調データの出力形式のさらに別の一例を示す図である。 輝度データおよびイベントデータから成るデータ群の構造の一例を示す図である。 輝度データおよびイベントデータから成るデータ群の構造の一例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部および撮像部の設置位置の一例を示す説明図である。
以下、図面を参照して、撮像装置および光検出方法の実施形態について説明する。以下では、撮像装置の主要な構成部分を中心に説明するが、撮像装置には、図示又は説明されていない構成部分や機能が存在し得る。以下の説明は、図示又は説明されていない構成部分や機能を除外しない。
（第１実施形態）
図１は、第１実施形態に係る撮像装置が搭載される電子機器の一構成例を示すブロック図である。
図１に示す電子機器１０は、撮像レンズ１１と、撮像装置２０と、記録部１２と、制御部１３と、を備える。この電子機器１０は、例えば、スマートフォン等の通信機器に搭載されるカメラシステム、産業用ロボットに搭載されるカメラシステム、および車載カメラシステムなどに適用することができる。
撮像レンズ１１は、被写体からの入射光を取り込んで撮像装置２０の撮像面上に結像する。撮像装置２０は、撮像レンズ１１によって取り込まれた入射光を画素単位で光電変換して撮像データを取得する。
撮像装置２０は、撮像した画像データに対して、画像認識処理等の所定の信号処理を実行し、その処理結果を示すデータを記録部１２に出力する。記録部１２は、信号線１４を介して撮像装置２０から供給されるデータを記憶する。制御部１３は、例えば、マイクロコンピュータによって構成され、撮像装置２０における撮像動作の制御を行う。
図２は、第１実施形態に係る撮像装置２０の構成を示すブロック図である。図２に示す撮像装置２０は、スキャン方式の撮像装置であり、画素アレイ２１と、アクセス制御回路２２と、タイミング制御回路２３と、読出し回路２４と、ＥＶＳ信号処理部２５と、タイムスタンプ生成回路２６と、出力インターフェース２７と、を備える。
画素アレイ２１は、行列状に２次元配列された複数のＥＶＳ画素回路３０（第１画素回路）を含む。各ＥＶＳ画素回路３０は、入射光を光電変換した電圧信号を生成する。また、各ＥＶＳ画素回路３０は、生成した電圧信号に基づいて、入射光の輝度が変化したか否かを示す輝度変化信号（第１信号）を出力する。輝度変化信号は、行単位で（１行毎に）出力される。なお、輝度変化信号は、列単位（１列毎に）出力されてもよい。
アクセス制御回路２２は、例えばシフトレジスタで構成され、タイミング制御回路２３の制御に基づいて、各ＥＶＳ画素回路３０にアクセスする。このアクセスによって、各ＥＶＳ画素回路３０の輝度変化信号が読出し回路２４に読み出される。
タイミング制御回路２３は、撮像装置２０内の各回路にフレーム同期信号を発信する。このフレーム同期信号は、撮像装置２０内で１フレーム分の処理を繰り返し行う周期で発信される信号である。また、タイミング制御回路２３は、画素アレイ２１からアクセス制御回路２２を介して入力された輝度変化信号に基づいて、イベントを検出した検出画素行を特定する。検出画素行には、活性画素回路が少なくとも１つ含まれている。活性画素回路は、入射光の輝度に対応する電圧値が予め設定されたしきい値を上回るかまたは下回る画素回路である。なお、輝度変化信号が画素アレイ２１から列単位で出力される場合には、タイミング制御回路２３は、イベントを検出した検出画素列を特定する。検出画素列にも、活性画素回路が少なくとも１つ含まれている。
読出し回路２４は、タイミング制御回路２３で特定された検出画素行の輝度変化信号を画素アレイ２１から読み出す。すなわち、読出し回路２４は、画素アレイ２１の全ての行の輝度変化信号を読み出すのではなく、活性画素を含む検出画素行の輝度変化信号のみを読み出す。なお、輝度変化信号が画素アレイ２１から列単位で出力される場合には、読出し回路２４は、タイミング制御回路２３で特定された検出画素列の輝度変化信号を画素アレイ２１から読み出す。すなわち、読出し回路２４は、画素アレイ２１の全ての列の輝度変化信号を読み出すのではなく、活性画素を含む検出画素列の輝度変化信号のみを読み出す。
ＥＶＳ信号処理部２５は、読出し回路２４で読み出された輝度変化信号に対して所定の信号処理を行う。例えば、ＥＶＳ信号処理部２５は、フレーム同期信号で区切られるフレーム毎にＥＶＳデータを作成する。ＥＶＳデータには、検出画素行（または検出画素列）のアドレスや、イベントを検出した時間情報を示すタイムスタンプなどが含まれている。
タイムスタンプ生成回路２６は、画素アレイ２１のＥＶＳ画素回路３０で入射光の輝度変化を検出した時間情報であるタイムスタンプを生成する。また、タイムスタンプ生成回路２６は、生成したタイムスタンプをＥＶＳ信号処理部２５へ出力する。
出力インターフェース２７は、上記ＥＶＳデータをＥＶＳ信号処理部２５の第１出力データとして記録部１２へ出力する。
図３は、ＥＶＳ画素回路３０の構成を示す回路図である。図３に示すＥＶＳ画素回路３０は、ＥＶＳ画素回路の一例であり、対数変換回路３１０、バッファ回路３２０、減算回路３３０、および量子化回路３４０を有する。バッファ回路３２０、減算回路３３０、および量子化回路３４０は、輝度変化信号を生成するためのアナログフロントエンド（ＡＦＥ）を構成する。
対数変換回路３１０は、光電変換素子３００と、Ｎチャネル型のＭＯＳトランジスタ３１１と、Ｐチャネル型のＭＯＳトランジスタ３１２と、Ｎチャネル型のＭＯＳトランジスタ３１３と、を有する。光電変換素子３００は、入射光を光電変換して、入射光の光量に応じた電荷量の電荷を生成する。光電変換素子３００は、例えばフォトダイオードで構成される。光電変換素子３００は、ＭＯＳトランジスタ５１４に直列に接続されている。また、ＭＯＳトランジスタ３１２は、ＭＯＳトランジスタ３１３に直列に接続されている。さらに、ＭＯＳトランジスタ３１１のゲートが、ＭＯＳトランジスタ３１２のドレインおよびＭＯＳトランジスタ３１３のドレインに接続されている。対数変換回路３１０では、光電変換素子３００で光電変換された電荷を、対数出力の電圧信号Ｖｌｏｇに変換する。
バッファ回路３２０は、Ｐチャネル型のＭＯＳトランジスタ３２１と、Ｐチャネル型のＭＯＳトランジスタ３２２と、を有する。ＭＯＳトランジスタ３２１は、ＭＯＳトランジスタ５２２に直列に接続されている。バッファ回路３２０は、ＭＯＳトランジスタ３２２のゲートに入力された電圧信号Ｖｌｏｇに対してインピーダンス変換を行ったソースフォロワ電圧信号ＶＳＦを出力する。
減算回路３３０は、Ｐチャネル型のＭＯＳトランジスタ３３１と、Ｐチャネル型のＭＯＳトランジスタ３３２と、Ｎチャネル型のＭＯＳトランジスタ３３３と、キャパシタ３３４と、キャパシタ３３５と、を有する。ＭＯＳトランジスタ３３２は、ＭＯＳトランジスタ３３３に直列に接続されている。ＭＯＳトランジスタ３３２のゲートには、キャパシタ３３４が接続されている。ＭＯＳトランジスタ３３２のゲートとドレインとの間には、ＭＯＳトランジスタ３３１よびキャパシタ３３５が並列に接続されている。ＥＶＳ画素回路３０がイベントを検出すると、ＭＯＳトランジスタ３３１がオフからオンに切り替わる。これにより、ＥＶＳ画素回路３０は、イベントを検出できないリセット状態となる。その後、所定の時間が経過すると、ＭＯＳトランジスタ３３１がオフからオンに切り替わり、ＥＶＳ画素回路３０は、イベント検出可能な状態となる。減算回路３３０は、リセット前後のソースフォロワ電圧信号ＶＳＦの差分電圧信号Ｖｄｉｆｆを出力する。
量子化回路３４０は、Ｐチャネル型のＭＯＳトランジスタ３４１と、Ｎチャネル型のＭＯＳトランジスタ３４２と、Ｐチャネル型のＭＯＳトランジスタ３４３と、Ｎチャネル型のＭＯＳトランジスタ３４４と、を有する。ＭＯＳトランジスタ３４１は、ＭＯＳトランジスタ３４２に直列に接続されている。また、ＭＯＳトランジスタ５４３は、ＭＯＳトランジスタ３４４に直列に接続されている。
ＭＯＳトランジスタ３４１およびＭＯＳトランジスタ３４２は、ＭＯＳトランジスタ３４１のゲートに入力された差分電圧信号Ｖｄｉｆｆを上限しきい値と比較する第１コンパレータ回路を構成する。また、ＭＯＳトランジスタ３４３およびＭＯＳトランジスタ３４４は、ＭＯＳトランジスタ３４３のゲートに入力された差分電圧信号Ｖｄｉｆｆを下限しきい値と比較する第２コンパレータ回路を構成する。第１コンパレータ回路および第２コンパレータ回路の出力信号が、デジタル方式の輝度変化信号に相当する。差分電圧信号Ｖｄｉｆｆが、上限しきい値を上回る場合、輝度変化信号の信号値は、「＋１」である。差分電圧信号Ｖｄｉｆｆが、下限しきい値を下回る場合、輝度変化信号の信号値は、「－１」である。差分電圧信号Ｖｄｉｆｆが、上限しきい値と下限しきい値との間の範囲内である場合、輝度変化信号の信号値は、「０」である。
なお、ＥＶＳ画素回路３０は、入射光の輝度変化を検出可能な回路であればよく、図３に示す回路に限定されない。例えば、画素アレイ２１の各行の輝度変化信号を一時的に保持するフリップフロップ回路が、量子化回路３４０の後段に配置されていてもよい。
図４は、撮像装置２０のチップ構造の概略を示す分解斜視図である。図４に示すように、撮像装置２０は、受光チップ２０１および検出チップ２０２の少なくとも２つのチップが積層された積層構造を有する。例えば、図３に示すＥＶＳ画素回路３０のうち、光電変換素子３００が、受光チップ２０１上に配置され、光電変換素子３００以外の素子の全てや、撮像装置２０の他の回路素子などが検出チップ２０２上に配置される。受光チップ２０１と検出チップ２０２とは、ビア（ＶＩＡ）、Ｃｕ－Ｃｕ接合、バンプなどの接続部を介して電気的に接続される。すなわち、受光チップ２０１と検出チップ２０２とは、ＣｏＣ（Chip on Chip）方式、ＣｏＷ（Chip on Wafer）方式、又はＷｏＷ（Wafer on Wafer）方式のいずれかで貼り合わされる。
なお、チップレイアウトは、図４に示すレイアウトに限られない。例えば、画素アレイ２１を受光チップ２０１に配置し、他の回路素子を検出チップ２０２に配置してもよい。また、画素アレイ２１、アクセス制御回路２２、および読出し回路２４を受光チップ２０１に配置し、それ以外の回路素子を検出チップ２０２に配置してもよい。
次に、図５および図６を参照して、上記のように構成された撮像装置２０の光検出動作を説明する。
図５は、撮像装置２０の光検出動作の手順を示すフローチャートである。図６は、撮像装置２０の光検出動作のタイミングチャートである。
本実施形態では、まず、画素アレイ２１の各ＥＶＳ画素回路３０が、図６に示す検出リセット期間Ｔ１に輝度変化信号を生成する（ステップＳ１）。すなわち、各ＥＶＳ画素回路３０が、入射光の輝度が変化したか否かを検出する。輝度変化を検出したＥＶＳ画素回路３０は、リセットされる。
次に、アクセス制御回路２２が、画素アレイ２１から行単位で輝度変化信号を取得する（ステップＳ１０２）。続いて、アクセス制御回路２２は、取得した輝度変化信号をタイミング制御回路２３およびタイムスタンプ生成回路２６に提供する。これにより、画素アレイ２１の中で、入射光の輝度変化を検出した検出画素行の全てが、タイミング制御回路２３に通知される。また、タイムスタンプ生成回路２６は、輝度変化信号に基づいてタイムスタンプを生成する。
次に、タイミング制御回路２３は、輝度変化信号の信号値に基づいて、画素アレイ２１の中で、アクセス制御回路２２がアクセスする行を選択する（ステップＳ１０３）。ステップＳ１０３では、タイミング制御回路２３は、信号値が「＋１」または「－１」である輝度変化信号を含む行を検出画素行と特定し、特定した全ての行をアクセス行として選択する。また、タイミング制御回路２３は、選択した検出画素行の数をＥＶＳ信号処理部２５へ通知する。
次に、アクセス制御回路２２が、タイミング制御回路２３によって選択された検出画素行にアクセスすると、読出し回路２４が、図６に示す読出し期間Ｔ２に検出画素行の輝度変化信号を読み出す（ステップＳ１０４）。ステップＳ１０４では、検出画素行の数が少ない場合には、読出し回路２４は、１フレーム内で全ての検出画素行について輝度変化信号を読み出すことができる。しかし、検出画素行の数が多い場合には、１フレーム内で全ての検出画素行の輝度変化信号を読み出すことが困難になる。そこで、この場合には、読出し回路２４は、連続する複数のフレーム（フレームＡ、フレームＢ）に跨って輝度変化信号を読み出す。
図７は、読出し回路２４の読み出し動作の別のタイミングチャートである。図７に示すように、読出し回路２４は、複数のフレームに渡って輝度変化信号を読み出す際、フレーム間の境界部分に間隔ΔＴを空けてもよい。この間隔ΔＴの長さは、例えば、検出リセット期間Ｔ１の長さに対応付けて設定することができる。これにより、各フレーム内における読出し期間Ｔ２が一律に設定される。
読出し回路２４は、画素アレイ２１から読み出した検出画素行の輝度変化信号を逐次的にＥＶＳ信号処理部２５へ出力する。ＥＶＳ信号処理部２５は、読出し回路２４から入力された輝度変化信号の数を、ステップＳ１０３でタイミング制御回路２３から通知された検出画素行の数と比較することによって、読出し回路２４の読み出し動作が完了したか否かを判定する（ステップＳ１０５）。
読出し回路２４の読み出し動作が完了すると、ＥＶＳ信号処理部２５は、輝度変化信号に基づいてＥＶＳデータを作成する（ステップＳ１０６）。続いて、出力インターフェース２７が、ＥＶＳ信号処理部２５で生成されたＥＶＳデータを出力する（ステップＳ１０７）。その後、ステップＳ１０１～ステップＳ１０７の動作が、再び繰り返される。
図８は、第１実施形態に係るＥＶＳデータの構造例を示す図である。ＥＶＳ信号処理部２５は、フレーム毎にＥＶＳデータを作成する。ＥＶＳデータの先頭にはフレームスタート（ＦＳ）が埋め込まれ、末尾にはフレームエンド（ＦＥ）が埋め込まれている。フレームスタート（ＦＳ）とフレームエンド（ＦＥ）との間には、各検出画素行の輝度変化信号に関連するイベントデータ（Ｅｖｅｎｔ）と、入射光の輝度変化を検出したタイムスタンプとが埋め込まれている。なお、読出し回路２４がフレームＡからフレームＢに渡って輝度変化信号を読み出す場合には、フレームＡのＥＶＳデータに埋め込まれたタイムスタンプは、フレームＢのＥＶＳデータに埋め込まれたタイムスタンプと同じである。
各イベントデータの前後には、パケットヘッダ（ＰＨ）およびパケットフッダ（ＰＦ）がそれぞれ埋め込まれている。これにより、ＥＶＳデータを読み取る際、イベントデータを認識することができる。また、各イベントデータの先頭には、検出画素行のアドレスが埋め込まれている。これにより、画素アレイ２１において、画素アレイ２１における検出画素行の位置を特定することができる。
上述したＥＶＳデータでは、フレーム長は、イベントデータの数に対応する。このイベントデータの数は、検出画素行の数に応じて変化する。そのため、ＥＶＳデータのフレーム長は、フレーム毎に異なる場合がある。例えば、図８では、フレームＡの検出画素行は、フレームＢの検出画素行よりも多い。そのため、フレームＡのＥＶＳデータのフレーム長は、フレームＢのＥＶＳデータのフレーム長よりも長くなる。このように、本実施形態では、ＥＶＳデータのフレーム長は、検出画素行の数に対応して可変である。
以上説明した本実施形態によれば、読出し回路２４は、画素アレイ２１からイベントを検出したＥＶＳ画素回路３０を含む検出画素行の輝度変化信号のみを読み出す。そのため、画素アレイ２１から全ての行の輝度変化信号を読み出す場合に比べて、読み出し時間が短縮宿される。これにより、ＥＶＳデータを高速に出力することが可能となる。
（第２実施形態）
以下、第２実施形態について説明する。第２実施形態は、フレーム同期信号の発信タイミングが第１実施形態と異なる。そこで、図９を参照して、第２実施形態におけるフレーム同期信号の発信タイミングを説明する。なお、本実施形態では、撮像装置２０の構成は、第１実施形態と同じである。そのため、撮像装置２０の構成要素には同じ符号を付し、詳細な説明を省略する。
図９は、第２実施形態におけるフレーム同期信号の発信タイミングを示すタイミングチャートである。本実施形態では、図９に示すように、タイミング制御回路２３は、読出し期間Ｔ２が終了するタイミングに同期してフレーム同期信号を発信する。そのため、検出画素行の数が多いとフレーム同期信号の周期は長くなる一方で、検出画素行の数が少ないとフレーム同期信号の周期は短くなる。このように、フレーム同期信号の周期は、検出画素行の数に応じて可変である。
また、本実施形態では、ＥＶＳ信号処理部２５は、フレーム同期信号に基づいて読出し回路２４の読み出し動作の完了を認識する。そのため、ＥＶＳ信号処理部２５は、フレーム同期信号をトリガとしてＥＶＳデータの作成を開始する。
以上説明した本実施形態によれば、第１実施形態と同じく、読出し回路２４が、検出画素行の輝度変化信号のみを読み出すため、ＥＶＳデータを高速に出力することが可能となる。さらに本実施形態では、読出し回路２４が輝度変化信号の読み出しを完了するタイミングでタイミング制御回路２３がフレーム同期信号を発信する。そのため、ＥＶＳ信号処理部２５は、タイミング制御回路２３から検出画素行の数を通知されなくてもＥＶＳデータを作成できる。これにより、タイミング制御回路２３の通知処理に要する負荷を軽減することができる。
（第３実施形態）
以下、第３実施形態について説明する。第３実施形態は、ＥＶＳデータの構造が第１実施形態と異なる。そこで、図１０を参照して、第３実施形態に係るＥＶＳデータの構造を説明する。なお、本実施形態でも、撮像装置２０の構成は、第１実施形態と同じである。そのため、撮像装置２０の構成要素には同じ符号を付し、詳細な説明を省略する。
図１０は、第３実施形態に係るＥＶＳデータの構造例を示す図である。本実施形態では、各フレームの検出画素行の数が異なる場合、ＥＶＳ信号処理部２５は、検出画素行の数が少ないＥＶＳデータにダミーデータを埋め込む。
例えば、図１０に示すフレームＡのＥＶＳデータは、６つのイベントデータを有する。一方、フレームＢのＥＶＳデータは、５つのイベントデータを有する。この場合、ＥＶＳ信号処理部２５は、フレームＢのＥＶＳデータに１つのダミーデータを埋め込む。その結果、フレームＢのＥＶＳデータのフレーム長が、フレームＡのＥＶＳデータのフレーム長と等しくなる。その後、出力インターフェース２７が、各フレームのＥＶＳデータを出力する。
以上説明した本実施形態によれば、第１実施形態と同じく、読出し回路２４が、検出画素行の輝度変化信号のみを読み出すため、ＥＶＳデータを高速に出力することが可能となる。さらに本実施形態では、ＥＶＳ信号処理部２５が、検出画素行の数に応じて少なくとも１つのダミーデータをＥＶＳデータに埋め込む。そのため、各フレームのデータ数、換言するとフレーム長が同じになる。これにより、検出画素行の数に関わらず、ＥＶＳデータのフレーム長を固定することが可能となる。
（第４実施形態）
以下、第４実施形態について説明する。第４実施形態は、ＥＶＳデータの構造が第３実施形態と異なる。そこで、図１１を参照して、第４実施形態に係るＥＶＳデータの構造を説明する。なお、本実施形態でも、撮像装置２０の構成は、第１実施形態と同じである。そのため、撮像装置２０の構成要素には同じ符号を付し、詳細な説明を省略する。
図１１は、第４実施形態に係るＥＶＳデータの構造例を示す図である。本実施形態では、第３実施形態と同じく、各フレームの検出画素行の数が異なる場合、ＥＶＳ信号処理部２５は、検出画素行の数が少ないＥＶＳデータにダミーデータを埋め込む。
さらに、本実施形態では、ＥＶＳ信号処理部２５は、ＥＶＳデータの更新レートであるフレームレートを固定するために、複数のフレームのＥＶＳデータを組み合わせて１つのＥＶＳデータとして作成する。
例えば、図１１では、ＥＶＳ信号処理部２５は、４つのフレームＡ、Ｂ、Ｃ、ＤのＥＶＳデータを組み合わせる。このとき、フレームスタート（ＦＳ）は、先頭のフレームＡのＥＶＳデータのみに埋め込まれ、残りのフレームのＥＶＳデータには、埋め込まれない。また、フレームエンド（ＦＥ）は、最終のフレームＤのＥＶＳデータのみに埋め込まれ、残りのフレームのＥＶＳデータには、埋め込まれない。
また、フレームレートを固定する場合、最終のフレームＤには、複数のフレームに跨るＥＶＳデータを埋め込むことはできない。そのため、最終のフレームＤのＥＶＳデータは、イベントデータを含まず、全てダミーデータで構成される。
以上説明した本実施形態によれば、第１実施形態と同じく、読出し回路２４が、検出画素行の輝度変化信号のみを読み出すため、ＥＶＳデータを高速に出力することが可能となる。さらに、本実施形態では、複数のフレームのＥＶＳデータを組み合わせることによって、検出画素行の数に関わらず、フレームレートを固定することが可能となる。
（第５実施形態）
図１２は、第５実施形態に係る撮像装置の構成を示すブロック図である。図１２では、上述した第１実施形態に係る撮像装置と同様の構成要素には同じ符号を付し、詳細な説明を省略する。
本実施形態に係る撮像装置２００は、第１実施形態に係る撮像装置２０の構成要素に加えて、ＡＤ変換器２８および階調信号処理部２９をさらに備える。また、画素アレイ２１の画素回路４０の構成が、第１実施形態に係るＥＶＳ画素回路３０の構成と異なる。ここで、まず、画素回路４０の構成について説明する。
図１３は、第５実施形態に係る画素回路４０の構成を示す図である。図１３に示す画素回路４０は、第１実施形態で説明したＥＶＳ画素回路３０に加えて、３つの階調画素回路４１（第２画素回路）をさらに有する。３つの階調画素回路４１は、例えば、赤色光（Ｒ）、緑色光（Ｇ）、青色光（Ｂ）をそれぞれ光電変換して、電荷量に応じた階調輝度信号（第２信号）を出力する。なお、階調画素回路４１の数は、特に制限されず、少なくとも１つ以上であればよい。
図１４は、階調画素回路４１の構成例を示す図である。図１４に示す階調画素回路４１は、光電変換部４１０および信号生成部４２０を有する。
光電変換部４１０は、光電変換素子４１１と、転送トランジスタ４１２と、ＯＦＧ（Over Flow Gate）トランジスタ４１３と、を有する。転送トランジスタ４１２およびＯＦＧトランジスタ４１３には、例えば、Ｎチャネル型のＭＯＳ（Metal Oxide Semiconductor）トランジスタが用いられる。転送トランジスタ４１２およびＯＦＧトランジスタ４１３は、互いに直列に接続されている。
光電変換素子４１１は、転送トランジスタ４１２とＯＦＧトランジスタ４１３との共通接続ノードＮ1とグランドとの間に接続されており、入射光を光電変換して入射光の光量に応じた電荷量の電荷を生成する。光電変換素子４１１は、例えばフォトダイオードで構成される。
転送トランジスタ４１２のゲート電極には、アクセス制御回路２２（図２参照）から転送信号ＴＲＧが供給される。転送トランジスタ４１２は、転送信号ＴＲＧに応答して、光電変換素子４１１で光電変換された電荷を信号生成部４２０に供給する。
ＯＦＧトランジスタ４１３のゲート電極には、アクセス制御回路２２から制御信号ＯＦＧが供給される。ＯＦＧトランジスタ４１３は、制御信号ＯＦＧに応答して、光電変換素子４１１に残った電荷を排出する。
信号生成部４２０は、リセットトランジスタ４２１、増幅トランジスタ４２２、選択トランジスタ４２３、および、浮遊拡散層４２４を有する。リセットトランジスタ４２１、増幅トランジスタ４２２、および、選択トランジスタ４２３には、例えば、Ｎチャネル型のＭＯＳトランジスタが用いられる。
信号生成部４２０には、光電変換部４１０から転送トランジスタ４１２によって、光電変換素子４１１で光電変換された電荷が供給される。光電変換部４１０から供給される電荷は、浮遊拡散層４２４に蓄積される。浮遊拡散層４２４は、蓄積した電荷の量に応じた電圧値の電圧信号を生成する。すなわち、浮遊拡散層４２４は、電荷を電圧に変換する。
リセットトランジスタ４２１は、電源電圧ＶＤＤの電源ラインと浮遊拡散層４２４との間に接続されている。リセットトランジスタ４２１のゲート電極には、アクセス制御回路２２からリセット信号ＲＳＴが供給される。リセットトランジスタ４２１は、リセット信号ＲＳＴに応答して、浮遊拡散層４２４の電荷量を初期化（リセット）する。
増幅トランジスタ４２２は、電源電圧ＶＤＤの電源ラインと垂直信号線ＶＳＬとの間に、選択トランジスタ４２３と直列に接続されている。増幅トランジスタ４２２は、浮遊拡散層４２４で電荷電圧変換された電圧信号を増幅する。
選択トランジスタ４２３のゲート電極には、アクセス制御回路２２から選択信号ＳＥＬが供給される。選択トランジスタ４２３は、選択信号ＳＥＬに応答して、増幅トランジスタ４２２によって増幅された電圧信号を階調輝度信号として垂直信号線ＶＳＬを介してＡＤ変換器２８へ出力する。
なお、上述した階調画素回路４１の構成は一例であって、この構成例に限定されるものではない。例えば、階調画素回路４１は、対象物に光を照射してから反射光を受光するまでの時間に基づいて対象物までの距離を計測するＴｏＦ(Time of Flight）画素回路の構成を有していてもよい。この場合、光電変換素子４１１には、例えばＳＰＡＤ（Single Photon Avalanche Diode）を用いることができる。
図１２に戻って、ＡＤ変換器２８は、画素アレイ２１の画素列毎に、その列の階調画素回路４１から出力されるアナログ方式の階調輝度信号をデジタル信号に変換する。続いて、ＡＤ変換器２８は、このデジタル信号を階調信号処理部２９へ出力する。なお、画素アレイ２１から階調輝度信号を読み出す方式は、特に限定されず、全画素の電荷蓄積タイミングが同じグローバルシャッタ方式であっても、電荷蓄積タイミングが画素行ごとにずれるローリングシャッタ方式であってもよい。
階調信号処理部２９は、ＡＤ変換器２８から取得したデジタル信号に対して、ＣＤＳ（Correlated Double Sampling）処理や画像認識処理などの所定の信号処理を実行する。続いて、階調信号処理部２９は、処理結果を示す階調データを出力インターフェース２７へ出力する。出力インターフェース２７は、ＥＶＳ信号処理部２５で作成されたＥＶＳデータと同時に階調データを出力する。
図１５は、ＥＶＳデータおよび階調データの出力形式の一例を示す図である。階調信号処理部２９によって作成された階調データの先頭には、ＥＶＳデータと同様に、フレームスタート（ＦＳ）が埋め込まれ、末尾にはフレームエンド（ＦＥ）が埋め込まれている。フレームスタート（ＦＳ）とフレームエンド（ＦＥ）との間には、階調輝度信号に関連する輝度データ（Ｉｎｔｅｎｓｉｔｙ）が埋め込まれている。
出力インターフェース２７は、互いに異なるバーチャネルチャネルを使用してＥＶＳデータおよび階調データを同時に出力する。そのため、各フレームのＥＶＳデータは、フレームスタート（ＦＳ）とフレームエンド（ＦＥ）で区切られている。なお、ＥＶＳデータおよび階調データの出力形式は、図１５に示す例に限定されない。
図１６は、ＥＶＳデータおよび階調データの出力形式の別の一例を示す図である。ＥＶＳデータのフレームレートは、階調データのフレームレートよりも大きいため、１フレーム当たりのイベントデータの数と輝度データの数は異なる。そこで、図１６に示すＥＶＳデータでは、階調データのスーパーフレームと合わせるために、複数のフレームのＥＶＳデータが組み合わさっている。そのため、フレームスタート（ＦＳ）は、先頭のフレームのＥＶＳデータのみに埋め込まれ、残りのフレームのＥＶＳデータには、埋め込まれない。また、フレームエンド（ＦＥ）は、最終のフレームのＥＶＳデータのみに埋め込まれ、残りのフレームのＥＶＳデータには、埋め込まれない。
図１７は、ＥＶＳデータおよび階調データの出力形式のさらに別の一例を示す図である。図１７に示す例では、輝度データおよびイベントデータが、同一のデータ行に連続して埋め込まれている。輝度データおよびイベントデータから成るデータ群の先頭には、パケットヘッダ（ＰＨ）が埋め込まれ、終端にはパケットフッダ（ＰＦ）が埋め込まれている。なお、イベントデータの数が、輝度データよりも少ない場合には、ダミーデータを上記データ群に埋め込んでもよい。この場合、ＥＶＳデータと階調データとの間でデータ数を一致させることができる。
図１８は、輝度データおよびイベントデータから成るデータ群の構造の一例を示す図である。図１８にデータ群には、データヘッダが、輝度データの先頭に埋め込まれている。このデータヘッダは、輝度データの領域と、イベントデータの領域とを示す。そのため、このデータ群を読み取る際に、輝度データおよびイベントデータをそれぞれ区別することができる。
図１９は、輝度データおよびイベントデータから成るデータ群の構造の一例を示す図である。図１９にデータ群には、データヘッダが、輝度データの先頭とイベントデータの先頭にそれぞれ埋め込まれている。輝度データの先頭に埋め込まれたデータヘッダは、輝度データの領域を示す。イベントデータの先頭に埋め込まれたデータヘッダは、イベントデータの領域を示す。この場合も、データ群を読み取る際に、輝度データおよびイベントデータをそれぞれ区別することができる。
以上説明した本実施形態によれば、第１実施形態と同じく、読出し回路２４が、検出画素行の輝度変化信号のみを読み出すため、ＥＶＳデータを高速に出力することが可能となる。さらに、本実施形態では、イベント検出の有無を示すＥＶＳデータだけでなく、撮像対象物の輝度値を示す階調データも取得することが可能となる。
＜移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図２０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２０に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、および統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、および車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、および、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声および画像のうちの少なくとも一方の出力信号を送信する。図２０の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２およびインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイおよびヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図２１は、撮像部１２０３１の設置位置の例を示す図である。
図２１では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１および車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図２１には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば撮像部１２０３１に適用され得る。具体的には、第１乃至第５実施形態に係る撮像装置は、撮像部１２０３１に適用することができる。本開示に係る技術を適用することにより、高速に撮影画像を得ることができるため、画像品質を向上することが可能になる。
なお、本技術は以下のような構成を取ることができる。
（１） 入射光を光電変換する複数の画素回路が行列状に配列された画素アレイと、
前記画素アレイから行単位または列単位で出力された第１信号に基づいて、前記複数の画素回路の中で前記入射光の輝度変化を検出した画素回路を含む検出画素行または検出画素列を特定するタイミング制御回路と、
前記画素アレイから前記検出画素行または前記検出画素列の前記第１信号を読み出す読出し回路と、
を備える、撮像装置。
（２） 前記タイミング制御回路は、所定の周期でフレーム同期信号を発信し、
前記読出し回路は、複数の前記フレーム同期信号を跨いで前記第１信号を読み出す、（１）に記載の撮像装置。
（３） 前記読出し回路は、前記複数のフレーム同期信号を跨ぐ際に、間隔を空けて前記第１信号を読み出す、（２）に記載の撮像装置。
（４） 前記タイミング制御回路は、前記読出し回路が前記第１信号の読み出しを完了するタイミングに同期するフレーム同期信号を発信する、（１）に記載の撮像装置。
（５） 前記読出し回路から読み出された前記第１信号を処理するＥＶＳ信号処理部をさらに備え、
前記ＥＶＳ信号処理部は、前記検出画素行の数または前記検出画素列の数に応じて少なくとも１つのダミーデータを第１出力データに埋め込む、（１）に記載の撮像装置。
（６） 前記ＥＶＳ信号処理部は、複数のフレーム間で前記第１出力データのデータ数が同じになるように、前記ダミーデータを埋め込む、（５）に記載の撮像装置。
（７） 前記ＥＶＳ信号処理部は、複数のフレームの前記第１出力データを組み合わせる、（５）または（６）に記載の撮像装置。
（８） 前記ＥＶＳ信号処理部は、前記複数のフレームの中で先頭のフレームの前記第１出力データにフレームスタートを埋め込み、最終のフレームの前記第１出力データにフレームエンドを埋め込む、（７）に記載の撮像装置。
（９） 前記最終のフレームの前記第１出力データが、全て前記ダミーデータである、（８）に記載の撮像装置。
（１０） 前記複数の画素回路の各々が、前記第１信号を出力する第１画素回路と、前記入射光の輝度に応じた第２信号を出力する第２画素回路と、を有し、
前記第１信号を処理した第１出力データを、前記第２信号を処理した第２出力データと同時に出力する出力インターフェースをさらに備える、（１）から（９）のいずれかに記載の撮像装置。
（１１） １つの前記第１画素回路に対して複数の第２画素回路が設けられている、（１０）に記載の撮像装置。
（１２） 前記出力インターフェースは、互いに異なるバーチャネルチャネルを使用して前記第１出力データおよび前記第２出力データを出力する、（１０）または（１１）に記載の撮像装置。
（１３） 前記出力インターフェースは、１つの前記第２出力データに対して複数の前記第１出力データを組み合わせて出力する、（１０）または（１１）に記載の撮像装置。
（１４） 前記第１出力データおよび前記第２出力データが、同一のデータ行に埋め込まれている、（１０）または（１１）に記載の撮像装置。
（１５） 前記第１出力データの領域および前記第２出力データの領域を示すデータヘッダが埋め込まれている、（１４）に記載の撮像装置。
（１６） 前記データヘッダが、前記第１出力データの先頭および前記第２出力データの先頭にそれぞれ埋め込まれている、（１５）に記載の撮像装置。
（１７） 入射光を光電変換する複数の画素回路が行列状に配列された画素アレイと、前記画素アレイから行単位または列単位で出力された第１信号に基づいて、前記複数の画素回路の中で前記入射光の輝度変化を検出した画素回路を含む検出画素行または検出画素列を特定するタイミング制御回路と、前記画素アレイから前記検出画素行または前記検出画素列の前記第１信号を読み出す読出し回路と、を有する撮像装置を備える、電子機器。
（１８） 入射光を光電変換する複数の画素回路が行列状に配列された画素アレイから行単位または列単位で出力された第１信号に基づいて、前記複数の画素回路の中で前記入射光の輝度変化を検出した画素回路を含む検出画素行または検出画素列を特定し、
前記画素アレイから前記検出画素行または前記検出画素列の前記第１信号を読み出す、
光検出方法。
２１：画素アレイ
２３：タイミング制御回路
２４：読出し回路
２５：ＥＶＳ信号処理部
２７：出力インターフェース
３０：ＥＶＳ画素回路
４０：画素回路
４１：階調画素回路
特開２０１８－１４８５５３号公報 特表２０１５－５０１９３６号公報 特開２０２０－６８５２２号公報

Claims (18)

  1. 入射光を光電変換する複数の画素回路が行列状に配列された画素アレイと、
    前記画素アレイから行単位または列単位で出力された第１信号に基づいて、前記複数の画素回路の中で前記入射光の輝度変化を検出した画素回路を含む検出画素行または検出画素列を特定するタイミング制御回路と、
    前記画素アレイから前記検出画素行または前記検出画素列の前記第１信号を読み出す読出し回路と、
    を備える、撮像装置。
  2. 前記タイミング制御回路は、所定の周期でフレーム同期信号を発信し、
    前記読出し回路は、複数の前記フレーム同期信号を跨いで前記第１信号を読み出す、請求項１に記載の撮像装置。
  3. 前記読出し回路は、前記複数のフレーム同期信号を跨ぐ際に、間隔を空けて前記第１信号を読み出す、請求項２に記載の撮像装置。
  4. 前記タイミング制御回路は、前記読出し回路が前記第１信号の読み出しを完了するタイミングに同期するフレーム同期信号を発信する、請求項１に記載の撮像装置。
  5. 前記読出し回路から読み出された前記第１信号を処理するＥＶＳ信号処理部をさらに備え、
    前記ＥＶＳ信号処理部は、前記検出画素行の数または前記検出画素列の数に応じて少なくとも１つのダミーデータを第１出力データに埋め込む、請求項１に記載の撮像装置。
  6. 前記ＥＶＳ信号処理部は、複数のフレーム間で前記第１出力データのデータ数が同じになるように、前記ダミーデータを埋め込む、請求項５に記載の撮像装置。
  7. 前記ＥＶＳ信号処理部は、複数のフレームの前記第１出力データを組み合わせる、請求項５に記載の撮像装置。
  8. 前記ＥＶＳ信号処理部は、前記複数のフレームの中で先頭のフレームの前記第１出力データにフレームスタートを埋め込み、最終のフレームの前記第１出力データにフレームエンドを埋め込む、請求項７に記載の撮像装置。
  9. 前記最終のフレームの前記第１出力データが、全て前記ダミーデータである、請求項８に記載の撮像装置。
  10. 前記複数の画素回路の各々が、前記第１信号を出力する第１画素回路と、前記入射光の輝度に応じた第２信号を出力する第２画素回路と、を有し、
    前記第１信号を処理した第１出力データを、前記第２信号を処理した第２出力データと同時に出力する出力インターフェースをさらに備える、請求項１に記載の撮像装置。
  11. １つの前記第１画素回路に対して複数の第２画素回路が設けられている、請求項１０に記載の撮像装置。
  12. 前記出力インターフェースは、互いに異なるバーチャネルチャネルを使用して前記第１出力データおよび前記第２出力データを出力する、請求項１０に記載の撮像装置。
  13. 前記出力インターフェースは、１つの前記第２出力データに対して複数の前記第１出力データを組み合わせて出力する、請求項１０に記載の撮像装置。
  14. 前記第１出力データおよび前記第２出力データが、同一のデータ行に埋め込まれている、請求項１０に記載の撮像装置。
  15. 前記第１出力データの領域および前記第２出力データの領域を示すデータヘッダが埋め込まれている、請求項１４に記載の撮像装置。
  16. 前記データヘッダが、前記第１出力データの先頭および前記第２出力データの先頭にそれぞれ埋め込まれている、請求項１５に記載の撮像装置。
  17. 入射光を光電変換する複数の画素回路が行列状に配列された画素アレイと、前記画素アレイから行単位または列単位で出力された第１信号に基づいて、前記複数の画素回路の中で前記入射光の輝度変化を検出した画素回路を含む検出画素行または検出画素列を特定するタイミング制御回路と、前記画素アレイから前記検出画素行または前記検出画素列の前記第１信号を読み出す読出し回路と、を有する撮像装置を備える、電子機器。
  18. 入射光を光電変換する複数の画素回路が行列状に配列された画素アレイから行単位または列単位で出力された第１信号に基づいて、前記複数の画素回路の中で前記入射光の輝度変化を検出した画素回路を含む検出画素行または検出画素列を特定し、
    前記画素アレイから前記検出画素行または前記検出画素列の前記第１信号を読み出す、
    光検出方法。
JP2021104406A 2021-06-23 2021-06-23 撮像装置、電子機器、および光検出方法 Pending JP2023003308A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021104406A JP2023003308A (ja) 2021-06-23 2021-06-23 撮像装置、電子機器、および光検出方法
PCT/JP2022/010374 WO2022270034A1 (ja) 2021-06-23 2022-03-09 撮像装置、電子機器、および光検出方法
CN202280043147.1A CN117546477A (zh) 2021-06-23 2022-03-09 成像装置、电子设备及光检测方法
DE112022003194.8T DE112022003194T5 (de) 2021-06-23 2022-03-09 Bildgebungsvorrichtung, elektronische vorrichtung und lichtdetektionsverfahren
KR1020237041725A KR20240024796A (ko) 2021-06-23 2022-03-09 촬상 장치, 전자 기기 및 광 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021104406A JP2023003308A (ja) 2021-06-23 2021-06-23 撮像装置、電子機器、および光検出方法

Publications (1)

Publication Number Publication Date
JP2023003308A true JP2023003308A (ja) 2023-01-11

Family

ID=84544836

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021104406A Pending JP2023003308A (ja) 2021-06-23 2021-06-23 撮像装置、電子機器、および光検出方法

Country Status (5)

Country Link
JP (1) JP2023003308A (ja)
KR (1) KR20240024796A (ja)
CN (1) CN117546477A (ja)
DE (1) DE112022003194T5 (ja)
WO (1) WO2022270034A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023139913A (ja) * 2022-03-22 2023-10-04 ソニーセミコンダクタソリューションズ株式会社 データ生成装置、プログラム、データ受信装置、データ構造

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101724513B1 (ko) 2011-12-19 2017-04-07 유니베르시태트 취리히 포토어레이, 특히 시간 의존성 이미지 데이터의 비동기성 검출과 샘플링된 밝기의 감지를 동시 실시하기 위한 포토어레이
KR102523136B1 (ko) * 2015-09-01 2023-04-19 삼성전자주식회사 이벤트 기반 센서 및 이벤트 기반 센서의 픽셀
US10516841B2 (en) 2017-03-08 2019-12-24 Samsung Electronics Co., Ltd. Pixel, pixel driving circuit, and vision sensor including the same
JP6705534B2 (ja) 2018-10-19 2020-06-03 ソニー株式会社 センサ装置、信号処理方法
JP2020161993A (ja) * 2019-03-27 2020-10-01 ソニー株式会社 撮像システム及び物体認識システム
JP2020174240A (ja) * 2019-04-08 2020-10-22 ソニーセミコンダクタソリューションズ株式会社 撮像装置

Also Published As

Publication number Publication date
CN117546477A (zh) 2024-02-09
KR20240024796A (ko) 2024-02-26
DE112022003194T5 (de) 2024-05-23
WO2022270034A1 (ja) 2022-12-29

Similar Documents

Publication Publication Date Title
US11659304B2 (en) Solid-state imaging element, imaging device, and control method of solid-state imaging element
US11523079B2 (en) Solid-state imaging element and imaging device
WO2020090460A1 (ja) センサ及び制御方法
US11770629B2 (en) Solid-state imaging element and imaging device
WO2020116185A1 (ja) 固体撮像装置、信号処理チップ、および、電子機器
WO2020110537A1 (ja) 固体撮像素子、および、撮像装置
US11252367B2 (en) Solid-stage image sensor, imaging device, and method of controlling solid-state image sensor
WO2021117350A1 (ja) 固体撮像素子、および、撮像装置
WO2020110484A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
CN111434105A (zh) 固态成像元件、成像装置和固态成像元件的控制方法
WO2020129657A1 (ja) センサ及び制御方法
TW202119805A (zh) 固態攝像元件、攝像裝置及固態攝像元件之控制方法
WO2022270034A1 (ja) 撮像装置、電子機器、および光検出方法
US11451725B2 (en) Solid-state imaging element, imaging apparatus, and method for controlling solid-state imaging element
US11711634B2 (en) Electronic circuit, solid-state image sensor, and method of controlling electronic circuit
US11678079B2 (en) Solid-state imaging element, imaging apparatus, and method of controlling solid-state imaging element
WO2024095630A1 (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210629