JP2020136958A - イベント信号検出センサ及び制御方法 - Google Patents

イベント信号検出センサ及び制御方法 Download PDF

Info

Publication number
JP2020136958A
JP2020136958A JP2019029414A JP2019029414A JP2020136958A JP 2020136958 A JP2020136958 A JP 2020136958A JP 2019029414 A JP2019029414 A JP 2019029414A JP 2019029414 A JP2019029414 A JP 2019029414A JP 2020136958 A JP2020136958 A JP 2020136958A
Authority
JP
Japan
Prior art keywords
event
detection probability
unit
pixel
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019029414A
Other languages
English (en)
Inventor
慎一郎 伊澤
Shinichiro Izawa
慎一郎 伊澤
元就 本田
Motonari Honda
元就 本田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2019029414A priority Critical patent/JP2020136958A/ja
Priority to CN202080011686.8A priority patent/CN113396579B/zh
Priority to PCT/JP2020/004857 priority patent/WO2020170861A1/ja
Priority to US17/310,570 priority patent/US20220070392A1/en
Publication of JP2020136958A publication Critical patent/JP2020136958A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】レイテンシを短時間化するとともに、物体の見落としを抑制する。【解決手段】複数の画素回路は、光電変換を行って電気信号を生成する画素の電気信号の変化であるイベントを検出し、イベントの発生を表すイベントデータを出力する。検出確率設定部は、パターン認識の認識結果に応じて、イベントを検出する単位時間当たりの検出確率を、１個以上の画素回路の領域単位で算出し、検出確率に従ってイベントデータが出力されるように、画素回路を制御する。本技術は、画素の電気信号の変化であるイベントを検出するイベント信号検出センサに適用することができる。【選択図】図１

Description

本技術は、イベント信号検出センサ及び制御方法に関し、特に、例えば、レイテンシを短時間化するとともに、物体の見落としを抑制することができるようにするイベント信号検出センサ及び制御方法に関する。
画素の輝度変化をイベントとして、イベントが発生した場合に、イベントの発生を表すイベントデータを出力するイメージセンサが提案されている（例えば、特許文献１を参照）。
ここで、垂直同期信号に同期して撮像を行い、その垂直同期信号の周期で１フレーム（画面）の画像データであるフレームデータを出力するイメージセンサは、同期型のイメージセンサということができる。これに対して、イベントデータを出力するイメージセンサは、イベントが発生すると、イベントデータを出力するため、非同期型（又はアドレス制御型）のイメージセンサということができる。非同期型のイメージセンサは、例えば、DVS(Dynamic Vision Sensor)と呼ばれる。
DVSでは、イベントが発生しなければ、イベントデータは出力されず、イベントが発生した場合に、イベントデータが出力される。そのため、DVSには、イベントデータのデータレートが低データレートになるとともに、イベントデータの処理のレイテンシが低レイテンシになる傾向があるメリットがある。
特表2017-535999号公報
ところで、DVSで撮像される背景が、例えば、葉の生い茂った木々である場合には、その木々の葉が風に揺れて、イベントが発生する画素が多くなることがある。DVSにおいて検出したい注目物体でない物体について、イベントが発生する画素が多いと、低データレート及び低レイテンシというDVSのメリットが損なわれる。
ここで、例えば、階調を表現する階調信号を画素値とする画像（以下、階調画像ともいう）を用いて、DVSにおいて検出したい注目物体の領域を、ROIに設定し、ROI内のイベントデータの出力だけを有効にして、注目物体(ROI)を追跡することで、低データレート及び低レイテンシを維持することが考えられる。
しかしながら、この場合、ROIに設定された領域に対応する範囲以外のDVSの撮像範囲内に、新たな注目物体が現れたときには、その新たな注目物体に起因するイベントデータが出力されず、新たな注目物体を検出することができずに見落とすことになる。
本技術は、このような状況に鑑みてなされたものであり、レイテンシを短時間化するとともに、物体の見落としを抑制することができるようにするものである。
本技術のイベント信号検出センサは、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントを検出し、前記イベントの発生を表すイベントデータを出力する複数の画素回路と、パターン認識の認識結果に応じて、前記イベントを検出する単位時間当たりの検出確率を、１個以上の画素回路の領域単位で算出し、前記検出確率に従って前記イベントデータが出力されるように、前記画素回路を制御する検出確率設定部とを備えるイベント信号検出センサである。
本技術の制御方法は、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントを検出し、前記イベントの発生を表すイベントデータを出力する複数の画素回路を備えるイベント信号検出センサの前記画素回路を制御することを含み、パターン認識の認識結果に応じて、前記イベントを検出する単位時間当たりの検出確率を、１個以上の画素回路の領域単位で算出し、前記検出確率に従って前記イベントデータが出力されるように、前記画素回路を制御する制御方法である。
本技術においては、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントを検出し、前記イベントの発生を表すイベントデータを出力する複数の画素回路を備えるイベント信号検出センサの前記画素回路が制御される。すなわち、パターン認識の認識結果に応じて、前記イベントを検出する単位時間当たりの検出確率が、１個以上の画素回路の領域単位で算出され、前記検出確率に従って前記イベントデータが出力されるように、前記画素回路が制御される。
なお、センサは、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。また、センサは、モジュールや半導体チップとして構成することができる。
本技術を適用したセンサとしてのDVSの一実施の形態の構成例を示すブロック図である。 画素回路２１の第１の構成例を示すブロック図である。 DVSの通常モードの処理を説明する図である。 DVSの検出確率モードの処理を説明するフローチャートである。 DVSの検出確率モードの処理を説明する図である。 画素回路２１の第２の構成例を示すブロック図である。 検出確率の設定の例を示す図である。 画素回路２１の第２の構成例について行われる、検出確率に応じたリセット制御の例を説明する図である。 画素回路２１の第３の構成例を示すブロック図である。 画素回路２１の第３の構成例について行われる、検出確率に応じた閾値制御の例を説明する図である。 画素回路２１の第４の構成例を示すブロック図である。 画素回路２１の第４の構成例について行われる、検出確率に応じた電流制御の例を説明する図である。 イベントデータの出力の空間的な間引きの例を示す図である。 イベントデータの出力の空間的な間引きの他の例を示す図である。 イベントデータの出力の時間的な間引きの例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
＜本技術を適用したDVSの一実施の形態＞
図１は、本技術を適用したセンサ（イベント信号検出センサ）としてのDVSの一実施の形態の構成例を示すブロック図である。
図１において、DVSは、画素アレイ部１１、認識部１２及び１３を有する。
画素アレイ部１１は、入射光の光電変換を行って電気信号を生成する画素３１を含む複数の画素回路２１が２次元平面上に格子状に配置されて構成される。画素アレイ部１１は、画素３１において、入射光の光電変換を行って電気信号を生成する撮像を行う。さらに、画素アレイ部１１は、画素回路２１において、画素３１の電気信号の変化であるイベントの発生を表すイベントデータを生成し、認識部１２の制御に応じて、認識部１３に出力する。また、画素アレイ部１１は、画素３１の電気信号から、画像の階調を表現する階調信号を生成し、認識部１２に供給する。
以上のように、画素アレイ部１１は、イベントデータの他、階調信号も出力するので、垂直同期信号に同期して撮像を行い、その垂直同期信号の周期で１フレーム（画面）の画像の階調信号を出力する同期型のイメージセンサとしても機能することができる。
ここで、画素アレイ部１１において、複数の画素回路２１が配置された部分は、全体として、入射光を受光して、光電変換を行う部分であるので、受光部ともいう。
認識部１２は、画素アレイ部１１が出力する階調信号を画素値とする階調画像を対象にパターン認識を行い、そのパターン認識の認識結果に応じて、イベントを検出する単位時間当たりの検出確率を、画素アレイ部１１の1個以上の画素回路２１からなる領域単位で算出（設定）する検出確率設定部として機能する。
さらに、認識部１２は、検出確率に従ってイベントデータが出力されるように、検出確率に応じて、画素回路２１を制御する。なお、検出確率に応じた画素回路２１の制御は、DVSがイベントデータの出力を調停するアービタ（図示せず）を有する場合には、認識部１２からアービタ経由で行うことができる。
認識部１３は、画素アレイ部１１が出力するイベントデータに対応する値を画素値とするイベント画像を対象にパターン認識を行い、DVSにおいて検出したい注目物体を検出し、その注目物体を追跡する（注目物体に追従する）。
なお、DVSは、複数のダイを積層して構成することができる。DVSを、例えば、２個のダイを積層して構成する場合、２個のダイのうちの１個のダイには、画素アレイ部１１を形成し、他の１個のダイには、認識部１２及び１３を形成することができる。また、１個のダイには、画素アレイ部１１の一部を形成し、他の１個のダイには、画素アレイ部１１の残りの部分、並びに、認識部１２及び１３を形成することができる。
＜画素回路２１の第１の構成例＞
図２は、図１の画素回路２１の第１の構成例を示すブロック図である。
画素回路２１は、画素３１、イベント検出部３２、及び、ADC(Analog to Digital Converter)３３を有する。
画素３１は、光電変換素子としてのPD(PhotoDiode)５１を有する。画素３１は、PD５１において、PD５１に入射する光を受光し、光電変換を行って、電気信号としての光電流(Iph)を生成して流す。
イベント検出部３２は、画素３１の光電変換によって生成される光電流に所定の閾値を超える変化（閾値以上の変化を必要に応じて含む）が発生した場合に、その光電流の変化をイベントとして検出する。イベント検出部３２は、イベント（の検出）に対して、イベントデータを出力する。
ここで、画素３１で生成される光電流の変化は、画素３１に入射する光の光量変化とも捉えることができるので、イベントは、画素３１の光量変化（閾値を超える光量変化）であるともいうことができる。
イベントデータについては、少なくとも、イベントとしての光量変化が発生した画素３１（画素回路２１）の位置を表す位置情報（座標等）を特定することができる。その他、イベントデータについては、光量変化の極性（正負）を特定することができる。
イベント検出部３２がイベントが発生したタイミングで出力するイベントデータの系列については、イベントデータどうしの間隔がイベントの発生時のまま維持されている限り、イベントが発生した（相対的な）時刻を表す時刻情報を特定することができる。但し、イベントデータがメモリに記憶されること等により、イベントデータどうしの間隔がイベントの発生時のままには維持されなくなると、時刻情報が失われる。そのため、イベントデータについては、イベントデータどうしの間隔がイベントの発生時のまま維持されなくなる前に、イベントデータに、タイムスタンプ等の、イベントが発生した（相対的な）時刻を表す時刻情報が付加される。イベントデータに時刻情報を付加する処理は、イベントデータどうしの間隔がイベントの発生時のままには維持されなくなる前であれば、イベント検出部３２で行ってもよいし、イベント検出部３２の外部で行ってもよい。
イベント検出部３２は、電流電圧変換部４１、減算部４２、及び、出力部４３を有する。
電流電圧変換部４１は、画素３１からの光電流を、その光電流の対数に対応する電圧（以下、光電圧ともいう）Voに変換し、減算部４２に出力する。
電流電圧変換部４１は、FET６１ないし６３で構成される。FET６１及び６３としては、例えば、N型のMOS FETを採用することができ、FET６２としては、例えば、P型のMOS(PMOS) FETを採用することができる。
FET６１のソースは、FET６３のゲートと接続され、FET６１のソースとFET６３のゲートとの接続点には、画素３１による光電流が流れる。FET６１のドレインは、電源VDDに接続され、そのゲートは、FET６３のドレインに接続される。
FET６２のソースは、電源VDDに接続され、そのドレインは、FET６１のゲートとFET６３のドレインとの接続点に接続される。FET６２のゲートには、所定のバイアス電圧Vbiasが印加される。
FET６３のソースは接地される。
電流電圧変換部４１において、FET６１のドレインは電源VDD側に接続されており、ソースフォロアになっている。ソースフォロアになっているFET６１のソースには、画素３１のPD５１が接続され、これにより、FET６１（のドレインからソース）には、画素３１のPD５１の光電変換により生成される電荷による光電流が流れる。FET６１は、サブスレッショルド領域で動作し、FET６１のゲートには、そのFET６１に流れる光電流の対数に対応する光電圧Voが現れる。以上のように、電流電圧変換部４１では、FET６１により、画素３１からの光電流が、その光電流の対数に対応する光電圧Voに変換される。
光電圧Voは、FET６１のゲートとFET６３のドレインとの接続点から、減算部４２に出力される。
減算部４２は、電流電圧変換部４１からの光電圧Voについて、現在の光電圧と、現在と微小時間だけ異なるタイミングの光電圧との差を演算し、その差に対応する差信号Voutを、出力部４３に出力する。
減算部４２は、コンデンサ７１、オペアンプ７２、コンデンサ７３、及び、スイッチ７４を有する。
コンデンサ７１（第１の容量）の一端は、電流電圧変換部４１（のFET６２と６３との接続点）に接続され、他端は、オペアンプ７２の入力端子に接続される。したがって、オペアンプ７２の（反転）入力端子には、コンデンサ７１を介して光電圧Voが入力される。
オペアンプ７２の出力端子は、出力部４３に接続される。
コンデンサ７３（第２の容量）の一端は、オペアンプ７２の入力端子に接続され、他端は、オペアンプ７２の出力端子に接続される。
スイッチ７４は、コンデンサ７３の両端の接続をオン／オフするように、コンデンサ７３に接続される。スイッチ７４は、出力部４３からのリセット信号に従ってオン／オフすることにより、コンデンサ７３の両端の接続をオン／オフする。
コンデンサ７３及びスイッチ７４は、スイッチドキャパシタを構成する。オフになっているスイッチ７４が一時的にオンにされ、再び、オフにされることにより、コンデンサ７３は、電荷が放電され、新たに電荷を蓄積することができる状態にリセットされる。
スイッチ７４をオンした際のコンデンサ７１の、電流電圧変換部４１側の光電圧VoをVinitと表すとともに、コンデンサ７１の容量（静電容量）をC1と表すこととする。オペアンプ７２の入力端子は、仮想接地になっており、スイッチ７４がオンである場合にコンデンサ７１に蓄積される電荷Qinitは、式（１）により表される。
Qinit = C1 ×Vinit
・・・（１）
また、スイッチ７４がオンである場合には、コンデンサ７３の両端は短絡されるため、コンデンサ７３に蓄積される電荷はゼロとなる。
その後、スイッチ７４がオフになった場合の、コンデンサ７１の、電流電圧変換部４１側の光電圧Voを、Vafterと表すこととすると、スイッチ７４がオフになった場合にコンデンサ７１に蓄積される電荷Qafterは、式（２）により表される。
Qafter = C1×Vafter
・・・（２）
コンデンサ７３の容量をC2と表すこととすると、コンデンサ７３に蓄積される電荷Q2は、オペアンプ７２の出力電圧である差信号Voutを用いて、式（３）により表される。
Q2 = -C2×Vout
・・・（３）
スイッチ７４がオフする前後で、コンデンサ７１の電荷とコンデンサ７３の電荷とを合わせた総電荷量は変化しないため、式（４）が成立する。
Qinit = Qafter + Q2
・・・（４）
式（４）に式（１）ないし式（３）を代入すると、式（５）が得られる。
Vout = -(C1/C2)×(Vafter - Vinit)
・・・（５）
式（５）によれば、減算部４２では、光電圧Vafter及びVinitの減算、すなわち、光電圧VafterとVinitとの差Vafter - Vinitに対応する差信号Voutの算出が行われる。式（５）によれば、減算部４２の減算のゲインはC1/C2となる。したがって、減算部４２は、コンデンサ７３のリセット後の光電圧Voの変化をC1/C2倍した電圧を、差信号Voutとして出力する。
出力部４３は、減算部４２が出力する差信号Voutと、イベントの検出に用いられる所定の閾値（電圧）+Vth及び-Vthとを比較する。出力部４３は、差信号Voutが閾値+Vth以上である場合、又は、閾値-Vth以下である場合、イベントとしての光量変化が検出された（発生した）として、イベントデータを出力する。
例えば、出力部４３は、差信号Voutが閾値+Vth以上である場合に、正極性のイベントが検出されたとして、+1のイベントデータを出力し、差信号Voutが閾値-Vth以下である場合に、負極性のイベントが検出されたとして、-1のイベントデータを出力する。
イベントが検出されると、出力部４３は、スイッチ７４を一時的にオンにしてオフにするリセット信号を出力することで、コンデンサ７３をリセットする。
なお、スイッチ７４がオンにされたままにされると、差信号Voutは、所定のリセットレベルに固定され、イベント検出部３２では、イベントとしての光量変化を検出することができなくなる。同様に、スイッチ７４がオフにされたままにされる場合も、イベント検出部３２では、イベントとしての光量変化を検出することができなくなる。
ここで、画素３１では、カラーフィルタ等の所定の光を透過する光学フィルタを設けること等によって、入射光として、任意の光を受光することができる。例えば、画素３１において、入射光として、可視光を受光する場合、イベントデータは、視認することができる被写体が映る画像における画素値の変化の発生を表す。また、例えば、画素３１において、入射光として、測距のための赤外線やミリ波等を受光する場合、イベントデータは、被写体までの距離の変化の発生を表す。さらに、例えば、画素３１において、入射光として、温度の測定のための赤外線を受光する場合、イベントデータは、被写体の温度の変化の発生を表す。本実施の形態では、画素３１において、入射光として、可視光を受光することとする。
また、DVSを、例えば、２個のダイを積層して構成する場合には、画素回路２１については、全体を１個のダイに形成することや、画素３１及び電流電圧変換部４１を、１個のダイに形成し、他の部分を、他の１個のダイに形成することができる。
ADC３３は、画素３１が流す光電流をAD変換し、そのAD変換により得られるディジタル値を、階調信号として出力する。
以上のように構成される画素回路２１では、イベントデータと階調信号とを同時に出力することができる。
ここで、DVS（図１）において、認識部１３は、画素回路２１（の出力部４３）が出力するイベントデータに対応する値を画素値とするイベント画像を生成し、そのイベント画像を対象にパターン認識を行う。
イベント画像の生成は、所定のフレーム間隔ごとに、所定のフレーム間隔の先頭から所定のフレーム幅内のイベントデータに応じて行われる。
ここで、フレーム間隔とは、イベント画像の隣接するフレームどうしの間隔を意味する。フレーム幅とは、１フレームのイベント画像の生成に用いるイベントデータの時間幅を意味する。
いま、イベントが発生した時刻を表す時刻情報（以下、イベントの時刻ともいう）をtで表すとともに、イベントが発生した画素３１（を有する画素回路２１）の位置情報（以下、イベントの位置ともいう）としての座標を、(x, y)で表すこととする。
x軸、y軸、及び、時間軸tで構成される３次元（時）空間において、所定のフレーム間隔ごとの、時間軸t方向に、所定の設定フレーム幅の厚み（時間）を有する直方体をフレームボリュームということとする。フレームボリュームのx軸方向及びy軸方向のサイズは、例えば、画素回路２１又は画素３１のx軸方向及びy軸方向の個数にそれぞれ等しい。
認識部１２は、所定のフレーム間隔ごとに、フレーム間隔の先頭から所定のフレーム幅のフレームボリューム内のイベントデータに応じて（イベントデータを用いて）、１フレームのイベント画像を生成する。
イベント画像の生成は、例えば、イベントの位置(x, y)のフレームの画素（の画素値）を白色に、フレームの他の位置の画素をグレー等の所定の色にセットすることで行うことができる。
その他、フレームデータの生成は、イベントデータについて、イベントとしての光量変化の極性を特定することができる場合には、その極性を考慮して行うことができる。例えば、極性が正である場合には、画素を白色にセットし、極性が負である場合には、画素を黒色にセットすることができる。
以上のように構成されるDVSの動作モードとしては、例えば、通常モードと、検出確率モードとがある。
通常モードでは、画素アレイ部１１を構成する画素回路２１のすべてが、あらかじめ決められた仕様に従って同様（一律）に動作する。したがって、通常モードでは、ある画素回路３１においてイベントが検出される光量変化の入射光が、別の画素回路３１に入射された場合、その別の画素回路３１でもイベントが検出され、イベントデータが出力される。
一方、検出確率モードでは、認識部１２が、検出確率を、１個以上の画素回路２１の領域単位で設定（算出）し、その検出確率に従ってイベントデータが出力されるように、画素回路２１を制御する。したがって、検出確率モードでは、ある画素回路３１においてイベントが検出される光量変化の入射光が、別の画素回路３１に入射された場合、その別の画素回路３１において、イベントデータが出力されるとは限らない。また、ある画素回路３１においてイベントデータが出力されない光量変化の入射光が、別の画素回路３１に入射された場合、その別の画素回路３１では、イベントが検出され、イベントデータが出力されることがあり得る。
＜通常モード＞
図３は、DVSの通常モードの処理を説明する図である。
通常モードでは、画素アレイ部１１を構成する画素回路２１のすべてが、ある閾値を超える光量変化をイベントとして検出し、イベントデータを出力する。
したがって、例えば、DVSで撮像される背景が、例えば、葉の生い茂った木々である場合には、その木々の葉が風に揺れて、イベントが発生する画素３１、ひいては、イベントデータのデータ量が膨大になる。イベントデータのデータ量が膨大になると、そのような膨大なイベントデータの処理のレイテンシが長時間になる。
そこで、通常モードでは、認識部１２において、画素アレイ部１１の各画素回路２１が出力する階調信号を画素値とする階調画像を対象にパターン認識を行うことができる。さらに、認識部１２において、図３に示すように、パターン認識の認識結果に応じて、DVSにおいて検出したい注目物体の領域を、ROIに設定し、ROI内の画素回路２１にだけ、イベントデータを出力させることができる。そして、認識部１３では、イベントデータに対応する値を画素値とするイベント画像を対象としてパターン認識を行うことにより、注目物体(ROI)を追跡することで、イベントデータのデータ量が膨大になることに起因して、イベントデータの処理のレイテンシが長時間になることを抑制することができる。
しかしながら、ROI内の画素回路２１にだけ、イベントデータを出力させる場合には、ROI以外の領域に、新たな注目物体が現れたときに、その新たな注目物体に起因するイベントデータが出力されず、新たな注目物体を検出することができずに見落とすことになる。
図３では、時刻t0，t1，t2において、イベント画像を対象とするパターン認識により、注目物体としての自動車を含むROIの追跡（注目物体の検出）が行われている。
そして、図３では、時刻t2において、新たな注目物体としての別の自動車が、左下に現れているが、その別の自動車は、ROI以外の領域に現れているため、検出されずに見落とされている。なお、ROI内の画素回路２１にだけ、イベントデータを出力させる場合、実際には、イベント画像に、左下の別の自動車は表示されないが、ここでは説明を分かりやすくするため、左下の別の自動車を表示してある。
＜検出確率モード＞
図４は、DVSの検出確率モードの処理を説明するフローチャートである。
ステップＳ１１において、認識部１２は、画素アレイ部１１の各画素回路２１が出力する階調信号を画素値とする階調画像を取得（生成）し、処理は、ステップＳ１２に進む。
ステップＳ１２では、認識部１２は、階調画像を対象にパターン認識を行い、処理は、ステップＳ１３に進む。
ステップＳ１３では、認識部１２は、階調画像を対象としたパターン認識の認識結果に応じて、画素アレイ部１１の１個以上の画素回路からなる領域単位で、検出確率を設定し、処理は、ステップＳ１４に進む。
ステップＳ１４では、認識部１２は、画素回路２１において、その画素回路２１からなる領域に設定された検出確率に従ってイベントデータが出力されるように、検出確率に応じて、画素回路２１を制御し、処理は、ステップＳ１５に進む。
ステップＳ１５では、認識部１３が、画素回路２１が認識部１２の制御に従って出力するイベントデータに対応する値を画素値とするイベント画像を取得（生成）し、処理は、ステップＳ１６に進む。
ステップＳ１６では、認識部１３が、イベント画像を対象にパターン認識を行い、そのパターン認識の認識結果に応じて、注目物体を検出して追跡する。
ここで、認識部１２による検出確率に応じた画素回路２１の制御では、例えば、検出確率が0.5である場合には、２回のイベントのうちの１回のイベント（の検出）に対してだけ、イベントデータを出力するように、画素回路２１が制御される。又は、イベントデータの出力が、1/2に間引かれる。
また、例えば、検出確率が0.1である場合には、１０回のイベントのうちの１回のイベントに対してだけ、イベントデータを出力するように、画素回路２１が制御される。又は、イベントデータの出力が、1/10に間引かれる。
図５は、DVSの検出確率モードの処理を説明する図である。
図５のＡは、階調画像の例を示している。図５のＡの階調画像には、上部に、空及び雲が映り、中部に、葉が生い茂った木々が映っている。さらに、下部に、道路と、その道路上を右から左に向かって走行する自動車とが映っている。
図５のＢは、図５のＡの階調画像を対象とする認識部１２のパターン認識の認識結果の例を示している。
図５のＢでは、階調画像の上部に映る空及び雲、中部に移る葉及び木、並びに、下部に映る道路及び自動車が、パターン認識により認識されている。
図５のＣは、図５のＢのパターン認識の認識結果に応じた検出確率の設定の例を示している。
認識部１２は、階調画像を対象とするパターン認識の認識結果に応じて、1個以上の画素回路２１の領域単位でイベントを検出する検出確率を設定する。
例えば、いま、自動車が注目物体に設定されていることとする。認識部１２は、注目物体としての自動車を、パターン認識により認識した場合、画素アレイ部１１（の受光部）において、その注目物体としての自動車の光が受光された画素回路２１（を含む矩形）の領域を、ROIに設定し、ROIの検出確率を1に設定することができる。そして、認識部１２は、注目物体以外の物体の光が受光された画素回路２１の領域（ROI以外の他の領域）の検出確率を（0以上）1未満の値に設定することができる。
また、各物体には、その物体の検出を優先する程度を表す優先度を割り当てておくことができる。この場合、認識部１２は、パターン認識により認識された物体の光が受光された画素回路２１の領域に、その物体に割り当てられた優先度に応じた検出確率を設定することができる。例えば、優先度が高いほど、高い検出確率を設定することができる。
図５のＣでは、空及び雲の光が受光された画素回路２１の領域の検出確率が0に設定され、葉及び木の光が受光された画素回路２１の領域の検出確率が0.1に設定されている。さらに、道路の光が受光された画素回路２１の領域の検出確率が0.5に設定され、自動車の光が受光された画素回路２１の領域をROIとして、ROIの領域の検出確率が1に設定されている。
図５のＤは、図５のＣの検出確率が設定された場合に得られるイベント画像の例を示している。
検出確率モードでは、検出確率の設定後、その検出確率に従ってイベントデータが出力されるように、検出確率に応じて、画素回路２１が制御される。したがって、低い検出確率が設定された領域の画素回路２１からのイベントデータの出力が抑制されるので、イベントデータのデータ量が膨大になることに起因して、イベントデータの処理のレイテンシが長時間になることを抑制することができる。すなわち、レイテンシを短時間化することができる。
さらに、例えば、パターン認識により認識された各物体の領域に対して、その領域に注目物体が現れる可能性を優先度として、その優先度に応じて検出確率を設定することで、イベント画像を対象とするパターン認識において、新たな注目物体を検出（認識）をすることができずに、見落とすことを抑制することができる。
＜画素回路２１の第２の構成例＞
図６は、図１の画素回路２１の第２の構成例を示すブロック図である。
なお、図中、図２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図６において、画素回路２１は、画素３１ないしADC３３を有し、イベント検出部３２は、電流電圧変換部４１ないし出力部４３、及び、ORゲート１０１を有する。
したがって、図６の画素回路２１は、画素３１ないしADC３３を有し、イベント検出部３２が、電流電圧変換部４１ないし出力部４３を有する点で、図２の場合と共通する。
但し、図６の画素回路２１は、イベント検出部３２に、ORゲート１０１が新たに設けられている点で、図２の場合と相違する。
図６では、認識部１２は、検出確率に応じた画素回路２１の制御として、画素回路２１へのリセット信号の出力によるリセット制御を行う。
ORゲート１０１の入力端子には、出力部４３が出力するリセット信号と、認識部１２が出力するリセット信号が供給される。
ORゲート１０１は、出力部４３からのリセット信号と、認識部１２からのリセット信号との論理和を演算し、その演算結果を、リセット信号として、スイッチ７４に供給する。
したがって、図６では、スイッチ７４は、出力部４３が出力するリセット信号の他、認識部１２が出力するリセット信号にも応じてオン／オフする。そのため、コンデンサ７３のリセットは、出力部４３の他、認識部１２からも行うことができる。コンデンサ７３のリセットとは、図２で説明したように、スイッチ７４を一時的にオンした後にオフすることで、コンデンサ７３の電荷を放電し、電荷を新たに蓄電することができる状態にすることを意味する。
認識部１２は、検出確率に応じて、スイッチ７４をオン、又は、オフにし続けるリセット信号の出力をオン／オフすることで、コンデンサ７３のリセットを制御するリセット制御を行い、これにより、イベントデータが検出確率に従って出力されるようにする。
すなわち、図２で説明したように、スイッチ７４がオン又はオフにされたままにされると、コンデンサ７３のリセットが行われず、イベント検出部３２では、イベントとしての光量変化を検出することができなくなる。したがって、コンデンサ７３のリセットを、イベントが検出された場合（差信号Voutが閾値+Vth以上である場合、及び、差信号Voutが閾値-Vth以下である場合）に、常時行うのではなく、検出確率に応じて、頻度を減らすように、リセット制御を行うことで、イベントデータが検出確率に従って出力されるようにすることができる。
コンデンサ７３のリセットは、スイッチ７４を一時的にオンした後にオフすることで行われるため、スイッチ７４が一時的にオンした後にオフすることを、スイッチ７４のリセットともう。リセット制御は、コンデンサ７３のリセットの制御であるのと同時に、スイッチ７４のリセットの制御である。
図７は、検出確率の設定の例を示す図である。
認識部１２は、階調信号を画素値とする階調画像を対象として、パターン認識を行い、そのパターン認識の認識結果に応じて、画素アレイ部１１の１個以上の画素回路２１で構成される領域の単位で、検出確率を設定する。例えば、認識部１２は、注目物体の光が受光された画素回路２１の領域や、注目物体の光が受光されやすいと推定される画素回路２１の領域には、0ないし1の範囲のうちの、比較的大きい値の検出確率を設定し、注目物体の光が受光されないと推定される領域には、0又は0に近い値の検出確率を設定することができる。
図７では、パターン認識の認識結果に応じて、画素アレイ部１１の受光部が、上部の領域r0、中部の領域r1、及び、下部の領域r2の３つの領域に区分され、領域r0には検出確率0が、領域r1には検出確率0.1が、領域r2には検出確率0.5が、それぞれ設定されている。
図８は、画素回路２１の第２の構成例について行われる、検出確率に応じたリセット制御の例を説明する図である。
各画素回路２１では、画素３１において、図８に示すように、垂直走査期間に、１水平走査線ごとに、電荷が蓄積されて転送される。画素３１から転送される電荷に対応する光電流は、ADC３３でAD変換され、階調信号として出力される。認識部１２は、１フレーム単位の階調信号を画素値とする階調画像を対象にパターン認識を行い、パターン認識の認識結果に応じて、１個以上の画素回路２１で構成される領域の単位で、検出確率を設定する。ここでは、図７に示したように、３つの領域r0ないしr2について、領域r0には検出確率0が、領域r1には検出確率0.1が、領域r2には検出確率0.5が、それぞれ設定されたこととする。
認識部１２は、検出確率に応じて、スイッチ７４のリセットを制御するリセット制御を行う。
検出確率pが0に設定された領域r0の画素回路２１については、スイッチ７４がリセットされないように、リセット制御Φ0が行われる。検出確率pが0.1に設定された領域r1の画素回路２１については、通常モードの場合の0.1の割合で、スイッチ７４がリセットされるように、リセット制御Φ1が行われる。検出確率pが0.5に設定された領域r2の画素回路２１については、通常モードの場合の0.5の割合で、スイッチ７４がリセットされるように、リセット制御Φ2が行われる。
ここで、所定の単位時間をTで表すこととすると、通常モードの場合のp(0<=p<=1)の割合でのスイッチ７４のリセットは、単位時間Tのうちのp×Tの時間だけリセットを有効にすることで行うことができる。リセットを有効にするタイミングは、周期的に選択することができる。又は、所定のクロックのタイミングで、乱数を発生し、乱数に応じて、pの確率でリセットを有効にするタイミングの選択を行うことで、単位時間Tのうちのp×Tの時間だけ、リセットを、確率的に有効にすることができる。
認識部１２において、検出確率に応じたリセット制御が開始された後、認識部１３では、画素回路２１が出力するイベントデータに対応する値を画素値とするイベント画像を対象に、パターン認識が行われ、そのパターン認識の認識結果に応じて、注目物体の追跡（注目物体への追従）が行われる。
＜画素回路２１の第３の構成例＞
図９は、図１の画素回路２１の第３の構成例を示すブロック図である。
なお、図中、図２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図９において、画素回路２１は、画素３１ないしADC３３を有し、イベント検出部３２は、電流電圧変換部４１ないし出力部４３を有する。
したがって、図９の画素回路２１は、図２の場合と同様に構成される。
但し、図９の画素回路２１については、認識部１２が、検出確率に応じた画素回路２１の制御として、出力部４３でイベントの検出に用いられる閾値を制御する閾値制御を行う。
出力部４３は、認識部１２が制御する閾値を、差信号Voutと比較する閾値Vthとして用いて、差信号Voutと閾値Vthとを比較し、差信号Voutが閾値+Vth以上である場合、又は、閾値-Vth以下である場合、+1又は-1のイベントデータをそれぞれ出力する。
図９では、認識部１２は、検出確率に応じて、以上のような閾値制御を行うことによって、イベントの検出、ひいては、イベントデータの出力が、検出確率に従って行われるようにする。
図１０は、画素回路２１の第３の構成例について行われる、検出確率に応じた閾値制御の例を説明する図である。
各画素回路２１では、画素３１において、図１０に示すように、垂直走査期間に、１水平走査線ごとに、電荷が蓄積されて転送される。画素３１から転送される電荷に対応する光電流は、ADC３３でAD変換され、階調信号として出力される。認識部１２は、１フレーム単位の階調信号を画素値とする階調画像を対象にパターン認識を行い、パターン認識の認識結果に応じて、１個以上の画素回路２１で構成される領域の単位で、検出確率を設定する。ここでは、図７に示したように、３つの領域r0ないしr2について、領域r0には検出確率0が、領域r1には検出確率0.1が、領域r2には検出確率0.5が、それぞれ設定されたこととする。
認識部１２は、検出確率に応じて、閾値を制御する閾値制御を行う。
検出確率pが0に設定された領域r0の画素回路２１については、差信号Voutが閾値+Vth以上及び閾値-Vth以下とならないように、閾値制御が行われる。検出確率pが0.1に設定された領域r1の画素回路２１については、通常モードの場合の0.1の割合で、差信号Voutが閾値+Vth以上及び閾値-Vth以下となるように、閾値制御が行われる。検出確率pが0.5に設定された領域r2の画素回路２１については、通常モードの場合の0.5の割合で、差信号Voutが閾値+Vth以上及び閾値-Vth以下となるように、閾値制御が行われる。
閾値制御では、検出確率と、その検出確率に従ってイベントデータが出力される閾値との関係を、例えば、シミュレーションによりあらかじめ求めておき、その関係に従って、閾値を、検出確率に従ってイベントデータが出力される閾値に制御することができる。
検出確率pが0に設定された領域r0の画素回路２１については、閾値+Vthが、差信号Voutの飽和出力レベルより大になるように、閾値制御を行うことができる。閾値+Vthが、差信号Voutの飽和出力レベルより大になるように、閾値制御が行われた場合、差信号Voutが（基準値Ref.に対して）閾値+Vth以上になること、及び、閾値-Vth以下になることはないので、領域r0の画素回路２１が出力するイベントデータRO0（の数）は、ゼロになる。
検出確率pが0.1に設定された領域r1の画素回路２１については、閾値+Vthが、差信号Voutの飽和出力レベル以下の所定値になるように、閾値制御を行うことができる。これにより、領域r1の画素回路２１が出力するイベントデータRO1を検出確率0.1に従わせることができる。
検出確率pが0.5に設定された領域r2の画素回路２１については、閾値+Vthが、領域r1の画素回路２１に対する閾値よりも小さい所定値になるように、閾値制御を行うことができる。これにより、領域r2の画素回路２１が出力するイベントデータRO2を検出確率0.5に従わせることができる。
認識部１２において、検出確率に応じた閾値制御が開始された後、認識部１３では、イベントデータに対応する値を画素値とするイベント画像を対象に、パターン認識が行われ、そのパターン認識の認識結果に応じて、注目物体の追跡が行われる。
＜画素回路２１の第４の構成例＞
図１１は、図１の画素回路２１の第４の構成例を示すブロック図である。
なお、図中、図２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図１１において、画素回路２１は、画素３１ないしADC３３を有し、イベント検出部３２は、電流電圧変換部４１ないし出力部４３、及び、FET１１１を有する。
したがって、図１１の画素回路２１は、画素３１ないしADC３３を有し、イベント検出部３２が、電流電圧変換部４１ないし出力部４３を有する点で、図２の場合と共通する。
但し、図１１の画素回路２１は、電流電圧変換部４１と減算部４２との間に、FET１１１が新たに設けられている点で、図２の場合と相違する。
図１１では、認識部１２は、検出確率に応じた画素回路２１の制御として、電流電圧変換部４１（のFET６２と６３との接続点）から減算部４２（のコンデンサ７１）に流れる電流を制御する電流制御を行う。
FET１１１は、PMOSのFETであり、認識部１２の電流制御としてのゲート電圧の制御に応じて、電流電圧変換部４１から減算部４２に流れる電流を制御する。例えば、FET１１１は、認識部１２の電流制御に従って、オン／オフする。FET１１１がオン／オフすることにより、電流電圧変換部４１から減算部４２への電流の流れがオン／オフする。
認識部１２は、検出確率に応じて、FET１１１をオン／オフにすることで、電流電圧変換部４１から減算部４２への電流の流れを制御する電流制御を行い、これにより、イベントデータが検出確率に従って出力されるようにする。
なお、認識部１２は、電流電圧変換部４１から減算部４２への電流の流れをオン／オフする他、FET１１１のゲート電圧を制御することで、電流電圧変換部４１から減算部４２に流れる電流の量を調整し、ひいては、差信号Voutが閾値+Vth以上になるまでの時間、及び、閾値-Vth以下になるまでの時間を調整する（遅らせる）ことができる。
以上のように、電流電圧変換部４１から減算部４２への電流の流れをオン／オフする他、差信号Voutが閾値+Vth以上になるまでの時間、及び、閾値-Vth以下になるまでの時間を調整することでも、イベントデータが検出確率に従って出力されるようにすることができる。
図１２は、画素回路２１の第４の構成例について行われる、検出確率に応じた電流制御の例を説明する図である。
各画素回路２１では、画素３１において、図１２に示すように、垂直走査期間に、１水平走査線ごとに、電荷が蓄積されて転送される。画素３１から転送される電荷に対応する光電流は、ADC３３でAD変換され、階調信号として出力される。認識部１２は、１フレーム単位の階調信号を画素値とする階調画像を対象にパターン認識を行い、パターン認識の認識結果に応じて、１個以上の画素回路２１で構成される領域の単位で、検出確率を設定する。ここでは、図７に示したように、３つの領域r0ないしr2について、領域r0には検出確率0が、領域r1には検出確率0.1が、領域r2には検出確率0.5が、それぞれ設定されたこととする。
認識部１２は、検出確率に応じて、FET１１１をオン／オフすることで、電流電圧変換部４１から減算部４２への電流（以下、検出電流ともいう）の流れを制御する電流制御を行う。
検出確率pが0に設定された領域r0の画素回路２１については、検出電流が流れないように、電流制御Tr0が行われる。検出確率pが0.1に設定された領域r1の画素回路２１については、通常モードの場合（検出電流を常時流す場合）の0.1の（時間の）割合で、検出電流が流れるように、電流制御Tr1が行われる。検出確率pが0.5に設定された領域r2の画素回路２１については、通常モードの場合の0.5の割合で、検出電流が流れるように、電流制御Tr2が行われる。
ここで、所定の単位時間をTで表すこととすると、通常モードの場合のp(0<=p<=1)の割合で検出電流を流すことは、単位時間Tのうちのp×Ｔの時間だけ、FET１１１をオンにすることで行うことができる。FET１１１をオンにするタイミングは、周期的に選択することができる。又は、所定のクロックのタイミングで、乱数を発生し、乱数に応じて、pの確率でFET１１１をオンにすることで、確率的に、通常モードの場合のpの割合で検出電流を流すことができる。
認識部１２において、検出確率に応じた電流制御が開始された後、認識部１３では、イベントデータに対応する値を画素値とするイベント画像を対象に、パターン認識が行われ、そのパターン認識の認識結果に応じて、注目物体の追跡が行われる。
＜イベントデータの出力の間引き＞
図１３は、イベントデータの出力の空間的な間引きの例を示す図である。
検出確率に従ってイベントデータを出力することで、イベントデータのデータ量を抑制する検出確率モードの処理は、検出確率に応じて、画素回路２１のイベントデータの出力を間引くことにより行うことができる。
ここで、イベントデータの出力を1/Nに間引くとは、N個のイベントのうちの1個のイベントに対して、イベントデータを出力し、N-1個のイベントに対して、イベントデータを出力しないことを意味する。イベントデータを出力しないことは、上述したリセット制御や、閾値制御、電流制御によって行うことができる。さらに、イベントデータを出力しないことは、画素回路２１を動作させないこと（例えば、電源を供給しないこと）や、画素回路２１は動作させるが、出力部４３からのイベントデータの出力を制限することによって行うことができる。
イベントデータの出力の間引きは、空間的又は時間的に行うことができる。
図１３は、イベントデータの出力の空間的な間引きの例を示している。
いま、認識部１２において、例えば、図７に示したように、３つの領域r0ないしr2について、領域r0には検出確率0が、領域r1には検出確率0.1が、領域r2には検出確率0.5が、それぞれ設定されたこととする。
認識部１２は、検出確率pに応じて、イベントデータの出力を、空間的に1/pに間引くように、画素回路２１を制御することができる。
検出確率pが0に設定された領域r0の画素回路２１については、イベントデータを出力する画素回路２１の数が0になるように（全間引きされるように）、画素回路２１が制御される。検出確率pが0.1に設定された領域r1の画素回路２１については、イベントデータを出力する画素回路２１の数が1/10に間引きされるように、画素回路２１が制御される。検出確率pが0.5に設定された領域r2の画素回路２１については、イベントデータを出力する画素回路２１の数が1/2に間引きされるように、画素回路２１が制御される。
図１３では、白抜きで示す部分が、イベントデータを出力する画素回路２１を表し、黒塗りで示す部分が、イベントデータを出力しない画素回路２１を表す。後述する図１４でも同様である。
図１３では、水平走査線の単位で、イベントデータの出力が間引かれるように、画素回路２１が制御されている。
図１４は、イベントデータの出力の空間的な間引きの他の例を示す図である。
図１４では、イベントデータの出力を、図１３と同様に間引くように、画素回路２１が制御されている。
但し、図１４では、検出確率pが0.1に設定された領域r1の画素回路２１については、イベントデータの出力が、水平方向に、所定の数の画素回路２１の単位で間引かれるように、画素回路２１が制御されている。
イベントデータの出力の空間的な間引きは、イベントデータを出力する画素回路２１を、空間的に周期的に選択することにより行うこともできるし、ランダムに選択することにより行うこともできる。
また、各画素回路２１について、乱数を発生し、乱数に応じて、pの確率で、イベントデータを出力する画素回路２１を選択することにより、確率的に、検出確率pに従って、画素回路２１のイベントデータの出力を、空間的に間引くことができる。
図１５は、イベントデータの出力の時間的な間引きの例を示す図である。
いま、認識部１２において、例えば、図７に示したように、３つの領域r0ないしr2について、領域r0には検出確率0が、領域r1には検出確率0.1が、領域r2には検出確率0.5が、それぞれ設定されたこととする。
認識部１２は、検出確率pに応じて、イベントデータの出力を、時間的に1/pに間引くように、画素回路２１を制御することができる。
検出確率pが0に設定された領域r0の画素回路２１が出力するイベントデータRO0については、イベントに対して、イベントデータの出力回数が0になるように（全間引きされるように）、画素回路２１が制御される。
検出確率pが0.1に設定された領域r1の画素回路２１が出力するイベントデータRO1については、イベントに対して、イベントデータの出力回数が1/10に間引きされるように、画素回路２１が制御される。例えば、差信号Voutが閾値+Vth以上になること、又は、閾値-Vth以下になることが10回あった場合に、その10回のうちの1回だけ、イベントデータが出力されるように、画素回路２１が制御される。
検出確率pが0.5に設定された領域r2の画素回路２１が出力するイベントデータRO2については、イベントに対して、イベントデータの出力回数が1/2に間引きされるように、画素回路２１が制御される。例えば、差信号Voutが閾値+Vth以上になること、又は、閾値-Vth以下になることが2回あった場合に、その2回のうちの1回だけ、イベントデータが出力されるように、画素回路２１が制御される。
イベントデータの出力の時間的な間引きを行う場合おいて、イベントに対して、イベントデータを出力するタイミングは、周期的に選択することもできるし、ランダムに選択することもできる。
また、イベントに対して、乱数を発生し、乱数に応じて、pの確率で、各イベントについて、イベントデータを出力することを選択することにより、確率的に、検出確率pに従って、画素回路２１のイベントデータの出力を、時間的に間引くことができる。
＜移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図１６は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１６に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１６の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図１７は、撮像部１２０３１の設置位置の例を示す図である。
図１７では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図１７には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、図１のDVSは、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、レイテンシを短時間化するとともに、物体の見落としを抑制することができ、その結果、適切な運転支援を行うことができる。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
なお、本技術は、以下の構成をとることができる。
＜１＞
光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントを検出し、前記イベントの発生を表すイベントデータを出力する複数の画素回路と、
パターン認識の認識結果に応じて、前記イベントを検出する単位時間当たりの検出確率を、１個以上の画素回路の領域単位で算出し、前記検出確率に従って前記イベントデータが出力されるように、前記画素回路を制御する検出確率設定部と
を備えるイベント信号検出センサ。
＜２＞
前記画素回路は、第１の容量、及び、スイッチドキャパシタを構成する第２の容量を含み、前記画素の光電流に対応する電圧の異なるタイミングの電圧どうしの差に対応する差信号を求める減算部を有し、
前記検出確率設定部は、前記検出確率に従って前記イベントデータが出力されるように、前記第２の容量のリセットを制御するリセット制御を行う
＜１＞に記載のイベント信号検出センサ。
＜３＞
前記検出確率設定部は、前記検出確率に従って前記イベントデータが出力されるように、前記イベントを検出するときに用いられる閾値を制御する閾値制御を行う
＜１＞に記載のイベント信号検出センサ。
＜４＞
前記画素回路は、
前記画素の光電流を、前記光電流に対応する電圧に変換する電流電圧変換部と、
前記電圧の異なるタイミングの電圧どうしの差に対応する差信号を求める減算部と
を有し、
前記検出確率設定部は、前記検出確率に従って前記イベントデータが出力されるように、前記電流電圧変換部から前記減算部に流れる電流を制御する電流制御を行う
＜１＞に記載のイベント信号検出センサ。
＜５＞
前記画素回路は、前記電流電圧変換部から前記減算部に流れる電流を制御するトランジスタを有する
＜４＞に記載のイベント信号検出センサ。
＜６＞
前記検出確率設定部は、前記検出確率に従って前記イベントデータが出力されるように、前記画素回路のイベントデータの出力を、空間的に間引く
＜１＞に記載のイベント信号検出センサ。
＜７＞
前記検出確率設定部は、前記検出確率に従って前記イベントデータが出力されるように、前記画素回路のイベントデータの出力を、時間的に間引く
＜１＞に記載のイベント信号検出センサ。
＜８＞
前記検出確率設定部は、前記パターン認識の認識結果に応じて、ROI(Region OF Interest)を設定し、ROIに1の検出確率を算出し、他の領域に1未満の検出確率を算出する
＜１＞ないし＜７＞のいずれかに記載のイベント信号検出センサ。
＜９＞
前記検出確率設定部は、前記パターン認識により認識された物体の光が受光された前記画素回路の領域に、その物体に割り当てられた優先度に応じた検出確率を算出する
＜１＞ないし＜８＞のいずれかに記載のイベント信号検出センサ。
＜１０＞
前記検出確率設定部は、乱数に応じて、前記検出確率に従って前記イベントデータが出力されるように、前記画素回路を制御する
＜１＞に記載のイベント信号検出センサ。
＜１１＞
光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントを検出し、前記イベントの発生を表すイベントデータを出力する複数の画素回路を備えるイベント信号検出センサの前記画素回路を制御することを含み、
パターン認識の認識結果に応じて、前記イベントを検出する単位時間当たりの検出確率を、１個以上の画素回路の領域単位で算出し、前記検出確率に従って前記イベントデータが出力されるように、前記画素回路を制御する
制御方法。
１１ 画素アレイ部， １２，１３ 認識部， ２１ 画素回路， ３１ 画素， ３２ イベント検出部， ３３ ADC， ４１ 電流電圧変換部， ４２ 減算部， ４３ 出力部， ５１ PD， ６１ないし６３ FET， ７１ コンデンサ， ７２ オペアンプ， ７３ コンデンサ， ７４ スイッチ， １０１ ORゲート， １１１ FET

Claims (11)

  1. 光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントを検出し、前記イベントの発生を表すイベントデータを出力する複数の画素回路と、
    パターン認識の認識結果に応じて、前記イベントを検出する単位時間当たりの検出確率を、１個以上の画素回路の領域単位で算出し、前記検出確率に従って前記イベントデータが出力されるように、前記画素回路を制御する検出確率設定部と
    を備えるイベント信号検出センサ。
  2. 前記画素回路は、第１の容量、及び、スイッチドキャパシタを構成する第２の容量を含み、前記画素の光電流に対応する電圧の異なるタイミングの電圧どうしの差に対応する差信号を求める減算部を有し、
    前記検出確率設定部は、前記検出確率に従って前記イベントデータが出力されるように、前記第２の容量のリセットを制御するリセット制御を行う
    請求項１に記載のイベント信号検出センサ。
  3. 前記検出確率設定部は、前記検出確率に従って前記イベントデータが出力されるように、前記イベントを検出するときに用いられる閾値を制御する閾値制御を行う
    請求項１に記載のイベント信号検出センサ。
  4. 前記画素回路は、
    前記画素の光電流を、前記光電流に対応する電圧に変換する電流電圧変換部と、
    前記電圧の異なるタイミングの電圧どうしの差に対応する差信号を求める減算部と
    を有し、
    前記検出確率設定部は、前記検出確率に従って前記イベントデータが出力されるように、前記電流電圧変換部から前記減算部に流れる電流を制御する電流制御を行う
    請求項１に記載のイベント信号検出センサ。
  5. 前記画素回路は、前記電流電圧変換部から前記減算部に流れる電流を制御するトランジスタを有する
    請求項４に記載のイベント信号検出センサ。
  6. 前記検出確率設定部は、前記検出確率に従って前記イベントデータが出力されるように、前記画素回路のイベントデータの出力を、空間的に間引く
    請求項１に記載のイベント信号検出センサ。
  7. 前記検出確率設定部は、前記検出確率に従って前記イベントデータが出力されるように、前記画素回路のイベントデータの出力を、時間的に間引く
    請求項１に記載のイベント信号検出センサ。
  8. 前記検出確率設定部は、前記パターン認識の認識結果に応じて、ROI(Region OF Interest)を設定し、ROIに1の検出確率を算出し、他の領域に1未満の検出確率を算出する
    請求項１に記載のイベント信号検出センサ。
  9. 前記検出確率設定部は、前記パターン認識により認識された物体の光が受光された前記画素回路の領域に、その物体に割り当てられた優先度に応じた検出確率を算出する
    請求項１に記載のイベント信号検出センサ。
  10. 前記検出確率設定部は、乱数に応じて、前記検出確率に従って前記イベントデータが出力されるように、前記画素回路を制御する
    請求項１に記載のイベント信号検出センサ。
  11. 光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントを検出し、前記イベントの発生を表すイベントデータを出力する複数の画素回路を備えるイベント信号検出センサの前記画素回路を制御することを含み、
    パターン認識の認識結果に応じて、前記イベントを検出する単位時間当たりの検出確率を、１個以上の画素回路の領域単位で算出し、前記検出確率に従って前記イベントデータが出力されるように、前記画素回路を制御する
    制御方法。
JP2019029414A 2019-02-21 2019-02-21 イベント信号検出センサ及び制御方法 Pending JP2020136958A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019029414A JP2020136958A (ja) 2019-02-21 2019-02-21 イベント信号検出センサ及び制御方法
CN202080011686.8A CN113396579B (zh) 2019-02-21 2020-02-07 事件信号检测传感器和控制方法
PCT/JP2020/004857 WO2020170861A1 (ja) 2019-02-21 2020-02-07 イベント信号検出センサ及び制御方法
US17/310,570 US20220070392A1 (en) 2019-02-21 2020-02-07 Event signal detection sensor and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019029414A JP2020136958A (ja) 2019-02-21 2019-02-21 イベント信号検出センサ及び制御方法

Publications (1)

Publication Number Publication Date
JP2020136958A true JP2020136958A (ja) 2020-08-31

Family

ID=72144890

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019029414A Pending JP2020136958A (ja) 2019-02-21 2019-02-21 イベント信号検出センサ及び制御方法

Country Status (4)

Country Link
US (1) US20220070392A1 (ja)
JP (1) JP2020136958A (ja)
CN (1) CN113396579B (ja)
WO (1) WO2020170861A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113747090A (zh) * 2021-09-01 2021-12-03 豪威芯仑传感器(上海)有限公司 一种像素采集电路及图像传感器
US20220172486A1 (en) * 2019-03-27 2022-06-02 Sony Group Corporation Object detection device, object detection system, and object detection method
DE112021004793T5 (de) 2020-09-07 2023-07-06 Fanuc Corporation Vorrichtung für dreidimensionale Messungen
WO2023176127A1 (ja) * 2022-03-14 2023-09-21 株式会社デンソーウェーブ 三次元計測装置
WO2024106132A1 (ja) * 2022-11-14 2024-05-23 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および情報処理システム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7191238B2 (ja) * 2019-08-28 2022-12-16 株式会社ソニー・インタラクティブエンタテインメント センサシステム、画像処理装置、画像処理方法およびプログラム
KR20230148154A (ko) * 2021-02-26 2023-10-24 소니 세미컨덕터 솔루션즈 가부시키가이샤 정보 처리 장치
CN117044221A (zh) * 2021-03-12 2023-11-10 华为技术有限公司 基于事件的视觉传感器和事件过滤的方法
US11563909B1 (en) * 2021-08-13 2023-01-24 Omnivision Technologies, Inc. Event filtering in an event sensing system
WO2023093986A1 (en) * 2021-11-25 2023-06-01 Telefonaktiebolaget Lm Ericsson (Publ) A monolithic image sensor, a camera module, an electronic device and a method for operating a camera module
CN114222034B (zh) * 2022-01-08 2022-08-30 西安电子科技大学 实现事件与灰度值同步输出的动态视觉传感器像素电路
WO2024008305A1 (en) * 2022-07-08 2024-01-11 Telefonaktiebolaget Lm Ericsson (Publ) An image sensor system, a camera module, an electronic device and a method for operating a camera module for detecting events using infrared

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060238616A1 (en) * 2005-03-31 2006-10-26 Honeywell International Inc. Video image processing appliance manager
AT504582B1 (de) * 2006-11-23 2008-12-15 Arc Austrian Res Centers Gmbh Verfahren zur generierung eines bildes in elektronischer form, bildelement für einen bildsensor zur generierung eines bildes sowie bildsensor
WO2011096251A1 (ja) * 2010-02-02 2011-08-11 コニカミノルタホールディングス株式会社 ステレオカメラ
CN103310006B (zh) * 2013-06-28 2016-06-29 电子科技大学 一种车辆辅助驾驶系统中的感兴趣区域提取方法
KR102347249B1 (ko) * 2014-10-21 2022-01-04 삼성전자주식회사 외부 물체의 움직임과 연관된 이벤트에 응답하여 화면을 디스플레이하는 장치 및 방법
KR102421141B1 (ko) * 2015-10-30 2022-07-14 삼성전자주식회사 이벤트 신호 및 영상의 저장 방법 및 저장 장치, 저장 장치로 이벤트 신호를 전송하는 비전 센서의 동작 방법
CN108574793B (zh) * 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
US10516841B2 (en) * 2017-03-08 2019-12-24 Samsung Electronics Co., Ltd. Pixel, pixel driving circuit, and vision sensor including the same
US10638124B2 (en) * 2017-04-10 2020-04-28 Intel Corporation Using dynamic vision sensors for motion detection in head mounted displays
US10812711B2 (en) * 2018-05-18 2020-10-20 Samsung Electronics Co., Ltd. Semantic mapping for low-power augmented reality using dynamic vision sensor
US11416759B2 (en) * 2018-05-24 2022-08-16 Samsung Electronics Co., Ltd. Event-based sensor that filters for flicker

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220172486A1 (en) * 2019-03-27 2022-06-02 Sony Group Corporation Object detection device, object detection system, and object detection method
US11823466B2 (en) * 2019-03-27 2023-11-21 Sony Group Corporation Object detection device, object detection system, and object detection method
DE112021004793T5 (de) 2020-09-07 2023-07-06 Fanuc Corporation Vorrichtung für dreidimensionale Messungen
CN113747090A (zh) * 2021-09-01 2021-12-03 豪威芯仑传感器(上海)有限公司 一种像素采集电路及图像传感器
WO2023176127A1 (ja) * 2022-03-14 2023-09-21 株式会社デンソーウェーブ 三次元計測装置
WO2024106132A1 (ja) * 2022-11-14 2024-05-23 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および情報処理システム

Also Published As

Publication number Publication date
CN113396579A (zh) 2021-09-14
WO2020170861A1 (ja) 2020-08-27
CN113396579B (zh) 2024-04-26
US20220070392A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
WO2020170861A1 (ja) イベント信号検出センサ及び制御方法
KR102606087B1 (ko) 고체 촬상 소자, 촬상 장치, 및 고체 촬상 소자의 제어 방법
CN112640428B (zh) 固态成像装置、信号处理芯片和电子设备
JP2020072317A (ja) センサ及び制御方法
US11770625B2 (en) Data processing device and data processing method
JP7044107B2 (ja) 光センサ、及び、電子機器
US11297268B2 (en) Solid-state imaging element, imaging apparatus, and method of controlling solid-state imaging element
WO2020195769A1 (ja) 物体検出装置、物体検出システム及び物体検出方法
WO2021085128A1 (ja) 測距装置、測定方法、および、測距システム
WO2020129657A1 (ja) センサ及び制御方法
WO2021010174A1 (ja) 受光装置、および、受光装置の駆動方法
WO2021131831A1 (ja) 固体撮像素子、および、撮像装置
WO2021095560A1 (ja) イベント検出装置
US20190191119A1 (en) Imaging device and control method
WO2022137993A1 (ja) コンパレータ及び固体撮像素子
WO2024135094A1 (ja) 光検出装置、および、光検出装置の制御方法
WO2021100593A1 (ja) 測距装置及び測距方法
US11711634B2 (en) Electronic circuit, solid-state image sensor, and method of controlling electronic circuit
WO2022064867A1 (ja) 固体撮像素子、および、撮像装置
US20240205569A1 (en) Imaging device, electronic device, and light detecting method
WO2022209368A1 (ja) 固体撮像素子及び固体撮像装置
WO2023181662A1 (ja) 測距装置および測距方法