JP2020162000A - データ処理装置、データ処理方法、及び、プログラム - Google Patents

データ処理装置、データ処理方法、及び、プログラム Download PDF

Info

Publication number
JP2020162000A
JP2020162000A JP2019059818A JP2019059818A JP2020162000A JP 2020162000 A JP2020162000 A JP 2020162000A JP 2019059818 A JP2019059818 A JP 2019059818A JP 2019059818 A JP2019059818 A JP 2019059818A JP 2020162000 A JP2020162000 A JP 2020162000A
Authority
JP
Japan
Prior art keywords
frame
data
vehicle
event
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019059818A
Other languages
English (en)
Inventor
彩夏 平田
Ayaka Hirata
彩夏 平田
慶 中川
Kei Nakagawa
慶 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2019059818A priority Critical patent/JP2020162000A/ja
Priority to PCT/JP2020/011054 priority patent/WO2020195934A1/ja
Priority to US17/440,347 priority patent/US11770625B2/en
Publication of JP2020162000A publication Critical patent/JP2020162000A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Abstract

【課題】消費電力を抑制する。【解決手段】車両情報取得部は、車両で取得可能な車両情報を取得し、制御部は、車両情報に応じて、フレーム生成開始時からフレーム生成終了時までの蓄積時間で発生した、光電変換を行って電気信号を生成する画素の電気信号の変化であるイベントの発生を表すイベントデータに基づいて生成されるフレームデータのフレームレートを制御する。データ処理部は、制御部で制御されるフレームレートのフレームデータを生成する。本技術は、本技術は、例えば、DVS(Dynamic Vision Sensor)が出力するイベントデータから、フレームデータを生成する場合に適用することができる。【選択図】図１

Description

本技術は、データ処理装置、データ処理方法、及び、プログラムに関し、特に、例えば、消費電力を抑制することができるようにするデータ処理装置、データ処理方法、及び、プログラムに関する。
イベントベース視覚センサによって提供された信号を統合して、アクティブマップを生成し、そのアクティブマップを分析して、車両が走行しようとする路面のモデルを得る技術が提案されている（例えば、特許文献１を参照）。
ここで、垂直同期信号に同期して撮像を行い、その垂直同期信号の周期で１フレーム（画面）の画像データであるフレームデータを出力するイメージセンサは、同期型のイメージセンサということができる。これに対して、イベントベース視覚センサは、イベントが発生すると、信号を出力するため、非同期型のイメージセンサということができる。非同期型のイメージセンサは、例えば、DVS(Dynamic Vision Sensor)と呼ばれる。
特許第5571125号公報
ところで、例えば、物体認識等の画像処理は、フレームデータを対象として行われる。したがって、DVSが出力する信号について、画像処理を行うには、DVSが出力する信号から、フレームデータを生成する必要がある。
例えば、運転支援等のために、DVSを車両に搭載する場合、高フレームレートのフレームデータが要求されることがある。しかしながら、高フレームレートのフレームデータを、常時生成するのでは、消費電力が大になる。
本技術は、このような状況に鑑みてなされたものであり、消費電力を抑制することができるようにするものである。
本技術のデータ処理装置、及び、プログラムは、車両で取得可能な車両情報を取得する車両情報取得部と、前記車両情報に応じて、フレーム生成開始時からフレーム生成終了時までの蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントの発生を表すイベントデータに基づいて生成されるフレームデータのフレームレートを制御する制御部と、前記フレームレートの前記フレームデータを生成するデータ処理部とを備えるデータ処理装置、又は、そのようなデータ処理装置としてコンピュータを機能させるためのプログラムである。
本技術のデータ処理方法は、車両で取得可能な車両情報を取得することと、前記車両情報に応じて、フレーム生成開始時からフレーム生成終了時までの蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントの発生を表すイベントデータに基づいて生成されるフレームデータのフレームレートを制御することと、前記フレームレートの前記フレームデータを生成することとを含むデータ処理方法である。
本技術のデータ処理装置、データ処理方法、及び、プログラムにおいては、車両で取得可能な車両情報が取得され、前記車両情報に応じて、フレーム生成開始時からフレーム生成終了時までの蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントの発生を表すイベントデータに基づいて生成されるフレームデータのフレームレートが制御される。そして、前記フレームレートの前記フレームデータが生成される。
なお、データ処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、頒布することができる。
本技術を適用したセンサモジュールの一実施の形態の構成例を示すブロック図である。 DVS１３の構成例を示すブロック図である。 画素アレイ部３１の構成例を示すブロック図である。 画素ブロック４１の構成例を示す回路図である。 イベント検出部５２の構成例を示すブロック図である。 電流電圧変換部８１の構成例を示す回路図である。 減算部８３及び量子化部８４の構成例を示す回路図である。 イベントデータに応じて、フレームデータを生成する方法の例を説明する図である。 データ処理部１４の構成例を示すブロック図である。 センサモジュールの処理の例を説明するフローチャートである。 ステップＳ１４のフレーム間隔制御の第１の例を説明するフローチャートである。 ステップＳ１４のフレーム間隔制御の第２の例を説明するフローチャートである。 ステップＳ１４のフレーム間隔制御の第３の例を説明するフローチャートである。 フレーム間隔制御の第３の例の対象とする物体を決定する決定方法の例を説明する図である。 ステップＳ１４のフレーム間隔制御の第４の例を説明するフローチャートである。 ステップＳ１３３の処理の例の詳細を説明するフローチャートである。 車両エリアの特定の例を示す図である。 ステップＳ１４のフレーム間隔制御の第５の例を説明するフローチャートである。 ステップＳ１４のフレーム間隔制御の第６の例を説明するフローチャートである。 ステップＳ１４のフレーム間隔制御の第７の例を説明するフローチャートである。 ステップＳ１４のフレーム間隔制御の第８の例を説明するフローチャートである。 フレームデータの、物体エリアへの分割の例を示す図である。 見かけ上の物体エリアごとのフレーム間隔の制御を説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
＜本技術を適用したセンサモジュール＞
図１は、本技術を適用したセンサモジュールの一実施の形態の構成例を示すブロック図である。
図１において、センサモジュールは、図示せぬ車両に搭載され、光電変換を行って電気信号を生成する画素の電気信号の変化であるイベントの発生を表すイベントデータに応じて、フレーム形式の画像データであるフレームデータを生成するデータ処理装置として機能する。
ここで、センサモジュールが搭載される車両を、以下、自車両ともいう。
センサモジュールは、車両情報取得部１１、制御部１２、DVS１３、及び、データ処理部１４を有する。
車両情報取得部１１は、車両情報を取得し、制御部１２に供給する。車両情報とは、自車両で取得可能な情報を意味し、例えば、自車両に関する情報や、自車両の周囲（環境）の情報を含む。自車両に関する情報としては、自車両の車速や、ハンドルの操作に関するハンドル情報（ハンドルの回転角度や角加速度等）がある。自車両の周囲の情報としては、自車両の周囲に存在する物体の、自車両に対する相対速度等がある。
制御部１２は、DVS１３やデータ処理部１４を制御する。
制御部１２は、例えば、車両情報取得部１１からの車両情報に応じて、データ処理部１４で生成されるフレームデータのフレームレート、すなわち、連続して生成されるフレームデータどうしの間隔を表すフレーム間隔等を制御する。フレーム間隔は、フレームレートの逆数の時間で表される。
ここで、フレームデータは、フレーム生成開始時からフレーム生成終了時までの蓄積時間で発生した、光電変換を行って電気信号を生成する画素の電気信号の変化であるイベントの発生を表すイベントデータに基づいて生成される。フレームデータのフレーム間隔は、第１のフレームデータの生成開始時から次の第２のフレームデータの生成開始時までの間隔や、第１のフレームデータの生成終了時から第２のフレームデータの生成終了時までの間隔等に等しい間隔になる。フレーム間隔は、開始間隔やフレーム幅により制御することができる。開始間隔は、１フレームのフレームデータの生成を開始するタイミングの間隔、すなわち、第１のフレームデータの生成開始時から次の第２のフレームデータの生成開始時までの間隔を表す。フレーム幅は、１フレームのフレームデータのフレーム生成開始時からフレーム生成終了時までの時間を表す。
なお、制御部１２は、例えば、DVS１３から供給されるイベントデータから特定される単位時間当たりのイベント数（イベントの数）や、データ処理部１４から供給される物体認識の認識結果（物体認識結果）等にも応じて、フレーム間隔等を制御することができる。
DVS１３は、入射光の光電変換を行って電気信号を生成する画素を有し、画素において、入射光の光電変換を行って電気信号を生成する撮像を行う。さらに、DVS１３は、画素の電気信号の変化であるイベントの発生を表すイベントデータを生成し、制御部１２及びデータ処理部１４に供給する。その他、DVS１３は、画素の電気信号から、画像の画素値となる画素信号を生成し、データ処理部１４に供給することができる。なお、センサモジュールは、例えば、DVS１３が自車両の前方を撮像することができるように、自車両に取り付けられている。
ここで、垂直同期信号に同期して撮像を行い、その垂直同期信号の周期で１フレーム（画面）の画像データであるフレームデータを出力するイメージセンサを、同期型のイメージセンサと呼ぶこととする。DVS１３は、イベントデータの生成（出力）を、垂直同期信号に同期して行うわけではないので、同期型のイメージセンサに対して、非同期型（のイメージセンサ）である、ということができる。
なお、DVS１３では、上述のとおり、イベントデータの他、同期型のイメージセンサと同様に、垂直同期信号の周期でフレームデータを生成して出力することができる。さらに、DVS１３では、イベントが発生した画素の電気信号を、フレームデータの画素の画素値となる画素信号として、イベントデータととともに出力することができる。
データ処理部１４は、DVS１３からのイベントデータに応じて、フレームデータを生成するデータ処理や、DVS１３からの画素信号で構成されるフレームデータ、又は、DVS１３からのイベントデータに応じて生成されたフレームデータを対象とする物体認識等の画像処理、その他の必要な各種のデータ処理を行う。
データ処理部１４は、DVS１３からのイベントデータに応じて、フレームデータを生成する場合、制御部１２の制御に従ったフレーム間隔等のフレームデータを生成する。また、データ処理部１４は、フレームデータを対象として、物体認識を行い、物体認識結果を、制御部１２に供給する。
なお、センサモジュールには、カラー画像のフレームデータを出力するRGBカメラ１５を設けることができる。センサモジュールに、RGBカメラ１５を設ける場合には、データ処理部１４は、イベントデータから生成されたフレームデータの他、必要に応じて、RGBカメラ１５が出力するカラー画像のフレームデータを用いて、物体認識を行うことができる。
＜センサ部２１の構成例＞
図２は、図１のDVS１３の構成例を示すブロック図である。
DVS１３は、画素アレイ部３１、駆動部３２、アービタ３３、AD(Analog to Digital)変換部３４、及び、出力部３５を備える。
画素アレイ部３１は、複数の画素５１（図３）が２次元格子状に配列されて構成される。画素アレイ部３１は、画素５１の光電変換によって生成される電気信号としての光電流に所定の閾値を超える変化（閾値以上の変化を必要に応じて含む）が発生した場合に、その光電流の変化をイベントとして検出する。画素アレイ部３１は、イベントを検出した場合、イベントの発生を表すイベントデータの出力を要求するリクエストを、アービタ３３に出力する。そして、画素アレイ部３１は、アービタ３３からイベントデータの出力の許可を表す応答を受け取った場合、イベントデータを、駆動部３２及び出力部３５に出力する。さらに、画素アレイ部３１は、イベントが検出された画素５１の電気信号としての画素信号を、AD変換部３４に出力する。
駆動部３２は、画素アレイ部３１に制御信号を供給することにより、画素アレイ部３１を駆動する。例えば、駆動部３２は、画素アレイ部３１からイベントデータが出力された画素５１を駆動し、その画素５１の画素信号を、AD変換部３４に供給（出力）させる。
アービタ３３は、画素アレイ部３１からのイベントデータの出力を要求するリクエストを調停し、イベントデータの出力の許可又は不許可を表す応答やイベント検出をリセットするリセット信号を、画素アレイ部３１に供給する。
AD変換部３４は、例えば、後述する画素ブロック４１（図３）の列ごとに、例えば、シングルスロープ型のADC(AD Converter)（図示せず）を有する。AD変換部３４は、各列のADCにおいて、その列の画素ブロック４１の画素５１の画素信号をAD変換し、出力部３５に供給する。なお、AD変換部３４では、画素信号のAD変換とともに、CDS(Correlated Double Sampling)を行うことができる。
出力部３５は、AD変換部３４からの画素信号や、画素アレイ部３１からのイベントデータに必要な処理を施して出力する。
ここで、画素５１で生成される光電流の変化は、画素５１に入射する光の光量変化とも捉えることができるので、イベントは、画素５１の光量変化（閾値を超える光量変化）であるとも言うことができる。
イベントの発生を表すイベントデータには、少なくとも、イベントとしての光量変化が発生した画素ブロック４１の位置を表す位置情報（座標等）が含まれる。その他、イベントデータには、光量変化の極性（正負）を含ませることができる。
画素アレイ部３１からイベントが発生したタイミングで出力されるイベントデータの系列については、イベントデータどうしの間隔がイベントの発生時のまま維持されている限り、イベントデータは、イベントが発生した（相対的な）時刻を表す時刻情報を暗示的に含んでいるということができる。但し、イベントデータがメモリに記憶されること等により、イベントデータどうしの間隔がイベントの発生時のままには維持されなくなると、イベントデータに暗示的に含まれる時刻情報が失われる。そのため、出力部３５は、イベントデータどうしの間隔がイベントの発生時のまま維持されなくなる前に、イベントデータに、タイムスタンプ等の、イベントが発生した（相対的な）時刻を表す時刻情報を含める。イベントデータに時刻情報を含める処理は、イベントデータに暗示的に含まれる時刻情報が失われる前であれば、出力部３５以外の任意のブロックで行うことができる。
＜画素アレイ部３１の構成例＞
図３は、図２の画素アレイ部３１の構成例を示すブロック図である。
画素アレイ部３１は、複数の画素ブロック４１を有する。画素ブロック４１は、I行×J列（I及びJは整数）に配列された１以上のI×J個の画素５１、イベント検出部５２、及び、画素信号生成部５３を備える。画素ブロック４１内の１以上の画素５１は、イベント検出部５２及び画素信号生成部５３を共有する。また、画素ブロック４１の列ごとには、画素ブロック４１とAD変換部３４のADCとを接続するVSL(Vertical Signal Line)が配線される。
画素５１は、被写体からの入射光を受光し、光電変換して電気信号としての光電流を生成する。画素５１は、駆動部３２の制御に従って、光電流を、イベント検出部５２に供給する。
イベント検出部５２は、画素５１のそれぞれからの光電流の所定の閾値を超える変化を、イベントとして検出する。イベント検出部５２は、イベントを検出した場合、イベントの発生を表すイベントデータの出力を要求するリクエストを、アービタ３３（図２）に供給する。そして、イベント検出部５２は、リクエストに対して、イベントデータの出力を許可する旨の応答を、アービタ３３から受け取ると、イベントデータを、駆動部３２及び出力部３５に出力する。なお、イベント検出部５２には、アービタ３３からリセット信号が供給され、イベント検出部５２は、アービタ３３からのリセット信号に応じて動作する。
画素信号生成部５３は、イベント検出部５２においてイベントが検出された場合に、駆動部３２の制御に従って、画素５１の光電変換により得られる電気信号としての電荷に対応する電圧を、画素信号として生成し、VSLを介して、AD変換部３４に供給する。
ここで、光電流の所定の閾値を超える変化をイベントとして検出することは、同時に、光電流の所定の閾値を超える変化がなかったことをイベントとして検出していると捉えることができる。画素信号生成部５３では、画素信号の生成を、イベントとしての光電流の所定の閾値を超える変化が検出された場合の他、イベントとしての光電流の所定の閾値を超える変化がなかったことが検出された場合に行うことができる。
＜画素ブロック４１の構成例＞
図４は、画素ブロック４１の構成例を示す回路図である。
画素ブロック４１は、図３で説明したように、画素５１、イベント検出部５２、及び、画素信号生成部５３を備える。
画素５１は、光電変換素子６１、転送トランジスタ６２及び６３を備える。
光電変換素子６１は、例えば、PD(Photodiode)で構成され、入射光を受光し、光電変換して電荷を生成する。
転送トランジスタ６２は、例えば、N(Negative)型のMOS(Metal-Oxide-Semiconductor) FET(Field Effect Transistor)で構成される。画素ブロック４１を構成するI×J個の画素５１のうちのn番目の画素５１を構成する転送トランジスタ６２は、駆動部３２（図２）から供給される制御信号ORGnに従ってオン／オフする。転送トランジスタ６２がオンすることにより、光電変換素子６１で生成された電荷は、光電流として、イベント検出部５２に転送（供給）される。
転送トランジスタ６３は、例えば、N型のMOS(NMOS) FETで構成される。画素ブロック４１を構成するI×J個の画素５１のうちのn番目の画素５１を構成する転送トランジスタ６３は、駆動部３２から供給される制御信号（転送信号）TRGnに従ってオン／オフする。転送トランジスタ６３がオンすることにより、光電変換素子６１で生成された電荷は、画素信号生成部５３のFD７４に転送される。
画素ブロック４１を構成するI×J個の画素５１は、ノード６０を介して、その画素ブロック４１を構成するイベント検出部５２に接続されている。したがって、画素５１（の光電変換素子６１）で生成された光電流は、ノード６０を介して、イベント検出部５２に供給される。その結果、イベント検出部５２には、画素ブロック４１内のすべての画素５１の光電流の和が供給される。したがって、イベント検出部５２では、画素ブロック４１を構成するI×J個の画素５１から供給される光電流の和の変化がイベントとして検出される。
画素信号生成部５３は、リセットトランジスタ７１、増幅トランジスタ７２、選択トランジスタ７３、及び、FD(Floating Diffusion)７４を備える。
リセットトランジスタ７１、増幅トランジスタ７２、及び、選択トランジスタ７３は、例えば、N型のMOS FETで構成される。
リセットトランジスタ７１は、駆動部３２（図２）から供給される制御信号RSTに従ってオン／オフする。リセットトランジスタ７１がオンすることにより、FD７４が電源VDDに接続され、FD７４に蓄積された電荷が電源VDDに排出される。これにより、FD７４は、リセットされる。
増幅トランジスタ７２のゲートはFD７４に、ドレインは電源VDDに、ソースは、選択トランジスタ７３を介してVSLに、それぞれ接続される。増幅トランジスタ７２は、ソースフォロアになっており、ゲートに供給されるFD７４の電圧に対応する電圧（電気信号）を、選択トランジスタ７３を介してVSLに出力する。
選択トランジスタ７３は、駆動部３２から供給される制御信号SELに従ってオン／オフする。選択トランジスタ７３がオンすることにより、増幅トランジスタ７２からのFD７４の電圧に対応する電圧が、VSLに出力される。
FD７４は、画素５１の光電変換素子６１から転送トランジスタ６３を介して転送されてくる電荷を蓄積し、電圧に変換する。
以上のように構成される画素５１及び画素信号生成部５３については、駆動部３２は、転送トランジスタ６２を、制御信号OFGnによりオンにして、画素５１の光電変換素子６１で生成された電荷による光電流を、イベント検出部５２に供給させる。これにより、イベント検出部５２には、画素ブロック４１内のすべての画素５１の光電流の和の電流が供給される。
画素ブロック４１において、イベント検出部５２が、イベントとしての光電流（の和）の変化を検出すると、駆動部３２は、その画素ブロック４１のすべての画素５１の転送トランジスタ６２をオフにして、イベント検出部５２への光電流の供給を停止させる。そして、駆動部３２は、イベントの検出後、制御信号（選択信号）SELにて画素５１の行を選択後に光電変換素子６１をリセットし、露光を開始させる。駆動部３２は、露光完了後に制御信号TRGnにより、イベントが検出された画素ブロック４１内の画素５１の転送トランジスタ６３を順にオンにして、光電変換素子６１で生成された電荷をFD７４に転送させる。FD７４では、画素５１（の光電変換素子６１）から転送される電荷が蓄積される。FD７４に蓄積された電荷に対応する電圧は、画素５１の画素信号として、増幅トランジスタ７２及び選択トランジスタ７３を介して、VSLに出力される。
以上のように、DVS１３（図２）では、イベントが検出された画素ブロック４１のみの画素５１の画素信号が、順に、VSLに出力される。VSLに出力された画素信号は、AD変換部３４に供給され、AD変換される。
ここで、画素ブロック４１内の各画素５１については、転送トランジスタ６３を順にオンにするのではなく、同時にオンにすることができる。この場合、画素ブロック４１内のすべての画素５１の画素信号の和を出力することができ、ビニングを実現することができる。
図３の画素アレイ部３１において、画素ブロック４１が複数の画素５１で構成される場合には、その複数の画素５１で、イベント検出部５２及び画素信号生成部５３が共有される。これにより、１個の画素５１に対して、１個のイベント検出部５２及び１個の画素信号生成部５３を設ける場合に比較して、イベント検出部５２及び画素信号生成部５３の数を少なくすることができ、画素アレイ部３１の規模を抑制することができる。
なお、画素ブロック４１は、複数の画素５１ではなく、１個の画素５１で構成することができる。
さらに、画素ブロック４１では、画素５１ごとに、イベント検出部５２を設けることができる。画素ブロック４１の複数の画素５１で、イベント検出部５２を共有する場合には、画素ブロック４１の単位でイベントが検出されるが、画素５１ごとに、イベント検出部５２を設ける場合には、画素５１の単位で、イベントを検出することができる。
また、画素信号を出力する必要ない場合には、画素ブロック４１は、画素信号生成部５３を設けずに構成することができる。画素ブロック４１を、画素信号生成部５３を設けずに構成する場合には、AD変換部３４及び転送トランジスタ６３を設けずに、DVS１３を構成することができる。この場合、画素アレイ部３１の規模を抑制することができる。
＜イベント検出部５２の構成例＞
図５は、図３のイベント検出部５２の構成例を示すブロック図である。
イベント検出部５２は、電流電圧変換部８１、バッファ８２、減算部８３、量子化部８４、及び、転送部８５を備える。
電流電圧変換部８１は、画素５１からの光電流（の和）を、その光電流の対数に対応する電圧（以下、光電圧ともいう）に変換し、バッファ８２に供給する。
バッファ８２は、電流電圧変換部８１からの光電圧をバッファリングし、減算部８３に供給する。
減算部８３は、現在の光電圧と、現在と微小時間だけ異なるタイミングの光電圧との差を演算し、その差に対応する差信号を、量子化部８４に供給する。
量子化部８４は、減算部８３からの差信号をディジタル信号に量子化し、差信号の量子化値を、転送部８５に供給する。
転送部８５は、量子化部８４からの差信号の量子化値に応じて、イベントデータを、駆動部３２及び出力部３５に転送（出力）する。すなわち、転送部８５は、イベントデータの出力を要求するリクエストを、アービタ３３に供給する。そして、転送部８５は、リクエストに対して、イベントデータの出力を許可する旨の応答をアービタ３３から受け取ると、イベントデータを、駆動部３２及び出力部３５に出力する。
＜電流電圧変換部８１の構成例＞
図６は、図５の電流電圧変換部８１の構成例を示す回路図である。
電流電圧変換部８１は、FET９１ないし９３で構成される。FET９１及び９３としては、例えば、N型のMOS FETを採用することができ、FET９２としては、例えば、P型のMOS(PMOS) FETを採用することができる。
FET９１のソースは、FET９３のゲートと接続され、FET９１のソースとFET９３のゲートとの接続点には、画素５１からの光電流が供給される。FET９１のドレインは、電源VDDに接続され、そのゲートは、FET９３のドレインに接続される。
FET９２のソースは、電源VDDに接続され、そのドレインは、FET９１のゲートとFET９３のドレインとの接続点に接続される。FET９２のゲートには、所定のバイアス電圧Vbiasが印加される。
FET９３のソースは接地される。
電流電圧変換部８１において、FET９１のドレインは電源VDD側に接続されており、ソースフォロアになっている。ソースフォロアになっているFET９１のソースには、画素５１（図４）が接続され、これにより、FET９１（のドレインからソース）には、画素５１の光電変換素子６１で生成された電荷による光電流が流れる。FET９１は、サブスレッショルド領域で動作し、FET９１のゲートには、そのFET９１に流れる光電流の対数に対応する光電圧が現れる。以上のように、電流電圧変換部８１では、FET９１により、画素５１からの光電流が、その光電流の対数に対応する光電圧に変換される。
光電圧は、FET９１のゲートとFET９３のドレインとの接続点から、バッファ８２（図５）に供給される。
＜減算部８３及び量子化部８４の構成例＞
図７は、図５の減算部８３及び量子化部８４の構成例を示す回路図である。
減算部８３は、コンデンサ１０１、オペアンプ１０２、コンデンサ１０３、及び、スイッチ１０４を備える。量子化部８４は、コンパレータ１１１を備える。
コンデンサ（容量）１０１の一端は、バッファ８２（図５）の出力端子に接続され、他端は、オペアンプ１０２の（反転）入力端子に接続される。したがって、オペアンプ１０２の入力端子には、コンデンサ１０１を介して光電圧が入力される。
オペアンプ１０２の出力端子は、コンパレータ１１１の非反転入力端子（＋）に接続される。
コンデンサ１０３の一端は、オペアンプ１０２の入力端子に接続され、他端は、オペアンプ１０２の出力端子に接続される。
スイッチ１０４は、コンデンサ１０３の両端の接続をオン／オフするように、コンデンサ１０３に接続される。スイッチ１０４は、アービタ３３からのリセット信号に従ってイベント検出後等にオン／オフすることにより、コンデンサ１０３の両端の接続をオン／オフする。コンデンサ１０３及びスイッチ１０４は、スイッチドキャパシタを構成する。
スイッチ１０４をオンした際のコンデンサ１０１のバッファ８２（図５）側の光電圧をVinitと表すとともに、コンデンサ１０１の容量（静電容量）をC1と表すこととする。オペアンプ１０２の入力端子は、仮想接地になっており、スイッチ１０４がオンである場合にコンデンサ１０１に蓄積される電荷Qinitは、式（１）により表される。
Qinit = C1 ×Vinit
・・・（１）
また、スイッチ１０４がオンである場合には、コンデンサ１０３の両端は短絡されるため、コンデンサ１０３に蓄積される電荷はゼロとなる。
その後、スイッチ１０４がオフになった場合の、コンデンサ１０１のバッファ８２（図５）側の光電圧を、Vafterと表すこととすると、スイッチ１０４がオフになった場合にコンデンサ１０１に蓄積される電荷Qafterは、式（２）により表される。
Qafter = C1×Vafter
・・・（２）
コンデンサ１０３の容量をC2と表すとともに、オペアンプ１０２の出力電圧をVoutと表すこととすると、コンデンサ１０３に蓄積される電荷Q2は、式（３）により表される。
Q2 = -C2×Vout
・・・（３）
スイッチ１０４がオフする前後で、コンデンサ１０１の電荷とコンデンサ１０３の電荷とを合わせた総電荷量は変化しないため、式（４）が成立する。
Qinit = Qafter + Q2
・・・（４）
式（４）に式（１）ないし式（３）を代入すると、式（５）が得られる。
Vout = -(C1/C2)×(Vafter - Vinit)
・・・（５）
式（５）によれば、減算部８３では、光電圧Vafter及びVinitの減算、すなわち、光電圧VafterとVinitとの差Vafter - Vinitに対応する差信号Voutの算出が行われる。式（５）によれば、減算部８３の減算のゲインはC1/C2となる。通常、ゲインを最大化することが望まれるため、C1を大きく、C2を小さく設計することが好ましい。一方、C2が小さすぎると、kTCノイズが増大し、ノイズ特性が悪化するおそれがあるため、C2の容量削減は、ノイズを許容することができる範囲に制限される。また、画素ブロック４１ごとに減算部８３を含むイベント検出部５２が搭載されるため、容量C1やC2には、面積上の制約がある。これらを考慮して、容量C1及びC2の値が決定される。
コンパレータ１１１は、減算部８３からの差信号と、反転入力端子（−）に印加された所定の閾値（電圧）Vthとを比較する。コンパレータ１１１は、差信号と閾値Vthとの比較結果を表す、例えば、H(High)レベル又はL(Low)レベルを、差信号の量子化値として、転送部８５に出力する。
転送部８５は、量子化部８４からの差信号の量子化値に応じて、イベントとしての光量変化が発生したと認められる場合、すなわち、差信号(Vout)が閾値Vthより大（又は小）である場合に、イベントの発生を表すイベントデータ（例えば、Hレベル）を、出力部３５に出力する。例えば、転送部８５は、量子化部８４からの差信号の量子化値を、イベントデータとして、出力部３５に出力する。
出力部３５は、転送部８５からのイベントデータに、そのイベントデータが表すイベントが発生した画素５１（を有する画素ブロック４１）の位置情報、及び、イベントが発生した時刻を表す時刻情報、さらには、必要に応じて、イベントとしての光量変化の極性を含めて出力する。
イベントが発生した画素５１の位置情報、イベントが発生した時刻を表す時刻情報、イベントとしての光量変化の極性を含むイベントデータのデータ形式としては、例えば、AER(Address Event Representation)と呼ばれるデータ形式を採用することができる。
なお、イベント検出部５２全体のゲインAは、電流電圧変換部８１のゲインをCGlogと、バッファ８２のゲインを1と、量子化部８４のゲインをGと、それぞれ表すこととすると、次の式により表される。
A = CGlogC1/C2G（Σiphoto_n）
・・・（６）
iphoto_nは、画素ブロック４１を構成するI×J個の画素５１のうちのn番目の画素５１の光電流を表す。式（６）のΣは、nを、１からI×Jまでの整数に変化させてとるサメーションを表す。
なお、画素５１では、カラーフィルタ等の所定の光を透過する光学フィルタを設けること等によって、入射光として、任意の光を受光することができる。例えば、画素５１において、入射光として、可視光を受光する場合、イベントデータは、視認することができる被写体が映る画像における画素値の変化の発生を表す。また、例えば、画素５１において、入射光として、測距のための赤外線やミリ波等を受光する場合、イベントデータは、被写体までの距離の変化の発生を表す。さらに、例えば、画素５１において、入射光として、温度の測定のための赤外線を受光する場合、イベントデータは、被写体の温度の変化の発生を表す。本実施の形態では、画素５１において、入射光として、可視光を受光することとする。
以上のように構成されるDVS１３（図２）では、駆動部３２は、制御信号OFGnをすべてLレベルからHレベルにして、画素ブロック４１内の画素５１すべての転送トランジスタ６２をオンにする。これにより、画素ブロック４１内の画素５１すべての光電流の和が、イベント検出部５２に供給される。このとき、制御信号TRGnはすべてLレベルであり、画素５１すべての転送トランジスタ６３はオフである。
イベント検出部５２は、光電流の所定の閾値を超える変化をイベントとして検出し、そのイベントの検出に応じて、Hレベルのイベントデータを出力する。
駆動部３２は、Hレベルのイベントデータに応じて、制御信号OFGnをすべてLレベルにして、画素５１からイベント検出部５２への光電流の供給を停止させる。また、駆動部３２は、制御信号SELをHレベルにし、制御信号RST及び制御信号TRGnを一定期間だけHレベルにして、光電変換素子６１の電荷を電源VDDに排出させることで、画素５１をリセットする。その後、駆動部３２は、露光時間だけ待って制御信号RSTをHレベルにして、FD７４をリセットする。画素信号生成部５３は、FD７４のリセット時のFD７４の電圧に対応する画素信号を、リセットレベルとして出力し、AD変換部３４は、そのリセットレベルをAD変換する。
リセットレベルのAD変換後、駆動部３２は、制御信号TRG1を一定期間だけHレベルにして、イベントが検出された画素ブロック４１内の１つ目の画素５１（の光電変換素子６１）の光電変換により生成された電荷を、FD７４に転送させる。画素信号生成部５３は、画素５１から電荷が転送されたFD７４の電圧に対応する画素信号を、信号レベルとして出力し、AD変換部３４は、その信号レベルをAD変換する。
AD変換部３４は、AD変換後の信号レベルとリセットレベルとの差分を、画像（フレームデータ）の画素値となる画素信号として、出力部３５に出力する。
ここで、信号レベルとリセットレベルとの差分を、画像の画素値となる画素信号として求める処理は、CDSと呼ばれる。CDSは、信号レベル及びリセットレベルのAD変換後に行う他、AD変換部３４でシングルスロープ型のAD変換が行われる場合には、リセットレベルのAD変換結果を、初期値として、信号レベルのAD変換を行うことにより、信号レベル及びリセットレベルのAD変換と同時に行うことができる。
画素ブロック４１内の１つ目の画素５１の画素信号のAD変換後、駆動部３２は、制御信号TRG2を一定期間だけHレベルにすることで、イベントが検出された画素ブロック４１内の２つ目の画素５１の画素信号を出力させる。
DVS１３では、以下、同様の動作が行われ、イベントが検出された画素ブロック４１内のそれぞれの画素５１の画素信号が順に出力される。
画素ブロック４１内の画素５１の画素信号が出力されると、駆動部３２は、制御信号OFGnをHレベルにして、画素ブロック４１内の画素５１の転送トランジスタ６２をオンにし、以下、同様の動作が繰り返される。
なお、以下では、DVS１３は、画素信号を出力せず、イベントデータを出力することとする。
＜イベントデータに応じたフレームデータの生成＞
図８は、イベントデータに応じて、フレームデータを生成する方法の例を説明する図である。
データ処理部１４は、例えば、制御部１２の制御に従って、開始間隔及びフレーム幅を設定する。ここで、開始間隔とは、１フレームのフレームデータの生成を開始するタイミングの間隔を表す。フレーム幅とは、１フレームのフレームデータのフレーム生成開始時からフレーム生成終了時までの時間を表す。データ処理部１４が設定した開始間隔及びフレーム幅を、それぞれ、設定開始間隔及び設定フレーム幅ともいう。
データ処理部１４は、設定開始間隔及び設定フレーム幅、並びに、DVS１３からのイベントデータに応じて、フレームデータを生成することにより、イベントデータをフレームデータに変換する。
すなわち、データ処理部１４は、設定開始間隔ごとに、設定開始間隔の先頭から設定フレーム幅内のイベントデータに応じて、フレームデータを生成する。これにより、設定開始間隔及び設定フレーム幅に応じて制御されるフレーム間隔で、フレームデータが生成される。
いま、イベントデータが、イベントが発生した時刻を表す時刻情報（以下、イベントの時刻ともいう）t、及び、イベントが発生した画素５１（を有する画素ブロック４１）の位置情報（以下、イベントの位置ともいう）としての座標(x, y)を含むこととする。
図８では、x軸、y軸、及び、時間軸tで構成される３次元（時）空間において、イベントデータとしての点が、そのイベントデータに含まれるイベントの時刻t、及び、イベントの位置（としての座標）(x, y)にプロットされている。
すなわち、イベントデータに含まれるイベントの時刻t、及び、イベントの位置(x, y)で表される３次元空間上の位置(x, y, t)を、イベントの時空間位置ということとすると、図８では、イベントデータが、イベントの時空間位置(x, y, t)に、点としてプロットされている。
データ処理部１４は、例えば、制御部１２の制御に従った時刻を、フレームデータの生成を開始する生成開始時刻として、イベントデータに応じたフレームデータの生成を開始する。
いま、生成開始時刻から、設定開始間隔ごとの、時間軸t方向に、設定フレーム幅の厚み（高さ）を有する直方体をフレームボリュームということとする。フレームボリュームのx軸方向及びy軸方向のサイズは、例えば、画素ブロック４１又は画素５１のx軸方向及びy軸方向の個数にそれぞれ等しい。
データ処理部１４は、設定開始間隔ごとに、設定開始間隔の先頭から設定フレーム幅のフレームボリューム内のイベントデータに応じて（イベントデータを用いて）、１フレームのフレームデータを生成する。
フレームデータの生成は、例えば、イベントデータに含まれるイベントの位置(x, y)のフレームの画素（の画素値）を白色に、フレームの他の位置の画素をグレー等の所定の色にセットすることで行うことができる。
その他、フレームデータの生成は、イベントデータがイベントとしての光量変化の極性を含む場合には、イベントデータに含まれる極性を考慮して行うことができる。例えば、極性が正である場合には、画素を白色にセットし、極性が負である場合には、画素を黒色にセットすることができる。
さらに、図３及び図４で説明したように、画素アレイ部３１において、イベントデータを出力するとともに、画素５１の画素信号を出力する場合には、イベントデータに応じ、画素５１の画素信号を用いて、フレームデータを生成することができる。すなわち、フレームにおいて、イベントデータに含まれるイベントの位置(x, y)の画素の画素値として、その位置(x, y)の画素５１の画素信号をセットするとともに、他の位置の画素をグレー等の所定の色にセットすることで、フレームデータを生成することができる。
なお、フレームボリューム内には、イベントの時刻tが異なるが、イベントの位置(x, y)が同一のイベントデータが複数存在する場合がある。この場合、例えば、イベントの時刻tが最も新しい又は古いイベントデータを優先させることができる。また、イベントデータが極性を含む場合には、イベントの時刻tが異なるが、イベントの位置(x, y)が同一の複数のイベントデータの極性を加算し、その加算により得られる加算値に応じた画素値を、イベントの位置(x, y)の画素にセットすることができる。
ここで、フレーム幅と開始間隔とが同一である場合、フレームボリュームは、隙間なく接した状態となる。また、開始間隔がフレーム幅より大である場合、フレームボリュームは、隙間を空けて並んだ状態となる。フレーム幅が開始間隔より大である場合、フレームボリュームは、一部が重複する形で並んだ状態となる。
＜データ処理部１４の構成例＞
図９は、図１のデータ処理部１４の構成例を示すブロック図である。
図９において、データ処理部１４は、開始間隔設定部１２１、フレーム幅設定部１２２、データ生成部１２３、及び、画像処理部１２４を有する。
開始間隔設定部１２１は、例えば、制御部１２の制御に従って、開始間隔を設定し、データ生成部１２３に供給する。開始間隔は、時間、又は、イベントデータの数により指定して設定することができる。ここで、開始間隔設定部１２１で設定された開始間隔を、設定開始間隔ともいう。
フレーム幅設定部１２２は、例えば、制御部１２の制御に従って、フレーム幅を設定し、データ生成部１２３に供給する。フレーム幅は、開始間隔と同様に、時間、又は、イベントデータの数により指定して設定することができる。ここで、フレーム幅設定部１２２で設定されたフレーム幅を、設定フレーム幅ともいう。
データ生成部１２３は、DVS１３から出力されるイベントデータに応じて、フレーム形式の画像データであるフレームデータを生成することにより、イベントデータをフレームデータに変換し、画像処理部１２４に供給する。
データ生成部１２３は、開始間隔設定部１２１からの設定開始間隔、及び、フレーム幅設定部１２２からの設定フレーム幅に応じて、その設定開始間隔、及び、設定フレーム幅により制御されるフレーム間隔（フレームレート）のフレームデータを生成する。
すなわち、データ生成部１２３は、設定開始間隔ごとに、設定開始間隔の先頭から設定フレーム幅内のイベントデータに応じて、フレームデータを生成する。これにより、設定開始間隔及び設定フレーム幅に応じて制御されるフレーム間隔で、フレームデータが生成される。例えば、設定開始間隔を小さい値又は大きい値に設定することで、フレーム間隔が短い又は長いフレームデータをそれぞれ生成することができる。また、設定フレーム幅を減少又は増加していくように設定することで、フレーム間隔が短い又は長いフレームデータをそれぞれ生成することができる。
画像処理部１２４は、データ生成部１２３から供給されるフレームデータを用いた画像処理を行い、その画像処理の処理結果（画像処理結果）を、データ処理結果として出力する。例えば、画像処理部１２４は、データ生成部１２３から供給されるフレームデータを対象とした物体認識を行い、物体認識結果を出力する。画像処理部１２４が出力する物体認識結果は、制御部１２に供給される。
なお、開始間隔及びフレーム幅のうちのいずれか一方については、あらかじめ決められた値を採用することができる。開始間隔として、あらかじめ決められた値を採用する場合、データ処理部１４は、開始間隔設定部１２１を設けずに構成することができる。同様に、フレーム幅として、あらかじめ決められた値を採用する場合、データ処理部１４は、フレーム幅設定部１２２を設けずに構成することができる。
＜センサモジュールの処理＞
図１０は、図１のセンサモジュールの処理の例を説明するフローチャートである。
ステップＳ１１において、車両情報取得部１１は、自車両から車両情報を取得し、制御部１２に供給して、処理は、ステップＳ１２に進む。
ステップＳ１２では、DVS１３は、イベントとしての画素５１の電気信号の変化が発生すると、イベントデータを生成し、制御部１２及びデータ処理部１４に供給して、処理は、ステップＳ１３に進む。
ステップＳ１３では、データ処理部１４は、DVS１３からのイベントデータを用いたデータ処理を行い、処理は、ステップＳ１４に進む。イベントデータを用いたデータ処理としては、例えば、イベントデータからフレームデータを生成する処理や、そのフレームデータを用いた（対象とした）物体認識等が行われる。物体認識の認識結果（物体認識結果）は、データ処理部１４から制御部１２に供給される。
ステップＳ１４では、制御部１２は、データ処理部１４でイベントデータから生成されるフレームデータのフレーム間隔を制御するフレーム間隔制御を行い、処理は、ステップＳ１１に戻る。ここで、フレーム間隔制御は、フレームデータのフレームレートを制御するフレームレート制御でもある。
フレーム間隔制御では、例えば、車両情報取得部１１から制御部１２に供給される車両情報に応じて、フレーム間隔が制御される。また、フレーム間隔制御では、必要に応じ、DVS１３から制御部１２に供給されるイベントデータから特定される単位時間当たりのイベント数や、データ処理部１４から供給される物体認識結果等にも応じて、フレーム間隔を制御することができる。フレーム間隔の制御は、開始間隔やフレーム幅の設定（制御）により行われる。
ここで、図１のセンサモジュールが搭載された自車両の運転支援等では、自車両に対する相対速度が速い物体（被写体）について、時間方向に細かく情報を得るために、フレーム間隔を短く設定し、高フレームレートのフレームデータを生成することができる。
しかしながら、フレーム間隔を、常時短く設定する場合には、イベントデータからフレームデータが生成される頻度が多くなり、センサモジュールの消費電力が大になる。
例えば、自車両がある程度以上の車速で走行している場合には、高フレームレートのフレームデータが必要であるが、自車両が停止している場合には、高フレームレートのフレームデータが必要でないことがある。
そこで、図１のセンサモジュールでは、制御部１２が、車両情報等に応じて、フレーム間隔を制御するフレーム間隔制御を行うことで、イベントデータからフレームデータが生成される頻度が調整され、消費電力が抑制される。
＜フレーム間隔制御の第１の例＞
図１１は、図１０のステップＳ１４のフレーム間隔制御の第１の例を説明するフローチャートである。
フレーム間隔制御の第１の例では、車両情報に含まれる自車両の車速に応じて、フレーム間隔が制御される。
ステップＳ１０１において、制御部１２は、車速が第１の車速閾値以上であるかどうかを判定し、車速が第１の車速閾値以上であると判定した場合、処理は、ステップＳ１０２に進む。
ステップＳ１０２では、制御部１２は、フレーム間隔を現在の値よりも短くするように、フレーム間隔を制御し、処理は終了する。したがって、自車両が、例えば、高速道路等において高速で走行している場合には、高フレームレートのフレームデータが生成される。
また、ステップＳ１０１において、車速が第１の車速閾値以上でないと判定された場合、処理は、ステップＳ１０３に進む。
ステップＳ１０３では、制御部１２は、車速が第２の車速閾値以下であるかどうかを判定し、車速が第２の車速閾値以下であると判定した場合、処理は、ステップＳ１０４に進む。
ステップＳ１０４では、制御部１２は、フレーム間隔を現在の値よりも長くするように、又は、初期値（デフォルト値）に戻すように、フレーム間隔を制御し、処理は終了する。したがって、自車両が、例えば、低速で走行している場合や停車している場合には、フレームデータのフレームレートが低下する。この場合、フレームデータの生成の頻度が低下するので、消費電力を抑制することができる。
なお、第１の車速閾値としては、第２の車速閾値以上の値を採用することができる（第２の車速閾値としては、第１の車速閾値以下の値を採用することができる）。また、フレーム間隔の最大値は、初期値に制限することができる。フレーム間隔の最小値は、あらかじめ決められた値に制限することができる。
＜フレーム間隔制御の第２の例＞
図１２は、図１０のステップＳ１４のフレーム間隔制御の第２の例を説明するフローチャートである。
フレーム間隔制御の第２の例では、車両情報に含まれる自車両の車速の他、単位時間当たりのイベント数にも応じて、フレーム間隔が制御される。
ステップＳ１１１において、制御部１２は、車速が第１の車速閾値以上であるかどうかを判定し、車速が第１の車速閾値以上であると判定した場合、処理は、ステップＳ１１２に進む。
ステップＳ１１２では、制御部１２は、単位時間当たりのイベント数が第１のイベント数閾値以上であるかどうかを判定し、単位時間当たりのイベント数が第１のイベント数閾値以上であると判定した場合、処理は、ステップＳ１１３に進む。
ステップＳ１１３では、制御部１２は、フレーム間隔を現在の値よりも短くするように、フレーム間隔を制御し、処理は終了する。したがって、自車両が、例えば、高速道路等において高速で走行しており、かつ、イベントの検出頻度が高い場合には、高フレームレートのフレームデータが生成される。
一方、ステップＳ１１１において、車速が第１の車速閾値以上でないと判定された場合、及び、ステップＳ１１２において、単位時間当たりのイベント数が第１のイベント数閾値以上でないと判定された場合、処理は、ステップＳ１１４に進む。
ステップＳ１１４では、制御部１２は、車速が第２の車速閾値以下であるかどうかを判定し、車速が第２の車速閾値以下であると判定した場合、処理は、ステップＳ１１５に進む。
ステップＳ１１５では、制御部１２は、単位時間当たりのイベント数が第２のイベント数閾値以下であるかどうかを判定し、単位時間当たりのイベント数が第２のイベント数閾値以下であると判定した場合、処理は、ステップＳ１１６に進む。
ステップＳ１１６では、制御部１２は、フレーム間隔を現在の値よりも長くするように、又は、初期値に戻すように、フレーム間隔を制御し、処理は終了する。したがって、自車両が、例えば、低速で走行しているか、停車しており、かつ、イベントの検出頻度が低い場合には、フレームデータのフレームレートが低下する。この場合、消費電力を抑制することができる。
なお、第１のイベント数閾値としては、第２のイベント数閾値以上の値を採用することができる（第２のイベント数閾値としては、第１のイベント数閾値以下の値を採用することができる）。
また、フレーム間隔制御において、フレーム間隔を短く制御する処理（ステップＳ１１３）の前の、（単位時間当たりの）イベント数が第１のイベント数閾値以上であるかを判定する判定のステップ（ステップＳ１１２）は、あってもよいし、なくてもよい。フレーム間隔を長くする制御又は初期値に戻す制御を行う処理（ステップＳ１１６）の前の、イベント数が第２のイベント数閾値以下であるかを判定する判定のステップ（ステップＳ１１５）も同様である。以下説明するフレーム間隔制御でも同様である。
＜フレーム間隔制御の第３の例＞
図１３は、図１０のステップＳ１４のフレーム間隔制御の第３の例を説明するフローチャートである。
フレーム間隔制御の第３の例では、車両情報に含まれる自車両の周囲にある物体、例えば、自車両の前方の物体の、自車両に対する相対速度に応じて、フレーム間隔が制御される。
ステップＳ１２１において、制御部１２は、前方の物体の相対速度が第１の相対速度閾値以上であるかどうかを判定し、前方の物体の相対速度が第１の相対速度閾値以上であると判定した場合、処理は、ステップＳ１２２に進む。
ステップＳ１２２では、制御部１２は、フレーム間隔を現在の値よりも短くするように、フレーム間隔を制御し、処理は終了する。したがって、自車両の前方にある物体の相対速度が速い場合には、高フレームレートのフレームデータが生成される。
一方、ステップＳ１２１において、前方の物体の相対速度が第１の相対速度閾値以上でないと判定された場合、処理は、ステップＳ１２３に進む。
ステップＳ１２３では、制御部１２は、前方の物体の相対速度が第２の相対速度閾値以下であるかどうかを判定し、前方の物体の相対速度が第２の相対速度閾値以下であると判定した場合、処理は、ステップＳ１２４に進む。
ステップＳ１２４では、制御部１２は、フレーム間隔を現在の値よりも長くするように、又は、初期値に戻すように、フレーム間隔を制御し、処理は終了する。したがって、自車両の前方にある物体の相対速度が遅い場合には、フレームデータのフレームレートが低下する。この場合、消費電力を抑制することができる。
なお、第１の相対速度閾値としては、第２の相対速度閾値以上の値を採用することができる（第２の相対速度閾値としては、第１の相対速度閾値以下の値を採用することができる）。
また、図１２で説明したように、フレーム間隔を短く制御する処理（ステップＳ１２２）の前には、イベント数が第１のイベント数閾値以上であるかを判定する判定のステップを設けることができる。同様に、フレーム間隔を長くする制御又は初期値に戻す制御を行う処理（ステップＳ１２４）の前には、イベント数が第２のイベント数閾値以下であるかを判定する判定のステップを設けることができる。
図１４は、図１３のフレーム間隔制御の第３の例の対象とする物体を決定する決定方法の例を説明する図である。
図１４は、イベントデータから生成されたフレームデータの例を模式的に示している。図１４のフレームデータ（に対応する画像）には、左部に歩行者が、中央部に自動車が、右部にバイクが、それぞれ映っている。したがって、自車両の前方には、歩行者、自動車、及び、バイクの３つの物体（オブジェクト）が存在する。
制御部１２は、自車両の前方に存在する３つの物体としての歩行者、自動車、及び、バイクのうちの、例えば、相対速度が最も速い物体を、フレーム間隔制御の第３の例の対象とする物体（以下、対象物体ともいう）に決定する。
その他、制御部１２では、例えば、ユーザがカーソル等のポインティングデバイス等を操作して指定した物体を、対象物体に決定することができる。
＜フレーム間隔制御の第４の例＞
図１５は、図１０のステップＳ１４のフレーム間隔制御の第４の例を説明するフローチャートである。
フレーム間隔制御の第４の例では、車両情報に含まれる自車両の車速の他、単位時間当たりのイベント数や、データ処理部１４の物体認識により認識された他の車両にも応じて、フレーム間隔が制御される。
ステップＳ１３１において、制御部１２は、車速が第２の車速閾値以下であるかどうかを判定し、車速が第２の車速閾値以下であると判定した場合、処理は、ステップＳ１３２に進む。
ステップＳ１３２では、制御部１２は、単位時間当たりのイベント数が第１のイベント数閾値以上であるかどうかを判定し、単位時間当たりのイベント数が第１のイベント数閾値以上であると判定した場合、処理は、ステップＳ１３３に進む。
ステップＳ１３３では、制御部１２は、例えば、直前に生成されたフレームデータを対象とするデータ処理部１４の物体認識により認識された他の車両に応じて、フレームに占める他の車両の割合が一定値以上であるかどうかを判定する。
ステップＳ１３３において、フレームに占める他の車両の割合が一定値以上であると判定された場合、処理は、ステップＳ１３４に進む。
ステップＳ１３４では、制御部１２は、渋滞であることを認識し、必要に応じて、自車両を運転するユーザ等に注意を喚起するアラームを出力して、処理は、ステップＳ１３５に進む。
ステップＳ１３５では、制御部１２は、フレーム間隔を現在の値よりも短くするように、フレーム間隔を制御し、処理は終了する。したがって、自車両が、例えば、低速での走行と停車とを頻繁に繰り返し、イベントの検出頻度が高く、かつ、フレームに、他の車両が大きく映っている場合には、渋滞であることが認識され、急な割り込み等に備えて、高フレームレートのフレームデータが生成される。
一方、ステップＳ１３１において、車速が第２の車速閾値以下でないと判定された場合、ステップＳ１３２において、単位時間当たりのイベント数が第１のイベント数閾値以上でないと判定された場合、及び、ステップＳ１３３において、フレームに占める他の車両の割合が一定値以上でないと判定された場合、いずれの場合も、処理は、ステップＳ１３６に進む。
ステップＳ１３６では、制御部１２は、車速が第１の車速閾値以上であるかどうかを判定し、車速が第１の車速閾値以上でないと判定した場合、処理は終了する。
また、ステップＳ１３６において、車速が第１の車速閾値以上であると判定された場合、処理は、ステップＳ１３７に進む。
ステップＳ１３７では、制御部１２は、フレーム間隔を現在の値よりも長くするように、又は、初期値に戻すように、フレーム間隔を制御し、処理は終了する。したがって、例えば、渋滞が解消し、自車両が、例えば、ある程度の車速で走行している場合には、フレームデータのフレームレートが低下する。この場合、消費電力を抑制することができる。
図１６は、フレームに占める他の車両の割合が一定値以上であるかどうかを判定する図１５のステップＳ１３３の処理の例の詳細を説明するフローチャートである。
なお、図１６では、センサモジュールがRGBカメラ１５を有することを前提とする。
ステップＳ１４１において、制御部１２は、例えば、データ処理部１４を制御することにより、イベントデータから生成されたフレームデータのみで、（他の）車両の物体認識を行わせ、イベントデータから生成されたフレームデータのみで、車両を物体認識することができるかどうかを判定する。
ステップＳ１４１において、イベントデータから生成されたフレームデータのみでは、車両を物体認識することができないと判定された場合、処理は、ステップＳ１４２に進む。
ステップＳ１４２では、制御部１２は、イベントデータから生成されたフレームデータと、RGBカメラ１５の撮像により得られるカラー画像のフレームデータとを用いて、車両を物体認識するように、データ処理部１４を制御し、処理は、ステップＳ１４３に進む。
また、ステップＳ１４１において、イベントデータから生成されたフレームデータのみで、車両を物体認識することができると判定された場合、処理は、ステップＳ１４２をスキップして、ステップＳ１４３に進む。
ステップＳ１４３では、制御部１２は、データ処理部１４で行われた物体認識の認識結果（物体認識結果）から、フレームデータにおいて、他の車両が映る車両エリアを特定し、処理は、ステップＳ１４４に進む。
ステップＳ１４４では、制御部１２は、フレームデータにおいて、車両エリアが占める割合が、所定の閾値以上であるかどうかを判定する。
ステップＳ１４４において、フレームデータにおいて、車両エリアが占める割合が、所定の閾値以上であると判定された場合、処理は、ステップＳ１４５に進む。
ステップＳ１４５では、制御部１２は、フレームに占める他の車両の割合が一定値以上であると判定し、処理は終了する。
また、ステップＳ１４４において、フレームデータにおいて、車両エリアが占める割合が、所定の閾値以上でないと判定された場合、処理は、ステップＳ１４６に進む。
ステップＳ１４６では、制御部１２は、フレームに占める他の車両の割合が一定値以上でないと判定し、処理は終了する。
図１７は、車両エリアの特定の例を示す図である。
制御部１２では、例えば、フレームデータに映る（他の）車両を囲む矩形のエリアが、車両エリアとして特定される。
＜フレーム間隔制御の第５の例＞
図１８は、図１０のステップＳ１４のフレーム間隔制御の第５の例を説明するフローチャートである。
フレーム間隔制御の第５の例では、車両情報に含まれる自車両の車速、自車両の前方の物体の相対速度、単位時間当たりのイベント数、データ処理部１４の物体認識により認識された他の車両に応じて、フレーム間隔が制御される。
ステップＳ１５１において、制御部１２は、車速が第１の車速閾値以上であるかどうかを判定し、車速が第１の車速閾値以上であると判定した場合、処理は、ステップＳ１５２に進む。
ステップＳ１５２において、制御部１２は、前方の物体の相対速度が第２の相対速度閾値以下であるかどうかを判定し、前方の物体の相対速度が第２の相対速度閾値以下であると判定した場合、処理は、ステップＳ１５３に進む。
ステップＳ１５３では、制御部１２は、単位時間当たりのイベント数が第１のイベント数閾値以上であるかどうかを判定し、単位時間当たりのイベント数が第１のイベント数閾値以上であると判定した場合、処理は、ステップＳ１５４に進む。
ステップＳ１５４では、制御部１２は、例えば、図１５のステップＳ１３３と同様に、直前に生成されたフレームデータを対象とするデータ処理部１４の物体認識により認識された他の車両に応じて、フレームに占める他の車両の割合が一定値以上であるかどうかを判定する。
ステップＳ１５４において、フレームに占める他の車両の割合が一定値以上であると判定された場合、処理は、ステップＳ１５５に進む。
ステップＳ１５５では、制御部１２は、高速安全走行モードをオンにするように、図示せぬ運転支援システムに要求し、処理は、ステップＳ１５６に進む。したがって、自車両が、例えば、高速道路で高速走行しており、かつ、自車両の周囲の他の車両も、同様に高速走行している場合において、フレームに大きく映る他の車両が、例えば、車線変更を繰り返し、イベントの検出頻度が高いときには、高速安全走行モードがオンになる。高速安全走行モードでは、例えば、アラームの出力、さらには、図１のセンサモジュール以外の他のセンサとしてのカメラを起動する等の、他の車両の割り込みに対応し、かつ、自車両の周囲を見渡すことができるようにするための、自車両の周囲の監視を強める処理等が行われる。
ステップＳ１５６では、制御部１２は、フレーム間隔を現在の値よりも短くするように、フレーム間隔を制御し、処理は終了する。したがって、例えば、上述のように、高速道路で高速走行しており、かつ、自車両の周囲の他の車両も、同様に高速走行している場合において、フレームに大きく映る他の車両が、例えば、車線変更を繰り返し、イベントの検出頻度が高いときには、高速安全走行モードがオンになる他、自車両の周囲の他の車両の急な割り込み等に備えて、高フレームレートのフレームデータが生成される。
一方、ステップＳ１５１において、車速が第１の車速閾値以上でないと判定された場合、ステップＳ１５２において、前方の物体の相対速度が第２の相対速度閾値以下でないと判定された場合、ステップＳ１５３において、単位時間当たりのイベント数が第１のイベント数閾値以上でないと判定された場合、及び、ステップＳ１５４において、フレームに占める他の車両の割合が一定値以上でないと判定された場合、いずれの場合も、処理は、ステップＳ１５７に進む。
ステップＳ１５７では、制御部１２は、車速が第２の車速閾値以下であるかどうかを判定し、車速が第２の車速閾値以下でないと判定した場合、処理は終了する。
また、ステップＳ１５７において、車速が第２の車速閾値以下であると判定された場合、処理は、ステップＳ１５８に進む。
ステップＳ１５８では、制御部１２は、高速安全走行モードをオフにするように、運転支援システムに要求し、処理は、ステップＳ１５９に進む。したがって、例えば、自車両が、高速道路を降りた場合や、パーキングエリアに入った場合等には、高速安全走行モードはオフにされる。なお、ステップＳ１５８の処理が行われる場合に、高速安全走行モードがオフであるときには、ステップＳ１５８の処理はスキップされる。
ステップＳ１５９では、制御部１２は、フレーム間隔を現在の値よりも長くするように、又は、初期値に戻すように、フレーム間隔を制御し、処理は終了する。したがって、例えば、上述のように、例えば、自車両が、高速道路を降りた場合や、パーキングエリアに入った場合等には、フレームデータのフレームレートが低下する。この場合、消費電力を抑制することができる。
＜フレーム間隔制御の第６の例＞
図１９は、図１０のステップＳ１４のフレーム間隔制御の第６の例を説明するフローチャートである。
フレーム間隔制御の第６の例では、車両情報に含まれる自車両のハンドル情報、及び、単位時間当たりのイベント数に応じて、フレーム間隔が制御される。
ステップＳ１７１において、制御部１２は、ハンドル情報としてのハンドルの回転角度が第１の角度閾値以上であるかどうかを判定し、ハンドルの回転角度が第１の角度閾値以上であると判定した場合、処理は、ステップＳ１７２に進む。
ステップＳ１７２では、制御部１２は、単位時間当たりのイベント数が第１のイベント数閾値以上であるかどうかを判定し、単位時間当たりのイベント数が第１のイベント数閾値以上であると判定した場合、処理は、ステップＳ１７３に進む。
ステップＳ１７３では、制御部１２は、フレーム間隔を現在の値よりも短くするように、フレーム間隔を制御し、処理は終了する。したがって、自車両が、例えば、急ハンドルをきって走行しており、かつ、イベントの検出頻度が高い場合には、高フレームレートのフレームデータが生成される。
一方、ステップＳ１７１において、ハンドルの回転角度が第１の角度閾値以上でないと判定された場合、及び、ステップＳ１７２において、単位時間当たりのイベント数が第１のイベント数閾値以上でないと判定された場合、処理は、ステップＳ１７４に進む。
ステップＳ１７４では、制御部１２は、ハンドルの回転角度が第２の角度閾値以下であるかどうかを判定し、ハンドルの回転角度が第２の角度閾値以下であると判定した場合、処理は、ステップＳ１７５に進む。
ステップＳ１７５では、制御部１２は、単位時間当たりのイベント数が第２のイベント数閾値以下であるかどうかを判定し、単位時間当たりのイベント数が第２のイベント数閾値以下であると判定した場合、処理は、ステップＳ１７６に進む。
ステップＳ１７６では、制御部１２は、フレーム間隔を現在の値よりも長くするように、又は、初期値に戻すように、フレーム間隔を制御し、処理は終了する。したがって、自車両が、例えば、ほぼ直進で走行しており、かつ、イベントの検出頻度が低い場合には、フレームデータのフレームレートが低下する。この場合、消費電力を抑制することができる。
なお、第１の角度閾値としては、第２の角度閾値以上の値を採用することができる（第２の角度閾値としては、第１の角度閾値以下の値を採用することができる）。
＜フレーム間隔制御の第７の例＞
図２０は、図１０のステップＳ１４のフレーム間隔制御の第７の例を説明するフローチャートである。
フレーム間隔制御の第７の例では、車両情報に含まれる自車両のハンドル情報に応じて、フレーム間隔が制御される。
すなわち、フレーム間隔制御の第７の例は、図１９において、フレーム間隔を短く制御するステップＳ１７３の処理の前の、イベント数が第１のイベント数閾値以上であるかを判定する判定のステップＳ１７２の処理と、フレーム間隔を長くする制御又は初期値に戻す制御を行うステップＳ１７６の処理の前の、イベント数が第２のイベント数閾値以下であるかを判定する判定のステップＳ１７５の処理とが省略されている他は、フレーム間隔制御の第６の例（図１９）と同様の処理になっている。
したがって、フレーム間隔制御の第７の例では、ステップＳ１８１ないし１８４において、図１９のステップＳ１７１，Ｓ１７３，Ｓ１７４、及び、Ｓ１７６とそれぞれ同様の処理が行われる。
＜フレーム間隔制御の第８の例＞
図２１は、図１０のステップＳ１４のフレーム間隔制御の第８の例を説明するフローチャートである。
フレーム間隔制御の第８の例では、フレームデータにおいて物体が映るエリアごとに、フレーム間隔が制御される。
ステップＳ１９１において、制御部１２は、データ処理部１４で行われた物体認識の認識結果（物体認識結果）に応じて、フレームデータを、物体認識で認識された物体が映る物体エリアに分割し、処理は、ステップＳ１９２に進む。
以下、ステップＳ１９２ないしＳ１９６の処理は、物体エリアごとに行われる。
ステップＳ１９２では、制御部１２は、物体エリアに映る物体の相対速度が第１の相対速度閾値以上であるかどうかを判定し、物体エリアに映る物体の相対速度が第１の相対速度閾値以上であると判定した場合、処理は、ステップＳ１９３に進む。
ステップＳ１９３では、制御部１２は、物体エリア内の単位時間当たりのイベント数が第１のイベント数閾値以上であるかどうかを判定し、単位時間当たりのイベント数が第１のイベント数閾値以上であると判定した場合、処理は、ステップＳ１９４に進む。
ステップＳ１９４では、制御部１２は、物体エリアについて、フレーム間隔を現在の値よりも短くするように、フレーム間隔を制御し、処理は終了する。したがって、相対速度が速い物体が映り、かつ、イベントの検出頻度が高い物体エリアについては、高フレームレートのフレームデータが生成される。
一方、ステップＳ１９２において、物体エリアに映る物体の相対速度が第１の相対速度閾値以上でないと判定された場合、及び、ステップＳ１９３において、物体エリア内の単位時間当たりのイベント数が第１のイベント数閾値以上でないと判定された場合、いずれの場合も、処理は、ステップＳ１９５に進む。
ステップＳ１９５では、制御部１２は、物体エリアに映る物体の相対速度が第２の相対速度閾値以下であるかどうかを判定し、物体エリアに映る物体の相対速度が第２の相対速度閾値以下であると判定した場合、処理は、ステップＳ１９６に進む。
ステップＳ１９６では、制御部１２は、フレーム間隔を現在の値よりも長くするように、又は、初期値に戻すように、フレーム間隔を制御し、処理は終了する。したがって、相対速度が速くない物体が映る物体エリアについては、フレームデータのフレームレートが低下する。この場合、消費電力を抑制することができる。
図２２は、フレームデータの、物体エリアへの分割の例を示す図である。
図２２では、フレームデータの左部に映る歩行者、中央部に映る自動車、及び、右部に映るバイクが、物体認識により認識されている。そして、フレームデータが、歩行者が映る左部の物体エリアA1、自動車が映る中央部の物体エリアA2、及び、バイクが映る右部の物体エリアA3に分割されている。
いま、自車両、自動車、及び、バイクが一般道を走行しており、歩行者が一般道を歩いていることとする。この場合、自動車及びバイクが、自車両とほぼ同様の速度で走行していることとすると、例えば、自動車及びバイクの相対速度は、第２の相対速度閾値以下になり、歩行者の相対速度は、第１の相対速度閾値以上になる。さらに、歩行者が映る物体エリア内の単位時間当たりのイベント数が第１のイベント数閾値以上になることとする。
この場合、歩行者が映る物体エリアA1のフレーム間隔は短くなり、自動車が映る物体エリアA2、及び、バイクが映る物体エリアA3のフレーム間隔は長くなる。例えば、各物体エリアを、別個のフレームとして扱うことで、以上のように、物体エリアごとに、フレーム間隔を制御することができる。
物体エリアごとのフレーム間隔の制御は、各物体エリアを、別個のフレームとして扱う他、前のフレームの物体エリアを、今回のフレームの物体エリアにコピーすることで、いわば見かけ上行うことができる。
図２３は、そのような見かけ上の物体エリアごとのフレーム間隔の制御を説明する図である。
図２３では、フレームデータは、物体エリアB1及びB2に分割されている。
図２３では、物体エリアB1及びB2について、物体エリアB1のフレーム間隔を、物体エリアの中で最も短い時間ΔDに制御し、物体エリアB2のフレーム間隔を、物体エリアB1のフレーム間隔ΔDの２倍の時間に制御することとする。
この場合、フレームデータは、最も短いフレーム間隔ΔDごとに生成される。但し、物体エリアB1については、フレームデータは、最も短いフレーム間隔ΔDごとに生成されるが、物体エリアB2については、最も短いフレーム間隔ΔDの２倍のフレーム間隔ΔD×２ごとに生成される。さらに、物体エリアB2については、最も短いフレーム間隔ΔDの時刻のうちの、フレームデータが生成されない時刻では、フレームデータが生成された最新の時刻で生成されたフレームデータがコピーされる。
すなわち、フレーム間隔ΔDごとの時刻を、t1, t2, ...と表すこととすると、時刻t1では、物体エリアB1及びB2のフレームデータがイベントデータから生成される。
時刻t2では、物体エリアB1のフレームデータはイベントデータから生成され、物体エリアB2のフレームデータは、時刻t1のフレームデータがコピーされることにより生成される。そして、時刻t3では、物体エリアB1及びB2のフレームデータがイベントデータから生成される。さらに、時刻t4では、物体エリアB1のフレームデータはイベントデータから生成され、物体エリアB2のフレームデータは、時刻t3のフレームデータがコピーされることにより生成される。以下、同様にしてフレームデータの生成が行われることで、物体エリアごとのフレーム間隔の制御を見かけ上行うことができる。
以上のような見かけ上の物体エリアごとのフレーム間隔の制御では、イベントデータからの物体エリアB2のフレームデータの生成は、イベントデータからの物体エリアB1のフレームデータの生成の1/2の頻度で済み、物体エリアB2に関し、残りの1/2の頻度については、フレームデータのコピーで済むので、イベントデータからの物体エリアB2のフレームデータの生成を、イベントデータからの物体エリアB1のフレームデータの生成と同一の頻度で行う場合に比較して、処理量が低減され、その結果、消費電力を抑制することができる。
＜本技術を適用したコンピュータの説明＞
次に、上述した一連の処理は、ハードウエアにより行うこともできるし、ソフトウエアにより行うこともできる。一連の処理をソフトウエアによって行う場合には、そのソフトウエアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
図２４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク９０５やROM９０３に予め記録しておくことができる。
あるいはまた、プログラムは、ドライブ９０９によって駆動されるリムーバブル記録媒体９１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体９１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体９１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体９１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク９０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、入出力インタフェース９１０が接続されている。
CPU９０２は、入出力インタフェース９１０を介して、ユーザによって、入力部９０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。あるいは、CPU９０２は、ハードディスク９０５に格納されたプログラムを、RAM(Random Access Memory)９０４にロードして実行する。
これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース９１０を介して、出力部９０６から出力、あるいは、通信部９０８から送信、さらには、ハードディスク９０５に記録等させる。
なお、入力部９０７は、キーボードや、マウス、マイク等で構成される。また、出力部９０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図２５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２５に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２５の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図２６は、撮像部１２０３１の設置位置の例を示す図である。
図２６では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図２６には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、図１のセンサモジュールは、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、適切な運転支援を、低消費電力で行うことができる。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
なお、本技術は、以下の構成をとることができる。
＜１＞
車両で取得可能な車両情報を取得する車両情報取得部と、
前記車両情報に応じて、フレーム生成開始時からフレーム生成終了時までの蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントの発生を表すイベントデータに基づいて生成されるフレームデータのフレームレートを制御する制御部と、
前記フレームレートの前記フレームデータを生成するデータ処理部と
を備えるデータ処理装置。
＜２＞
前記制御部は、連続して生成される前記フレームデータどうしの間隔であるフレーム間隔を制御する
＜１＞に記載のデータ処理装置。
＜３＞
前記制御部は、前記フレームデータのフレーム生成開始時からフレーム生成終了時までの時間であるフレーム幅を制御する
＜１＞に記載のデータ処理装置。
＜４＞
前記制御部は、第１のフレームデータの生成開始時から次の第２のフレームデータの生成開始時までの間隔である開始間隔を制御する
＜１＞に記載のデータ処理装置。
＜５＞
前記制御部は、単位時間当たりのイベントの数にも応じて、前記フレームレートを制御する
＜１＞に記載のデータ処理装置。
＜６＞
前記データ処理部は、前記フレームデータを用いた物体認識を行い、
前記制御部は、前記物体認識の認識結果にも応じて、前記フレームレートを制御する
＜１＞ないし＜５＞のいずれかに記載のデータ処理装置。
＜７＞
前記制御部は、前記物体認識により認識された他の車両にも応じて、前記フレームレートを制御する
＜６＞に記載のデータ処理装置。
＜８＞
前記制御部は、前記物体認識により認識された他の車両のフレームに占める割合にも応じて、前記フレームレートを制御する
＜７＞に記載のデータ処理装置。
＜９＞
カラー画像のフレームデータを出力するカメラをさらに備え、
前記データ処理部は、前記イベントデータに応じて生成された前記フレームデータ、及び、カラー画像のフレームデータを用いて、前記物体認識を行う
＜６＞ないし＜８＞のいずれかに記載のデータ処理装置。
＜１０＞
前記車両情報は、前記車両の車速を含み、
前記制御部は、前記車両の車速に応じて、前記フレームレートを制御する
＜１＞ないし＜９＞のいずれかに記載のデータ処理装置。
＜１１＞
前記車両情報は、物体の、前記車両に対する相対速度を含み、
前記制御部は、前記物体の相対速度に応じて、前記フレームレートを制御する
＜１＞ないし＜９＞のいずれかに記載のデータ処理装置。
＜１２＞
前記制御部は、複数の物体のうちの、前記相対速度が最も速い物体、又は、ユーザが指定した物体の相対速度に応じて、前記フレームレートを制御する
＜１１＞に記載のデータ処理装置。
＜１３＞
前記車両情報は、前記車両のハンドルの操作に関するハンドル情報を含み、
前記制御部は、前記ハンドル情報に応じて、前記フレームレートを制御する
＜１＞ないし＜９＞のいずれかに記載のデータ処理装置。
＜１４＞
前記制御部は、前記フレームデータにおいて物体が映るエリアごとに、前記フレームレートを制御する
＜１＞ないし＜９＞のいずれかに記載のデータ処理装置。
＜１５＞
前記光電変換を行って、前記イベントデータを出力するセンサをさらに備える
＜１＞ないし＜１４＞のいずれかに記載のデータ処理装置。
＜１６＞
車両で取得可能な車両情報を取得することと、
前記車両情報に応じて、フレーム生成開始時からフレーム生成終了時までの蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントの発生を表すイベントデータに基づいて生成されるフレームデータのフレームレートを制御することと、
前記フレームレートの前記フレームデータを生成することと
を含むデータ処理方法。
＜１７＞
車両で取得可能な車両情報を取得する車両情報取得部と、
前記車両情報に応じて、フレーム生成開始時からフレーム生成終了時までの蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントの発生を表すイベントデータに基づいて生成されるフレームデータのフレームレートを制御する制御部と、
前記フレームレートの前記フレームデータを生成するデータ処理部と
して、コンピュータを機能させるためのプログラム。
１１ 車両情報取得部， １２ 制御部， １３ DVS， １４ データ処理部， １５ RGBカメラ， ３１ 画素アレイ部， ３２ 駆動部， ３３ アービタ， ３４ AD変換部， ３５ 出力部， ４１ 画素ブロック， ５１， 画素， ５２ イベント検出部， ５３ 画素信号生成部， ６０ ノード， ６１ 光電変換素子， ６２，６３ 転送トランジスタ， ７１ リセットトランジスタ， ７２ 増幅トランジスタ， ７３ 選択トランジスタ， ７４ FD， ８１ 電流電圧変換部， ８２ バッファ， ８３ 減算部， ８４ 量子化部， ８５ 転送部， ９１ないし９３ FET， １０１ コンデンサ， １０２ オペアンプ， １０３ コンデンサ， １０４ スイッチ， １１１ コンパレータ， １２１ フレーム間隔設定部， １２２ フレーム幅設定部， １２３ データ生成部， １２４ 画像処理部， ９０１ バス， ９０２ CPU， ９０３ ROM， ９０４ RAM， ９０５ ハードディスク， ９０６ 出力部， ９０７ 入力部， ９０８ 通信部， ９０９ ドライブ， ９１０ 入出力インタフェース， ９１１ リムーバブル記録媒体

Claims (17)

  1. 車両で取得可能な車両情報を取得する車両情報取得部と、
    前記車両情報に応じて、フレーム生成開始時からフレーム生成終了時までの蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントの発生を表すイベントデータに基づいて生成されるフレームデータのフレームレートを制御する制御部と、
    前記フレームレートの前記フレームデータを生成するデータ処理部と
    を備えるデータ処理装置。
  2. 前記制御部は、連続して生成される前記フレームデータどうしの間隔であるフレーム間隔を制御する
    請求項１に記載のデータ処理装置。
  3. 前記制御部は、前記フレームデータのフレーム生成開始時からフレーム生成終了時までの時間であるフレーム幅を制御する
    請求項１に記載のデータ処理装置。
  4. 前記制御部は、第１のフレームデータの生成開始時から次の第２のフレームデータの生成開始時までの間隔である開始間隔を制御する
    請求項１に記載のデータ処理装置。
  5. 前記制御部は、単位時間当たりのイベントの数にも応じて、前記フレームレートを制御する
    請求項１に記載のデータ処理装置。
  6. 前記データ処理部は、前記フレームデータを用いた物体認識を行い、
    前記制御部は、前記物体認識の認識結果にも応じて、前記フレームレートを制御する
    請求項１に記載のデータ処理装置。
  7. 前記制御部は、前記物体認識により認識された他の車両にも応じて、前記フレームレートを制御する
    請求項６に記載のデータ処理装置。
  8. 前記制御部は、前記物体認識により認識された他の車両のフレームに占める割合にも応じて、前記フレームレートを制御する
    請求項７に記載のデータ処理装置。
  9. カラー画像のフレームデータを出力するカメラをさらに備え、
    前記データ処理部は、前記イベントデータに応じて生成された前記フレームデータ、及び、カラー画像のフレームデータを用いて、前記物体認識を行う
    請求項６に記載のデータ処理装置。
  10. 前記車両情報は、前記車両の車速を含み、
    前記制御部は、前記車両の車速に応じて、前記フレームレートを制御する
    請求項１に記載のデータ処理装置。
  11. 前記車両情報は、物体の、前記車両に対する相対速度を含み、
    前記制御部は、前記物体の相対速度に応じて、前記フレームレートを制御する
    請求項１に記載のデータ処理装置。
  12. 前記制御部は、複数の物体のうちの、前記相対速度が最も速い物体、又は、ユーザが指定した物体の相対速度に応じて、前記フレームレートを制御する
    請求項８に記載のデータ処理装置。
  13. 前記車両情報は、前記車両のハンドルの操作に関するハンドル情報を含み、
    前記制御部は、前記ハンドル情報に応じて、前記フレームレートを制御する
    請求項１に記載のデータ処理装置。
  14. 前記制御部は、前記フレームデータにおいて物体が映るエリアごとに、前記フレームレートを制御する
    請求項１に記載のデータ処理装置。
  15. 前記光電変換を行って、前記イベントデータを出力するセンサをさらに備える
    請求項１に記載のデータ処理装置。
  16. 車両で取得可能な車両情報を取得することと、
    前記車両情報に応じて、フレーム生成開始時からフレーム生成終了時までの蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントの発生を表すイベントデータに基づいて生成されるフレームデータのフレームレートを制御することと、
    前記フレームレートの前記フレームデータを生成することと
    を含むデータ処理方法。
  17. 車両で取得可能な車両情報を取得する車両情報取得部と、
    前記車両情報に応じて、フレーム生成開始時からフレーム生成終了時までの蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントの発生を表すイベントデータに基づいて生成されるフレームデータのフレームレートを制御する制御部と、
    前記フレームレートの前記フレームデータを生成するデータ処理部と
    して、コンピュータを機能させるためのプログラム。
JP2019059818A 2019-03-27 2019-03-27 データ処理装置、データ処理方法、及び、プログラム Pending JP2020162000A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019059818A JP2020162000A (ja) 2019-03-27 2019-03-27 データ処理装置、データ処理方法、及び、プログラム
PCT/JP2020/011054 WO2020195934A1 (ja) 2019-03-27 2020-03-13 データ処理装置、データ処理方法、及び、プログラム
US17/440,347 US11770625B2 (en) 2019-03-27 2020-03-13 Data processing device and data processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019059818A JP2020162000A (ja) 2019-03-27 2019-03-27 データ処理装置、データ処理方法、及び、プログラム

Publications (1)

Publication Number Publication Date
JP2020162000A true JP2020162000A (ja) 2020-10-01

Family

ID=72610585

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019059818A Pending JP2020162000A (ja) 2019-03-27 2019-03-27 データ処理装置、データ処理方法、及び、プログラム

Country Status (3)

Country Link
US (1) US11770625B2 (ja)
JP (1) JP2020162000A (ja)
WO (1) WO2020195934A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022153854A1 (ja) * 2021-01-13 2022-07-21 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
WO2022249593A1 (ja) * 2021-05-27 2022-12-01 ソニーグループ株式会社 情報処理装置、情報処理システム及び情報処理方法
WO2023145041A1 (ja) * 2022-01-31 2023-08-03 株式会社ソニー・インタラクティブエンタテインメント 信号処理装置、センサ装置、信号処理方法およびプログラム
WO2023186437A1 (en) * 2022-03-30 2023-10-05 Sony Semiconductor Solutions Corporation Sensor device and method for operating a sensor device

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022073228A (ja) * 2020-10-30 2022-05-17 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び電子機器
KR20230162928A (ko) * 2021-03-29 2023-11-29 하만인터내셔날인더스트리스인코포레이티드 Dvs 프레임을 생성하기 위한 방법 및 시스템
WO2023028277A1 (en) * 2021-08-25 2023-03-02 Cyngn, Inc. System and method of off-board-centric autonomous driving computation
WO2023186436A1 (en) * 2022-03-30 2023-10-05 Sony Semiconductor Solutions Corporation Sensor device and method for operating a sensor device

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2574511B1 (en) 2011-09-30 2016-03-16 Honda Research Institute Europe GmbH Analyzing road surfaces
JP2015226255A (ja) * 2014-05-29 2015-12-14 株式会社ニコン 撮像装置および自動車
US10279742B2 (en) 2014-05-29 2019-05-07 Nikon Corporation Image capture device and vehicle
US9986179B2 (en) 2014-09-30 2018-05-29 Qualcomm Incorporated Sensor architecture using frame-based and event-based hybrid scheme
JP2020072317A (ja) * 2018-10-30 2020-05-07 ソニーセミコンダクタソリューションズ株式会社 センサ及び制御方法
JP2022028982A (ja) * 2018-12-05 2022-02-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、信号処理チップ、および、電子機器

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022153854A1 (ja) * 2021-01-13 2022-07-21 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
WO2022249593A1 (ja) * 2021-05-27 2022-12-01 ソニーグループ株式会社 情報処理装置、情報処理システム及び情報処理方法
WO2023145041A1 (ja) * 2022-01-31 2023-08-03 株式会社ソニー・インタラクティブエンタテインメント 信号処理装置、センサ装置、信号処理方法およびプログラム
WO2023186437A1 (en) * 2022-03-30 2023-10-05 Sony Semiconductor Solutions Corporation Sensor device and method for operating a sensor device

Also Published As

Publication number Publication date
WO2020195934A1 (ja) 2020-10-01
US11770625B2 (en) 2023-09-26
US20220201204A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
WO2020195934A1 (ja) データ処理装置、データ処理方法、及び、プログラム
JP7284714B2 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US20220070392A1 (en) Event signal detection sensor and control method
CN112640428B (zh) 固态成像装置、信号处理芯片和电子设备
WO2020090460A1 (ja) センサ及び制御方法
US11818475B2 (en) Data processing device, data processing method, and program
US11823466B2 (en) Object detection device, object detection system, and object detection method
US20220159201A1 (en) Event detection device, system including event detection device, and event detection method
JP2020053827A (ja) 固体撮像素子、および、撮像装置
US20210152762A1 (en) Solid-state imaging element, imaging apparatus, and method of controlling solid-state imaging element
US20220021829A1 (en) Sensor and control method
WO2021241120A1 (ja) 撮像装置及び撮像方法
US11272128B2 (en) Solid-state imaging element, imaging device, and method for controlling solid-state imaging element
WO2021220682A1 (ja) 撮像装置
WO2021131831A1 (ja) 固体撮像素子、および、撮像装置
US20190191119A1 (en) Imaging device and control method
WO2022137993A1 (ja) コンパレータ及び固体撮像素子
WO2021100593A1 (ja) 測距装置及び測距方法
US11711634B2 (en) Electronic circuit, solid-state image sensor, and method of controlling electronic circuit
KR20240035570A (ko) 고체 촬상 디바이스 및 고체 촬상 디바이스 작동 방법
JP2022036354A (ja) データ処理装置、データ処理方法、及び、プログラム