CN114556157A - 同步装置、同步方法、同步程序 - Google Patents

同步装置、同步方法、同步程序 Download PDF

Info

Publication number
CN114556157A
CN114556157A CN202080070199.9A CN202080070199A CN114556157A CN 114556157 A CN114556157 A CN 114556157A CN 202080070199 A CN202080070199 A CN 202080070199A CN 114556157 A CN114556157 A CN 114556157A
Authority
CN
China
Prior art keywords
image
synchronization
reflected wave
external light
wave image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080070199.9A
Other languages
English (en)
Inventor
大畠龙介
湖上润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN114556157A publication Critical patent/CN114556157A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4911—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4918—Controlling received signal intensity, gain or exposure of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

同步装置(1)具备：同步预测部(180)，预测雷达传感器(22)以及外界相机(24)之间的同步偏移时间(T)；变化量计算部(120)，计算外界相机(24)的快门帧(Fo)间的反射波图像(Ir)的时间变化量(ΔR)；图像估计部(130)，基于时间变化量(ΔR)估计从快门帧(Fo)的开始定时偏移了同步偏移时间(T)后的同步定时(ts)处的反射波图像(Ir)；差分提取部(140)，通过将同步定时(ts)处的反射波图像(Ir)与外部光图像(Io)进行对比，提取差分(E)；以及处理判定部(160)，基于差分(E)判定是否使同步处理返回到同步偏移时间(T)的预测。

Description

同步装置、同步方法、同步程序
相关申请的交叉引用
该申请以2019年10月8日在日本申请的专利申请第2019－185388号为基础，并整体上通过参照引用基础申请的内容。
技术领域
本公开涉及同步处理技术。
背景技术
在近年来的车辆中一起搭载有获取与通过电磁波的照射而得到的反射波相对应的反射波图像的雷达传感器、和获取与从外界感知的外部光相对应的外部光图像的外界相机。在这样的车辆中为了使雷达传感器与外界相机同步，在专利文献1公开了对各个获取图像附加时刻信息的技术。
专利文献1：日本专利第3920769号公报
但是，在专利文献1的公开技术中，在雷达传感器以及外界相机与执行同步处理的处理电路之间的路径上，产生图像信号的延迟。其结果是，有处理电路接受图像信号并附加的时刻信息包括与雷达传感器以及外界相机分别实际获取到图像的正规时刻的误差的担心。
发明内容
本公开的课题在于提供使雷达传感器与外界相机高精度地同步的同步装置。本公开的其它的课题在于提供使雷达传感器与外界相机高精度地同步的同步方法。本公开的其它的课题在于提供使雷达传感器与外界相机高精度地同步的同步程序。
以下，对用于解决课题的本公开的技术手段进行说明。
本公开的第一方式是在搭载有获取与通过照射电磁波而得到的反射波相对应的反射波图像的雷达传感器、和获取与从外界感知的外部光相对应的外部光图像的外界相机的车辆中，执行对雷达传感器以及外界相机的同步处理的同步装置，其具备：
同步预测部，预测雷达传感器以及外界相机之间的同步偏移时间；
变化量计算部，计算外界相机的快门帧间的反射波图像的时间变化量；
图像估计部，基于通过变化量计算部计算出的时间变化量，估计从快门帧的开始定时偏移了通过同步预测部预测出的同步偏移时间后的同步定时处的反射波图像；
差分提取部，通过将外部光图像与通过图像估计部估计出的同步定时处的反射波图像进行对比，提取外部光图像与反射波图像的差分；以及
处理判定部，基于通过差分提取部计算出的差分，判定是否使同步处理返回到基于同步预测部的同步偏移时间的预测。
本公开的第二方式是在搭载有获取与通过照射电磁波而得到的反射波相对应的反射波图像的雷达传感器、和获取与从外界感知的外部光相对应的外部光图像的外界相机的车辆中，执行对雷达传感器以及外界相机的同步处理的同步方法，包括：
预测工序，预测雷达传感器以及外界相机之间的同步偏移时间；
计算工序，计算外界相机的快门帧间的反射波图像的时间变化量；
估计工序，基于通过计算工序计算出的时间变化量，估计从快门帧的开始定时偏移了通过预测工序预测出的同步偏移时间后的同步定时处的反射波图像；
提取工序，通过将外部光图像与通过估计工序估计出的同步定时处的反射波图像进行对比，提取外部光图像与反射波图像的差分；以及
判定工序，基于通过提取工序提取出的差分，判定是否使同步处理返回到基于预测工序的同步偏移时间的预测。
本公开的第三方式是储存于存储介质且包括使处理器执行的命令的同步程序，上述同步程序用以在搭载有获取与通过照射电磁波而得到的反射波相对应的反射波图像的雷达传感器、和获取与从外界感知的外部光相对应的外部光图像的外界相机的车辆中，执行对雷达传感器以及外界相机的同步处理，
命令包括：
预测工序，预测雷达传感器以及外界相机之间的同步偏移时间；
计算工序，计算外界相机的快门帧间的反射波图像的时间变化量；
估计工序，基于通过计算工序计算出的时间变化量，估计从快门帧的开始定时偏移了通过预测工序预测出的同步偏移时间后的同步定时处的反射波图像；
提取工序，通过将外部光图像与通过估计工序估计出的同步定时处的反射波图像进行对比，提取外部光图像与反射波图像的差分；以及
判定工序，基于通过提取工序提取出的差分，判定是否使同步处理返回到基于预测工序的同步偏移时间的预测。
根据这些第一～第三方式的同步处理，基于外界相机中的快门帧间的反射波图像的时间变化量估计从该帧的开始定时偏移了雷达传感器以及外界相机之间的同步偏移时间后的同步定时处的反射波图像。同步偏移时间的预测越正确，通过将该同步定时处的反射波图像与外部光图像进行对比而提取出的差分越小。因此，根据基于反射波图像与外部光图像的差分判定是否使同步处理返回到同步偏移时间的预测，能够重复同步处理直至能够正确地预测同步偏移时间。因此，能够使雷达传感器与外界相机高精度地同步。
附图说明
图1是表示第一实施方式的同步装置的整体构成的框图。
图2是表示第一实施方式的同步装置的详细构成的框图。
图3是用于说明第一实施方式的外界相机(a)以及雷达传感器(b)的示意图。
图4是用于说明第一实施方式的外界图像(a)以及反射波图像(b)的示意图。
图5是用于说明第一实施方式的运动补偿块的示意图。
图6是用于说明第一实施方式的运动补偿块的示意图。
图7是用于说明第一实施方式的变化量计算块以及图像估计块的示意图。
图8是用于说明第一实施方式的差分提取块的示意图。
图9是用于说明第一实施方式的差分提取块的示意图。
图10是表示第一实施方式的同步方法的流程图。
图11是表示第二实施方式的同步装置的详细构成的框图。
图12是表示第二实施方式的同步方法的流程图。
具体实施方式
以下，基于附图对多个实施方式进行说明。另外，有时通过在各实施方式中对相对应的构成要素附加相同的附图标记，来省略重复的说明。另外，在各实施方式中仅对构成的一部分进行说明的情况下，该构成的其它的部分能够应用先前说明的其它的实施方式的构成。并且，不仅是在各实施方式的说明中明示的构成的组合，若组合并不特别产生妨碍，则即使未明示，也能够部分地组合多个实施方式的构成彼此。
(第一实施方式)
如图1所示，第一实施方式的同步装置1搭载于车辆3。车辆3是基于自身位置估计等运动估计的结果进行行驶的、例如高度驾驶辅助车或者自动驾驶车等。另外，在以下的说明中，分别将水平面上的车辆3的水平方向中的横向以及前后方向仅称为横向以及前后方向。另外，在以下的说明中，将水平面上的车辆3的垂直方向仅称为垂直方向。
在车辆3，与同步装置1一起搭载有传感器系统2。如图1、2所示，传感器系统2至少包括惯性传感器20、雷达传感器22以及外界相机24而构成。
惯性传感器20例如是获取能够利用于车辆3的运动估计等的惯性信息Ib的所谓的IMU(Inertial Measurement Unit：惯性测量单元)。惯性传感器20获取车辆3的绕前后方向、横向以及垂直方向这三轴的、例如角度、角速度以及角加速度等中的至少一种，作为惯性信息Ib。因此，惯性传感器20例如构成为包括陀螺仪以及加速度传感器等中的至少一种。
第一实施方式的雷达传感器22例如是获取能够利用于车辆3的运动估计等的反射波图像Ir的所谓的LIDAR(Light Detection and Ranging/Laser Imaging Detection andRanging：光探测和测距/激光成像探测和测距)。雷达传感器22获取与通过向车辆3的外界照射电磁波而得到的反射波相对应的反射波图像Ir。如图2所示，雷达传感器22具有激光元件220、拍摄元件221以及拍摄电路222。
拍摄电路222对从激光元件220朝向车辆3的外界的作为电磁波的红外线激光(以下，仅称为激光)进行照射控制，使其成为根据横向的波束转向角的变化而断续的脉冲波束状。伴随该激光照射，拍摄电路222实现滚动快门，该滚动快门按照与在横向驱动的波束转向角相对应的每个扫描线依次曝光并且依次扫描在拍摄元件221的构成像素中在横向上单列或者多列的纵向像素列。拍摄电路222通过将按照拍摄元件221的每个被曝光的像素作为反射波而感知的反射光的、与从激光照射时刻起的到达时间相对应的到该反射光的反射点为止的距离值与这些每个像素相对应的波束转向角建立关联并进行数据化，来获取反射波图像Ir。
这里，与按照拍摄元件221的每个被曝光的像素感知到的作为反射波的反射光的强度相对应的亮度值也可以通过与这些每个像素相对应的波束转向角建立关联并由拍摄电路222进行数据化，来包括于反射波图像Ir。另外，在拍摄元件221也可以具备在断续的激光照射的间隔中根据从车辆3的外界感知的外部光，进行拍摄的功能。该情况下，与按照拍摄元件221的每个被曝光的像素感知的外部光的强度相对应的亮度值也可以通过与这些每个像素相对应的波束转向角建立关联并由拍摄电路242进行数据化，来包括于反射波图像Ir。
外界相机24例如是获取能够利用于车辆3的运动估计等的外部光图像Io的所谓的车载相机。外界相机24获取与从车辆3的外界感知的外部光相对应的外部光图像Io。外界相机24具有拍摄元件241以及拍摄电路242。
拍摄电路242实现全局快门，该全局快门以分别相对应的扫描线一并曝光并且一并扫描在拍摄元件241的构成像素中在横向上多列的纵向像素列。拍摄电路242通过将与按照拍摄元件241的被曝光的每个像素感知的外部光的强度相对应的亮度值与这些每个像素所相对应的像素角建立关联并进行数据化，来获取外部光图像Io。
在外界相机24中扫描全部的扫描线的全局快门帧Fo中，相对于在雷达传感器22中扫描全部的扫描线的滚动快门帧Fr，设定较短的帧期间、和接近的开始定时。因此，如图3所示，在帧Fo、Fr的开始定时正确地同步的情况下，如图4所示，在外观上，与外部光图像Io相比，反射波图像Ir在与车辆3的行驶侧相反侧进行压缩并且额外观测并获取与该压缩量相对应的外界。另外，图4并不示出各图像Ir、Io本身，而示意地示出在各图像Ir、Io拍摄到的外界范围。
如图1所示，第一实施方式的同步装置1例如经由LAN(Local Area Network：局域网)、线束以及内部总线等中的至少一种，与传感器系统2的各构成要素20、22、24连接。同步装置1构成为包括至少一个专用计算机。构成同步装置1的专用计算机可以是估计车辆3的自身位置的定位器的ECU(Electronic Control Unit：电子控制单元)。构成同步装置1的专用计算机也可以是控制车辆3的高度驾驶辅助或者自动驾驶的ECU。构成同步装置1的专用计算机也可以是控制车辆3与外界之间的通信的ECU。
同步装置1通过构成为包括这样的专用计算机，各具有至少一个存储器10以及处理器12。存储器10是非暂时地存储能够通过计算机读取的程序以及数据的、例如半导体存储器、磁介质以及光学介质等中的至少一种的非迁移实体存储介质(non-transitorytangible storage medium)。处理器12例如包括CPU(Central Processing Unit：中央处理器)、GPU(Graphics Processing Unit：图形处理器)以及RISC(Reduced Instruction SetComputer：精简指令集计算机)－CPU等中的至少一种作为核心。处理器12执行存储于存储器10的同步程序所包括的多个命令。由此，同步装置1如图2所示，构建用于执行对雷达传感器22和外界相机24的同步处理的多个功能块。另外，在以下的说明中，将对雷达传感器22以及外界相机24的同步处理仅称为同步处理。
在通过同步装置1构建的多个功能块中，包括误差修正块100、运动补偿块110、变化量计算块120、图像估计块130、差分提取块140、处理判定块160以及同步预测块180。
在误差修正块100输入有在时刻k通过惯性传感器20获取的最新的惯性信息Ib。同时，在误差修正块100输入有通过各种导航运算中的至少一种对时刻k估计出的最新的偏倚误差B。这里，时刻k表示全局快门帧Fo的开始定时(参照图3)。
接受这样的输入，误差修正块100对最新的惯性信息Ib修正最新的偏倚误差B。通过从惯性信息Ib减去偏倚误差B实现该修正。
在图2所示的运动补偿块110输入有通过误差修正块100修正了偏倚误差B的在时刻k的惯性信息Ib。同时，在运动补偿块110输入有在将时刻k作为开始定时的全局快门帧Fo内通过雷达传感器22获取的最新的反射波图像Ir。如图5所示，最新的反射波图像Ir对于每个扫描线的各像素，包括距离值Lr[k，i，j]、波束转向角θr[k，i，j]以及ψr[k，i，j]，作为最新数据值。
这里，[k，i，j]是根据时刻k、表示每个扫描线的排列顺序以及扫描顺序的扫描编号i、以及表示每个扫描线的各像素的像素编号j确定最新数据值Lr、θr、ψr的索引。即，Lr[k，i，j]、θr[k，i，j]以及ψr[k，i，j]作为将下述式1的时刻h(参照图3)作为扫描定时的每个扫描线的最新数据值，输入到运动补偿块110。
[式1]
Figure BDA0003582898700000071
这里，上述式1使用时刻k、扫描编号i以及扫描线间的时间间隔Δh(参照图5)近似地定义进一步考虑了帧Fo、Fr的开始定时间的同步偏移时间T后的时刻h。因此，如图6所示，θr[k，i，j]针对通过激光元件220进行照射后由拍摄元件221中的编号i、j的特定像素在时刻h感知的激光，表示垂直方向上的波束转向角。另一方面，ψr[k，i，j]针对通过激光元件220进行照射后由拍摄元件221中的编号i、j的特定像素在时刻h感知的激光，表示横向上的波束转向角。
接受这样的输入，运动补偿块110对反射波图像Ir的最新数据值，基于修正了偏倚误差B的惯性信息Ib补偿全局快门帧Fo内的基于车辆3的运动(参照图3)的移动量。具体而言，运动补偿块110通过基于修正了偏倚误差B的惯性信息Ib的各种导航运算中的至少一种，计算时刻k处的车辆3的自身位置P[k，i]以及方向余弦矩阵C[k，i]。
这里，[k，i]是根据时刻k和扫描编号i，确定计算结果P、C的索引。即，在同一扫描线的像素彼此中共同地计算P[k，i]以及C[k，i]。因此，运动补偿块110针对最新数据值Lr[k，i，j]、θr[k，i，j]以及ψr[k，i，j]，通过使用了计算结果P[k，i]以及C[k，i]的下述式2补偿在全局快门帧Fo内按照每个扫描编号i进行变化的车辆3的移动量。作为其结果，运动补偿块110对每个扫描线的各像素，计算下述式2的三维极坐标R[k，i，j]。此时，计算出的三维极坐标R[k，i，j]作为补偿了车辆3的移动量的反射波图像Ir的最新数据值，与时刻k建立关联并存储于存储器10。另外，在以下的说明中，将全局快门帧Fo内的车辆3的移动量仅称为车辆移动量。
[式2]
Figure BDA0003582898700000081
在图2所示的变化量计算块120输入(即，读出)有通过运动补偿块110补偿车辆移动量并存储于存储器10的最新以及上一次的反射波图像Ir。接受该输入，变化量计算块120计算全局快门帧Fo间的反射波图像Ir的时间变化量ΔR[k，i，j]。具体而言，变化量计算块120在时刻以外的索引共用的三维极坐标R彼此中，通过下述式3对分别在开始定时的前后的全局快门帧Fo中获取的最新以及上一次的反射波图像Ir进行对比。作为其结果，变化量计算块120对各像素计算成为时刻k处的最新的微分值的时间变化量ΔR[k，i，j]。
[式3]
ΔR[k，i，j]＝R[k，i，j]-R[k-1，i，j]
这里，上述式3使用在这次时刻k开始的全局快门帧Fo中的坐标R[k，i，j]、和在上一次时刻k－1开始的全局快门帧Fo中的坐标R[k－1，i，j]，根据这些坐标间的差分定义变化量ΔR[k，i，j]。因此，变化量计算块120使用在这次以及上一次的同步处理中通过之前的模块100、110的修正以及补偿计算出的三维极坐标R[k，i，j]以及R[k－1，i，j]。但是，仅在从起动的车辆3的行驶开始起初次的同步处理中，变化量计算块120将在该初次之前经由模块100、110的修正以及补偿计算出的三维极坐标R[k－1，i，j]与该初次的三维极坐标R[k，i，j]一起进行使用。
在图2所示的图像估计块130输入有通过变化量计算块120计算出的最新的时间变化量ΔR[k，i，j]。同时，在图像估计块130输入(即，读出)有通过运动补偿块110补偿车辆移动量并存储于存储器10的最新的反射波图像Ir。并且，在变化量计算块120输入(即，读出)有如后面详述的那样通过同步预测块180预测并存储于存储器10的最新的同步偏移时间T。
接受这样的输入，图像估计块130将全局快门帧Fo的开始定时设为时刻k，将在其符号的方向从时刻k偏离了最新的同步偏移时间T的定时(即，时刻k+T)设定为图7所示的同步定时ts。另外，图7并不示出同步偏移时间T的符号为正(+)的情况下的反射波图像Ir本身，而示意地示出在该图像Ir拍摄到的外界范围。因此，图像估计块130基于时刻k处的时间变化量ΔR[k，i，j]估计该同步定时ts处的反射波图像Ir。具体而言，图像估计块130通过使用了时间变化量ΔR[k，i，j]和同步偏移时间T的下述式4，对最新的反射波图像Ir中的三维极坐标R[k，i，j]进行转换。作为其结果，图像估计块130对各像素计算同步定时ts处的反射波图像Ir的估计极坐标Rp[k，i，j]。
[式4]
Figure BDA0003582898700000091
这里，上述式4使用在这次时刻k开始的全局快门帧Fo中的坐标R[k，i，j]、在该时刻k的变化量ΔR[k，i，j]以及同步偏移时间T、该帧Fo的帧期间Δk，估计同步定时ts处的坐标Rp[k，i，j]。因此，图像估计块130生成包括估计极坐标Rp[k，i，j]的反射波图像Ir，作为同步定时ts处的估计数据值。
如图2所示，差分提取块140具有分别对反射波图像Ir以及外部光图像Io进行前处理的子块142、144、和将这些进行了前处理的图像Ir、Io彼此进行对比处理的子块146。
在差分提取块140中的子块142输入有通过运动补偿块110计算出的自身位置P[k，i]以及方向余弦矩阵C[k，i]中的与时刻k相对应的自身位置P[k，1]以及方向余弦矩阵C[k，1]。同时，在子块142输入有通过图像估计块130估计出的同步定时ts处的反射波图像Ir。
接受这样的输入，子块142对反射波图像Ir补偿从全局快门帧Fo的开始定时亦即时刻k起的偏移量。具体而言，子块142将作为同步定时ts处的反射波图像Ir的估计数据值而通过图像估计块130计算出的各像素的估计极坐标Rp[k，i，j]分别转换为下述式5的三维正交坐标Rr[k，i，j]。
[式5]
Rr[k，i，j]＝CT[k，1]·Rp[k，i，j]
这里，上述式5使用全局快门帧Fo的开始定时亦即时刻k处的方向余弦矩阵C[k，1]的转置矩阵CT[k，1]、和该帧Fo内的估计极坐标Rp[k，i，j]，定义三维正交坐标Rr[k，i，j]。因此，子块142进一步通过使用了时刻k处的自身位置P[k，1]的下述式6，对成为进行了坐标转换的反射波图像Ir的最新数据值的各像素的三维正交坐标Rr[k，i，j]补偿时刻h的从时刻k的偏移量。作为其结果，子块142计算下述式6的相对正交坐标x、y、z，作为在时刻k从车辆3观察与各像素相对应的激光反射点的情况下的相对的位置信息。
[式6]
Figure BDA0003582898700000101
子块142还通过下述式7～9对计算出的各像素的相对正交坐标x、y、z进行转换。作为其结果，子块142计算距离值Lr[k，i，j]、波束转向角θr[k，i，j]以及ψr[k，i，j]，作为与时刻k相配合地补偿了偏移的反射波图像Ir的最新数据值。
[式7]
Figure BDA0003582898700000102
[式8]
Figure BDA0003582898700000103
[式9]
Figure BDA0003582898700000104
在图2所示的差分提取块140中，在子块144输入有通过子块142计算出的反射波图像Ir的最新数据值中的波束转向角θr[k，i，j]以及ψr[k，i，j]。同时，在子块144输入有在将时刻k作为开始定时的全局快门帧Fo内通过外界相机24获取的最新的外部光图像Io。如图8所示，最新的外部光图像Io对于每个扫描线的各像素，包括亮度值So[k，m，n]、像素角θo[k，m，n]以及ψo[k，m，n]作为最新数据值。
这里，[k，m，n]是根据时刻k、表示每个扫描线的排列顺序的扫描编号m、以及表示每个扫描线的各像素的像素编号n，确定最新数据值So、θo、ψo的索引。这里，与外部光图像Io有关的扫描编号m的最大值比与反射波图像Ir有关的扫描编号i的最大值大，另外，与外部光图像Io有关的像素编号n的最大值比与反射波图像Ir有关的像素编号j的最大值大。即，由比反射波图像Ir多的像素数高精细地生成外部光图像Io。
另外，如图9所示，θo[k，m，n]针对通过拍摄元件241中编号m、n的特定像素在时刻k感知的外部光，表示垂直方向上的像素角。另一方面，ψo[k，i，j]针对通过拍摄元件241中编号m、n的特定像素在时刻k感知的外部光，表示横向上的像素角。
接受这样的输入，子块144在反射波图像Ir和外部光图像Io中，与低精细侧相配合地对高精细侧进行插值。即，子块144通过插值使高精细侧的外部光图像Io与低精细侧的反射波图像Ir匹配。具体而言，子块144如图8那样搜索相对于各像素的波束转向角θr[k，i，j]以及ψr[k，i，j]分别满足下述式10、11的索引的像素角θo以及ψo。
[式10]
θo[k,m,n]＜θr[k,i，j]≤θo[k,m+1,n]
[式11]
Ψo[k，m，n]＜Ψr[k，i，j]≤Ψo[k，m，n+1]
这里，上述式10将在横向上相互相邻的像素的索引表述为[k，m，n]以及[k，m+1，n]。在该表述下，上述式10使用θo[k，m，n]以及θo[k，m+1，n]，定义波束转向角θr[k，i，j]的搜索条件。另一方面，上述式11将在垂直方向上相互相邻的像素的索引表述为[k，m，n]以及[k，m，n+1]。在该表述下，上述式11使用像素角θo[k，m，n]以及θo[k，m，n+1]，定义波束转向角ψr[k，i，j]的搜索条件。由此，子块144通过下述式12～14的内插(参照图8)，计算在外部光图像Io上与各像素的波束转向角θr[k，i，j]以及ψr[k，i，j]相应的坐标的亮度值So[k，i，j]。
[式12]
Figure BDA0003582898700000121
[式13]
Figure BDA0003582898700000122
[式14]
Figure BDA0003582898700000123
这里，上述式12将在横向上相互相邻的像素的索引表述为[k，m，n]以及[k，m+1，n]。在该表述下，上述式12使用像素角θo[k，m，n]以及θo[k，m+1，n]、分别对应的亮度值So[k，m，n]以及So[k，m+1，n]、以及波束转向角θr[k，i，j]，定义变量S1。
另一方面，上述式13将在垂直方向上相互相邻的像素的索引表述为[k，m，n]以及[k，m，n+1]。另外，上述式13在将在横向上相互相邻的像素的索引表述为[k，m，n]以及[k，m+1，n]的情况下，将在垂直方向上与后者[k，m+1，n]的像素相邻的像素的索引表述为[k，m+1，n+1](参照图8)。换句话说，上述式13在将在垂直方向上相互相邻的像素的索引表述为[k，m，n]以及[k，m，n+1]的情况下，也可以说将在横向上与后者[k，1，n+1]的像素相邻的像素的索引表述为[k，m+1，n+1](参照图8)。在这些表述下，上述式13使用像素角θo[k，m，n+1]以及θo[k，m+1，n+1]、分别对应的亮度值So[k，m，n+1]以及So[k，m+1，n+1]、以及波束转向角θr[k，i，j]，定义变量S2。
并且，上述式14将在垂直方向上相互相邻的像素的索引表述为[k，m，n]以及[k，m，n+1]。在该表述下，上述式14使用像素角ψo[k，m，n]以及ψo[k，m，n+1]、上述式12、13的变量S1、S2、以及波束转向角ψr[k，i，j]，定义进行了插值的外部光图像Io的亮度值So[k，i，j]。
在图2所示的差分提取块140中，在子块146输入有距离值Lr[k，i，j]，作为通过子块142计算出的反射波图像Ir的最新数据值。接受该输入，子块146通过对距离值Lr[k，i，j]的各种滤波处理中的至少一种，提取最新的反射波图像Ir中的边缘。作为其结果，子块146对与提取出的边缘相对应的各像素，计算在横向或者垂直方向上相互相邻的像素彼此的距离值Lr[k，i，j]之差，作为边缘图像值Lre[k，i，j]。
在子块146输入有亮度值So[k，i，j]，作为通过子块144进行了插值的外部光图像Io的最新数据值。接受该输入，子块146通过对亮度值So[k，i，j]的各种滤波处理中的至少一种，提取最新的外部光图像Io中的边缘。作为其结果，子块146对与提取的边缘相对应的各像素，计算在横向或者垂直方向上相互相邻的像素彼此的亮度值So[k，i，j]之差，作为边缘图像值Soe[k，i，j]。
子块146通过对于像这样计算出的边缘图像值Lre[k，i，j]以及Soe[k，i，j]，按照相互对应的每个像素对比反射波图像Ir与外部光图像Io，提取这些图像Io、Ir的差分E[k，i，j]。具体而言，子块146通过在将索引相同的边缘图像值Lre[k，i，j]以及Soe[k，i，j]彼此根据各自的偏差范围进行归一化之后进行对比的下述式15，计算这些图像值间的差分E[k，i，j]。即，子块146在将与反射波图像Ir和外部光图像Io的边缘相关的图像值Lre[k，i，j]以及Soe[k，i，j]彼此根据各自的偏差范围进行归一化之后，执行这些边缘彼此的对比以及差分提取。
[式15]
Figure BDA0003582898700000131
这里，上述式15的右边第一项分别将反射波图像Ir中的边缘图像值Lre[k，i，j]的最大值以及最小值表述为Lremax[k，i，j]以及Lremin[k，i，j]。在该表述下，上述式15的右边第一项根据从最大值Lremax[k，i，j]减去最小值Lremin[k，i，j]后的偏差范围，将边缘图像值Lre[k，i，j]归一化(即，无维化)。
另一方面，上述式15的右边第二项分别将外部光图像Io中的边缘图像值Soe[k，i，j]的最大值以及最小值表述为Soemax[k，i，j]以及Soemin[k，i，j]。在该表述下，上述式15的右边第一项根据从最大值Soemax[k，i，j]减去最小值Soemin[k，i，j]后的偏差范围，将边缘图像值Soe[k，i，j]归一化(即，无维化)。
在图2所示的处理判定块160输入有通过差分提取块140中的子块146提取出的最新的图像Io、Ir彼此的差分E[k，i，j]。接受该输入，处理判定块160基于差分E[k，i，j]，判定是否将同步处理返回到基于同步预测块180的同步偏移时间T的预测。
此时，在按照相互对应的边缘彼此的每个像素对差分E[k，i，j]进行平方和后的值在允许范围内的情况下，设为同步偏移时间T的预测正确，而处理判定块160进行不需要返回的判定。在进行了不需要返回的判定的情况下的同步偏移时间T例如在利用于车辆3的运动估计等时，实现雷达传感器22与外界相机24的同步。另外，在以下的说明中，将按照每个像素对差分E[k，i，j]进行平方和后的值仅称为差分E[k，i，j]的平方和。
与此相对，在差分E[k，i，j]的平方和在允许范围外的情况下，设为同步偏移时间T的预测不正确，而处理判定块160进行需要返回的判定。在进行了需要返回的判定的情况下的同步偏移时间T通过后面详述的同步预测块180，重新预测为与存储器10存储的最新值不同的值。
这里，也可以将作为差分E[k，i，j]而能够判断为正确的值的上限作为阈值，将成为同步预测块180的判定基准的允许范围设定为该阈值以下的数值范围。也可以将作为差分E[k，i，j]而应该判断为不正确的值的下限作为阈值，并将允许范围设定为小于该阈值的数值范围。
在图2所示的同步预测块180随着从起动的车辆3的行驶开始起需要初次的同步处理的判断而输入(即，读出)有存储于存储器10的同步偏移时间T的初始值。接受该输入，同步预测块180暂时将时刻k处的最新的同步偏移时间T预测为初始值，并存储于存储器10。这里，同步偏移时间T的初始值可以是预先设定的固定值。同步偏移时间T的初始值也可以是在过去的同步处理中预测出的可变值。
在同步预测块180，在通过处理判定块160进行了需要返回的判定的情况下，从存储器10输入(即，读出)有不正确预测的同步偏移时间T。接受该输入，同步预测块180通过对不正确预测的同步偏移时间T加上调整值，重新预测时刻k处的最新的同步偏移时间T，并存储于存储器10。此时，同步预测块180根据在这次以及上一次的同步处理中提取的差分E[k，i，j]的平方和间的增减结果，调整偏移调整值的符号以及从初始值起的可变量。因此，在进行了需要返回的判定的情况下，在同步预测块180也输入(即，读出)有存储于存储器10的偏移调整值的初始值。这里，偏移调整值的初始值可以是预先设定的固定值。偏移调整值的初始值也可以是在过去的同步处理中预测出的可变值。
根据以上，在第一实施方式中，运动补偿块110相当于“运动补偿部”，变化量计算块120相当于“变化量计算部”，图像估计块130相当于“图像估计部”。并且在第一实施方式中，差分提取块140相当于“差分提取部”，处理判定块160相当于“处理判定部”，同步预测块180相当于“同步预测部”。
以下，根据图10对通过到此为止进行了说明的功能块100、110、120、130、140、160、180的合作，同步装置1执行同步处理实现的同步方法的流程进行说明。另外，按照起动的车辆3的行驶开始后重复的每个全局快门帧Fo执行本流程。另外，在本流程中，各“S”分别是指根据同步程序所包括的多个命令执行的多个步骤。并且，在以下的说明中省略索引的表述。
在S101中，同步预测块180将在全局快门帧Fo的开始时刻k在雷达传感器22与外界相机24之间产生的同步偏移时间T暂时预测为存储于存储器10的初始值，并存储于存储器10。
在S102中，误差修正块100对通过惯性传感器20在时刻k获取的最新的惯性信息Ib修正最新的偏倚误差B。在S103中，运动补偿块110对在时刻k开始的全局快门帧Fo内通过雷达传感器22获取的最新的反射波图像Ir补偿该帧Fo内的车辆移动量。此时的补偿基于通过S102修正了偏倚误差B后的惯性信息Ib。
在S104中，变化量计算块120计算补偿了车辆移动量的最新以及上一次图像Ir间的变化量ΔR，作为全局快门帧Fo间的反射波图像Ir的时间变化量ΔR。另外，通过在执行从起动的车辆3的行驶开始起初次的同步处理的本流程的执行之前，分别各执行一次与S101相同的修正以及与S102相同的补偿，计算该初次的时间变化量ΔR所需要的三维极坐标R。
在S105中，图像估计块130估计从时刻k处的全局快门帧Fo的开始定时偏移了通过S101或者后述的S110在之前最近预测出的最新的同步偏移时间T后的同步定时ts处的反射波图像Ir。此时的图像估计基于通过S104计算出的时间变化量ΔR。
在S106中，差分提取块140的子块142对通过S105估计出的同步定时ts处的反射波图像Ir补偿从全局快门帧Fo的开始定时亦即时刻k起的偏移量。
在S107中，差分提取块140的子块144根据通过S106进行了偏移补偿的反射波图像Ir，对在时刻k开始的全局快门帧Fo内通过外界相机24获取的最新的外部光图像Io进行插值。此时的插值使高精细侧的外部光图像Io与低精细侧的反射波图像Ir匹配。
在S108中，差分提取块140的子块146通过对通过S106进行了偏移补偿的反射波图像Ir、和通过S107进行了插值的外部光图像Io进行对比来提取差分E。在将与反射波图像Ir和外部光图像Io的边缘相关的图像值Lre、Soe根据各自的偏差范围进行归一化之后，对这些边缘彼此执行此时的对比以及差分提取。
在S109中，处理判定块160基于通过S108提取的差分E，判定是否使同步处理返回到同步偏移时间T的预测。其结果是，在进行了不需要返回的判定的情况下，本流程结束。
另一方面，在进行了需要返回的判定的情况下，在S110中，同步预测块180重新预测时刻k处的同步偏移时间T并存储于存储器10，之后再次使S102执行。通过根据在这次以及上一次的同步处理中提取出的差分E间的增减结果，调整对不正确预测的同步偏移时间T加上的偏移调整值的可变量，来实现此时的重新预测。
根据以上，在第一实施方式中，S101、S110相当于“预测工序”，S103相当于“补偿工序”，S104相当于“计算工序”。另外在第一实施方式中，S105相当于“估计工序”，S106、S107、S108相当于“提取工序”，S109相当于“判定工序”。
(作用效果)
以下对在以上进行了说明的第一实施方式的作用效果进行说明。
根据第一实施方式的同步处理，基于外界相机24中的全局快门帧Fo间的反射波图像Ir的时间变化量ΔR估计从该帧Fo的开始定时偏移了雷达传感器22以及外界相机24之间的同步偏移时间T后的同步定时ts处的反射波图像Ir。同步偏移时间T的预测越正确，通过将在该同步定时ts的反射波图像Ir与外部光图像Io进行对比而提取的差分E越小。因此，根据基于反射波图像Ir与外部光图像Io的差分E判定是否使同步处理返回到同步偏移时间T的预测，能够重复同步处理直至正确地预测同步偏移时间T。因此，能够使雷达传感器22与外界相机24高精度地同步。
第一实施方式的反射波图像Ir在补偿从全局快门帧Fo的开始定时起的偏移量之后，与外部光图像Io进行对比。据此，在全局快门帧Fo内获取的反射波图像Ir能够被补偿为成为在该帧Fo的开始定时与外部光图像Io一起获取的图像。即，进行了补偿的反射波图像Ir能够拟制为实质与外部光图像Io同时获取，所以通过这些图像Ir、Io的对比，能够正确地提取差分E，能够使雷达传感器22与外界相机24高精度地同步。
根据第一实施方式，在全局快门的帧Fo间的反射波图像Ir的变化量计算之前，对反射波图像Ir补偿该帧Fo内的车辆移动量。据此，在全局快门的帧Fo内(具体而言按照每个滚动快门的帧Fr)，计算补偿了变化的车辆移动量之后的时间变化量ΔR。因此，能够从基于这样的时间变化量ΔR预测出的同步定时ts的反射波图像Ir正确地提取与外部光图像Io的差分E，使雷达传感器22与外界相机24高精度地同步。
第一实施方式的反射波图像Ir与外部光图像Io在与低精细侧相配合地对高精细侧进行插值之后进行对比。据此，通过在消除了精细度不同所引起的图像Ir、Io彼此的不匹配之后进行对比，能够正确地提取差分E，所以能够使雷达传感器22与外界相机24高精度地同步。
第一实施方式的反射波图像Ir与外部光图像Io对边缘彼此进行对比。据此，容易从对比容易的边缘彼此正确地提取差分E，所以能够使雷达传感器22与外界相机24高精度地同步。
第一实施方式的反射波图像Ir和外部光图像Io在将图像值Lre、Soe彼此根据各自的偏差范围进行归一化之后进行对比。据此，通过作为归一化的结果而进行了缩放的图像值Lre、Soe彼此的对比，能够正确地提取差分E，所以能够使雷达传感器22与外界相机24高精度地同步。
(第二实施方式)
图11所示第二实施方式是第一实施方式的变形例。
第二实施方式的雷达传感器2022例如是获取能够利用于车辆3的运动估计等的反射波图像Ir的所谓的成像雷达。雷达传感器2022从车辆3的外界获取与通过照射作为电磁波的毫米波(电波)得到的反射波相对应的反射波图像Ir。雷达传感器2022具有发送天线2220、接收天线2221以及拍摄电路2222。
拍摄电路2222将毫米波照射控制为脉冲波束状，作为从配置为阵列状的多个发送天线2220朝向车辆3的外界的电磁波。随着该毫米波照射，拍摄电路2222分别按照相对应的扫描线扫描与配置为阵列状的多个接收天线2221相对应的构成像素中在横向上多列的纵像素列。拍摄电路2222通过将与从毫米波照射时刻起的感知到的反射波的到达时间相对应的、到该反射波的反射点为止的距离值与每个像素相对应的波束转向角建立关联并数据化，获取反射波图像Ir。
在第二实施方式的差分提取块2140追加有对外部光图像Io进行前处理的子块2145。在子块2145输入有通过子块144进行了插值的外部光图像Io。接受该输入，子块2145从进行了插值的外部光图像Io提取雷达传感器2220的物体捕捉率较高的特定物标。
这里，雷达传感器2220的物体捕捉率较高的特定物标理想而言是指外界的物体部分中的从车辆3观察向里侧方向凹陷的角部分。但是，根据外部光图像Io，难以辨别外界的物体部分中的从车辆3观察向里侧方向凹陷的角部分、和从车辆3观察向近前方向凸出的角部分。因此，子块2145从外部光图像Io提取外界的物体部分中的凹陷的角部分和凸出的角部分双方。
第二实施方式的差分提取块2140代替第一实施方式的子块146，而具有对进行了前处理的图像Ir、Io彼此进行对比处理的子块2146。在子块2146输入有亮度值So[k，i，j]，作为通过子块2145从外部光图像Io提取的特定物标的特征量亦即最新数据值。
关于该输入以外的功能，子块2146实现与第一实施方式的子块146相同的功能。其结果是，对在这些图像Ir、Io拍摄到的特定物标即角部分，实现反射波图像Ir与外部光图像Io的对比。
在第二实施方式的同步装置1的流程中，如图12所示，代替第一实施方式的S108，依次执行S2110、S2111。在S2110中，差分提取块2140的子块2146从通过S107进行了插值的外部光图像Io提取雷达传感器2220的物体捕捉率较高的特定物标。
在S2111中，差分提取块2140的子块2146通过对通过S106进行了偏移补偿的反射波图像Ir、和通过S2110提取出的外部光图像Io的特定物标进行对比提取差分E。在将与反射波图像Ir和外部光图像Io的特定物标彼此的边缘相关的图像值Lre、Soe根据各自的偏差范围进行归一化之后，对各个边缘彼此执行此时的对比以及差分提取。
根据以上，在第二实施方式中，差分提取块140、2140相当于“差分提取部”，S106、S107、S2110、S2111相当于“提取工序”。
根据到此为止进行了说明的第二实施方式，即使代替向车辆3的外界进行照射的电磁波成为红外线激光的第一实施方式的雷达传感器22，使用该电磁波成为毫米波的雷达传感器2022，也能够发挥与第一实施方式相同的作用效果。
(其它的实施方式)
以上，对多个实施方式进行了说明，但本公开并不限定于这些实施方式进行解释，能够在不脱离本公开的主旨的范围内应用各种实施方式以及组合。
变形例中的同步装置1也可以是构成为包括数字电路以及模拟电路中的至少一方作为处理器的专用的计算机。这里特别是数字电路例如是ASIC(Application SpecificIntegrated Circuit：专用集成电路)、FPGA(Field Programmable Gate Array：现场可编程门阵列)、SOC(System on a Chip：芯片上系统)、PGA(Programmable Gate Array：可编程门阵列)、以及CPLD(Complex Programmable Logic Device：复杂可编程逻辑器件)等中的至少一种。另外，这样的数字电路也可以具备储存了程序的存储器。
变形例中的误差修正块100以及S102也可以省略。在这种情况下的运动补偿块110以及S103中，也可以基于通过惯性传感器20在时刻k获取的最新的惯性信息Ib，补偿车辆移动量。
在变形例中的差分提取块140、2140的子块142以及S106中，也可以在外部光图像Io中补偿反射波图像Ir中的从时刻k的偏移量。变形例中的反射波图像Ir也可以比外部光图像Io高精细。在这种情况下的差分提取块140、2140的子块144以及S107中，也可以与低精细侧的外部光图像Io相配合地对高精细侧的反射波图像Ir进行插值。
在变形例中的差分提取块140、2140的子块142、146、2146以及S106、S108、S2111中，也可以代替反射波图像Ir的距离值Lr而使用与该距离值Lr相关联地包括于该图像Ir的亮度值或者强度值。在变形例中的差分提取块140、2140的子块146、2146以及S108、S2111中，也可以将反射波图像Ir的距离值Lr和外部光图像Io的亮度值So直接作为图像值，提供给对比以及差分提取。在变形例中的差分提取块140、2140的子块146、2146以及S108、S2111中，也可以与反射波图像Ir和外部光图像Io中的一方相配合地使另一方归一化，之后提供给对比以及差分提取。
变形例中的雷达传感器22也可以是通过全局快门获取反射波图像Ir的构成。在该情况下的其它的变形例中，也可以省略模块100、110、142以及S102、S103、S106。这里，在其它的变形例的子块144以及S107中，可以在全局快门帧Fo内获取的最新图像Ir、Io中，与低精细侧相配合地对高精细侧进行插值。另外，在其它的变形例的子块146以及S108中，可以将在全局快门帧Fo内获取的最新图像Ir、Io彼此进行对比。

Claims (18)

1.一种同步装置，是在搭载有雷达传感器(22、2022)和外界相机(24)的车辆(3)中执行对上述雷达传感器以及上述外界相机的同步处理的同步装置(1)，上述雷达传感器获取与通过照射电磁波而得到的反射波相对应的反射波图像(Ir)，上述外界相机获取与从外界感知的外部光相对应的外部光图像(Io)，其中，上述同步装置具备：
同步预测部(180)，预测上述雷达传感器以及上述外界相机之间的同步偏移时间(T)；
变化量计算部(120)，计算上述外界相机的快门帧(Fo)间的上述反射波图像的时间变化量(ΔR)；
图像估计部(130)，基于通过上述变化量计算部计算出的上述时间变化量，估计从上述快门帧的开始定时偏移了通过上述同步预测部预测出的上述同步偏移时间后的同步定时(ts)处的上述反射波图像；
差分提取部(140、2140)，通过将上述外部光图像与通过上述图像估计部估计出的上述同步定时处的上述反射波图像进行对比，提取上述外部光图像与上述反射波图像的差分(E)；以及
处理判定部(160)，基于通过上述差分提取部计算出的上述差分，判定是否使上述同步处理返回到基于上述同步预测部的上述同步偏移时间的预测。
2.根据权利要求1所述的同步装置，其中，
上述差分提取部在对上述反射波图像补偿从上述快门帧的上述开始定时起的偏移量之后，将上述反射波图像与上述外部光图像进行对比。
3.根据权利要求2所述的同步装置，其中，
上述同步装置还具备运动补偿部(110)，上述运动补偿部在上述变化量计算部计算上述时间变化量之前，对上述反射波图像补偿上述快门帧内的上述车辆的运动所引起的移动量。
4.根据权利要求1～3中的任意一项所述的同步装置，其中，
上述差分提取部在与上述反射波图像和上述外部光图像中的低精细侧相配合地对上述反射波图像和上述外部光图像中的高精细侧进行插值之后，将上述反射波图像与上述外部光图像进行对比。
5.根据权利要求1～4中的任意一项所述的同步装置，其中，
上述差分提取部将上述反射波图像与上述外部光图像的边缘彼此进行对比。
6.根据权利要求1～5中的任意一项所述的同步装置，其中，
上述差分提取部在将上述反射波图像与上述外部光图像的图像值(Lre、Soe)彼此根据各自的偏差范围进行归一化之后，进行对比。
7.一种同步方法，是在搭载有雷达传感器(22)和外界相机(24)的车辆(3)中执行对上述雷达传感器以及上述外界相机的同步处理的同步方法，上述雷达传感器获取与通过照射电磁波而得到的反射波相对应的反射波图像(Ir)，上述外界相机获取与从外界感知的外部光相对应的外部光图像(Io)，其中，上述同步方法包括：
预测工序(S101、S110)，预测上述雷达传感器以及上述外界相机之间的同步偏移时间(T)；
计算工序(S104)，计算上述外界相机的快门帧(Fo)间的上述反射波图像的时间变化量(ΔR)；
估计工序(S105)，基于通过上述计算工序计算出的上述时间变化量，估计从上述快门帧的开始定时偏移了通过上述预测工序预测出的上述同步偏移时间后的同步定时(ts)处的上述反射波图像；
提取工序(S106、S107、S108、S2110、S2111)，通过将上述外部光图像与通过上述估计工序估计出的上述同步定时处的上述反射波图像进行对比，提取上述外部光图像与上述反射波图像的差分(E)；以及
判定工序(S109)，基于通过上述提取工序提取出的上述差分，判定是否使上述同步处理返回到基于上述预测工序的上述同步偏移时间的预测。
8.根据权利要求7所述的同步方法，其中，
上述提取工序在对上述反射波图像补偿从上述快门帧的上述开始定时起的偏移量之后，将上述反射波图像与上述外部光图像进行对比。
9.根据权利要求8所述的同步方法，其中，
上述同步方法还包括补偿工序(S103)，在上述补偿工序中，在基于上述计算工序的上述时间变化量的计算之前，对上述反射波图像补偿上述快门帧内的上述车辆的运动所引起的移动量。
10.根据权利要求7～9中的任意一项所述的同步方法，其中，
上述提取工序在与上述反射波图像和上述外部光图像中的低精细侧相配合地对上述反射波图像和上述外部光图像中的高精细侧进行插值之后，将上述反射波图像与上述外部光图像进行对比。
11.根据权利要求7～10中的任意一项所述的同步方法，其中，
上述提取工序将上述反射波图像与上述外部光图像的边缘彼此进行对比。
12.根据权利要求7～11中的任意一项所述的同步方法，其中，
上述提取工序在将上述反射波图像与上述外部光图像的图像值(Lre、Soe)彼此根据各自的偏差范围进行归一化之后，进行对比。
13.一种同步程序，储存于存储介质(10)且包括使处理器(12)执行的命令，上述同步程序用以在搭载有雷达传感器(22)和外界相机(24)的车辆(3)中执行对上述雷达传感器以及上述外界相机的同步处理，上述雷达传感器获取与通过照射电磁波而得到的反射波相对应的反射波图像(Ir)，上述外界相机获取与从外界感知的外部光相对应的外部光图像(Io)，其中，
上述命令包括：
预测工序(S101、S110)，预测上述雷达传感器以及上述外界相机之间的同步偏移时间(T)；
计算工序(S104)，计算上述外界相机的快门帧(Fo)间的上述反射波图像的时间变化量(ΔR)；
估计工序(S105)，基于通过上述计算工序计算出的上述时间变化量，估计从上述快门帧的开始定时偏移了通过上述预测工序预测出的上述同步偏移时间后的同步定时(ts)处的上述反射波图像；
提取工序(S106、S107、S108、S2110、S2111)，通过将上述外部光图像与通过上述估计工序估计出的上述同步定时处的上述反射波图像进行对比，提取上述外部光图像与上述反射波图像的差分(E)；以及
判定工序(S109)，基于通过上述提取工序提取出的上述差分，判定是否使上述同步处理返回到基于上述预测工序的上述同步偏移时间的预测。
14.根据权利要求13所述的同步程序，其中，
上述提取工序在对上述反射波图像补偿从上述快门帧的上述开始定时起的偏移量之后，将上述反射波图像与上述外部光图像进行对比。
15.根据权利要求14所述的同步程序，其中，
上述命令还包括补偿工序(S103)，在上述补偿工序中，在基于上述计算工序的上述时间变化量的计算之前，对上述反射波图像补偿上述快门帧内的上述车辆的运动所引起的移动量。
16.根据权利要求13～15中的任意一项所述的同步程序，其中，
上述提取工序在与上述反射波图像和上述外部光图像中的低精细侧相配合地对上述反射波图像和上述外部光图像中的高精细侧进行插值之后，将上述反射波图像与上述外部光图像进行对比。
17.根据权利要求13～16中的任意一项所述的同步程序，其中，
上述提取工序将上述反射波图像与上述外部光图像的边缘彼此进行对比。
18.根据权利要求13～17中的任意一项所述的同步程序，其中，
上述提取工序在将上述反射波图像与上述外部光图像的图像值(Lre、Soe)彼此根据各自的偏差范围进行归一化之后，进行对比。
CN202080070199.9A 2019-10-08 2020-10-06 同步装置、同步方法、同步程序 Pending CN114556157A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019185388 2019-10-08
JP2019-185388 2019-10-08
PCT/JP2020/037853 WO2021070814A1 (ja) 2019-10-08 2020-10-06 同期装置、同期方法、同期プログラム

Publications (1)

Publication Number Publication Date
CN114556157A true CN114556157A (zh) 2022-05-27

Family

ID=75437520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080070199.9A Pending CN114556157A (zh) 2019-10-08 2020-10-06 同步装置、同步方法、同步程序

Country Status (4)

Country Link
US (1) US20220229184A1 (zh)
JP (1) JP7140291B2 (zh)
CN (1) CN114556157A (zh)
WO (1) WO2021070814A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102615478B1 (ko) * 2019-10-24 2023-12-19 현대모비스 주식회사 자동차용 센서 통합 모듈
CN114217665A (zh) * 2021-12-21 2022-03-22 清华大学 一种相机和激光雷达时间同步方法、装置及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0763861A (ja) * 1993-08-30 1995-03-10 Nippon Telegr & Teleph Corp <Ntt> 並列計算型降雨レーダ画像予測装置
JP7005392B2 (ja) 2017-03-14 2022-01-21 株式会社トプコン 涙液層厚み測定装置及び方法
JP7160040B2 (ja) 2017-08-22 2022-10-25 ソニーグループ株式会社 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム
US10739784B2 (en) 2017-11-29 2020-08-11 Qualcomm Incorporated Radar aided visual inertial odometry initialization

Also Published As

Publication number Publication date
US20220229184A1 (en) 2022-07-21
JPWO2021070814A1 (zh) 2021-04-15
WO2021070814A1 (ja) 2021-04-15
JP7140291B2 (ja) 2022-09-21

Similar Documents

Publication Publication Date Title
US10200638B2 (en) Stereo assist with rolling shutters
JP6825569B2 (ja) 信号処理装置、信号処理方法、およびプログラム
TWI695181B (zh) 用於產生彩色點雲的方法和系統
EP2500748B1 (en) Stereo camera apparatus and method of obtaining image
US11802772B2 (en) Error estimation device, error estimation method, and error estimation program
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
WO2012172870A1 (ja) 距離計測装置及び環境地図生成装置
WO2012120856A1 (ja) 物体検出装置及び物体検出方法
EP2624575A1 (en) Image processing device and image capturing device using same
JP2019191118A (ja) 測距処理装置、測距モジュール、測距処理方法、およびプログラム
US20220229184A1 (en) Synchronization device, synchronization method, and synchronization program
JP6377970B2 (ja) 視差画像生成装置及び視差画像生成方法
EP3432265A1 (en) Image processing device, apparatus control system, image pickup device, image processing method, and program
US20210387636A1 (en) Method for estimating distance to and location of autonomous vehicle by using mono camera
CN111164648A (zh) 移动体的位置推断装置及位置推断方法
JP2006322795A (ja) 画像処理装置、画像処理方法および画像処理プログラム
EP3640585B1 (en) Stereo camera device
JP2009139324A (ja) 車両用走行路面検出装置
CN114600417B (zh) 同步装置、同步方法以及存储有同步程序的存储装置
KR102195040B1 (ko) 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법
CN111260538B (zh) 基于长基线双目鱼眼相机的定位及车载终端
Darms et al. Data fusion strategies in advanced driver assistance systems
CN114514412B (zh) 误差估计装置、误差估计方法、存储介质
JP4285618B2 (ja) ステレオカメラの自己診断装置
AU2018102199A4 (en) Methods and systems for color point cloud generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination