CN114600417B - 同步装置、同步方法以及存储有同步程序的存储装置 - Google Patents

同步装置、同步方法以及存储有同步程序的存储装置 Download PDF

Info

Publication number
CN114600417B
CN114600417B CN202080075239.9A CN202080075239A CN114600417B CN 114600417 B CN114600417 B CN 114600417B CN 202080075239 A CN202080075239 A CN 202080075239A CN 114600417 B CN114600417 B CN 114600417B
Authority
CN
China
Prior art keywords
time
data
synchronization
image sensor
series
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080075239.9A
Other languages
English (en)
Other versions
CN114600417A (zh
Inventor
横田忠至
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN114600417A publication Critical patent/CN114600417A/zh
Application granted granted Critical
Publication of CN114600417B publication Critical patent/CN114600417B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/11—Pitch movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/112—Roll movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/12—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to parameters of the vehicle itself, e.g. tyre models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C15/00—Arrangements characterised by the use of multiplexing for the transmission of a plurality of signals over a common path
    • G08C15/06—Arrangements characterised by the use of multiplexing for the transmission of a plurality of signals over a common path successively, i.e. using time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H04L7/0016—Arrangements for synchronising receiver with transmitter correction of synchronization errors
    • H04L7/0033—Correction by delay
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/14—Yaw
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/16—Pitch
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/18—Roll

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Navigation (AREA)

Abstract

本发明的同步装置(100)在搭载包含图像传感器(21)的多个传感器(10、21)的车辆中被使用。同步装置具备传感器信息获取部(110)，上述传感器信息获取部获取基于图像传感器的检测数据的时间序列数据、以及基于图像传感器以外的其它传感器的检测数据的时间序列数据，作为与车辆的运动状态相关的数据。同步装置具备：错开时间计算部(120)，计算时间序列数据彼此的匹配所需的错开时间；和同步部(130)，基于错开时间，使图像传感器的检测数据和其它传感器的检测数据同步。

Description

同步装置、同步方法以及存储有同步程序的存储装置
相关申请的交叉引用
本申请以在2019年11月1日在日本申请的专利申请第2019-200222号为基础，通过参照整体上引用基础的申请的内容。
技术领域
本说明书中的公开涉及同步多个传感器的检测数据的技术。
背景技术
在专利文献1中公开了基于接收到的时刻信息同步多个传感器间的时刻的技术。在专利文献1的系统中，基于从NTP服务器接收到的时刻信息，修正各传感器的时刻数据。
专利文献1：日本特开2008-51761号公报
然而，在图像传感器的检测数据和其它传感器的检测数据的同步中，希望根据基于图像传感器的检测定时使检测数据彼此同步。但是，在专利文献1的技术中，难以基于接收到的时刻信息来确定图像传感器的检测定时的时刻。因此，在专利文献1的技术中，无法使检测数据彼此准确地同步。
发明内容
所公开的目的在于提供能够准确地同步检测数据彼此的同步装置、同步方法、以及存储有同步程序的存储装置。
为了实现各个目的，本说明书所公开的多个方式采用相互不同的技术方案。另外，权利要求书中所记载的括号内的附图标记是表示与作为一个方式进行后述的实施方式中所记载的具体单元的对应关系的一个例子，并不限定技术范围。
所公开的同步装置之一是在搭载包含图像传感器的多个传感器的车辆中被使用的同步装置，具备：传感器信息获取部，获取基于图像传感器的检测数据的时间序列数据、以及基于图像传感器以外的其它传感器的检测数据的时间序列数据作为与车辆的运动状态相关的数据，错开时间计算部，计算时间序列数据彼此的匹配所需的错开时间；以及同步部，基于错开时间，使图像传感器的检测数据和其它传感器的检测数据同步。
所公开的同步方法之一是在搭载包含图像传感器的多个传感器的车辆中被使用、由处理器执行的同步方法，包括：获取过程，获取基于图像传感器的检测数据的时间序列数据、以及基于图像传感器以外的其它传感器的检测数据的时间序列数据作为与车辆的运动状态相关的数据；计算过程，计算时间序列数据彼此的匹配所需的错开时间；以及同步过程，基于错开时间，使图像传感器的检测数据和其它传感器的检测数据同步。
所公开的存储同步程序的存储装置之一是在搭载包含图像传感器的多个传感器的车辆中被使用、且存储有包括使处理器执行的命令的同步程序的存储装置，命令包括：获取过程，获取基于图像传感器的检测数据的时间序列数据、以及基于图像传感器以外的其它传感器的检测数据的时间序列数据作为与车辆的运动状态相关的数据；计算过程，计算时间序列数据彼此的匹配所需的错开时间；以及同步过程，基于错开时间，使图像传感器的检测数据和其它传感器的检测数据同步。
根据本公开，根据基于图像传感器的检测数据的时间序列数据、和基于其它传感器的检测数据的时间序列数据的匹配所需的错开时间，使检测数据彼此同步。通过在错开时间的计算中使用图像传感器的检测数据，从而根据图像传感器的检测定时相对地同步其它传感器的检测数据。因此，能够进行相对于图像传感器的检测定时的更准确的检测数据的同步。通过以上，能够提供可准确地同步检测数据彼此的同步装置、同步方法、以及存储有同步程序的存储装置。
附图说明
图1是表示包括同步装置的系统的图。
图2是表示同步装置所执行的同步方法的一个例子的流程图。
图3是表示图2的子例程处理的流程图。
图4是表示图3的处理的图像图。
具体实施方式
(第一实施方式)
参照图1～图4并对第一实施方式的同步装置100进行说明。同步装置100是搭载于车辆的电子控制装置。同步装置100使搭载于车辆的多个传感器的检测数据间的时刻同步。时刻同步后的多个检测数据例如在车辆的自身位置推定中被利用。同步装置100经由通信总线等与IMU10、相机20、以及自身位置推定装置200连接。
IMU10是检测作用于车辆的惯性力的车载传感器。IMU10例如由具有三轴陀螺传感器及三轴加速度传感器的六轴的动作传感器提供。IMU10能够通过三轴陀螺传感器检测作用于车辆的偏摆方向、俯仰方向、以及侧倾方向的各角速度。即，IMU10是能够检测与和后述的图像传感器21相同的状态量相关的数据作为与车辆的运动状态相关的数据的传感器。另外，IMU10通过三轴加速度传感器检测作用于车辆的前后方向、上下方向、以及左右方向的各加速度。IMU10将各陀螺传感器以及各加速度传感器的计测结果作为IMU10的检测数据(惯性数据)，依次输出到同步装置100。IMU10是“其它传感器”的一个例子。
相机20是将由图像传感器21以规定的帧率拍摄车辆周边的规定范围而得到的图像数据、以及图像数据的解析结果的至少一方作为检测数据输出的拍摄设备。相机20例如将车辆的前方作为拍摄范围而固定于车辆的规定位置。相机20例如安装于前窗的上端部、后视镜附近、或者仪表盘上表面部等。
相机20具备未图示的透镜单元、图像传感器21以及控制部22。透镜单元使来自拍摄范围的光像在图像传感器21的受光面上成像。图像传感器21是拍摄拍摄范围的图像的拍摄元件。图像传感器21将在受光面上成像的光转换成电信号。图像传感器21由CCD传感器或者CMOS传感器等提供。图像传感器21将电信号依次输出到控制部22。图像传感器21是能够通过持续的图像的拍摄，检测与由IMU10检测出的状态量相同的状态量亦即角速度作为表示车辆的运动状态的数据的传感器。角速度通过后述的角速度计算程序从图像中解析。
控制部22是包括具备处理器23、存储器24、输入输出接口、以及将这些连接的总线等的计算机作为主体的结构。处理器23是用于运算处理的硬件。处理器23例如包括CPU(Central Processing Unit：中央处理器)、GPU(Graphics Processing Unit：图形处理器)以及RISC(Reduced Instruction Set Computer：精简指令集计算机)-CPU等中的至少一种作为核心。
存储器24是非暂时性储存或者存储能够由计算机读取的程序以及数据等的、例如半导体存储器、磁介质以及光学介质等中的至少一种非过渡性实体存储介质(non-transitory tangible storage medium)。存储器24储存由处理器23执行的各种程序。
控制部22控制包括图像传感器21进行拍摄时的曝光状态的图像传感器21的拍摄动作。具体而言，控制部22调整图像传感器21中的像素的电子快门的定时来控制曝光时间，选择读出行，执行与所选择的读出行相应的像素的行选择以及列选择来获取信号。或者，控制部22也可以一并获取各像素的信号。控制部22对从图像传感器21输出的电信号进行图像处理，生成实景的图像数据。
另外，控制部22具备角速度计算功能，该角速度计算功能通过角速度计算程序的执行，与图像处理功能协作计算车辆的偏摆方向、俯仰方向、侧倾方向的各角速度。控制部22例如在角速度的计算中使用视觉测程法。具体而言，控制部22从时间序列的图像数据提取特征点，基于该特征点的每帧的坐标的变化量来计算角速度。由控制部22计算出的角速度中至少包括俯仰方向的角速度(俯仰率)以及侧倾方向的角速度(侧倾率)。控制部22将图像数据以及对应的角速度数据作为相机20的检测数据依次提供给同步装置100。
自身位置推定装置200是推定车辆的自身位置的电子控制装置。自身位置推定装置200与控制部22同样，是包括具备处理器201、存储器202、输入输出接口、以及将这些连接的总线等的计算机作为主体的结构。在自身位置推定装置200中，通过由处理器201执行储存于存储器202的自身位置推定程序所包含的多个命令，来实现自身位置推定功能。例如，自身位置推定装置200通过基于IMU10的检测数据的推算定位来预测车辆的移动量。而且，自身位置推定装置200通过相机20的检测数据和高精度地图的特征信息的匹配，计算车辆的横向以及前后位置的修正量。自身位置推定装置200通过组合这些信息，将车辆的当前位置以及行进方位推定为自身位置信息。所推定的自身位置信息例如用于自动驾驶或者高度驾驶辅助中的车辆的行驶控制等。
同步装置100是处理来自多个车载传感器的检测数据，并将该检测数据提供给需要的ECU等车载装置的电子控制装置。同步装置100是包括具备处理器101、存储器102、输入输出接口、以及将这些连接的总线等的计算机作为主体的结构。处理器101是用于运算处理的硬件。处理器101例如包括CPU(Central Processing Unit)、GPU(Graphics ProcessingUnit)以及RISC(Reduced Instruction Set Computer)-CPU等中的至少一种作为核心。
存储器102是非暂时性储存或者存储能够由计算机读取的程序以及数据等的、例如半导体存储器、磁介质以及光学介质等中的至少一种非过渡性实体存储介质(non-transitory tangible storage medium)。存储器102储存后述的同步程序等、由处理器11执行的各种程序。
处理器101执行储存于存储器102的同步程序所包含的多个命令。由此，同步装置100构建多个用于驾驶辅助的功能模块。这样，在同步装置100中，为了驾驶辅助，储存于存储器102的程序使处理器101执行多个命令，从而构建多个功能模块。具体而言，在同步装置100中构建传感器信息获取部110、错开时间计算部120、以及同步部130等功能部。
传感器信息获取部110获取从IMU10以及相机20输出的检测数据。特别是，传感器信息获取部110获取各检测数据所包含的时间序列的角速度数据。
具体而言，传感器信息获取部110按时间序列缓冲从IMU10输出的角速度数据，生成时间序列数据A作为基于IMU10的时间序列的角速度数据。并且，传感器信息获取部110按时间序列缓冲从相机20输出的角速度数据，生成时间序列数据B作为基于相机20的时间序列的角速度数据。时间序列数据A、B的各值与由计时器、实时时钟等规定的时刻信息建立对应。时刻信息可以由同步装置100设定，也可以由IMU10及相机20、或者其它ECU等设定。各时间序列数据A、B至少包括俯仰率数据以及侧倾率数据。此外，传感器信息获取部110也可以获取由IMU10及相机20、或者其它ECU生成的时间序列数据A、B。传感器信息获取部110按每个规定的周期生成时间序列数据A、B，并向错开时间计算部120提供。
错开时间计算部120计算时间序列数据A和时间序列数据B的匹配所需的错开时间。在这里，匹配是指各时间序列数据A、B在时刻轴上实质性一致。具体而言，错开时间计算部120在将时间序列数据A、B的任一方从初始时刻在时间上错开的情况下，将时间序列数据A、B彼此的类似度最大的时间的错开幅度作为错开时间进行搜索。在错开时间的搜索中，错开时间计算部120例如将时间序列数据A、B彼此一致的似然度设为表示类似度的参数。在这里，似然度是表示时间序列数据A、B彼此一致的概率的值。该情况下，似然度越大，类似度越大，因此错开时间计算部120搜索似然度最大的错开时间。
错开时间计算部120关于按每个规定的周期生成的多组的时间序列数据A、B，针对各组计算错开时间的候补值t。错开时间计算部120根据针对该各组计算出的多个候补值t，决定用于实际的数据同步的错开时间。例如，错开时间计算部120计算多个候补值t的中值，将该中值设为错开时间。错开时间计算部120将计算出的错开时间向同步部130提供。
同步部130基于错开时间，使相机20的检测数据和IMU10的检测数据同步。例如，同步部130以相机20的检测数据为基准，使IMU10的检测数据延迟错开时间，从而进行同步。即，不变更相机20的检测数据的时刻信息，将IMU10的检测数据的时刻信息修正为延迟了错开时间的时刻。同步部130将同步完毕的各检测数据依次提供给自身位置推定装置200等。
此外，同步部130也可以是将错开时间作为检测数据间的同步信息输出的结构。该情况下，自身位置推定装置200修正基于错开时间的检测数据的时刻信息，作为传感器融合处理的前处理。在这种情况下，同步信息的输出相当于同步部130对检测数据间的时刻错开的修正。
接下来，参照图4并根据图2及图3在以下对通过功能模块的共同，同步装置100所执行的同步方法的流程进行说明。此外，在后述的流程中“S”是指由程序所包含的多个命令执行的流程的多个步骤。
首先，在S10中，由传感器信息获取部110缓冲从IMU10及相机20提供的检测数据所包含的角速度的数据，生成时间序列数据A、B。接下来，在S20中，由错开时间计算部120基于所生成的时间序列数据A、B，决定错开时间的候补值t。
参照图3和图4详细描述S20的处理。图3的流程图表示S20中的子例程处理。图4的坐标图是将横轴设为时刻、将纵轴设为角速度而绘制了各时间序列数据A、B的图。首先，在图3的S21中，根据时间序列数据A所包含的值设定任意的关注点at，i，选择时刻与该关注点at，i接近的时间序列数据B中的两点(参照图4的上部分)。
接下来，在S22中，利用插补线Li对所选择的时间序列数据B的两点间进行插补(参照图4的中间部分)。例如，在S22中，通过样条曲线或者三次函数曲线等规定的插补曲线，对两点间进行插补。或者，也可以通过直线对两点间进行插补。接下来，在S23中，将从关注点at，i向时刻轴引垂线Lp时的垂线Lp与插补线Li相交的点设定为时间序列数据B中的比较点bt，i(参照图4的下部分)。换言之，在S22以及S23中，推定假定为在与关注点at，i相同时刻检测出的情况下的时间序列数据B的值。
接下来，在S24中，判定是否对时间序列数据A的全部的关注点设定了比较点。在未设定有比较点的关注点残留的情况下，返回到步骤S21。另一方面，若判定为对全部的关注点设定了比较点，则进入S25。
在S25中，将关注点群和比较点群的似然度成为最大的错开时间决定为类似度最大的候补值t。例如，在S25中，似然度成为最大值Rmax的候补值t基于以下的公式(1)来搜索。该情况下，似然度作为归一化互相关的大小被计算。
[式1]
若计算出候补值t，则进入S26。此外，设定关注点的时间序列数据和设定比较点的时间序列数据也可以相反。
在S26中，判定计算出的候补值t的数量是否到达预先设定的规定数。若判定为没有到达，则进入S27。在S27中，准备下一时间序列数据A、B、即与在之前的处理中用于候补值t的计算的时间序列数据A、B不同的时刻的时间序列数据A、B。若执行S27的处理，则返回到S21，基于下一时间序列数据A、B，计算新的错开时间的候补值t。
另一方面，在S26中，若判定为候补数到达规定数，则进入S28。在S28中，将多个候补值t的中值计算为错开时间。接下来，结束图3的子例程而进入图2的S30。在S30中，由同步部130使IMU10的检测数据的时刻延迟错开时间，从而使检测数据彼此同步。接下来，在S40中，由同步部130将同步完毕的检测数据向自身位置推定装置200输出，从而结束一系列的处理。
此外，上述的S10是“获取过程”的一个例子，S20是“计算过程”的一个例子，S30是“同步过程”的一个例子。
接下来，对第一实施方式的同步装置100带来的作用效果进行说明。
同步装置100计算基于图像传感器21的检测数据的时间序列数据和基于作为其它传感器的IMU10的检测数据的时间序列数据的匹配所需的错开时间。而且，同步装置100基于错开时间，使图像传感器21的检测数据和IMU10的检测数据同步。据此，基于图像传感器21的检测数据计算错开时间，因此能够根据图像传感器21的检测定时使检测数据彼此同步。因此，可以提供能够进行更准确的同步的同步装置100。另外，由此，不利用来自定位卫星的定位信号就能够进行传感器间的同步。
另外，传感器信息获取部110所获取的时间序列数据中包括车辆的角速度数据。角速度与加速度、速度等与车辆的运动状态相关的其它的参数相比，时间上的变动剧烈，能够成为特征性的时间序列数据。因此，容易计算时间序列数据A、B彼此的类似度更高的错开时间。因此，能够进一步提高同步的鲁棒性。
另外，角速度数据中包括车辆的俯仰率数据。俯仰率数据与侧倾率数据以及横摆率数据相比，能够较大地反映伴随行驶的车辆的姿势变化。因此，时间序列数据能够成为时间上的变动更剧烈的数据。因此，能够进一步提高同步的鲁棒性。
并且，作为时间序列数据，获取俯仰率数据和侧倾率数据。侧倾率数据与横摆率数据相比，能够较大地反映伴随行驶的车辆的姿势变化。因此，除了俯仰率数据之外，将侧倾率数据用于错开时间的计算，从而能够进一步提高同步的鲁棒性。
另外，如果以相机20的检测数据为基准，使作为惯性传感器的IMU10的检测数据延迟错开时间，则可以使IMU10的检测数据的时刻与容易产生延迟的相机20的检测数据一致。
另外，针对错开时间的每个候补值计算时间序列数据A、B彼此的类似度，采用该类似度最大的候补值作为错开时间。据此，时间序列数据A、B彼此匹配的错开时间能够由时间序列数据A、B彼此的类似度计算。因此，能够进行更准确的检测数据彼此的同步。
并且，计算时间序列数据A、B彼此一致的似然度的大小作为类似度，采用似然度最大的候补值作为错开时间。据此，时间序列数据A、B彼此匹配的错开时间能够基于时间序列数据A、B彼此一致的似然度的大小来计算。
(第二实施方式)
在第二实施方式中，对第一实施方式中的同步装置100的变形例进行说明。在第二实施方式中，错开时间计算部120计算时间序列数据A、B彼此的残差成为最小的时间作为错开时间的候补值，来代替时间序列数据A、B彼此一致的似然度成为最大的时间。该情况下，例如，错开时间计算部120按每个时刻计算时间序列数据A、B的值彼此的差分值，将表示该差分值或者基于差分值的值的总和的参数设为表示残差的值。
具体而言，错开时间计算部120与第一实施方式同样地设定了与关注点群对应的比较点群之后，在S25中基于以下的公式(2)，搜索数据间的差分平方和成为最小值S1min的候补值t。
[式2]
或者，错开时间计算部120也可以基于以下的公式(3)，搜索数据间的差分绝对值和成为最小值S2min的候补值t。
[式3]
如以上那样，错开时间计算部120能够计算时间序列数据A、B彼此的残差成为最小的时间作为错开时间的候补值。该情况下，与基于似然度的大小来计算候补值的情况相比，错开时间计算部120能够抑制计算量。
(其它实施方式)
本说明书中的公开并不限制于例示的实施方式。公开包含所例示的实施方式和基于这些实施方式的本领域技术人员的变形方式。例如，公开并不限定于在实施方式中示出的部件以及/或者要素的组合。公开能够通过多种组合来实施。公开能够具有可追加到实施方式中的追加的部分。公开包含省略了实施方式的部件以及/或者要素的结构。公开包含一个实施方式与其它实施方式之间的部件以及/或者要素的置换、或者组合。所公开的技术范围并不限定于实施方式的记载。应理解为所公开的几个技术范围由权利要求书的记载表示，还包括与权利要求书的记载等同的意思以及在范围内的全部的变更。
在上述的实施方式中，同步装置100从相机20获取角速度数据。代替此，同步装置100也可以是从相机20获取图像数据，通过解析该图像数据，从而生成角速度数据的结构。
在上述的实施方式中，同步装置100利用车辆的俯仰率以及侧倾率来执行传感器间同步，但用于传感器间同步的运动状态的数据并不限定于此。同步装置100能够利用俯仰率、侧倾率、以及横摆率中的至少一个以上的时间序列数据来计算错开时间。另外，同步装置100也可以利用车辆的加速度、或者速度等的时间序列数据来计算错开时间。只要是与车辆的运动状态相关的数据，任何数据同步装置100都能够用于错开时间的计算。
在上述的实施方式中，同步装置100获取具有图像传感器21的相机20的图像数据作为检测数据。代替此，同步装置100也可以获取具有图像传感器21的LIDAR的点群数据作为检测数据。
在上述的实施方式中，同步装置100使相机20的检测数据和IMU10的检测数据同步。代替此，同步装置100也可以是使相机20的检测数据和LIDAR或者其它相机的检测数据同步的结构。另外，同步装置100也可以是使LIDAR的检测数据和IMU10的检测数据同步的结构。
在上述的实施方式中，错开时间计算部120计算多个错开时间的候补的中值作为错开时间。代替此，错开时间计算部120也可以是计算多个候补的平均值作为错开时间的结构。另外，错开时间计算部120也可以对每隔规定的时间间隔设定的投票值投票计算出的候补值，将投票出的候补值的数量最多的投票值计算为错开时间。该情况下，错开时间计算部120将候补值的投票处设为在归入候补值的情况下该候补值所对应的投票值即可。
同步装置100也可以是包括数字电路以及模拟电路中的至少一方作为处理器而构成的专用的计算机。在这里，特别是所谓的数字电路，例如是ASIC(Application SpecificIntegrated Circuit：专用集成电路)、FPGA(Field Programmable Gate Array：现场可编程逻辑门阵列)、SOC(System on a Chip：系统级芯片)、PGA(Programmable Gate Array：可编程门阵列)、以及CPLD(Complex Programmable Logic Device：复杂可编程逻辑器件)等中的至少一种。另外，这样的数字电路也可以具备储存有程序的存储器。
同步装置100能够由一个计算机、或者通过数据通信装置连接的一组计算机资源提供。例如，上述的实施方式中的同步装置100所提供的功能的一部分也可以由其它的ECU实现。

Claims (13)

1.一种同步装置，在搭载包含图像传感器的多个传感器的车辆中被使用，其中，
所述同步装置具备：
传感器信息获取部，获取基于所述图像传感器的检测数据所包含的时间序列数据、以及基于所述图像传感器以外的其它传感器的检测数据所包含的所述时间序列数据作为与所述车辆的运动状态相关的数据；
错开时间计算部，计算所述时间序列数据彼此的匹配所需的错开时间；以及
同步部，基于所述错开时间，使所述图像传感器的所述检测数据和所述其它传感器的所述检测数据同步，
所述传感器信息获取部获取基于从基于所述图像传感器的时间序列的图像数据提取出的特征点的变化量的时间序列的角速度数据，作为基于所述图像传感器的所述检测数据所包含的所述时间序列数据，获取基于根据作用于所述车辆的惯性力检测所述车辆的角速度的惯性传感器的时间序列的角速度数据，作为基于所述其它传感器的所述检测数据所包含的所述时间序列数据，
所述同步部以所述图像传感器的所述检测数据为基准，使所述惯性传感器的所述检测数据延迟所述错开时间。
2.根据权利要求1所述的同步装置，其中，
所述传感器信息获取部获取包含所述车辆的俯仰率数据的所述角速度数据。
3.根据权利要求2所述的同步装置，其中，
所述传感器信息获取部除了所述俯仰率数据之外，还获取所述车辆的侧倾率数据。
4.根据权利要求1～3中任一项所述的同步装置，其中，
所述错开时间计算部设定多个所述错开时间的候补值，计算每个所述候补值的所述时间序列数据彼此的类似度，将所述类似度最大的所述候补值采用为所述错开时间。
5.根据权利要求4所述的同步装置，其中，
所述错开时间计算部计算所述时间序列数据彼此一致的似然度的大小作为所述类似度，将所述似然度最大的所述候补值采用为所述错开时间。
6.根据权利要求4所述的同步装置，其中，
所述错开时间计算部计算所述时间序列数据彼此的残差的大小作为所述类似度，将所述残差最小的候补值采用为所述错开时间。
7.一种同步方法，在搭载包含图像传感器的多个传感器的车辆中被使用，由处理器执行，其中，
所述同步方法包括：
获取过程，获取基于所述图像传感器的检测数据的时间序列数据、以及基于所述图像传感器以外的其它传感器的所述检测数据的所述时间序列数据，作为与所述车辆的运动状态相关的数据；
计算过程，计算所述时间序列数据彼此的匹配所需的错开时间；以及
同步过程，基于所述错开时间，使所述图像传感器的所述检测数据和所述其它传感器的所述检测数据同步，
在所述获取过程中，获取基于从基于所述图像传感器的时间序列的图像数据提取出的特征点的变化量的时间序列的角速度数据，作为基于所述图像传感器的所述检测数据所包含的所述时间序列数据，获取基于根据作用于所述车辆的惯性力检测所述车辆的角速度的惯性传感器的时间序列的角速度数据，作为基于所述其它传感器的所述检测数据所包含的所述时间序列数据，
在所述同步过程中，以所述图像传感器的所述检测数据为基准，使所述惯性传感器的所述检测数据延迟所述错开时间。
8.根据权利要求7所述的同步方法，其中，
在所述获取过程中，获取包含所述车辆的俯仰率数据的所述角速度数据。
9.根据权利要求8所述的同步方法，其中，
在所述获取过程中，除了所述俯仰率数据之外，还获取所述车辆的侧倾率数据。
10.根据权利要求7～9中任一项所述的同步方法，其中，
在所述计算过程中，设定多个所述错开时间的候补值，计算每个所述候补值的所述时间序列数据彼此的类似度，将所述类似度最大的所述候补值采用为所述错开时间。
11.根据权利要求10所述的同步方法，其中，
在所述计算过程中，计算所述时间序列数据彼此的互相关的大小作为所述类似度，将所述互相关最大的候补值采用为所述错开时间。
12.根据权利要求10所述的同步方法，其中，
在所述计算过程中，计算所述时间序列数据彼此的残差的大小作为所述类似度，将所述残差最小的候补值采用为所述错开时间。
13.一种存储有同步程序的存储装置，所述同步程序在搭载包含图像传感器的多个传感器的车辆中被使用，包括使处理器执行的命令，其中，
所述命令包括：
获取过程，获取基于所述图像传感器的检测数据的时间序列数据、以及基于所述图像传感器以外的其它传感器的所述检测数据的所述时间序列数据，作为与所述车辆的运动状态相关的数据；
计算过程，计算所述时间序列数据彼此的匹配所需的错开时间；以及
同步过程，基于所述错开时间，使所述图像传感器的所述检测数据和所述其它传感器的所述检测数据同步，
在所述获取过程中，获取基于从基于所述图像传感器的时间序列的图像数据提取出的特征点的变化量的时间序列的角速度数据，作为基于所述图像传感器的所述检测数据所包含的所述时间序列数据，获取基于根据作用于所述车辆的惯性力检测所述车辆的角速度的惯性传感器的时间序列的角速度数据，作为基于所述其它传感器的所述检测数据所包含的所述时间序列数据，
在所述同步过程中，以所述图像传感器的所述检测数据为基准，使所述惯性传感器的所述检测数据延迟所述错开时间。
CN202080075239.9A 2019-11-01 2020-09-02 同步装置、同步方法以及存储有同步程序的存储装置 Active CN114600417B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019200222 2019-11-01
JP2019-200222 2019-11-01
PCT/JP2020/033249 WO2021084896A1 (ja) 2019-11-01 2020-09-02 同期装置、同期方法、および同期プログラム

Publications (2)

Publication Number Publication Date
CN114600417A CN114600417A (zh) 2022-06-07
CN114600417B true CN114600417B (zh) 2024-04-26

Family

ID=75715041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080075239.9A Active CN114600417B (zh) 2019-11-01 2020-09-02 同步装置、同步方法以及存储有同步程序的存储装置

Country Status (4)

Country Link
US (1) US20220254165A1 (zh)
JP (1) JP7173373B2 (zh)
CN (1) CN114600417B (zh)
WO (1) WO2021084896A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023176621A1 (ja) * 2022-03-14 2023-09-21 パイオニア株式会社 推定装置、システム、推定方法、およびプログラム
US11952080B2 (en) * 2022-06-16 2024-04-09 Tien Hsin Industries Co., Ltd. Bicycle derailleur system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007327873A (ja) * 2006-06-08 2007-12-20 Tokyo Gas Co Ltd 地震記録データの同期化処理方法
JP2016206149A (ja) * 2015-04-28 2016-12-08 株式会社豊田中央研究所 勾配推定装置及びプログラム
CN106370180A (zh) * 2016-08-29 2017-02-01 常州市钱璟康复股份有限公司 基于动态时间规整算法的惯性传感器初始位置识别方法
CN109186592A (zh) * 2018-08-31 2019-01-11 腾讯科技（深圳）有限公司 用于视觉惯导信息融合的方法和装置以及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7079928B2 (en) 2002-08-01 2006-07-18 Ford Global Technologies, Llc System and method for determining a wheel departure angle for a rollover control system with respect to road roll rate and loading misalignment
JP6710644B2 (ja) * 2017-01-05 2020-06-17 株式会社東芝 動作解析装置、動作解析方法およびプログラム
US10401176B2 (en) 2017-06-21 2019-09-03 Caterpillar Inc. System and method for determining machine state using sensor fusion

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007327873A (ja) * 2006-06-08 2007-12-20 Tokyo Gas Co Ltd 地震記録データの同期化処理方法
JP2016206149A (ja) * 2015-04-28 2016-12-08 株式会社豊田中央研究所 勾配推定装置及びプログラム
CN106370180A (zh) * 2016-08-29 2017-02-01 常州市钱璟康复股份有限公司 基于动态时间规整算法的惯性传感器初始位置识别方法
CN109186592A (zh) * 2018-08-31 2019-01-11 腾讯科技（深圳）有限公司 用于视觉惯导信息融合的方法和装置以及存储介质

Also Published As

Publication number Publication date
JP7173373B2 (ja) 2022-11-16
US20220254165A1 (en) 2022-08-11
CN114600417A (zh) 2022-06-07
JPWO2021084896A1 (zh) 2021-05-06
WO2021084896A1 (ja) 2021-05-06

Similar Documents

Publication Publication Date Title
US10764517B2 (en) Stereo assist with rolling shutters
US11181379B2 (en) System and method for enhancing non-inertial tracking system with inertial constraints
US8401715B2 (en) Vehicle periphery monitoring device
US11223764B2 (en) Method for determining bias in an inertial measurement unit of an image acquisition device
US20220254165A1 (en) Synchronization device, synchronization method, and non-transitory tangible computer readable storage medium
CN106687063A (zh) 跟踪系统及利用其的跟踪方法
US20120281146A1 (en) Image processing device, image processing method, and program for image processing
US20220044424A1 (en) Machine learning and vision-based approach to zero velocity update object detection
JP7231054B2 (ja) 誤差推定装置、誤差推定方法、誤差推定プログラム
JP7140291B2 (ja) 同期装置、同期方法、同期プログラム
JP5267100B2 (ja) 運動推定装置及びプログラム
EP4235574A1 (en) Measuring device, moving device, measuring method, and storage medium
JP6771696B2 (ja) データ同期装置、データ同期方法およびデータ同期プログラム
KR20210083297A (ko) 전자 기기, 보정 방법 및 프로그램
CN114514412B (zh) 误差估计装置、误差估计方法、存储介质
US11282223B2 (en) Signal processing apparatus, signal processing method, and imaging apparatus
US20240144528A1 (en) Apparatus and method for determining position of capturing object using image including capturing object
CN116897366A (zh) 检测装置、检测方法以及程序
CN117636294A (zh) 距离推测装置及距离推测方法
JP2022180672A (ja) 外界認識装置、外界認識方法、および外界認識プログラム
JP4214238B2 (ja) 連動する複数の画像撮像装置を用いる画像処理方法及び装置
CN117906624A (zh) 一种基于异源融合的车辆定位系统及方法
KR20140109076A (ko) 자세정보와 영상정보를 이용한 추적 촬영 시스템 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant