CN110648370A - 标定数据筛选方法、装置及电子设备 - Google Patents
标定数据筛选方法、装置及电子设备 Download PDFInfo
- Publication number
- CN110648370A CN110648370A CN201910931819.2A CN201910931819A CN110648370A CN 110648370 A CN110648370 A CN 110648370A CN 201910931819 A CN201910931819 A CN 201910931819A CN 110648370 A CN110648370 A CN 110648370A
- Authority
- CN
- China
- Prior art keywords
- matrix
- acceleration
- sub
- accelerations
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012216 screening Methods 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 59
- 239000011159 matrix material Substances 0.000 claims abstract description 569
- 230000001133 acceleration Effects 0.000 claims abstract description 454
- 238000013519 translation Methods 0.000 claims abstract description 83
- 239000013598 vector Substances 0.000 claims abstract description 60
- 238000005259 measurement Methods 0.000 claims abstract description 28
- 230000009466 transformation Effects 0.000 claims abstract description 23
- 230000015654 memory Effects 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 7
- 238000009826 distribution Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000006641 stabilisation Effects 0.000 description 4
- 238000011105 stabilization Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本申请提出一种标定数据筛选方法、装置及电子设备，属于数据处理技术领域。其中，该方法包括：在预设采集时段内，获取惯性测量单元对应的第一加速度矩阵及摄像头对应的第二加速度矩阵；按照第一预设的规则，依次从第一加速度矩阵中抽取多个第一子矩阵，从第二加速度矩阵中抽取相应的多个第二子矩阵；根据每个第一子矩阵与对应的第二子矩阵间的第一平移向量，计算每个第一子矩阵经过平移变换后与对应的第二子矩阵间的误差值；根据每个第一子矩阵与对应的第二子矩阵间的误差值，从第一加速度矩阵及第二加速度矩阵中分别筛选出用于标定的目标加速度。由此，通过这种标定数据筛选方法，使得标定结果可以更快收敛，提高了标定结果的准确性。
Description
技术领域
本申请涉及数据处理技术领域，尤其涉及计算机视觉技术领域，提出一种标定数据筛选方法、装置及电子设备。
背景技术
随着计算机视觉技术的飞速发展，图像处理技术作为实现电子稳像技术、计算摄像头运动轨迹的工具，已被广泛应用。
相关技术中，为给人们提供更为清晰稳定的视频成像效果，可以在摄像头上刚性搭载惯性测量单元(Inertial Measurement Unit，简称IMU)，使用IMU反应摄像头的运动轨迹，并通过IMU数据对摄像头的外参进行标定，以实时获取摄像头的姿态信息，实现电子稳像。但是，这种对摄像头的外参进行标定的方法，在摄像头发生了抖动、快速运动或者被遮挡时，容易导致求解结果不收敛，降低了标定的准确性。
发明内容
本申请提出的标定数据筛选方法、装置及电子设备，用于解决相关技术中，通过在摄像头上刚性搭载IMU，并通过IMU数据对摄像头的外参进行标定的方法，在摄像头发生了抖动、快速运动或者被遮挡时，容易导致求解结果不收敛，降低了标定的准确性的问题。
本申请一方面实施例提出的标定数据筛选方法，包括：在预设采集时段内，获取惯性测量单元对应的第一加速度矩阵及摄像头对应的第二加速度矩阵，第一加速度矩阵中每行元素表征所述惯性测量单元在每个采集时刻的第一加速度，第二加速度矩阵中每行元素表征所述摄像头在每个采集时刻的第二加速度；按照第一预设的规则，依次从所述第一加速度矩阵中抽取多个第一子矩阵，从所述第二加速度矩阵中抽取相应的多个第二子矩阵，其中，每个第一子矩阵中各行对应的采集时刻与相应的第二子矩阵中相同行对应的采集时刻相同；分别计算每个第一子矩阵与对应的第二子矩阵间的第一平移向量；根据每个第一平移向量，计算每个第一子矩阵经过平移变换后与对应的第二子矩阵间的误差值；根据每个第一子矩阵与对应的第二子矩阵间的误差值，从所述第一加速度矩阵及所述第二加速度矩阵中分别筛选出用于标定的目标加速度。
本申请另一方面实施例提出的标定数据筛选装置，包括：获取模块，用于在预设采集时段内，获取惯性测量单元对应的第一加速度矩阵及摄像头对应的第二加速度矩阵，第一加速度矩阵中每行元素表征所述惯性测量单元在每个采集时刻的第一加速度，第二加速度矩阵中每行元素表征所述摄像头在每个采集时刻的第二加速度；抽取模块，用于按照第一预设的规则，依次从所述第一加速度矩阵中抽取多个第一子矩阵，从所述第二加速度矩阵中抽取相应的多个第二子矩阵，其中，每个第一子矩阵中各行对应的采集时刻与相应的第二子矩阵中相同行对应的采集时刻相同；第一计算模块，用于分别计算每个第一子矩阵与对应的第二子矩阵间的第一平移向量；第二计算模块，用于根据每个第一平移向量，计算每个第一子矩阵经过平移变换后与对应的第二子矩阵间的误差值；筛选模块，用于根据每个第一子矩阵与对应的第二子矩阵间的误差值，从所述第一加速度矩阵及所述第二加速度矩阵中分别筛选出用于标定的目标加速度。
本申请再一方面实施例提出的电子设备，其包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前所述的标定数据筛选方法。
本申请又一方面实施例提出的存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行如前所述的标定数据筛选方法。
上述申请中的任一个实施例具有如下优点或有益效果：通过对IMU采集的数据以及摄像头采集的数据进行筛选，有效去除了采集数据时摄像头的抖动或快速运动产生的模糊数据，从而使得标定结果可以更快收敛，提高了标定结果的准确性。因为采用在预设采集时段内，获取惯性测量单元对应的第一加速度矩阵及摄像头对应的第二加速度矩阵，并按照第一预设的规则，依次从第一加速度矩阵中抽取多个第一子矩阵，从第二加速度矩阵中抽取相应的多个第二子矩阵，其中，每个第一子矩阵中各行对应的采集时刻与相应的第二子矩阵中相同行对应的采集时刻相同，之后根据每个第一子矩阵与对应的第二子矩阵间的第一平移向量，计算每个第一子矩阵经过平移变换后与对应的第二子矩阵间的误差值，进而根据每个第一子矩阵与对应的第二子矩阵间的误差值，从第一加速度矩阵及所述第二加速度矩阵中分别筛选出用于标定的目标加速度的技术手段，所以克服了在摄像头发生了抖动、快速运动或者被遮挡时，容易导致摄像头外参标定的求解结果不收敛，降低了标定的准确性的问题，进而达到了有效去除采集数据时摄像头的抖动或快速运动产生的模糊数据，使得标定结果可以更快收敛，提高了标定结果的准确性的技术效果。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1为本申请实施例所提供的一种标定数据筛选方法的流程示意图；
图2为本申请实施例所提供的另一种标定数据筛选方法的流程示意图；
图3为本申请实施例所提供的再一种标定数据筛选方法的流程示意图；
图4为本申请实施例提供的一种标定数据筛选装置的结构示意图；
图5为本申请实施例提供的电子设备的结构示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本申请实施例针对相关技术中，通过在摄像头上刚性搭载IMU，并通过IMU数据对摄像头的外参进行标定的方法，在摄像头发生了抖动、快速运动或者被遮挡时，容易导致求解结果不收敛，降低了标定的准确性的问题，提出一种标定数据筛选方法。
下面参考附图对本申请提供的标定数据筛选方法、装置、电子设备及存储介质进行详细描述。
图1为本申请实施例所提供的一种标定数据筛选方法的流程示意图。
如图1所示，该标定数据筛选方法，包括以下步骤：
步骤101，在预设采集时段内，获取惯性测量单元对应的第一加速度矩阵及摄像头对应的第二加速度矩阵，第一加速度矩阵中每行元素表征所述惯性测量单元在每个采集时刻的第一加速度，第二加速度矩阵中每行元素表征所述摄像头在每个采集时刻的第二加速度。
需要说明的是，随着计算机视觉技术的飞速发展，图像处理技术作为实现电子稳像技术，摄像头运动轨迹的工具，已被广泛应用。摄像头的抖动通常会造成采集的图像质量的下降，从而影响用户体验。比如，用户在手持相机拍摄时的手持抖动会导致图像模糊；架设在红绿灯路口的监控摄像机，会受到大风等不可抗击的因素影响引起视频图像画面的晃动，从而加大了处理违章车辆等工作的工作量；在车辆驾驶室里安装的行车记录仪在颠簸路段时容易产生随机抖动，严重影响行车记录仪采集的视频质量；在自动驾驶领域，摄像头的抖动导致的图像质量下降，会影响导航的准确度，等等。
为了提供更为清晰稳定的视频成像效果，可以通过在摄像头上刚性搭载I惯性测量单元(Inertial Measurement Unit，简称IMU)，反映摄像头的运动轨迹，并通过IMU数据对摄像头的外参进行标定，进而达到稳像的效果。但在用于外参标定的IMU数据进行采集的过程中，如果摄像头出现了较大的抖动、快速运动或被遮挡的情况，从而导致采集到的IMU数据失真，进而影响到最终的标定结果。因此，在本申请实施例中，可以在获取到用于摄像头外参标定的数据之后，首先对标定数据进行筛选，以去除无用数据，从而达到提升标定结果准确性的目的。
其中，第一加速度矩阵，是指在预设采集时段内的每个采集时刻，采集的惯性测量单元在三维空间中三个方向(分别采用X、Y、Z表示)分别对应的加速度值，第一加速度矩阵中的每行元素可以用于表征在每个采集时刻采集的惯性测量单元的第一加速度，即惯性测量单元在X、Y、Z三个方向上的加速度值。
其中，第二加速度矩阵，是指在预设采集时段内的每个采集时刻，采集的摄像头在三维空间中三个方向(分别采用X、Y、Z表示)分别对应的加速度值，第二加速度矩阵中的每行元素可以用于表征在每个采集时刻采集的摄像头的第二加速度，即摄像在X、Y、Z三个方向上的加速度值。
可选的，可以控制摄像头在预设采集时段内进行图像采集，比如，可以对标定板进行图像采集，并对摄像头在每个采集时刻采集的图像数据进行三角变换，以确定摄像头对应的位置矩阵，进而对摄像头对应的位置矩阵进行二阶求导，即可获得摄像头对应的第二加速度矩阵。
需要说明的是，在对摄像头的外参进行标定之前，需要首先采集用于标定的标定数据，即第一加速度矩阵与第二加速度矩阵，并对获取到的第一加速度矩阵与第二加速度矩阵中的数据进行筛选，以获得符合要求的标定数据，从而提高摄像头外参标定的准确性。
实际使用时，预设采集时段的时长，以及采集频率等可以根据实际需要预设，本申请实施例对此不做限定。比如，预设采集时段可以是10分钟，采集频率可以是1次/秒。
步骤102，按照第一预设的规则，依次从所述第一加速度矩阵中抽取多个第一子矩阵，从所述第二加速度矩阵中抽取相应的多个第二子矩阵，其中，每个第一子矩阵中各行对应的采集时刻与相应的第二子矩阵中相同行对应的采集时刻相同。
其中，第一预设的规则，可以包括第一步长和窗口长度，即按照第一预设的规则中包括的第一步长和窗口长度从第一加速度中抽取多个第一子矩阵，以及从第二加速度矩阵中抽取相应的多个第二子矩阵。也就是说，抽取的各第一子矩阵与各第二子矩阵的行数为窗口长度，相邻的两个第一子矩阵首行对应的采集时刻间的时间间隔为第一步长，同样的，相邻的两个第二子矩阵首行对应的采集时刻间的时间间隔也为第一步长。
可以理解的是，由于摄像头的抖动、快速移动、被遮挡等因素，可以导致的采集的数据失真，因此，可以将第一加速度矩阵与第二加速度矩阵分别划分为多个子矩阵，进而对各个子矩阵中的数据进行分析、校验，以确定可以用于摄像头外参标定的数据，并将其他不可用的数据去除。
举例来说，预设采集时段为10分钟，采集频率为1次/秒，第一预设的规则包括第一步长为10秒，窗口长度为60秒，则抽取的每个第一子矩阵与每个第二子矩阵的行数为60行，相邻的两个第一子矩阵首行对应的采集时刻间的时间间隔、以及相邻的两个第二子矩阵首行对应的采集时刻间的时间间隔均为10秒。
需要说明的是，上述举例均为示例性的，不能视为对本申请的限制。实际使用时，可以根据实际需要以及具体的应用场景，对第一预设的规则进行预设，本申请实施例对此不做限定。
步骤103，分别计算每个第一子矩阵与对应的第二子矩阵间的第一平移向量。
在本申请实施例中，按照第一预设的规则，从第一加速度矩阵中抽取出各第一子矩阵，以及从第二加速度矩阵中抽取出各第二子矩阵之后，可以分别计算每个第一子矩阵与其对应的第二子矩阵间的第一平移向量。
可选的，作为一种可能的实现方式，可以通过公式(1)确定每个第一子矩阵与其对应的第二子矩阵间的第一平移向量。
A×[R,T]＝B (1)
其中，A为第一子矩阵，B为与A对应的第二子矩阵，R为旋转矩阵，T为A与B间的第一平移向量。
步骤104，根据每个第一平移向量，计算每个第一子矩阵经过平移变换后与对应的第二子矩阵间的误差值。
在本申请实施例中，确定出每个第一子矩阵与其对应的第二子矩阵间的第一平移向量之后，可以根据每个第一平移向量，对每个第一子矩阵进行平移变换，进而确定出每个第一子矩阵经过平移变换后与对应的第二子矩阵间的误差值。
作为一种可能的实现方式，可以根据每个第一子矩阵与对应的第二子矩阵间的第一平移向量，构造平移矩阵，并计算每个第一子矩阵与其对应的平移矩阵的乘积，进而计算每个第一子矩阵与其对应的平移矩阵的乘积，与相应的第二子矩阵间的差值矩阵，并将差值矩阵中所有元素之和确定为每个第一子矩阵经过平移变换后与对应的第二子矩阵间的误差值。
举例来说，A为一个3行3列的第一子矩阵，B为第一子矩阵对应的第二子矩阵，T’为根据A与B间的第一平移向量T构造的平移矩阵，其中，
则[A,1]×T’＝[A’,0]，即A’为第一子矩阵A经过平移变换后的矩阵，差值矩阵C＝A’-B，则误差值为差值矩阵C中的所有元素之和。
步骤105，根据每个第一子矩阵与对应的第二子矩阵间的误差值，从所述第一加速度矩阵及所述第二加速度矩阵中分别筛选出用于标定的目标加速度。
在本申请实施例中，可以根据每个第一子矩阵与对应的第二子矩阵间的误差值，从第一加速度矩阵及第二加速度矩阵中分别筛选出用于标定的目标加速度。
具体的，可以筛选出误差值最小的一个或多个第一子矩阵以及对应的第二子矩阵，并将筛选出的第一子矩阵中包括的加速度以及筛选出的第二子矩阵中包括的加速度确定为用于标定的目标加速度。
根据本申请实施例的技术方案，通过在预设采集时段内，获取惯性测量单元对应的第一加速度矩阵及摄像头对应的第二加速度矩阵，并按照第一预设的规则，依次从第一加速度矩阵中抽取多个第一子矩阵，从第二加速度矩阵中抽取相应的多个第二子矩阵，其中，每个第一子矩阵中各行对应的采集时刻与相应的第二子矩阵中相同行对应的采集时刻相同，之后根据每个第一子矩阵与对应的第二子矩阵间的第一平移向量，计算每个第一子矩阵经过平移变换后与对应的第二子矩阵间的误差值，进而根据每个第一子矩阵与对应的第二子矩阵间的误差值，从第一加速度矩阵及所述第二加速度矩阵中分别筛选出用于标定的目标加速度。由此，通过对IMU采集的数据以及摄像头采集的数据进行筛选，有效去除了采集数据时摄像头的抖动或快速运动产生的模糊数据，从而使得标定结果可以更快收敛，提高了标定结果的准确性。
在本申请一种可能的实现形式中，在筛选出用于标定的第一子矩阵与第二子矩阵(即目标加速度)之后，还可以对与筛选出的第一子矩阵及第二子矩阵相邻的加速度进行进一步验证，以确定是否可以对确定出的目标加速度进行扩充，以提高筛选出的目标加速度的可靠性，进一步提升摄像头外参标定的准确度。
下面结合图2，对本申请实施例提供的标定数据筛选方法进行进一步说明。
图2为本申请实施例所提供的另一种标定数据筛选方法的流程示意图。
如图2所示，该标定数据筛选方法，包括以下步骤：
步骤201，在预设采集时段内，获取惯性测量单元对应的第一加速度矩阵及摄像头对应的第二加速度矩阵，第一加速度矩阵中每行元素表征所述惯性测量单元在每个采集时刻的第一加速度，第二加速度矩阵中每行元素表征所述摄像头在每个采集时刻的第二加速度。
步骤202，按照第一预设的规则，依次从所述第一加速度矩阵中抽取多个第一子矩阵，从所述第二加速度矩阵中抽取相应的多个第二子矩阵，其中，每个第一子矩阵中各行对应的采集时刻与相应的第二子矩阵中相同行对应的采集时刻相同。
步骤203，分别计算每个第一子矩阵与对应的第二子矩阵间的第一平移向量。
步骤204，根据每个第一平移向量，计算每个第一子矩阵经过平移变换后与对应的第二子矩阵间的误差值。
上述步骤201-204的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
步骤205，将与对应的第二子矩阵间的误差值最小的第一子矩阵，确定为第一基准矩阵。
在本申请实施例中，可以首先将与对应的第二子矩阵间的误差值最小的第一子矩阵确定为第一基准矩阵，进而对与第一基准矩阵相邻的加速度进行进一步校验，以确定是否需要对第一基准矩阵进行修正。
步骤206，按照第二预设的规则，分别对所述第一加速度矩阵中与所述第一基准矩阵相邻的两侧加速度依次进行校验，以从所述第一加速度矩阵中筛选出用于标定的第一目标加速度矩阵。
在本申请实施例中，第二预设的规则，可以包括第二步长，即可以按照第二预设的规则中包括的第二步长，获取第一加速度矩阵中与第一基准矩阵相邻的两侧加速度，其中，获取的每侧加速度的行数为第二步长，并对获取的与第一基准矩阵相邻的两侧加速度进行校验，以确定获取的两侧加速度是否可以用于标定，若可以用于标定，则可以将第一基准矩阵与获取的相邻的两侧加速度共同组成的矩阵，确定为第一目标加速度矩阵。
举例来说，第二预设的规则中包括的第二步长为4，则可以从第一加速度矩阵中获取处于第一基准矩阵之前的且与第一基准矩阵相邻的4行加速度，以及处于第一基准矩阵之后的且与第一基准矩阵相邻的4行加速度，并分别对获取的两组4行加速度进行校验，以确定第一目标加速度矩阵。
具体的，若经过校验，确定两组4行加速度均不可用于标定，则可以将第一基准矩阵确定为第一目标加速度矩阵；若确定处于第一基准矩阵之前的4行加速度可以用于标定，则可以将第一基准矩阵与前4行加速度组成的矩阵确定为第一目标加速度矩阵；若确定处于第一基准矩阵之后的4行加速度可以用于标定，则可以将第一基准矩阵与后4行加速度组成的矩阵确定为第一目标加速度矩阵；若确定两组4行加速度均可以用于标定，则可以将第一基准矩阵与两组4行加速度组成的矩阵确定为第一目标加速度矩阵。
需要说明的是，上述举例仅为示例性的，不能视为对本申请的限制。实际使用时，可以根据实际需要预设第二预设的规则中包括的第二步长，本申请实施例对此不做限定。比如，为保证标定数据筛选的可靠性，可以将第二步长预设为较小的值。
进一步的，可以根据获取的两侧加速度的直方图分布与第一基准矩阵的直方图分布的相似度，确定获取的两侧加速度是否可以用于标定。即在本申请实施例一种可能的实现形式中，上述步骤206，可以包括：
在所述第一加速度矩阵中，抽取与所述第一基准矩阵相邻、且位于所述第一基准矩阵之前的n个第一候选加速度，其中n为大于或等于1的整数；
计算所述n个第一候选加速度对应的第一直方图，与所述第一基准矩阵中前n个加速度对应的第二直方图间的第一相似度；
若所述第一相似度大于第一阈值，则利用所述n个第一候选加速度对所述第一基准矩阵进行前扩充。
需要说明的是，本申请实施例中的n可以相当于前述第二预设的规则中包括的第二步长。
其中，第一直方图，可以反映n个第一候选加速度在各个取值的数量；第二直方图，可以反映第一基准矩阵中前n个加速度在各个取值的数量。
在本申请实施例中，可以通过直方图描述第一基准矩阵的加速度分布，以及获取的与第一基准矩阵相邻的n行两侧加速度的分布，进而根据两侧加速度直方图与第一基准矩阵的直方图的相似度，确定两侧加速度是否可以用于标定。
作为一种可能的实现方式，可以首先从第一加速度矩阵中，抽取与第一基准矩阵相邻、且位于第一基准矩阵之前的n个第一候选加速度，并计算n个第一候选加速度对应的第一直方图，与第一基准矩阵中前n个加速度对应的第二直方图间的第一相似度。若第一相似度大于第一阈值，则可以确定n个第一候选加速度与第一基准矩阵前n个加速度的分布较相似，即可以确定n个第一候选加速度可以用于标定，进而可以利用n个第一候选加速度对第一基准矩阵进行前扩充。
进一步的，在利用n个第一候选加速度对第一基准矩阵进行前扩充之后，还可以从第二加速度矩阵中选取与n个第一候选加速度对应的n个第二候选加速度对第二基准矩阵进行扩充。即在本申请实施例一种可能的形式中，上述利用n个第一候选加速度对第一基准矩阵进行前扩充之后，还可以包括：
根据所述n个第一候选加速度对应的采集时刻，从所述第二加速度矩阵中抽取对应的n个第二候选加速度对第二基准矩阵进行前扩充，其中，所述第二基准矩阵为与所述第一基准矩阵对应的第二子矩阵。
在本申请实施例中，从第一加速度矩阵中筛选出的加速度，与从第二加速度矩阵中筛选出的加速度，需要具有一一对应关系，因此，在利用n个第一候选加速度对第一基准矩阵进行前扩充之后，还可以确定第二加速度矩阵中与n个第一候选加速度对应的n个第二候选加速度，并利用n个第二候选加速度对第二基准矩阵进行前扩充。
进一步的，在利用n个第一候选加速度对第一基准矩阵进行前扩充之后，还可以对第一加速度矩阵中其他未校验的加速度矩阵继续进行校验。即在本申请实施例一种可能的形式中，上述利用n个第一候选加速度对第一基准矩阵进行前扩充之后，还可以包括：
在所述第一加速度矩阵中，抽取与前扩充后的第一基准矩阵相邻、且位于前扩充后的第一基准矩阵之前的m个第一候选加速度，其中，m为大于或等于1的整数；
计算新抽取的m个第一候选加速度对应的第三直方图，与前扩充后的第一基准矩阵中前m个加速度对应的第四直方图间的第二相似度；
若所述第二相似度大于第一阈值，则利用新抽取的m个第一候选加速度对前扩充后的第一基准矩阵继续进行前扩充。
其中，m的取值的取值可以小于n的取值，以使每次校验抽取的候选加速度的行数逐渐较少，进而进一步提高标定数据筛选的可靠性。
在本申请实施例中，利用n个第一候选加速度对第一基准矩阵进行前扩充之后，可以从第一加速度矩阵中，继续抽取与前扩充之后的第一基准矩阵相邻、且位于前扩充后的第一基准矩阵之前的m个第一候选加速度，并计算新抽取的m个第一候选加速度对应的第三直方图，与前扩充后的第一基准矩阵中前m个加速度对应的第四直方图间的第二相似度。若第二相似度大于第一阈值，则可以确定新抽取的m个第一候选加速度与前扩充后的第一基准矩阵前m个加速度的分布较相似，即可以确定新抽取的m个第一候选加速度可以用于标定，进而可以利用新抽取的m个第一候选加速度对前扩充后的第一基准矩阵继续进行前扩充。
相应的，在利用新抽取的m个第一候选加速度对前扩充后的第一基准矩阵继续进行前扩充之后，还可以确定第二加速度矩阵中与新抽取的m个第一候选加速度对应的m个第二候选加速度，并利用m个第二候选加速度对前扩充之后的第二基准矩阵继续进行前扩充。
进一步的，若确定第二相似度小于或等于第一阈值，则可以进一步降低m的取值，并对候选加速度进行进一步校验。即在本申请实施例一种可能的实现形式中，上述计算新抽取的m个第一候选加速度对应的第三直方图，与前扩充后的第一基准矩阵中前m个加速度对应的第四直方图间的第二相似度之后，还可以包括：
若所述第二相似度小于或等于第一阈值、且m为大于1的整数，则从所述第一加速度矩阵中，抽取与前扩充后的第一基准矩阵相邻、且位于前扩充后的第一基准矩阵之前的m-1个第一候选加速度，继续计算相似度，直至新计算的相似度小于或等于第一阈值、且新抽取的第一候选加速度的数量为1，则确定第一基准矩阵前扩充结束。
作为一种可能的实现方式，若第二相似度小于或等于第一阈值，且m为大于1的整数，则可以进一步减小m的取值，以对新抽取的m个第一候选加速度进行进一步校验，即从第一加速度矩阵中，抽取与前扩充后的第一基准矩阵相邻、且位于前扩充后的第一基准矩阵之前的m-1个第一候选加速度，继续计算相似度，若相似度大于第一阈值，则利用新抽取的m-1个第一候选加速度对前扩充后的第一基准矩阵继续继续前扩充；若相似度小于或等于第一阈值，则抽取与前扩充后的第一基准矩阵相邻、且位于前扩充后的第一基准矩阵之前的m-2个第一候选加速度，继续计算相似度，以此类推，直至新计算的相似度小于或等于第一阈值、且新抽取的第一候选加速度的数量为1，则确定第一基准矩阵前扩充结束。
需要说明的是，可以按照前述对第一基准矩阵及第二基准矩阵进行前扩充的方式，对第一基准矩阵及第二基准矩阵进行后扩充，此处不再赘述。
步骤207，根据所述第一目标加速度矩阵对应的各采集时刻，从所述第二加速度矩阵中获取第二目标加速度矩阵。
在本申请实施例中，在确定出第一目标加速度矩阵之后，则可以根据第一目标加速度矩阵对应的各采集时刻，从第二加速度矩阵中获取与第一目标加速度矩阵对应的第二目标加速度矩阵，并将第一目标加速度矩阵包括的加速度与第二目标加速度矩阵包括的加速度确定为用于标定的目标加速度。
需要说明的是，在本申请实施例中，既可以以第一加速度矩阵为基准，首先对第一基准矩阵两侧的加速度进行验证，以确定第一目标加速度矩阵，进而根据第一目标加速度矩阵，从第二加速度矩阵中确定第二目标加速度矩阵；也可以以第二加速度矩阵为基准，首先对第二基准矩阵两侧的加速度进行验证，以确定第二目标加速度矩阵，进而根据第二目标加速度矩阵，从第一加速度矩阵中确定第一目标加速度矩阵，本申请实施例对此不做限定，具体的实现过程及原理，可以参照前述过程的描述，此处不再赘述。
根据本申请实施例的技术方案，通过在预设采集时段内，获取惯性测量单元对应的第一加速度矩阵及摄像头对应的第二加速度矩阵，并按照第一预设的规则，依次从第一加速度矩阵中抽取多个第一子矩阵，从第二加速度矩阵中抽取相应的多个第二子矩阵，之后根据每个第一子矩阵与对应的第二子矩阵间的第一平移向量，计算每个第一子矩阵经过平移变换后与对应的第二子矩阵间的误差值，进而将与对应的第二子矩阵间的误差值最小的第一子矩阵，确定为第一基准矩阵，以及按照第二预设的规则，分别对第一加速度矩阵中与第一基准矩阵相邻的两侧加速度依次进行校验，以从第一加速度矩阵中筛选出用于标定的第一目标加速度矩阵，进而根据第一目标加速度矩阵对应的各采集时刻，从第二加速度矩阵中获取第二目标加速度矩阵。由此，通过首先确定出用于标定的基准数据，进而通过校验对基准数据进行扩充，不仅有效去除了采集数据时摄像头的抖动或快速运动产生的模糊数据，而且提高了筛选出的标定数据可靠性，进一步提高了标定结果的准确性。
在本申请一种可能的实现形式中，还可以根据第一加速度矩阵与第二加速度矩阵间的误差变换趋势，对基准矩阵进行扩充，以提高筛选出的目标加速度的可靠性，进一步提升摄像头外参标定的准确度。
下面结合图3，对本申请实施例提供的标定数据筛选方法进行进一步说明。
图3为本申请实施例所提供的再一种标定数据筛选方法的流程示意图。
如图3所示，该标定数据筛选方法，包括以下步骤：
步骤301，在预设采集时段内，获取惯性测量单元对应的第一加速度矩阵及摄像头对应的第二加速度矩阵，第一加速度矩阵中每行元素表征所述惯性测量单元在每个采集时刻的第一加速度，第二加速度矩阵中每行元素表征所述摄像头在每个采集时刻的第二加速度。
步骤302，按照第一预设的规则，依次从所述第一加速度矩阵中抽取多个第一子矩阵，从所述第二加速度矩阵中抽取相应的多个第二子矩阵，其中，每个第一子矩阵中各行对应的采集时刻与相应的第二子矩阵中相同行对应的采集时刻相同。
步骤303，分别计算每个第一子矩阵与对应的第二子矩阵间的第一平移向量。
步骤304，根据每个第一平移向量，计算每个第一子矩阵经过平移变换后与对应的第二子矩阵间的误差值。
步骤305，将与对应的第二子矩阵间的误差值最小的第一子矩阵，确定为第一基准矩阵。
上述步骤301-305的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
步骤306，在所述第一加速度矩阵中，抽取与所述第一基准矩阵相邻、且位于所述第一基准矩阵之前的k个第一候选加速度，其中k为大于或等于1的整数。
步骤307，在所述第二加速度矩阵中，抽取对应的k个第二候选加速度。
作为一种可能的实现方式，可以根据第一加速度矩阵与第二加速度矩阵间的误差变换趋势，确定是否可以对第一基准矩阵及第二基准矩阵进行扩充。
在对第一基准矩阵及第二基准矩阵进行前扩充时，可以首先从第一加速度矩阵中，抽取与第一基准矩阵相邻、且位于第一基准矩阵之前的k个第一候选加速度，并从第二加速度矩阵中抽取与k个第一候选加速度对应的k个第二候选加速度。
步骤308，计算所述k个第一候选加速度与所述k个第二候选加速度间的第二平移向量。
步骤309，计算所述第一基准矩阵中前k个第一加速度与所述第二基准矩阵中前k个第二加速度间的第三平移向量。
在本申请实施例中，采用公式(1)计算k个第一候选加速度与k个第二候选加速度间的第二平移向量，以及第一基准矩阵中前k个第一加速度与第二基准矩阵中前k个第二加速度间的第三平移向量。
步骤310，计算所述第二平移向量与所述第三平移向量间的第三相似度。
其中，第三相似度，可以是第二平移向量与第三平移向量之间的余弦相似度，本申请实施例对此不做限定。
在本申请实施例中，计算出第二平移向量及第三平移向量之后，即可以计算第二平移向量与第三平移向量间的第三相似度。
步骤311，若所述第三相似度大于第二阈值，则利用所述k个第一候选加速度对所述第一基准矩阵进行前扩充，利用所述k个第二候选加速度对所述第二基准矩阵进行前扩充。
在本申请实施例中，若确定第二平移向量与第三平移向量间的第三相似度大于第二阈值，则可以确定k个第一候选加速度与k个第二候选加速度间的误差，与第一基准矩阵中前k个第一加速度与第二基准矩阵中前k个第二加速度的误差相似，即可以确定第一加速度矩阵中第一基准矩阵之前k个加速度的变化趋势较小，以及第二加速度矩阵中第二基准矩阵之前k个加速度的变化趋势较小，从而可以利用k个第一候选加速度对第一基准矩阵进行前扩充，利用k个第二候选加速度对第二基准矩阵进行前扩充。
需要说明的是，可以按照前述对第一基准矩阵及第二基准矩阵进行前扩充的方式，对第一基准矩阵及第二基准矩阵进行后扩充，此处不再赘述。
根据本申请实施例的技术方案，通过在第一加速度矩阵中，抽取与第一基准矩阵相邻、且位于第一基准矩阵之前的k个第一候选加速度，以及在第二加速度矩阵中，抽取对应的k个第二候选加速度，并计算k个第一候选加速度与k个第二候选加速度间的第二平移向量，以及第一基准矩阵中前k个第一加速度与第二基准矩阵中前k个第二加速度间的第三平移向量，进而计算第二平移向量与所述第三平移向量间的第三相似度，若第三相似度大于第二阈值，则利用k个第一候选加速度对第一基准矩阵进行前扩充，利用k个第二候选加速度对第二基准矩阵进行前扩充。由此，通过根据第一加速度矩阵与第二加速度矩阵之间的误差变换趋势，对用于标定的基准数据进行扩充，不仅有效去除了采集数据时摄像头的抖动或快速运动产生的模糊数据，而且提高了筛选出的标定数据可靠性，进一步提高了标定结果的准确性。
为了实现上述实施例，本申请还提出一种标定数据筛选装置。
图4为本申请实施例提供的一种标定数据筛选装置的结构示意图。
如图4所示，该标定数据筛选装置40，包括：
获取模块41，用于在预设采集时段内，获取惯性测量单元对应的第一加速度矩阵及摄像头对应的第二加速度矩阵，第一加速度矩阵中每行元素表征所述惯性测量单元在每个采集时刻的第一加速度，第二加速度矩阵中每行元素表征所述摄像头在每个采集时刻的第二加速度；
抽取模块42，用于按照第一预设的规则，依次从所述第一加速度矩阵中抽取多个第一子矩阵，从所述第二加速度矩阵中抽取相应的多个第二子矩阵，其中，每个第一子矩阵中各行对应的采集时刻与相应的第二子矩阵中相同行对应的采集时刻相同；
第一计算模块43，用于分别计算每个第一子矩阵与对应的第二子矩阵间的第一平移向量；
第二计算模块44，用于根据每个第一平移向量，计算每个第一子矩阵经过平移变换后与对应的第二子矩阵间的误差值；
筛选模块45，用于根据每个第一子矩阵与对应的第二子矩阵间的误差值，从所述第一加速度矩阵及所述第二加速度矩阵中分别筛选出用于标定的目标加速度。
在实际使用时，本申请实施例提供的标定数据筛选装置，可以被配置在任意电子设备中，以执行前述标定数据筛选方法。
根据本申请实施例的技术方案，通过在预设采集时段内，获取惯性测量单元对应的第一加速度矩阵及摄像头对应的第二加速度矩阵，并按照第一预设的规则，依次从第一加速度矩阵中抽取多个第一子矩阵，从第二加速度矩阵中抽取相应的多个第二子矩阵，其中，每个第一子矩阵中各行对应的采集时刻与相应的第二子矩阵中相同行对应的采集时刻相同，之后根据每个第一子矩阵与对应的第二子矩阵间的第一平移向量，计算每个第一子矩阵经过平移变换后与对应的第二子矩阵间的误差值，进而根据每个第一子矩阵与对应的第二子矩阵间的误差值，从第一加速度矩阵及所述第二加速度矩阵中分别筛选出用于标定的目标加速度。由此，通过对IMU采集的数据以及摄像头采集的数据进行筛选，有效去除了采集数据时摄像头的抖动或快速运动产生的模糊数据，从而使得标定结果可以更快收敛，提高了标定结果的准确性。
在本申请一种可能的实现形式中，上述筛选模块45，包括：
确定单元，用于将与对应的第二子矩阵间的误差值最小的第一子矩阵，确定为第一基准矩阵；
筛选单元，用于按照第二预设的规则，分别对所述第一加速度矩阵中与所述第一基准矩阵相邻的两侧加速度依次进行校验，以从所述第一加速度矩阵中筛选出用于标定的第一目标加速度矩阵；
获取单元，用于根据所述第一目标加速度矩阵对应的各采集时刻，从所述第二加速度矩阵中获取第二目标加速度矩阵。
进一步的，在本申请另一种可能的实现形式中，上述筛选单元，具体用于：
在所述第一加速度矩阵中，抽取与所述第一基准矩阵相邻、且位于所述第一基准矩阵之前的n个第一候选加速度，其中n为大于或等于1的整数；
计算所述n个第一候选加速度对应的第一直方图，与所述第一基准矩阵中前n个加速度对应的第二直方图间的第一相似度；
若所述第一相似度大于第一阈值，则利用所述n个第一候选加速度对所述第一基准矩阵进行前扩充。
进一步的，在本申请再一种可能的实现形式中，上述筛选单元，还用于：
根据所述n个第一候选加速度对应的采集时刻，从所述第二加速度矩阵中抽取对应的n个第二候选加速度对第二基准矩阵进行前扩充，其中，所述第二基准矩阵为与所述第一基准矩阵对应的第二子矩阵。
进一步的，在本申请又一种可能的实现形式中，上述筛选单元，还用于：
在所述第一加速度矩阵中，抽取与前扩充后的第一基准矩阵相邻、且位于前扩充后的第一基准矩阵之前的m个第一候选加速度,其中，m为大于或等于1的整数；
计算新抽取的m个第一候选加速度对应的第三直方图，与前扩充后的第一基准矩阵中前m个加速度对应的第四直方图间的第二相似度；
若所述第二相似度大于第一阈值，则利用新抽取的m个第一候选加速度对前扩充后的第一基准矩阵继续进行前扩充。
进一步的，在本申请又一种可能的实现形式中，上述筛选单元，还用于：
若所述第二相似度小于或等于第一阈值、且m为大于1的整数，则从所述第一加速度矩阵中，抽取与前扩充后的第一基准矩阵相邻、且位于前扩充后的第一基准矩阵之前的m-1个第一候选加速度,继续计算相似度，直至新计算的相似度小于或等于第一阈值、且新抽取的第一候选加速度的数量为1，则确定第一基准矩阵前扩充结束。
进一步的，在本申请另一种可能的实现形式中，上述筛选单元，还用于：
在所述第一加速度矩阵中，抽取与所述第一基准矩阵相邻、且位于所述第一基准矩阵之前的k个第一候选加速度，其中k为大于或等于1的整数；
在所述第二加速度矩阵中，抽取对应的k个第二候选加速度；
计算所述k个第一候选加速度与所述k个第二候选加速度间的第二平移向量；
计算所述第一基准矩阵中前k个第一加速度与所述第二基准矩阵中前k个第二加速度间的第三平移向量；
计算所述第二平移向量与所述第三平移向量间的第三相似度；
若所述第三相似度大于第二阈值，则利用所述k个第一候选加速度对所述第一基准矩阵进行前扩充，利用所述k个第二候选加速度对所述第二基准矩阵进行前扩充。
需要说明的是，前述对图1、图2、图3所示的标定数据筛选方法实施例的解释说明也适用于该实施例的标定数据筛选装置40，此处不再赘述。
根据本申请实施例的技术方案，通过在预设采集时段内，获取惯性测量单元对应的第一加速度矩阵及摄像头对应的第二加速度矩阵，并按照第一预设的规则，依次从第一加速度矩阵中抽取多个第一子矩阵，从第二加速度矩阵中抽取相应的多个第二子矩阵，之后根据每个第一子矩阵与对应的第二子矩阵间的第一平移向量，计算每个第一子矩阵经过平移变换后与对应的第二子矩阵间的误差值，进而将与对应的第二子矩阵间的误差值最小的第一子矩阵，确定为第一基准矩阵，以及按照第二预设的规则，分别对第一加速度矩阵中与第一基准矩阵相邻的两侧加速度依次进行校验，以从第一加速度矩阵中筛选出用于标定的第一目标加速度矩阵，进而根据第一目标加速度矩阵对应的各采集时刻，从第二加速度矩阵中获取第二目标加速度矩阵。由此，通过首先确定出用于标定的基准数据，进而通过校验对基准数据进行扩充，不仅有效去除了采集数据时摄像头的抖动或快速运动产生的模糊数据，而且提高了筛选出的标定数据可靠性，进一步提高了标定结果的准确性。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图5所示，是根据本申请实施例的标定数据筛选方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示，该电子设备包括：一个或多个处理器Y01、存储器Y02，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个电子设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器Y01为例。
存储器Y02即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的标定数据筛选方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的标定数据筛选方法。
存储器Y02作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的标定数据筛选方法对应的程序指令/模块(例如，附图4所示的获取模块41、抽取模块42、第一计算模块43、第二计算模块44和筛选模块45)。处理器Y01通过运行存储在存储器Y02中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的标定数据筛选方法。
存储器Y02可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据标定数据筛选方法的电子设备的使用所创建的数据等。此外，存储器Y02可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器Y02可选包括相对于处理器Y01远程设置的存储器，这些远程存储器可以通过网络连接至标定数据筛选方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
标定数据筛选方法的电子设备还可以包括：输入装置Y03和输出装置Y04。处理器Y01、存储器Y02、输入装置Y03和输出装置Y04可以通过总线或者其他方式连接，图5中以通过总线连接为例。
输入装置Y03可接收输入的数字或字符信息，以及产生与标定数据筛选方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置Y04可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过在预设采集时段内，获取惯性测量单元对应的第一加速度矩阵及摄像头对应的第二加速度矩阵，并按照第一预设的规则，依次从第一加速度矩阵中抽取多个第一子矩阵，从第二加速度矩阵中抽取相应的多个第二子矩阵，其中，每个第一子矩阵中各行对应的采集时刻与相应的第二子矩阵中相同行对应的采集时刻相同，之后根据每个第一子矩阵与对应的第二子矩阵间的第一平移向量，计算每个第一子矩阵经过平移变换后与对应的第二子矩阵间的误差值，进而根据每个第一子矩阵与对应的第二子矩阵间的误差值，从第一加速度矩阵及所述第二加速度矩阵中分别筛选出用于标定的目标加速度。由此，通过对IMU采集的数据以及摄像头采集的数据进行筛选，有效去除了采集数据时摄像头的抖动或快速运动产生的模糊数据，从而使得标定结果可以更快收敛，提高了标定结果的准确性。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (16)
1.一种标定数据筛选方法，其特征在于，包括：
在预设采集时段内，获取惯性测量单元对应的第一加速度矩阵及摄像头对应的第二加速度矩阵，第一加速度矩阵中每行元素表征所述惯性测量单元在每个采集时刻的第一加速度，第二加速度矩阵中每行元素表征所述摄像头在每个采集时刻的第二加速度；
按照第一预设的规则，依次从所述第一加速度矩阵中抽取多个第一子矩阵，从所述第二加速度矩阵中抽取相应的多个第二子矩阵，其中，每个第一子矩阵中各行对应的采集时刻与相应的第二子矩阵中相同行对应的采集时刻相同；
分别计算每个第一子矩阵与对应的第二子矩阵间的第一平移向量；
根据每个第一平移向量，计算每个第一子矩阵经过平移变换后与对应的第二子矩阵间的误差值；
根据每个第一子矩阵与对应的第二子矩阵间的误差值，从所述第一加速度矩阵及所述第二加速度矩阵中分别筛选出用于标定的目标加速度。
2.如权利要求1所述的方法，其特征在于，所述从所述第一加速度矩阵及所述第二加速度矩阵中分别筛选出用于标定的目标加速度，包括：
将与对应的第二子矩阵间的误差值最小的第一子矩阵，确定为第一基准矩阵；
按照第二预设的规则，分别对所述第一加速度矩阵中与所述第一基准矩阵相邻的两侧加速度依次进行校验，以从所述第一加速度矩阵中筛选出用于标定的第一目标加速度矩阵；
根据所述第一目标加速度矩阵对应的各采集时刻，从所述第二加速度矩阵中获取第二目标加速度矩阵。
3.如权利要求2所述的方法，其特征在于，所述按照第二预设的规则，分别对所述第一加速度矩阵中与所述第一基准矩阵相邻的两侧加速度依次进行校验，包括：
在所述第一加速度矩阵中，抽取与所述第一基准矩阵相邻、且位于所述第一基准矩阵之前的n个第一候选加速度，其中n为大于或等于1的整数；
计算所述n个第一候选加速度对应的第一直方图，与所述第一基准矩阵中前n个加速度对应的第二直方图间的第一相似度；
若所述第一相似度大于第一阈值，则利用所述n个第一候选加速度对所述第一基准矩阵进行前扩充。
4.如权利要求3所述的方法，其特征在于，所述利用所述n个第一候选加速度对所述第一基准矩阵进行前扩充之后，还包括：
根据所述n个第一候选加速度对应的采集时刻，从所述第二加速度矩阵中抽取对应的n个第二候选加速度对第二基准矩阵进行前扩充，其中，所述第二基准矩阵为与所述第一基准矩阵对应的第二子矩阵。
5.如权利要求3所述的方法，其特征在于，所述利用所述n个第一候选加速度对所述第一基准矩阵进行前扩充之后，还包括：
在所述第一加速度矩阵中，抽取与前扩充后的第一基准矩阵相邻、且位于前扩充后的第一基准矩阵之前的m个第一候选加速度,其中，m为大于或等于1的整数；
计算新抽取的m个第一候选加速度对应的第三直方图，与前扩充后的第一基准矩阵中前m个加速度对应的第四直方图间的第二相似度；
若所述第二相似度大于第一阈值，则利用新抽取的m个第一候选加速度对前扩充后的第一基准矩阵继续进行前扩充。
6.如权利要求5所述的方法，其特征在于，所述计算新抽取的m个第一候选加速度对应的第三直方图，与前扩充后的第一基准矩阵中前m个加速度对应的第四直方图间的第二相似度之后，还包括：
若所述第二相似度小于或等于第一阈值、且m为大于1的整数，则从所述第一加速度矩阵中，抽取与前扩充后的第一基准矩阵相邻、且位于前扩充后的第一基准矩阵之前的m-1个第一候选加速度,继续计算相似度，直至新计算的相似度小于或等于第一阈值、且新抽取的第一候选加速度的数量为1，则确定第一基准矩阵前扩充结束。
7.如权利要求2-6任一所述的方法，其特征在于，所述按照第二预设的规则，分别对所述第一加速度矩阵中与所述第一基准矩阵相邻的两侧加速度依次进行校验，包括：
在所述第一加速度矩阵中，抽取与所述第一基准矩阵相邻、且位于所述第一基准矩阵之前的k个第一候选加速度，其中k为大于或等于1的整数；
在所述第二加速度矩阵中，抽取对应的k个第二候选加速度；
计算所述k个第一候选加速度与所述k个第二候选加速度间的第二平移向量；
计算所述第一基准矩阵中前k个第一加速度与所述第二基准矩阵中前k个第二加速度间的第三平移向量；
计算所述第二平移向量与所述第三平移向量间的第三相似度；
若所述第三相似度大于第二阈值，则利用所述k个第一候选加速度对所述第一基准矩阵进行前扩充，利用所述k个第二候选加速度对所述第二基准矩阵进行前扩充。
8.一种标定数据筛选装置，其特征在于，包括：
获取模块，用于在预设采集时段内，获取惯性测量单元对应的第一加速度矩阵及摄像头对应的第二加速度矩阵，第一加速度矩阵中每行元素表征所述惯性测量单元在每个采集时刻的第一加速度，第二加速度矩阵中每行元素表征所述摄像头在每个采集时刻的第二加速度；
抽取模块，用于按照第一预设的规则，依次从所述第一加速度矩阵中抽取多个第一子矩阵，从所述第二加速度矩阵中抽取相应的多个第二子矩阵，其中，每个第一子矩阵中各行对应的采集时刻与相应的第二子矩阵中相同行对应的采集时刻相同；
第一计算模块，用于分别计算每个第一子矩阵与对应的第二子矩阵间的第一平移向量；
第二计算模块，用于根据每个第一平移向量，计算每个第一子矩阵经过平移变换后与对应的第二子矩阵间的误差值；
筛选模块，用于根据每个第一子矩阵与对应的第二子矩阵间的误差值，从所述第一加速度矩阵及所述第二加速度矩阵中分别筛选出用于标定的目标加速度。
9.如权利要求8所述的装置，其特征在于，所述筛选模块，包括：
确定单元，用于将与对应的第二子矩阵间的误差值最小的第一子矩阵，确定为第一基准矩阵；
筛选单元，用于按照第二预设的规则，分别对所述第一加速度矩阵中与所述第一基准矩阵相邻的两侧加速度依次进行校验，以从所述第一加速度矩阵中筛选出用于标定的第一目标加速度矩阵；
获取单元，用于根据所述第一目标加速度矩阵对应的各采集时刻，从所述第二加速度矩阵中获取第二目标加速度矩阵。
10.如权利要求9所述的装置，其特征在于，所述筛选单元，具体用于：
在所述第一加速度矩阵中，抽取与所述第一基准矩阵相邻、且位于所述第一基准矩阵之前的n个第一候选加速度，其中n为大于或等于1的整数；
计算所述n个第一候选加速度对应的第一直方图，与所述第一基准矩阵中前n个加速度对应的第二直方图间的第一相似度；
若所述第一相似度大于第一阈值，则利用所述n个第一候选加速度对所述第一基准矩阵进行前扩充。
11.如权利要求10所述的装置，其特征在于，所述筛选单元，还用于：
根据所述n个第一候选加速度对应的采集时刻，从所述第二加速度矩阵中抽取对应的n个第二候选加速度对第二基准矩阵进行前扩充，其中，所述第二基准矩阵为与所述第一基准矩阵对应的第二子矩阵。
12.如权利要求10所述的装置，其特征在于，所述筛选单元，还用于：
在所述第一加速度矩阵中，抽取与前扩充后的第一基准矩阵相邻、且位于前扩充后的第一基准矩阵之前的m个第一候选加速度,其中，m为大于或等于1的整数；
计算新抽取的m个第一候选加速度对应的第三直方图，与前扩充后的第一基准矩阵中前m个加速度对应的第四直方图间的第二相似度；
若所述第二相似度大于第一阈值，则利用新抽取的m个第一候选加速度对前扩充后的第一基准矩阵继续进行前扩充。
13.如权利要求12所述的装置，其特征在于，所述筛选单元，还用于：
若所述第二相似度小于或等于第一阈值、且m为大于1的整数，则从所述第一加速度矩阵中，抽取与前扩充后的第一基准矩阵相邻、且位于前扩充后的第一基准矩阵之前的m-1个第一候选加速度,继续计算相似度，直至新计算的相似度小于或等于第一阈值、且新抽取的第一候选加速度的数量为1，则确定第一基准矩阵前扩充结束。
14.如权利要求9-13所述的装置，其特征在于，所述筛选单元，还用于：
在所述第一加速度矩阵中，抽取与所述第一基准矩阵相邻、且位于所述第一基准矩阵之前的k个第一候选加速度，其中k为大于或等于1的整数；
在所述第二加速度矩阵中，抽取对应的k个第二候选加速度；
计算所述k个第一候选加速度与所述k个第二候选加速度间的第二平移向量；
计算所述第一基准矩阵中前k个第一加速度与所述第二基准矩阵中前k个第二加速度间的第三平移向量；
计算所述第二平移向量与所述第三平移向量间的第三相似度；
若所述第三相似度大于第二阈值，则利用所述k个第一候选加速度对所述第一基准矩阵进行前扩充，利用所述k个第二候选加速度对所述第二基准矩阵进行前扩充。
15.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910931819.2A CN110648370B (zh) | 2019-09-29 | 2019-09-29 | 标定数据筛选方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910931819.2A CN110648370B (zh) | 2019-09-29 | 2019-09-29 | 标定数据筛选方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110648370A true CN110648370A (zh) | 2020-01-03 |
| CN110648370B CN110648370B (zh) | 2022-06-03 |
Family
ID=68993139
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910931819.2A Active CN110648370B (zh) | 2019-09-29 | 2019-09-29 | 标定数据筛选方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110648370B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140088790A1 (en) * | 2010-09-04 | 2014-03-27 | Cgs S.P.A. Compagna Generale Per Lo Spazio | Device and method to estimate the state of a moving vehicle |
| CN104063242A (zh) * | 2014-06-10 | 2014-09-24 | 北京遥测技术研究所 | 一种适用于惯性测量单元全生产过程参数升级的方法 |
| CN105606127A (zh) * | 2016-01-11 | 2016-05-25 | 北京邮电大学 | 一种双目立体相机与惯性测量单元相对姿态标定方法 |
| CN106251305A (zh) * | 2016-07-29 | 2016-12-21 | 长春理工大学 | 一种基于惯性测量单元imu的实时电子稳像方法 |
| CN107314778A (zh) * | 2017-08-04 | 2017-11-03 | 广东工业大学 | 一种相对姿态的标定方法、装置及系统 |
| CN108592950A (zh) * | 2018-05-17 | 2018-09-28 | 北京航空航天大学 | 一种单目相机和惯性测量单元相对安装角标定方法 |
| CN108665540A (zh) * | 2018-03-16 | 2018-10-16 | 浙江工业大学 | 基于双目视觉特征和imu信息的机器人定位与地图构建系统 |
| US20190182415A1 (en) * | 2015-04-27 | 2019-06-13 | Snap-Aid Patents Ltd. | Estimating and using relative head pose and camera field-of-view |
| CN109949370A (zh) * | 2019-03-15 | 2019-06-28 | 苏州天准科技股份有限公司 | 一种用于imu-相机联合标定的自动化方法 |
| CN110084832A (zh) * | 2019-04-25 | 2019-08-02 | 亮风台（上海）信息科技有限公司 | 相机位姿的纠正方法、装置、系统、设备和存储介质 |
-
2019
- 2019-09-29 CN CN201910931819.2A patent/CN110648370B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140088790A1 (en) * | 2010-09-04 | 2014-03-27 | Cgs S.P.A. Compagna Generale Per Lo Spazio | Device and method to estimate the state of a moving vehicle |
| CN104063242A (zh) * | 2014-06-10 | 2014-09-24 | 北京遥测技术研究所 | 一种适用于惯性测量单元全生产过程参数升级的方法 |
| US20190182415A1 (en) * | 2015-04-27 | 2019-06-13 | Snap-Aid Patents Ltd. | Estimating and using relative head pose and camera field-of-view |
| CN105606127A (zh) * | 2016-01-11 | 2016-05-25 | 北京邮电大学 | 一种双目立体相机与惯性测量单元相对姿态标定方法 |
| CN106251305A (zh) * | 2016-07-29 | 2016-12-21 | 长春理工大学 | 一种基于惯性测量单元imu的实时电子稳像方法 |
| CN107314778A (zh) * | 2017-08-04 | 2017-11-03 | 广东工业大学 | 一种相对姿态的标定方法、装置及系统 |
| CN108665540A (zh) * | 2018-03-16 | 2018-10-16 | 浙江工业大学 | 基于双目视觉特征和imu信息的机器人定位与地图构建系统 |
| CN108592950A (zh) * | 2018-05-17 | 2018-09-28 | 北京航空航天大学 | 一种单目相机和惯性测量单元相对安装角标定方法 |
| CN109949370A (zh) * | 2019-03-15 | 2019-06-28 | 苏州天准科技股份有限公司 | 一种用于imu-相机联合标定的自动化方法 |
| CN110084832A (zh) * | 2019-04-25 | 2019-08-02 | 亮风台（上海）信息科技有限公司 | 相机位姿的纠正方法、装置、系统、设备和存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| JAEJOON CHOI，SANG HWA LEE，JONG-IL PARK: "Temporal and Geometric Calibration between Camera and IMU Systems for Motion Estimation", 《2019 IEEE INTERNATIONAL CONFERENCE ON CONSUMER ELECTRONICS (ICCE)》 * |
| 张倩: "基于多传感器融合的三维目标跟踪", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
| 陈集辉: "深度相机与惯性测量单元的相对姿态标定", 《哈尔滨工业大学学报》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110648370B (zh) | 2022-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7357789B2 (ja) | 車両を検出するための方法、装置、電子機器、記憶媒体およびコンピュータプログラム | |
| CN111273268B (zh) | 自动驾驶障碍物类型的识别方法、装置及电子设备 | |
| JP7152554B2 (ja) | 車載カメラ外部パラメータのキャリブレーション方法、装置、システム及び記憶媒体 | |
| CN111666891B (zh) | 用于估计障碍物运动状态的方法和装置 | |
| CN111612852B (zh) | 用于验证相机参数的方法和装置 | |
| CN110929639A (zh) | 用于确定图像中障碍物位置的方法、装置、设备和介质 | |
| US11288887B2 (en) | Object tracking method and apparatus | |
| CN110929669B (zh) | 数据标注方法及装置 | |
| CN112150558A (zh) | 用于路侧计算设备的障碍物三维位置获取方法及装置 | |
| CN112487979B (zh) | 目标检测方法和模型训练方法、装置、电子设备和介质 | |
| CN110675635B (zh) | 相机外参的获取方法、装置、电子设备及存储介质 | |
| CN111652113A (zh) | 障碍物检测方法、装置、设备以及存储介质 | |
| CN112509058A (zh) | 外参的计算方法、装置、电子设备和存储介质 | |
| CN111767843A (zh) | 三维位置预测方法、装置、设备以及存储介质 | |
| CN112528932B (zh) | 用于优化位置信息的方法、装置、路侧设备和云控平台 | |
| CN110648370B (zh) | 标定数据筛选方法、装置及电子设备 | |
| CN111783611B (zh) | 无人车的定位方法、装置、无人车及存储介质 | |
| CN113160406A (zh) | 道路三维重建方法、装置、存储介质及电子设备 | |
| CN112528931A (zh) | 用于生成位置预测信息的方法、装置以及自动驾驶车辆 | |
| CN110798681A (zh) | 成像设备的监测方法、装置和计算机设备 | |
| CN111260722A (zh) | 车辆定位方法、设备及存储介质 | |
| CN110689575B (zh) | 图像采集器标定方法、装置、设备和介质 | |
| CN111982108A (zh) | 移动机器人定位方法、装置、设备及存储介质 | |
| CN111695491A (zh) | 用于检测行人的方法和装置 | |
| CN112822450B (zh) | 一种大规模视觉计算系统中有效节点动态遴选方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211014 Address after: 100176 101, floor 1, building 1, yard 7, Ruihe West 2nd Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing Applicant after: Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Address before: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing Applicant before: BAIDU ONLINE NETWORK TECHNOLOGY (BEIJING) Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |