CN117974766B - 基于时空依据的分布式双红外传感器多目标同一性判定方法 - Google Patents

基于时空依据的分布式双红外传感器多目标同一性判定方法 Download PDF

Info

Publication number
CN117974766B
CN117974766B CN202410366330.6A CN202410366330A CN117974766B CN 117974766 B CN117974766 B CN 117974766B CN 202410366330 A CN202410366330 A CN 202410366330A CN 117974766 B CN117974766 B CN 117974766B
Authority
CN
China
Prior art keywords
point
reference sensor
sensor
target
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410366330.6A
Other languages
English (en)
Other versions
CN117974766A (zh
Inventor
符文星
杨韬
郑育行
付斌
张通
陈康
常晓飞
张晓峰
许涛
郭行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202410366330.6A priority Critical patent/CN117974766B/zh
Publication of CN117974766A publication Critical patent/CN117974766A/zh
Application granted granted Critical
Publication of CN117974766B publication Critical patent/CN117974766B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本公开实施例是关于一种基于时空依据的分布式双红外传感器多目标同一性判定方法。本公开实施例充分考虑了动目标的连续运动特征，通过结合单帧图像与连续多帧图像结果在完成时移修正的前提下建立了同一成像点目标在双红外传感器成像平面中的二维对应关系，无需考虑成像点目标的三维空间位置信息，能够高效且准确的在目标跟踪的过程中动态消除虚警目标与虚假关联点，解决分布式双红外传感器多成像点目标的同一性判定问题。

Description

基于时空依据的分布式双红外传感器多目标同一性判定方法
技术领域
本公开实施例涉及分布式红外传感器多目标关联匹配技术领域，尤其涉及一种基于时空依据的分布式双红外传感器多目标同一性判定方法。
背景技术
红外传感器是基于物体表面的热辐射成像，其穿透能力强，能够避免灰尘、烟雾等遮挡，且对光照变化不敏感，可在完全黑暗的环境下使用，同时，红外传感器作为一种无源探测系统，具有隐蔽性好，抗干扰能力强，作用距离远等特点，因此已经成为未来复杂电磁对抗环境下空中目标高精度探测与跟踪的重要手段。
然而在使用红外传感器对复杂背景的远距离目标探测时，由于目标距离较远，其在红外传感器阵面中的投影点迹通常为只占几个像素的点目标，而点目标的信号强度弱，信噪比低，同时红外传感器只能提供目标的方位角与俯仰角，距离维度缺失，所提供的信息具有较大的局限性，无法实现对目标的高精度特征提取。因此，当红外传感器应用于分布式协同目标探测场景时，无法采用现有的雷达与可见光等常用主被动传感器的跟踪与定位方法。
采用分布式双红外协同目标探测结合测向交叉定位能够实现对目标的粗略定位以获得目标距离信息，然而在分布式双红外传感器捕获到同一区域的多个目标时，由于双红外传感器观测视角及大气传播路径不同造成的红外辐射特性差异造成的观测偏差，以及数据传输链时空同步性弱造成的时间偏差等影响，给双红外传感器捕获的多个目标之间的同一性判定带来了极大的难度。
发明内容
为了避免现有技术的不足之处，本申请提供一种基于时空依据的分布式双红外传感器多目标同一性判定方法，用以解决现有技术中存在的在分布式双红外传感器捕获到同一区域的多个目标时，由于双红外传感器观测视角及大气传播路径不同造成的红外辐射特性差异造成的观测偏差，以及数据传输链时空同步性弱造成的时间偏差等影响，给双红外传感器捕获的多个目标之间的同一性判定带来了极大的难度的问题。
根据本公开实施例，提供一种基于时空依据的分布式双红外传感器多目标同一性判定方法，该方法包括：
选取并固定基准坐标系，在基准坐标系下计算双红外传感器的成像平面方程；其中，双红外传感器包括基准传感器和非基准传感器；
基于成像平面方程，在单帧图像中基于双视图对极几何约束原理初步剔除非关联点，以确定基准传感器成像点目标在非基准传感器中的候选关联点集合；其中，候选关联点集合包括一个或多个候选关联点；
选取连续多帧图像，基于样条插值方法拟合双红外传感器的成像平面中同一观测目标连续多帧图像像素坐标，以形成二维航迹；
随机选取二维航迹中的多帧点迹，并基于同一时刻对极几何约束的极线与二维航迹相交点完成时移修正，且进一步剔除候选关联点集合中的非关联点，以形成剩余候选点航迹集合；
基于时移修正的结果和剩余候选点航迹集合，结合修正点迹个数及连续时刻修正点迹在时间序列上相对于原投影点迹的运动趋势信息，以基准传感器成像平面中的一个点目标对应非基准传感器成像平面中一个候选关联点的原则，完成双红外传感器中多点目标的同一性判定。
进一步的，选取并固定基准坐标系，在基准坐标系下计算双红外传感器的成像平面方程的步骤中，包括：
选取基准坐标系，以描述双红外传感器所在的机载平台的位置；
以双红外传感器中的基准传感器在预设时刻时，质心所在地心地固坐标系中的三维空间位置为基准坐标系原点，将机载平台的经纬高坐标数据通过坐标变换转换为基准坐标系坐标；
结合双红外传感器自身姿态与内外参数，计算在基准坐标系下双红外传感器光心坐标和成像平面方程。
进一步的，基于成像平面方程，在单帧图像中基于双视图对极几何约束原理初步剔除非关联点以确定基准传感器成像点目标在非基准传感器中的候选关联点集合的步骤中，包括：
获取并保存基准传感器中在第i时刻单帧图像中预定的成像点目标的投影像素点坐标；
根据基准传感器的内参和非基准传感器的内参，分别确定基准传感器和非基准传感器的光心在基准坐标系下的坐标，以得到该时刻的红外双传感器的基线；
通过基线和基准传感器中像素点坐标以及红外传感器观测角与方位角信息确定该单帧图像中投影像素点坐标在基准坐标系下的极平面；
根据极平面与非基准传感器的成像平面交线求得该单帧图像中投影像素点坐标在非基准传感器的成像平面中的极线；
设定距离阈值，并计算非基准传感器在该时刻截取的单帧图像中所有成像点与极线的距离，计算结果小于距离阈值的成像点保留为像素点坐标在非基准传感器截取的图像中的候选关联点集合；
遍历基准传感器截取的当前单帧图像中的全部成像点，重复上述步骤，获得基准传感器截取的当前时刻单帧图像中所有成像点在非基准传感器获取的图像中的候选关联点集合。
进一步的，选取连续多帧图像，基于样条插值方法拟合双红外传感器的成像平面中同一观测目标连续多帧图像像素坐标，以形成的二维航迹的步骤中，包括：
以第i时刻为初始时刻，获取其后连续q个时刻的双红外传感器截取的连续多帧图像，获取并保存连续多帧图像中同一成像点目标的像素坐标，基于其在不同时刻的坐标值，通过三次样条插值方法拟合得到该点目标在双红外传感器中的二维航迹；
遍历双红外传感器所有成像点目标在第i时刻至第q个时刻投影点像素坐标值，重复上述步骤，拟合得到所有成像点目标在双红外传感器中的二维航迹。
进一步的，随机选取二维航迹中的多帧点迹，并基于同一时刻对极几何约束的极线与二维航迹相交点完成时移修正，且进一步剔除候选关联点集合中的非关联点，以形成剩余候选点航迹集合的步骤中，包括：
以基准传感器的时间为基准时间戳，并在基准传感器中成像平面中的任意一条二维航迹上随机选取不同时刻的多个坐标点，由不同时刻下基准传感器成像平面中的投影点基于双视图对极几何约束在非基准传感器成像平面确定的极线与候选点确定的二维航迹相交方法求解在非基准传感器成像平面中不同时刻的修正投影点迹；
遍历基准传感器成像平面中全部点目标形成的二维航迹，重复上述步骤，完成双视图时间同步；
其中，在求解极线与航迹交点时，添加判决条件，若连续多帧图像下的极线与非基准传感器中的候选点航迹无交点，则该候选关联点为错误关联点，继而剔除该候选关联点，形成剩余候选点航迹集合。
进一步的，基于时移修正的结果和剩余候选点航迹集合，结合修正点迹个数及连续时刻修正点迹在时间序列上相对于原投影点迹的运动趋势信息，以基准传感器成像平面中的一个点目标对应非基准传感器成像平面中一个候选关联点的原则，完成双红外传感器中多点目标的同一性判定的步骤中，包括：
以极线与轨迹的交点个数以及非基准传感器中各个修正点迹在时间序列上相对于原投影点迹的运动趋势为判决条件，完成双红外传感器中成像点目标的同一性判定；
其中，正确关联点形成的航迹在任意时刻均与极线相交于一点，即相交点个数等于选取的时刻数；且多个时刻下的修正点迹相对于原投影点迹运动趋势在时间序列上保持一致。
进一步的，若基准传感器成像平面中的某条二维航迹为基准传感器中同一点目标投影形成，则预设时刻的极线与二维航迹的交点为非基准传感器被赋予基准传感器时间戳完成时间同步后的修正点迹。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开的实施例中，通过上述基于时空依据的分布式双红外传感器多目标同一性判定方法，一方面，只通过成像点目标在双红外传感器视图中的不同时刻的像素坐标位置，采用单帧图像结合连续时刻多帧图像基于三次样条插值方法拟合出了双红外传感器成像平面同一投影点的二维航迹，基于双视图对极几何约束原理寻找双视图中二维航迹的对应关系。该方法无需再考虑被动传感器所缺失的目标深度信息，尤其适合于红外传感器此类无源被动传感器探测远距离目标的场景，该场景下，目标在传感器成像平面中的投影为点目标，同时目标的信号强度较弱，信噪比较低，该方法能够有效解决此类场景下的多点目标同一性判定问题。另一方面，基于不同传感器成像平面的成像点在连续时间序列上应该存在的匹配连续性，引入历史多帧的目标同一性判定信息，对已有的同一性判定信息进行调整和校正，有效解决了双平台被动传感器的精确关联问题，而双视图对极几何约束在任一帧图像中均作为先决判断条件，以将一部分置信度较低的关联点预先排除，有效降低算法的计算量，提升算法运算效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开示例性实施例中基于时空依据的分布式双红外传感器多目标同一性判定方法的步骤图；
图2示出本公开示例性实施例中基于时空依据的分布式双红外传感器多目标同一性判定方法的具体流程图；
图3示出本公开示例性实施例中以基准传感器位置为基准坐标系原点的坐标变换示意图；
图4示出本公开示例性实施例中双红外传感器在探测同一目标时的双视图对极几何约束原理示意图；
图5示出本公开示例性实施例中在某一时刻基于双视图对极几何约束确定基准传感器中某一点目标在非基准传感器成像平面中的候选关联点集合示意图；
图6示出本公开示例性实施例中同一目标在双传感器成像平面中投影点迹的连续运动特征示意图；
图7示出本公开示例性实施例中基于三次样条插值方法的双传感器成像平面中同一目标二维航迹拟合方法示意图；
图8示出本公开示例性实施例中双红外传感器由于时间不同步造成的观测误差问题描述示意图；
图9示出本公开示例性实施例中基于对极几何约束原理的双视图时间同步示意图；
图10示出本公开示例性实施例中基于时移修正的双红外传感器点目标最终同一性判定示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开实施例的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。
本示例实施方式中提供了一种基于时空依据的分布式双红外传感器多目标同一性判定方法。参考图1中所示，该基于时空依据的分布式双红外传感器多目标同一性判定方法可以包括：步骤S101~步骤S105。
步骤S101：选取并固定基准坐标系，在基准坐标系下计算双红外传感器的成像平面方程；其中，双红外传感器包括基准传感器和非基准传感器；
步骤S102：基于成像平面方程，在单帧图像中基于双视图对极几何约束原理初步剔除非关联点以确定基准传感器成像点目标在非基准传感器中的候选关联点集合；
步骤S103：选取连续多帧图像，基于样条插值方法拟合双红外传感器的成像平面中同一观测目标连续多帧图像像素坐标，以形成二维航迹；
步骤S104：随机选取二维航迹中的多帧点迹，并基于同一时刻对极几何约束的极线与二维航迹相交点完成时移修正，且进一步剔除候选关联点集合中的非关联点，以形成剩余候选点航迹集合；
步骤S105：基于时移修正的结果和剩余候选点航迹集合，结合修正点迹个数及连续时刻修正点迹在时间序列上相对于原投影点迹的运动趋势信息，以基准传感器成像平面中的一个点目标对应非基准传感器成像平面中一个候选关联点的原则，完成双红外传感器中多点目标的同一性判定。
通过上述基于时空依据的分布式双红外传感器多目标同一性判定方法，一方面，只通过成像点目标在双红外传感器视图中的不同时刻的像素坐标位置，采用单帧图像结合连续时刻多帧图像基于三次样条插值方法拟合出了双红外传感器成像平面同一投影点的二维航迹，基于双视图对极几何约束原理寻找双视图中二维航迹的对应关系。该方法无需再考虑被动传感器所缺失的目标深度信息，尤其适合于红外传感器此类无源被动传感器探测远距离目标的场景，该场景下，目标在传感器成像平面中的投影为点目标，同时目标的信号强度较弱，信噪比较低，该方法能够有效解决此类场景下的多点目标同一性判定问题。另一方面，基于不同传感器成像平面的成像点在连续时间序列上应该存在的匹配连续性，引入历史多帧的目标同一性判定信息，对已有的同一性判定信息进行调整和校正，有效解决了双平台被动传感器的精确关联问题，而双视图对极几何约束在任一帧图像中均作为先决判断条件，以将一部分置信度较低的关联点预先排除，有效降低算法的计算量，提升算法运算效率。
下面，将参考图1至图10对本示例实施方式中的上述基于时空依据的分布式双红外传感器多目标同一性判定方法的各个步骤进行更详细的说明。
在步骤S101中，本申请的实施例描述了本申请的典型场景，即分布式双红外传感器探测远距离多个目标的场景。所描述的分布式双红外传感器均处于匀速运动或者静止状态，双传感器探测较远距离的某一重叠视场，在该视场中双红外传感器均探测到多个远距离目标，多目标在双红外传感器成像平面中投影出多个点迹。本申请不考虑双红外传感器相对于机载平台的安装位置，即假设机载平台本身质心坐标位置近似看为传感器坐标位置。如图2所示，为该场景下本实例流程步骤。
由于在实际研究与应用中，可疑目标与红外传感器机载平台（以下简称机载平台）的活动有限，为便于计算，选取局部世界坐标系（使用东北天坐标系）作为基准坐标系来描述机载平台位置，基准坐标系简写为W系，其原点设为机载平台活动区域的某一点，本实施例将原点设定为机载平台开始运动的时刻所在位置，坐标方向轴指向东方，/>轴指向北方，/>轴指向重力的反方向；其中，文中全部变量符号左下角标为其所在坐标系。
搭载红外被动传感器的机载平台位置通常由全球导航卫星系统（GlobalNavigation Satellite System，GNSS）测得，GNSS测量得到的数据为WGS-84系统下的机载平台所在大地坐标系中的经度（）、纬度（/>）、高度（/>）坐标。将大地坐标系简写定为S系，将大地坐标系坐标变换为局部世界（东北天）坐标系坐标需要两步，一是将GNSS测得的经纬度坐标变换为地心地固（ECEF）坐标系坐标，二是将地心地固坐标转换为局部世界坐标。其中地心地固坐标系可简写为E系，E系坐标原点位于地球质心，/>轴指向本初子午线与赤道的交点，/>轴指向北极，/>与/>、/>轴服从右手定则。
设某物体在/>时刻经纬度坐标为/>，能够通过公式(1)：
(1)
将经纬度坐标转换为地心地固坐标系中的坐标，其中和/>分别为地球椭圆长半轴半径和短半轴半径，L为某物体/>在/>时刻的经度，经纬度坐标，B为某物体/>在/>时刻的纬度，H为某物体/>在/>时刻的高度，N为第一参数，e为第二参数。/>分别表示某物体第/>时刻在E系中的坐标位置。以物体/>在0时刻的位置作为W系坐标原点，W系坐标原点在E系中的坐标为/>，给定任意GNSS测得的经纬度坐标，经过式(1)计算得到其在E系中的坐标为/>，其在W系中的坐标/>通过公式(2)求得：
(2)
通过上述式(1)式(2)能够将GNSS测得的机载平台位置转换为基准坐标系（W系）坐标。转换示意图如图3所示，图中构成地心地固坐标系，/>构成基准坐标系，即东北天坐标系。
在选取并固定基准坐标系后，将双红外传感器看作上述物体，根据GNSS测得的经纬度坐标位置计算分布式双红外传感器/>在该基准坐标系下的坐标位置，选取传感器/>为基准传感器，并以其在零时刻的位置为W系坐标原点，结合双红外传感器相机内外参数，计算在/>时刻双传感器成像平面光心在该基准坐标系下的坐标/>。以及此时刻当前帧下的成像平面/>的方程。其中红外传感器相机内参数在出厂时即被标定设置好，外参数由红外传感器在基准坐标系中的姿态确定，其在红外传感器运动时会发生变化。/>传感器成像平面在基准坐标系下的表达式为/>，/>传感器成像平面在基准坐标系下的表达式为/>。其中/>与分别表示在第/>时刻基准传感器/>与非基准传感器/>的成像平面在基准坐标系下的表达式系数。
在步骤S102中，选取某时刻的单帧图像结合双视图对极几何约束原理完成当前时刻单帧图像内所有成像点目标的初步关联。通过设定合理的双视图对极几何约束距离阈值，将在非基准传感器获得的单帧图像中位于极线附近且与极线距离小于距离阈值的成像点保留为候选关联点集合。
获取红外传感器探测过程中的第时刻基准红外传感器单帧图像中某一投影点迹的像素坐标/>，结合当前时刻（即第i时刻）双红外传感器光心坐标/>，其中，/>为基准传感器/>光心，/>为非基准传感器/>光心，计算当前点迹在基准坐标系下所确定的唯一极平面/>，极平面与传感器/>在该时刻的成像平面的交线为/>在基准坐标下所确定的唯一极线/>。设极平面方程为/>，则极线在基准坐标系下的方程表示为：
(3)
其中与/>分别表示在第/>时刻极平面/>与传感器/>的成像平面/>在基准坐标系下的表达式系数，且存在约束关系/>。将极线方程转换为传感器/>成像平面内的方程为：
(4)
其中，分别为第/>时刻极线/>在传感器/>成像平面/>内的第一表达式系数、第二表达式系数和第三表达式系数，/>分别为传感器/>的成像平面/>的第一像素坐标变量和第二像素坐标变量。由双视图对极几何约束原理求解第/>时刻由基准传感器成像平面中像素坐标/>确定唯一极面和传感器/>的成像平面中唯一极线的方法示意图如图4所示，图中左右两个红外传感器/>，/>对于观测到的同一目标/>，第i时刻，在基准传感器/>成像平面/>中投影点为/>;在非基准传感器/>成像平面/>中投影点为/>，由三点确定的极面为/>，/>与非基准传感器/>成像平面/>相交确定的极线为/>。
基于第时刻传感器/>获取的单帧图像中所有成像点/>（/>表示传感器/>获取的单帧图像中成像点目标个数）的像素坐标/>计算该点在/>中与极线/>的距离/>，距离计算方法为：
(5)
设定距离阈值为10个像素值，根据式(6)得到非基准传感器中的候选关联点集合：
(6)
其中表示第/>时刻基准传感器成像平面中的成像点目标/>在传感器/>成像平面中通过双视图对极几何约束剔除大部分非关联点后的候选关联点集合，/>表示候选关联点集合中的/>的候选关联点，/>表示候选关联点个数。第/>时刻通过与极线距离阈值确定候选关联点集合的方法如图5所示。图中针对基准传感器的两个投影点/>，/>，确定了在非基准传感器/>成像平面中的两条极线/>，/>，基于距离阈值/>求得/>的候选关联点为点集合/>，/>的候选关联点为点/>
遍历基准传感器成像平面中所有成像点(/>表示基准传感器/>获取的单帧图像中成像点目标个数)并完成上述步骤，能够得到第/>时刻传感器/>获取的单帧图像中所有成像点在传感器/>成像平面中的候选关联点集合/>(/>表示基准传感器/>获取的单帧图像中成像点目标个数)。
在步骤S103中，基于多帧图像的成像平面二维航迹拟合：选取连续多帧图像，基于三次样条插值方法，拟合双传感器成像平面中同一点目标形成的二维航迹。
分布式双红外传感器在观测某一重叠视场时，其单帧图像获取的为可疑目标在红外传感器成像平面的投影点迹，而由于视场中的多可疑目标均处于连续运动状态，其运动特征在三维空间具有连续性，因此多个连续帧图像拍摄的某个可疑目标在红外传感器成像平面中的投影点迹应该具有某种连续数值关系，其示意图如图6所示，图中可疑目标连续时刻的运动会在空间中形成一条运动轨迹，此轨迹在两个传感器成像平面中会投影出两条具有连续数值关系的航迹，此航迹包含所有时刻/>在某成像平面投影的点迹。
本申请通过三次样条插值方法建立同一成像平面中某个点目标连续多帧图像所形成的二维点迹的连续数值关系，具体方法如下：
选取基准传感器成像平面中第/>时刻的某一成像点/>，第/>时刻记为初始时刻，获取其后连续q=8个时刻的连续多帧图像，由此能够获得第/>至第/>时刻连续投影点迹集合/>，基于其在不同时刻的坐标值通过样条曲线拟合这些点迹，以得到基准传感器/>成像平面中成像点/>的二维航迹。三次样条曲线方程如式(7)：
(7)
式中为成像点/>拟合的二维航迹/>时刻在/>成像平面中的像素坐标，其中，为每个样条区间的基函数，/>为每个样条区间的样条系数，/>为样条区间个数。由于成像点的像素坐标具有横纵坐标/>二维，因此分别将横纵坐标看作自变量时间/>的因变量，以横坐标/>的插值方法为例，将已知关于时间的传感器成像平面像素横坐标数据分为/>个区间，然后使用三次样条分段函数来拟合每个区间的数据，三次样条分段函数表示为：
(8)
式中，m表示第m个样条区间，n表示划分的样条区间总个数，表示基准传感器成像平面中第/>个区间内第/>时刻的像素横坐标，/>分别表示第/>个区间三次样条插值函数的第一未知系数、第二未知系数、第三未知系数和第四未知系数，每个区间均有4个未知系数，对于/>个区间，需求解/>个未知系数。同时，得到的各样条区间内横坐标的分段插值函数/>在各已知取值点上连续且光滑，满足：
(9)
式中，分别表示第/>时刻/>这个端点两侧的横坐标求解函数表达式，函数值相等表示函数连续，/>分别表示第/>时刻/>这个端点两侧的横坐标求解函数表达式的一阶导数，/>分别表示第/>时刻/>这个端点两侧的横坐标求解函数表达式的二阶导数，其函数表达式的一阶导数与二阶导数存在且相等表示在这个端点分段插值函数/>连续且光滑。
将上述横坐标换替换为纵坐标/>能够拟合出纵坐标/>的分段插值函数/>，将两个坐标函数组合并将像素坐标位置看作时间的函数，得到每个分段的基函数/>，基于公式(6)，得到成像点/>在/>传感器成像平面中二维航迹/>，该航迹是时间的函数。三次样条拟合如图7所示。图中左上放大图中曲线为基于连续/>个时刻可疑目标/>在基准传感器/>成像平面中的投影点迹通过三次样条插值方法拟合求得的二维航迹/>，该航迹由多个分段基函数/>组合求得。
采用三次样条插值方法，结合候选关联点集合中同一目标连续个时刻的投影点迹像素坐标值，同样能够拟合出成像点/>在/>传感器成像平面中候选关联点集合中各个候选关联点在/>传感器成像平面中的二维航迹/>，在拟合候选点的二维航迹时，能够基于连续帧的结果判断候选关联点是否为虚假目标，具体判断方法为：若第/>时刻后的连续3帧图像没有获取到第/>时刻单帧图像中所选取点目标的同一点目标，则可以判断这一成像点为虚假目标，继而剔除该候选点。
上述流程为单个成像点目标及其候选关联点在双红外传感器成像平面中的二维航迹拟合方法，遍历基准传感器/>成像平面中所有成像点/>(/>表示基准传感器/>获取的单帧图像中成像点目标个数)并完成上述步骤，能够得到/>在/>传感器成像平面的二维航迹，及所有成像点/>在传感器/>成像平面中的候选关联点航迹。
在步骤S104中，随机选取二维航迹中的多帧点迹，基于同一时刻对极几何约束的极线与二维航迹相交点完成时移修正的同时对候选关联点集合中的非关联点进一步剔除。
时移修正就是通过软硬件同步的方法修正分布式双红外传感器在基于焦平面阵列拍摄扫描时由于不同传感器平台标称频率、积分时间、运动速度的不匹配所造成的同一时刻获取的双传感器图像的时间戳不同步问题，而时间戳不同步问题会导致两传感器在同一时刻所采集单帧图像中的投影点迹具有一定的偏差，继而增大了基于单帧图像的双红外传感器成像目标同一性判定错误率。因此，本申请通过时间软同步算法对分布式双红外传感器的时钟完成修正，以避免由于时移偏差所造成的成像目标误关联。具体方法流程如下：
问题描述：
双红外传感器在不同视角对三维空间的某一可疑目标观测时，由于不同传感器平台标称频率、积分时间、运动速度等不匹配问题会造成两传感器对目标的观测存在时间偏差，时间不同步问题造成的观测偏差问题描述如图8所示，图中对于同一时刻，双传感器观测三维空间中同一目标/>，基准传感器/>观测到的可疑目标在三维空间位置为/>，非基准传感器/>观测到的可疑目标在三维空间位置为/>，尽管都为/>时刻，/>，/>并不重合，其位置偏差是由双传感器时间的不同步所造成。
时移修正方法分析：
对于分布式双红外传感器，同一目标在成像平面中的二维航迹为/>，假设传感器/>中某条候选关联点航迹/>为该目标的正确关联点所形成的二维航迹，通过分析能够得知，虽然两条二维航迹之间存在时间不同步问题，但在某一基准时间戳下，同一点目标在同一时刻在某一传感器成像平面中的投影点迹既会在其二维航迹曲线上，同时也会在以另一传感器成像平面同一目标投影点通过双视图对极几何约束求得的极线上，因此，航迹曲线与极线的交点即为非基准传感器成像平面中在基准时间戳下的实际投影点坐标，以本申请中应用场景为例选取基准传感器/>的时间为基准时间戳，在基准传感器/>成像平面中的投影点目标/>所形成的二维航迹/>中，随机选取5个在基准时间戳下不同时刻的坐标点，并基于双视图对极几何约束求解该坐标点在传感器/>成像平面中的5条极线，结合式(4)与式(7)，通过极线与候选点航迹/>的交点/>求得双红外传感器的修正投影点迹：
(10)
式中，表示非基准传感器中/>这个候选点形成的二维航迹，表示某个/>时刻通过基准传感器中的点目标像素坐标求得的在非基准传感器中的极线，其中，/>为第/>时刻极线/>在传感器/>成像平面/>内的第一表达式系数、第二表达式系数和第三表达式系数，/>分别为当前/>时刻传感器/>的成像平面的第一像素坐标变量和第二像素坐标变量。/>为基准时间戳下第/>时刻/>传感器成像平面中的投影点迹修正坐标值。时移修正具体方法如图9所示，图中/>为基准传感器/>中投影点/>在非基准传感器/>成像平面中候选关联点/>形成的二维航迹，通过连续五个时刻/>在基准传感器/>成像平面中的投影坐标值，基于双视图对极几何约束确定的极线为/>，五条极线与航迹/>的交点为，五个交点即为从第/>时刻后，连续5个时刻的候选关联点在基准时间戳下的修正点迹。在时移修正的同时，原则上正确关联点形成的航迹在任意时刻均与极线相交于一点，在此实例下，相交点个数/>，即相交点个数等于选取的帧数，若连续3帧图像下的极线与传感器/>中的候选点航迹无交点，则认为该候选点为错误关联点。
在步骤S105中，以极线与二维航迹的的交点个数以及非基准传感器中各个修正点迹在时间序列上相对于原投影点迹的运动趋势为判决条件，完成双红外传感器中成像点目标的同一性判定：
原则上正确关联点形成的航迹在任意时刻均与极线相交于一点，在此实例下，相交点个数，即相交点个数等于选取的帧数；此外多个时刻下的修正点迹相对于原投影点迹运动趋势在时间序列上保持一致，在时移修正结果前提下，双红外传感器点目标同一性判定方法示意如图10所示，图中基准传感器/>中的成像目标/>在连续5个时刻下形成的点迹为/>；在非基准传感器中，候选关联点/>连续时刻形成航迹为/>，其连续5个时刻均与极线相交，相交点/>为五个时刻选取的修正点迹，候选关联点/>连续时刻形成的航迹/>在第三个时刻后与极线无交点，由此能够判定/>为/>的同一性判定目标即正确关联点。
通过上述步骤，完成了典型分布式双红外传感器探测远距离多个目标应用场景中双红外传感器成像平面中多个成像点目标的同一性判定问题。
在一个实施例中，步骤S101至步骤S105中，双视图对极几何约束为空间依据，公式符号右上角符号i均表示某一单帧图像所在时刻，此操作为所有变量添加了时间属性，以区分连续多帧图像中变量的变化，即时间依据。
在一个实施例中，步骤S101中，在进行坐标变换时，不考虑传感器与机载平台安装位置，将机身质心坐标近似看为红外传感器在三维空间中的位置坐标。
在一个实施例中，步骤S102中，双视图对极几何约束在算法全流程中作为判决条件，用于事先剔除非基准传感器中对于基准传感器中某一具体成像点的置信度较低的非关联点，以提升算法运行效率。
在一个实施例中，步骤S102中，双红外传感器获取的同一时刻的单帧图像，为时间轴上的同一时刻，尚未考虑双传感器时间同步问题。
在一个实施例中，双红外传感器处于静止或匀速运动，其探测的三维空间中可疑红外目标的距离约为50km至200km，由于探测距离较远，目标在双红外传感器成像平面的投影中通常只占几个像素值，该方法用于获取保存用于算法计算的投影点像素坐标为几个像素的中心点坐标。
在一个实施例中，步骤S104中，二维航迹为根据双红外传感器中同一点目标在连续时刻的投影点迹像素坐标位置通过三次样条插值方法拟合的在双传感器成像平面中的一条自变量为时间，因变量为投影点像素坐标的函数。
在一个实施例中，步骤S105中，时间同步方法为：将某一时刻基于对极几何约束原理求解的基准传感器成像平面中某一投影点在非基准传感器成像平面中的唯一极线所带基准时间戳时间信息赋予当前极线与二维航迹的交点。
在一个实施例中，若基准传感器成像平面中的某条二维航迹为基准传感器中同一点目标投影形成，则预设时刻的极线与二维航迹的交点为非基准传感器被赋予基准传感器时间戳完成时间同步后的修正点迹。
本申请只通过成像点目标在双传感器视图中的不同时刻的像素坐标位置，采用单帧图像结合连续时刻多帧图像基于三次样条插值方法拟合出了双红外传感器成像平面同一投影点的二维航迹，基于双视图对极几何约束原理寻找双视图中二维航迹的对应关系。该方法无需再考虑被动传感器所缺失的目标深度信息，尤其适合于红外传感器此类无源被动传感器探测远距离目标的场景，该场景下，目标在传感器成像平面中的投影为点目标，同时目标的信号强度较弱，信噪比较低，该方法能够有效解决此类场景下的多点目标同一性判定问题。
此外，双平台红外传感器探测场景不同于多平台被动传感器探测场景，多平台被动传感器探测场景能够在选取一个基准平台后，将其余传感器与基准平台两两组合以实现多组多图像信息数据融合，并根据融合结果修正目标的识别与关联信息。而双平台红外传感器只有一种组合方式，获取的图像信息较于多平台红外传感器具有极大的局限性，无法实现信息的修正。本申请考虑了双红外传感器的标称扫描频率以及积分时间和运动速度不同步等问题造成的时移偏差所产生的双传感器观测偏差问题，基于对极几何约束原理完成时移修正，实现了双红外传感器的时间软同步，降低了由于双红外传感器时间不同步问题造成的错关联率。本申请所述方法同样能够拓展至多平台（大于2）红外传感器探测的应用场景中，通过非基准传感器与基准传感器的两两组合构建多组数据并实现融合，能提升多平台红外传感器在解决点目标同一性判定问题时的正确率。
同时，在单帧图像的处理及连续时刻多帧图像的处理时，双视图对极几何约束原理均作为先决判定条件，以将一部分置信度较低的关联点预先排除，这样能够有效降低算法的计算量，提升算法运算效率，因此能够适用于红外传感器探测视场中具有较多目标的应用场景，能够解决分布式双红外传感器多点目标的同一性判定问题。
最后，本申请考虑了工程应用中会面临的测量信息缺失、测量误差较大、计算性能有限的情况，具有较好的工程实际应用前景。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行结合和组合。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (4)

1.一种基于时空依据的分布式双红外传感器多目标同一性判定方法，其特征在于，该方法包括：
选取并固定基准坐标系，在基准坐标系下计算双红外传感器的成像平面方程；其中，双红外传感器包括基准传感器和非基准传感器；具体包括：选取基准坐标系，以描述双红外传感器所在的机载平台的位置；以双红外传感器中的基准传感器在预设时刻时，质心所在地心地固坐标系中的三维空间位置为基准坐标系原点，将机载平台的经纬高坐标数据通过坐标变换转换为基准坐标系坐标；结合双红外传感器自身姿态与内外参数，计算在基准坐标系下双红外传感器光心坐标和成像平面方程；
基于成像平面方程，在单帧图像中基于双视图对极几何约束原理初步剔除非关联点，以确定基准传感器成像点目标在非基准传感器中的候选关联点集合；其中，候选关联点集合包括一个或多个候选关联点；
选取连续多帧图像，基于样条插值方法拟合双红外传感器的成像平面中同一观测目标连续多帧图像像素坐标，以形成二维航迹；
随机选取二维航迹中的多帧点迹，并基于同一时刻对极几何约束的极线与二维航迹相交点完成时移修正，且进一步剔除候选关联点集合中的非关联点，以形成剩余候选点航迹集合；具体包括：以基准传感器的时间为基准时间戳，并在基准传感器成像平面中的任意一条二维航迹上随机选取不同时刻的多个坐标点，由不同时刻下基准传感器成像平面中的投影点基于双视图对极几何约束在非基准传感器成像平面确定的极线与候选关联点确定的二维航迹相交方法求解在非基准传感器成像平面中不同时刻的修正投影点迹；遍历基准传感器成像平面中全部点目标形成的二维航迹，重复上述步骤，完成双视图时间同步；其中，在求解极线与航迹交点时，添加判决条件，若连续多帧图像下的极线与非基准传感器中的候选点航迹无交点，则该候选关联点为错误关联点，继而剔除该候选关联点，形成剩余候选点航迹集合；
基于时移修正的结果和剩余候选点航迹集合，结合修正点迹个数及连续时刻修正点迹在时间序列上相对于原投影点迹的运动趋势信息，以基准传感器成像平面中的一个点目标对应非基准传感器成像平面中一个候选关联点的原则，完成双红外传感器中多点目标的同一性判定；具体包括：以极线与轨迹的交点个数以及非基准传感器中各个修正点迹在时间序列上相对于原投影点迹的运动趋势为判决条件，完成双红外传感器中成像点目标的同一性判定；其中，正确关联点形成的航迹在任意时刻均与极线相交于一点，即相交点个数等于选取的时刻数；且多个时刻下的修正点迹相对于原投影点迹运动趋势在时间序列上保持一致。
2.根据权利要求1所述基于时空依据的分布式双红外传感器多目标同一性判定方法，其特征在于，基于成像平面方程，在单帧图像中基于双视图对极几何约束原理初步剔除非关联点，以确定基准传感器成像点目标在非基准传感器中的候选关联点集合的步骤中，包括：
获取并保存基准传感器中在第i时刻单帧图像中预定的成像点目标的投影像素点坐标；
根据基准传感器的内参和非基准传感器的内参，分别确定基准传感器和非基准传感器的光心在基准坐标系下的坐标，以得到该时刻的红外双传感器的基线；
通过基线和基准传感器中像素点坐标以及红外传感器观测角与方位角信息确定该单帧图像中投影像素点坐标在基准坐标系下的极平面；
根据极平面与非基准传感器的成像平面交线求得该单帧图像中投影像素点坐标在非基准传感器的成像平面中的极线；
设定距离阈值，并计算非基准传感器在该时刻截取的单帧图像中所有成像点与极线的距离，计算结果小于距离阈值的成像点保留为像素点坐标在非基准传感器截取的图像中的候选关联点集合；
遍历基准传感器截取的当前单帧图像中的全部成像点，重复上述步骤，获得基准传感器截取的当前时刻单帧图像中所有成像点在非基准传感器获取的图像中的候选关联点集合。
3.根据权利要求2所述基于时空依据的分布式双红外传感器多目标同一性判定方法，其特征在于，选取连续多帧图像，基于样条插值方法拟合双红外传感器的成像平面中同一观测目标连续多帧图像像素坐标，以形成二维航迹的步骤中，包括：
以第i时刻为初始时刻，获取其后连续q个时刻的双红外传感器截取的连续多帧图像，获取并保存连续多帧图像中同一成像点目标的像素坐标，基于其在不同时刻的坐标值，通过三次样条插值方法拟合得到该点目标在双红外传感器中的二维航迹；
遍历双红外传感器所有成像点目标在第i时刻至第q个时刻投影点像素坐标值，重复上述步骤，拟合得到所有成像点目标在双红外传感器中的二维航迹。
4.根据权利要求3所述基于时空依据的分布式双红外传感器多目标同一性判定方法，其特征在于，若基准传感器成像平面中的某条二维航迹为基准传感器中同一点目标投影形成，则预设时刻的极线与二维航迹的交点为非基准传感器被赋予基准传感器时间戳完成时间同步后的修正点迹。
CN202410366330.6A 2024-03-28 2024-03-28 基于时空依据的分布式双红外传感器多目标同一性判定方法 Active CN117974766B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410366330.6A CN117974766B (zh) 2024-03-28 2024-03-28 基于时空依据的分布式双红外传感器多目标同一性判定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410366330.6A CN117974766B (zh) 2024-03-28 2024-03-28 基于时空依据的分布式双红外传感器多目标同一性判定方法

Publications (2)

Publication Number Publication Date
CN117974766A CN117974766A (zh) 2024-05-03
CN117974766B true CN117974766B (zh) 2024-06-07

Family

ID=90851801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410366330.6A Active CN117974766B (zh) 2024-03-28 2024-03-28 基于时空依据的分布式双红外传感器多目标同一性判定方法

Country Status (1)

Country Link
CN (1) CN117974766B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118279568B (zh) * 2024-05-31 2024-09-17 西北工业大学 分布式双红外传感器时序孪生网络多目标同一性判定方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6449382B1 (en) * 1999-04-28 2002-09-10 International Business Machines Corporation Method and system for recapturing a trajectory of an object
JP2010028203A (ja) * 2008-07-15 2010-02-04 Mitsubishi Electric Corp 赤外線カメラ
KR20150134648A (ko) * 2014-05-22 2015-12-02 한국해양과학기술원 쇄빙 모형선의 자동 추적 시스템
CN108363519A (zh) * 2017-12-29 2018-08-03 中国科学院自动化研究所 分布式红外视觉检测与投影融合自动矫正的触控显示系统
KR20190107410A (ko) * 2018-03-12 2019-09-20 영남대학교 산학협력단 무인 비행체 제어 방법과 이를 수행하기 위한 장치 및 시스템
CN110398251A (zh) * 2019-08-16 2019-11-01 北京邮电大学 一种基于多传感器融合的无轨导航agv定位系统及其定位方法
CN110533695A (zh) * 2019-09-04 2019-12-03 深圳市唯特视科技有限公司 一种基于ds证据理论的轨迹预测装置及方法
CN111491106A (zh) * 2020-05-15 2020-08-04 Oppo（重庆）智能科技有限公司 拍摄图像的处理方法、装置、移动终端及存储介质
JP2022039906A (ja) * 2020-08-28 2022-03-10 中国計量大学 マルチセンサによる複合キャリブレーション装置及び方法
CN114879304A (zh) * 2022-05-10 2022-08-09 杭州光学精密机械研究所 分布式红外光纤传像束及其制备方法
CN116149371A (zh) * 2023-03-21 2023-05-23 北京工业大学 一种基于视觉传感器网络的多运动体三维跟踪与控制平台

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10027954B2 (en) * 2016-05-23 2018-07-17 Microsoft Technology Licensing, Llc Registering cameras in a multi-camera imager
US10371784B2 (en) * 2016-06-03 2019-08-06 Raytheon Company System and method for multi-sensor multi-target 3D fusion using an unbiased measurement space
JP7037425B2 (ja) * 2018-04-23 2022-03-16 株式会社ディスコ レーザー光線の焦点位置検出方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6449382B1 (en) * 1999-04-28 2002-09-10 International Business Machines Corporation Method and system for recapturing a trajectory of an object
JP2010028203A (ja) * 2008-07-15 2010-02-04 Mitsubishi Electric Corp 赤外線カメラ
KR20150134648A (ko) * 2014-05-22 2015-12-02 한국해양과학기술원 쇄빙 모형선의 자동 추적 시스템
CN108363519A (zh) * 2017-12-29 2018-08-03 中国科学院自动化研究所 分布式红外视觉检测与投影融合自动矫正的触控显示系统
KR20190107410A (ko) * 2018-03-12 2019-09-20 영남대학교 산학협력단 무인 비행체 제어 방법과 이를 수행하기 위한 장치 및 시스템
CN110398251A (zh) * 2019-08-16 2019-11-01 北京邮电大学 一种基于多传感器融合的无轨导航agv定位系统及其定位方法
CN110533695A (zh) * 2019-09-04 2019-12-03 深圳市唯特视科技有限公司 一种基于ds证据理论的轨迹预测装置及方法
CN111491106A (zh) * 2020-05-15 2020-08-04 Oppo（重庆）智能科技有限公司 拍摄图像的处理方法、装置、移动终端及存储介质
JP2022039906A (ja) * 2020-08-28 2022-03-10 中国計量大学 マルチセンサによる複合キャリブレーション装置及び方法
CN114879304A (zh) * 2022-05-10 2022-08-09 杭州光学精密机械研究所 分布式红外光纤传像束及其制备方法
CN116149371A (zh) * 2023-03-21 2023-05-23 北京工业大学 一种基于视觉传感器网络的多运动体三维跟踪与控制平台

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
一种红外搜索系统的分布式多传感器航迹融合算法;董静;吴新建;;光学与光电技术;20071210(06);全文 *
基于多传感器的航迹自动判别算法;王钤;张云龙;王伟;严发宝;;兵工自动化;20100515(05);全文 *
基于多小波分析和数据拟合的小目标跟踪方法;王克勇;宋承天;郑链;;光学技术;20081228(S1);全文 *

Also Published As

Publication number Publication date
CN117974766A (zh) 2024-05-03

Similar Documents

Publication Publication Date Title
CN111368706B (zh) 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法
CN106681353B (zh) 基于双目视觉与光流融合的无人机避障方法及系统
Sola et al. Fusing monocular information in multicamera SLAM
CN110926474B (zh) 卫星/视觉/激光组合的城市峡谷环境uav定位导航方法
CN117974766B (zh) 基于时空依据的分布式双红外传感器多目标同一性判定方法
CN111462200A (zh) 一种跨视频行人定位追踪方法、系统及设备
CN113359097B (zh) 一种毫米波雷达和相机联合标定的方法
CN112785702A (zh) 一种基于2d激光雷达和双目相机紧耦合的slam方法
CN110632589B (zh) 一种雷达光电信息融合技术
CN110689562A (zh) 一种基于生成对抗网络的轨迹回环检测优化方法
US20100208941A1 (en) Active coordinated tracking for multi-camera systems
JP2004530144A (ja) 画像情報を提供する方法
Cvišić et al. Recalibrating the KITTI dataset camera setup for improved odometry accuracy
CN115031718B (zh) 一种多传感器融合的无人船同步定位与建图方法(slam)及系统
CN114608561A (zh) 一种基于多传感器融合的定位与建图方法及系统
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN106370160A (zh) 一种机器人室内定位系统和方法
CN112461228B (zh) 一种相似环境下基于imu和视觉的二次回环检测定位方法
CN117593650B (zh) 基于4d毫米波雷达与sam图像分割的动点滤除视觉slam方法
CN114037968A (zh) 基于深度雷达点云和图像数据融合的车道线检测方法
CN117406234A (zh) 基于单线激光雷达与视觉融合的目标测距和追踪的方法
CN112945233A (zh) 一种全局无漂移的自主机器人同时定位与地图构建方法
CN116045965A (zh) 一种融合多传感器的环境地图构建方法
CN115560640A (zh) 一种基于双站观测的弹丸脱靶量在线自动检测方法及系统
CN114442083A (zh) 一种基于视觉与多源雷达的自适应加权数据融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant