CN111983603A - 运动轨迹接力方法、系统、装置和中心端处理设备 - Google Patents

运动轨迹接力方法、系统、装置和中心端处理设备 Download PDF

Info

Publication number
CN111983603A
CN111983603A CN202010898949.3A CN202010898949A CN111983603A CN 111983603 A CN111983603 A CN 111983603A CN 202010898949 A CN202010898949 A CN 202010898949A CN 111983603 A CN111983603 A CN 111983603A
Authority
CN
China
Prior art keywords
radar
target
coordinate
detected
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010898949.3A
Other languages
English (en)
Inventor
张尚迪
浦世亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202010898949.3A priority Critical patent/CN111983603A/zh
Publication of CN111983603A publication Critical patent/CN111983603A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/91Radar or analogous systems specially adapted for specific applications for traffic control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28Details of pulse systems
    • G01S7/285Receivers
    • G01S7/295Means for transforming co-ordinates or for evaluating data, e.g. using computers
    • G01S7/2955Means for determining the position of the radar coordinate system for evaluating the position data of the target in another coordinate system
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35Details of non-pulse systems
    • G01S7/352Receivers
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请提供了一种运动轨迹接力方法、系统、装置和中心端处理设备,用以生成同一目标在多台雷视设备的连续探测范围内的完整运动轨迹。该运动轨迹接力系统,包括:第一雷视设备,用于通过第一相机探测目标并获取第一相机所探测到目标的目标图像数据,以及通过第一雷达探测目标并获取第一雷达所探测到目标的目标雷达数据;中心端处理设备,用于接收第一雷视设备发送的目标图像数据和目标雷达数据,当根据第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系确定第一相机和第一雷达探测到的目标为相同的第一目标时,从目标图像数据中提取第一目标的目标标识,并根据第一目标的目标标识和目标雷达数据生成第一目标的运动轨迹信息。

Description

运动轨迹接力方法、系统、装置和中心端处理设备
技术领域
本申请涉及智能交通技术,特别涉及运动轨迹接力方法、系统、装置和中心端处理设备。
背景技术
雷视设备,是一种由雷达和相机构成的监控设备。通过在道路中设置雷视设备,可实现对道路中目标的监控。这里,目标可以是道路中的行人、机动车或非机动车等。
但是,由于单一雷视设备的探测范围有限,通常只能覆盖整条道路中的局部道路,进而仅能实现对局部道路中目标的监控。而对于整条道路中同一目标的连续监控,目前还无法实现。
发明内容
本申请提供了一种运动轨迹接力方法、系统、装置和中心端处理设备,用以生成同一目标在多台雷视设备的连续探测范围内的完整续运动轨迹。
本申请提供的技术方案包括:
根据本申请的第一方面,提供一种运动轨迹接力系统,所述系统包括中心端处理设备和至少一个第一雷视设备,所述第一雷视设备包括第一相机和第一雷达,所述第一相机和所述第一雷达具有重叠视场;
所述第一雷视设备,用于通过所述第一相机探测目标并获取所述第一相机所探测到目标的目标图像数据,以及通过所述第一雷达探测目标并获取所述第一雷达所探测到目标的目标雷达数据;
所述中心端处理设备,用于接收所述第一雷视设备发送的目标图像数据和目标雷达数据,当根据所述第一相机探测的图像坐标与所述第一雷达探测的雷达坐标的转换关系,确定所述第一相机和所述第一雷达探测到的目标为相同的第一目标时,从所述目标图像数据中提取所述第一目标的特征信息作为所述第一目标的目标标识,并根据所述第一目标的目标标识和所述目标雷达数据生成所述第一目标的运动轨迹信息。
根据本申请的第二方面,提供一种运动轨迹接力方法,应用于运动轨迹接力系统中的中心端处理设备,所述系统中还包括:至少第一雷视设备,所述第一雷视设备包括第一相机和第一雷达,所述第一相机和所述第一雷达具有重叠视场;该方法包括:
获得第一雷视设备通过所述第一相机探测到目标时获取的目标图像数据,以及通过所述第一雷达探测到目标时获取的目标雷达数据;
当根据所述第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系确定所述第一相机和所述第一雷达探测到的目标为相同的第一目标时,从所述目标图像数据中提取所述第一目标的特征信息作为所述第一目标的目标标识,并根据所述第一目标的目标标识和所述目标雷达数据生成所述第一目标的运动轨迹信息。
根据本申请的第三方面,提供一种运动轨迹接力装置,应用于运动轨迹接力系统中的中心端处理设备,所述系统中还包括:至少第一雷视设备,所述第一雷视设备包括第一相机和第一雷达,所述第一相机和所述第一雷达具有重叠视场;该装置包括:
数据获得单元,用于获得通过所述第一相机探测到目标时获取的目标图像数据,以及通过所述第一雷达探测到目标时获取的目标雷达数据;
运动轨迹信息生成单元,用于当根据所述第一相机探测的图像坐标与所述第一雷达探测的雷达坐标的转换关系确定所述第一相机和所述第一雷达探测到的目标为相同的第一目标时,从所述目标图像数据中提取所述第一目标的特征信息作为所述第一目标的目标标识,并根据所述第一目标的目标标识和所述目标雷达数据生成所述第一目标的运动轨迹信息。
根据本申请的第四方面,提供一种中心端处理设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现前述的运动轨迹接力方法。
根据本申请的第五方面,提供一种计算机可读存储介质,计算机可读存储介质内存储有计算机程序,计算机程序被处理器执行时实现前述的运动轨迹接力方法。
由以上技术方案可以看出,本申请中,运动轨迹接力系统中的中心端处理设备可以在根据第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系确定第一相机和第一雷达探测到的目标为相同的第一目标时,从已获得的目标图像数据中提取出第一目标的目标标识,并根据该目标标识和已获得的目标雷达数据生成第一目标的运动轨迹信息,这实现了自动生成包括有目标标识的运动轨迹信息的效果。
进一步的,在运动轨迹接力系统中还存在有与第一雷视设备相邻的第二雷视设备的情况下,中心端处理设备可以在根据第一雷达探测的雷达坐标与第二雷达探测的雷达坐标的转换关系确定出第三目标与第四目标为同一目标时,将第四目标的目标标识更新为第三目标的目标标识,并根据第二雷达对第三目标探测到的目标雷达数据和第三目标的目标标识更新第三目标的运动轨迹信息,这实现了对同一目标在多台雷视设备的连续探测范围内的完整续运动轨迹的生成。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请施例,并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的雷视设备的探测范围示意图;
图2为本申请实施例提供的一种运动轨迹接力方法的流程示意图;
图3为本申请实施例提供的第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系的确定流程图;
图4为本申请实施例提供的确定第一相机和第一雷达探测到的目标为相同的第一目标的流程示意图;
图5为本申请实施例提供的第一雷达探测的雷达坐标与GPS坐标的转换关系的确定流程图;
图6为本申请实施例提供的生成第二目标的运动轨迹信息的流程示意图;
图7为本申请实施例提供的多个雷视设备的布设示意图;
图8为本申请实施例提供的生成完整运动轨迹的流程示意图;
图9为本申请实施例提供的第一雷达探测的雷达坐标与第二雷达探测的雷达坐标的转换关系的确定流程图;
图10为本申请实施例提供的更新完整运动轨迹的流程示意图;
图11为本申请实施例提供的运动轨迹接力系统的架构示意图。
图12为本申请实施例提供的运动轨迹接力装置的结构示意图;
图13为本申请实施例提供的图12所示装置的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了使得本申请的描述更清楚简洁,下面对本申请中的一些技术术语进行解释:
雷视设备:由一台相机和一台雷达组成的设备。雷视设备中的相机包括但不限于摄像机,摄像机包括网络摄像机IPC、枪机、双目相机、鱼眼相机、球机等,雷视设备中的雷达包括但不限于毫米波雷达和激光雷达等,雷视设备中的相机和雷达对准同一监控场景。雷视设备中的雷达可以获得该监控场景内目标的距离、速度、方位等信息,雷视设备中的相机可以获得该监控场景内目标的图像信息。雷视设备中的相机和雷达可以是一体结构,也可以非一体结构。雷视设备中的雷达和相机可以同向安装,也可以对向安装,但要保证监控场景能同时在相机和雷达的重叠视场内,雷视设备中相机和雷达的重叠视场作为雷视设备的探测范围。通常来说,雷达的有效探测范围要大于相机的有效探测范围。图1示例性示出了一个由相机和雷达构成的雷视设备,该相机的监控视场与雷达的监控视场的重叠视场作为该雷视设备的探测范围,雷视设备的雷达和相机可以通过GPS授时实现时间同步。
雷达:基于雷达原理对目标进行探测的设备,能够探测目标的位置、距离和方位,如激光雷达、毫米波雷达等。
下面对本申请实施例提供的方法进行描述:
请参见图2,为本申请实施例提供的一种运动轨迹接力方法的流程示意图。该方法应用于运动轨迹接力系统,该系统包括中心端处理设备和至少一个第一雷视设备,该第一雷视设备包括第一相机和第一雷达,该第一相机和该第一雷达具有重叠视场,雷视设备和中心端处理设备之间可以通过GPS授时实现时间同步。
如图2所示,该系统应用的运动轨迹接力方法的流程可包括以下步骤:
步骤101,获得通过第一相机探测到目标时获取的目标图像数据,以及通过第一雷达探测到目标时获取的目标雷达数据。
示例性的,本申请实施例中的第一雷视设备为任意雷视设备。在一个例子中,本申请实施例中的第一雷视设备由一台枪机和一台毫米波雷达构成。其中,毫米波雷达是指工作在毫米波波段(millimeter wave)的雷达。毫米波是指30~300GHz频域(波长为1~10mm)的,但通常24GHz的雷达也认为是毫米波雷达。
当任一目标进入上述第一雷视设备的探测范围时,该第一雷视设备中的第一相机便可采集到该目标在第一雷视设备的探测范围内的视频流,并基于预先配置的识别算法从采集的视频流中识别出该目标。这里,可根据目标的类型不同,相应的在第一相机中配置不同的识别算法。例如,当目标为车辆时,可预先在雷视设备的第一相机中配置车辆识别算法,使第一相机可基于该车辆识别算法从视频流中识别出车辆。而当目标为行人时,可预先在雷视设备的第一相机中配置行人识别算法,使该第一相机可基于该行人识别算法从视频流中识别出行人。
需要说明的是,目标的具体类型可根据实际情况设置,相应的,配置于第一相机中与目标的具体类型相适配的识别算法也可根据实际情况设置,例如采用已有的相关算法,本申请对此并不限定。
当第一雷视设备中的第一相机从视频流中识别出目标后,会在前述的识别算法基础上结合预先配置的跟踪算法,从采集到的视频流中获取该目标在本雷视设备的探测范围内的目标图像数据(目标图像数据可包括:目标在第一相机的图像坐标系中的图像坐标、第一相机获得各图像坐标的时刻、以及由第一相机拍摄的该目标的至少一张图片)。
可选的,上述第一相机的图像坐标系可以通过以下方式构建:以第一相机的显示画面的左上角顶点作为坐标原点,以水平向右为X轴正方向,以垂直向下为Y轴负方向构建出图像坐标系。
由于在同一雷视设备中,雷视设备的探测范围是第一相机与第一雷达的重叠视场,因此在上述第一相机获取目标的目标图像数据的过程中,若该目标没有被遮挡,则该第一雷视设备中的第一雷达也会相应的获取到该目标的目标雷达数据(目标雷达数据可包括:目标在第一雷达的雷达坐标系中的雷达坐标、第一雷达获得各雷达坐标的时刻)。
可选的,上述第一雷达的雷达坐标系可以通过以下方式构建:以第一雷达所在位置为坐标原点,以指向第一雷达右侧方向为X轴正方向,以指向第一雷达正前方方向为Y轴正方向构建出雷达坐标系。
之后,第一雷视设备会将获取到的目标图像数据和目标雷达数据发送至上述的中心端设备,以使中心端设备接收到目标图像数据和目标雷达数据。
需要说明的是,上述第一雷达的具体类型可根据实际情况设置,例如,可以是毫米波雷达或激光雷达等,本申请对此不做限定。
步骤102,当根据第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系确定第一相机和第一雷达探测到的目标为相同的第一目标时,从目标图像数据中提取第一目标的特征信息作为第一目标的目标标识,并根据第一目标的目标标识和目标雷达数据生成第一目标的运动轨迹信息。
在执行本步骤102之前,可以预先获得根据第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系。下文会示例性描述两种确定第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系的实现方式,这里暂不赘述。
在本步骤102中,若预先获得了第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系,则可以依据该转换关系对前述接收到的目标图像数据和目标雷达数据进行检查,以检查前述的第一相机和第一雷达是否探测到了同一个目标,这里将该同一个目标记为第一目标。
在本申请实施例中,确定出第一相机和第一雷达探测到的目标为相同的第一目标有多种实现方式,下文会示例性描述其中三种实现方式,这里暂不赘述。
当确定出第一相机和第一雷达探测到的目标为相同的第一目标时,可以从前述接收到的目标图像数据中提取该第一目标的目标特征。作为其中一种可能的实现方式,从目标图像数据中提取该第一目标的目标特征,可以具体为:在目标图像数据包括的该第一目标的至少一张图片中,按照预设的特征提取算法提取该第一目标的目标特征。
需要说明的是,提取出的第一目标的目标特征可以根据实际情况设置,例如,当第一目标为车辆时,则可以选择提取第一目标的车牌信息或车辆型号等作为目标特征、又例如,当第一目标为行人时,则可以选择提取第一目标的人脸信息或衣着信息等作为目标特征,本申请对此并不限定。相应的,上述预设的特征提取算法可以与目标特征相适配的设置,例如采用已有的相关算法,本申请对此并不限定。
之后,便可以根据第一目标的目标标识和目标雷达数据生成第一目标的运动轨迹信息。在本申请实施例中,根据第一目标的目标标识和目标雷达数据生成第一目标的运动轨迹信息有多种实现方式。
作为其中一种实现方式,根据第一目标的目标标识和目标雷达数据生成第一目标的运动轨迹信息,可以包括:根据第一雷达的雷达坐标与GPS坐标的转换关系,将目标雷达数据中第一目标的雷达坐标转换成GPS坐标,根据第一目标的GPS坐标和第一目标的目标标识生成第一目标的GPS运动轨迹信息。下文对前述的第一雷达的雷达坐标与GPS坐标的转换关系如何获得进行示例性说明,这里暂不赘述。
需要说明的是,上述的GPS坐标系可以是WGS60坐标系、WGS84坐标系等,本申请对此不做具体限定。
还需要说明的是,上述的GPS坐标也可以替换成BDS(BeiDou NavigationSatellite System,北斗卫星导航系统)坐标,只要是能够用于确定地球上任一地理空间坐标位置的坐标系的坐标均可替换上述的GPS坐标。
至此,完后图2所示流程。
由以上技术方案可以看出,本申请中,运动轨迹接力系统中的中心端处理设备可以在根据第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系确定第一相机和第一雷达探测到的目标为相同的第一目标时,从已获得的目标图像数据中提取出第一目标的目标标识,并根据该目标标识和已获得的目标雷达数据生成第一目标的运动轨迹信息,这实现了自动生成包括有目标标识的运动轨迹信息的效果。
下面对确定上述步骤102中第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系的两种实现方式进行详细说明:
作为第一种实现方式,参见图3,图3为本申请实施例提供的第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系的确定流程图,该流程可以包括:
步骤201,获取N个坐标对,每一坐标对包括标定参照物在第一雷达的坐标系中的雷达坐标和标定参照物在第一相机的坐标系中的图像坐标;其中,N为不小于4的自然数,N个坐标对中的N个雷达坐标不共线,且N个坐标值对中的N个图像坐标不共线。
在步骤201中,可以在第一雷视设备的探测范围内设置一标定参照物,该标定参照物可以是矩形标定板,以通过第一雷视设备中的第一相机获取该标定参照物的至少N个图像坐标(例如至少是矩形标定板的4个顶点所对应的图像坐标)、并通过第一雷达获取该标定参照物的至少N个雷达坐标(例如至少是矩形标定板的4个顶点所对应的雷达坐标)。其中,N个雷达坐标可以是(X1,Y1)、(X1,Y1)…(XN,YN)、N个图像坐标可以是(X′1,Y′1)、(Y′2,Y′2)…(Y′N,Y′N)。
之后,将获得的至少N个图像坐标与至少N个雷达坐标根据坐标所对应的标定参照物的位置进行一一匹配(例如,将共同对应于矩形标定板左上顶点的雷达坐标和图像坐标进行匹配、将共同对应于矩形标定板右上顶点的雷达坐标和图像坐标进行匹配),即得到至少N个坐标对。
步骤202,依据N个坐标对确定出第一雷达探测的雷达坐标与第一相机探测的图像坐标的转换关系。
在获得至少N个坐标对后,可以构建出如下B=Ax形式的齐次方程组,以求解出用于将第一雷达探测的雷达坐标转换为第一相机探测的图像坐标的转换关系:
齐次方程组
Figure BDA0002659227180000071
在上述的齐次方程组中,系数矩阵T是由上述至少N个坐标对按照既定方式组合而成,待求解的系数矩阵T则为待求解的转换关系,那么,通过对上述齐次方程组进行求解,即可得到待求解的转换关系。
在求解上述齐次方程组的过程中,可以用到下述公式(一)与公式(二),本领域技术人员可以通过上述齐次方程组并结合数学概念,得到该公式(一)与公式(二):
Figure BDA0002659227180000072
Figure BDA0002659227180000073
基于上述公式(一)和公式(二)可知,基于一个坐标对,即可求解出两个矩阵系数,那么,基于至少4个坐标值对,则可求解出转换关系。
将上述得到的N个坐标对带入上述的公式(一)与公式(二),则可以求解出上述矩阵T,即用于将雷达探测的雷达坐标转换为相机探测的图像坐标的转换关系。在此基础上,上述矩阵T的逆矩阵T′则是用于将第一相机探测的图像坐标转换为第一雷达探测的雷达坐标的转换关系。即,矩阵T和该矩阵T的逆矩阵T′共同组成了第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系。
以上对确定上述步骤102中第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系的第一种实现方式进行了详细说明。
作为第二种实现方式,确定第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系可以包括:
首先,获取第一相机和第一雷达的外参的初始值、第一相机的内参。
其中,第一相机的内参可以直接按照第一相机的出厂参数确定。第一相机与第一雷达的外参的初始值可以通过任意相关外参确定方法获得,例如,第一相机与第一雷达的外参的初始值为使用测量工具测量得到的数值。这里的外参可以是用于将第一雷达探测的雷达坐标转换为第一相机探测的图像坐标的第一外参、也可以是用于将第一相机探测的图像坐标转换为第一雷达探测的雷达坐标的第二外参。
之后,在第一相机和第一雷达的重叠视场中设置标定参照物,获取第一相机采集的该标定参照物的图像坐标、以及第一雷达采集的该标定参照物的雷达坐标,并按照上述第一相机和第一雷达的外参的初始值及上述第一相机的内参,将上述图像坐标及上述雷达坐标转换到同一坐标系下。
示例性的,可以利用上述第一相机和第一雷达的第一外参的初始值及上述第一相机的内参,将雷达坐标由第一雷达的雷达坐标系转换到第一相机的图像坐标系下。当然,也可以利用上述第一相机和第一雷达的第二外参的初始值及上述第一相机的内参,将雷达坐标由第一雷达的雷达坐标系转换到第一相机的图像坐标系下。
最后,调整上述外参的值,在将雷达坐标由第一雷达的雷达坐标系转换到第一相机的图像坐标系的情况下,当上述第一相机采集的图像坐标与经转换得到的图像坐标重合时,确定出上述第一外参的标定值,该第一外参的标定值用于将第一雷达探测的雷达坐标转换为第一相机探测的图像坐标;而在将图像坐标由第一相机的图像坐标系转换到第一雷达的雷达坐标系的情况下,当上述第一雷达采集的雷达坐标与经转换得到的雷达坐标重合时,确定出上述第二外参的标定值,该第二外参的标定值则用于将第一相机探测的图像坐标转换为第一雷达探测的雷达坐标。即,第一外参的标定值和第二外参的标定值共同组成了第一雷达探测的雷达坐标与第一相机探测的图像坐标的转换关系。
以上对确定上述步骤102中第一雷达探测的雷达坐标与第一相机探测的图像坐标的转换关系的两种实现方式进行了详细说明。
下面对上述步骤102中如何根据第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系确定第一相机和第一雷达探测到的目标为相同的第一目标的两种实现方式进行详细描述。
作为第一种实现方式,参见图4,图4为本申请实施例提供的确定第一相机和第一雷达探测到的目标为相同的第一目标的流程示意图,该流程可以包括:
步骤301,根据第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系,将目标图像数据中第一图像目标的图像坐标转换成该第一图像目标的雷达坐标。
在确定第一相机与第一雷达是否探测到同一目标时,首先可以从第一雷达已探测到的目标中选择一个目标作为第一图像目标,并在目标图像数据中选择出该第一图像目标的图像坐标。
之后,可以根据第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系,将选择出的该图像坐标转换成雷达坐标。这样,可以将第一相机获取的该图像坐标映射至第一雷达的雷达坐标系中。
步骤302,若第一图像目标的转换后的雷达坐标与目标雷达数据中第一雷达目标目标的雷达坐标的距离小于预设距离阈值,且第一相机获取到该第一图像目标的该图像坐标的时刻与第一雷达获取到该第一雷达目标的该雷达坐标的时刻相同,则确定第一相机探测到的第一图像目标和第一雷达探测到的第一雷达目标为相同的第一目标。
首先,可以依据第一相机在获得前述步骤301中选择出的图像坐标的时刻,在目标雷达数据中进行筛选,以筛选出第一雷达在该时刻所获得的所有雷达坐标。
之后,可以逐一计算筛选出的每一雷达坐标与前述步骤301中经转换得到的雷达坐标之间的距离,若存在某个雷达坐标与前述步骤301中经转换得到的雷达坐标之间的距离小于预设的距离阈值,则可确定出该坐标便是第一雷达目标的雷达坐标,第一相机探测到的第一图像目标和第一雷达探测到的第一雷达目标为相同的第一目标。
以上对上述步骤102中如何根据第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系确定第一相机和第一雷达探测到的目标为相同的第一目标的第一种实现方式进行了详细描述。
作为第二种实现方式,根据第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系确定第一相机和第一雷达探测到的目标为相同的第一目标,可以包括:根据第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系,将目标雷达数据中第一雷达目标的雷达坐标转换成该第一雷达目标的图像坐标。若该第一雷达目标的转换后的图像坐标与目标图像数据中第一图像目标的图像坐标的距离小于预设距离阈值,且第一相机获取到第一图像目标的该图像坐标的时刻与第一雷达获取到该第一雷达目标的转换后的图像坐标的时刻相同,则确定第一相机探测到的第一图像目标和第一雷达探测到的第一雷达为相同的第一目标。
从上述对本实现方式的描述可以看出,本实现方式与前述第一种实现方式的差异仅在于,本实现方式是将第一雷达目标的雷达坐标转换成图像坐标,进而与第一图像对象的图像坐标进行比对,而第一种实现方式是将第一图像目标的图像坐标转换成雷达坐标,进而与第一雷达对象的雷达坐标进行比对。因此,本实现方式的具体实现过程与前述第一种实现方式相类似,在此则不再赘述。
作为第三种实现方式,根据第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系确定第一相机和第一雷达探测到的目标为相同的第一目标,可以包括:根据第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系,将目标雷达数据中第一雷达目标的雷达坐标转换成该第一雷达目标的图像坐标。若该第一雷达目标的转换后的图像坐标在目标图像中对应的目标与目标图像数据中第一图像目标的图像坐标在该目标图像中对应的目标是同一个目标,且第一相机获取到第一图像目标的该图像坐标的时刻、第一雷达获取到该第一雷达目标的转换后的图像坐标的时刻、以及第一相机拍摄该目标图像的时刻均相同,则确定第一相机探测到的第一图像目标和第一雷达探测到的第一雷达为相同的第一目标。
在本实现方式下,首先可以从第一雷达已探测到的目标中选择出任意一个目标作为第一雷达目标,并从该第一雷达目标的雷达数据中选择出一个雷达坐标,并依据第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系,将前述所选择出的第一雷达目标的雷达坐标转换为图像坐标。
之后,可以根据第一雷达获得前述所选择出的雷达坐标的时刻,在目标图像数据中进行筛选,以筛选出第一相机在该时刻所获得的所有图像坐标、以及第一相机在该时刻所拍摄得到的目标图像。
最后,针对第一相机在该时刻所获得的所有图像坐标中的每一图像坐标,判断该图像坐标在上述目标图像中所对应的目标与前述第一雷达目标的转换后的图像坐标在该目标图像中所对应的目标是否一致;若一致,则可确定该图像坐标就是第一图像目标的图像坐标,第一相机探测到的第一图像目标和第一雷达探测到的第一雷达为相同的第一目标。
以上对上述步骤102中如何根据第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系确定第一相机和第一雷达探测到的目标为相同的第一目标的三种实现方式进行了详细描述。
下面对确定上述步骤102中第一雷达探测的雷达坐标与GPS坐标的转换关系的两种实现方式进行详细描述:
作为第一种实现方式,参见图5,图5为本申请实施例提供的第一雷达探测的雷达坐标与GPS坐标的转换关系的确定流程图,该流程可以包括:
步骤401,根据第一雷达探测到的第一标定参照物的第一雷达坐标和第一雷达探测到的第二标定参照物的第二雷达坐标,确定第一雷达坐标与第二雷达坐标间连线的第一斜率;以及根据第一标定参照物的第一GPS坐标和第二标定参照物的第二GPS坐标,确定第一GPS坐标与第二GPS坐标间连线的第二斜率。
在步骤401中,可以首先在第一雷视设备的探测范围内设置第一标定参照物,以通过第一雷达获取该第一标定参照物的雷达坐标(记为第一雷达坐标)。
之后,移动第一标定参照物(此时将该第一标定参照物记为第二标定参照物),或,移除第一标定参照物并在该探测范围内的另一位置设置第二标定参照物,以通过第一雷达获取该第二标定参照物的雷达坐标(记为第二雷达坐标)。在获得了第一雷达坐标和第二雷达之后,则可以依据这两个雷达坐标构建用于表征第一雷达坐标和第二雷达坐标之间连线的方程,记为a1X+b1Y+c1=0,通过该方程则可以得到第一雷达坐标与第二雷达坐标间连线的斜率
Figure BDA0002659227180000101
(记为第一斜率)。
在获得第一标定参照物的GPS坐标(记为第一GPS坐标)和第二标定参照物的GPS坐标(记为第二GPS坐标)时,可以通过将GPS定位器设置在第一标定参照物和第二标定参照物的方式,来获得第一GPS坐标和第二GPS坐标。基于获得的第一GPS坐标和第二GPS坐标,可以构建用于表征第一GPS坐标和第二GPS坐标之间连线的方程(记为a2X+b2Y+c2=0),通过该方程则可以得到第一GPS坐标与第二GPS坐标间连线的斜率
Figure BDA0002659227180000111
(记为第二斜率)。
步骤402,根据第一斜率和第二斜率,确定第一雷达探测的雷达坐标与GPS坐标的转换关系。
在本申请实施例中,作为其中一种可能的实现方式,根据第一斜率和第二斜率,确定第一雷达探测的雷达坐标与GPS坐标的转换关系可以通过以下方式实现:
首先,基于上述得到的第一斜率和第二斜率,计算出第一雷达的雷达坐标系(记为雷达坐标系1)中Y轴与GPS坐标系中Y轴间的夹角θ。夹角θ的计算公式如下所示:
Figure BDA0002659227180000112
之后,在计算得到上述夹角θ后,可选择上述第一标定参照物,或者第二标定参照物在雷达坐标系1中的雷达坐标值,例如,第一雷达坐标(X1,Y1),将其与夹角θ进行计算,得到旋转后的第一雷达坐标(X1a,Y1a)。
在得到旋转后的雷达坐标1后,可计算该旋转后的第一雷达坐标与第一GPS坐标(X′1,Y′1)在X轴上的坐标值差值ΔX,以及,在Y轴上的坐标值差值ΔY,其计算过程如下所示:
ΔX=X1a-X′1
ΔY=Y1a-Y′1
执行到这里,便得到了用于将第一雷达探测的雷达坐标转换为GPS坐标的转换关系,该转换关系由前述获得的雷达坐标系中Y轴与GPS坐标系中Y轴间的夹角θ、雷达坐标系与GPS坐标系的平移系数(ΔX,ΔY)构成。基于此,GPS坐标系中Y轴与雷达坐标系中Y轴间的夹角-θ、以及GPS坐标系与雷达坐标系的平移系数(-ΔX,-ΔY),则是用于将GPS坐标转换为第一雷达探测的雷达坐标的转换关系。即,上述用于将第一雷达探测的雷达坐标转换为GPS坐标的转换关系,以及用于将GPS坐标转换为第一雷达探测的雷达坐标的转换关系共同组成了第一雷达探测的雷达坐标和GPS坐标的转换关系。
以上对确定上述步骤102中第一雷达探测的雷达坐标与GPS坐标的转换关系的第一种实现方式进行了详细说明。
作为第二种实现方式,第一雷达探测的雷达坐标与GPS坐标的转换关系可以通过以下方式确定:
在第一雷视设备的探测范围内设置一标定参照物,该标定参照物可以是矩形标定板,以通过第一雷达获取该标定参照物的至少N个雷达坐标(例如至少是矩形标定板的4个顶点所对应的雷达坐标)。其中,N个雷达坐标可以是(X1,Y1)、(X1,Y1)…(XN,YN)。
将GPS定位器设置在上述的标定参照物上,以获得N个GPS坐标(例如将GPS定位器设置在矩形标定板的四个顶点,以获得矩形标定板的四个顶点的GPS坐标)。其中,N个GPS坐标可以是(Y′1,Y′1)、(Y′2,Y′2)…(Y′N,Y′N)。
之后,将获得的N个雷达坐标与N个GPS坐标根据坐标所对应的标定参照物的位置进行一一匹配(例如,将共同对应于矩形标定板左上顶点的雷达坐标与GPS坐标匹配、将共同对应于矩形标定板右上顶点的雷达坐标与GPS坐标匹配),即得到N个坐标对。
基于上述得到的N个坐标对,可以构建出如下B=Ax形式的齐次方程组,以求解出用于将第一雷达探测的雷达坐标转换为GPS坐标的转换关系:
齐次方程组
Figure BDA0002659227180000121
在上述的齐次方程组中,系数矩阵H是由上述N个坐标对按照既定方式组合而成,待求解的系数矩阵H则为待求解的转换关系,那么,通过对上述齐次方程组进行求解,即可得到待求解的转换关系。
在求解上述齐次方程组的过程中,可以用到下述公式(三)与公式(四),本领域技术人员可以通过上述齐次方程组并结合数学概念,得到该公式(三)与公式(四):
Figure BDA0002659227180000122
Figure BDA0002659227180000123
基于上述公式(三)和公式(四)可知,基于一个坐标对,即可求解出两个矩阵系数,那么,基于至少4个坐标值对,则可求解出转换关系。
将上述得到的N个坐标对带入上述的公式(三)与公式(四),则可以求解出矩阵H,即用于将雷达探测的雷达坐标转换为GPS坐标的转换关系。在此基础上,上述矩阵H的逆矩阵H′则是用于将GPS坐标转换为雷达探测的雷达坐标的转换关系。即,矩阵H和该矩阵H的逆矩阵H′共同组成了第一雷达探测的雷达坐标与GPS坐标的转换关系。
以上对确定上述步骤102中第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系的两种实现方式进行了详细说明。
上面对确定出第一相机和第一雷达探测到的目标为相同的第一目标时,第一目标的运动轨迹信息如何生成进行了详细描述。下面对确定出存在第一相机探测到但第一雷达没有探测到的第二目标时,第二目标的运动轨迹信息如何生成进行详细描述。
参见图6,图6为本申请实施例提供的生成第二目标的运动轨迹信息的流程示意图,该流程可以包括:
步骤501,在接收到第一雷视设备发送的目标图像数据和目标雷达数据之后,根据第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系确定出存在第一相机探测到但第一雷达没有探测到的第二目标。
作为其中一种可能的实现方式,在本步骤501中,根据第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系确定是否存在第一相机探测到但第一雷达没有探测到的第二目标有多种实现方式。作为其中一种实现方式,可以通过以下步骤实现:
步骤a,根据第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系,将目标图像数据中第一图像目标的图像坐标转换成该第一图像的雷达坐标。
当多个目标同时出现在第一雷视设备的探测范围时,第一雷视设备中的第一相机会同时获得这多个目标的图像坐标。即,中心端处理设备所接收到的第一雷视设备发送的目标图像数据中包括多个目标的图像坐标。而在多个目标同时出现在第一雷视设备的探测范围时,由于第一雷达的架设位置或架设高度等原因,对于第一雷达而言,多个目标之间可能会出现相互遮挡。在这种情况下,第一雷达就不能完整探测到探测范围内每一目标的雷达坐标,进而出现第一相机探测到但第一雷达没有探测到的第二目标。
基于上述描述,可以将图像坐标数据种各图像坐标对应的任一个目标作为第一图像目标,并从目标图像数据中选择出该第一图像目标的图像坐标(记为图像坐标A)。
之后,根据第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系,将该图像坐标A转换成该第一图像目标的雷达坐标(记为雷达坐标A)。这样,可以将该图像坐标A映射至第一雷达的雷达坐标系中。若在同一时刻(第一相机获得该图像坐标A的时刻),第一雷达没有获取到该第一图像目标的雷达坐标,则目标雷达数据中就不会存在与前述雷达坐标A的距离小于预设的距离阈值、且获得时刻与第一相机获得该图像坐标的时刻相同的雷达坐标B。这里预设的距离阈值能够用于检测雷达采集的雷达坐标,以及经转换后得到的雷达坐标所对应的图像坐标是否对应于同一目标。
步骤b,若该第一图像目标的转换后的雷达坐标与目标雷达数据中所有目标的雷达坐标的距离均大于预设距离阈值,或第一相机获取到该第一图像目标的该图像坐标的时刻与第一雷达获取到目标雷达数据中的任一雷达坐标的时刻均不相同,则确定存在第一相机探测到但第一雷达没有探测到的第二目标。
首先,针对前述步骤a中选择出的图像坐标A,依据第一相机在获得图像坐标A的采集时刻在目标雷达数据中进行筛选,以筛选出在第一雷达在该时刻所获得的所有雷达坐标。
之后,可以逐一计算筛选出的每一雷达坐标与雷达坐标A之间的距离,确定是否存在小于预设距离阈值的距离。若不存在小于预设距离阈值的距离,则可以确定存在第一相机探测到但第一雷达没有探测到的第二目标,该第二目标便是该图像坐标A所对应的目标。
步骤502,根据第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系,将第二目标的图像坐标转换成雷达坐标,从目标图像数据中提取第二目标的特征信息作为第二目标的目标标识,根据第二目标的目标标识和第二目标的雷达坐标生成第二目标的运动轨迹信息。
在确定出存在第一相机探测到但第一雷达没有探测到的第二目标时,则可以对目标图像数据中第二目标的图像坐标进行转换,利用根据第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系将第二目标的图像坐标转换成雷达坐标。
之后,则可以从前述接收到的目标图像数据中提取该第二目标的目标特征。作为其中一种可能的实现方式,从目标图像数据中提取该第二目标的目标特征,可以具体为:在目标图像数据包括的该第二目标的至少一张图片中,按照预设的特征提取算法提取该第二目标的目标特征。
最后,根据第二目标的目标标识和第二目标的雷达坐标生成第二目标的运动轨迹信息。在本申请实施例中,根据第二目标的目标标识和第二目标的雷达坐标生成第二目标的运动轨迹信息有多种实现方式。
作为其中一种实现方式,根据第二目标的目标标识和雷达坐标生成第二目标的运动轨迹信息,可以包括:根据第一雷达的雷达坐标与GPS坐标的转换关系,将第二目标的雷达坐标转换成GPS坐标,根据第二目标的GPS坐标和第二目标的目标标识生成第二目标的GPS运动轨迹信息。
以上对确定出存在第一相机探测到但第一雷达没有探测到的第二目标时,中心端处理设备所执行的方法进行了详细描述。
上面对处于单一雷视设备的探测范围内的目标的运动轨迹信息如何生成进行了描述,当运动轨迹接力系统中存在与第一雷视设备相邻的第二雷视设备,第二雷视设备与第一雷视设备具有接力区;第二雷视设备包括第二相机和第二雷达,第二相机和第二雷达具有重叠视场的情况下,上述的中心端设备还可以获得同一目标在第一雷视设备和第二雷视设备的探测范围内的完整运动轨迹。下面对如何获得同一目标在第一雷视设备和第二雷视设备的探测范围内的完整运动轨迹进行描述:
参见图8,图8为本申请实施例提供的生成完整运动轨迹的流程示意图,该流程可以包括:
步骤601,当根据第一雷视设备探测到的第三目标的目标雷达数据确定第三目标从第一雷视设备的探测区进入接力区,并且第二雷视设备探测到的第四目标也位于接力区时,根据第一雷达探测的雷达坐标与第二雷达探测的雷达坐标的转换关系,确定第三目标与第四目标是否为同一目标;若是,则转到步骤602;若否,则表示第二雷达在探测第四目标的过程中,第四目标存在被遮挡的现象,导致第二雷达获得的第四目标的目标雷达数据不够完整。此时则可以返回执行步骤601,以重新确定第三目标与第四目标是否为同一目标。
在本申请实施例中,第一雷视设备与第二雷视设备各自具有探测范围,两者的探测范围的重叠区域在本申请实施例中称之为接力区。相对于接力区而言,第一雷视设备的探测范围内除接力区之外的区域称之为探测区,第二雷视设备的探测范围内除接力区之外的区域也称之为探测区。如图7所示,运动轨迹接力系统内布设有第一雷视设备和第二雷视设备,第一雷视设备和第二雷视设备的探测范围存在相重叠的区域,即上述的接力区。
作为其中一种可能的实现方式,根据第三目标的目标雷达数据确定第三目标从第一雷视设备的探测区进入接力区有多种实现方式。作为其中一种实现方式,当确定出第三目标的目标雷达数据中存在位于上述接力区的雷达坐标(记为目标雷达坐标1)、位于接力区之外的雷达坐标(目标雷达坐标2)、且第一雷达获得目标雷达坐标1的时刻晚于第一雷达获得目标雷达坐标2的时刻,则可以确定出第三目标从第一雷视设备的探测区进入接力区。
在本申请实施例中,确定根据第一雷达探测的雷达坐标与第二雷达探测的雷达坐标的转换关系,确定第三目标与第四目标是否为同一目标有多种实现方式。作为其中一种实现方式,可以通过以下步骤确定第三目标与第四目标是否为同一目标:
步骤c,根据第一雷达探测的雷达坐标与第二雷达探测的雷达坐标的转换关系,将第一雷达探测到的第三目标的雷达坐标转换成第二雷达的雷达坐标系下的雷达坐标。
在本实现方式下,可预先确定出第一雷达探测的雷达坐标与第二雷达探测的雷达坐标的转换关系。下文会示例性描述两种确定第一雷达探测的雷达坐标与第二雷达探测的雷达坐标的转换关系的实现方式,这里暂不赘述。
在本步骤c中,首先可在第三目标的目标雷达数据中,选择出一个位于接力区的雷达坐标(记为雷达坐标C)。
之后,则可以根据第一雷达探测的雷达坐标与第二雷达探测的雷达坐标的转换关系(例如,上述预先获得的转换关系)对选择出的雷达坐标C进行转换,将雷达坐标C转换成第二雷达的雷达坐标系下的雷达坐标(记为雷达坐标C′)。
步骤d,若第三目标的转换后的雷达坐标与第四目标的雷达坐标的距离小于预设距离阈值,且第一雷达获取到第三目标的该雷达坐标的时刻与第二雷达获取到第四目标的该雷达坐标的时刻相同,则确定第三目标与第四目标为同一目标。
首先,可以根据第一雷达获得前述步骤c中选择出的雷达坐标C的时刻,在第四目标的目标雷达数据中筛选出在第二雷达在该时刻获得的雷达坐标(记为雷达坐标D)。
之后,可计算雷达坐标C′与雷达坐标D之间的距离,并判断计算得到的距离是否小于预设距离阈值;若是,则可确定第三目标和第四目标为同一个目标;若否,则可确定第三目标和第四目标不为同一个目标。
步骤602,将第四目标的目标标识更新为第三目标的目标标识,由第二雷视设备对第三目标进行接力探测,并根据第二雷达探测到的第三目标的目标雷达数据和第三目标的目标标识,更新第三目标的运动轨迹信息,其中,更新后的第三目标的运动轨迹信息包括第三目标在第一雷视设备和第二雷视设备的探测范围内的完整运动轨迹。
本步骤是在第三目标和第四目标为同一目标的前提下执行的。
由于已经确定出第三目标和第四目标为同一目标,则可以将第四目标的目标标识更新为第三目标的目标标识,以保证第四目标的目标标识与第三目标的目标标识相一致。
在完成第四目标的目标标识的更新后,中心端处理设备则可以控制第一雷视设备不再对第三目标进行探测,这样便实现了由第二雷视设备接替第一雷视设备对第三目标进行接力探测的目的。
之后,便可以根据第二雷达探测到的第三目标的目标雷达数据和第三目标的目标标识,更新第三目标的运动轨迹信息。作为其中一种可能的实现方式,这里的更新可以是指:根据第二雷达探测到的第三目标的目标雷达数据和第三目标的目标标识生成新的第三目标的运动轨迹信息。将新生成的第三目标的运动轨迹信息添加至已有的第三目标的运动轨迹信息中,以实现对已有的第三目标的运动轨迹信息的更新。这样,更新后的第三目标的运动轨迹信息中便包括由第三目标在第一雷视设备和第二雷视设备的探测范围内的完整运动轨迹。
需要说明的是,在本步骤602中,已有的第三目标的运动轨迹信息的生成过程可参照前述对第一目标的运动轨迹信息,或者第二目标的运动轨迹信息的描述。
以上对如何获得目标在第一雷视设备和第二雷视设备的探测范围内的完整运动轨迹进行了描述。
下面对确定上述步骤601中第一雷达探测的雷达坐标与第二雷达探测的雷达坐标的转换关系的两种实现方式进行详细描述:
作为第一种实现方式,参见图9,图9为本申请实施例提供的第一雷达探测的雷达坐标与第二雷达探测的雷达坐标的转换关系的确定流程图,该流程可以包括:
步骤701,根据第一雷达探测到的第一标定参照物的第三雷达坐标和第一雷达探测到的第二标定参照物的第四雷达坐标,确定第三雷达坐标与第四雷达坐标间连线的第三斜率;以及根据第二雷达探测到的第一标定参照物的第五雷达坐标和第二雷达探测到的第二标定参照物的第六雷达坐标,确定第五雷达坐标与第六雷达坐标间连线的第四斜率;第一标定参照物和第二标定参照物位于接力区内。
在步骤701中,可以首先在第一雷视设备和第二雷视设备的接力区内设置第一标定参照物,以通过第一雷达获取该第一标定参照物的雷达坐标(记为第三雷达坐标)、并通过第二雷达获取该第一标定参照物的雷达坐标(记为第五雷达坐标)。
之后,移动第一标定参照物(此时将该第一标定参照物记为第二标定参照物),或,移除第一标定参照物并在该接力区内的另一位置设置第二标定参照物,以通过第一雷达获取该第二标定参照物的雷达坐标(记为第四雷达坐标)、并通过第二雷达获取该第二标定参照物的雷达坐标(记为第六雷达坐标)。
在获得第三雷达坐标和第四雷达坐标之后,可以基于该第三雷达坐标和第四雷达坐标构建方程,记为a3X+b3Y+c3=0,通过该方程则可以得到第三雷达坐标和第四雷达坐标间连线的斜率
Figure BDA0002659227180000171
(记为第三斜率)。
同样的,在获得第五雷达坐标和第六雷达坐标之后,可以基于该第五雷达坐标和第六雷达坐标构建方程,记为a4X+b4Y+c4=0,通过该方程则可以得到第三雷达坐标和第四雷达坐标间连线的斜率
Figure BDA0002659227180000172
(记为第四斜率)。
步骤702,根据第三斜率和第四斜率,确定第一雷达探测的雷达坐标与第二雷达探测的雷达坐标的转换关系。
在本申请实施例中,作为其中一种可能的实现方式,根据第三斜率和第四斜率,确定第一雷达探测的雷达坐标与第二雷达探测的雷达坐标的转换关系可以通过以下方式实现:
首先,基于上述得到的第三斜率和第四斜率,计算出第一雷达的雷达坐标系(记为第一雷达坐标系)中Y轴与第二雷达的雷达坐标系(记为第二雷达坐标系)中Y轴间的夹角θ。夹角θ的计算公式如下所示:
Figure BDA0002659227180000173
之后,在计算得到上述夹角θ后,可选择上述第一标定参照物,或者第二标定参照物在第一雷达坐标系中的雷达坐标值,例如,第三雷达坐标(X3,Y3),将其与夹角θ进行计算,得到旋转后的第三雷达坐标(X3a,Y3a)。
在得到旋转后的第三雷达坐标后,可计算该旋转后的第三雷达坐标与第五雷达坐标(X′5,Y′5)在X轴上的坐标值差值ΔX,以及,在Y轴上的坐标值差值ΔY,其计算过程如下所示:
ΔX2=X3a-X′5
ΔY2=Y3a-Y′5
执行到这里,便得到了第一雷达探测的雷达坐标与第二雷达探测的雷达坐标的转换关系,该转换关系由前述获得的第一雷达坐标系中Y轴与第二雷达坐标系中Y轴间的夹角θ、第一雷达坐标系与第二雷达坐标系的平移系数(ΔX2,ΔY2)构成。
以上对确定上述步骤601中第一雷达探测的雷达坐标与第二雷达探测的雷达坐标的转换关系的第一种实现方式进行了详细描述。
作为第二种实现方式,第一雷达探测的雷达坐标与GPS坐标的转换关系通过以下方式确定:
在第一雷视设备和第二雷达的接力区内设置一标定参照物,该标定参照物可以是矩形标定板,以通过第一雷达获取该标定参照物的N个雷达坐标(例如是矩形标定板的4个顶点所对应的雷达坐标),以及通过第二雷达获取该标定参照物的N个雷达坐标(例如是矩形标定板的4个顶点所对应的雷达坐标)。其中,第一雷达获得到的N个雷达坐标可以是(X1,Y1)、(X1,Y1)…(XN,YN)、第二雷达获得的N个雷达坐标可以是(X′1,Y′1)、(Y′2,Y′2)…(Y′N,Y′N)。
之后,将第一雷达获得的N个雷达坐标与第二雷达获得的N个雷达坐标根据雷达坐标所对应的标定参照物的位置进行一一匹配(例如,将共同对应于矩形标定板左上顶点的两个雷达坐标进行匹配、将共同对应于矩形标定板右上顶点的两个雷达坐标进行匹配),即得到N个坐标对。
基于上述得到的N个坐标对,可以构建出如下B=Ax形式的齐次方程组,以求解出用于将第一雷达探测的雷达坐标转换为第二雷达探测的雷达坐标的转换关系:
齐次方程组
Figure BDA0002659227180000181
在上述的齐次方程组中,系数矩阵M是由上述N个坐标对按照既定方式组合而成,待求解的系数矩阵M则为待求解的转换关系,那么,通过对上述齐次方程组进行求解,即可得到待求解的转换关系。
在求解上述齐次方程组的过程中,可以用到下述公式(五)与公式(六),本领域技术人员可以通过上述齐次方程组并结合数学概念,得到该公式(五)与公式(六):
Figure BDA0002659227180000182
Figure BDA0002659227180000183
基于上述公式(五)与公式(六)可知,基于一个坐标对,即可求解出两个矩阵系数,那么,基于至少4个坐标值对,则可求解出转换关系。
将上述得到的N个坐标对带入上述的公式(五)与公式(六),则可以求解出矩阵M,即用于将第一雷达探测的雷达坐标转换为第二雷达探测的雷达坐标的转换关系。在此基础上,上述矩阵M的逆矩阵M′则是用于将第二雷达探测的雷达坐标转换为第一雷达探测的雷达坐标的转换关系。即,矩阵M和该矩阵M的逆矩阵M′共同组成了第一雷达探测的雷达坐标与第二雷达探测的雷达坐标的转换关系。
以上对确定上述步骤601中第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系的两种实现方式进行了详细说明。
除上述描述的步骤之外,本申请实施例还提供了一个根据关心目标的目标特征信息来更新该关心目标的完整运动轨迹的实施例。
参见图10,图10为本申请实施例提供的更新完整运动轨迹的流程示意图,该流程可以包括:
步骤801,根据关心目标的目标特征信息在探测到的所有目标中选择出与目标特征信息匹配的关心目标,获取关心目标的细节图像。
在本步骤801中,确定出的关心目标可以是当前已探测到的所有目标中的任意一个目标,可以从探测到的多个目标中选择与目标特征信息匹配的目标作为关心目标。其中,关心目标根据应用场景的不同可以不同,以智能交通的应用场景为例,关心目标可以是速度高于预设速度阈值的车辆,也可以是车牌号为指定车牌号的车辆。关心目标的目标特征信息可以是预先输入至中心端处理设备的,示例性的,可以是在中心端处理设备配置预设速度阈值,如60Km/h,则中心端处理设备可以针对通过雷视设备探测到的每个目标,确定该目标的速度是否达到60Km/h,如果该目标的速度达到60Km/h则可以确定该目标为关心目标。
在本申请实施例中,由于在生成任一目标的运动轨迹信息时,会从目标图像数据中提取该目标的特征信息确定该目标的目标标识,因此当获得关心目标的目标特征信息时,则可以利用该目标特征信息在已探测到的各目标的目标标识中进行查找,以查找到匹配该目标特征信息的目标标识,查找到的目标标识对应的目标便是关心目标。
在一个例子中,预先可以在中心端处理设备或中心端设备外接的存储设备中配置图像数据库,该图像数据库中储存有各目标的细节图像,该细节图像可以来自于细节图像采集装置,细节图像采集装置根据目标的实时位置信息对目标的细节图像进行实时采集、传输和存储在图像数据库。基于此,则可以从该图像数据库中获取到该关心目标的细节图像。
在另一个例子中,中心端处理设备可以访问用于提供目标的细节图像的指定窗口。基于此,中心端处理设备可以通过访问该用于提供目标的细节图像的指定窗口以获取到该关心目标的细节图像。
步骤802,根据关心目标的细节图像和关心目标的完整运动轨迹,将关心目标的完整运动轨迹信息存储为带有细节图像的完整运动轨迹。
在获得了关心目标的细节图像后,则可以在该关心目标的细节图像以及该关心目标的完整运动轨迹之间建立关联关系,以将关心目标的完整运动轨迹信息存储为带有细节图像的完整运动轨迹。
以上对如何根据关心目标的目标特征信息来更新该关心目标的完整运动轨迹进行了描述。
上面对本申请实施例提供的运动轨迹接力方法进行了描述,下面对本申请实施例提供的运动轨迹接力系统进行描述:
参见图11,为本申请实施例提供的运动轨迹接力系统的架构示意图,如图11所示:
该运动轨迹接力系统中包括中心端处理设备和至少一个第一雷视设备,第一雷视设备包括第一相机和第一雷达,第一相机和第一雷达具有重叠视场;
其中,第一雷视设备,用于通过第一相机探测目标并获取第一相机所探测到目标的目标图像数据,以及通过第一雷达探测目标并获取第一雷达所探测到目标的目标雷达数据;
其中,中心端处理设备,用于接收第一雷视设备发送的目标图像数据和目标雷达数据,当根据第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系确定第一相机和第一雷达探测到的目标为相同的第一目标时,从目标图像数据中提取第一目标的特征信息作为第一目标的目标标识,并根据第一目标的目标标识和目标雷达数据生成第一目标的运动轨迹信息。
作为其中一种可能的实现方式,中心端处理设备根据第一目标的目标标识和目标雷达数据生成第一目标的运动轨迹信息,包括:
根据第一雷达探测的雷达坐标与GPS坐标的转换关系,将目标雷达数据中第一目标的雷达坐标转换成第一目标的GPS坐标;
根据第一目标的GPS坐标和第一目标的目标标识生成第一目标的GPS运动轨迹信息。
作为其中一种可能的实现方式,中心端处理设备根据第一相机的图像坐标与第一雷达的雷达坐标的转换关系,确定第一相机和第一雷达探测到的目标为相同的第一目标,包括:
根据第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系,将目标图像数据中第一图像目标的图像坐标转换成第一图像目标的雷达坐标;
若第一图像目标的转换后的雷达坐标与目标雷达数据中第一雷达目标的雷达坐标的距离小于预设距离阈值,且第一相机获取到第一图像目标的该图像坐标的时刻与第一雷达获取到第一雷达目标的该雷达坐标的时刻相同,则确定第一相机探测到的第一图像目标和第一雷达探测到的第一雷达目标为相同的第一目标。
作为其中一种可能的实现方式,在接收到第一雷视设备发送的目标图像数据和目标雷达数据之后,当中心端设备根据第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系确定存在第一相机探测到但第一雷达没有探测到的第二目标时,中心端设备还用于:
根据第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系,将第二目标的图像坐标转换成雷达坐标,从目标图像数据中提取第二目标的特征信息作为第二目标的目标标识,根据第二目标的目标标识和第二目标的雷达坐标生成第二目标的运动轨迹信息。
作为其中一种可能的实现方式,中心端处理设备根据第二目标的目标标识和第二目标的雷达坐标生成第二目标的运动轨迹信息,包括:
根据第一雷达探测的雷达坐标与GPS坐标的转换关系,将第二目标的雷达坐标转换成GPS坐标,根据第二目标的GPS坐标和第二目标的目标标识生成第二目标的GPS运动轨迹信息。
作为其中一种可能的实现方式,系统还包括与第一雷视设备相邻的第二雷视设备,第二雷视设备与第一雷视设备具有接力区;第二雷视设备包括第二相机和第二雷达,第二相机和第二雷达具有重叠视场;中心端设备还用于:
当根据第一雷视设备探测到的第三目标的目标雷达数据确定第三目标从第一雷视设备的探测区域进入接力区,且第二雷视设备探测到的第四目标也位于接力区时,若根据第一雷达探测的雷达坐标与第二雷达探测的雷达坐标的转换关系,确定第三目标与第四目标为同一目标,则将第四目标的目标标识更新为第三目标的目标标识,由第二雷视设备对第三目标进行接力探测,并根据第二雷达对第三目标探测到的目标雷达数据和第三目标的目标标识,更新第三目标的运动轨迹信息,其中,更新后的第三目标的运动轨迹信息包括第三目标在第一雷视设备和第二雷视设备的内的完整运动轨迹。
作为其中一种可能的实现方式,中心端处理设备根据第一雷达探测的雷达坐标与第二雷达探测的雷达坐标的转换关系,确定第三目标与第四目标为同一目标,包括:
根据第一雷达探测的雷达坐标与第二雷达探测的雷达坐标的转换关系,将第一雷达探测到的第三目标的雷达坐标转换成第二雷达的雷达坐标系下的雷达坐标;
若第三目标的转换后的雷达坐标与第四目标的雷达坐标的距离小于预设距离阈值,且第一雷达获取到第三目标的该雷达坐标的时刻与第二雷达获取到第四目标的该雷达坐标的时刻相同,则确定第三目标与第四目标为同一目标。
作为其中一种可能的实现方式,第一雷达探测的雷达坐标与第一相机探测的图像坐标的转换关系通过以下方式确定:
获取N个坐标对,每一坐标对包括标定参照物在第一雷达的坐标系中的雷达坐标和标定参照物在第一相机的坐标系中的图像坐标;其中,N为不小于4的自然数,N个坐标对中的N个雷达坐标不共线,且N个坐标值对中的N个图像坐标不共线;
依据N个坐标对确定出第一雷达探测的雷达坐标与第一相机探测的图像坐标的转换关系。
作为其中一种可能的实现方式,第一雷达探测的雷达坐标与GPS坐标的转换关系通过以下方式确定:
根据第一雷达探测到的第一标定参照物的第一雷达坐标和第一雷达探测到的第二标定参照物的第二雷达坐标,确定第一雷达坐标与第二雷达坐标间连线的第一斜率;以及
根据第一标定参照物的第一GPS坐标和第二标定参照物的第二GPS坐标,确定第一GPS坐标与第二GPS坐标间连线的第二斜率;
根据第一斜率和第二斜率,确定第一雷视设备探测的雷达坐标与GPS坐标的转换关系。
作为其中一种可能的实现方式,第一雷视设备探测的雷达坐标与第二雷视设备探测的雷达坐标的转换关系通过如下方式确定:
根据第一雷达探测到的第一标定参照物的第三雷达坐标和第一雷达探测到的第二标定参照物的第四雷达坐标,确定第三雷达坐标与第四雷达坐标间连线的第三斜率;以及
根据第二雷达探测到的第一标定参照物的第五雷达坐标和第二雷达探测到的第二标定参照物的第六雷达坐标,确定第五雷达坐标与第六雷达坐标间连线的第四斜率;第一标定参照物和第二标定参照物位于接力区内;
根据第三斜率和第四斜率,确定第一雷视设备探测的雷达坐标与第二雷视设备探测的雷达坐标的转换关系。
作为其中一种可能的实现方式,中心端处理设备还用于:
获取并根据关心目标的目标特征信息,在探测到的所有目标中选择出与目标特征信息匹配的关心目标,获取关心目标的细节图像,根据关心目标的细节图像和关心目标的完整运动轨迹,将关心目标的完整运动轨迹信息存储为带有细节图像的完整运动轨迹。
作为其中一种可能的实现方式,该运动轨迹接力系统除了包括中心端处理设备和与其联动的多个雷视设备之外,还可以包括与中心端处理设备外接的存储设备,该存储设备用于存储雷视设备探测的数据,目标的运动轨迹信息以及图像数据库包括的所有目标或关心目标的细节图像等数据。存储设备,可以接收并存储来自中心端处理设备的全部目标的完整运动轨迹信息或者关心目标的完整运动轨迹信息,可以接收并存储细节图像采集装置(如球机或云台)拍摄到的关心目标的细节图像。
作为其中一种可能的实现方式,作为一种示例,该运动轨迹接力系统还包括显示装置,用于响应中心端处理设备的显示指示从存储设备获取目标的运动轨迹信息和/目标的细节图像进行显示,包括但不限于关心目标的运动轨迹信息和细节图像。
一种示例中,显示设备用于呈现所有目标或部分目标在指定路段上的完整运动轨迹。其中,部分目标可以是用户指定的部分目标,也可以是根据预设规则筛选出的部分目标,例如以车辆检测的应用场景为例,可以是为用户呈现车身颜色为红色的车辆在指定路段上的完整运动轨迹。
一种示例中,显示设备用于呈现关心目标在指定路段上的完整运动轨迹以及在一个或多个指定时刻的细节图像信息。
一种示例中,显示设备用于呈现指定路段中所有目标的完整运动轨迹。
一种示例中,显示设备用于显示指定路段中关心目标的完整运动轨迹。
一种示例中,显示设备用于显示关心目标在一个或多个指定时刻的细节图像。
一种示例中,显示设备用于将指定路段中关心目标的完整运动轨迹和全部细节图像进行叠加显示,以呈现关心目标在指定路段的完整运动轨迹上任意时刻的细节图像。
一种示例中,显示设备在显示关心目标和/或关心目标以外的其他目标的运动轨迹时,关心目标和/或其他目标在下一时刻的预测位置也可以同步显示。
以上,对运动轨迹接力系统进行了详细描述,运动轨迹接力系统实施例的相关内容可以和运动轨迹接力方法的实施例相互参照。
除上述描述的运动轨迹接力方法和运动轨迹接力系统之外,本申请实施例还提供了一种运动轨迹接力装置,该装置可应用于运动轨迹接力系统中的中心端处理设备,该系统中还包括:至少第一雷视设备,第一雷视设备包括第一相机和第一雷达,第一相机和第一雷达具有重叠视场。
如图12所示,图12为本申请实施例提供的运动轨迹接力装置的结构示意图,该运动轨迹接力装置可以包括:
数据获得单元,用于获得通过第一相机探测到目标时获取的目标图像数据,以及通过第一雷达探测到目标时获取的目标雷达数据;
运动轨迹信息生成单元,用于当根据第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系确定第一相机和第一雷达探测到的目标为相同的第一目标时,从目标图像数据中提取第一目标的特征信息作为第一目标的目标标识,并根据第一目标的目标标识和目标雷达数据生成第一目标的运动轨迹信息。
至此,完成对图12所示装置的描述。
作为其中一种可能的实现方式,运动轨迹信息生成单元据第一目标的目标标识和目标雷达数据生成第一目标的运动轨迹信息,包括:
根据第一雷达探测的雷达坐标与GPS坐标的转换关系,将目标雷达数据中第一目标的雷达坐标转换成第一目标的GPS坐标;
根据第一目标的GPS坐标和第一目标的目标标识生成第一目标的GPS运动轨迹信息。
作为其中一种可能的实现方式,运动轨迹信息生成单元根据第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系,确定第一相机和第一雷达探测到的目标为相同的第一目标,包括:
根据第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系,将目标图像数据中第一图像目标的图像坐标转换成第一图像目标的雷达坐标;
若该第一图像目标的转换后的雷达坐标与目标雷达数据中第一雷达目标的雷达坐标的距离小于预设距离阈值,且第一相机获取到该第一图像目标的该图像坐标的时刻与第一雷达获取到该待第一雷达目标的该雷达坐标的时刻相同,则确定第一相机探测到的第一图像目标和第一雷达探测到的第一雷达目标为相同的第一目标。
作为其中一种可能的实现方式,在接收到第一雷视设备发送的目标图像数据和目标雷达数据之后,当中心端设备根据第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系确定存在第一相机探测到但第一雷达没有探测到的第二目标时,运动轨迹信息生成单元还用于:
根据第一相机探测的图像坐标与第一雷达探测的雷达坐标的转换关系,将第二目标的图像坐标转换成雷达坐标,从目标图像数据中提取第二目标的特征信息作为第二目标的目标标识,根据第二目标的目标标识和第二目标的雷达坐标生成第二目标的运动轨迹信息。
作为其中一种可能的实现方式,运动轨迹信息生成单元根据第二目标的目标标识和第二目标的雷达坐标生成第二目标的运动轨迹信息,包括:
根据第一雷达探测的雷达坐标与GPS坐标的转换关系,将第二目标的雷达坐标转换成GPS坐标,根据第二目标的GPS坐标和第二目标的目标标识生成第二目标的GPS运动轨迹信息。
作为其中一种可能的实现方式,运动轨迹接力系统还包括与第一雷视设备相邻的第二雷视设备,第二雷视设备与第一雷视设备具有接力区;第二雷视设备包括第二相机和第二雷达,第二相机和第二雷达具有重叠视场;运动轨迹信息生成单元还用于:
当根据第一雷视设备探测到的第三目标的目标雷达数据确定第三目标从第一雷视设备的探测区域进入接力区,且第二雷视设备探测到的第四目标也位于接力区时,若根据第一雷达探测的雷达坐标与第二雷达探测的雷达坐标的转换关系,确定第三目标与第四目标为同一目标,则将第四目标的目标标识更新为第三目标的目标标识,由第二雷视设备对第三目标进行接力探测,并根据第二雷达对第三目标探测到的目标雷达数据和第三目标的目标标识,更新第三目标的运动轨迹信息,其中,更新后的第三目标的运动轨迹信息包括第三目标在第一雷视设备和第二雷视设备的探测范围内的完整运动轨迹。
作为其中一种可能的实现方式,运动轨迹信息生成单元根据第一雷达探测的雷达坐标与第二雷达探测的雷达坐标的转换关系,确定第三目标与第四目标为同一目标,包括:
根据第一雷达探测的雷达坐标与第二雷达探测的雷达坐标的转换关系,将第一雷达探测到的第三目标的雷达坐标转换成第二雷达的雷达坐标系下的雷达坐标;
若第三目标的转换后的雷达坐标与第四目标的雷达坐标的距离小于预设距离阈值,且第一雷达获取到第三目标的该雷达坐标的时刻与第二雷达获取到第四目标的该雷达坐标的时刻相同,则确定第三目标与第四目标为同一目标。
作为其中一种可能的实现方式,第一雷达探测的雷达坐标与第一相机探测的图像坐标的转换关系通过以下方式确定:
获取N个坐标对,每一坐标对包括标定参照物在第一雷达的坐标系中的雷达坐标和标定参照物在第一相机的坐标系中的图像坐标;其中,N为不小于4的自然数,N个坐标对中的N个雷达坐标不共线,且N个坐标值对中的N个图像坐标不共线;
依据N个坐标对确定出第一雷达探测的雷达坐标与第一相机探测的图像坐标的转换关系。
作为其中一种可能的实现方式,第一雷达的雷达坐标与GPS坐标的转换关系通过以下方式确定:
根据第一雷达探测到的第一标定参照物的第一雷达坐标和第一雷达探测到的第二标定参照物的第二雷达坐标,确定第一雷达坐标与第二雷达坐标间连线的第一斜率;以及
根据第一标定参照物的第一GPS坐标和第二标定参照物的第二GPS坐标,确定第一GPS坐标与第二GPS坐标间连线的第二斜率;
根据第一斜率和第二斜率,确定第一雷达探测的雷达坐标与GPS坐标的转换关系。
作为其中一种可能的实现方式,第一雷达探测的雷达坐标与第二雷达探测的雷达坐标的转换关系通过如下方式确定:
根据第一雷达探测到的第一标定参照物的第三雷达坐标和第一雷达探测到的第二标定参照物的第四雷达坐标,确定第三雷达坐标与第四雷达坐标间连线的第三斜率;以及
根据第二雷达探测到的第一标定参照物的第五雷达坐标和第二雷达探测到的第二标定参照物的第六雷达坐标,确定第五雷达坐标与第六雷达坐标间连线的第四斜率;第一标定参照物和第二标定参照物位于接力区内;
根据第三斜率和第四斜率,确定第一雷达探测的雷达坐标与第二雷达探测的雷达坐标的转换关系。
作为其中一种可能的实现方式,运动轨迹信息生成单元还用于:
获取并根据关心目标的目标特征信息,在探测到的所有目标中选择出与目标特征信息匹配的关心目标,获取关心目标的细节图像,根据关心目标的细节图像和关心目标的完整运动轨迹,将关心目标的完整运动轨迹信息存储为带有细节图像的完整运动轨迹。
请参见图13,图13为本申请提供的运动轨迹接力装置所在中心端处理设备的一种硬件结构图,该硬件结构包括:处理器和机器可读存储介质。
其中,机器可读存储介质,用于存储机器可执行指令;
处理器,用于读取并执行机器可读存储介质存储的机器可执行指令,以实现前述的运动轨迹接力方法。
作为一个实施例,机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:易失机器可读存储介质、非易失性机器可读存储介质或者类似的存储介质。具体地,机器可读存储介质可以是RAM(Radom Access Memory,随机存取机器可读存储介质)、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、DVD等),或者类似的存储介质,或者它们的组合。
至此,完成图13示设备的描述。
本申请实施例还提供了一种包括机器可执行指令的机器可读存储介质,例如图13中所示的机器可读存储介质,机器可执行指令可由运动轨迹接力装置中的处理器执行以实现以上描述的运动轨迹接力方法。
以上仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (15)

1.一种运动轨迹接力系统,其特征在于,所述系统包括中心端处理设备和至少一个第一雷视设备,所述第一雷视设备包括第一相机和第一雷达,所述第一相机和所述第一雷达具有重叠视场;
所述第一雷视设备,用于通过所述第一相机探测目标并获取所述第一相机所探测到目标的目标图像数据,以及通过所述第一雷达探测目标并获取所述第一雷达所探测到目标的目标雷达数据;
所述中心端处理设备,用于接收所述第一雷视设备发送的目标图像数据和目标雷达数据,当根据所述第一相机探测的图像坐标与所述第一雷达探测的雷达坐标的转换关系,确定所述第一相机和所述第一雷达探测到的目标为相同的第一目标时,从所述目标图像数据中提取所述第一目标的特征信息作为所述第一目标的目标标识,并根据所述第一目标的目标标识和所述目标雷达数据生成所述第一目标的运动轨迹信息。
2.根据权利要求1所述的系统,其特征在于,所述中心端处理设备根据所述第一目标的目标标识和所述目标雷达数据生成所述第一目标的运动轨迹信息,包括:
根据所述第一雷达探测的雷达坐标与GPS坐标的转换关系,将所述目标雷达数据中所述第一目标的雷达坐标转换成所述第一目标的GPS坐标;
根据所述第一目标的GPS坐标和所述第一目标的目标标识生成所述第一目标的GPS运动轨迹信息。
3.根据权利要求1所述的系统,其特征在于,所述中心端处理设备根据所述第一相机的图像坐标与所述第一雷达的雷达坐标的转换关系,确定所述第一相机和所述第一雷达探测到的目标为相同的第一目标,包括:
根据所述第一相机探测的图像坐标与所述第一雷达探测的雷达坐标的转换关系,将所述目标图像数据中第一图像目标的图像坐标转换成所述第一图像目标的雷达坐标;
若所述第一图像目标的转换后的雷达坐标与所述目标雷达数据中第一雷达目标的雷达坐标的距离小于预设距离阈值,且所述第一相机获取到所述第一图像目标的该图像坐标的时刻与所述第一雷达获取到所述第一雷达目标的该雷达坐标的时刻相同,则确定所述第一相机探测到的所述第一图像目标和所述第一雷达探测到的所述第一雷达目标为相同的第一目标。
4.根据权利要求1所述的系统,其特征在于,在接收到所述第一雷视设备发送的目标图像数据和目标雷达数据之后,当所述中心端设备根据所述第一相机探测的图像坐标与所述第一雷达探测的雷达坐标的转换关系确定存在所述第一相机探测到但所述第一雷达没有探测到的第二目标时,所述中心端设备还用于:
根据所述第一相机探测的图像坐标与所述第一雷达探测的雷达坐标的转换关系,将所述第二目标的图像坐标转换成雷达坐标,从所述目标图像数据中提取所述第二目标的特征信息作为所述第二目标的目标标识,根据所述第二目标的目标标识和所述第二目标的雷达坐标生成所述第二目标的运动轨迹信息。
5.根据权利要求4所述的系统,其特征在于,所述中心端处理设备根据所述第二目标的目标标识和所述第二目标的雷达坐标生成所述第二目标的运动轨迹信息,包括:
根据所述第一雷达探测的雷达坐标与GPS坐标的转换关系,将所述第二目标的雷达坐标转换成GPS坐标,根据所述第二目标的GPS坐标和所述第二目标的目标标识生成所述第二目标的GPS运动轨迹信息。
6.根据权利要求1所述的系统,其特征在于,所述系统还包括与所述第一雷视设备相邻的第二雷视设备,所述第二雷视设备与所述第一雷视设备具有接力区;第二雷视设备包括第二相机和第二雷达,第二相机和第二雷达具有重叠视场;所述中心端设备还用于:
当根据第一雷视设备探测到的第三目标的目标雷达数据确定所述第三目标从第一雷视设备的探测区域进入所述接力区,且所述第二雷视设备探测到的第四目标也位于所述接力区时,若根据所述第一雷达探测的雷达坐标与所述第二雷达探测的雷达坐标的转换关系,确定所述第三目标与所述第四目标为同一目标,则将所述第四目标的目标标识更新为所述第三目标的目标标识,由所述第二雷视设备对所述第三目标进行接力探测,并根据所述第二雷达对所述第三目标探测到的目标雷达数据和所述第三目标的目标标识,更新所述第三目标的运动轨迹信息,其中,所述更新后的第三目标的运动轨迹信息包括所述第三目标在所述第一雷视设备和所述第二雷视设备的内的完整运动轨迹。
7.根据权利要求6所述的系统,其特征在于,所述中心端处理设备根据所述第一雷达探测的雷达坐标与所述第二雷达探测的雷达坐标的转换关系,确定所述第三目标与所述第四目标为同一目标,包括:
根据所述第一雷达探测的雷达坐标与所述第二雷达探测的雷达坐标的转换关系,将所述第一雷达探测到的所述第三目标的雷达坐标转换成所述第二雷达的雷达坐标系下的雷达坐标;
若所述第三目标的转换后的雷达坐标与所述第四目标的雷达坐标的距离小于预设距离阈值,且所述第一雷达获取到所述第三目标的该雷达坐标的时刻与所述第二雷达获取到所述第四目标的该雷达坐标的时刻相同,则确定所述第三目标与所述第四目标为同一目标。
8.根据权利要求1所述的系统,其特征在于,所述第一雷达探测的雷达坐标与所述第一相机探测的图像坐标的转换关系通过以下方式确定:
获取N个坐标对,每一所述坐标对包括标定参照物在所述第一雷达的坐标系中的雷达坐标和所述标定参照物在所述第一相机的坐标系中的图像坐标;其中,所述N为不小于4的自然数,所述N个坐标对中的N个雷达坐标不共线,且所述N个坐标值对中的N个图像坐标不共线;
依据所述N个坐标对确定出所述第一雷达探测的雷达坐标与所述第一相机探测的图像坐标的转换关系。
9.根据权利要求2所述的系统,其特征在于,所述第一雷达探测的雷达坐标与GPS坐标的转换关系通过以下方式确定:
根据所述第一雷达探测到的第一标定参照物的第一雷达坐标和所述第一雷达探测到的第二标定参照物的第二雷达坐标,确定所述第一雷达坐标与所述第二雷达坐标间连线的第一斜率;以及
根据所述第一标定参照物的第一GPS坐标和所述第二标定参照物的第二GPS坐标,确定所述第一GPS坐标与所述第二GPS坐标间连线的第二斜率;
根据所述第一斜率和所述第二斜率,确定所述第一雷视设备探测的雷达坐标与所述GPS坐标的转换关系。
10.根据权利要求6所述的系统,其特征在于,所述第一雷视设备探测的雷达坐标与所述第二雷视设备探测的雷达坐标的转换关系通过如下方式确定:
根据所述第一雷达探测到的第一标定参照物的第三雷达坐标和所述第一雷达探测到的第二标定参照物的第四雷达坐标,确定所述第三雷达坐标与所述第四雷达坐标间连线的第三斜率;以及
根据第二雷达探测到的所述第一标定参照物的第五雷达坐标和所述第二雷达探测到的所述第二标定参照物的第六雷达坐标,确定所述第五雷达坐标与所述第六雷达坐标间连线的第四斜率;所述第一标定参照物和所述第二标定参照物位于所述接力区内;
根据所述第三斜率和所述第四斜率,确定所述第一雷视设备探测的雷达坐标与所述第二雷视设备探测的雷达坐标的转换关系。
11.根据权利要求1所述的系统,其特征在于,所述中心端处理设备还用于:
获取并根据关心目标的目标特征信息,在探测到的所有目标中选择出与所述目标特征信息匹配的关心目标,获取所述关心目标的细节图像,根据所述关心目标的细节图像和所述关心目标的完整运动轨迹,将所述关心目标的完整运动轨迹信息存储为带有细节图像的完整运动轨迹。
12.一种运动轨迹接力方法,其特征在于,应用于运动轨迹接力系统中的中心端处理设备,所述系统中还包括:至少第一雷视设备,所述第一雷视设备包括第一相机和第一雷达,所述第一相机和所述第一雷达具有重叠视场;该方法包括:
获得通过所述第一相机探测到目标时获取的目标图像数据,以及通过所述第一雷达探测到目标时获取的目标雷达数据;
当根据所述第一相机探测的图像坐标与所述第一雷达探测的雷达坐标的转换关系确定所述第一相机和所述第一雷达探测到的目标为相同的第一目标时,从所述目标图像数据中提取所述第一目标的特征信息作为所述第一目标的目标标识,并根据所述第一目标的目标标识和所述目标雷达数据生成所述第一目标的运动轨迹信息。
13.根据权利要求12所述的方法,其特征在于,在接收到所述第一雷视设备发送的目标图像数据和目标雷达数据之后,当所述中心端设备根据所述第一相机探测的图像坐标与所述第一雷达探测的雷达坐标的转换关系确定存在所述第一相机探测到但所述第一雷达没有探测到的第二目标时,该方法进一步包括:
根据所述第一相机探测的图像坐标与所述第一雷达探测的雷达坐标的转换关系,将所述第二目标的图像坐标转换成雷达坐标,从所述目标图像数据中提取所述第二目标的特征信息作为所述第二目标的目标标识,根据所述第二目标的目标标识和所述第二目标的雷达坐标生成所述第二目标的运动轨迹信息。
14.一种运动轨迹接力装置,其特征在于,应用于运动轨迹接力系统中的中心端处理设备,所述系统中还包括:至少第一雷视设备,所述第一雷视设备包括第一相机和第一雷达,所述第一相机和所述第一雷达具有重叠视场;该装置包括:
数据获得单元,用于获得通过所述第一相机探测到目标时获取的目标图像数据,以及通过所述第一雷达探测到目标时获取的目标雷达数据;
运动轨迹信息生成单元,用于当根据所述第一相机探测的图像坐标与所述第一雷达探测的雷达坐标的转换关系确定所述第一相机和所述第一雷达探测到的目标为相同的第一目标时,从所述目标图像数据中提取所述第一目标的特征信息作为所述第一目标的目标标识,并根据所述第一目标的目标标识和所述目标雷达数据生成所述第一目标的运动轨迹信息。
15.一种中心端处理设备,其特征在于,包括处理器及存储器;所述存储器存储有可被处理器调用的程序;其中,所述处理器执行所述程序时,实现如权利要求12或13所述的运动轨迹接力方法。
CN202010898949.3A 2020-08-31 2020-08-31 运动轨迹接力方法、系统、装置和中心端处理设备 Pending CN111983603A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010898949.3A CN111983603A (zh) 2020-08-31 2020-08-31 运动轨迹接力方法、系统、装置和中心端处理设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010898949.3A CN111983603A (zh) 2020-08-31 2020-08-31 运动轨迹接力方法、系统、装置和中心端处理设备

Publications (1)

Publication Number Publication Date
CN111983603A true CN111983603A (zh) 2020-11-24

Family

ID=73446826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010898949.3A Pending CN111983603A (zh) 2020-08-31 2020-08-31 运动轨迹接力方法、系统、装置和中心端处理设备

Country Status (1)

Country Link
CN (1) CN111983603A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112630736A (zh) * 2020-12-21 2021-04-09 北京百度网讯科技有限公司 路侧雷达的参数确定方法、装置、设备及存储介质
CN113470109A (zh) * 2021-06-09 2021-10-01 浙江大华技术股份有限公司 一种客流统计方法、电子设备和计算机存储介质
CN113704533A (zh) * 2021-01-25 2021-11-26 浙江大华技术股份有限公司 对象关系的确定方法及装置、存储介质、电子装置
WO2022142713A1 (zh) * 2020-12-29 2022-07-07 杭州海康威视数字技术股份有限公司 监测车辆行驶信息的方法及装置
CN115331469A (zh) * 2022-08-15 2022-11-11 北京图盟科技有限公司 一种车辆轨迹在线还原方法、装置及设备
CN116106895A (zh) * 2023-02-21 2023-05-12 郑州大学 基于视觉与无线感知融合的多点微动智能监测系统与方法
CN117111019A (zh) * 2023-10-25 2023-11-24 深圳市先创数字技术有限公司 一种基于雷达探测的目标跟踪监控方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532896A (zh) * 2019-08-06 2019-12-03 北京航空航天大学 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法
CN110969644A (zh) * 2018-09-28 2020-04-07 杭州海康威视数字技术股份有限公司 人员轨迹追踪方法、装置及系统
CN111045000A (zh) * 2018-10-11 2020-04-21 阿里巴巴集团控股有限公司 监测系统和方法
CN111366926A (zh) * 2019-01-24 2020-07-03 杭州海康威视系统技术有限公司 跟踪目标的方法、装置、存储介质和服务器
CN111383039A (zh) * 2018-12-28 2020-07-07 杭州海康威视数字技术股份有限公司 信息推送方法、装置及信息展示系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969644A (zh) * 2018-09-28 2020-04-07 杭州海康威视数字技术股份有限公司 人员轨迹追踪方法、装置及系统
CN111045000A (zh) * 2018-10-11 2020-04-21 阿里巴巴集团控股有限公司 监测系统和方法
CN111383039A (zh) * 2018-12-28 2020-07-07 杭州海康威视数字技术股份有限公司 信息推送方法、装置及信息展示系统
CN111366926A (zh) * 2019-01-24 2020-07-03 杭州海康威视系统技术有限公司 跟踪目标的方法、装置、存储介质和服务器
CN110532896A (zh) * 2019-08-06 2019-12-03 北京航空航天大学 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112630736A (zh) * 2020-12-21 2021-04-09 北京百度网讯科技有限公司 路侧雷达的参数确定方法、装置、设备及存储介质
CN112630736B (zh) * 2020-12-21 2024-05-07 阿波罗智联(北京)科技有限公司 路侧雷达的参数确定方法、装置、设备及存储介质
WO2022142713A1 (zh) * 2020-12-29 2022-07-07 杭州海康威视数字技术股份有限公司 监测车辆行驶信息的方法及装置
CN113704533A (zh) * 2021-01-25 2021-11-26 浙江大华技术股份有限公司 对象关系的确定方法及装置、存储介质、电子装置
CN113470109A (zh) * 2021-06-09 2021-10-01 浙江大华技术股份有限公司 一种客流统计方法、电子设备和计算机存储介质
CN115331469A (zh) * 2022-08-15 2022-11-11 北京图盟科技有限公司 一种车辆轨迹在线还原方法、装置及设备
CN116106895A (zh) * 2023-02-21 2023-05-12 郑州大学 基于视觉与无线感知融合的多点微动智能监测系统与方法
CN116106895B (zh) * 2023-02-21 2024-01-26 郑州大学 基于视觉与无线感知融合的多点微动智能监测系统与方法
CN117111019A (zh) * 2023-10-25 2023-11-24 深圳市先创数字技术有限公司 一种基于雷达探测的目标跟踪监控方法和系统
CN117111019B (zh) * 2023-10-25 2024-01-09 深圳市先创数字技术有限公司 一种基于雷达探测的目标跟踪监控方法和系统

Similar Documents

Publication Publication Date Title
CN111983603A (zh) 运动轨迹接力方法、系统、装置和中心端处理设备
US10244164B1 (en) Systems and methods for image stitching
CN103236160B (zh) 基于视频图像处理技术的路网交通状态监测系统
Mouats et al. Multispectral stereo odometry
US7321386B2 (en) Robust stereo-driven video-based surveillance
CN112102409B (zh) 目标检测方法、装置、设备及存储介质
WO2021037086A1 (zh) 定位方法及装置
Palaniappan et al. Moving object detection for vehicle tracking in wide area motion imagery using 4d filtering
US20160191860A1 (en) Apparatus and method for displaying surveillance area of camera
CN112614165B (zh) 烟火监控方法、装置、摄像机、电子装置和存储介质
JP4344860B2 (ja) ステレオ画像を用いた道路平面領域並びに障害物検出方法
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN110750153A (zh) 一种无人驾驶车辆的动态虚拟化装置
CN116310679A (zh) 多传感器融合目标检测方法、系统、介质、设备及终端
CN114339185A (zh) 用于车辆相机图像的图像彩色化
Nedevschi Online cross-calibration of camera and lidar
WO2020211593A1 (zh) 交通道路的数字化重建方法、装置和系统
EP3005238B1 (en) Method and system for coordinating between image sensors
CN108195359B (zh) 空间数据的采集方法及系统
Ramirez et al. Panoramic stitching for driver assistance and applications to motion saliency-based risk analysis
CN110738696B (zh) 行车盲区透视视频的生成方法及行车盲区视野透视系统
CN112488022A (zh) 一种环视全景监控方法、装置及系统
WO2023283929A1 (zh) 双目相机外参标定的方法及装置
CN117897737A (zh) 一种无人机监控方法、装置、无人机及监控设备
LaTourette et al. Dense 3D reconstruction for video stabilization and georegistration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination