CN115098731B - 目标关联方法、设备及存储介质 - Google Patents

目标关联方法、设备及存储介质 Download PDF

Info

Publication number
CN115098731B
CN115098731B CN202210824722.3A CN202210824722A CN115098731B CN 115098731 B CN115098731 B CN 115098731B CN 202210824722 A CN202210824722 A CN 202210824722A CN 115098731 B CN115098731 B CN 115098731B
Authority
CN
China
Prior art keywords
video
target
radar
frame
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210824722.3A
Other languages
English (en)
Other versions
CN115098731A (zh
Inventor
陈蕾
李凤刚
唐贝贝
吴立
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202210824722.3A priority Critical patent/CN115098731B/zh
Publication of CN115098731A publication Critical patent/CN115098731A/zh
Application granted granted Critical
Publication of CN115098731B publication Critical patent/CN115098731B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本申请公开了一种目标关联方法、设备及存储介质，目标关联方法包括：从获取视频帧序列和雷达帧序列中提取对应的基准视频帧和基准雷达帧，对基准视频帧中的视频目标和基准雷达帧中的雷达目标进行关联，接着，在视频帧序列中确定起始视频帧和终止视频帧，确定已关联的视频目标在起始视频帧和终止视频帧中的位置信息，并基于这两个位置信息，确定起始视频帧和终止视频帧之间的其他视频帧中与已关联的视频目标对应的待关联视频目标，然后，将待关联视频目标与对应的雷达帧中的对应于已关联的雷达目标的待关联雷达目标进行关联。通过上述方式，本申请提供的目标关联方法可以实现将视频目标和雷达目标进行关联，且利用跟踪算法进行关联可以更高效。

Description

目标关联方法、设备及存储介质
技术领域
本申请涉及雷达标注领域，特别是涉及一种目标关联方法、设备及存储介质。
背景技术
目前，现有的雷达标注是基于图像信息的静止车道线目标的标注，一般的应用场景是：在机动车道上，存在若干机动车在行驶，机动车道上方安装有视频摄像机，用于将机动车画面记录下来，并形成视频，同时视频摄像机上的雷达设备可以检测到机动车道上的机动车，同时将其转化为雷达信息保存起来。雷达信息中的雷达目标与视频中的机动车（视频目标）是一一对应、但不存在关联的。
发明内容
本申请提供一种目标关联方法、设备及存储介质，通过将某一视频目标和雷达目标进行关联，进而利用跟踪算法将已关联的视频目标和雷达目标在其他未关联的视频帧和雷达帧中进行关联，可以实现视频目标和雷达目标关联，且关联效率高。
为了解决上述技术问题，本申请采用的一个技术方案是：获取视频帧序列和雷达帧序列，并从视频帧序列和雷达帧序列中提取对应的基准视频帧和基准雷达帧，接着，对基准视频帧中的视频目标和基准雷达帧中的雷达目标进行关联，进一步地，在视频帧序列中确定起始视频帧以及终止视频帧，确定已关联的视频目标在起始视频帧和终止视频帧中的位置信息，并基于已关联的视频目标的位置信息，确定起始视频帧和终止视频帧之间的其他视频帧中与已关联的视频目标对应的待关联视频目标，将待关联视频目标与对应的雷达帧中的对应于已关联的雷达目标的待关联雷达目标进行关联。
其中，其中视频帧序列包括按时序排列的多个视频帧，雷达帧序列包括分别与各视频帧对应的多个雷达帧。
其中，起始视频帧和终止视频帧中的至少一者为基准视频帧。
其中，对基准视频帧中的视频目标和基准雷达帧中的雷达目标进行关联，包括：将基准视频帧和基准雷达帧并排显示于显示页面，其中在显示页面所显示的基准视频帧和基准雷达帧中分别对视频目标和雷达目标进行了标记；基于用户在显示页面上的输入信息将视频目标和雷达目标进行关联。
其中，基于用户在显示页面上的输入信息将视频目标和雷达目标进行关联，包括：响应于用户输入的选中指令在基准视频帧中选中预定的视频目标；响应于用户输入的关联指令将选中的视频目标与基准雷达帧中的某一雷达目标进行关联。
其中，基准雷达帧上的雷达目标预先分配有相应的第一标识。
其中，响应于用户输入的关联指令将选中的视频目标与基准雷达帧中的某一雷达目标进行关联，包括：响应于选中指令，为选中的视频目标分配相应的第二标识；响应于关联指令将选中的视频目标的第二标识与某一雷达目标的第一标识进行关联。
其中，响应于用户输入的关联指令将选中的视频目标的第二标识与某一雷达目标的第一标识进行关联，包括：获取用户在显示页面的预定输入框内输入的某一雷达目标的第一标识；响应于关联指令将输入框内的第一标识与选中的视频目标的第二标识进行关联。
其中，第二标识随用户的选中顺序逐渐增大或逐渐减小。
其中，雷达帧序列中的每个雷达帧中的雷达目标分别分配有第二标识，且同一雷达目标的第二标识相同。
其中，基于已关联的视频目标的位置信息，确定起始视频帧和终止视频帧之间的其他视频帧中与已关联的视频目标对应的待关联视频目标，包括：基于已关联的视频目标在起始视频帧和终止视频帧中的位置信息通过插值算法确定已关联的视频目标在起始视频帧和终止视频帧之间的其他视频帧的预估位置；将预估位置处的视频目标作为与已关联的视频目标对应的待关联视频目标；
其中，将待关联视频目标与对应的雷达帧中的对应于已关联的雷达目标的待关联雷达目标进行关联，包括：在其他视频帧中，为待关联视频目标分配与已关联的视频目标相同的第二标识，并与相应的已关联的雷达目标的第一标识进行关联。
其中，响应于用户输入的筛选条件，在视频帧上突出显示与筛选条件所对应的视频目标，并在参考帧突出显示筛选条件所对应的视频目标关联的雷达目标。
其中，筛选条件为视频目标的标识信息、颜色以及所属类型中的至少一个。
其中，对雷达目标进行遍历，并确定每一个雷达目标是否关联有两个或两个以上的视频目标，响应于同一雷达目标关联有两个或两个以上的视频目标，则产生提示信息。
为了解决上述技术问题，本申请采用的另一技术方案是：提供一种目标关联设备，该目标关联设备包括存储器和处理器，其中，存储器用于存储程序数据，处理器用于执行程序数据以实现上述目标关联方法。
为了解决上述技术问题，本申请采用的另一技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质中存储有程序数据，程序数据在被处理器执行时，用于执行上述目标关联方法。
本申请的有益效果是：区别于现有技术，本申请提供的一种目标关联方法，通过获取包括按时序排列的多个视频帧的视频帧序列，包括分别与各视频帧对应的多个雷达帧的雷达帧序列，并从视频帧序列和雷达帧序列中提取对应的基准视频帧和基准雷达帧，接着，对基准视频帧中的视频目标和基准雷达帧中的雷达目标进行关联，进一步地，在视频帧序列中确定起始视频帧以及终止视频帧，确定已关联的视频目标在起始视频帧和终止视频帧中的位置信息，并基于已关联的视频目标的位置信息，确定起始视频帧和终止视频帧之间的其他视频帧中与已关联的视频目标对应的待关联视频目标，将待关联视频目标与对应的雷达帧中的对应于已关联的雷达目标的待关联雷达目标进行关联。通过上述方式，通过将基准视频帧中的视频目标和基准雷达帧中的雷达目标进行关联，进一步地，基于在起始帧和终止帧的已关联的视频目标和雷达目标的位置信息利用跟踪算法对位于起始帧和终止帧之间的其他视频帧的视频目标和对应的雷达帧的雷达目标进行关联，可以实现高效率的视频目标和雷达目标关联。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的目标关联方法第一实施例的流程示意图；
图2是本申请提供的用户显示页面一实施例的示意图；
图3是本申请提供的目标跟踪关联方法一实施例的流程示意图；
图4是本申请提供的目标关联方法第二实施例的流程示意图；
图5 是本申请提供的目标关联方法第三实施例的流程示意图；
图6是本申请提供的目标关联设备一实施例的结构示意图；
图7是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参阅图1，图1是本申请提供的目标关联方法第一实施例的流程示意图，该方法包括：
步骤11：获取视频帧序列和雷达帧序列，其中视频帧序列包括按时序排列的多个视频帧，雷达帧序列包括分别与各视频帧对应的多个雷达帧。
具体地，将某一段视频按帧进行获取，得到若干帧按时间顺序排列的视频帧数据，每一视频帧数据对应一视频帧，且每一视频帧的单位是像素。雷达帧序列通过摄像头采集，按帧进行获取，得到若干帧的按时间顺序排列的雷达数据，每一帧雷达数据对应一雷达帧，且每一雷达帧的单位是米。
值得注意的是，视频帧和雷达帧是一一对应的。
步骤12：从视频帧序列和雷达帧序列中提取对应的基准视频帧和基准雷达帧。
具体地，视频帧序列包括若干个视频帧，基准视频帧指当前选定的视频帧，如视频帧序列包含100个视频帧，基准视频帧可以是这100帧中的任意一帧。同理，雷达帧序列包含若干个雷达帧，基准雷达帧是当前选定的雷达帧。
值得注意的是，选定基准视频帧时，会自动得到匹配的基准雷达帧。
步骤13：对基准视频帧中的视频目标和基准雷达帧中的雷达目标进行关联。
每一视频帧包含若干个视频目标，每一雷达帧包含若干个雷达目标。
在一些实施例中，视频目标是机动车，在其他实施例中，视频目标可以是行人、动物等。当视频目标是机动车时，每一雷达帧包含的数据有车道线个数、车道线宽度和雷达目标的坐标信息。
在一些实施例中，将基准视频帧和基准雷达帧并排显示于显示页面，其中在显示页面所显示的基准视频帧和基准雷达帧中分别对视频目标和雷达目标进行了标记。
在一些实施例中，基于各视频帧获取所有的视频目标，并对各视频目标进行编号。
如，选中某一视频素材，并基于该视频素材获取1至100的视频帧以组成视频帧序列，对每一视频帧进行检测，以获取每一视频帧中包含的所有视频目标。
在一些实施例中，显示页面包括视频帧、雷达帧和操作界面。如图2所示，用户显示页面应用于目标平台（笔记本电脑、手机、台式电脑等），用户显示页面包括三部分，左边是视频帧，中间是与视频帧对应的雷达帧，右边操作栏以及上下两栏操作栏属于操作界面，其中，下面的操作栏包括视频进度条、快进按钮、后退按钮、跳转框、慢放按钮、正常播放按钮、快放按钮、开始帧操作栏、结束帧操作栏、跟踪按钮和跟踪算法显示框，上面的操作栏包括保存按钮、全部删除按钮、删除标注按钮、添加目标按钮、删除目标按钮、任务详情按钮、筛选标注类型框、筛选非子id框、配置按钮、统计按钮、目标操作按钮和返回按钮等。
如，使用视频进度条、快进按钮、后退按钮、跳转框、慢放按钮、正常播放按钮、快放按钮对视频素材进行调整，以得到不同的视频帧。
如，使用开始帧操作栏、结束帧操作栏、跟踪按钮和跟踪算法显示框对视频目标在视频帧序列中进行跟踪。
如，使用添加目标按钮、删除目标按钮对雷达目标在雷达帧上进行增加或删除。
在一些实施例中，响应于用户输入的选中指令在基准视频帧中选中预定的视频目标，并响应于用户输入的关联指令将选中的视频目标与基准雷达帧中的某一雷达目标进行关联。
在一实施例中，从某一视频帧中任意选择一视频目标，并在雷达帧显示的所有雷达目标中确定需要与视频目标关联的雷达目标的编号（ID），接着，用户在显示页面的操作界面手动将雷达目标的ID输入，并点击保存按钮，完成视频目标和雷达目标的关联。
在一些实施例中，用户在显示页面的操作页面上手动输入雷达目标的ID，并点击保存按钮，之后系统将该绑定信息保存后服务器/数据库，即完成一次视频目标和雷达目标的关联。
在一些实施例中，用于可以在显示页面的“筛选标注类型”和/或“筛选非子id”操作框中手动输入需要进行筛选的视频目标的编号（ID），并响应于用户输入的筛选指令，在视频帧上突出显示与筛选指令所对应的视频目标，并在雷达帧突出显示与筛选指令所对应的与视频目标关联的雷达目标。
在一些实施例中，将通过筛选指令获取的视频目标进行突出显示的方式可以是选用不同于其他视频目标的目标框的颜色对视频目标进行选择，或使用箭头将视频目标在视频帧上标示出来。
在一些实施例中，将所有视频目标和雷达目标进行关联之后，可以利用所有的关联信息进行模型训练，以得到一个可以自动将视频目标和雷达目标进行关联的模型。
步骤14：在视频帧序列中确定起始视频帧以及终止视频帧，其中起始视频帧和终止视频帧中的至少一者为基准视频帧。
步骤15：确定已关联的视频目标在起始视频帧和终止视频帧中的位置信息。
步骤16：基于已关联的视频目标的位置信息，确定起始视频帧和终止视频帧之间的其他视频帧中与已关联的视频目标对应的待关联视频目标。
步骤17：将待关联视频目标与对应的雷达帧中的对应于已关联的雷达目标的待关联雷达目标进行关联。
在一些实施例中，利用跟踪算法实现将未关联的视频目标和雷达目标进行关联可以参阅图3，步骤14至步骤17可以是以下流程：
步骤31：在视频帧序列中确定起始视频帧以及终止视频帧，其中起始视频帧和终止视频帧中的至少一者为基准视频帧。
在一些实施例中，需要基于视频帧序列中确定起始帧和终止帧，且起始帧的的时间需要在终止帧之前。
如，在包含100帧的视频帧序列中确定起始帧是第1帧，终止帧是第10帧，不可以是将第10帧作为起始帧，第1帧作为终止帧。
步骤32：确定已关联的视频目标在起始视频帧和终止视频帧中的位置信息。
在一些实施例中，获取视频目标的方式为：获取各视频目标的最左点、最右点、最高点和最低点，以得到与各视频目标对应的目标框；或人为利用方框对各视频目标进行选择。
值得注意的是，不同类型的视频目标可以使用不同颜色的目标框进行标注，如机动车的目标框是绿色。
在一些实施例中，在以方框的形式选定各视频目标的同时会对每一视频目标进行编号，可以是按照选择视频目标的顺序，从开始递增（逐渐增大）或递减（逐渐减小），如从1开始递增（1、2、3…）。
在一些实施例中，得到与各视频目标对应的目标框，即可以得到该目标框的坐标信息。
步骤33：基于已关联的视频目标在起始视频帧和终止视频帧中的位置信息通过插值算法确定已关联的视频目标在起始视频帧和终止视频帧之间的其他视频帧的预估位置。
在一些实施例中，起始帧中包含的视频目标的位置信息可以组成一数组，同样，终止帧中包含的视频目标的位置信息也可以组成一数组。分别利用各视频目标在起始帧和终止帧中的位置信息进行插值运算，可以得到位于起始帧和终止帧的同一视频目标的位置信息。
在一些实施例中，起始视频帧是第1帧，终止视频帧是第10帧，用户在显示页面上手动输入起始帧和终止帧的参数，接着对第1帧和第10帧中某些已关联的视频目标和雷达目标使用跟踪算法第2帧至第9帧进行关联。
如，从第1帧跟踪到第10帧，在第1帧中，视频目标id=1、坐标为[x1，y1]，在第10帧中，视频目标id=1、坐标为[x10，y10]，由这两帧进行插值可得第5帧的视频目标坐标为[x5，y5]，以此类推第2帧的视频目标坐标为[x2，y2]，第3帧的视频目标坐标为[x3，y3]，第4帧的视频目标的坐标为[x4，y4]，第6帧的视频目标的坐标为[x6，y6]，第7帧的视频目标的坐标为[x7，y7]，第8帧的视频目标的坐标为[x8，y8]，第9帧的视频目标的坐标为[x9，y9]。
步骤34：将预估位置处的视频目标作为与已关联的视频目标对应的待关联视频目标。
在一些实施例中，通过获取起始帧和终止帧中某一视频目标的位置信息，利用插值算法获取该视频目标位于起始帧和终止帧之间的其他视频帧中的位置信息。
步骤35：在其他视频帧中，为待关联视频目标分配与已关联的视频目标相同的第二标识，并与相应的已关联的雷达目标的第一标识进行关联。
在一些实施例中，雷达帧序列中的每个雷达帧中的雷达目标分别分配有第二标识，且同一雷达目标的第二标识相同。
在一些实施例中，基于用户在显示页面上的输入信息将视频目标和雷达目标进行关联。
如，用户可以在用户操作界面上手动输入该视频目标对应的雷达目标的编号（ID），接着选定“添加目标”按钮并点击，即可在雷达帧上显示出该视频目标所对应的雷达目标，接着，分别在“开始帧”操作栏和“结束帧”操作栏中手动输入需要在视频帧序列和雷达帧序列中进行目标跟踪的图像帧，如需要在1-100帧内跟踪某一视频目标，可以通过上述方式实现在1-100个雷达帧上对该视频目标进行标注，节省了时间。
在一实施例中，跟踪算法是CNN tracking，该算法是基于深度神经网络的跟踪算法，基于起始帧和终止帧中已关联的视频目标，利用该跟踪算法实现位于起始帧和终止帧之间的与已关联视频目标对应的视频目标的位置信息，进而实现跟踪。
在一些实施例中，在雷达帧序列的各雷达帧中为对应于同一目标的雷达目标分配同一第一标识，在视频帧序列的各视频帧中为对应于同一目标的视频目标分配同一第二标识。其中，第一标识为雷达目标的编号（ID），第二标识为视频目标的编号（ID）。
在一些实施例中，视频目标是机动车，每一雷达帧包含的数据有车道线个数、车道线宽度和雷达目标的坐标信息，根据车道线个数、车道线宽度和雷达目标的坐标信息进行雷达帧的绘制。
如，某一雷达帧有三条车道线，这三条车道线用于区分四条车行道，接着按照车道线的宽度进行等比例缩小并进行绘制，得到雷达帧，接着基于所有雷达目标的位置信息，进行等比例缩小并进行绘制，得到雷达帧，之后，将各雷达目标按位置信息标注在雷达帧上，且各雷达目标的编号是基于摄像头拍摄自动获取的。
在一实施例中，雷达目标的编号（ID）是自动获取的，且以阿拉伯数字进行编号，编号顺序可以是在摄像头所能捕捉到的范围内出现的时间先后进行编号。
在一些实施例中，为雷达帧上的雷达目标分配相应的第一标识。第一标识就是ID，如某一雷达目标的ID是216。
区别于现有技术，本申请提供的目标关联方法通过从视频帧序列和雷达帧序列中提取对应的基准视频帧和基准雷达帧，接着，对基准视频帧中的视频目标和基准雷达帧中的雷达目标进行关联，在视频帧序列中确定起始视频帧以及终止视频帧，并确定已关联的视频目标在起始视频帧和终止视频帧中的位置信息，进一步地，基于已关联的视频目标的位置信息，确定起始视频帧和终止视频帧之间的其他视频帧中与已关联的视频目标对应的待关联视频目标，将待关联视频目标与对应的雷达帧中的对应于已关联的雷达目标的待关联雷达目标进行关联。通过上述方式可以实现视频目标和雷达目标的关联，且利用跟踪算法可以使得视频目标和雷达目标的关联更高效，节省了关联过程所需要花费的时间。
参阅图4，图4是本申请提供的目标关联方法第二实施例的流程示意图，该方法包括：
步骤41：获取视频帧序列和雷达帧序列，其中视频帧序列包括按时序排列的多个视频帧，雷达帧序列包括分别与各视频帧对应的多个雷达帧。
步骤42：从视频帧序列和雷达帧序列中提取对应的基准视频帧和基准雷达帧。
步骤43：对基准视频帧中的视频目标和基准雷达帧中的雷达目标进行关联。
步骤44：在视频帧序列中确定起始视频帧以及终止视频帧，其中起始视频帧和终止视频帧中的至少一者为基准视频帧。
步骤45：确定已关联的视频目标在起始视频帧和终止视频帧中的位置信息。
步骤46：基于已关联的视频目标的位置信息，确定起始视频帧和终止视频帧之间的其他视频帧中与已关联的视频目标对应的待关联视频目标。
步骤47：将待关联视频目标与对应的雷达帧中的对应于已关联的雷达目标的待关联雷达目标进行关联。
在一些实施例中，基准雷达帧上的雷达目标预先分配有相应的第一标识。响应于选中指令，为选中的视频目标分配相应的第二标识。响应于关联指令将选中的视频目标的第二标识与某一雷达目标的第一标识进行关联。
步骤41至步骤47可以与上述实施例具有相同或相似的技术方案，这里不再赘述。
步骤48：响应于用户输入的筛选条件，在视频帧上突出显示与筛选条件所对应的视频目标，并在参考帧突出显示筛选条件所对应的视频目标关联的雷达目标；其中，筛选条件为视频目标的标识信息、颜色以及所属类型中的至少一个。
在一些实施例中，筛选条件为视频目标的标识信息、颜色以及所属类型中的至少一个。
在一些实施例中，用户在显示页面上的“筛选标注类型”中选择标注类型是机动车和/或目标颜色的视频目标，和/或在“筛选非子id”操作栏输出需要进行筛选的视频目标的ID，那也会自动在雷达帧显示对应的雷达目标。
如，在视频帧序列中选择某一帧作为基准视频帧，如第10帧，在“筛选标注类型”中选择标注类型是机动车、颜色为绿色的视频目标，视频目标ID是1，基于用户的筛选指令，在当前的第10帧将该视频目标突出显示，并在对应的雷达帧中将与该视频目标对应的雷达目标进行突出显示，对应的雷达目标的ID是216。
在一些实施例中，利用筛选指令，只会显示视频目标在基准视频帧上，其他视频目标会进行隐藏，同样，基于筛选指令，只会显示与该视频目标关联的雷达目标，使得，视频目标和雷达目标的关联信息较为清晰，也方便后续对这些关联信息进行误检检测。
区别于现有技术，本申请提供的目标关联方法除了可以实现视频目标和雷达目标的关联，还可以利用跟踪算法将视频目标的雷达目标的关联更高效，节省时间。
参阅图5，图5是本申请提供的目标关联方法第三实施例的流程示意图，该方法包括：
步骤51：获取视频帧序列和雷达帧序列，其中视频帧序列包括按时序排列的多个视频帧，雷达帧序列包括分别与各视频帧对应的多个雷达帧。
步骤52：从视频帧序列和雷达帧序列中提取对应的基准视频帧和基准雷达帧。
步骤53：对基准视频帧中的视频目标和基准雷达帧中的雷达目标进行关联。
步骤54：在视频帧序列中确定起始视频帧以及终止视频帧，其中起始视频帧和终止视频帧中的至少一者为基准视频帧。
步骤55：确定已关联的视频目标在起始视频帧和终止视频帧中的位置信息。
步骤56：基于已关联的视频目标的位置信息，确定起始视频帧和终止视频帧之间的其他视频帧中与已关联的视频目标对应的待关联视频目标。
步骤57：将待关联视频目标与对应的雷达帧中的对应于已关联的雷达目标的待关联雷达目标进行关联。
步骤51至步骤57可以与上述实施例具有相同或相似的技术方案，这里不再赘述。
步骤58：对雷达目标进行遍历，并确定每一个雷达目标是否关联有两个或两个以上的视频目标。
在一些实施例中，由于在用户显示页面上手动输入雷达目标的ID可能存在输入错误，而导致错误关联信息；或存在两个雷达目标在雷达帧上的位置过于接近，导致看错雷达目标的ID，进而导致错误关联信息等情况。故需要对雷达目标进行遍历测试，确认是否存在一个雷达目标关联多个视频目标的情况。
在一些实施例中，确认一个雷达目标是否存在与多个视频目标关联的方式为：获取视频目标和雷达目标的关联信息表，并基于关联信息表判断是否存在一个雷达目标与多个视频目标存在关联信息。
步骤59：响应于同一雷达目标关联有两个或两个以上的视频目标，则产生提示信息。
在一实施例中，提示信息可以是一条提示语，也可以是在用户显示页面中的雷达帧上将雷达目标进行高亮显示等。
在一实施例中，通过上述步骤58至59，确定存在一个雷达目标与多个视频目标存在关联信息，则可以在用户显示页面上产生提示信息。进一步地，用户可以根据得到的提示信息进行操作，使用其他方式将这些错误关联信息进行更正等。
区别于现有技术，本申请提供的目标关联方法可以实现将视频目标和雷达目标进行关联，得到关联信息，且还可以对获得的关联信息进行误检筛查，以使用户对错误的关联信息进行更正。
参阅图6，图6 是本申请提供的目标关联设备一实施例的结构示意图，该目标关联设备60包括存储器601和处理器602，存储器601用于存储程序数据，处理器602用于执行程序数据以实现如上述任一实施例的目标关联方法，这里不再赘述。
参阅图7，图7是本申请提供的计算机可读存储介质一实施例的结构示意图，该计算机可读存储介质70存储有程序数据701，程序数据701在被处理器执行时，用于实现如上述任一实施例的目标关联方法，这里不再赘述。
本申请涉及的处理器可以称为CPU（Central Processing Unit，中央处理单元），可能是一种集成电路芯片，还可以是通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请使用的存储介质包括U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种目标关联方法，其特征在于，所述方法包括：
获取视频帧序列和雷达帧序列，其中所述视频帧序列包括按时序排列的多个视频帧，所述雷达帧序列包括分别与各所述视频帧对应的多个雷达帧；
从所述视频帧序列和所述雷达帧序列中提取对应的基准视频帧和基准雷达帧；
对所述基准视频帧中的视频目标和所述基准雷达帧中的雷达目标进行关联；
在所述视频帧序列中确定起始视频帧以及终止视频帧，其中所述起始视频帧和终止视频帧中的至少一者为所述基准视频帧；
确定已关联的所述视频目标在所述起始视频帧和所述终止视频帧中的位置信息；
基于已关联的所述视频目标在所述起始视频帧和终止视频帧中的位置信息通过插值算法确定已关联的所述视频目标在所述起始视频帧和所述终止视频帧之间的其他视频帧的预估位置；
将所述预估位置处的所述视频目标作为与所述已关联的视频目标对应的待关联视频目标；
将所述待关联视频目标与对应的雷达帧中的对应于已关联的所述雷达目标的待关联雷达目标进行关联。
2.根据权利要求1所述的方法，其特征在于，
所述对所述基准视频帧中的视频目标和所述基准雷达帧中的雷达目标进行关联，包括：
将所述基准视频帧和所述基准雷达帧并排显示于显示页面，其中在所述显示页面所显示的所述基准视频帧和所述基准雷达帧中分别对所述视频目标和所述雷达目标进行了标记；
基于用户在所述显示页面上的输入信息将所述视频目标和所述雷达目标进行关联。
3.根据权利要求2所述的方法，其特征在于，
所述基于用户在所述显示页面上的输入信息将所述视频目标和所述雷达目标进行关联，包括：
响应于用户输入的选中指令在所述基准视频帧中选中预定的所述视频目标；
响应于用户输入的关联指令将选中的所述视频目标与所述基准雷达帧中的某一所述雷达目标进行关联。
4.根据权利要求3所述的方法，其特征在于，所述基准雷达帧上的所述雷达目标预先分配有相应的第一标识；
所述响应于用户输入的关联指令将选中的所述视频目标与所述基准雷达帧中的某一所述雷达目标进行关联，包括：
响应于所述选中指令，为所述选中的视频目标分配相应的第二标识；
响应于所述关联指令将选中的所述视频目标的第二标识与某一所述雷达目标的第一标识进行关联。
5.根据权利要求4所述的方法，其特征在于，
所述响应于用户输入的关联指令将选中的所述视频目标的第二标识与某一所述 雷达目标的第一标识进行关联，包括：
获取用户在所述显示页面的预定输入框内输入的某一所述 雷达目标的第一标识；
响应于所述关联指令将所述输入框内的所述第一标识与选中的所述视频目标的第二标识进行关联；其中，所述第二标识随用户的选中顺序逐渐增大或逐渐减小。
6.根据权利要求4所述的方法，其特征在于，所述雷达帧序列中的每个所述雷达帧中的所述雷达目标分别分配有第二标识，且同一所述雷达目标的所述第二标识相同；
所述将所述待关联视频目标与对应的雷达帧中的对应于已关联的所述雷达目标的待关联雷达目标进行关联，包括：
在所述其他视频帧中，为所述待关联所述视频目标分配与所述已关联的所述视频目标相同的所述第二标识，并与相应的所述已关联的雷达目标的第一标识进行关联。
7.根据权利要求1所述的方法，其特征在于，
所述方法还包括：
响应于用户输入的筛选条件，在所述视频帧上突出显示与所述筛选条件所对应的所述视频目标，并在所述雷达帧突出显示所述筛选条件所对应的所述视频目标关联的所述雷达目标；其中，所述筛选条件为所述视频目标的标识信息、颜色以及所属类型中的至少一个。
8.根据权利要求1所述的方法，其特征在于，
所述方法还包括：
对所述雷达目标进行遍历，并确定每一个所述雷达目标是否关联有两个或两个以上的所述视频目标；
响应于同一所述雷达目标关联有两个或两个以上的所述视频目标，则产生提示信息。
9.一种目标关联设备，其特征在于，所述目标关联设备包括存储器和处理器，所述存储器存储有程序数据，所述处理器用于执行所述程序数据以实现如权利要求1-8任一项所述的目标关联方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序数据，所述程序数据在被处理器执行时，用于执行如权利要求1-8任一项所述的目标关联方法。
CN202210824722.3A 2022-07-14 2022-07-14 目标关联方法、设备及存储介质 Active CN115098731B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210824722.3A CN115098731B (zh) 2022-07-14 2022-07-14 目标关联方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210824722.3A CN115098731B (zh) 2022-07-14 2022-07-14 目标关联方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115098731A CN115098731A (zh) 2022-09-23
CN115098731B true CN115098731B (zh) 2022-11-22

Family

ID=83296266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210824722.3A Active CN115098731B (zh) 2022-07-14 2022-07-14 目标关联方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115098731B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3031192A1 (fr) * 2014-12-30 2016-07-01 Thales Sa Procede de suivi optique assiste par radar et systeme de mission pour la mise en oeuvre de procede
CN108010058A (zh) * 2017-11-29 2018-05-08 广东技术师范学院 一种对视频流中目标对象进行视觉跟踪的方法及系统
CN111582253A (zh) * 2020-06-19 2020-08-25 上海其高电子科技有限公司 基于事件触发的车牌跟踪识别方法
CN111652097A (zh) * 2020-05-25 2020-09-11 南京莱斯电子设备有限公司 一种图像毫米波雷达融合目标检测方法
CN111753757A (zh) * 2020-06-28 2020-10-09 浙江大华技术股份有限公司 一种图像识别处理方法及装置
CN112184749A (zh) * 2020-10-09 2021-01-05 西安电子科技大学 基于视频sar跨域联合的动目标跟踪方法
CN112927233A (zh) * 2021-01-27 2021-06-08 湖州市港航管理中心 一种船用激光雷达与视频联合目标捕捉方法
CN113359125A (zh) * 2020-03-05 2021-09-07 富士通株式会社 数据融合方法、装置和数据处理设备
CN114092512A (zh) * 2021-11-15 2022-02-25 江南大学 基于自适应多核相关滤波的雷达目标检测与跟踪方法
CN114299417A (zh) * 2021-12-09 2022-04-08 连云港杰瑞电子有限公司 一种基于雷视融合的多目标跟踪方法
CN114509753A (zh) * 2021-12-24 2022-05-17 浙江大华技术股份有限公司 雷达视频数据的融合方法及相关设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3031192A1 (fr) * 2014-12-30 2016-07-01 Thales Sa Procede de suivi optique assiste par radar et systeme de mission pour la mise en oeuvre de procede
CN108010058A (zh) * 2017-11-29 2018-05-08 广东技术师范学院 一种对视频流中目标对象进行视觉跟踪的方法及系统
CN113359125A (zh) * 2020-03-05 2021-09-07 富士通株式会社 数据融合方法、装置和数据处理设备
CN111652097A (zh) * 2020-05-25 2020-09-11 南京莱斯电子设备有限公司 一种图像毫米波雷达融合目标检测方法
CN111582253A (zh) * 2020-06-19 2020-08-25 上海其高电子科技有限公司 基于事件触发的车牌跟踪识别方法
CN111753757A (zh) * 2020-06-28 2020-10-09 浙江大华技术股份有限公司 一种图像识别处理方法及装置
CN112184749A (zh) * 2020-10-09 2021-01-05 西安电子科技大学 基于视频sar跨域联合的动目标跟踪方法
CN112927233A (zh) * 2021-01-27 2021-06-08 湖州市港航管理中心 一种船用激光雷达与视频联合目标捕捉方法
CN114092512A (zh) * 2021-11-15 2022-02-25 江南大学 基于自适应多核相关滤波的雷达目标检测与跟踪方法
CN114299417A (zh) * 2021-12-09 2022-04-08 连云港杰瑞电子有限公司 一种基于雷视融合的多目标跟踪方法
CN114509753A (zh) * 2021-12-24 2022-05-17 浙江大华技术股份有限公司 雷达视频数据的融合方法及相关设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Generation of Airborne Synthetic Aperture Radar Video from Stripmap and Spot mode images and Frame Rate Analysis";S. Manikandan et al.;《2020 IEEE India Geoscience and Remote Sensing Symposium》;20210223;全文 *
"视频序列中运动目标检测算法研究";董安国;《万方数据知识服务平台》;20160504;全文 *

Also Published As

Publication number Publication date
CN115098731A (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
CN106254933B (zh) 字幕提取方法及装置
US9595098B2 (en) Image overlaying and comparison for inventory display auditing
CN110443210B (zh) 一种行人跟踪方法、装置以及终端
CN108235122B (zh) 视频广告的监测方法及装置
JPH08202879A (ja) 互いに相関する画像のシーケンスに属する連続するビデオ画像を変更する方法、ならびに対象点の集合によって識別されるターゲットの表現を同じシーケンスの連続するｔｖフレーム中の同じ幾何学的形状の予め定められるストアされるパターンのマッチングする表現と置換する装置およびその方法
CN109241345B (zh) 基于人脸识别的视频定位方法和装置
CN110473227B (zh) 目标跟踪方法、装置、设备及存储介质
CN110543877A (zh) 标识识别方法及其模型的训练方法、装置和电子系统
WO2017104372A1 (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
CN111124888A (zh) 录制脚本的生成方法和装置及电子装置
US20210304796A1 (en) Data processing method and system, storage medium, and computing device
US20190387184A1 (en) Method and device for displaying target object
CN114267029A (zh) 一种车道线检测方法、装置、设备及存储介质
CN115098731B (zh) 目标关联方法、设备及存储介质
CN107862314B (zh) 一种喷码识别方法和识别装置
CN111539390A (zh) 一种基于Yolov3的小目标图像识别方法、设备和系统
CN111126286A (zh) 车辆动态检测方法、装置、计算机设备及存储介质
CN113095345A (zh) 数据匹配方法、装置和数据处理设备
CN116259021A (zh) 一种车道线检测方法、存储介质和电子设备
US9798932B2 (en) Video extraction method and device
CN112884866B (zh) 一种黑白视频的上色方法、装置、设备及存储介质
CN114399733A (zh) 图像检测方法、装置、设备和存储介质
JP2004272357A (ja) 画像認識結果提示装置、画像認識結果表示方法、画像認識結果提示プログラムおよび記録媒体
JP3379453B2 (ja) 字幕領域検出方法及びその装置、並びに動画像検索方法及びその装置
RU2493602C1 (ru) Способ и система для выделения ключевых кадров из видео последовательностей

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant