CN114820694A - 一种动态多目标标注方法、系统及装置 - Google Patents

一种动态多目标标注方法、系统及装置 Download PDF

Info

Publication number
CN114820694A
CN114820694A CN202110037869.3A CN202110037869A CN114820694A CN 114820694 A CN114820694 A CN 114820694A CN 202110037869 A CN202110037869 A CN 202110037869A CN 114820694 A CN114820694 A CN 114820694A
Authority
CN
China
Prior art keywords
target
frame
marking
video
target position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110037869.3A
Other languages
English (en)
Inventor
邓亮
沈昱
谢正华
刘健
沙刘力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Xingyu Automotive Lighting Systems Co Ltd
Original Assignee
Changzhou Xingyu Automotive Lighting Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Xingyu Automotive Lighting Systems Co Ltd filed Critical Changzhou Xingyu Automotive Lighting Systems Co Ltd
Priority to CN202110037869.3A priority Critical patent/CN114820694A/zh
Publication of CN114820694A publication Critical patent/CN114820694A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种动态多目标标注方法、系统及装置，标注方法包括以下步骤：读取视频记录；提取标志帧图像；标记所述标志帧的目标位置感兴趣域和种类；计算连续帧的目标位置感兴趣域；标注完成，将标志帧和连续帧生成图像，并生成记录文件，解决了现有视频数据标注利用人工费时费力且效率较低、现有简易目标跟踪算法对于运动变化复杂的目标位置感兴趣域准确率低且数据质量差的问题，可自动实现视频数据标注，提高了目标位置感兴趣域的准确率和标注效率。

Description

一种动态多目标标注方法、系统及装置
技术领域
本发明涉及图像识别技术领域，尤其涉及一种支持运动轨迹自定义的动态多目标标注方法、系统及装置。
背景技术
利用人工智能图像识别技术的产品，在各种行业中的应用越来越广泛。目前图像识别技术主要通过训练海量带有标注的图像视频数据实现，但是现有图像和视频数据标注都是通过人工在每张每帧图像上选取目标的位置感兴趣域，并添加相关分类信息，耗费大量人力，效率极低。
虽然已有使用简易目标跟踪算法(如插值算法)的辅助标注工具面世，但是对于运动变化复杂的目标，存在目标位置感兴趣与的准确率低，数据质量差的问题。
发明内容
本发明提供一种动态多目标标注方法、系统及装置，解决了现有视频数据标注利用人工费时费力且效率较低、现有简易目标跟踪算法对于运动变化复杂的目标位置感兴趣域准确率低且数据质量差的问题，可自动实现视频数据标注，提高了目标位置感兴趣域的准确率和标注效率。
为达到上述目的，本发明的技术方案具体是这样实现的：
本发明一方面公开一种动态多目标标注方法，包括以下步骤：
读取视频记录；
提取标志帧图像；
标记所述标志帧的目标位置感兴趣域和种类；
计算连续帧的目标位置感兴趣域；
标注完成，将标志帧和连续帧生成图像，并生成记录文件。
进一步地，所述计算连续帧的目标位置感兴趣域包括以下步骤：
将标志帧与连续帧的RGB图像转变为灰度图；
在标志帧灰度图的位置感兴趣域范围内，需找高亮度的角点；
在连续帧灰度图中，以标志帧各个角点的位置为圆心，寻找新角点；
计算连续帧角点与标志帧角点之间的亮度偏差及梯度变化方向，预测下一帧角点位置；
根据多个新角点的位置计算目标坐标，求其中心点，作为运动轨迹点；
将运动轨迹点带入下一连续帧灰度图，计算角点位置、目标坐标和轨迹点。
本发明另一方面公开一种动态多目标标注系统，包括视频读取模块、提取模块、标记模块、计算模块和生成图像模块，其中，视频读取模块用以读取视频记录；提取模块用以提取标志帧图像；标记模块用以标记所述标志帧的目标位置感兴趣域和种类；计算模块用以计算连续帧的目标位置感兴趣域；生成图像模块用以将标志帧和连续帧生成图像，并生成记录文件。
本发明再一方面公开一种动态多目标标注装置，包括外接硬盘座、视频编辑键盘、鼠标、键盘、计算机主机、左侧显示屏和右侧显示屏，其中，外接硬盘座用以读取视频记录；视频编辑键盘用以提取标志帧图像；鼠标用以手动修改目标的运动轨迹以提升目标位置感兴趣域的准确率；所述键盘与所述鼠标配合，用以对所述标志帧的目标位置感兴趣域和种类进行标记；计算机主机用以计算及处理连续帧的目标位置感兴趣域；左侧显示屏用以显示视频记录；右侧显示屏用以显示目标的运动轨迹及目标位置感兴趣域。
进一步地，所述标志帧为运动轨迹发生明显变化的视频帧。
进一步地，两个所述标志帧之间的视频帧为连续帧。
有益技术效果：
1、本发明公开一种动态多目标标注方法，包括以下步骤：
读取视频记录；
提取标志帧图像；
标记所述标志帧的目标位置感兴趣域和种类；
计算连续帧的目标位置感兴趣域；
标注完成，将标志帧和连续帧生成图像，并生成记录文件；解决了现有视频数据标注利用人工费时费力且效率较低、现有简易目标跟踪算法对于运动变化复杂的目标位置感兴趣域准确率低且数据质量差的问题，可自动实现视频数据标注，提高了目标位置感兴趣域的准确率和标注效率；
2、本发明公开一种动态多目标标注装置，包括外接硬盘座、视频编辑键盘、鼠标、键盘、计算机主机、左侧显示屏和右侧显示屏，其中，外接硬盘座用以读取视频记录；视频编辑键盘用以提取标志帧图像；鼠标用以手动修改目标的运动轨迹以提升目标位置感兴趣域的准确率；所述键盘与所述鼠标配合，用以对所述标志帧的目标位置感兴趣域和种类进行标记；计算机主机用以计算及处理连续帧的目标位置感兴趣域；左侧显示屏用以显示视频记录；右侧显示屏用以显示目标的运动轨迹及目标位置感兴趣域；使用视频编辑键盘、鼠标和双显示屏，双手同时操作，有效提升了标注效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种动态多目标标注装置的示意图；
图2为本发明实施例提供的一种动态多目标标注方法的流程图。
其中，1-外接硬盘座，2-计算机主机，3-视频编辑键盘，4-鼠标，5-键盘，6-左侧显示屏，7-右侧显示屏。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本发明保护范围的限制。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
下面结合附图对本发明的实施方式进行详细说明。
本发明公开一种动态多目标标注的方法，具体包括以下步骤，参见图2：
S1：读取视频记录；
通过外接硬盘读取视频记录；
S2：标志帧图像；
操作视频编辑键盘采用旋钮按键提取左显示屏上的标志帧图像，标志帧是视频中目标运动发生明显改变的视频帧。
S3：标记所述标志帧的目标位置感兴趣域和种类；
用键盘和鼠标手工标记标志帧的目标位置感兴趣域和种类。
S4：计算连续帧的目标位置感兴趣域；
两个标志帧之间的视频帧为连续帧。
S5：标注完成，将标志帧和连续帧生成图像，并生成记录文件；标注完成后，将每个视频帧生成图像，并生成各种目标位置和类型的记录文件。可以作为训练或测试图像数据库，代入人工智能的图像识别模型，完成模型训练工作。
作为本发明的一个实施例，计算连续帧的目标位置感兴趣域的步骤包括：
将标志帧与连续帧的RGB图像转变为灰度图；
具体的就是根据每个像素点的RGB值计算出灰度值：
Gray＝(R*30+G*587+B*11+50)/100
在标志帧灰度图的位置感兴趣域(左上角坐标与右下角坐标围成的矩形区域)范围内，寻找多个高亮度的角点，并保存这些角点的位置；
在连续帧灰度图中，以标志帧各个角点的位置为圆心，在一定范围内，寻找新角点；
按照LK(Lucas-Kanade)光流算法，计算连续帧角点与标志帧角点的亮度偏差，及梯度变化方向，并预测下一帧角点位置；
根据多个新角点的位置计算目标坐标，并求其中心点，作为运动轨迹点，计算方法如下：
Figure BDA0002894933510000051
Figure BDA0002894933510000052
代入下一帧连续帧灰度图，计算角点位置、目标坐标和轨迹点，到下一个标志帧终止。
需要说明的是如果计算的目标位置有偏差，可以手工修改轨迹点或者目标位置，其后连续帧的目标将按照光流算法自动修正。
本发明的另一方面公开一种动态多目标标注的系统，包括视频读取模块、提取模块、标记模块、计算模块和生成图像模块，其中，视频读取模块用以读取视频记录；提取模块用以提取标志帧图像；标记模块用以标记所述标志帧的目标位置感兴趣域和种类；计算模块用以计算连续帧的目标位置感兴趣域；生成图像模块用以将标志帧和连续帧生成图像，并生成记录文件。
本发明的再一方面公开一种动态多目标标注的装置，参见图1，具体包括外接硬盘座、视频编辑键盘、鼠标、键盘、计算机主机、左侧显示屏和右侧显示屏，其中，外接硬盘座用以读取视频记录；视频编辑键盘用以提取标志帧图像；鼠标用以手动修改目标的运动轨迹以提升目标位置感兴趣域的准确率；所述键盘与所述鼠标配合，用以对所述标志帧的目标位置感兴趣域和种类进行标记；计算机主机用以计算及处理连续帧的目标位置感兴趣域；左侧显示屏用以显示视频记录；右侧显示屏用以显示目标的运动轨迹及目标位置感兴趣域，具体地，记录有视频数据的硬盘通过外接硬盘座连接到计算机主机，启动视频标注程序后，左显示屏显示视频轨道、标志帧图像和标注框灯信息，操作视频编辑键盘的旋钮可以快速浏览视频轨道，并选择目标运动出现明显变化的标志帧图像，在该图像上框选目标的位置感兴趣域，并输入该目标的类型与相关属性，标注程序默认采用Lucas-Kanade光流算法，计算连续帧(起始帧至此标志帧之间)的运动轨迹和目标位置，右侧显示屏会用连续气泡点显示运动轨迹和相应的目标位置感兴趣域框，如果观察到目标选择不准确，可以用鼠标点选轨迹点修改，修改后新的目标位置感兴趣域也以高亮提示，也可以在左侧显示屏，通过旋钮在此帧中选择位置感兴趣域标注不准确的帧，手动修改目标位置。其他连续帧按照LK光流算法重新计算生成新轨迹和目标位置，整段标注完成并确认后，锁定一个目标的标注，回到视频起始位置，重复上述步骤标注其他的目标。
需要注意的是，对于标志帧的目标，需要标注的信息有：目标的左上角的坐标、右下角的坐标和目标的类型。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上的实施例仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通工程技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

Claims (6)

1.一种动态多目标标注方法，其特征在于，包括以下步骤：
读取视频记录；
提取标志帧图像；
标记所述标志帧的目标位置感兴趣域和种类；
计算连续帧的目标位置感兴趣域；
标注完成，将标志帧和连续帧生成图像，并生成记录文件。
2.根据权利要求1所述的一种动态多目标标注方法，其特征在于，所述计算连续帧的目标位置感兴趣域包括以下步骤：
将标志帧与连续帧的RGB图像转变为灰度图；
在标志帧灰度图的位置感兴趣域范围内，需找高亮度的角点；
在连续帧灰度图中，以标志帧各个角点的位置为圆心，寻找新角点；
计算连续帧角点与标志帧角点之间的亮度偏差及梯度变化方向，预测下一帧角点位置；
根据多个新角点的位置计算目标坐标，求其中心点，作为运动轨迹点；
将运动轨迹点带入下一连续帧灰度图，计算角点位置、目标坐标和轨迹点。
3.一种动态多目标标注系统，其特征在于，包括：
视频读取模块，用以读取视频记录；
提取模块，用以提取标志帧图像；
标记模块，用以标记所述标志帧的目标位置感兴趣域和种类；
计算模块，用以计算连续帧的目标位置感兴趣域；
生成图像模块，用以将标志帧和连续帧生成图像，并生成记录文件。
4.一种动态多目标标注装置，其特征在于，包括：
外接硬盘座，用以读取视频记录；
视频编辑键盘，用以提取标志帧图像；
鼠标，用以手动修改目标的运动轨迹以提升目标位置感兴趣域的准确率；
键盘，所述键盘与所述鼠标配合，用以对所述标志帧的目标位置感兴趣域和种类进行标记；
计算机主机，用以计算及处理连续帧的目标位置感兴趣域；
左侧显示屏，用以显示视频记录；
右侧显示屏，用以显示目标的运动轨迹及目标位置感兴趣域。
5.根据权利要求1所述的一种动态目标标注方法，其特征在于，所述标志帧为运动轨迹发生明显变化的视频帧。
6.根据权利要求5所述的一种动态目标标注方法，其特征在于，两个所述标志帧之间的视频帧为连续帧。
CN202110037869.3A 2021-01-12 2021-01-12 一种动态多目标标注方法、系统及装置 Pending CN114820694A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110037869.3A CN114820694A (zh) 2021-01-12 2021-01-12 一种动态多目标标注方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110037869.3A CN114820694A (zh) 2021-01-12 2021-01-12 一种动态多目标标注方法、系统及装置

Publications (1)

Publication Number Publication Date
CN114820694A true CN114820694A (zh) 2022-07-29

Family

ID=82523726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110037869.3A Pending CN114820694A (zh) 2021-01-12 2021-01-12 一种动态多目标标注方法、系统及装置

Country Status (1)

Country Link
CN (1) CN114820694A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363557A (zh) * 2023-03-17 2023-06-30 杭州再启信息科技有限公司 一种用于连续帧的自学习标注方法、系统及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363557A (zh) * 2023-03-17 2023-06-30 杭州再启信息科技有限公司 一种用于连续帧的自学习标注方法、系统及介质
CN116363557B (zh) * 2023-03-17 2023-09-19 杭州再启信息科技有限公司 一种用于连续帧的自学习标注方法、系统及介质

Similar Documents

Publication Publication Date Title
US8280158B2 (en) Systems and methods for indexing presentation videos
US6804420B2 (en) Information retrieving system and method
JP5139716B2 (ja) 画像検索装置及び画像検索方法
US7623711B2 (en) White space graphs and trees for content-adaptive scaling of document images
CN108537269B (zh) 一种弱交互式的物体检测深度学习方法及其系统
US20150332124A1 (en) Near-duplicate video retrieval
US20210141826A1 (en) Shape-based graphics search
CN103927535B (zh) 一种汉字书写识别方法及装置
CN110489457A (zh) 基于图像识别的商品信息分析方法、系统及存储介质
CN103617296A (zh) 一种地名注记图层的优化显示方法
US6606636B1 (en) Method and apparatus for retrieving dynamic images and method of and apparatus for managing images
CN112883926A (zh) 表格类医疗影像的识别方法及装置
CN115601672A (zh) 一种基于深度学习的vr智能巡店方法及装置
CN114820694A (zh) 一种动态多目标标注方法、系统及装置
JP6387026B2 (ja) 書籍探索装置、方法及びプログラム
US20110125803A1 (en) Usability evaluation apparatus, usability evaluation method, and program
CN113934888A (zh) 视频标签处理方法及装置
US20230177580A1 (en) Design-Aware Image Search
CN111144256B (zh) 基于视频动态分析的电子表格公式合成与错误检测方法
CN114445744A (zh) 一种教育视频自动定位方法、装置及存储介质
CN111258409B (zh) 一种用于人机交互的特征点识别方法及设备
CN112633116A (zh) 一种智能解析pdf图文的方法
Jiang et al. Graph-based markerless registration of city maps using geometric hashing
JP6387028B2 (ja) 探索書籍表示装置、方法及びプログラム
CN109492023A (zh) 一种汽车信息处理方法及其设备、计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination