视频数据标注方法、装置、电子设备及介质
技术领域
本申请涉及图像处理技术领域,具体涉及一种视频数据标注方法及装置、一种电子设备以及一种计算机可读介质。
背景技术
随着机器学习热潮的兴起,数据驱动作为提升模型性能的主要手段之一,现实应用中的需求不断被提出。然而数据标注本身成本极高,造成这一问题的原因主要有两个,一方面是由于数据标注需要大量的人工纠正和校验,另一方面是因为机器学习的不同任务之间对数据的标注需求各不相同。
通常,人们通过对图片中的目标对象进行直接纯手工标注,或先通过一个预训练模型进行初步标注,再提供给标注人员进行手工标注。而对于背景复杂或者目标对象较多的场景,标注人员往往会输出较多的误标或漏标。综上可知,现有方法具体实施时,往往存在准确度差、效率低的技术问题。
发明内容
本申请的目的是提供一种视频数据标注方法及装置、一种电子设备以及一种计算机可读介质。
本申请第一方面提供一种视频数据标注方法,包括:
获取待标注的视频数据;
对所述视频数据进行去背景处理,得到后处理视频数据;
使用预训练模型对所述后处理视频数据进行预标注,得到预标注数据,以使所述预标注数据被人工调整后得到所述视频数据的标注数据。
在本申请的一些实施方式中,所述对所述视频数据进行去背景处理,得到后处理视频数据,包括:
对所述视频数据进行背景建模,提取所述视频数据中的背景帧;
利用帧差法提取所述视频数据中包含运动目标的多个关键帧;
将所述关键帧减去所述背景帧,得到多个前景帧;
利用形态学算法对多个所述前景帧进行组合处理,得到后处理视频数据。
在本申请的一些实施方式中,所述方法还包括:利用交叉验证算法对所述标注数据进行校验
在本申请的一些实施方式中,所述预训练模型包括目标检测模型或目标分割模型。
本申请第二方面提供一种视频数据标注装置,包括:
获取模块,用于获取待标注的视频数据;
去背景模块,用于对所述视频数据进行去背景处理,得到后处理视频数据;
标注模块,用于使用预训练模型对所述后处理视频数据进行预标注,得到预标注数据,以使所述预标注数据被人工调整后得到所述视频数据的标注数据。
在本申请的一些实施方式中,所述去背景模块,具体用于:
对所述视频数据进行背景建模,提取所述视频数据中的背景帧;
利用帧差法提取所述视频数据中包含运动目标的多个关键帧;
将所述关键帧减去所述背景帧,得到多个前景帧;
利用形态学算法对多个所述前景帧进行组合处理,得到后处理视频数据。
在本申请的一些实施方式中,所述装置还包括:
校验模块,用于利用交叉验证算法对所述标注数据进行校验。
在本申请的一些实施方式中,所述预训练模型包括目标检测模型或目标分割模型。
本申请第三方面提供一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器运行所述计算机程序时执行以实现本申请第一方面所述的方法。
本申请第四方面提供一种计算机可读介质,其上存储有计算机可读指令,所述计算机可读指令可被处理器执行以实现本申请第一方面所述的方法。
相较于现有技术,本申请第一方面提供的视频数据标注方法,通过获取待标注的视频数据,对所述视频数据进行去背景处理,得到后处理视频数据,使用预训练模型对所述后处理视频数据进行预标注,得到预标注数据,以使所述预标注数据被人工调整后得到所述视频数据的标注数据。通过本方案,可以去除视频中背景对标注的影响,而且标注人员可以不用从头开始标注,只需在预标注数据上做少量调整即可,相较于现有技术,能够提升标注效率,并且使标注结果更加准确。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本申请的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本申请的一些实施方式所提供的一种视频数据标注方法的流程图;
图2示出了本申请的一些实施方式所提供的去背景处理的实际场景示意图;
图3示出了本申请的一些实施方式所提供的一种视频数据标注装置的示意图;
图4示出了本申请的一些实施方式所提供的一种电子设备的示意图;
图5示出了本申请的一些实施方式所提供的一种计算机可读介质的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
需要注意的是,除非另有说明,本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
另外,术语“第一”和“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例提供一种视频数据标注方法及装置、一种电子设备以及计算机可读存储介质,下面结合附图进行说明。
请参考图1,其示出了本申请的一些实施方式所提供的一种视频数据标注方法的流程图,如图所示,所述视频数据标注方法,可以包括以下步骤:
步骤S101:获取待标注的视频数据。
实际应用中,该视频数据可以来自固定摄像头的应用场景(如安防监控),也可以来自不是固定摄像头的应用场景(如运动拍摄)。
步骤S102:对所述视频数据进行去背景处理,得到后处理视频数据。
实际应用中,上述步骤获取到的视频数据可能来自背景复杂或目标较多的场景,如果直接进行标注,受到复杂场景的影响,可能会输出较多的误标或漏标。因此,本申请中,先对视频数据中的图像帧进行去背景处理,得到去背景之后的后处理视频数据。例如,可以有效地去除固定摄像头中固定不变或周期性变化的背景信息,留下感兴趣的前景目标。
具体的,在本申请的一些实施方式中,上述步骤S102,可实现为:对所述视频数据进行背景建模,提取所述视频数据中的背景帧;利用帧差法提取所述视频数据中包含运动目标的多个关键帧;将所述关键帧减去所述背景帧,得到多个前景帧;利用形态学算法对多个所述前景帧进行组合处理,得到后处理视频数据。如图2所示,对视频数据中的图像帧进行A1背景建模和A2前景分割后得到前景帧,然后进行A3后处理得到组成后处理视频数据的后处理帧。
其中,背景建模算法、形态学算法采用相应算法,本申请在此不再赘述。基于帧差法的运动目标抽取方法来抽取关键帧ψ的公式如下所示:
Δ=|Fi-Fi-1|;ψ=Fi,ifΔ>预设阈值。
步骤S103:使用预训练模型对所述后处理视频数据进行预标注,得到预标注数据,以使所述预标注数据被人工调整后得到所述视频数据的标注数据。
其中,所述预训练模型可以为目标检测模型或目标分割模型。通过预训练模型得到的数据为预标注数据。预标注之后,对预标注数据再进行人工纠正和进一步标注,可以确保标注数据的准确性,相对于直接进行人工标注,可以减少人工的工作量。
相较于现有技术,本申请实施例提供的上述视频数据标注方法,通过获取待标注的视频数据,对所述视频数据进行去背景处理,得到后处理视频数据,使用预训练模型对所述后处理视频数据进行预标注,得到预标注数据,以使所述预标注数据被人工调整后得到所述视频数据的标注数据。通过本方案,可以去除视频中背景对标注的影响,而且标注人员可以不用从头开始标注,只需在预标注数据上做少量调整即可,相较于现有技术,能够减少标注人员的工作量,并且使标注结果更加准确。
在本申请的一些实施方式中,上述视频数据标注方法,还可以包括以下步骤:
利用交叉验证算法对所述标注数据进行校验。
本实施方式,通过交叉验证算法对标注数据的校验,可以进一步提升标注数据的准确性。
在上述的实施例中,提供了一种视频数据标注方法,与之相对应的,本申请还提供一种视频数据标注装置。本申请实施例提供的视频数据标注装置可以实施上述视频数据标注方法,该视频数据标注装置可以通过软件、硬件或软硬结合的方式来实现。例如,该视频数据标注装置可以包括集成的或分开的功能模块或单元来执行上述各方法中的对应步骤。请参考图3,其示出了本申请的一些实施方式所提供的一种视频数据标注装置的示意图。由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
如图3所示,所述视频数据标注装置10可以包括:
获取模块101,用于获取待标注的视频数据;
去背景模块102,用于对所述视频数据进行去背景处理,得到后处理视频数据;
标注模块103,用于使用预训练模型对所述后处理视频数据进行预标注,得到预标注数据,以使所述预标注数据被人工调整后得到所述视频数据的标注数据。
在本申请实施例的一些实施方式中,所述去背景模块102,具体用于:
对所述视频数据进行背景建模,提取所述视频数据中的背景帧;
利用帧差法提取所述视频数据中包含运动目标的多个关键帧;
将所述关键帧减去所述背景帧,得到多个前景帧;
利用形态学算法对多个所述前景帧进行组合处理,得到后处理视频数据。
在本申请实施例的一些实施方式中,所述视频数据标注装置10还可以包括:
校验模块,用于利用交叉验证算法对所述标注数据进行校验。
在本申请实施例的一些实施方式中,所述预训练模型可以包括目标检测模型或目标分割模型。
本申请实施例提供的视频数据标注装置10,与本申请前述实施例提供的视频数据标注方法出于相同的发明构思,具有相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的视频数据标注方法对应的电子设备,所述电子设备可以是用于客户端的电子设备,例如手机、笔记本电脑、平板电脑、台式机电脑等,以执行上述视频数据标注方法。
请参考图4,其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图4所示,所述电子设备20包括:处理器200,存储器201,总线202和通信接口203,所述处理器200、通信接口203和存储器201通过总线202连接;所述存储器201中存储有可在所述处理器200上运行的计算机程序,所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的视频数据标注方法。
其中,存储器201可能包含高速随机存取存储器(RAM:Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口203(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网、广域网、本地网、城域网等。
总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中,存储器201用于存储程序,所述处理器200在接收到执行指令后,执行所述程序,前述本申请实施例任一实施方式揭示的所述视频数据标注方法可以应用于处理器200中,或者由处理器200实现。
处理器200可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201,处理器200读取存储器201中的信息,结合其硬件完成上述方法的步骤。
本申请实施例提供的电子设备与本申请实施例提供的视频数据标注方法出于相同的发明构思,具有与其采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的视频数据标注方法对应的计算机可读介质,请参考图5,其示出的计算机可读存储介质为光盘30,其上存储有计算机程序(即程序产品),所述计算机程序在被处理器运行时,会执行前述任意实施方式所提供的视频数据标注方法。
需要说明的是,所述计算机可读存储介质的例子还可以包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质,在此不再一一赘述。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的视频数据标注方法出于相同的发明构思,具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围,其均应涵盖在本申请的权利要求和说明书的范围当中。