CN115984151A - 一种遮挡框修正方法、装置、电子设备及可读存储介质 - Google Patents
一种遮挡框修正方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN115984151A CN115984151A CN202211607199.5A CN202211607199A CN115984151A CN 115984151 A CN115984151 A CN 115984151A CN 202211607199 A CN202211607199 A CN 202211607199A CN 115984151 A CN115984151 A CN 115984151A
- Authority
- CN
- China
- Prior art keywords
- frame
- occlusion
- video
- target
- occlusion data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本申请提供一种遮挡框修正方法、装置、电子设备及可读存储介质,其中,所述方法包括:获取目标视频的第一遮挡数据和第二遮挡数据,其中,第一遮挡数据表征T时刻的遮挡框位置,第二遮挡数据表征T+1时刻的遮挡框位置,T为正整数;根据卡尔曼滤波器对所述第一遮挡数据和所述第二遮挡数据进行处理,获得修正信息;根据所述修正信息对T+1时刻的遮挡框位置进行修正。本申请将目标视频内每一视频帧的遮挡框位置和对应的前一视频帧的遮挡框位置输入卡尔曼滤波器中,以得到用于修正目标跟踪算法输出的各视频帧的遮挡框位置的修正信息,使相邻视频帧对应的不同遮挡框之间的位置偏移降低,保障目标视频播放过程中的画面连贯性,提升目标视频的播放效果。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种遮挡框修正方法、装置、电子设备及可读存储介质。
背景技术
在智能遮标场景中,需要对视频内出现的特定商标、服饰等进行遮挡,以规避可能存在的法律风险。
目前,相关技术多采用目标跟踪算法来追踪待进行遮挡处理的视频内包括的待遮挡物体,并基于追踪结果对待遮挡物体进行模糊、虚化等处理,应用中发现,现有的目标跟踪算法输出的遮挡框存在位置抖动的情况,即前一视频帧内的遮挡框位置和后一视频帧内的遮挡框位置之间存在较大偏移,上述遮挡框抖动的情况会破坏视频播放过程中的画面连贯性,也就是说,基于相关技术对待遮挡的视频进行遮挡处理后,视频的播放效果较差。
发明内容
本申请实施例的目的在于提供一种遮挡框修正方法、装置及相关设备,用于解决相关技术对待遮挡的视频进行遮挡处理后,视频的播放效果差的问题。
第一方面,本申请实施例提供了一种遮挡框修正方法,所述方法包括:
获取目标视频的第一遮挡数据和第二遮挡数据,其中,所述第一遮挡数据用于表征所述目标视频的T时刻视频帧中的遮挡框位置,所述第二遮挡数据用于表征所述目标视频的T+1时刻视频帧中的遮挡框位置,T为正整数;
根据卡尔曼滤波器对所述第一遮挡数据和所述第二遮挡数据进行处理,获得修正信息;
根据所述修正信息对所述目标视频的T+1时刻视频帧中的遮挡框位置进行修正。
第二方面,本申请实施例还提供了一种遮挡框修正装置,所述装置包括:
数据获取模块,用于获取目标视频的第一遮挡数据和第二遮挡数据,其中,所述第一遮挡数据用于表征所述目标视频的T时刻视频帧中的遮挡框位置,所述第二遮挡数据用于表征所述目标视频的T+1时刻视频帧中的遮挡框位置,T为正整数;
平滑处理模块,用于根据卡尔曼滤波器对所述第一遮挡数据和所述第二遮挡数据进行处理,获得修正信息;
位置修正模块,用于根据所述修正信息对所述目标视频的T+1时刻视频帧中的遮挡框位置进行修正。
第三方面,本申请实施例还提供一种电子设备,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现上述的遮挡框修正方法的步骤。
第四方面,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述的遮挡框修正方法的步骤。
在本申请实施例中,利用目标跟踪算法确定目标视频内每一视频帧的遮挡框位置后,将目标视频内每一视频帧的遮挡框位置和对应的前一视频帧的遮挡框位置输入卡尔曼滤波器中,以得到用于修正目标跟踪算法输出的各视频帧的遮挡框位置的修正信息,使相邻视频帧对应的不同遮挡框之间的位置偏移降低,保障目标视频播放过程中的画面连贯性,提升目标视频的播放效果。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种遮挡框修正方法的流程图;
图2是本申请实施例提供的一种遮挡框的示意图;
图3是本申请实施例提供的一种遮挡框修正装置的结构示意图;
图4是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种遮挡框修正方法,参见图1,图1是本申请实施例提供的遮挡框修正方法的流程图,如图1所示,包括以下步骤:
步骤101、获取目标视频的第一遮挡数据和第二遮挡数据。
其中,所述第一遮挡数据用于表征所述目标视频的T时刻视频帧中的遮挡框位置,所述第二遮挡数据用于表征所述目标视频的T+1时刻视频帧中的遮挡框位置,T为正整数。
在客户将视频资源上传至视频播放平台后,平台方会对客户所上传视频资源进行审核,在审核过程中,平台方除了对包括违禁内容的视频进行删除或下架处理外,还会对可能存在法律风险的视频进行遮挡处理(例如:遮挡视频内出现的未获授权的产品或商标),前述目标视频可以为平台方在视频审核过程中所检出的,待进行遮挡处理的视频。
在确定目标视频后,可以应用目标检测算法或训练好的目标检测模型对目标视频所包括多个视频帧进行目标检测,以将目标视频中包括待遮挡物体的视频帧检出,并采用检测框的形式对视频帧内包括的待遮挡物体进行标记。
需要说明的是,由于目标检测算法或目标检测模型应用时的系统开销较大,且检测过程较为耗时,因此,在实际应用过程中,可采用抽帧的方式,降低目标检测算法或目标检测模型所需处理的视频帧数量,并在获得目标检测结果后,以目标检测结果为参照,应用目标跟踪算法对目标视频内未被抽取的剩余视频帧进行跟踪检测,以完成目标视频包括的全部视频帧的目标检测。
举例来说,若设定目标视频的视频时长为1小时,帧密度为1秒24帧,为完成目标视频包括的全部视频帧的目标检测,可以先以1秒1帧的抽帧密度对目标视频进行抽帧处理,抽帧后即获得3600个第一视频帧,随后根据目标检测算法或目标检测模型对3600个第一视频帧进行处理,并应用检测框对每个第一视频帧包括的待遮挡物体进行标记,将标记有检测框的第一视频帧称为第二视频帧,之后根据目标跟踪算法,以每秒对应的第二视频帧作为参照,对每秒内未被抽帧的剩余23个视频帧进行跟踪检测,并应用检测框对未被抽帧的视频帧包括的待遮挡物体进行标记,至此完成目标视频内86400个视频帧的目标检测。
上述抽帧密度可基于实际需求进行调整,例如,将抽帧密度设置为1秒2帧等,本申请对抽帧密度的具体取值并不加以限定。
如上,应用目标检测和目标跟踪相结合的方式,可确定目标视频内每一视频帧的检测框位置,也即确定目标视频内每一视频帧的遮挡框位置,基于目标视频内每一视频帧的遮挡框位置可获得所述第一遮挡数据和所述第二遮挡数据。
第一遮挡数据包括对应遮挡框的中心点坐标、框高以及框宽,或者,第一遮挡数据包括对应遮挡框的左下端点坐标和右上端点坐标(或左上端点坐标和右下端点坐标),应用中也可以选择其他表现方式对第一遮挡数据对应遮挡框的位置进行指示,本申请实施例对此并不加以限定。
第二遮挡数据的数据表现方式与第一遮挡数据的数据表现方式一致,为避免重复,便不再赘述。
步骤102、根据卡尔曼滤波器对所述第一遮挡数据和所述第二遮挡数据进行处理,获得修正信息。
需要说明的是,T时刻和T+1时刻位于目标时段内,所述目标时段为所述目标视频所包括多个时段中的任一时段,目标视频所包括多个时段的时长相同,例如,若设定目标视频的视频时长为1小时,每一时段的时长为1秒,则基于目标视频可获得3600个时段。
步骤102的处理过程可以理解为,在前述多个时段内的每一时段中,均应用卡尔曼滤波器对时段内包括的多个视频帧(不包括时段内的第一个视频帧)进行平滑处理,其过程具体为,基于指示参考视频帧中遮挡框位置的遮挡数据对指示目标视频帧中遮挡框位置的遮挡数据进行平滑处理,其中,参考视频帧和目标视频帧相邻,且参考视频帧位于目标视频帧之前。
示例性的,在每一时段的时长为1秒的情况下,T的取值范围为[1,N-1],参数N为所述目标视频的帧密度,优选抽取每秒的第一个视频帧作为第一视频帧。
需要指出的是,修正信息可以指示第一遮挡位置,也可以指示第一遮挡位置和第二遮挡位置之间的位置偏移,其中,第一遮挡位置可理解为应用卡尔曼滤波器(KalmanFilter)对T+1时刻视频帧中遮挡框位置的进行估计后确定的遮挡框位置,第二遮挡位置可理解为前述第二遮挡数据指示的遮挡框位置。
步骤103、根据所述修正信息对所述T+1时刻视频帧中的遮挡框位置进行修正。
如上所述,步骤103的处理过程可以理解为,基于所述修正信息将T+1时刻视频帧中遮挡框由第二遮挡位置修正至第一遮挡位置。
在本申请实施例中,利用目标检测算法和目标跟踪算法确定目标视频内每一视频帧的遮挡框位置后,将目标视频内每一视频帧的遮挡框位置和对应的前一视频帧的遮挡框位置输入卡尔曼滤波器中,以得到用于修正目标跟踪算法输出的各视频帧的遮挡框位置的修正信息,这能以较低的处理耗时完成遮挡框的位置修正,使相邻视频帧对应的不同遮挡框之间的位置偏移降低,保障目标视频播放过程中的画面连贯性,甚至令被遮挡物体在同一场景中保持“静止”状态,降低用户在目标视频播放过程中对被遮挡物体的感知,提升用户的视频观看体验,也即提升目标视频的播放效果。
需要说明的是,在应用本申请所述方法对目标视频对应的各视频帧的遮挡框进行位置修正后,可以经由虚化、模糊等图像处理方式对遮挡框所围合的区域进行处置,以完成对目标视频的遮挡处理;经过遮挡处理后的目标视频可上线至视频播放平台,并被视频播放平台中满足播放条件的用户所观看。
可选的,所述根据卡尔曼滤波器对所述第一遮挡数据和所述第二遮挡数据进行处理,获得修正信息,包括:
根据所述第一遮挡数据和所述第二遮挡数据,确定状态信息,其中,所述状态信息包括所述目标视频的T+1时刻视频帧中的遮挡框位置、以及所述目标视频的T时刻视频帧中的遮挡框位置和所述目标视频的T+1时刻视频帧中的遮挡框位置之间的位置偏移;
根据卡尔曼滤波器对所述状态信息进行平滑处理,获得修正信息。
所述状态信息可理解为卡尔曼滤波器关注的特征信息,在本申请中,状态信息不仅包括目标视频的T+1时刻视频帧中的遮挡框位置,还包括目标视频的T时刻视频帧中的遮挡框位置和所述目标视频的T+1时刻视频帧中的遮挡框位置之间的位置偏移,通过上述设置,即在状态信息中引入T时刻视频帧的遮挡框位置和T+1时刻视频帧的遮挡框位置之间的位置偏移,增强参考时刻的特征信息对卡尔曼滤波器所估计的目标时刻的特征信息的影响程度,以提升的遮挡框位置修正效果,进一步减少T时刻视频帧中的遮挡框位置和T+1时刻视频帧中的遮挡框位置(修正后)之间的位置偏移,进而提升目标视频的播放效果。其中,所述参考时刻和所述目标时刻相邻,所述参考时刻位于所述目标时刻之前。
可选的,所述根据卡尔曼滤波器对所述状态信息进行平滑处理,获得修正信息,包括:
获取所述目标视频的T+1时刻对应的目标状态转移矩阵和目标状态估计协方差矩阵;
根据所述目标状态转移矩阵和所述状态信息进行先验估计,获得预测信息;
根据所述预测信息和残差信息,获得修正信息,其中,所述残差信息根据所述目标视频的T+1时刻对应的卡尔曼增益信息获得,所述目标视频的T+1时刻对应的卡尔曼增益信息根据所述目标状态估计协方差矩阵获得。
如上所述,在确定状态信息后,卡尔曼滤波器会根据T+1时刻对应的目标状态转移矩阵和所确定状态信息进行先验估计,以获得用于预测所述目标视频在T+1时刻的遮挡框位置的预测信息,其中,T+1时刻对应的目标状态转移矩阵用于表征遮挡框在T时刻与T+1时刻之间的位置变化趋势;
随后基于T+1时刻对应的目标状态估计协方差矩阵计算卡尔曼增益信息,并基于所计算的卡尔曼增益信息确定残差信息,汇总残差信息和预测信息,即可获得卡尔曼滤波器输出的状态估计信息,也即获得前述修正信息。
其中,T+1时刻对应的目标状态估计协方差矩阵用于表征T+1时刻的预测信息与检测得到的所述目标视频在T+1时刻的遮挡框位置对前述修正信息的影响程度。
需要说明的是,在获得T+1时刻的状态估计信息后,卡尔曼滤波器还会根据T+1时刻的所述状态估计信息对T+1时刻的状态估计协方差矩阵和状态转移矩阵进行更新,以获得T+2时刻的状态估计协方差矩阵和状态转移矩阵。在T为1时,即卡尔曼滤波器在目标时段内首次进行平滑处理时,状态估计协方差矩阵和状态转移矩阵可任意选择。
所述状态信息还包括所述目标视频的T+1时刻视频帧中的待遮挡物体对应的第一图像特征、以及所述目标视频的T时刻视频帧中的待遮挡物体对应的第二图像特征和所述第一图像特征之间的特征差异。
如上所述,在状态信息中引入第一图像特征、以及第一图像特征和第二图像特征之间的特征差异,也即引入目标跟踪算法所跟踪的图像特征信息,以在卡尔曼滤波处理过程中,进一步增强参考时刻的图像特征信息对卡尔曼滤波器所估计的目标时刻的特征信息的影响程度,降低待遮挡物体形变导致的跟踪框不稳定问题的出现概率,并对视频帧中背景变化导致的噪声干扰进行抑制,以降低相邻视频帧对应的不同遮挡框之间的位置偏移,保障目标视频播放过程中的画面连贯性,提升目标视频的播放效果。
可选的,所述根据卡尔曼滤波器对所述第一遮挡数据和所述第二遮挡数据进行处理,获得修正信息,包括:
获取参考遮挡数据,其中,所述参考遮挡数据基于所述目标视频包括的多个连续视频帧中的遮挡框位置确定,所述多个连续视频帧包括所述T时刻视频帧以及所述T+1时刻视频帧;
根据所述参考遮挡数据和所述第二遮挡数据,获取交并比参数,其中,所述交并比参数用于表征所述多个连续视频帧中的遮挡框和所述T+1时刻视频帧中的遮挡框之间的重叠度;
在所述交并比参数大于或等于重叠阈值的情况下,根据卡尔曼滤波器对所述第一遮挡数据和所述第二遮挡数据进行处理,获得修正信息。
其中,所述目标视频包括的多个连续视频帧可理解为目标时段内的多个连续视频帧,所述参考遮挡数据用于指示目标时段内的遮挡框位置。
在一些实施方式中,可利用目标时段内通过目标检测算法或目标检测模型确定的检测框位置指代多个连续视频帧中的遮挡框位置。
在一些实施方式中,也可对多个连续视频帧中的遮挡框位置进行均值计算,以获得参考遮挡数据。举例来说,若参考遮挡数据包括遮挡框中心点坐标(x,y)、框宽w以及框高h,多个连续视频帧包括视频帧A1、视频帧A2以及视频帧A3,其中,视频帧A1的遮挡框中心点坐标、框宽以及框高分别为{x1,y1,w1,h1},视频帧A2的遮挡框中心点坐标、框宽以及框高分别为{x2,y2,w2,h2},视频帧A3的遮挡框中心点坐标、框宽以及框高分别为{x3,y3,w3,h3},则参考遮挡数据包括的遮挡框中心点坐标、框宽以及框高为{(x1+x2+x3)/3,(y1+y2+y3)/3,(w1+w2+w3)/3,(h1+h2+h3)/3}。
通过计算所述交并比参数(Intersection over Union,IoU),以确定T+1时刻跟踪的图像特征是否符合目标跟踪算法预期跟踪的图像特征,其中,目标跟踪算法预期跟踪的图像特征通过参考遮挡数据进行指代,T+1时刻跟踪的图像特征通过第二遮挡数据进行指代。
交并比参数大于或等于重叠阈值可理解为:T+1时刻跟踪的图像特征符合目标跟踪算法预期跟踪的图像特征,后续可进行遮挡框位置的修正操作。
而交并比参数小于重叠阈值可理解为:T+1时刻跟踪的图像特征不符合目标跟踪算法预期跟踪的图像特征,后续将中断遮挡框位置的修正操作,并以前述参考遮挡数据指示的遮挡框位置作为该时刻的遮挡框位置,重新开始卡尔曼滤波处理。
如上,应用IoU判断的方式,避免误差较大的跟踪结果对卡尔曼滤波处理的干扰,保障修正信息的准确性。
示例性的,若设定目标视频包括连续的视频帧b1、视频帧b2、视频帧b3、视频帧b4、视频帧b5和视频帧b6;视频帧b1的遮挡数据基于目标检测算法或目标检测模型获得,视频帧b2-b6的遮挡数据基于目标跟踪算法获得,其中,视频帧b5未通过IoU判断,视频帧b2、视频帧b3、视频帧b4以及视频帧b6均通过了IoU判断,则在应用卡尔曼滤波器的过程中,视频帧b1-b4对应一次卡尔曼滤波过程,视频帧b5-b6对应另一次卡尔曼滤波过程,且视频帧b5-b6对应的另一次卡尔曼滤波过程是以视频帧b1的遮挡数据作为起始数据进行的。
可选的,所述获取参考遮挡数据,包括:
根据目标检测算法对所述目标视频进行处理,获取起始视频帧对应的第三遮挡数据和结束视频帧对应的第四遮挡数据,其中,所述起始视频帧为所述多个连续视频帧中的第一个视频帧,所述结束视频帧为所述多个连续视频帧中的最后一个视频帧;
对所述第三遮挡数据和所述第四遮挡数据进行均值处理,获得参考遮挡数据。
如上,针对目标时段来说,应用置信度更高的目标检测算法(相较于目标跟踪算法来说),对目标时段的第一个视频帧和最后一个视频帧进行目标检测,以分别获得第三遮挡数据和第四遮挡数据,并对第三遮挡数据和第四遮挡数据进行均值处理,以在将系统开销和处理耗时维持在较低水平的前提下,提升所获得参考遮挡数据的准确性,进而保障后续进行的IoU判断的准确性,提升遮挡框的修正效果。
其中,设置第三遮挡数据对应目标时段的第一个视频帧,第四遮挡数据对应目标时段的最后一个视频帧,以最大限度增加第三遮挡数据和第四遮挡数据之间的时间差,进一步提升所获得参考遮挡数据的准确性。
需要说明的是,实际应用中,对目标时段所进行抽帧处理的抽帧密度可以为1秒2帧、1秒3帧等,此时,参考遮挡数据可以通过1秒内所抽取的2个视频帧或3个视频帧帧对应的遮挡数据经由均值处理的方式确定。
可选的,所述根据所述修正信息对所述T+1时刻视频帧中的遮挡框位置进行修正,包括:
根据所述修正信息对所述T+1时刻视频帧中的遮挡框的中心点坐标、遮挡框宽度、遮挡框高度中的至少一项进行修正。
该实施例中,基于修正信息对T+1时刻视频帧中的遮挡框的中心点坐标、遮挡框宽度、遮挡框高度中的至少一项进行调整,以完成将T+1时刻视频帧中遮挡框由第二遮挡位置修正至第一遮挡位置的修正操作。
如图2所示,图2中最外围的实线方框可以为前述视频帧,图2中的虚线方框可以为前述遮挡框,图2中的点(x,y)可以为该遮挡框的中心点坐标,图2中的参数W可以为该遮挡框的遮挡框宽度,图2中的参数H可以为该遮挡框的遮挡框高度。
参见图3,图3是本申请实施例提供的一种遮挡框修正装置300的结构图。如图3所示,遮挡框修正装置300包括:
数据获取模块301,用于获取目标视频的第一遮挡数据和第二遮挡数据,其中,所述第一遮挡数据用于表征所述目标视频的T时刻视频帧中的遮挡框位置,所述第二遮挡数据用于表征所述目标视频的T+1时刻视频帧中的遮挡框位置,T为正整数;
平滑处理模块302,用于根据卡尔曼滤波器对所述第一遮挡数据和所述第二遮挡数据进行处理,获得修正信息;
位置修正模块303,用于根据所述修正信息对所述目标视频的T+1时刻视频帧中的遮挡框位置进行修正。
可选的,所述平滑处理模块302,包括;
信息确定子模块,用于根据所述第一遮挡数据和所述第二遮挡数据,确定状态信息,其中,所述状态信息包括所述目标视频的T+1时刻视频帧中的遮挡框位置、以及所述目标视频的T时刻视频帧中的遮挡框位置和所述目标视频的T+1时刻视频帧中的遮挡框位置之间的位置偏移;
平滑处理子模块,用于根据卡尔曼滤波器对所述状态信息进行平滑处理,获得修正信息。
可选的,所述平滑处理子模块,包括:
矩阵获取单元,用于获取所述目标视频的T+1时刻对应的目标状态转移矩阵和目标状态估计协方差矩阵;
先验估计单元,用于根据所述目标状态转移矩阵和所述状态信息进行先验估计,获得预测信息;
信息确定单元,用于根据所述预测信息和残差信息,获得修正信息,其中,所述残差信息根据所述目标视频的T+1时刻对应的卡尔曼增益信息获得,所述目标视频的T+1时刻对应的卡尔曼增益信息根据所述目标状态估计协方差矩阵获得。
可选的,所述状态信息还包括所述目标视频的T+1时刻视频帧中的待遮挡物体对应的第一图像特征、以及所述目标视频的T时刻视频帧中的待遮挡物体对应的第二图像特征和所述第一图像特征之间的特征差异。
可选的,所述平滑处理模块302,包括:
参考数据获取子模块,用于获取参考遮挡数据,其中,所述参考遮挡数据基于所述目标视频包括的多个连续视频帧中的遮挡框位置确定,所述多个连续视频帧包括所述T时刻视频帧以及所述T+1时刻视频帧;
参数计算子模块,用于根据所述参考遮挡数据和所述第二遮挡数据,获取交并比参数,其中,所述交并比参数用于表征所述多个连续视频帧中的遮挡框和所述目标视频的T+1时刻视频帧中的遮挡框之间的重叠度;
阈值判断子模块,用于在所述交并比参数大于或等于重叠阈值的情况下,根据卡尔曼滤波器对所述第一遮挡数据和所述第二遮挡数据进行处理,获得修正信息。
可选的,所述参考数据获取子模块,包括:
数据获取单元,用于根据目标检测算法对所述目标视频进行处理,获取起始视频帧对应的第三遮挡数据和结束视频帧对应的第四遮挡数据,其中,所述起始视频帧为所述多个连续视频帧中的第一个视频帧,所述结束视频帧为所述多个连续视频帧中的最后一个视频帧;
均值处理单元,用于对所述第三遮挡数据和所述第四遮挡数据进行均值处理,获得参考遮挡数据。
可选的,位置修正模块303具体用于:
根据所述修正信息对所述T+1时刻视频帧中的遮挡框的中心点坐标、遮挡框宽度、遮挡框高度中的至少一项进行修正。
本申请实施例提供的遮挡框修正装置300能够实现上述方法实施例中的各个过程,为避免重复,这里不再赘述。
请参见图4,图4是本申请实施例提供的一种电子设备的结构示意图,如图4所示,电子设备包括:可以包括处理器401、存储器402及存储在存储器402上并可在处理器401上运行的程序4021。
程序4021被处理器401执行时可实现图1对应的方法实施例中的任意步骤及达到相同的有益效果,此处不再赘述。
本领域普通技术人员可以理解实现上述实施例方法的全部或者部分步骤是可以通过程序指令相关的硬件来完成,所述的程序可以存储于一可读取介质中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时可实现上述图1对应的方法实施例中的任意步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
本申请实施例的计算机可读存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
以上所述是本申请实施例的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种遮挡框修正方法,其特征在于,所述方法包括:
获取目标视频的第一遮挡数据和第二遮挡数据,其中,所述第一遮挡数据用于表征所述目标视频的T时刻视频帧中的遮挡框位置,所述第二遮挡数据用于表征所述目标视频的T+1时刻视频帧中的遮挡框位置,T为正整数;
根据卡尔曼滤波器对所述第一遮挡数据和所述第二遮挡数据进行处理,获得修正信息;
根据所述修正信息对所述T+1时刻视频帧中的遮挡框位置进行修正。
2.根据权利要求1所述的方法,其特征在于,所述根据卡尔曼滤波器对所述第一遮挡数据和所述第二遮挡数据进行处理,获得修正信息,包括:
根据所述第一遮挡数据和所述第二遮挡数据,确定状态信息,其中,所述状态信息包括所述目标视频的T+1时刻视频帧中的遮挡框位置、以及所述目标视频的T时刻视频帧中的遮挡框位置和所述目标视频的T+1时刻视频帧中的遮挡框位置之间的位置偏移;
根据卡尔曼滤波器对所述状态信息进行平滑处理,获得修正信息。
3.根据权利要求2所述的方法,其特征在于,所述根据卡尔曼滤波器对所述状态信息进行平滑处理,获得修正信息,包括:
获取所述目标视频的T+1时刻对应的目标状态转移矩阵和目标状态估计协方差矩阵;
根据所述目标状态转移矩阵和所述状态信息进行先验估计,获得预测信息;
根据所述预测信息和残差信息,获得修正信息,其中,所述残差信息根据所述目标视频的T+1时刻对应的卡尔曼增益信息获得,所述目标视频的T+1时刻对应的卡尔曼增益信息根据所述目标状态估计协方差矩阵获得。
4.根据权利要求2所述的方法,其特征在于,所述状态信息还包括所述目标视频的T+1时刻视频帧中的待遮挡物体对应的第一图像特征、以及所述目标视频的T时刻视频帧中的待遮挡物体对应的第二图像特征和所述第一图像特征之间的特征差异。
5.根据权利要求1所述的方法,其特征在于,所述根据卡尔曼滤波器对所述第一遮挡数据和所述第二遮挡数据进行处理,获得修正信息,包括:
获取参考遮挡数据,其中,所述参考遮挡数据基于所述目标视频包括的多个连续视频帧中的遮挡框位置确定,所述多个连续视频帧包括所述T时刻视频帧以及所述T+1时刻视频帧;
根据所述参考遮挡数据和所述第二遮挡数据,获取交并比参数,其中,所述交并比参数用于表征所述多个连续视频帧中的遮挡框和所述T+1时刻视频帧中的遮挡框之间的重叠度;
在所述交并比参数大于或等于重叠阈值的情况下,根据卡尔曼滤波器对所述第一遮挡数据和所述第二遮挡数据进行处理,获得修正信息。
6.根据权利要求5所述的方法,其特征在于,所述获取参考遮挡数据,包括:
根据目标检测算法对所述目标视频进行处理,获取起始视频帧对应的第三遮挡数据和结束视频帧对应的第四遮挡数据,其中,所述起始视频帧为所述多个连续视频帧中的第一个视频帧,所述结束视频帧为所述多个连续视频帧中的最后一个视频帧;
对所述第三遮挡数据和所述第四遮挡数据进行均值处理,获得参考遮挡数据。
7.根据权利要求1所述的方法,其特征在于,所述根据所述修正信息对所述T+1时刻视频帧中的遮挡框位置进行修正,包括:
根据所述修正信息对所述T+1时刻视频帧中的遮挡框的中心点坐标、遮挡框宽度、遮挡框高度中的至少一项进行修正。
8.一种遮挡框修正装置,其特征在于,包括:
数据获取模块,用于获取目标视频的第一遮挡数据和第二遮挡数据,其中,所述第一遮挡数据用于表征所述目标视频的T时刻视频帧中的遮挡框位置,所述第二遮挡数据用于表征所述目标视频的T+1时刻视频帧中的遮挡框位置,T为正整数;
平滑处理模块,用于根据卡尔曼滤波器对所述第一遮挡数据和所述第二遮挡数据进行处理,获得修正信息;
位置修正模块,用于根据所述修正信息对所述目标视频的T+1时刻视频帧中的遮挡框位置进行修正。
9.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的遮挡框修正方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的遮挡框修正方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211607199.5A CN115984151A (zh) | 2022-12-14 | 2022-12-14 | 一种遮挡框修正方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211607199.5A CN115984151A (zh) | 2022-12-14 | 2022-12-14 | 一种遮挡框修正方法、装置、电子设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115984151A true CN115984151A (zh) | 2023-04-18 |
Family
ID=85967325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211607199.5A Pending CN115984151A (zh) | 2022-12-14 | 2022-12-14 | 一种遮挡框修正方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115984151A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116363631A (zh) * | 2023-05-19 | 2023-06-30 | 小米汽车科技有限公司 | 三维目标检测方法、装置及车辆 |
-
2022
- 2022-12-14 CN CN202211607199.5A patent/CN115984151A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116363631A (zh) * | 2023-05-19 | 2023-06-30 | 小米汽车科技有限公司 | 三维目标检测方法、装置及车辆 |
CN116363631B (zh) * | 2023-05-19 | 2023-09-05 | 小米汽车科技有限公司 | 三维目标检测方法、装置及车辆 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114584849B (zh) | 视频质量评估方法、装置、电子设备及计算机存储介质 | |
US10169655B2 (en) | Detection of logos in a sequence of video frames | |
CN109583391B (zh) | 关键点检测方法、装置、设备及可读介质 | |
EP2180695B1 (en) | Apparatus and method for improving frame rate using motion trajectory | |
CN113691733B (zh) | 视频抖动检测方法、装置、电子设备和存储介质 | |
US20130236095A1 (en) | Image processing device, image processing method, and program | |
CN115984151A (zh) | 一种遮挡框修正方法、装置、电子设备及可读存储介质 | |
US20220383637A1 (en) | Live streaming sampling method and apparatus, and electronic device | |
CN111385639A (zh) | 视频特效的添加方法、装置、设备及存储介质 | |
US8787462B2 (en) | Video signal processing apparatus and video signal processing method | |
CN115131392B (zh) | 基于天基光学观测图像的空间运动目标检测跟踪方法 | |
CN111784750A (zh) | 视频图像中移动物体追踪方法、装置、设备以及存储介质 | |
KR20200080190A (ko) | 영상에서의 객체 제거 방법 및 그 장치 | |
CN113438386B (zh) | 一种应用于视频处理的动静判定方法及装置 | |
CN113014745B (zh) | 视频图像降噪方法及装置、存储介质及电子设备 | |
CN114092884A (zh) | 摄像机镜头移位检测方法、装置、电子设备及存储介质 | |
CN111212198B (zh) | 一种视频去噪的方法和设备 | |
JP4289170B2 (ja) | ノイズ量測定装置および映像受像機 | |
US11201989B2 (en) | Processing of impulse noise in a video sequence | |
JP2014112790A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
CN108769525B (zh) | 一种图像调整方法、装置、设备及存储介质 | |
WO2019186833A1 (ja) | 画像処理装置、画像処理方法、及び、コンピュータ読み取り可能な記録媒体 | |
CN113989694B (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
KR100608048B1 (ko) | 움직임 벡터 오류 정정 방법 및 그 장치와 이를 구현하기위한 프로그램이 기록된 기록 매체 | |
CN111541854B (zh) | 运动矢量拟合、帧率转换方法及装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |