CN111627041A - 多帧数据的处理方法、装置及电子设备 - Google Patents

多帧数据的处理方法、装置及电子设备 Download PDF

Info

Publication number
CN111627041A
CN111627041A CN202010295026.9A CN202010295026A CN111627041A CN 111627041 A CN111627041 A CN 111627041A CN 202010295026 A CN202010295026 A CN 202010295026A CN 111627041 A CN111627041 A CN 111627041A
Authority
CN
China
Prior art keywords
frame
target object
frame pictures
identification
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010295026.9A
Other languages
English (en)
Other versions
CN111627041B (zh
Inventor
孙培钦
黄业昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN202010295026.9A priority Critical patent/CN111627041B/zh
Publication of CN111627041A publication Critical patent/CN111627041A/zh
Application granted granted Critical
Publication of CN111627041B publication Critical patent/CN111627041B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种多帧数据的处理方法、装置及电子设备,其中,方法包括:获取视频流中的多个帧图片的光流信息和多个帧图片分别对应的标识区域;其中,标识区域为包含目标对象的区域;基于各个帧图片分别对应的标识区域和多个帧图片的光流信息,将多个帧图片中同一目标对象的标识区域重映射至同一位置;对重映射后的多帧图片进行目标对象的标识区域的批量裁剪操作。这种方式能够提升多帧数据的处理效率,进而提高ppl的整体运行速度。

Description

多帧数据的处理方法、装置及电子设备
技术领域
本申请涉及图像处理技术领域,尤其是涉及一种多帧数据的处理方法、装置及电子设备。
背景技术
目前ppl(pipeline,流水线,这里指的是从数据流输入到最后输出之间的整套流程)级别的多帧融合通常采用以下方式:第一步,结合检测模型生成的目标识别框,分别在不同帧图片上剪裁出对应的图像块,然后将这些图像块堆叠在一起。第二步,将不同帧图片中同一目标对象的图像块送入识别或属性模型中获取多个结果,然后对这多个结果做投票。这种方式涉及到对多帧目标识别框进行多次抠图从而引起内存的多次搬运,影响多帧数据的处理效率,进而影响ppl的整体运行速度。
发明内容
有鉴于此,本申请的目的在于提供一种多帧数据的处理方法、装置及电子设备,能够提升多帧数据的处理效率,进而提高ppl的整体运行速度。
为了实现上述目的,本申请实施例采用的技术方案如下:
第一方面,本申请实施例提供了一种多帧数据的处理方法,该方法应用于服务器,方法包括:获取视频流中的多个帧图片的光流信息和多个帧图片分别对应的标识区域;其中,标识区域为包含目标对象的区域;基于各个帧图片分别对应的标识区域和多个帧图片的光流信息,将多个帧图片中同一目标对象的标识区域重映射至同一位置;对重映射后的多帧图片进行目标对象的标识区域的批量裁剪操作。
进一步,上述获取多个帧图片分别对应的标识区域的步骤,包括:利用预设的目标对象检测模型对多个帧图片进行目标对象检测,得到多个帧图片分别对应的目标对象的标识区域;其中,目标对象检测模型包括目标对象轮廓定位模型、目标对象特征点识别模型或目标对象检测模型;目标对象的标识区域包括:目标对象轮廓线、目标对象轮廓特征点或目标对象检测框所圈定的区域。
进一步,上述基于各个帧图片分别对应的标识区域和多个帧图片的光流信息,将多个帧图片中同一目标对象的标识区域重映射至同一位置的步骤,包括:对各个帧图片分别对应的标识区域进行目标对象识别,确定多个帧图片中同一目标对象对应的标识区域;针对每个目标对象对应的标识区域,均执行以下步骤:将多个帧图片进行两两分组;基于每组帧图片的光流信息,确定每组帧图片中目标对象的标识区域间的映射矩阵;基于各组帧图片分别对应的映射矩阵,利用预设的重映射函数,将多个帧图片进行重映射,以使多个帧图片的目标对象对齐至同一位置。
进一步,上述将多个帧图片进行两两分组的步骤,包括:以相邻的两个帧图片作为一组帧图片;或者,以任一个帧图片为参考帧,将除了参考帧外的每个帧图片作为当前帧;将参考帧与当前帧作为一组帧图片。
进一步,上述在基于各个帧图片分别对应的标识区域和多个帧图片的光流信息,将多个帧图片中同一目标对象的标识区域重映射至同一位置的步骤之前,还包括:如果多个帧图片分别对应的标识区域的大小不一致,对多个帧图片对应的标识区域进行仿射变换,以使多个帧图片对应的标识区域大小一致。
进一步,上述对重映射后的多帧图片进行目标对象的标识区域的批量裁剪操作的步骤之后,还包括:将批量裁剪后得到的多个图像块进行多帧融合;将多帧融合后的数据输入预设的批量处理模型中,得到输出结果。
进一步,上述将批量裁剪后得到的多个图像块进行多帧融合的步骤,包括:将批量裁剪后得到的各个图像块分别对应的三维矩阵,合并成一个四维矩阵,以四维矩阵作为多帧融合后的数据。
进一步,上述批量处理模型包括:识别模型或属性模型。
第二方面,本申请实施例还提供一种多帧数据的处理装置,该装置应用于服务器,装置包括:数据获取模块,用于获取视频流中的多个帧图片的光流信息和多个帧图片分别对应的标识区域;其中,标识区域为包含目标对象的区域;图片重映射模块,用于基于各个帧图片分别对应的标识区域和多个帧图片的光流信息,将多个帧图片中同一目标对象的标识区域重映射至同一位置;批量裁剪模块,用于对重映射后的多帧图片进行目标对象的标识区域的批量裁剪操作。
第三方面,本申请实施例还提供一种电子设备,包括:处理器、存储介质和总线,存储介质存储有处理器可执行的机器可读指令,当电子设备运行时,处理器与存储介质之间通过总线通信,处理器执行机器可读指令,以执行如第一方面所述的方法的步骤。
第四方面,本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器运行时执行上述第一方面所述的方法的步骤。
本申请实施例提供的多帧数据的处理方法、装置及电子设备,首先获取视频流中的多个帧图片的光流信息和多个帧图片分别对应的标识区域;其中,标识区域为包含目标对象的区域;然后基于各个帧图片分别对应的标识区域和多个帧图片的光流信息,将多个帧图片中同一目标对象的标识区域重映射至同一位置;最后对重映射后的多帧图片进行目标对象的标识区域的批量裁剪操作。这种方式能够提升多帧数据的处理效率,进而提高ppl的整体运行速度。
本公开的其他特征和优点将在随后的说明书中阐述,或者,部分特征和优点可以从说明书推知或毫无疑义地确定,或者通过实施本公开的上述技术即可得知。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请实施例所提供的一种电子设备的结构示意图;
图2示出了本申请实施例所提供的一种多帧数据的处理方法流程图;
图3示出了本申请实施例所提供的一种多帧数据的装置的结构框图;
图4示出了本申请实施例所提供的另一种多帧数据的装置的结构框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
考虑到现有的ppl涉及到对多帧目标识别框进行多次抠图,从而引起内存的多次搬运,影响多帧数据的处理效率。为改善此问题,本申请实施例提供了一种多帧数据的处理方法、装置及电子设备,为便于理解,以下对本申请实施例进行详细介绍。
首先,参照图1来描述用于实现本申请实施例的多帧数据的处理方法、装置的示例电子设备。
如图1所示的一种电子设备的结构示意图,该电子设备包括处理器11和存储器10,该存储器10存储有能够被该处理器11执行的计算机可执行指令,该处理器11执行该计算机可执行指令以实现本申请中实施例提供的方法。
在图1示出的实施方式中,该电子设备还包括总线12和通信接口13,其中,处理器11、通信接口13和存储器10通过总线12连接。
其中,存储器10可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口13(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。总线12可以是ISA(IndustryStandard Architecture,工业标准体系结构)总线、PCI(Peripheral ComponentInterconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线12可以分为地址总线、数据总线、控制总线等。为便于表示,图1中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
处理器11可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器11中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器11可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessor,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器11读取存储器中的信息,结合其硬件完成以下实施例的方法的步骤。
示例性地,用于实现根据本申请实施例的一种多帧数据的处理方法、装置的示例电子设备可以被实现为诸如监控设备、智能手机、平板电脑、计算机等智能终端上。
参照图2所示的一种多帧数据的处理方法的流程图,该方法应用于服务器,该多帧数据的处理方法包括以下几个步骤:
步骤S202,获取视频流中的多个帧图片的光流信息和多个帧图片分别对应的标识区域;其中,标识区域为包含目标对象的区域。
光流是空间运动物体在观察成像平面上的像素运动的瞬时速度,是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系,从而计算出相邻帧之间物体的运动信息的一种方法。在时间间隔很小,比如视频的连续前后两帧之间,光流也等同于目标点的位移。
本申请实施例中,首先获取一段视频流中的多个帧图片,这里的帧图片通常来说是连续的几帧,通过一些方法可以计算出多个帧图片的光流信息,比如:基于梯度(微分)的方法、基于匹配的方法、基于能量(频率)的方法、基于相位的方法和神经动力学方法。
在获取到视频流中的多个帧图片的光流信息的同时,还会获取多个帧图片分别对应的标识区域,该标识区域是包含目标对象的区域,也就是通过目标对象检测,确定出的每个帧图片中包含的目标对象的标识区域。目标对象可以是人,也可以是物,比如车辆、动物等。标识区域可以是矩形检测框圈定的图像区域,也可以是目标对象轮廓线或者轮廓特征点圈定的图像区域。在同一帧图片中,可能有一个或多个标识区域。
步骤S204,基于各个帧图片分别对应的标识区域和多个帧图片的光流信息,将多个帧图片中同一目标对象的标识区域重映射至同一位置。
该步骤中,首先要基于多个帧图片分别对应的标识区域中,确定出各个帧图片中的哪个标识区域为同一目标对象的标识区域。然后基于该目标对象的标识区域和多个帧图片的光流信息,确定出两两标识区域间的映射矩阵,将多个映射矩阵输入到预设的重映射函数中,就可以实现将多个帧图片中,该目标对象的标识区域对齐到同一位置。如果多个帧图片中有多个目标对象,通过上述过程可以将各个目标对象在多帧上的标识区域对齐到同一位置。
步骤S206,对重映射后的多帧图片进行目标对象的标识区域的批量裁剪操作。
在将多个帧图片中同一目标对象的标识区域重映射至同一位置后,进一步针对目标对象的标识区域进行批量裁剪操作,如crop操作。
本申请实施例提供的多帧数据的处理方法中,首先获取视频流中的多个帧图片的光流信息和多个帧图片分别对应的标识区域;其中,标识区域为包含目标对象的区域;然后基于各个帧图片分别对应的标识区域和多个帧图片的光流信息,将多个帧图片中同一目标对象的标识区域重映射至同一位置;最后对重映射后的多帧图片进行目标对象的标识区域的批量裁剪操作。这种方式省去了对多帧目标识别框进行多次抠图的步骤,能够提升多帧数据的处理效率,进而提高ppl的整体运行速度。
在本申请实施例中,上述获取多个帧图片分别对应的标识区域的过程可以通过以下方式实现:
利用预设的目标对象检测模型对多个帧图片进行目标对象检测,得到多个帧图片分别对应的目标对象的标识区域;其中,目标对象检测模型包括目标对象轮廓定位模型、目标对象特征点识别模型或目标对象检测模型;目标对象的标识区域包括:目标对象轮廓线、目标对象轮廓特征点或目标对象检测框(如head bbox)所圈定的区域。
在一种优选的实施方式中,如果多个帧图片分别对应的标识区域的大小不一致,可以对多个帧图片对应的标识区域进行仿射变换,比如,旋转、倾斜、平移或缩放,以使多个帧图片对应的标识区域大小一致。
下面详细说明一下基于各个帧图片分别对应的标识区域和多个帧图片的光流信息,将多个帧图片中同一目标对象的标识区域重映射至同一位置的过程:
(1)对各个帧图片分别对应的标识区域进行目标对象识别,确定多个帧图片中同一目标对象对应的标识区域。
在检测出各个帧图片分别对应的标识区域后,再进一步进行目标对象识别,具体的,可以通过目标对象识别模型来实现,基于各个目标对象的识别特征可以判断出多个帧图片中同一目标对象对应的标识区域。
(2)针对每个目标对象对应的标识区域,均执行以下步骤:
A:将多个帧图片进行两两分组。
比如,以相邻的两个帧图片作为一组帧图片;或者,以任一个帧图片为参考帧,将除了参考帧外的每个帧图片作为当前帧;将参考帧与当前帧作为一组帧图片。当然,后者分组方式通常只用于帧数较少的帧图片。
B:基于每组帧图片的光流信息,确定每组帧图片中目标对象的标识区域间的映射矩阵。
也就是两两相邻帧图片中目标对象的标识区域间的映射矩阵,或者每个当前帧与参考帧中目标对象的标识区域间的映射矩阵。这里的映射矩阵实质为坐标对应矩阵。
C:基于各组帧图片分别对应的映射矩阵,利用预设的重映射函数,将多个帧图片进行重映射,以使多个帧图片的目标对象对齐至同一位置。
将各组帧图片分别对应的映射矩阵输入到预设的重映射函数中,就可以实现多个帧图片的目标对象对齐至同一位置。
在一种优选实施方式中,上述对重映射后的多帧图片进行目标对象的标识区域的批量裁剪操作的步骤之后,还包括以下步骤:
(1)将批量裁剪后得到的多个图像块进行多帧融合。
如:将批量裁剪后得到的各个图像块分别对应的三维矩阵,合并成一个四维矩阵,以四维矩阵作为多帧融合后的数据。其中,四维矩阵的四个维度分别为:图片长度、图片宽度、图片的3个通道和图片的数量。
(2)将多帧融合后的数据输入预设的批量处理模型中,得到输出结果。
这里的批量处理模型可以为识别模型或属性模型。
现有技术一般都涉及到对多帧bbox进行多次抠图从而引起DDR内存的多次搬运,以及模型的多次读入和多次调用。而本申请中,从crop函数进行裁剪操作开始到最后模型输出,整个ppl都可以批量化。因为目标对象的标识区域在同一个crop区域,所以等价于对一个批帧图片作一次裁剪,大大提高的多帧数据的处理效率,减少DDR的搬运次数和模型的调用次数,提高效率;提升ppl整体的运行速度。
以识别为例,可以批量化postfilter(后置过滤),landmarks(人脸特征点识别),align5p(人脸的5个关键点识别)等步骤及识别模型。而且由于进行了批处理,所以本质就是多帧融合,这样得到的识别结果更具可信度。比如,多帧图片对应的目标对象为人脸,同一人脸对应的多个标识区域中有正脸和侧脸,当利用多帧融合后的数据输入到识别模型后,输出的结果中必定有效果较好的正脸识别结果。
因此,本申请实施例提供的多帧融合方式,可以充分有效地利用视频的多帧信息,提高模型输出结果的置信度。
基于上述方法实施例,本申请实施例还提供一种多帧数据的处理装置,该装置应用于服务器,参见图3所示,该装置包括:
数据获取模块32,用于获取视频流中的多个帧图片的光流信息和多个帧图片分别对应的标识区域;其中,标识区域为包含目标对象的区域;
图片重映射模块34,用于基于各个帧图片分别对应的标识区域和多个帧图片的光流信息,将多个帧图片中同一目标对象的标识区域重映射至同一位置;
批量裁剪模块36,用于对重映射后的多帧图片进行目标对象的标识区域的批量裁剪操作。
参见图4所示,在另一种实施方式中,多帧数据的处理装置除了包括与上一实施例中类似的数据获取模块402、图片重映射模块404和批量裁剪模块406外,还包括:区域变换模块408和多帧融合模块410。
其中,上述区域变换模块408,用于如果多个帧图片分别对应的标识区域的大小不一致,对多个帧图片对应的标识区域进行仿射变换,以使多个帧图片对应的标识区域大小一致。
上述多帧融合模块410,用于:将批量裁剪后得到的多个图像块进行多帧融合;将多帧融合后的数据输入预设的批量处理模型中,得到输出结果。
在一种实施方式中,上述将批量裁剪后得到的多个图像块进行多帧融合的步骤,包括:将批量裁剪后得到的各个图像块分别对应的三维矩阵,合并成一个四维矩阵,以四维矩阵作为多帧融合后的数据。
在一种实施方式中,上述批量处理模型包括:识别模型或属性模型。
在一种实施方式中,上述数据获取模块402,还包括对象检测模块4022,用于:利用预设的目标对象检测模型对多个帧图片进行目标对象检测,得到多个帧图片分别对应的目标对象的标识区域;其中,目标对象检测模型包括目标对象轮廓定位模型、目标对象特征点识别模型或目标对象检测模型;目标对象的标识区域包括:目标对象轮廓线、目标对象轮廓特征点或目标对象检测框所圈定的区域。
在一种实施方式中,上述图片重映射模块404,还包括:对象识别模块4042用于:对各个帧图片分别对应的标识区域进行目标对象识别,确定多个帧图片中同一目标对象对应的标识区域;重映射子模块4044,用于针对每个目标对象对应的标识区域,均执行以下步骤:将多个帧图片进行两两分组;基于每组帧图片的光流信息,确定每组帧图片中目标对象的标识区域间的映射矩阵;基于各组帧图片分别对应的映射矩阵,利用预设的重映射函数,将多个帧图片进行重映射,以使多个帧图片的目标对象对齐至同一位置。
在一种实施方式中,上述图片重映射模块404,还用于:以相邻的两个帧图片作为一组帧图片;或者,以任一个帧图片为参考帧,将除了参考帧外的每个帧图片作为当前帧;将参考帧与当前帧作为一组帧图片。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理设备运行时执行上述方法实施例提供的方法的步骤。
本申请实施例所提供的一种多帧数据的处理方法、装置的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种多帧数据的处理方法,其特征在于,所述方法应用于服务器,所述方法包括:
获取视频流中的多个帧图片的光流信息和多个所述帧图片分别对应的标识区域;其中,所述标识区域为包含目标对象的区域;
基于各个所述帧图片分别对应的标识区域和多个所述帧图片的光流信息,将多个所述帧图片中同一目标对象的标识区域重映射至同一位置;
对重映射后的多帧图片进行所述目标对象的标识区域的批量裁剪操作。
2.根据权利要求1所述的方法,其特征在于,获取多个所述帧图片分别对应的标识区域的步骤,包括:
利用预设的目标对象检测模型对多个所述帧图片进行目标对象检测,得到多个所述帧图片分别对应的目标对象的标识区域;
其中,所述目标对象检测模型包括目标对象轮廓定位模型、目标对象特征点识别模型或目标对象检测模型;所述目标对象的标识区域包括:目标对象轮廓线、目标对象轮廓特征点或目标对象检测框所圈定的区域。
3.根据权利要求1所述的方法,其特征在于,基于各个所述帧图片分别对应的标识区域和多个所述帧图片的光流信息,将多个所述帧图片中同一目标对象的标识区域重映射至同一位置的步骤,包括:
对各个所述帧图片分别对应的标识区域进行目标对象识别,确定多个所述帧图片中同一目标对象对应的标识区域;
针对每个目标对象对应的标识区域,均执行以下步骤:
将多个所述帧图片进行两两分组;
基于每组帧图片的光流信息,确定每组帧图片中所述目标对象的标识区域间的映射矩阵;
基于各组帧图片分别对应的映射矩阵,利用预设的重映射函数,将多个所述帧图片进行重映射,以使多个所述帧图片的所述目标对象对齐至同一位置。
4.根据权利要求3所述的方法,其特征在于,将多个所述帧图片进行两两分组的步骤,包括:
以相邻的两个帧图片作为一组帧图片;
或者,
以任一个帧图片为参考帧,将除了所述参考帧外的每个帧图片作为当前帧;将所述参考帧与所述当前帧作为一组帧图片。
5.根据权利要求1所述的方法,其特征在于,在基于各个所述帧图片分别对应的标识区域和多个所述帧图片的光流信息,将多个所述帧图片中同一目标对象的标识区域重映射至同一位置的步骤之前,还包括:
如果多个所述帧图片分别对应的标识区域的大小不一致,对多个所述帧图片对应的标识区域进行仿射变换,以使多个所述帧图片对应的标识区域大小一致。
6.根据权利要求1所述的方法,其特征在于,对重映射后的多帧图片进行所述目标对象的标识区域的批量裁剪操作的步骤之后,还包括:
将批量裁剪后得到的多个图像块进行多帧融合;
将多帧融合后的数据输入预设的批量处理模型中,得到输出结果。
7.根据权利要求6所述的方法,其特征在于,将批量裁剪后得到的多个图像块进行多帧融合的步骤,包括:
将批量裁剪后得到的各个图像块分别对应的三维矩阵,合并成一个四维矩阵,以所述四维矩阵作为多帧融合后的数据。
8.根据权利要求6所述的方法,其特征在于,所述批量处理模型包括:识别模型或属性模型。
9.一种多帧数据的处理装置,其特征在于,所述装置应用于服务器,所述装置包括:
数据获取模块,用于获取视频流中的多个帧图片的光流信息和多个所述帧图片分别对应的标识区域;其中,所述标识区域为包含目标对象的区域;
图片重映射模块,用于基于各个所述帧图片分别对应的标识区域和多个所述帧图片的光流信息,将多个所述帧图片中同一目标对象的标识区域重映射至同一位置;
批量裁剪模块,用于对重映射后的多帧图片进行所述目标对象的标识区域的批量裁剪操作。
10.一种电子设备,其特征在于,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如权利要求1至8任一项所述方法的步骤。
11.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行上述权利要求1至8任一项所述的方法的步骤。
CN202010295026.9A 2020-04-15 2020-04-15 多帧数据的处理方法、装置及电子设备 Active CN111627041B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010295026.9A CN111627041B (zh) 2020-04-15 2020-04-15 多帧数据的处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010295026.9A CN111627041B (zh) 2020-04-15 2020-04-15 多帧数据的处理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN111627041A true CN111627041A (zh) 2020-09-04
CN111627041B CN111627041B (zh) 2023-10-10

Family

ID=72258859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010295026.9A Active CN111627041B (zh) 2020-04-15 2020-04-15 多帧数据的处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN111627041B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269790A (zh) * 2021-03-26 2021-08-17 北京达佳互联信息技术有限公司 视频裁剪方法、装置、电子设备、服务器及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1418766A2 (en) * 1998-08-28 2004-05-12 Imax Corporation Method and apparatus for processing images
US6973130B1 (en) * 2000-04-25 2005-12-06 Wee Susie J Compressed video signal including information for independently coded regions
US20140334668A1 (en) * 2013-05-10 2014-11-13 Palo Alto Research Center Incorporated System and method for visual motion based object segmentation and tracking
CN105898159A (zh) * 2016-05-31 2016-08-24 努比亚技术有限公司 一种图像处理方法及终端
CN108288035A (zh) * 2018-01-11 2018-07-17 华南理工大学 基于深度学习的多通道图像特征融合的人体动作识别方法
CN108898567A (zh) * 2018-09-20 2018-11-27 北京旷视科技有限公司 图像降噪方法、装置及系统
CN109242811A (zh) * 2018-08-16 2019-01-18 广州视源电子科技股份有限公司 一种图像对齐方法及其装置、计算机可读存储介质和计算机设备
CN109960452A (zh) * 2017-12-26 2019-07-02 腾讯科技(深圳)有限公司 图像处理方法及其装置、存储介质
CN110647853A (zh) * 2019-09-27 2020-01-03 支付宝(杭州)信息技术有限公司 计算机执行的车辆定损方法及装置
CN110751646A (zh) * 2019-10-28 2020-02-04 支付宝(杭州)信息技术有限公司 利用车辆视频中的多个图像帧进行损伤识别的方法及装置
US20200074222A1 (en) * 2018-08-31 2020-03-05 Alibaba Group Holding Limited System and method for performing image processing based on a damage assessment image judgement model

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1418766A2 (en) * 1998-08-28 2004-05-12 Imax Corporation Method and apparatus for processing images
US6973130B1 (en) * 2000-04-25 2005-12-06 Wee Susie J Compressed video signal including information for independently coded regions
US20140334668A1 (en) * 2013-05-10 2014-11-13 Palo Alto Research Center Incorporated System and method for visual motion based object segmentation and tracking
CN105898159A (zh) * 2016-05-31 2016-08-24 努比亚技术有限公司 一种图像处理方法及终端
CN109960452A (zh) * 2017-12-26 2019-07-02 腾讯科技(深圳)有限公司 图像处理方法及其装置、存储介质
CN108288035A (zh) * 2018-01-11 2018-07-17 华南理工大学 基于深度学习的多通道图像特征融合的人体动作识别方法
CN109242811A (zh) * 2018-08-16 2019-01-18 广州视源电子科技股份有限公司 一种图像对齐方法及其装置、计算机可读存储介质和计算机设备
US20200074222A1 (en) * 2018-08-31 2020-03-05 Alibaba Group Holding Limited System and method for performing image processing based on a damage assessment image judgement model
CN108898567A (zh) * 2018-09-20 2018-11-27 北京旷视科技有限公司 图像降噪方法、装置及系统
CN110647853A (zh) * 2019-09-27 2020-01-03 支付宝(杭州)信息技术有限公司 计算机执行的车辆定损方法及装置
CN110751646A (zh) * 2019-10-28 2020-02-04 支付宝(杭州)信息技术有限公司 利用车辆视频中的多个图像帧进行损伤识别的方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269790A (zh) * 2021-03-26 2021-08-17 北京达佳互联信息技术有限公司 视频裁剪方法、装置、电子设备、服务器及存储介质

Also Published As

Publication number Publication date
CN111627041B (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
CN110991310B (zh) 人像检测方法、装置、电子设备及计算机可读介质
CN111680690B (zh) 一种文字识别方法及装置
CN111160232B (zh) 正面人脸重建方法、装置及系统
CN112446363A (zh) 一种基于视频抽帧的图像拼接与去重方法及装置
WO2018058530A1 (zh) 目标检测方法、装置以及图像处理设备
CN113496208B (zh) 视频的场景分类方法及装置、存储介质、终端
CN112489063A (zh) 图像分割方法、图像分割模型的训练方法和装置
CN111428122A (zh) 图片检索方法、装置及电子设备
CN112149592A (zh) 图像处理方法、装置以及计算机设备
CN110298302B (zh) 一种人体目标检测方法及相关设备
CN111627041A (zh) 多帧数据的处理方法、装置及电子设备
CN112581481B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN112330618B (zh) 图像偏移检测方法、设备及存储介质
CN111932462B (zh) 图像降质模型的训练方法、装置和电子设备、存储介质
CN111539975B (zh) 一种运动目标的检测方法、装置、设备及存储介质
CN116452426B (zh) 一种全景图拼接方法及装置
CN112837384A (zh) 车辆标记方法、装置和电子设备
CN112396067A (zh) 点云数据采样方法、装置及电子设备
CN112183148A (zh) 一种批量条码定位方法及识别系统
CN111833285A (zh) 图像处理方法、图像处理装置及终端设备
CN111383255B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
WO2023160061A1 (zh) 图像中运动对象的确定方法、装置、电子设备和存储介质
CN111160340A (zh) 一种运动目标检测方法、装置、存储介质及终端设备
CN111950501B (zh) 障碍物检测方法、装置以及电子设备
CN113657370B (zh) 一种文字识别方法及其相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant