CN113469200A - 数据处理方法和系统、存储介质、计算设备 - Google Patents

数据处理方法和系统、存储介质、计算设备 Download PDF

Info

Publication number
CN113469200A
CN113469200A CN202010237158.6A CN202010237158A CN113469200A CN 113469200 A CN113469200 A CN 113469200A CN 202010237158 A CN202010237158 A CN 202010237158A CN 113469200 A CN113469200 A CN 113469200A
Authority
CN
China
Prior art keywords
target
video data
image sequence
processing
original video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010237158.6A
Other languages
English (en)
Inventor
杨喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202010237158.6A priority Critical patent/CN113469200A/zh
Priority to PCT/US2021/022509 priority patent/WO2021202096A1/en
Priority to US17/202,751 priority patent/US11894021B2/en
Publication of CN113469200A publication Critical patent/CN113469200A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种数据处理方法和系统、存储介质、计算设备。其中，该方法包括：获取原始视频数据，和目标对象的对象信息；基于目标对象的对象信息对原始视频数据进行处理，得到目标对象的目标图像序列；对原始视频数据进行处理，得到背景图像，其中，背景图像为原始视频数据中未包含检测对象的图像；将目标图像序列和背景图像进行合成，得到目标视频数据。本申请解决了相关技术中视频数据存储量大，冗余信息较大，导致无法快速识别出目标对象的技术问题。

Description

数据处理方法和系统、存储介质、计算设备
技术领域
本申请涉及视频数据领域，具体而言，涉及一种数据处理方法和系统、存储介质、计算设备。
背景技术
目前，监控摄像头每天都会生成大量的视频数据，而为了实现对历史信息的记录与查看，通常需要将视频数据存储下来。但是，存储全天长段视频的方案存在如下缺点：全天视频数据文件大，占用存储空间多，导致存储成本增加；全天视频数据中冗余信息较多，浏览全天视频数据需要消耗大量时间，无法快速挖掘出有效信息。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种数据处理方法和系统、存储介质、计算设备，以至少解决相关技术中视频数据存储量大，冗余信息较大，导致无法快速识别出目标对象的技术问题。
根据本申请实施例的一个方面，提供了一种数据处理方法，包括：显示原始视频数据，和目标对象的对象信息；显示目标视频数据，其中，目标视频数据是将目标对象的目标图像序列和原始视频数据中的背景图像进行合成得到的，目标图像序列是基于目标对象的对象信息对原始视频数据进行处理得到，背景图像为原始视频数据中未包含检测对象的图像。
根据本申请实施例的另一方面，还提供了一种数据处理方法，包括：显示目标对象的对象信息；显示目标视频数据，其中，目标视频数据是将目标对象的目标图像序列和原始视频数据中的背景图像进行合成得到的，目标图像序列是将目标对象的对象信息与预先存储的至少一个检测对象的图像序列进行匹配得到的，背景图像为原始视频数据中未包含检测对象的图像。
根据本申请实施例的另一方面，还提供了一种数据处理方法，包括：获取原始视频数据，和目标对象的对象信息；基于目标对象的对象信息对原始视频数据进行处理，得到目标对象的目标图像序列；对原始视频数据进行处理，得到背景图像，其中，背景图像为原始视频数据中未包含检测对象的图像；将目标图像序列和背景图像进行合成，得到目标视频数据。
根据本申请实施例的另一方面，还提供了一种数据处理方法，包括：获取目标对象的对象信息；将目标对象的对象信息与预先存储的至少一个检测对象的图像序列进行匹配，得到目标对象的目标图像序列，其中，至少一个检测对象的图像序列是对原始视频数据进行处理得到的；将目标图像序列和背景图像进行合成，得到目标视频数据，其中，背景图像为原始视频数据中未包含检测对象的图像。
根据本申请实施例的另一方面，还提供了一种数据处理方法，包括：获取原始视频数据；接收客户端输入的目标对象；获取在原始视频数据中，与目标对象对应的目标图像序列；以淡入淡出方式，显示目标图像序列。
根据本申请实施例的另一方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述的数据处理方法。
根据本申请实施例的另一方面，还提供了一种计算设备，包括：存储器和处理器，处理器用于运行存储器中存储的程序，其中，程序运行时执行上述的数据处理方法。
根据本申请实施例的另一方面，还提供了一种数据处理系统，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：获取原始视频数据，和目标对象的对象信息；基于目标对象的对象信息对原始视频数据进行处理，得到目标对象的目标图像序列；对原始视频数据进行处理，得到背景图像，其中，背景图像为原始视频数据中未包含检测对象的图像；将目标图像序列和背景图像进行合成，得到目标视频数据。
在本申请实施例中，在获取到原始视频数据，和目标对象的对象信息之后，可以基于目标对象的对象信息对原始视频数据进行处理，得到目标对象的目标图像序列，同时对原始视频数据进行处理，得到背景图像，通过将目标图像序列和背景图像进行合成，得到目标视频数据，从而实现视频浓缩的目的。容易注意到的是，通过提取目标图像序列，并将目标图像序列和背景图像进行合成，实现去除原始视频中的冗余信息，仅保留视频中的感兴趣目标的目的，从而达到减少长段视频的长度，进而减少存储成本，提高用户获取有效信息的效率的技术效果，进而解决了相关技术中视频数据存储量大，冗余信息较大，导致无法快速识别出目标对象的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种用于实现数据处理方法的计算机终端的硬件结构框图；
图2是根据本申请实施例的第一种数据处理方法的流程图；
图3是根据本申请实施例的一种可选的原始视频数据的示意图；
图4是根据本申请实施例的一种可选的目标视频数据的示意图；
图5是根据本申请实施例的一种可选的交互界面的示意图；
图6a是根据本申请实施例的一种可选的使用目标框获取图像的示意图；
图6b是根据本申请实施例的一种可选的使用掩膜获取图像的示意图；
图7是根据本申请实施例的一种可选的数据处理方法的流程图；
图8是根据本申请实施例的第二种数据处理方法的流程图；
图9是根据本申请实施例的第三种数据处理方法的流程图；
图10是根据本申请实施例的第四种数据处理方法的流程图；
图11是根据本申请实施例的第一种数据处理装置的示意图；
图12是根据本申请实施例的第二种数据处理装置的示意图；
图13是根据本申请实施例的第三种数据处理装置的示意图；
图14是根据本申请实施例的第四种数据处理方法的流程图；以及
图15是根据本申请实施例的一种计算机终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
视频浓缩：可以对视频数据去除冗余信息，对感兴趣目标进行浓缩，生成目标密度在时间和空间上都很高的合成视频。
掩膜：可以用选定的图像、图形或物体，对处理的图像(全部或局部)进行遮挡，来控制图像处理的区域或处理过程。其中，用于覆盖的特定图像或物体称为掩膜。掩膜可以是由0和1组成的一个二进制图像。
实施例1
目前，监控摄像头每天都会生成大量的视频数据，而为了实现对历史信息的记录与查看，通常需要将视频数据存储下来。但是，全天视频数据文件大，占用存储空间多，导致存储成本增加；全天视频数据中冗余信息较多，浏览全天视频数据需要消耗大量时间，无法快速挖掘出有效信息。
在大多数场景下，用户浏览历史视频数据时，实际上是希望浏览视频数据中出现的人或车辆等感兴趣目标。为了达到去除长短视频中冗余信息，保留关键信息的目的，可以对单个目标保存关键帧截图，或者删除长短视频中的空白帧。但是，保存关键帧截图会丢失目标的轨迹信息，导致信息损失较多；仅删除空白帧导致视频压缩比例较低。
为了解决上述问题，根据本申请实施例，提供了一种数据处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。图1示出了一种用于实现数据处理方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块，如本申请实施例中的数据处理方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的数据处理方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
此处需要说明的是，在一些可选实施例中，上述图1所示的计算机设备(或移动设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算机设备(或移动设备)中的部件的类型。
此处需要说明的是，在一些实施例中，上述图1所示的计算机设备(或移动设备)具有触摸显示器(也被称为“触摸屏”或“触摸显示屏”)。在一些实施例中，上述图1所示的计算机设备(或移动设备)具有图像用户界面(GUI)，用户可以通过触摸触敏表面上的手指接触和/或手势来与GUI进行人机交互，此处的人机交互功能可选的包括如下交互：创建网页、绘图、文字处理、制作电子文档、游戏、视频会议、即时通信、收发电子邮件、通话界面、播放数字视频、播放数字音乐和/或网络浏览等、用于执行上述人机交互功能的可执行指令被配置/存储在一个或多个处理器可执行的计算机程序产品或可读存储介质中。
在上述运行环境下，本申请提供了如图2所示的数据处理方法。图2是根据本申请实施例的第一种数据处理方法的流程图。如图2所示，该方法包括如下步骤：
步骤S202，获取原始视频数据，和目标对象的对象信息；
上述步骤中的原始视频数据可以是指不同应用场景中安装的摄像头采集到的视频数据，上述应用场景包括但不限于：安保监控场景、交通监控场景、线下购物场景等，该视频数据通常为全天24小时的视频数据，冗余信息较多，导致占用存储空间较多，浏览时间较长。
以如图3所示的8帧原始视频数据为例进行说明，冗余信息主要体现在如下两个方面：没有目标的纯背景帧较多，如图1中的第3，4，5和6帧，均为没有目标的空白帧；目标密度低，如图1中的第1和2帧中只有一个目标，该目标用三角形替代；第7和8帧中也只有一个目标，该目标用正方形替代，这些目标不在同一时刻出现，出现的空间位置也不同。
这些冗余信息价值不高，如果全部存储会浪费存储资源，又不利于用户发现有效信息。为了将原始视频数据大幅压缩，并方便用户高效获取有效信息，可以去除这些冗余信息，其中，对于视频中目标较为稀疏的情况，去除冗余信息后1天24小时的视频可以缩短到几分钟。
例如，如图4所示，可以将空白帧删除，并将两个空间不同的目标合成到同一帧中进行显示，处理后的视频仅包含2帧，大幅减少了存储开销，同时用户仅需浏览两帧视频即可获取全部感兴趣信息。
上述步骤中的目标对象可以是视频数据中用户比较感兴趣的目标，例如，人、车辆等，也即，可以是根据用户的需求确定的满足特定条件的目标，例如，男性目标、购买指定商品的目标等，但不仅限于此。可选地，对象信息可以包括：目标属性和目标时间段，其中，目标属性可以包括目标对象本身所具有的属性，例如，性别、年龄、身高、衣着等，也可以包括目标对象所执行的特定操作，例如，在线下购物场景中，购买了指定商品等，但不仅限于此。目标时间段可以是用户需要浏览的视频数据的采集时间，例如，24小时等，但不仅限于此。
在一种可选的实施例中，目标对象的对象信息需要根据用户的需求确定，因此，可以提供给用户一个交互界面，如图5所示，用户可以在交互界面中进行操作，选择需要浏览的视频数据的目标时间段，并输入感兴趣目标的目标属性，操作完毕之后，通过点击“视频浓缩”按钮确认上述信息，从而服务器可以基于用户输入的信息对摄像头采集到的原始视频数据进行压缩。
步骤S204，基于目标对象的对象信息对原始视频数据进行处理，得到目标对象的目标图像序列；
上述步骤中的目标图像序列可以是目标时间段内的视频数据中，不同帧图像中采集到的目标对象的图像，目标对象的所有图像可以按照采集时间进行排序，为了方便用户准确获知图像被采集到的时间，可以为每张图像标注时间戳。
在一种可选的实施例中，服务器在获取到用户选择的目标时间段和目标属性之后，首先可以基于目标属性从原始视频数据中的每帧图像进行目标检测，识别出目标对象，然后提取出目标对象的图像序列，最后筛选出目标时间段内的图像序列，得到目标图像序列。
在另一种可选的实施例中，为了减少数据处理量，提升处理效率，服务器首先可以基于目标时间段从原始视频数据中获取到相应的部分视频数据，然后基于目标属性对部分视频数据中的每帧图像进行目标检测，识别出目标对象，最后提取出目标对象的图像，得到目标图像序列。
步骤S206，对原始视频数据进行处理，得到背景图像，其中，背景图像为原始视频数据中未包含检测对象的图像；
上述步骤中的背景图像可以是指原始视频图像中的背景图像。检测对象可以是指人、车辆等目标，用户可以根据需求确定所有目标中的感兴趣目标，也即，目标对象是检测对象中满足用户需求的对象。
在一种可选的实施例中，可以通过背景建模、选取无目标视频帧等方式，获取原始视频数据中只包含背景信息的图像作为背景图像。但不仅限于此，也可以通过其他方式获取背景图像，本申请对此不作具体限定。
步骤S208，将目标图像序列和背景图像进行合成，得到目标视频数据。
在一种可选的实施例中，对于目标图像序列，可以按照时间顺序将序列中的图像叠加到背景图像中，从而生成目标视频数据。例如，可以将目标图像序列中不同时刻的图像分别叠加到背景图像中，此时，目标视频数据的长度与目标图像序列的长度相同。又例如，可以将目标图像序列中不同时刻的图像叠加到背景图像的不同位置，此时，目标视频数据的长度比目标图像序列的长度短。
需要说明的是，视频合成过程破坏了图像与原始视频数据的时间关系，为了方便用户获取该目标对象出现的时间，可以将图像的采集时间也叠加到背景图像中。
在另一种可选的实施例中，在合成目标视频数据之后，可以将目标视频数据显示在如图5所示的交互界面中，并且可以在目标对象的上方显示该目标对象在原始视屏中出现的时间点，从而方便用户在目标视频数据中寻找到自己需要的信息。
还需要说明的是，上述方法还可以应用于旅游场景或展馆参观场景等，在上述应用场景中，用户希望基于拍摄到的原始视频数据生成自己游玩或者参观的视频集锦。在此基础上，原始视频数据可以由用户通过移动终端进行拍摄，目标对象可以是用户自己，也可以是一起旅游或展馆的所有同行者等，但不仅限于此。另外，用户可以根据自己喜好在合成目标视频数据之后，在目标视频数据增加不同特效，得到最终可以发布给亲戚朋友们观看的视频集锦。
通过本申请上述实施例提供的方案，在获取到原始视频数据，和目标对象的对象信息之后，可以基于目标对象的对象信息对原始视频数据进行处理，得到目标对象的目标图像序列，同时对原始视频数据进行处理，得到背景图像，通过将目标图像序列和背景图像进行合成，得到目标视频数据，从而实现视频浓缩的目的。容易注意到的是，通过提取目标图像序列，并将目标图像序列和背景图像进行合成，实现去除原始视频中的冗余信息，仅保留视频中的感兴趣目标的目的，从而达到减少长段视频的长度，进而减少存储成本，提高用户获取有效信息的效率的技术效果，进而解决了相关技术中视频数据存储量大，冗余信息较大，导致无法快速识别出目标对象的技术问题。
在本申请上述实施例中，基于目标对象的对象信息对原始视频数据进行处理，得到目标对象的目标图像序列，包括：对原始视频数据进行处理，得到至少一个检测对象的分割掩膜；利用至少一个检测对象的分割掩膜对原始视频数据进行处理，得到至少一个检测对象的图像序列；基于目标对象的对象信息，确定目标图像序列。
在提取目标图像序列时，现有方案采用目标框的方式实现，但是，该方式在目标对象的周围会引入较多不属于该对象的干扰信息，导致合成后的目标视频数据的视觉效果和质量较差。如图6a所示，用户感兴趣目标用三角形表示，在使用目标框获取的图像中，除了三角形表示的目标之外，还保留了附近矩形表示的目标，以及目标框内的背景信息。
可选地，可以通过使用实例分割技术，预测目标对象的掩膜，使用掩膜代替目标框，从而获取到更加精细的目标对象的信息。如图6b所示，用户感兴趣目标用三角形表示，在使用掩膜获取的图像中，仅保留有三角形表示的目标的相关信息。
在一种可选的实施例中，可以使用深度学习分割获取检测对象的分割掩膜，然后按照分割掩膜将检测对象从原始视频数据中扣取出来，得到检测对象的图像序列，最终筛选出目标对象的目标图像序列。
通过使用实例分割技术获取检测对象的分割掩膜，提升有效信息的获取准确率，提升合成视频的质量。
在本申请上述实施例中，对原始视频数据进行处理，得到至少一个检测对象的分割掩膜，包括：对原始视频数据进行检测，得到至少一个分割掩膜；利用跟踪算法对至少一个分割掩膜进行处理，得到至少一个分割掩膜的标识信息，其中，相同标识信息对应的分割掩膜为相同检测对象的掩膜；基于至少一个分割掩膜的标识信息，得到至少一个检测对象的分割掩膜。
上述的标识信息可以是为每个检测对象赋予的唯一的ID编号。
在一种可选的实施例中，可以每隔一定时间对视频中的检测对象进行检测，获取到每帧图像中的检测对象的分割掩膜，不同图像帧中的分割掩膜可能是同一个检测对象的分割掩膜，也可能是不同检测对象的分割掩膜，因此，可以利用跟踪算法进行处理，为每个检测对象赋予ID编号，同一个检测对象的ID编号相同，从而可以获取到的每个分割掩膜对应的ID编号。进一步按照ID编号对获取到的所有分割掩膜进行归类，从而得到每个检测对象的一系列分割掩膜。
在本申请上述实施例中，基于目标对象的对象信息，确定目标图像序列，包括：对至少一个检测对象的图像序列进行识别，确定至少一个检测对象的属性信息；将目标对象的目标属性与至少一个检测对象的属性信息进行匹配，确定目标对象的图像序列；获取目标对象的图像序列中在目标时间段内的图像序列，得到目标图像序列。
在一种可选的实施例中，可以调用属性算法，从每个检测对象的图像中识别出检测对象的年龄、性别等属性，也可以基于每个检测对象的运动轨迹，识别出该检测对象所执行的操作，从而得到每个检测对象的属性信息。进一步通过将目标对象的目标属性与检测对象的属性信息进行匹配，在匹配成功的情况下，可以获取到目标对象的图像序列，进一步从中提取出目标时间段内的目标图像序列。
在另一种可选的实施例中，可以首先基于目标时间段，确定在该时间段内所有检测对象的图像序列，然后将目标属性与这些检测对象的属性信息进行匹配，在匹配成功的情况下，可以得到目标图像序列。
在本申请上述实施例中，将目标图像序列和背景图像进行合成，得到目标视频数据，包括：基于预设视频合成规则，确定目标图像序列在目标视频数据中的目标位置；基于目标位置将目标图像序列和背景图像进行合成，得到目标视频数据。
上述的预设视频合成规则可以是确保目标视频数据的压缩比例较高，而且目标对象可以被用户准确识别的规则，具体可以包括：目标视频数据持续时间较短，可以在有限的时间内展示所有目标序列；在原始视频数据中不存在关联的目标对象在目标视频数据中不相互遮挡；目标对象在原始视频数据中存在同行或交互关系在目标视频数据中依然保留。
上述的目标位置可以是目标图像序列在目标视频数据中的时空位置，具体地包括：目标视频数据中的背景图像帧，以及背景图像帧中的位置。
在一种可选的实施例中，当原始视频数据中目标对象较为稀疏时，为了进一步减少目标视频数据的长度，并使目标视频数据中每帧包含更多的信息，基于预设视频合成规则，可以将不同时刻的目标对象的图像合成背景图像的不同位置上。如图4所示，将第1和7帧中不同目标的图像合成在同一帧的不同位置上，并将第2和8帧中不同目标的图像和承载同一帧的不同位置上。
在本申请上述实施例中，基于预设视频合成规则，确定目标图像序列在目标视频数据中的目标位置，包括：基于目标图像序列的长度，确定目标视频数据的长度，并确定目标图像序列在目标视频数据中的第一位置；基于预设视频合成规则，得到第一位置的损失值；在第一位置的损失值大于预设值的情况下，确定目标图像序列在目标视频数据中的第二位置，并将第二位置作为第一位置，直至第一位置的损失值小于预设值；在第一位置的损失值小于预设值的情况下，确定第一位置为目标位置。
上述的损失值可以表征目标视频数据中目标图像序列的时空位置的损失代价，符合预设视频合成规则，则损失代价较小，不符合预设视频合成规则，则损失代价较大。例如，原始视频数据中不存在关联的目标对象在目标视频数据中出现遮挡，则损失代价增大，反之损失代价减少。又例如，原始视频数据中存在同行或交互关系的目标图像序列在目标视频数据中关联关系被破坏，则损失代价增大，反之损失代价减少。
上述的预设值可以是预先设置的最小损失代价，可以根据实际视频压缩需求进行确定，也可以由用户根据需求进行设置，本申请对此不作具体限定。
在一种可选的实施例中，可以基于目标图像序列的长度预估目标视频数据的长度，并随机初始化目标图像序列在目标视频数据中的位置，然后计算目标视频数据中目标图像序列的时空位置的损失代价，进一步调整目标图像序列的时空位置，优化损失代价至最小，作为最终的目标位置进行视频合成。
下面结合图7对本申请一种优选的实施例进行详细说明，该方法可以由服务器执行，流程中并未涉及用户输入目标属性和目标时间段，以及显示目标视频数据等由客户端执行的步骤。
如图7所示，该方法包括如下步骤：读取原始视频；生成仅包含背景信息的背景图像；另外，对原始视频中用户感兴趣目标进行检测，并获取目标的分割掩膜；调用跟踪算法确定目标的运动轨迹，为每个目标赋予ID编号；基于ID编号对掩膜进行归类，并按掩膜从原始视频中扣取出目标的mask序列；调用属性算法，识别各个目标的属性，并为mask序列打标签；根据用户选择的标签，从mask序列中筛选出特定的目标序列，并按照时间顺序将目标序列叠加到背景图像中，其中，当原视频中目标较为稀疏时，不同时刻的目标序列可以在合成视频中的同一时刻不同位置出现，使合成视频中每帧包含更多信息。
通过对获取到的目标进行结构化处理，用户可以筛选需要的标签生成浓缩视频，提升用户体验。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
实施例2
基于上述实施例1的描述可知，服务器可以在接收到用户输入的目标对象的对象信息之后，基于目标对象的对象信息对原始视频数据进行处理，处理数据量较大，整个处理过程时间较长。
为了解决上述问题，根据本申请实施例，还提供了一种数据处理方法。
图8是根据本申请实施例的第二种数据处理方法的流程图。如图8所示，该方法包括如下步骤：
步骤S802，获取目标对象的对象信息；
上述步骤中的目标对象可以是视频数据中用户比较感兴趣的目标，例如，人、车辆等，也即，可以是根据用户的需求确定的满足特定条件的目标，例如，男性目标、购买指定商品的目标等，但不仅限于此。可选地，对象信息可以包括：目标属性和目标时间段，其中，目标属性可以包括目标对象所具有的属性，例如，性别、年龄、身高、衣着等，也可以包括目标对象所执行的特定操作，例如，在线下购物场景中，购买了指定商品等，但不仅限于此。目标时间段可以是用户需要浏览的视频数据的采集时间，例如，24小时等，但不仅限于此。
步骤S804，将目标对象的对象信息与预先存储的至少一个检测对象的图像序列进行匹配，得到目标对象的目标图像序列，其中，至少一个检测对象的图像序列是对原始视频数据进行处理得到的；
上述步骤中的原始视频数据可以是指不同应用场景中安装的摄像头采集到的视频数据，上述应用场景包括但不限于：安保监控场景、交通监控场景、线下购物场景等，该视频数据通常为全天24小时的视频数据，冗余信息较多，导致占用存储空间较多，浏览时间较长。
检测对象可以是指人、车辆等目标，用户可以根据需求确定所有目标中的感兴趣目标，也即，目标对象是检测对象中满足用户需求的对象。图像序列可以是原始视频数据中，不同帧图像中采集到的检测对象的图像，所有图像按照采集时间进行排序，为了方便用户准确获知检测对象被采集到的时间，可以为每张图像标注时间戳。
在一种可选的实施例中，在用户选择目标属性和目标时间段之后，为了减少服务器的处理时间，服务器可以在获取到摄像头采集到的原始视频数据之后，直接对原始视频数据进行目标检测，识别出每个检测对象，并提取出检测对象的图像序列，最后将提取出的图像序列存储在数据库中。在此基础上，服务器在接收到目标属性和目标时间段之后，只需要将其与存储的检测对象的图像序列进行匹配，在匹配成功的情况下，确定目标对象的图像序列，并基于图像的时间戳，筛选出目标时间段内的目标图像序列。
步骤S806，将目标图像序列和背景图像进行合成，得到目标视频数据，其中，背景图像为原始视频数据中未包含检测对象的图像。
上述步骤中的背景图像可以是指原始视频图像中的背景图像。
在一种可选的实施例中，与上述步骤相同，为了减少服务器的处理时间，可以在获取到原始视频数据之后，直接通过背景建模、选取无目标视频帧等方式，获取原始视频数据中只包含背景信息的图像作为背景图像，并对其进行存储，从而在获取到目标图像序列之后，可以直接生成目标视频数据。通过存储背景图像，可以实现背景图像的重复利用，达到节约服务器计算资源的效果。
通过本申请上述实施例提供的方案，在获取到目标对象的对象信息之后，可以将目标对象的对象信息与预先存储的至少一个检测对象的图像序列进行匹配，得到目标对象的目标图像序列，进一步通过将目标图像序列和背景图像进行合成，得到目标视频数据，从而实现视频浓缩的目的。容易注意到的是，通过提取目标图像序列，并将目标图像序列和背景图像进行合成，实现去除原始视频中的冗余信息，仅保留视频中的感兴趣目标的目的，从而达到减少长段视频的长度，进而减少存储成本，提高用户获取有效信息的效率的技术效果，进而解决了相关技术中视频数据存储量大，冗余信息较大，导致无法快速识别出目标对象的技术问题。
在本申请上述实施例中，该方法还包括：对原始视频数据进行处理，得到至少一个检测对象的分割掩膜；利用至少一个检测对象的分割掩膜对原始视频数据进行处理，得到至少一个检测对象的图像序列；对至少一个检测对象的图像序列进行识别，确定至少一个检测对象的属性信息；存储至少一个检测对象的图像序列和属性信息。
可选地，可以通过使用实例分割技术，预测目标对象的掩膜，使用掩膜代替目标框，从而获取到更加精细的目标对象的信息。在一种可选的实施例中，可以使用深度学习分割获取检测对象的分割掩膜，然后按照分割掩膜将检测对象从原始视频数据中扣取出来，得到检测对象的图像序列，最终筛选出目标对象的目标图像序列。
需要说明的是，为了减少服务器的处理时间，服务器在获取每个检测对象的图像序列的同时，可以对检测对象进行识别，得到检测对象的属性信息，并对图像序列打标签，以方便后续与目标属性进行匹配，快速获取到目标对象的目标图像序列。
在本申请上述实施例中，对原始视频数据进行处理，得到至少一个检测对象的分割掩膜，包括：对原始视频数据进行检测，得到至少一个分割掩膜；利用跟踪算法对至少一个分割掩膜进行处理，得到至少一个分割掩膜的标识信息，其中，相同标识信息对应的分割掩膜为相同检测对象的掩膜；基于至少一个分割掩膜的标识信息，得到至少一个检测对象的分割掩膜。
在本申请上述实施例中，将目标对象的对象信息与预先存储的至少一个检测对象的图像序列进行匹配，得到目标对象的目标图像序列，包括：将目标对象的目标属性与至少一个检测对象的属性信息进行匹配，确定目标对象的图像序列；获取目标对象的图像序列中在目标时间段内的图像序列，得到目标图像序列。
在一种可选的实施例中，数据库中存储的图像序列预先进行了打标签，标注了每个检测对象的属性信息，通过将用户选择的目标属性与每个检测对象的属性信息进行匹配，可以确定目标对象，并读取到目标对象的图像序列，进一步基于时间戳确定目标图像序列。
在本申请上述实施例中，将目标图像序列和背景图像进行合成，得到目标视频数据，包括：基于预设视频合成规则，确定目标图像序列在目标视频数据中的目标位置；基于目标位置将目标图像序列和背景图像进行合成，得到目标视频数据。
在本申请上述实施例中，基于预设视频合成规则，确定目标图像序列在目标视频数据中的目标位置，包括：基于目标图像序列的长度，确定目标视频数据的长度，并确定目标图像序列在目标视频数据中的第一位置；基于预设视频合成规则，得到第一位置的损失值；在第一位置的损失值大于预设值的情况下，确定目标图像序列在目标视频数据中的第二位置，并将第二位置作为第一位置，直至第一位置的损失值小于预设值；在第一位置的损失值小于预设值的情况下，确定第一位置为目标位置。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例3
根据本申请实施例，还提供了一种数据处理方法。
图9是根据本申请实施例的第三种数据处理方法的流程图。如图9所示，该方法包括如下步骤：
步骤S902，显示原始视频数据，和目标对象的对象信息；
在一种可选的实施例中，原始视频数据以及目标对象的对象信息可以显示在如图5所示的交互界面中，其中，原始视频数据显示在右侧的显示区域内。
步骤S904，显示目标视频数据，其中，目标视频数据是将目标对象的目标图像序列和原始视频数据中的背景图像进行合成得到的，目标图像序列是基于目标对象的对象信息对原始视频数据进行处理得到，背景图像为原始视频数据中未包含检测对象的图像。
在一种可选的实施例中，目标视频数据也可以显示在如图5所示的交互界面中，在合成目标视频数据之后，可以将目标视频数据代替原始视频数据，并显示在右侧的显示区域内。
在本申请上述实施例中，基于目标对象的对象信息对原始视频数据进行处理，包括：对原始视频数据进行处理，得到至少一个检测对象的分割掩膜；利用至少一个检测对象的分割掩膜对原始视频数据进行处理，得到至少一个检测对象的图像序列；基于目标对象的对象信息，确定目标图像序列。
在本申请上述实施例中，对原始视频数据进行处理，得到至少一个检测对象的分割掩膜，包括：对原始视频数据进行检测，得到至少一个分割掩膜；利用跟踪算法对至少一个分割掩膜进行处理，得到至少一个分割掩膜的标识信息，其中，相同标识信息对应的分割掩膜为相同检测对象的掩膜；基于至少一个分割掩膜的标识信息，得到至少一个检测对象的分割掩膜。
在本申请上述实施例中，基于目标对象的对象信息，确定目标图像序列，包括：对至少一个检测对象的图像序列进行识别，确定至少一个检测对象的属性信息；将目标对象的目标属性与至少一个检测对象的属性信息进行匹配，确定目标对象的图像序列；获取目标对象的图像序列中在目标时间段内的图像序列，得到目标图像序列。
在本申请上述实施例中，将目标对象的目标图像序列和原始视频数据中的背景图像进行合成，包括：基于预设视频合成规则，确定目标图像序列在目标视频数据中的目标位置；基于目标位置将目标图像序列和背景图像进行合成，得到目标视频数据。
在本申请上述实施例中，基于预设视频合成规则，确定目标图像序列在目标视频数据中的目标位置，包括：基于目标图像序列的长度，确定目标视频数据的长度，并确定目标图像序列在目标视频数据中的第一位置；基于预设视频合成规则，得到第一位置的损失值；在第一位置的损失值大于预设值的情况下，确定目标图像序列在目标视频数据中的第二位置，并将第二位置作为第一位置，直至第一位置的损失值小于预设值；在第一位置的损失值小于预设值的情况下，确定第一位置为目标位置。
在本申请上述实施例中，按照预设方式在目标视频数据中显示目标图像序列，和/或，目标图像序列的采集时间。
为了方便用户在目标视频数据中快速寻找到自己想要的信息，可以预先设置预设方式，该方式可以作为目标图像序列和/或采集时间的显示方式，实现提醒用户的目的。可选地，该显示方式可以由用户根据自身喜好进行调整。
例如，以预设方式为闪烁为例进行说明，在第一种可选的实施例中，可以在目标视频数据中显示闪烁的目标框，其中，目标对象位于目标框中。在第二种可选的实施例中，可以直接控制目标对象的图像闪烁。在第三种可选的实施例中，可以直接控制采集时间闪烁。在第四种可选的实施例中，可以同时控制目标对象的图像和采集时间闪烁。上述的预设方式也可以是其他方式，本申请对此不作具体限定。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例4
根据本申请实施例，还提供了一种数据处理方法。
图10是根据本申请实施例的第四种数据处理方法的流程图。如图10所示，该方法包括如下步骤：
步骤S102，显示目标对象的对象信息；
在一种可选的实施例中，目标对象的对象信息可以显示在如图5所示的交互界面中。
步骤S104，显示目标视频数据，其中，目标视频数据是将目标对象的目标图像序列和原始视频数据中的背景图像进行合成得到的，目标图像序列是将目标对象的对象信息与预先存储的至少一个检测对象的图像序列进行匹配得到的，背景图像为原始视频数据中未包含检测对象的图像。
在一种可选的实施例中，目标视频数据也可以显示在如图5所示的交互界面中，其中，目标视频数据显示在右侧的显示区域内。
在本申请上述实施例中，该方法还包括：对原始视频数据进行处理，得到至少一个检测对象的分割掩膜；利用至少一个检测对象的分割掩膜对原始视频数据进行处理，得到至少一个检测对象的图像序列；对至少一个检测对象的图像序列进行识别，确定至少一个检测对象的属性信息；存储至少一个检测对象的图像序列和属性信息。
在本申请上述实施例中，对原始视频数据进行处理，得到至少一个检测对象的分割掩膜，包括：对原始视频数据进行检测，得到至少一个分割掩膜；利用跟踪算法对至少一个分割掩膜进行处理，得到至少一个分割掩膜的标识信息，其中，相同标识信息对应的分割掩膜为相同检测对象的掩膜；基于至少一个分割掩膜的标识信息，得到至少一个检测对象的分割掩膜。
在本申请上述实施例中，将目标对象的对象信息与预先存储的至少一个检测对象的图像序列进行匹配，包括：将目标对象的目标属性与至少一个检测对象的属性信息进行匹配，确定目标对象的图像序列；获取目标对象的图像序列中在目标时间段内的图像序列，得到目标图像序列。
在本申请上述实施例中，将目标对象的目标图像序列和原始视频数据中的背景图像进行合成，包括：基于预设视频合成规则，确定目标图像序列在目标视频数据中的目标位置；基于目标位置将目标图像序列和背景图像进行合成，得到目标视频数据。
在本申请上述实施例中，基于预设视频合成规则，确定目标图像序列在目标视频数据中的目标位置，包括：基于目标图像序列的长度，确定目标视频数据的长度，并确定目标图像序列在目标视频数据中的第一位置；基于预设视频合成规则，得到第一位置的损失值；在第一位置的损失值大于预设值的情况下，确定目标图像序列在目标视频数据中的第二位置，并将第二位置作为第一位置，直至第一位置的损失值小于预设值；在第一位置的损失值小于预设值的情况下，确定第一位置为目标位置。
在本申请上述实施例中，按照预设方式在目标视频数据中显示目标图像序列，和/或，目标图像序列的采集时间。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例3提供的方案以及应用场景、实施过程相同，但不仅限于实施例3所提供的方案。
实施例5
根据本申请实施例，还提供了一种用于实施上述数据处理方法的数据处理装置，如图11所示，该装置1100包括：获取模块1102、第一处理模块1104、第二处理模块1106和合成模块1108。
其中，获取模块1102用于获取原始视频数据，和目标对象的对象信息；第一处理模块1104用于基于目标对象的对象信息对原始视频数据进行处理，得到目标对象的目标图像序列；第二处理模块1106用于对原始视频数据进行处理，得到背景图像，其中，背景图像为原始视频数据中未包含检测对象的图像；合成模块1108用于将目标图像序列和背景图像进行合成，得到目标视频数据。
此处需要说明的是，上述获取模块1102、第一处理模块1104、第二处理模块1106和合成模块1108对应于实施例1中的步骤S202至步骤S208，四个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
在本申请上述实施例中，第一处理模块包括：第一处理单元、第二处理单元和第一确定单元。
其中，第一处理单元用于对原始视频数据进行处理，得到至少一个检测对象的分割掩膜；第二处理单元用于利用至少一个检测对象的分割掩膜对原始视频数据进行处理，得到至少一个检测对象的图像序列；第一确定单元用于基于目标对象的对象信息，确定目标图像序列。
在本申请上述实施例中，第一处理单元包括：检测子单元、第一处理子单元和第二处理子单元。
其中，检测子单元用于对原始视频数据进行检测，得到至少一个分割掩膜；第一处理子单元用于利用跟踪算法对至少一个分割掩膜进行处理，得到至少一个分割掩膜的标识信息，其中，相同标识信息对应的分割掩膜为相同检测对象的掩膜；第二处理子单元用于基于至少一个分割掩膜的标识信息，得到至少一个检测对象的分割掩膜。
在本申请上述实施例中，第一确定单元包括：识别子单元、匹配子单元和获取子单元。
其中，识别子单元用于对至少一个检测对象的图像序列进行识别，确定至少一个检测对象的属性信息；匹配子单元用于将目标对象的目标属性与至少一个检测对象的属性信息进行匹配，确定目标对象的图像序列；获取子单元用于获取目标对象的图像序列中在目标时间段内的图像序列，得到目标图像序列。
在本申请上述实施例中，合成模块包括：第二确定单元和合成单元。
其中，第二确定单元，用于基于预设视频合成规则，确定目标图像序列在目标视频数据中的目标位置；合成单元，用于基于目标位置将目标图像序列和背景图像进行合成，得到目标视频数据。
在本申请上述实施例中，第二确定单元包括：第一确定子单元、第三处理子单元、第二确定子单元和第三确定子单元。
其中，第一确定子单元，用于基于目标图像序列的长度，确定目标视频数据的长度，并确定目标图像序列在目标视频数据中的第一位置；第三处理子单元，用于基于预设视频合成规则，得到第一位置的损失值；第二确定子单元，用于在第一位置的损失值大于预设值的情况下，确定目标图像序列在目标视频数据中的第二位置，并将第二位置作为第一位置，直至第一位置的损失值小于预设值；第三确定子单元，用于在第一位置的损失值小于预设值的情况下，确定第一位置为目标位置。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例6
根据本申请实施例，还提供了一种用于实施上述数据处理方法的数据处理装置，如图12所示，该装置1200包括：获取模块1202、匹配模块1204和合成模块1206。
其中，获取模块1202用于获取目标对象的对象信息；匹配模块1204用于将目标对象的对象信息与预先存储的至少一个检测对象的图像序列进行匹配，得到目标对象的目标图像序列，其中，至少一个检测对象的图像序列是对原始视频数据进行处理得到的；合成模块1206用于将目标图像序列和背景图像进行合成，得到目标视频数据，其中，背景图像为原始视频数据中未包含检测对象的图像。
此处需要说明的是，上述获取模块1202、匹配模块1204和合成模块1206对应于实施例2中的步骤S802至步骤S806，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例2所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
在本申请上述实施例中，该装置还包括：第一处理模块、第二处理模块、确定模块和存储模块。
其中，第一处理模块用于对原始视频数据进行处理，得到至少一个检测对象的分割掩膜；第二处理模块用于利用至少一个检测对象的分割掩膜对原始视频数据进行处理，得到至少一个检测对象的图像序列；确定模块用于对至少一个检测对象的图像序列进行识别，确定至少一个检测对象的属性信息；存储模块用于存储至少一个检测对象的图像序列和属性信息。
在本申请上述实施例中，第一处理模块包括：检测单元、第一处理单元和第二处理单元。
其中，检测单元用于对原始视频数据进行检测，得到至少一个分割掩膜；第一处理单元用于利用跟踪算法对至少一个分割掩膜进行处理，得到至少一个分割掩膜的标识信息，其中，相同标识信息对应的分割掩膜为相同检测对象的掩膜；第二处理单元用于基于至少一个分割掩膜的标识信息，得到至少一个检测对象的分割掩膜。
在本申请上述实施例中，匹配模块包括：匹配单元和获取单元。
其中，匹配单元用于将目标对象的目标属性与至少一个检测对象的属性信息进行匹配，确定目标对象的图像序列；获取单元用于获取目标对象的图像序列中在目标时间段内的图像序列，得到目标图像序列。
在本申请上述实施例中，合成模块包括：确定单元和合成单元。
其中，确定单元，用于基于预设视频合成规则，确定目标图像序列在目标视频数据中的目标位置；合成单元，用于基于目标位置将目标图像序列和背景图像进行合成，得到目标视频数据。
在本申请上述实施例中，确定单元包括：第一确定子单元、处理子单元、第二确定子单元和第三确定子单元。
其中，第一确定子单元，用于基于目标图像序列的长度，确定目标视频数据的长度，并确定目标图像序列在目标视频数据中的第一位置；处理子单元，用于基于预设视频合成规则，得到第一位置的损失值；第二确定子单元，用于在第一位置的损失值大于预设值的情况下，确定目标图像序列在目标视频数据中的第二位置，并将第二位置作为第一位置，直至第一位置的损失值小于预设值；第三确定子单元，用于在第一位置的损失值小于预设值的情况下，确定第一位置为目标位置。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例7
根据本申请实施例，还提供了一种用于实施上述数据处理方法的数据处理装置，如图13所示，该装置1300包括：第一显示模块1302和第二显示模块1304。
其中，第一显示模块1302用于显示原始视频数据，和目标对象的对象信息；第二显示模块1304用于显示目标视频数据，其中，目标视频数据是将目标对象的目标图像序列和原始视频数据中的背景图像进行合成得到的，目标图像序列是基于目标对象的对象信息对原始视频数据进行处理得到，背景图像为原始视频数据中未包含检测对象的图像。
此处需要说明的是，上述第一显示模块1302和第二显示模块1304对应于实施例3中的步骤S902至步骤S904，两个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例3所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
在本申请上述实施例中，该装置还包括：第一处理模块、第二处理模块和第一确定模块。
其中，第一处理模块用于对原始视频数据进行处理，得到至少一个检测对象的分割掩膜；第二处理模块用于利用至少一个检测对象的分割掩膜对原始视频数据进行处理，得到至少一个检测对象的图像序列；第一确定模块用于基于目标对象的对象信息，确定目标图像序列。
在本申请上述实施例中，第一处理模块包括：检测单元、第一处理单元和第二处理单元。
其中，检测单元用于对原始视频数据进行检测，得到至少一个分割掩膜；第一处理单元用于利用跟踪算法对至少一个分割掩膜进行处理，得到至少一个分割掩膜的标识信息，其中，相同标识信息对应的分割掩膜为相同检测对象的掩膜；第二处理单元用于基于至少一个分割掩膜的标识信息，得到至少一个检测对象的分割掩膜。
在本申请上述实施例中，第一确定模块包括：识别单元、匹配单元和获取单元。
其中，识别单元用于对至少一个检测对象的图像序列进行识别，确定至少一个检测对象的属性信息；匹配单元用于将目标对象的目标属性与至少一个检测对象的属性信息进行匹配，确定目标对象的图像序列；获取单元用于获取目标对象的图像序列中在目标时间段内的图像序列，得到目标图像序列。
在本申请上述实施例中，该装置还包括：第二确定模块和合成模块。
其中，第二确定模块用于基于预设视频合成规则，确定目标图像序列在目标视频数据中的目标位置；合成模块用于基于目标位置将目标图像序列和背景图像进行合成，得到目标视频数据。
在本申请上述实施例中，第二确定模块包括：第一确定单元、第三处理单元、第二确定单元和第三确定单元。
其中，第一确定单元，用于基于目标图像序列的长度，确定目标视频数据的长度，并确定目标图像序列在目标视频数据中的第一位置；第三处理单元，用于基于预设视频合成规则，得到第一位置的损失值；第二确定单元，用于在第一位置的损失值大于预设值的情况下，确定目标图像序列在目标视频数据中的第二位置，并将第二位置作为第一位置，直至第一位置的损失值小于预设值；第三确定单元，用于在第一位置的损失值小于预设值的情况下，确定第一位置为目标位置。
在本申请上述实施例中，第二显示模块还用于按照预设方式在目标视频数据中显示目标图像序列，和/或，目标图像序列的采集时间。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例8
根据本申请实施例，还提供了一种用于实施上述数据处理方法的数据处理装置，如图13所示，该装置包括：第一显示模块1302和第二显示模块1304。
其中，第一显示模块1302用于显示目标对象的对象信息；第二显示模块1304用于显示目标视频数据，其中，目标视频数据是将目标对象的目标图像序列和原始视频数据中的背景图像进行合成得到的，目标图像序列是将目标对象的对象信息与预先存储的至少一个检测对象的图像序列进行匹配得到的，背景图像为原始视频数据中未包含检测对象的图像。
此处需要说明的是，上述第一显示模块1302和第二显示模块1304对应于实施例4中的步骤S102至步骤S104，两个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例4所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
在本申请上述实施例中，该装置还包括：第一处理模块、第二处理模块、第一确定模块和存储模块。
其中，第一处理模块用于对原始视频数据进行处理，得到至少一个检测对象的分割掩膜；第二处理模块用于利用至少一个检测对象的分割掩膜对原始视频数据进行处理，得到至少一个检测对象的图像序列；第一确定模块用于对至少一个检测对象的图像序列进行识别，确定至少一个检测对象的属性信息；存储模块还用于存储至少一个检测对象的图像序列和属性信息。
在本申请上述实施例中，第一处理模块包括：检测单元、第一处理单元和第二处理单元。
其中，检测单元用于对原始视频数据进行检测，得到至少一个分割掩膜；第一处理单元用于利用跟踪算法对至少一个分割掩膜进行处理，得到至少一个分割掩膜的标识信息，其中，相同标识信息对应的分割掩膜为相同检测对象的掩膜；第二处理单元用于基于至少一个分割掩膜的标识信息，得到至少一个检测对象的分割掩膜。
在本申请上述实施例中，该装置还包括：匹配模块和获取模块。
其中，匹配模块用于将目标对象的目标属性与至少一个检测对象的属性信息进行匹配，确定目标对象的图像序列；获取模块用于获取目标对象的图像序列中在目标时间段内的图像序列，得到目标图像序列。
在本申请上述实施例中，该装置还包括：第二确定模块和合成模块。
其中，第二确定模块用于基于预设视频合成规则，确定目标图像序列在目标视频数据中的目标位置；合成模块用于基于目标位置将目标图像序列和背景图像进行合成，得到目标视频数据。
在本申请上述实施例中，第二确定模块包括：第一确定单元、第三处理单元、第二确定单元和第三确定单元。
其中，第一确定单元，用于基于目标图像序列的长度，确定目标视频数据的长度，并确定目标图像序列在目标视频数据中的第一位置；第三处理单元，用于基于预设视频合成规则，得到第一位置的损失值；第二确定单元，用于在第一位置的损失值大于预设值的情况下，确定目标图像序列在目标视频数据中的第二位置，并将第二位置作为第一位置，直至第一位置的损失值小于预设值；第三确定单元，用于在第一位置的损失值小于预设值的情况下，确定第一位置为目标位置。
在本申请上述实施例中，第二显示模块还用于按照预设方式在目标视频数据中显示目标图像序列，和/或，目标图像序列的采集时间。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例9
根据本申请实施例，还提供了一种数据处理方法。
图14是根据本申请实施例的第五种数据处理方法的流程图。如图14所示，该方法包括如下步骤：
步骤S1402，获取原始视频数据；
上述步骤中的原始视频数据可以是指不同应用场景中安装的摄像头采集到的视频数据，上述应用场景包括但不限于：安保监控场景、交通监控场景、线下购物场景等，该视频数据通常为全天24小时的视频数据，冗余信息较多，导致占用存储空间较多，浏览时间较长。
步骤S1404，接收客户端输入的目标对象；
上述步骤中的客户端可以是用户的智能手机(包括Android手机和IOS手机)、平板电脑、掌上电脑、笔记本电脑等移动终端，但不仅限于此。目标对象可以是视频数据中用户比较感兴趣的目标，例如，人、车辆等，也即，可以是根据用户的需求确定的满足特定条件的目标，例如，男性目标、购买指定商品的目标等，但不仅限于此。
为了能够从原始视频数据中准确地确定目标对象，用户可以输入目标对象的对象信息，该对象信息可以包括：目标属性和目标时间段，其中，目标属性可以包括目标对象本身所具有的属性，例如，性别、年龄、身高、衣着等，也可以包括目标对象所执行的特定操作，例如，在线下购物场景中，购买了指定商品等，但不仅限于此。目标时间段可以是用户需要浏览的视频数据的采集时间，例如，24小时等，但不仅限于此。
步骤S1406，获取在原始视频数据中，与目标对象对应的目标图像序列；
上述步骤中的目标图像序列可以是目标时间段内的视频数据中，不同帧图像中采集到的目标对象的图像，目标对象的所有图像可以按照采集时间进行排序，为了方便用户准确获知图像被采集到的时间，可以为每张图像标注时间戳。
步骤S1408，以淡入淡出方式，显示目标图像序列。
在一种可选的实施例中，对于目标图像序列，可以按照时间顺序依次显示每张图像，并且每张图像以淡入淡出的方式进行显示，从而在用户的角度，可以看到目标对象在屏幕中移动，最终消失不见，使得用户可以更加直观地确定目标对象的移动轨迹。
通过本申请上述实施例提供的方案，在获取到原始视频数据，和客户端输入的目标对象之后，可以获取在原始视频数据中，与目标对象对应的目标图像序列，并以淡入淡出方式，显示目标图像序列，从而实现视频浓缩的目的。容易注意到的是，通过提取目标图像序列，并以淡入淡出方式进行显示，实现去除原始视频中的冗余信息，仅保留视频中的感兴趣目标的目的，从而达到减少长段视频的长度，进而减少存储成本，提高用户获取有效信息的效率的技术效果，进而解决了相关技术中视频数据存储量大，冗余信息较大，导致无法快速识别出目标对象的技术问题。
在本申请上述实施例中，基于目标对象的对象信息对原始视频数据进行处理，得到目标对象的目标图像序列，包括：对原始视频数据进行处理，得到至少一个检测对象的分割掩膜；利用至少一个检测对象的分割掩膜对原始视频数据进行处理，得到至少一个检测对象的图像序列；基于目标对象的对象信息，确定目标图像序列。
在本申请上述实施例中，对原始视频数据进行处理，得到至少一个检测对象的分割掩膜，包括：对原始视频数据进行检测，得到至少一个分割掩膜；利用跟踪算法对至少一个分割掩膜进行处理，得到至少一个分割掩膜的标识信息，其中，相同标识信息对应的分割掩膜为相同检测对象的掩膜；基于至少一个分割掩膜的标识信息，得到至少一个检测对象的分割掩膜。
在本申请上述实施例中，基于目标对象的对象信息，确定目标图像序列，包括：对至少一个检测对象的图像序列进行识别，确定至少一个检测对象的属性信息；将目标对象的目标属性与至少一个检测对象的属性信息进行匹配，确定目标对象的图像序列；获取目标对象的图像序列中在目标时间段内的图像序列，得到目标图像序列。
实施例10
本申请的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。
可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中，上述计算机终端可以执行数据处理方法中以下步骤的程序代码：获取原始视频数据，和目标对象的对象信息；基于目标对象的对象信息对原始视频数据进行处理，得到目标对象的目标图像序列；对原始视频数据进行处理，得到背景图像，其中，背景图像为原始视频数据中未包含检测对象的图像；将目标图像序列和背景图像进行合成，得到目标视频数据。
可选地，图15是根据本申请实施例的一种计算机终端的结构框图。如图15所示，该计算机终端A可以包括：一个或多个(图中仅示出一个)处理器1502、以及存储器1504。
其中，存储器可用于存储软件程序以及模块，如本申请实施例中的数据处理方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的数据处理方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至终端A。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取原始视频数据，和目标对象的对象信息；基于目标对象的对象信息对原始视频数据进行处理，得到目标对象的目标图像序列；对原始视频数据进行处理，得到背景图像，其中，背景图像为原始视频数据中未包含检测对象的图像；将目标图像序列和背景图像进行合成，得到目标视频数据。
可选的，上述处理器还可以执行如下步骤的程序代码：对原始视频数据进行处理，得到至少一个检测对象的分割掩膜；利用至少一个检测对象的分割掩膜对原始视频数据进行处理，得到至少一个检测对象的图像序列；基于目标对象的对象信息，确定目标图像序列。
可选的，上述处理器还可以执行如下步骤的程序代码：对原始视频数据进行检测，得到至少一个分割掩膜；利用跟踪算法对至少一个分割掩膜进行处理，得到至少一个分割掩膜的标识信息，其中，相同标识信息对应的分割掩膜为相同检测对象的掩膜；基于至少一个分割掩膜的标识信息，得到至少一个检测对象的分割掩膜。
可选的，对象信息至少包括：目标属性和目标时间段，上述处理器还可以执行如下步骤的程序代码：对至少一个检测对象的图像序列进行识别，确定至少一个检测对象的属性信息；将目标对象的目标属性与至少一个检测对象的属性信息进行匹配，确定目标对象的图像序列；获取目标对象的图像序列中在目标时间段内的图像序列，得到目标图像序列。
可选的，上述处理器还可以执行如下步骤的程序代码：基于预设视频合成规则，确定目标图像序列在目标视频数据中的目标位置；基于目标位置将目标图像序列和背景图像进行合成，得到目标视频数据。
可选的，上述处理器还可以执行如下步骤的程序代码：基于目标图像序列的长度，确定目标视频数据的长度，并确定目标图像序列在目标视频数据中的第一位置；基于预设视频合成规则，得到第一位置的损失值；在第一位置的损失值大于预设值的情况下，确定目标图像序列在目标视频数据中的第二位置，并将第二位置作为第一位置，直至第一位置的损失值小于预设值；在第一位置的损失值小于预设值的情况下，确定第一位置为目标位置。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取目标对象的对象信息；将目标对象的对象信息与预先存储的至少一个检测对象的图像序列进行匹配，得到目标对象的目标图像序列，其中，至少一个检测对象的图像序列是对原始视频数据进行处理得到的；将目标图像序列和背景图像进行合成，得到目标视频数据，其中，背景图像为原始视频数据中未包含检测对象的图像。
可选的，上述处理器还可以执行如下步骤的程序代码：对原始视频数据进行处理，得到至少一个检测对象的分割掩膜；利用至少一个检测对象的分割掩膜对原始视频数据进行处理，得到至少一个检测对象的图像序列；对至少一个检测对象的图像序列进行识别，确定至少一个检测对象的属性信息；存储至少一个检测对象的图像序列和属性信息。
可选的，上述处理器还可以执行如下步骤的程序代码：将目标对象的目标属性与至少一个检测对象的属性信息进行匹配，确定目标对象的图像序列；获取目标对象的图像序列中在目标时间段内的图像序列，得到目标图像序列。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：显示原始视频数据，和目标对象的对象信息；显示目标视频数据，其中，目标视频数据是将目标对象的目标图像序列和原始视频数据中的背景图像进行合成得到的，目标图像序列是基于目标对象的对象信息对原始视频数据进行处理得到，背景图像为原始视频数据中未包含检测对象的图像。
可选的，上述处理器还可以执行如下步骤的程序代码：按照预设方式在目标视频数据中显示目标图像序列，和/或，目标图像序列的采集时间。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：显示目标对象的对象信息；显示目标视频数据，其中，目标视频数据是将目标对象的目标图像序列和原始视频数据中的背景图像进行合成得到的，目标图像序列是将目标对象的对象信息与预先存储的至少一个检测对象的图像序列进行匹配得到的，背景图像为原始视频数据中未包含检测对象的图像。
采用本申请实施例，提供了一种数据处理的方案。通过提取目标图像序列，并将目标图像序列和背景图像进行合成，实现去除原始视频中的冗余信息，仅保留视频中的感兴趣目标的目的，从而达到减少长段视频的长度，进而减少存储成本，提高用户获取有效信息的效率的技术效果，进而解决了相关技术中视频数据存储量大，冗余信息较大，导致无法快速识别出目标对象的技术问题。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取原始视频数据；接收客户端输入的目标对象；获取在原始视频数据中，与目标对象对应的目标图像序列；以淡入淡出方式，显示目标图像序列。
本领域普通技术人员可以理解，图15所示的结构仅为示意，计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices，MID)、PAD等终端设备。图15其并不对上述电子装置的结构造成限定。例如，计算机终端A还可包括比图15中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图15所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。
实施例11
本申请的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例所提供的数据处理方法所执行的程序代码。
可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取原始视频数据，和目标对象的对象信息,；基于目标对象的对象信息对原始视频数据进行处理，得到目标对象的目标图像序列；对原始视频数据进行处理，得到背景图像，其中，背景图像为原始视频数据中未包含检测对象的图像；将目标图像序列和背景图像进行合成，得到目标视频数据。
可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：对原始视频数据进行处理，得到至少一个检测对象的分割掩膜；利用至少一个检测对象的分割掩膜对原始视频数据进行处理，得到至少一个检测对象的图像序列；基于目标对象的对象信息，确定目标图像序列。
可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：对原始视频数据进行检测，得到至少一个分割掩膜；利用跟踪算法对至少一个分割掩膜进行处理，得到至少一个分割掩膜的标识信息，其中，相同标识信息对应的分割掩膜为相同检测对象的掩膜；基于至少一个分割掩膜的标识信息，得到至少一个检测对象的分割掩膜。
可选的，对象信息至少包括：目标属性和目标时间段，上述存储介质还被设置为存储用于执行以下步骤的程序代码：对至少一个检测对象的图像序列进行识别，确定至少一个检测对象的属性信息；将目标对象的目标属性与至少一个检测对象的属性信息进行匹配，确定目标对象的图像序列；获取目标对象的图像序列中在目标时间段内的图像序列，得到目标图像序列。
可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：基于预设视频合成规则，确定目标图像序列在目标视频数据中的目标位置；基于目标位置将目标图像序列和背景图像进行合成，得到目标视频数据。
可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：基于目标图像序列的长度，确定目标视频数据的长度，并确定目标图像序列在目标视频数据中的第一位置；基于预设视频合成规则，得到第一位置的损失值；在第一位置的损失值大于预设值的情况下，确定目标图像序列在目标视频数据中的第二位置，并将第二位置作为第一位置，直至第一位置的损失值小于预设值；在第一位置的损失值小于预设值的情况下，确定第一位置为目标位置。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取目标对象的对象信息；将目标对象的对象信息与预先存储的至少一个检测对象的图像序列进行匹配，得到目标对象的目标图像序列，其中，至少一个检测对象的图像序列是对原始视频数据进行处理得到的；将目标图像序列和背景图像进行合成，得到目标视频数据，其中，背景图像为原始视频数据中未包含检测对象的图像。
可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：对原始视频数据进行处理，得到至少一个检测对象的分割掩膜；利用至少一个检测对象的分割掩膜对原始视频数据进行处理，得到至少一个检测对象的图像序列；对至少一个检测对象的图像序列进行识别，确定至少一个检测对象的属性信息；存储至少一个检测对象的图像序列和属性信息。
可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：将目标对象的目标属性与至少一个检测对象的属性信息进行匹配，确定目标对象的图像序列；获取目标对象的图像序列中在目标时间段内的图像序列，得到目标图像序列。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：显示原始视频数据，和目标对象的对象信息；显示目标视频数据，其中，目标视频数据是将目标对象的目标图像序列和原始视频数据中的背景图像进行合成得到的，目标图像序列是基于目标对象的对象信息对原始视频数据进行处理得到，背景图像为原始视频数据中未包含检测对象的图像。
可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：按照预设方式在目标视频数据中显示目标图像序列，和/或，目标图像序列的采集时间。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：显示目标对象的对象信息；显示目标视频数据，其中，目标视频数据是将目标对象的目标图像序列和原始视频数据中的背景图像进行合成得到的，目标图像序列是将目标对象的对象信息与预先存储的至少一个检测对象的图像序列进行匹配得到的，背景图像为原始视频数据中未包含检测对象的图像。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取原始视频数据；接收客户端输入的目标对象；获取在原始视频数据中，与目标对象对应的目标图像序列；以淡入淡出方式，显示目标图像序列。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (24)

1.一种数据处理方法，包括：
获取原始视频数据；
接收客户端输入的目标对象；
获取在原始视频数据中，与所述目标对象对应的目标图像序列；
以淡入淡出方式，显示所述目标图像序列。
2.根据权利要求1所述的方法，其中，获取在原始视频数据中，与所述目标对象对应的目标图像序列，包括：
对所述原始视频数据进行处理，得到至少一个检测对象的分割掩膜；
利用所述至少一个检测对象的分割掩膜对所述原始视频数据进行处理，得到所述至少一个检测对象的图像序列；
基于所述目标对象的对象信息，确定所述目标图像序列。
3.根据权利要求2所述的方法，其中，对所述原始视频数据进行处理，得到至少一个检测对象的分割掩膜，包括：
对所述原始视频数据进行检测，得到至少一个分割掩膜；
利用跟踪算法对所述至少一个分割掩膜进行处理，得到所述至少一个分割掩膜的标识信息，其中，相同标识信息对应的分割掩膜为相同检测对象的掩膜；
基于所述至少一个分割掩膜的标识信息，得到所述至少一个检测对象的分割掩膜。
4.根据权利要求2所述的方法，其中，所述对象信息至少包括：目标属性和目标时间段，其中，基于所述目标对象的对象信息，确定所述目标图像序列，包括：
对所述至少一个检测对象的图像序列进行识别，确定所述至少一个检测对象的属性信息；
将所述目标对象的目标属性与所述至少一个检测对象的属性信息进行匹配，确定所述目标对象的图像序列；
获取所述目标对象的图像序列中在所述目标时间段内的图像序列，得到所述目标图像序列。
5.一种数据处理方法，包括：
获取原始视频数据，和目标对象的对象信息；
基于所述目标对象的对象信息对所述原始视频数据进行处理，得到所述目标对象的目标图像序列；
对所述原始视频数据进行处理，得到背景图像，其中，所述背景图像为所述原始视频数据中未包含检测对象的图像；
将所述目标图像序列和所述背景图像进行合成，得到目标视频数据。
6.根据权利要求5所述的方法，其中，基于所述目标对象的对象信息对所述原始视频数据进行处理，得到所述目标对象的目标图像序列，包括：
对所述原始视频数据进行处理，得到至少一个检测对象的分割掩膜；
利用所述至少一个检测对象的分割掩膜对所述原始视频数据进行处理，得到所述至少一个检测对象的图像序列；
基于所述目标对象的对象信息，确定所述目标图像序列。
7.根据权利要求6所述的方法，其中，对所述原始视频数据进行处理，得到至少一个检测对象的分割掩膜，包括：
对所述原始视频数据进行检测，得到至少一个分割掩膜；
利用跟踪算法对所述至少一个分割掩膜进行处理，得到所述至少一个分割掩膜的标识信息，其中，相同标识信息对应的分割掩膜为相同检测对象的掩膜；
基于所述至少一个分割掩膜的标识信息，得到所述至少一个检测对象的分割掩膜。
8.根据权利要求6所述的方法，其中，所述对象信息至少包括：目标属性和目标时间段，其中，基于所述目标对象的对象信息，确定所述目标图像序列，包括：
对所述至少一个检测对象的图像序列进行识别，确定所述至少一个检测对象的属性信息；
将所述目标对象的目标属性与所述至少一个检测对象的属性信息进行匹配，确定所述目标对象的图像序列；
获取所述目标对象的图像序列中在所述目标时间段内的图像序列，得到所述目标图像序列。
9.根据权利要求5所述的方法，其中，将所述目标图像序列和所述背景图像进行合成，得到目标视频数据，包括：
基于预设视频合成规则，确定所述目标图像序列在所述目标视频数据中的目标位置；
基于所述目标位置将所述目标图像序列和所述背景图像进行合成，得到所述目标视频数据。
10.根据权利要求9所述的方法，其中，基于预设视频合成规则，确定所述目标图像序列在所述目标视频数据中的目标位置，包括：
基于所述目标图像序列的长度，确定所述目标视频数据的长度，并确定所述目标图像序列在所述目标视频数据中的第一位置；
基于所述预设视频合成规则，得到所述第一位置的损失值；
在所述第一位置的损失值大于预设值的情况下，确定所述目标图像序列在所述目标视频数据中的第二位置，并将所述第二位置作为所述第一位置，直至所述第一位置的损失值小于所述预设值；
在所述第一位置的损失值小于所述预设值的情况下，确定所述第一位置为所述目标位置。
11.一种数据处理方法，包括：
显示原始视频数据，和目标对象的对象信息；
显示目标视频数据，其中，所述目标视频数据是将所述目标对象的目标图像序列和所述原始视频数据中的背景图像进行合成得到的，所述目标图像序列是基于所述目标对象的对象信息对所述原始视频数据进行处理得到，所述背景图像为所述原始视频数据中未包含检测对象的图像。
12.根据权利要求11所述的方法，其中，基于所述目标对象的对象信息对所述原始视频数据进行处理，包括：
对所述原始视频数据进行处理，得到至少一个检测对象的分割掩膜；
利用所述至少一个检测对象的分割掩膜对所述原始视频数据进行处理，得到所述至少一个检测对象的图像序列；
基于所述目标对象的对象信息，确定所述目标图像序列。
13.根据权利要求11所述的方法，其中，将所述目标对象的目标图像序列和所述原始视频数据中的背景图像进行合成，包括：
基于预设视频合成规则，确定所述目标图像序列在所述目标视频数据中的目标位置；
基于所述目标位置将所述目标图像序列和所述背景图像进行合成，得到所述目标视频数据。
14.根据权利要求11所述的方法，其中，按照预设方式在所述目标视频数据中显示所述目标图像序列，和/或，所述目标图像序列的采集时间。
15.一种数据处理方法，包括：
显示目标对象的对象信息；
显示目标视频数据，其中，所述目标视频数据是将所述目标对象的目标图像序列和原始视频数据中的背景图像进行合成得到的，所述目标图像序列是将所述目标对象的对象信息与预先存储的至少一个检测对象的图像序列进行匹配得到的，所述背景图像为所述原始视频数据中未包含检测对象的图像。
16.根据权利要求15所述的方法，其中，所述方法还包括：
对所述原始视频数据进行处理，得到至少一个检测对象的分割掩膜；
利用所述至少一个检测对象的分割掩膜对所述原始视频数据进行处理，得到所述至少一个检测对象的图像序列；
对所述至少一个检测对象的图像序列进行识别，确定所述至少一个检测对象的属性信息；
存储所述至少一个检测对象的图像序列和属性信息。
17.根据权利要求15所述的方法，其中，将所述目标对象的目标图像序列和所述原始视频数据中的背景图像进行合成，包括：
基于预设视频合成规则，确定所述目标图像序列在所述目标视频数据中的目标位置；
基于所述目标位置将所述目标图像序列和所述背景图像进行合成，得到所述目标视频数据。
18.根据权利要求15所述的方法，其中，按照预设方式在所述目标视频数据中显示所述目标图像序列，和/或所述目标图像序列的采集时间。
19.一种数据处理方法，包括：
获取目标对象的对象信息；
将所述目标对象的对象信息与预先存储的至少一个检测对象的图像序列进行匹配，得到所述目标对象的目标图像序列，其中，所述至少一个检测对象的图像序列是对原始视频数据进行处理得到的；
将所述目标图像序列和背景图像进行合成，得到目标视频数据，其中，所述背景图像为所述原始视频数据中未包含检测对象的图像。
20.根据权利要求19所述的方法，其中，所述方法还包括：
对所述原始视频数据进行处理，得到至少一个检测对象的分割掩膜；
利用所述至少一个检测对象的分割掩膜对所述原始视频数据进行处理，得到所述至少一个检测对象的图像序列；
对所述至少一个检测对象的图像序列进行识别，确定所述至少一个检测对象的属性信息；
存储所述至少一个检测对象的图像序列和属性信息。
21.根据权利要求20所述的方法，其中，所述对象信息至少包括：目标属性和目标时间段，其中，将所述目标对象的对象信息与预先存储的至少一个检测对象的图像序列进行匹配，得到所述目标对象的目标图像序列，包括：
将所述目标对象的目标属性与所述至少一个检测对象的属性信息进行匹配，确定所述目标对象的图像序列；
获取所述目标对象的图像序列中在所述目标时间段图像序列，得到所述目标图像序列。
22.一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至21中任意一项所述的数据处理方法。
23.一种计算设备，包括：存储器和处理器，所述处理器用于运行所述存储器中存储的程序，其中，所述程序运行时执行权利要求1至21中任意一项所述的数据处理方法。
24.一种数据处理系统，包括：
处理器；以及
存储器，与所述处理器连接，用于为所述处理器提供处理以下处理步骤的指令：获取原始视频数据，和目标对象的对象信息；基于所述目标对象的对象信息对所述原始视频数据进行处理，得到所述目标对象的目标图像序列；对所述原始视频数据进行处理，得到背景图像，其中，所述背景图像为所述原始视频数据中未包含检测对象的图像；将所述目标图像序列和所述背景图像进行合成，得到目标视频数据。
CN202010237158.6A 2020-03-30 2020-03-30 数据处理方法和系统、存储介质、计算设备 Pending CN113469200A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010237158.6A CN113469200A (zh) 2020-03-30 2020-03-30 数据处理方法和系统、存储介质、计算设备
PCT/US2021/022509 WO2021202096A1 (en) 2020-03-30 2021-03-16 Data processing method and system, storage medium, and computing device
US17/202,751 US11894021B2 (en) 2020-03-30 2021-03-16 Data processing method and system, storage medium, and computing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010237158.6A CN113469200A (zh) 2020-03-30 2020-03-30 数据处理方法和系统、存储介质、计算设备

Publications (1)

Publication Number Publication Date
CN113469200A true CN113469200A (zh) 2021-10-01

Family

ID=77856616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010237158.6A Pending CN113469200A (zh) 2020-03-30 2020-03-30 数据处理方法和系统、存储介质、计算设备

Country Status (3)

Country Link
US (1) US11894021B2 (zh)
CN (1) CN113469200A (zh)
WO (1) WO2021202096A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116193193A (zh) * 2022-12-28 2023-05-30 天翼云科技有限公司 一种视频处理方法及装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230023359A (ko) * 2021-08-10 2023-02-17 한화테크윈 주식회사 감시카메라 시스템
CN114394100B (zh) * 2022-01-12 2024-04-05 深圳力维智联技术有限公司 一种无人巡逻车控制系统及无人车
CN115457113B (zh) * 2022-09-03 2023-05-23 北京津发科技股份有限公司 人机交互移动轨迹检测方法、装置、设备和可读存储介质
CN117528262B (zh) * 2023-12-29 2024-04-05 江西赛新医疗科技有限公司 一种医疗设备数据传输的控制方法及系统

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2270243B (en) 1992-08-26 1996-02-28 Namco Ltd Image synthesizing system
US6621524B1 (en) 1997-01-10 2003-09-16 Casio Computer Co., Ltd. Image pickup apparatus and method for processing images obtained by means of same
US6215505B1 (en) 1997-06-20 2001-04-10 Nippon Telegraph And Telephone Corporation Scheme for interactive video manipulation and display of moving object on background image
US6192154B1 (en) * 1998-01-26 2001-02-20 International Business Machines Corporation Two-pass encoding method of digital motion video sequences for constant-or variable bit rate
JP2000209425A (ja) 1998-11-09 2000-07-28 Canon Inc 画像処理装置及び方法並びに記憶媒体
JP2002010056A (ja) 2000-06-19 2002-01-11 Fuji Photo Film Co Ltd 画像合成装置
JP4729812B2 (ja) 2001-06-27 2011-07-20 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP3870124B2 (ja) 2002-06-14 2007-01-17 キヤノン株式会社 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
CN100477745C (zh) 2002-08-09 2009-04-08 夏普株式会社 图像合成装置和图象合成方法
JP2005077886A (ja) 2003-09-02 2005-03-24 Canon Inc 撮影装置
KR100631610B1 (ko) 2004-11-26 2006-10-09 엘지전자 주식회사 휴대단말기의 영상신호 합성장치 및 방법
US8072482B2 (en) * 2006-11-09 2011-12-06 Innovative Signal Anlysis Imaging system having a rotatable image-directing device
EP2184208A4 (en) 2007-07-31 2012-11-21 Toyota Jidoshokki Kk PARKING AID DEVICE, VEHICLE SIDE DEVICE FOR PARKING AID DEVICE, PARKING AID METHOD, AND PARKING ASSIST PROGRAM
US9189875B2 (en) 2007-08-06 2015-11-17 Apple Inc. Advanced import/export panel notifications using a presentation application
JP4735742B2 (ja) 2008-12-18 2011-07-27 カシオ計算機株式会社 撮像装置、ストロボ画像生成方法、および、プログラム
US8330819B2 (en) 2009-04-13 2012-12-11 Sri International Method for pose invariant vessel fingerprinting
US8810691B2 (en) 2010-09-03 2014-08-19 Olympus Imaging Corp. Imaging apparatus, imaging method and computer-readable recording medium
US9020241B2 (en) 2011-03-03 2015-04-28 Panasonic Intellectual Property Management Co., Ltd. Image providing device, image providing method, and image providing program for providing past-experience images
US9055277B2 (en) 2011-03-31 2015-06-09 Panasonic Intellectual Property Management Co., Ltd. Image rendering device, image rendering method, and image rendering program for rendering stereoscopic images
KR101764372B1 (ko) 2011-04-19 2017-08-03 삼성전자주식회사 휴대용 단말기에서 영상 합성 방법 및 장치
JP5956808B2 (ja) 2011-05-09 2016-07-27 キヤノン株式会社 画像処理装置およびその方法
US9129414B2 (en) 2011-10-14 2015-09-08 Morpho, Inc. Image compositing apparatus, image compositing method, image compositing program, and recording medium
KR101817657B1 (ko) 2011-12-21 2018-01-11 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
US20140153900A1 (en) * 2012-12-05 2014-06-05 Samsung Electronics Co., Ltd. Video processing apparatus and method
JP2014160982A (ja) 2013-02-20 2014-09-04 Sony Corp 画像処理装置および撮影制御方法、並びにプログラム
CN104184961A (zh) 2013-05-22 2014-12-03 辉达公司 用于生成全景视频的移动设备和系统
KR102090105B1 (ko) 2013-07-16 2020-03-17 삼성전자 주식회사 카메라를 구비하는 장치의 이미지 처리장치 및 방법
KR102025362B1 (ko) * 2013-11-07 2019-09-25 한화테크윈 주식회사 검색 시스템 및 영상 검색 방법
US9877086B2 (en) * 2014-01-26 2018-01-23 BriefCam Ltd. Method and system for producing relevance sorted video summary
US10432877B2 (en) * 2014-06-30 2019-10-01 Nec Corporation Image processing system, image processing method and program storage medium for protecting privacy
KR101946019B1 (ko) 2014-08-18 2019-04-22 삼성전자주식회사 파노라믹 동영상을 생성하는 동영상 처리 장치 및 그 방법
WO2016068560A1 (ko) 2014-10-27 2016-05-06 이문기 반투명 마크, 반투명 마크 합성 및 검출 방법, 투명 마크 그리고 투명 마크 합성 및 검출 방법
KR102161210B1 (ko) * 2015-01-15 2020-09-29 한화테크윈 주식회사 다중 비디오써머리제공방법 및 장치
US10169659B1 (en) * 2015-09-24 2019-01-01 Amazon Technologies, Inc. Video summarization using selected characteristics
TWI582710B (zh) * 2015-11-18 2017-05-11 Bravo Ideas Digital Co Ltd The method of recognizing the object of moving image and the interactive film establishment method of automatically intercepting target image
US10319410B1 (en) * 2015-12-21 2019-06-11 Amazon Technologies, Inc. Video story assembly
KR102618404B1 (ko) * 2016-06-30 2023-12-26 주식회사 케이티 영상 축약 시스템 및 방법
US11527265B2 (en) * 2018-11-02 2022-12-13 BriefCam Ltd. Method and system for automatic object-aware video or audio redaction
US10958854B2 (en) * 2018-11-02 2021-03-23 BriefCam Ltd. Computer-implemented method for generating an output video from multiple video sources

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116193193A (zh) * 2022-12-28 2023-05-30 天翼云科技有限公司 一种视频处理方法及装置

Also Published As

Publication number Publication date
WO2021202096A1 (en) 2021-10-07
US20210304796A1 (en) 2021-09-30
US11894021B2 (en) 2024-02-06

Similar Documents

Publication Publication Date Title
CN113469200A (zh) 数据处理方法和系统、存储介质、计算设备
CN107357494B (zh) 数据处理方法、装置和终端设备
CN110858134B (zh) 数据、显示处理方法、装置、电子设备和存储介质
CN104618803A (zh) 信息推送方法、装置、终端及服务器
CN109600544B (zh) 一种局部动态影像生成方法及装置
CN107295352B (zh) 一种视频压缩方法、装置、设备及存储介质
CN111683267A (zh) 媒体信息的处理方法、系统、设备及存储介质
CN111241872B (zh) 视频图像遮挡方法及装置
CN113128368B (zh) 一种人物交互关系的检测方法、装置及系统
CN111124888A (zh) 录制脚本的生成方法和装置及电子装置
CN105159923A (zh) 基于视频画面提取物品、查询物品以及购买物品的方法
CN113891105A (zh) 画面显示方法和装置、存储介质及电子设备
CN111444819A (zh) 切割帧确定方法、网络训练方法、装置、设备及存储介质
US20170013309A1 (en) System and method for product placement
CN113849575B (zh) 数据处理方法、装置和系统
CN114040248A (zh) 一种视频处理方法、装置和电子设备
Dalka Detection and segmentation of moving vehicles and trains using Gaussian mixtures, shadow detection and morphological processing
CN115134677A (zh) 视频封面选择方法、装置、电子设备以及计算机存储介质
CN112752110B (zh) 视频呈现方法及装置、计算设备、存储介质
CN114245193A (zh) 显示控制方法、装置和电子设备
CN113810624A (zh) 视频生成的方法、装置和电子设备
CN113297405A (zh) 数据处理方法和系统、计算机可读存储介质及处理设备
CN107360460B (zh) 一种检测视频添加字幕的方法、设备以及存储介质
CN111818364A (zh) 视频融合方法、系统、设备及介质
CN114640804A (zh) 图像处理方法和系统、计算机终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination