CN107566798A - 一种数据处理的系统、方法及装置 - Google Patents

一种数据处理的系统、方法及装置 Download PDF

Info

Publication number
CN107566798A
CN107566798A CN201710810517.0A CN201710810517A CN107566798A CN 107566798 A CN107566798 A CN 107566798A CN 201710810517 A CN201710810517 A CN 201710810517A CN 107566798 A CN107566798 A CN 107566798A
Authority
CN
China
Prior art keywords
field picture
original
feature
encoded
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710810517.0A
Other languages
English (en)
Inventor
高文
田永鸿
邢培银
黄铁军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201710810517.0A priority Critical patent/CN107566798A/zh
Publication of CN107566798A publication Critical patent/CN107566798A/zh
Pending legal-status Critical Current

Links

Abstract

本申请公开了一种数据处理的系统、方法及装置,可以在前端设备采集视频后,提取该视频的每个原始帧图像对应的特征,之后再将每个原始帧图像及其对应的特征进行编码,并发送至后台设备,而后台设备在对接收到的已编码的数据进行解码后,便可根据获得的重建帧图像及其对应的特征进行数据处理。

Description

一种数据处理的系统、方法及装置
技术领域
本申请涉及信息技术领域,尤其涉及一种数据处理的系统、方法及装置。
背景技术
目前,监控系统一般包括:若干摄像头以及后台设备。其中,摄像头用于采集视频,并通过有线或者无线的方式将采集到的视频发送至后台设备,后台设备则可根据需要在屏幕上显示各摄像头采集的视频(如,供安保人员进行安防监控),或者根据预设的方法分析图像,获取所需的信息以执行业务(如,通过人脸识别进行安防,通过车辆识别进行交通疏导等等),如图1所示。
随着技术的发展,监控系统中的摄像头可采集的视频的质量也在不断提高,在使后台设备获取更清晰的视频的同时,也给摄像头与后台设备之间的数据传输带来了较大压力。
现有技术中,为了提高摄像头与后台设备之间数据传输效率,减少数据传输压力,通常摄像头在采集到视频之后,可根据预先设置的方法,再将视频进行编码和/或压缩,发送至后台设备。而后台设备再对接收到的数据进行解码和/或解压缩,获得视频。
现有技术的方法虽然避免了将采集的原始视频直接传输的弊端,提高了数据传输的效率,但是再通过前端(即,摄像头)对原始视频的原始帧图像进行编码,以及后端(即,后台设备)对接收到的已编码的原始帧图像进行解码,获得重建帧图像后,重建帧图像相对于原始帧图像可能出现不同程度的失真。导致后台设备在根据重建帧图像提取出的特征进行数据处理时,提取出的特征准确率降低,从而导致根据提取出的特征进行视频检索、视频分析等业务的准确率降低。
例如上述的,后台设备通过人脸识别进行安防时,后台设备需要对接收到的已编码的每个原始帧图像进行解码,获得各重建帧图像,之后再提取各重建帧图像对应的人脸特征,并根据提取出的各人脸特征,进行人脸识别。但是,由于重建帧图像相对于原始帧图像存在失真,这就使得提取出的人脸特征的准确率难以保证,导致进行人脸识别的准确率降低。
基于现有技术,本申请提供一种新的数据处理方法。
发明内容
本说明书实施例提供一种数据处理系统、方法及装置,用于解决现有技术中的监控系统,后台设备依据获得的重建帧图像提取特征时,存在提取的特征准确率低的问题,进而导致数据处理准确率低、效率低的问题。
本说明书实施例采用下述技术方案:
一种数据处理的系统,包括:若干前端设备以及后台设备,其中:
所述前端设备,采集视频,并提取所述视频中每个原始帧图像对应的特征;针对每个原始帧图像,将该原始帧图像及其对应的所述特征分别进行编码后,发送至所述后台设备;
所述后台设备,对接收到的已编码的每个原始帧图像进行解码,得到每个重建帧图像,对接收到的已编码的特征进行解码,得到每个原始帧图像对应的特征,根据每个重建帧图像和/或每个原始帧图像对应的特征进行数据处理。
一种数据处理的方法,包括:
前端设备采集视频;
针对所述视频中每个原始帧图像,确定该原始帧图像对应的重建帧图像;
从该原始帧图像及其对应的重建帧图像中分别提取特征;
根据分别提取的特征确定该原始帧图像对应的差异特征;
将该原始帧图像及其对应的所述差异特征分别进行编码,并发送至所述后台设备,以使所述后台设备,对接收到的已编码的每个原始帧图像及其对应的已编码的差异特征进行解码后,进行数据处理。
一种数据处理的方法,包括:
后台设备接收前端设备发送的已编码的每个原始帧图像及其对应的已编码的差异特征;
针对已编码的每个原始帧图像,对已编码的该原始帧图像及其对应的已编码的差异特征进行解码,得到重建帧图像以及所述差异特征;
提取该重建帧图像对应的特征,并根据与该重建帧图像对应的所述差异特征,得到该重建帧图像对应的原始帧图像对应的特征,并根据该重建帧图像和/或该原始帧图像对应的特征进行数据处理。
一种数据处理的方法,包括:
前端设备采集视频;
针对所述视频中每个原始帧图像,提取该原始帧图像对应的特征,并根据提取出的该原始帧图像中各区域分别出对应的特征,针对该原始帧图像中的每个区域,根据从该区域中提取出的特征,确定对该区域进行编码所需采用的编码参数,根据确定的编码参数对该区域进行编码,和/或对该原始帧图像进行编码,根据对该原始帧图像进行编码时所采用的编码参数,确定提取该原始帧图像特征时,特征提取点的分布,根据所述特征提取点的分布,提取该原始帧图像对应的特征;
将已编码的该原始帧图像及其对应的已编码的特征,发送至后台设备,以使所述后台设备,对接收到的已编码的该原始帧图像及其对应的已编码的特征进行解码后,进行数据处理。
一种数据处理方法,包括:
前端设备采集视频;
针对所述视频的每个原始帧图像,根据后台设备预先提供的模型提取该原始帧图像对应的特征;
将该原始帧图像进行压缩,得到压缩帧图像;
将该压缩帧图像以及该原始帧图像对应的特征分别进行编码,并发送至所述后台设备,以使所述后台设备,对接收到的已编码的每个压缩帧图像及其对应的已编码的特征进行解码后,进行数据处理。
一种数据处理方法,包括:
后台设备接收前端设备发送的已编码的每个压缩帧图像及其对应的已编码的特征;
针对已编码的每个压缩帧图像,对该压缩帧图像解码,获得重建的压缩帧图像;
对该帧压缩图像对应的已编码的特征解码,获得该帧压缩图像对应的特征;
根据获取的所述特征对该重建的压缩帧图像进行图像质量提升,其中,所述进行图像质量提升的方法包括:超分辨率重构以及图像增强中的至少一种。
一种监控器,包括摄像头,一个或多个处理器及存储器,所述存储器存储有程序,并且被配置成由所述一个或多个处理器执行以下步骤:
获取所述摄像头采集的视频;
根据预设的方法提取所述视频中每个原始帧图像对应的特征;
针对每个原始帧图像,将该原始帧图像及其对应的所述特征分别进行编码后,发送至所述后台设备,以使所述后台设备,对接收到的已编码的每个原始帧图像进行解码,得到每个重建帧图像,对接收到的已编码的特征进行解码,得到每个原始帧图像对应的特征,根据每个重建帧图像和/或每个原始帧图像对应的特征进行数据处理
一种后台设备,包括一个或多个处理器及存储器,所述存储器存储有程序,并且被配置成由所述一个或多个处理器执行以下步骤:
接收前端设备发送的已编码的每个原始帧图像及其对应的已编码的特征;
对接收到的已编码的每个原始帧图像进行解码,得到每个重建帧图像;
对接收到的已编码的特征进行解码,得到每个原始帧图像对应的特征;
根据每个重建帧图像和/或每个原始帧图像对应的特征进行数据处理。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果:
通过本说明书提供的方法,可以在前端设备采集视频后,提取该视频的每个原始帧图像对应的特征,之后再将每个原始帧图像及其对应的特征进行编码,并发送至后台设备,而后台设备在对接收到的已编码的数据进行解码后,便可获得重建帧图像及其对应的特征。由于特征编解码过程中通常是无损的,并不会出现失真,所以后台设备得到的特征的准确率不受编解码的影响,使得在根据重建帧图像及其对应的特征进行数据处理时,数据处理准确率、效率提高。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为现有监控系统的示意图;
图2为本说明书实施例提供的一种数据处理的系统的示意图;
图3为本说明书实施例提供的第一种数据处理过程的示意图;
图4为本说明书实施例提供的另一种数据处理过程的示意图;
图5为本说明书实施例提供的第二种数据处理过程的示意图;
图6为本说明书实施例提供的特征与编码互相指导示意图;
图7a~7c为本说明书实施例提供的图像、图像编码区块以及特征提取点分布示意图;
图8为本说明书实施例提供的第三种数据处理过程的示意图;
图9为本说明书实施例提供的另一种数据处理过程的示意图;
图10为本说明书实施例提供的一种监控器的结构示意图;
图11为本说明书实施例提供的一种后台设备的结构示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
以下结合附图,详细说明本说明书各实施例提供的技术方案。
图2为说明书实施例提供的一种数据处理的系统,所述系统可包括:若干前端设备100以及后台设备102,为方便描述,在本说明书中,以一个前端设备100以及一台后台设备102为例进行说明,其中:
具体的,前端设备100可以包括:摄像头1000以及处理器1002。其中,摄像头1000用于采集视频,处理器1002则提取摄像头1000采集的视频中每个原始帧图像对应的特征。并且,由于为了节省网络资源,提高传输视频的清晰度,该处理器1002还可以采用与现有技术相同的方法对摄像头1000采集的原始视频进行编码后再传输至后台设备102,以使后台设备102在对已编码的原始视频进行解码后,获取重建视频。并可传输至显示设备进行展示,为安防人员提供视频监控信息,或者存储在数据库中用于存征等等,具体后台设备可对重建出的视频根据需要进行处理。
需要说明的是,本说明书中,原始视频为由原始帧图像组成的视频,重建视频为由重建帧图像组成的视频。
另外,由于现有技术中在根据监控视频进行数据处理时,是以后台设备获取的重建视频为输入,提取重建视频中每个重建帧图像对应的特征的,而由于在对原始视频进行编解码后可导致重建视频失真,所以现有技术利用重建视频提取的特征的准确性受编解码方式以及编解码是采用的编码参数的影响较大,使得在根据重建视频提取出的特征进行视频检索、视频分析时的准确性降低。
因此在本说明书实施例提供的数据处理系统中,处理器1002可以在摄像头1000采集得到原始视频时,先对原始视频中的每个原始帧图像进行特征提取,以避免对原始视频编解码带来的失真,导致提取出的特征的准确性下降。
之后,在针对摄像头1000采集的原始视频中的每个原始帧图像,将从该原始帧图像中提取出的特征进行编码。
最后,针对每个原始帧图像,在对该原始帧图像进行编码后,将已编码的该原始帧图像及其对应的已编码的特征一并发送至后台设备102。则后台设备102除了对已编码的每个原始帧图像进行解码,获得对应的各重建帧图像,进而得到重建视频以外,还可以对已编码的特征进行解码,获取对摄像头1000采集的原始视频的各原始帧图像进行特征提取后得到的特征。则后台设备102可以根据获得各重建帧图像以及获得的特征进行数据处理(如,视频检索、视频分析等等)。
具体的,该处理器1002可以通过与现有技术相同的方法,提取每个原始帧图像的特征,其中提取的特征可存在多种,包括:尺度不变特征变换(Scale-invariant FeatureTransform,SIFT)特征、紧凑视觉描述子(Compact Descriptor for Visual Search,CDVS)、方向梯度直方图(Histogram of Oriented Gradient,HOG)特征、Haar特征等等。该处理器1002具体提取何种特征,可以根据后台设备102具体需要根据前端设备100采集的原始视频进行何种数据处理进行选择,并且可由后台设备102预先提供给处理器1002。
例如,后台设备102需要根据原始视频进行套牌车识别,则后台设备102可以向处理器1002提供用于提取原始视频中每个原始帧图像中车辆牌照的特征的模型,则处理器1002可将摄像头1000采集的原始视频输入后台设备102提供的模型中,提取出车辆牌照的特征,并在编码后返回后台设备102。而后台设备102可以对处理器1002发送的已编码的特征进行解码后,获得每个原始帧图像对应的车辆牌照的特征,并根据获得的车辆牌照的特征进行数据处理,识别出车辆牌照信息以进行套牌车判断。
例如,后台设备102需要根据原始视频进行人脸识别,则后台设备102可以向处理器1002提供用于提取原始视频中每个原始帧图像中HOG特征以及Haar特征的模型,则处理器1002可将摄像头1000采集的原始视频输入后台设备102提供的模型中,提取出每个原始帧图像对应的HOG特征以及Haar特征,并在编码后返回后台设备102。而后台设备102可以对处理器1002发送的已编码的HOG特征以及Haar特征进行解码后,获得每个原始帧图像对应的HOG特征以及Haar特征,并根据获得的HOG特征以及Haar特征进行人脸识别。
当然,由于现有深度学习方法日趋成熟,所以在对视频进行特征提取时,通常不再仅限于提取现有的特征(如,SIFT特征、HOG特征等),并且还可以是通过深度学习得到的模型提取出的特征,所以在本说明书中该特征也可以不是现有已有的特征,而是后台设备通过深度学习确定的特征。其中,深度学习确定的可以是用于提取特征的模型,并通过该模型从视频的每个原始帧图像中提取特征,则通过该模型提取的特征即为通过深度学习确定的特征。需要说明的是,采用何种深度学习的方法训练模型以及该模型提取出何种特征,可以根据需要进行设置,本说明书对此不做限定。
在本说明书实施例中,处理器1002可以采用与现有技术中相同的方法对摄像头1000采集的原始视频进行编码。例如,采用活动图像专家组(Moving Picture ExpertsGroup,MPEG)系列标准定义的方法对视频进行编码、或者采用H.261~H.264标准定义的方法对视品进行编码。具体采用何种方式对视频进行编码可根据需要进行设置,并由后台设备102发送至处理器1002,本说明书对此不做限定。需要说明的是,该原始视频中的各原始帧图像在进行编码时所采用的编码参数可能不一致,例如,MPEG编码方式中的I帧、P帧以及B帧的编码参数可不完全相同。
另外,由于对原始视频进行编码的目的之一便是减少原始视频占用的存储空间,进而提高视频传输的效率,所以在本说明书中所述的编码可为对原始视频进行格式转换以及压缩,而解码则为解压缩以及格式转换。同理,处理器1002在对提取出的特征进行编码时,也可以是对特征进行格式转换和/或压缩,以提高特征在前端设备100与后台设备102之间的传输效率,具体的采用何种方式对特征进行编码在本说明书中不做限定。
进一步地,处理器1002在对原始视频的各原始帧图像及其对应的特征分别进行编码之后,可以将已编码的各原始帧图像和已编码的与各原始帧图像分别对应的特征一同进行打包后,将打包后的数据发送至后台设备102。或者也可以将已编码的各原始帧图像与已编码的特征分别进行打包后,发送至后台设备102。本说明书并不限定具体采用何种方式将已编码的视频以及已编码的特征发送至后台设备102中。
需要说明的是,若后台设备102仅通过解码后得到的特征进行数据处理(如,视频检索、视频分析)时,已编码的特征和已编码的各原始帧图像之间无论是否存在对应关系,对于后台设备102进行数据处理都不存在影响。而若后台设备102需要根据解码得到的特征以及解码得到的重建视频进行数据处理,且已编码的特征与已编码的各原始帧图像是分开进行打包以及发送时,则处理器1002可以通过为已编码的特征与已编码的各原始帧图像添加相同的标识,使后台设备102在进行解码后,确定每个重建帧图像及其对应的特征。
例如,假设对于视频中的一帧画面A来说,处理器提取出了该帧画面A的特征B,在分别对该帧画面A以及特征B进行编码后得到了对应的编码结果如表1所示。
数据 画面A的图像 特征B
编码结果 010010010……01 011……1
表1
则此时,处理器1002可以将各该编码结果,如,“010010010……01,011……1”一并打包后发送至后台设备102。或者,处理器1002还可根据当前时间戳,对各编码结果添加相同的标记后,再分别打包发送至后台设备102。假设处理器1002确定时间戳为1502946797,添加至编码结果中分别发送至后台设备102。当然,具体处理器1002如何将编码后的特正以及编码后的图像发送至后台设备102可根据需要设置,本说明书不做限定。
可见通过本说明书图2提供的数据处理系统,由于特征编解码过程中通常是无损的,并不会出现失真,所以后台设备得到的特征的准确率不受编解码的影响,使得在根据重建帧图像及其对应的特征进行数据处理时,数据处理准确率、效率提高。
进一步地,基于本说明书图2提供的数据处理系统,在本说明书中,还提供另外3种数据处理系统进行数据处理的方法,如图3至图9所示。
图3为本说明书实施例提供的第一种数据处理的方法,具体包括以下步骤:
S200:前端设备采集视频。
在本说明书实施例中,前端设备可与图2所述的数据处理系统中描述的一致,通过摄像头采集视频,本说明书对此不再赘述。
S202:针对所述视频中每个原始帧图像,确定该原始帧图像对应的重建帧图像。
现有技术中在对视频进行数据处理时,由于通过不同的方法可以提取出多种特征,而对应于不同的数据处理的目的(如,人脸识别、车牌识别、交通拥堵识别等等),可以采用不同的特征进行数据处理,所以若需要进行不同目的数据处理,需要提取的特征也需要相应的增加。
而在本说明书一个或多个实施例中,若需要提取的特征也需要相应的增加,则前端设备在获取原始视频对应的特征后(即,原始视频的每个原始帧图像分别对应的特征),针对每个原始帧图像可能获得大量的特征。因此,为了进一步减少需要传输的特征的存储空间,提高提取出的特征的传输效率,针对每个原始帧图像,前端设备可以进一步确定该原始帧图像的差异特征,并将将该原始帧图像及其对应的差异特征分别进行编码后,发送至后台设备,以使后台设备,对接收到的已编码的该原始帧图像及其对应的已编码的差异特征进行解码后,获得该原始帧图像对应的特征,再进行数据处理。
具体的,为方便说明以一帧原始帧图像为例进行说明,针对该原始帧图像,前端设备可采用预设的编解码方法,对该原始帧图像进行编解码,获得该原始帧图像对应的重建帧图像。
S204:从该原始帧图像及其对应的重建帧图像中分别提取特征。
在本说明书实施例中,前端设备可与图2所述的数据处理系统中描述的方法一致,针对步骤S202中的该原始帧图像,提取该帧图像对应的特征,本说明书对此不再赘述。并且可以采用相同的方法再次提取该重建帧图像对应的特征。
S206:根据分别提取的特征确定该原始帧图像对应的差异特征。
最后,在本说明书实施例中,前端设备可根据步骤S202中提取出的该帧图像对应的特征,以及该重建帧图像对应的特征,确定该帧图像对应的差异特征。
其中,该预设的编解码方法,可以与后续后台设备在接收到已编码的该原始帧图像时,用于解码的方法一致。也就是说,前端设备可以预先获取与后台设备后续解码得到的重建帧图像一致的重建帧图像,之后再通过对该重建帧图像进行特征提取,进一步确定出重建帧图像对应的特征,进而确定重建帧图像对应的特征与原始帧图像对应的特征之间的差异,即,差异特征。
S208:将该原始帧图像及其对应的所述差异特征分别进行编码,并发送至所述后台设备,以使所述后台设备,对接收到的已编码的每个原始帧图像及其对应的已编码的差异特征进行解码后,进行数据处理。
在本说明书实施例中,前端设备最后可将该编码后的原始帧图像及其对应的编码后的差异特征发送至后台设备。于是,当后台设备进行解码获取重建帧图像及其对应的差异特征之后,针对重建帧图像提取对应的特征,进而根据与该重建帧图像对应的差异特征,获得与该重建帧图像对应的原始帧图像的特征,以进行数据处理。
由于,对于步骤S204提取出的特征以及步骤S206确定出的差异特征来说,进行编码并不会造成特征的失真,也就是说编解码的过程并不会使特征出现偏差,所以后台设备通过解码可以完全的还原出前端设备确定出的差异特征。
另外,由于针对每个原始帧图像来说,该原始帧图像与对应的重建帧图像区别较小,存在的区别为在编解码过程中造成的失真带来的,所以该原始帧图像提取出的特征与重建帧图像提取出的特征差异也较小,使得确定出的差异特征所占用的存储空间较少,可以提高传输效率,进而提高数据处理效率。
基于图2至图3所示的数据处理的系统以及数据处理的方法,本说明书实施例还对应的提供一种后台设备执行的数据处理方法,如图4所示。
图4为本说明书实施例提供的一种数据处理的方法,具体包括以下步骤:
S300:后台设备接收前端设备发送的已编码的每个原始帧图像及其对应的已编码的差异特征。
S302:针对已编码的每个原始帧图像,对已编码的该原始帧图像及其对应的已编码的差异特征进行解码,得到重建帧图像以及所述差异特征。
在本说明书实施例中,该后台设备根据解码的到的各重建帧图像,获得重建视频,以及该重建视频中每个重建帧图像对应的差异特征。
S304:提取该重建帧图像对应的特征,并根据与该重建帧图像对应的所述差异特征,得到该重建帧图像对应的原始帧图像对应的特征,并根据该重建帧图像和/或该原始帧图像对应的特征进行数据处理。
在本说明书实施例中,正如图3提供的数据处理方法中所述的,后台设备在解码获取重建视频的各重建帧图像及其对应的差异特征之后,针对每个重建帧图像,可以采用与步骤S204中一致的方法提取该重建帧图像的特征,并根据与该重建帧图像对应的差异特征,获得该重建帧图像对应的原始帧图像的特征。
基于图2所述的系统,通过上述图3以及图4所述的方法进行数据处理,可见将特征提取的操作置于前端设备进行,并且是对前端设备的摄像头采集的原始视频进行特征提取,使得提取出的特征准确度较高。同时,通过确定原始帧图像与重建帧图像的差异特征的方法,减少需要传输的数据占用的存储空间,提高了传输效率,在提高前段设备与后台设备协作执行的数据处理过程的效率同时,兼顾了提取特征的准确性,使得后台设备在后续基于特征进行数据处理时的准确性提高。
在本说明书实施例中,图5为本说明书实施例提供的第二种数据处理的方法,具体包括以下步骤:
S400:前端设备采集视频。
S402:针对所述视频中每个原始帧图像,提取该原始帧图像对应的特征,并根据提取出的该原始帧图像中各区域分别出对应的特征,针对该原始帧图像中的每个区域,根据从该区域中提取出的特征,确定对该区域进行编码所需采用的编码参数,根据确定的编码参数对该区域进行编码,和/或对该原始帧图像进行编码,根据对该原始帧图像进行编码时所采用的编码参数,确定提取该原始帧图像特征时,特征提取点的分布,根据所述特征提取点的分布,提取该原始帧图像对应的特征。
S404:将已编码的该原始帧图像及其对应的已编码的特征,发送至后台设备,以使所述后台设备,对接收到的已编码的该原始帧图像及其对应的已编码的特征进行解码后,进行数据处理。
在本说明书实施例中,为方便描述,以前端设备在采集的原始视频中的一帧原始帧图像为例进行说明。
前端设备可以根据对原始视频进行编码时所采用的编码参数,确定提取特征时的特征点分布,或者也可以根据对该视频进行特征提取时,针对该原始帧图像中的每个区域,根据从该区域中提取出的特征,确定对该区域进行编码所需采用的编码参数,进而提高提取的特征的效率以及进行编码的效率。也就是说,以编码以及提取特征时分别产生的信息,对特征的提取以及编码相互进行指导,如图6所示。
分别以进行编码时产生的信息指导特征提取,以及提取特征时产生的信息对编码进行指导进行说明。
具体的,当以进行编码时产生的信息指导特征提取时,针对步骤S400采集的视频中的每个原始帧图像,由于在对该原始帧图像的不同区域包含的图像不同,而不同图像可提取出的特征是不一致的,如,纹理多的区域纹理特征对应的数值可能较高,红色区域的颜色特正好够你对应的RGB数值中的R数值较高等等。
如图7a所示,可见图7a中为一个苹果在纯黑背景中的图像。以其中的a1~a3,3各区域为例进行说明,以边界特征来说,区域其中a1区域包含苹果与背景的边界,而a2以及a3区域中并不包含边界,以纹理特征来说a2区域包含苹果的表面纹理,a3区域由于是纯黑北京,所以包含背景纹理特征的概率较小,a1区域包含两者的纹理特征,以色彩信息来说a1包含红色特征以及黑色特征、a2包含红色特征、a3包含黑色特征。以偏向保留图像纹理进行编码的方式为例,在对该图像进行编码时,a2区域的整体以及a1区域包含苹果的部分可能会被划分为较细致的编码块并以每一个区块包含的图像信息进行编码,从而使得对该图像的编码结果可以保留较多的纹理信息,如图7b所示。
则当前端设备需要提取图像的纹理特征时,可以根据在对该图像进行编码时的采用的编码块划分参数,确定待提取特征的点的分布,如图7c所示。例如,假设编码块划分参数包括划分起始点以及编码块边长,则在确定提取特征的点时,以编码块边长从小到大的顺序,对编码块边长从较小的区域多布置特征提取点。当然,具体如何确定特征提取点的分布,本说明书不做限定。
同理,在现有的视频编码技术中,对于每个原始帧图像的编码块可采用不同的量化参数(Quantity parameter,QP)进行编码,QP越高表示此处图像在经过编解码后损失的图像信息越多,QP越低表示损失的图像信息越少。进而前端设备可以确定QP高的区域表示该区域的图像重要性较低,属于即使损失信息较多也可接受的,所以可减少从该区域提取出的特征,反之亦然。
当然,由于现有编码方式中,均基于提高图像/视频的压缩率的同时,减少图像信息的损失,所以则在进行特征提取时,也可以提高编码对象较为集中区域的特征点的密度,而较少编码对象较为稀疏区域的特征点的密度。具体的,本说明书中前端设备可以通过进行编码时的划分区域以及QP中的至少一种,确定进行特征提取时特征点的分布,当然本说明书并不限定采用在编码时产生的其他参数,指导进行特征提取时特征点的选择。
进一步地,当以进行特征提取时产生的信息指导视频编码时,与上述描述同理,对于每个原始帧图像,在该原始帧图像中特征较丰富的图像区域,前端设备可以通过较为密集的特征点提取特征,则在对该帧图像进行编码时,前端设备也可根据特征提取点的分布,确定该原始帧图像进行编码时所采用的编码参数,以进行编码。
例如,继续以提取纹理特征纹理进行说明,假设对图7a提取特征后,获取的特征分布如图7c所示,则前端设备可以根据提取出的特征,对a2区域采用较为细致的划分区域以及较低的QP,进行编码,等等。
需要说明的是,上述对该原始帧图像进行编码时所采用的编码参数可包括:编码块划分参数、量化参数、变换方法参数、熵编码参数、后处理参数中的至少一种,当然,本说明书对采用何种编码参数并不做限定。
其中,编码块划分参数可以包括:编码块的尺寸参数、帧内编码的参数、帧间编码的参数、帧内编码时的预测方向的参数、帧间编码时选择参考帧的参数、帧间编码时搜索匹配块的范围参数、帧间编码时搜索匹配块的方法、帧间编码时搜索匹配块起始点选择参数、帧间编码时的插值精度等等。变换方法参数可包括:变换块的尺寸参数、变换方法的选择参数、变换核的选择参数等等。变换方法可采用与现有技术相同的方法,如,离散余弦变换(Discrete Cosine Transform,DCT)、离散正弦变换(Discrete Sine Transform,DST)、小波变换(Wavelet Transform,WT)等等,本说明书对于具体采用何种变换方法不做限定。量化参数可包括:标量参数、矢量参数、自适应量化参数、量化步长等等。熵编码参数可包括:变长编码参数、算术编码参数以及熵编码动态模型中的参数等等。后处理参数可包括:去块滤波器(deblocking filter)的参数、采用样本自适应偏移方法时采用的参数(如,偏移强度等)。
例如,当原始帧图像中某一区域的纹理较为丰富时,则在该区域内特征提取点的分布较为密集,可根据特征提取点的分布,确定编码块划分参数(如,确定采用帧内编码时选择的参数)对该区域进行帧内编码,当原始帧图像中某一区域的纹理较为单一时,则可采用帧间编码的方式,确定帧间编码的参数,并从该原始帧图像的前一帧中,选择匹配的区块,再根据该选择的区块对应的编码作为参考,对该区域进行编码。
另外,上述以编码指导特征提取时,所述的编码参数中的编码块划分参数,和以特征指导采用何种编码参数进行编码时,所述的编码参数中的编码块划分参数,可以是相同的编码块划分参数,也可以是不同的编码块划分参数,本说明书对此不做限定。
更进一步地,在本说明书实施例中,前端设备可以先对该原始帧图像分别进行编码以及提取特征,再根据进行编码时所采用的编码参数,优化提取特征时的特征点的分布,并重新对该原始帧图像进行特征提取,以及根据提取出的特征,确定进行编码时采用的编码参数,重新对该原始帧图像进行编码,最后将第二次进行编码的结果,以及编码后第二次提取出的特征发送至后台设备。
当然,上述过程也可进行多次,并在两次提取出的特征的差异小于预设阈值时,停止再次进行特征提取。同理,在两次编码后的编码结果测差异下雨预设阈值时,停止再次进行编码。可见,上述过程类似于模型训练中的迭代过程,可以优化前端设备的编码结果以及提取出的特征的准确性。
进一步地,在本说明书中,前端设备针对该原始帧图像中的每个区域,根据从该区域中提取出的特征,确定对该区域进行编码所需采用的编码参数时,也可通过前一原始帧图像的各区域中提取的特征,确定对该区域进行编码所需采用的编码参数。
具体的,前端设备可针对该原始帧图像中的每个区域,将该区域作为待编码区域,根据从该待编码区域中提取出的特征,以及从前一原始帧图像的各区域中提取的特征,确定前一原始帧图像中与该待编码区域相似的区域,将从所述前一原始帧图像中确定出的区域对应的编码参数,确定为对该待编码区域进行编码所需采用的编码参数。
其中,前一原始帧图像中与该待编码区域相似的区域的面积与该待编码区域的面积可以不一致。例如,以前一原始帧图像中半个像素的区域对应的编码参数,确定该待编码区域进行编码所需采用的编码参数。也就是说,前一原始帧图像中与该待编码区域相似的区域的面积即可大于该待编码区域的面积,也可小于该待编码区域的面积,或者面积可以相同,本说明书对此不做限定。
当然,本说明书中并不限定采用何种方法,根据前一原始帧图像的各区域中提取的特征,确定前一原始帧图像中与该待编码区域相似的区域。
另外,基于图5所述的数据处理过程,后台设备可以图2所示的数据处理的系统中所述的后台设备一致,通过解码,获得重建视频以及对应的特征。在图5所述的数据处理过程中,后台设备并不需要如图4所述的数据处理过程中所述的执行额外的操作,本说明书对此服务器执行的过程不再赘述。
更进一步地,由于后台设备根据获得的重建视频,从重建视频提取特征,并根据特征进行视频检索或者视频分析的应用场景下,重建视频中的有价值信息相对于无价值信息来说通常较少。例如,对于检测是否存在套牌车的后台设备来说,其获取的重建视频中,仅有车辆的图像信息是有利用价值的,而其他的图像信息,如街道、行人、自行车等等对应的图像均是无价值的信息。这就使得后台设备根据获得的重建视频中的大部分内容都是无价值内容。
基于此本说明书实施例提供第三种数据处理的方法,如图8所示。
图8为本说明书实施例提供的第三种数据处理的方法,具体包括以下步骤:
S500:前端设备采集视频。
S502:针对所述视频的每个原始帧图像,根据后台设备预先提供的模型提取该原始帧图像对应的特征。
S504:将该原始帧图像进行压缩,得到压缩帧图像。
S506:将该压缩帧图像以及该原始帧图像对应的特征分别进行编码,并发送至所述后台设备,以使所述后台设备,对接收到的已编码的每个压缩帧图像及其对应的已编码的特征进行解码后,进行数据处理。
在本说明书实施例中,前端设备可以在提取步骤S500中采集的原始视频的每个原始帧图像的特征之后,对该原始视频的每个原始帧图像进行压缩后再编码,进一步减少每个原始帧图像占用的存储空间,提高数据传输效率。
其中,对每个原始帧图像进行压缩方法可以是对每个原始帧图像进行下采样,当然,本说明书并不限定具体采用何种方式对每个原始帧图像进行压缩,该压缩方式可以是由后台设备预先提供给该前端设备的。
另外在步骤S502中,前端设备采用的模型,可为后台设备提供的用于提取进行图像质量提升的特征的模型。其中,图像质量提升的方法可包括:超分辨率重构以及图像增强中的至少一种。
基于图8所述的数据处理过程,本说明书实施例还对应提供一种后台设备执行的数据处理过程,如图9所示。
图9为本说明书实施例提供的另一种数据处理过程,具体包括以下步骤:
S600:后台设备接收前端设备发送的已编码的每个压缩帧图像及其对应的已编码的特征。
S602:针对已编码的每个压缩帧图像,对该压缩帧图像解码,获得重建的压缩帧图像。
S604:对该帧压缩图像对应的已编码的特征解码,获得该帧压缩图像对应的特征。
S606:根据获取的所述特征对该重建的压缩帧图像进行图像质量提升。
在本说明书实施例中,后台设备可预先训练得到提取用于进行图像质量提升的特征的模型,并提供给所述前端设备。并且,可以采用无监督学习的方法,对该模型进行训练。
具体的,预先获得各样本视频及其对应的压缩视频,针对每个样本视频,采用待训练的模型提取该样本视频的特征,并根据提取的特征对该样本视频对应的压缩视频进行图像质量提升,判断图像质量提升后的视频与该样本视频的差异是否小于预设阈值,若是,则将所述模型提供给所述前端设备,若否,则根据所述差异调整所述模型中的参数,得到调整后的模型,并通过调整后的模型重新提取该样本视频的特征,以重新对该样本视频对应的压缩视频进行图像质量提升,并继续判断重新进行图像质量提升后的视频与该样本视频的差异是否小于预设阈值,直至所述差异达到预设阈值为止。
其中,图像质量提升的方法可包括:超分辨率重构以及图像增强中的至少一种。后台设备根据该模型提取的特征,可对压缩视频进行超分辨率重构或者进行图像增强等,以提升压缩视频的图像质量。
也就是说,通过无监督学习的方法,训练得到提取特征的模型,该模型所提取出的特征,可用于该后台设备对压缩视频进行图像质量提升,使得后台设备可获得较高分辨率的视频或者得到经过图像增强的视频。
其中,后台设备在判断图像质量提升后的视频与原始视频的差异时,可以采用与现有技术相同的方法,针对图像质量提升后的视频中的每帧图像,判断该帧图像与样本视频中的原始帧图像的色彩、形状等之间的差异,本说明书对此不做限定。
另外,在本说明书提供的图3至图9所述的方法,均可以通过图2所示的数据处理系统执行。其中,图8以及图9中前端设备通过训练得到的模型,提取出的特征,可以是上文中提到的SIFT特征、CDVS特征、HOG特征以及Haar特征中的一种或者多种,当然,也可以不是上述SIFT特征、CDVS特征、HOG特征以及Haar特征。
需要说明的是,本说明书实施例所提供方法的各步骤的执行主体均可以是同一设备,或者,该方法也由不同设备作为执行主体。比如,步骤S200和步骤S202的执行主体可以为设备1,步骤S204的执行主体可以为设备2;又比如,步骤S200和骤S202的执行主体可以为设备2,步骤S204的执行主体可以为设备1;等等。上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
基于图2所示数据处理的系统方法,本说明书实施例还对应提供一种监控器的结构示意图,如图10所示。
图10为本说明书实施例提供的一种监控器的结构示意图,所述监控器,包括摄像头,一个或多个处理器及存储器,所述存储器存储有程序,并且被配置成由所述一个或多个处理器执行以下步骤:
获取所述摄像头采集的视频;
根据预设的方法提取所述视频中每个原始帧图像对应的特征;
针对每个原始帧图像,将该原始帧图像及其对应的所述特征分别进行编码后,发送至所述后台设备,以使所述后台设备,对接收到的已编码的每个原始帧图像进行解码,得到每个重建帧图像,对接收到的已编码的特征进行解码,得到每个原始帧图像对应的特征,根据每个重建帧图像和/或每个原始帧图像对应的特征进行数据处理。
图11为本说明书实施例对应提供的一种后台设备的结构示意图,该后台设备,包括一个或多个处理器及存储器,所述存储器存储有程序,并且被配置成由所述一个或多个处理器执行以下步骤:
接收前端设备发送的已编码的每个原始帧图像及其对应的已编码的特征;
对接收到的已编码的每个原始帧图像进行解码,得到每个重建帧图像;
对接收到的已编码的特征进行解码,得到每个原始帧图像对应的特征;
根据每个重建帧图像和/或每个原始帧图像对应的特征进行数据处理。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于本申请实施例提供的移动终端以及服务器而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (22)

1.一种数据处理的系统,包括:若干前端设备以及后台设备,其中:
所述前端设备,采集视频,并提取所述视频中每个原始帧图像对应的特征;针对每个原始帧图像,将该原始帧图像及其对应的所述特征分别进行编码后,发送至所述后台设备;
所述后台设备,对接收到的已编码的每个原始帧图像进行解码,得到每个重建帧图像,对接收到的已编码的特征进行解码,得到每个原始帧图像对应的特征,根据每个重建帧图像和/或每个原始帧图像对应的特征进行数据处理。
2.如权利要求1所述的系统,所述前端设备包括:摄像头。
3.如权利要求1所述的系统,所述前端设备,针对每个原始帧图像,确定该原始帧图像对应的重建帧图像,从该原始帧图像及其对应的重建帧图像中分别提取特征,根据分别提取的特征确定差异特征,将该原始帧图像及其对应的所述差异特征分别进行编码,并发送至所述后台设备。
4.如权利要求3所述的系统,所述后台设备,针对接收到的已编码的每个原始帧图像,对该已编码的原始帧图像及其对应的已编码的差异特征解码,获得重建帧图像以及所述差异特征,提取所述重建帧图像对应的特征,通过获得的所述差异特征以及所述重建帧图像对应的特征,得到该原始帧图像对应的特征。
5.如权利要求1所述的系统,所述前端设备,针对每个原始帧图像,提取该原始帧图像中各区域分别对应的特征,针对该原始帧图像中的每个区域,根据从该区域中提取出的特征,确定对该区域进行编码所需采用的编码参数,根据确定的编码参数对该区域进行编码;和/或
对该原始帧图像进行编码,根据对该原始帧图像进行编码时所采用的编码参数,确定提取该原始帧图像的特征时,特征提取点的分布,根据所述特征提取点的分布,提取该原始帧图像对应的特征。
6.如权利要求5所述的系统,所述编码参数包括:编码块划分参数、量化参数、变换方法参数、熵编码参数、后处理参数中的至少一种。
7.如权利要求5所述的系统,所述前端设备,针对该原始帧图像中的每个区域,将该区域作为待编码区域,根据从该待编码区域中提取出的特征,以及从前一原始帧图像的各区域中提取的特征,确定前一原始帧图像中与该待编码区域相似的区域,将从所述前一原始帧图像中确定出的区域对应的编码参数,确定为对该待编码区域进行编码所需采用的编码参数。
8.如权利要求1所述的系统,所述前端设备,针对每个原始帧图像,根据所述后台设备提供的模型提取该原始帧图像对应的特征,并对该原始帧图像进行压缩,得到压缩帧图像,将该压缩帧图像以及所述特征分别进行编码后,发送至所述后台设备。
9.如权利要求8所述的系统,所述后台设备,预先获得各样本视频及其对应的压缩视频,针对每个样本视频,采用待训练的模型提取该样本视频的特征,并根据提取的特征对该样本视频对应的压缩视频进行图像质量提升,判断图像质量提升后的视频与该样本视频的差异是否小于预设阈值,若是,则将所述模型提供给所述前端设备,若否,则根据所述差异调整所述模型中的参数,得到调整后的模型,并通过调整后的模型重新提取该样本视频的特征,以重新对该样本视频对应的压缩视频进行图像质量提升,并继续判断重新进行图像质量提升后的视频与该样本视频的差异是否小于预设阈值,直至所述差异达到预设阈值为止;其中,所述图像质量提升的方法包括:超分辨率重构以及图像增强中的至少一种。
10.如权利要求8所述的系统,所述后台设备,针对接收到的已编码的每个压缩帧图像,对该帧压缩图像解码,获得重建的压缩帧图像,对该帧压缩图像对应的已编码的特征解码,获得该帧压缩图像对应的特征,根据获取的所述特征对该重建的压缩帧图像进行图像质量提升。
11.如权利要求1至10中任一项所述的系统,所述前端设备针对每帧原始图像提取的特征包括以下至少一种:尺度不变特征变换SIFT特征、紧凑视觉描述子CDVS、通过深度学习确定的特征。
12.一种数据处理的方法,包括:
前端设备采集视频;
针对所述视频中每个原始帧图像,确定该原始帧图像对应的重建帧图像;
从该原始帧图像及其对应的重建帧图像中分别提取特征;
根据分别提取的特征确定该原始帧图像对应的差异特征;
将该原始帧图像及其对应的所述差异特征分别进行编码,并发送至所述后台设备,以使所述后台设备,对接收到的已编码的每个原始帧图像及其对应的已编码的差异特征进行解码后,进行数据处理。
13.一种数据处理的方法,包括:
后台设备接收前端设备发送的已编码的每个原始帧图像及其对应的已编码的差异特征;
针对已编码的每个原始帧图像,对已编码的该原始帧图像及其对应的已编码的差异特征进行解码,得到重建帧图像以及所述差异特征;
提取该重建帧图像对应的特征,并根据与该重建帧图像对应的所述差异特征,得到该重建帧图像对应的原始帧图像对应的特征,并根据该重建帧图像和/或该原始帧图像对应的特征进行数据处理。
14.一种数据处理的方法,包括:
前端设备采集视频;
针对所述视频中每个原始帧图像,提取该原始帧图像对应的特征,并根据提取出的该原始帧图像中各区域分别出对应的特征,针对该原始帧图像中的每个区域,根据从该区域中提取出的特征,确定对该区域进行编码所需采用的编码参数,根据确定的编码参数对该区域进行编码,和/或对该原始帧图像进行编码,根据对该原始帧图像进行编码时所采用的编码参数,确定提取该原始帧图像特征时,特征提取点的分布,根据所述特征提取点的分布,提取该原始帧图像对应的特征;
将已编码的该原始帧图像及其对应的已编码的特征,发送至后台设备,以使所述后台设备,对接收到的已编码的该原始帧图像及其对应的已编码的特征进行解码后,进行数据处理。
15.如权利要求14所述的方法,所述编码参数包括:编码块划分参数、量化参数、变换方法参数、熵编码参数、后处理参数中的至少一种。
16.如权利要求14所述的方法,确定对该区域进行编码所需采用的编码参数,具体包括:
针对该原始帧图像中的每个区域,将该区域作为待编码区域,根据从该待编码区域中提取出的特征,以及从前一原始帧图像的各区域中提取的特征,确定前一原始帧图像中与该待编码区域相似的区域,将从所述前一原始帧图像中确定出的区域对应的编码参数,确定为对该待编码区域进行编码所需采用的编码参数。
17.一种数据处理方法,包括:
前端设备采集视频;
针对所述视频的每个原始帧图像,根据后台设备预先提供的模型提取该原始帧图像对应的特征;
将该原始帧图像进行压缩,得到压缩帧图像;
将该压缩帧图像以及该原始帧图像对应的特征分别进行编码,并发送至所述后台设备,以使所述后台设备,对接收到的已编码的每个压缩帧图像及其对应的已编码的特征进行解码后,进行数据处理。
18.如权利要求17所述的方法,所述模型为所述后台设备训练得到的提取用于进行图像质量提升的特征的模型,其中,所述图像质量提升的方法包括:超分辨率重构以及图像增强中的至少一种。
19.一种数据处理方法,包括:
后台设备接收前端设备发送的已编码的每个压缩帧图像及其对应的已编码的特征;
针对已编码的每个压缩帧图像,对该压缩帧图像解码,获得重建的压缩帧图像;
对该帧压缩图像对应的已编码的特征解码,获得该帧压缩图像对应的特征;
根据获取的所述特征对该重建的压缩帧图像进行图像质量提升,其中,所述图像质量提升的方法包括:超分辨率重构以及图像增强中的至少一种。
20.如权利要求18或19所述的方法,所述方法还包括:
所述后台设备,预先训练得到提取用于进行图像质量提升的特征的模型,并提供给所述前端设备,其中,所述后台设备采用下述方法训练所述模型;
预先获得各样本视频及其对应的压缩视频,针对每个样本视频,采用待训练的模型提取该样本视频的特征,并根据提取的特征对该样本视频对应的压缩视频进行图像质量提升,判断图像质量提升后的视频与该样本视频的差异是否小于预设阈值,若是,则将所述模型提供给所述前端设备,若否,则根据所述差异调整所述模型中的参数,得到调整后的模型,并通过调整后的模型重新提取该样本视频的特征,以重新对该样本视频对应的压缩视频进行图像质量提升,并继续判断重新进行图像质量提升后的视频与该样本视频的差异是否小于预设阈值,直至所述差异达到预设阈值为止。
21.一种监控器,包括摄像头,一个或多个处理器及存储器,所述存储器存储有程序,并且被配置成由所述一个或多个处理器执行以下步骤:
获取所述摄像头采集的视频;
根据预设的方法提取所述视频中每个原始帧图像对应的特征;
针对每个原始帧图像,将该原始帧图像及其对应的所述特征分别进行编码后,发送至所述后台设备,以使所述后台设备,对接收到的已编码的每个原始帧图像进行解码,得到每个重建帧图像,对接收到的已编码的特征进行解码,得到每个原始帧图像对应的特征,根据每个重建帧图像和/或每个原始帧图像对应的特征进行数据处理。
22.一种后台设备,包括一个或多个处理器及存储器,所述存储器存储有程序,并且被配置成由所述一个或多个处理器执行以下步骤:
接收前端设备发送的已编码的每个原始帧图像及其对应的已编码的特征;
对接收到的已编码的每个原始帧图像进行解码,得到每个重建帧图像;
对接收到的已编码的特征进行解码,得到每个原始帧图像对应的特征;
根据每个重建帧图像和/或每个原始帧图像对应的特征进行数据处理。
CN201710810517.0A 2017-09-11 2017-09-11 一种数据处理的系统、方法及装置 Pending CN107566798A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710810517.0A CN107566798A (zh) 2017-09-11 2017-09-11 一种数据处理的系统、方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710810517.0A CN107566798A (zh) 2017-09-11 2017-09-11 一种数据处理的系统、方法及装置

Publications (1)

Publication Number Publication Date
CN107566798A true CN107566798A (zh) 2018-01-09

Family

ID=60979904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710810517.0A Pending CN107566798A (zh) 2017-09-11 2017-09-11 一种数据处理的系统、方法及装置

Country Status (1)

Country Link
CN (1) CN107566798A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109451313A (zh) * 2018-12-14 2019-03-08 深圳市网心科技有限公司 一种视频编码方法、系统及电子设备和存储介质
CN110149517A (zh) * 2018-05-14 2019-08-20 腾讯科技(深圳)有限公司 视频处理的方法、装置、电子设备及计算机存储介质
CN110574373A (zh) * 2017-05-31 2019-12-13 Lg 电子株式会社 在图像编码系统中基于帧内预测执行图像解码的方法和设备
CN111464790A (zh) * 2020-04-21 2020-07-28 济南浪潮高新科技投资发展有限公司 一种基于深度学习的工业环境监控视频处理方法及系统
CN111897997A (zh) * 2020-06-15 2020-11-06 济南浪潮高新科技投资发展有限公司 一种基于ros操作系统的数据处理方法及系统
CN112673625A (zh) * 2018-09-10 2021-04-16 华为技术有限公司 混合视频以及特征编码和解码
CN112767240A (zh) * 2021-01-22 2021-05-07 广州光锥元信息科技有限公司 提高人像视频美化处理效率的方法、装置及移动端

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030097254A1 (en) * 2001-11-06 2003-05-22 The Regents Of The University Of California Ultra-narrow bandwidth voice coding
US20030235248A1 (en) * 2002-06-21 2003-12-25 Changick Kim Hybrid technique for reducing blocking and ringing artifacts in low-bit-rate coding
CN102223536A (zh) * 2011-06-10 2011-10-19 清华大学 基于压缩感知的分布式视频编解码系统及其方法
CN103096076A (zh) * 2012-11-29 2013-05-08 中国科学院研究生院 视频编码方法
CN103914857A (zh) * 2012-12-28 2014-07-09 中国科学院沈阳自动化研究所 一种面向边缘特征保持的图像压缩方法
CN105959705A (zh) * 2016-05-10 2016-09-21 武汉大学 一种面向可穿戴设备的视频直播方法
CN107027029A (zh) * 2017-03-01 2017-08-08 四川大学 基于帧率变换的高性能视频编码改进方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030097254A1 (en) * 2001-11-06 2003-05-22 The Regents Of The University Of California Ultra-narrow bandwidth voice coding
US20030235248A1 (en) * 2002-06-21 2003-12-25 Changick Kim Hybrid technique for reducing blocking and ringing artifacts in low-bit-rate coding
CN102223536A (zh) * 2011-06-10 2011-10-19 清华大学 基于压缩感知的分布式视频编解码系统及其方法
CN103096076A (zh) * 2012-11-29 2013-05-08 中国科学院研究生院 视频编码方法
CN103914857A (zh) * 2012-12-28 2014-07-09 中国科学院沈阳自动化研究所 一种面向边缘特征保持的图像压缩方法
CN105959705A (zh) * 2016-05-10 2016-09-21 武汉大学 一种面向可穿戴设备的视频直播方法
CN107027029A (zh) * 2017-03-01 2017-08-08 四川大学 基于帧率变换的高性能视频编码改进方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUANG TIE-JUN;TIAN YONG-HONG: "Towards a multilingual,multimedia and multimodal digital library platform", 《JOURNAL OF ZHEJIANG UNIVERSITY SCIENCE》 *
田永鸿;黄铁军;高文: "基于多粒度树模型的Web站点描述及挖掘算法", 《2004 JOURNAL OF SOFTWARE 软件学报》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110574373A (zh) * 2017-05-31 2019-12-13 Lg 电子株式会社 在图像编码系统中基于帧内预测执行图像解码的方法和设备
US11190763B2 (en) 2017-05-31 2021-11-30 Lg Electronics, Inc. Method and device for performing image decoding on basis of intra prediction in image coding system
US11570431B2 (en) 2017-05-31 2023-01-31 Lg Electronics Inc. Method and device for performing image decoding on basis of intra prediction in image coding system
CN110149517A (zh) * 2018-05-14 2019-08-20 腾讯科技(深圳)有限公司 视频处理的方法、装置、电子设备及计算机存储介质
CN112673625A (zh) * 2018-09-10 2021-04-16 华为技术有限公司 混合视频以及特征编码和解码
CN109451313A (zh) * 2018-12-14 2019-03-08 深圳市网心科技有限公司 一种视频编码方法、系统及电子设备和存储介质
CN111464790A (zh) * 2020-04-21 2020-07-28 济南浪潮高新科技投资发展有限公司 一种基于深度学习的工业环境监控视频处理方法及系统
CN111897997A (zh) * 2020-06-15 2020-11-06 济南浪潮高新科技投资发展有限公司 一种基于ros操作系统的数据处理方法及系统
CN112767240A (zh) * 2021-01-22 2021-05-07 广州光锥元信息科技有限公司 提高人像视频美化处理效率的方法、装置及移动端
CN112767240B (zh) * 2021-01-22 2023-10-20 广州光锥元信息科技有限公司 提高人像视频美化处理效率的方法、装置及移动端

Similar Documents

Publication Publication Date Title
CN107566798A (zh) 一种数据处理的系统、方法及装置
CN110225341B (zh) 一种任务驱动的码流结构化图像编码方法
CN101049006B (zh) 图像编码方法及装置以及图像解码方法及装置
WO2021232969A1 (zh) 动作识别方法、装置、设备及存储介质
CN108882020A (zh) 一种视频信息处理方法、装置及系统
WO2021050007A1 (en) Network-based visual analysis
US9420299B2 (en) Method for processing an image
CN106937111B (zh) 优化图像压缩质量的方法及系统
CN110691250B (zh) 结合块匹配和串匹配的图像压缩装置
Lu et al. Learning a deep vector quantization network for image compression
KR20210092588A (ko) 영상 처리 장치 및 방법
CN116233445B (zh) 视频的编解码处理方法、装置、计算机设备和存储介质
Wang et al. End-to-end compression towards machine vision: Network architecture design and optimization
Vázquez et al. Using normalized compression distance for image similarity measurement: an experimental study
CN103020138A (zh) 一种视频检索的方法和装置
CN111898638B (zh) 融合不同视觉任务的图像处理方法、电子设备及介质
WO2022133753A1 (zh) 点云编解码方法与系统、及点云编码器与点云解码器
CN104581158A (zh) 量化表、图像压缩处理方法、装置、终端及图像搜索系统
CN114598883A (zh) 点云属性的预测方法、编码器、解码器及存储介质
Deguerre et al. Object detection in the DCT domain: Is luminance the solution?
Liu et al. End-to-end image compression method based on perception metric
Xing et al. End-edge-cloud collaborative system: A video big data processing and analysis architecture
CN113691818B (zh) 视频目标检测方法、系统、存储介质、计算机视觉终端
CN111953973B (zh) 支持机器智能的通用视频压缩编码方法
WO2022183346A1 (zh) 特征数据的编码方法、解码方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180109