CN113315969B - 一种适用于图像传输的数据处理方法、系统和存储介质 - Google Patents

一种适用于图像传输的数据处理方法、系统和存储介质 Download PDF

Info

Publication number
CN113315969B
CN113315969B CN202110860704.6A CN202110860704A CN113315969B CN 113315969 B CN113315969 B CN 113315969B CN 202110860704 A CN202110860704 A CN 202110860704A CN 113315969 B CN113315969 B CN 113315969B
Authority
CN
China
Prior art keywords
definition video
data
video image
image
image block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110860704.6A
Other languages
English (en)
Other versions
CN113315969A (zh
Inventor
沈凌骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Green Snow Co ltd
Original Assignee
Hangzhou Zimo Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Zimo Network Technology Co ltd filed Critical Hangzhou Zimo Network Technology Co ltd
Priority to CN202110860704.6A priority Critical patent/CN113315969B/zh
Publication of CN113315969A publication Critical patent/CN113315969A/zh
Application granted granted Critical
Publication of CN113315969B publication Critical patent/CN113315969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Abstract

本发明提供一种适用于图像传输的数据处理方法、系统和存储介质,所述方法包括:由发送方的编码器获取高清视频图像帧;将当前帧的高清视频图像切割成m个小图像块,并且对每个小图像块计算对应的唯一指纹数据;并分别与上一帧高清视频图像相同位置的小图像块进行指纹比对;筛选出指纹比对不一致的小图像块进行数据编码处理得到多个编码数据,并发送给接收方;由接收方的解码器接收多个编码数据并进行解码还原得到对应的小图像块;判断小图像块是否齐全,如果不齐全,从上一帧高清视频图像找出空缺位置对应的小图像块进行补全;将补全后的小图像块拼接成完整高清视频图像并显示。本发明降低了视频帧的延迟时间,以保证视频帧的实时性。

Description

一种适用于图像传输的数据处理方法、系统和存储介质
技术领域
本发明视频图像编解码技术领域,尤其涉及一种适用于图像传输的数据处理方法、系统和存储介质。
背景技术
目前,高清视频应用场景已经被广泛应用,4K、8K甚至更高分辨率也逐渐普及,在赛事直播、转播、智能穿戴设备远程控制、云游戏等场景中,都需要高分辨率低延时的实时图像传输技术进行支持。
以2K分辨率的视频为例,每一帧的视频图像尺寸为2560*1440,在不进行任何压缩编码的情况下,大小为2560*1440*3*8/8/1024/1024=10.547M。如果以60帧/秒的速度进行采集和播放,那么每秒产生的数据量将达到10.547*60=632.8M。所以目前普遍会采用对视频数据进行编码压缩处理,以达到减小数据包大小的目的。
但是目前主流使用硬件编解码芯片的方案来解决这个问题,但由于硬件芯片的封装和通用性考虑,它在满足高清视频编码的需求同时,也很难直接进行灵活的裁剪和针对性的优化需求,因此导致延时较大,无法满足低延时场景下的实时要求。
发明内容
为了解决上述至少一个技术问题,本发明提出了一种适用于图像传输的数据处理方法、系统和存储介质,实现了对单一画面帧过大造成的编码延迟大的问题进行改进,在提供高清视频编解码的基础上,极大的降低了视频帧的延迟时间,以保证视频帧的实时性。
本发明第一方面提出了一种适用于图像传输的数据处理方法,所述方法包括:
由发送方的编码器获取高清视频图像帧;
将当前帧的高清视频图像按照预设的切割方式切割成m个相同尺寸的小图像块,获得小图像块数据,并且对每个小图像块数据计算对应的唯一指纹数据;
对当前帧的高清视频图像切割后的m个小图像块数据进行并行处理,并分别与上一帧高清视频图像相同位置的小图像块数据依照唯一指纹数据进行指纹比对;
从当前帧的高清视频图像中筛选出指纹比对不一致的小图像块数据进行数据编码处理得到多个编码数据,收集多个编码数据组成数据队列并通过网络发送给接收方;
在所述接收方的解码器接收到所述数据队列后,对其中的多个编码数据进行并行解码处理还原得到对应的小图像块数据;
判断还原得到的小图像块数据是否齐全,如果不齐全,则确定出空缺位置,从上一帧高清视频图像找出所述空缺位置对应的小图像块数据进行补全;
将补全后的小图像块数据进行拼接,生成完整的高清视频图像并进行显示。
本方案中,所述从当前帧的高清视频图像中筛选出指纹比对不一致的小图像块数据进行数据编码处理得到多个编码数据,收集多个编码数据组成数据队列并通过网络发送给接收方,包括:从当前帧的高清视频图像中筛选出指纹比对不一致的小图像块数据进行数据编码处理得到多个编码数据;收集多个编码数据以及对应的图像块位置标签组成数据队列并通过网络发送给接收方;所述从上一帧高清视频图像找出所述空缺位置对应的小图像块数据进行补全,包括:根据接收的图像块位置标签分析出空缺的图像块位置标签,然后从上一帧高清视频图像找出所述空缺的图像块位置标签对应的小图像块数据进行补全。
本方案中,由发送方的编码器获取高清视频图像帧之前,包括:由高清图像采集器采集高清视频图像帧;对所述高清视频图像帧进行哈希计算得到第一哈希值;将所述高清视频图像帧与第一哈希值一并发送给编码器;由发送方的编码器获取高清视频图像帧,具体包括:由所述编码器接收到第一哈希值和所述高清视频图像帧,并重新对所述高清视频图像帧进行哈希计算得到第二哈希值;比对计算得到的第二哈希值与接收到的第一哈希值是否一致,如果一致,则完整性验证通过,并执行将当前帧的高清视频图像按照预设的切割方式切割成m个相同尺寸的小图像块,获得小图像块数据,并且对每个小图像块数据计算对应的唯一指纹数据的步骤;如果不一致,则完整性验证失败,并提示错误码。
本方案中,所述方法还包括:
在预设的切割方式下,由所述接收方连续接收到预设数量的高清视频图像;
由所述接收方根据预设数量的高清视频图像,确定出活动的目标物以及所述目标物在高清视频图像尺寸内的活动范围;
基于所述目标物在高清视频图像尺寸内的活动范围更新切割方式;
并将更新后的切割方式同步给所述发送方,并使所述发送方按照更新后的切割方式进行图像切割处理。
本方案中,基于所述目标物在高清视频图像尺寸内的活动范围更新切割方式,具体包括:
当高清视频图像的形状为矩形,确定高清视频图像的纵向最小切割尺寸和横向最小切割尺寸;
沿矩形高清视频图像纵向方向,分别取出目标物活动范围的上活动边界与矩形上边之间的第一纵向间隔,以及目标物活动范围的下活动边界与矩形下边之间的第二纵向间隔;
分别判断第一纵向间隔与第二纵向间隔是否大于所述纵向最小切割尺寸,如果均大于,则比较第一纵向间隔与第二纵向间隔之间的大小,并选定最小的纵向间隔,然后在最小的纵向间隔与所述纵向最小切割尺寸的区间范围内选定能够纵向等分侧边的最大尺寸作为最终的纵向切割尺寸;
如果有一个大于所述纵向最小切割尺寸,则在大于所述纵向最小切割尺寸的纵向间隔与所述纵向最小切割尺寸的区间范围内选定能够纵向等分侧边的最大尺寸作为最终的纵向切割尺寸;
如果均小于等于所述纵向最小切割尺寸,则选定所述纵向最小切割尺寸作为最终的纵向切割尺寸;
沿矩形高清视频图像横向方向,分别取目标物活动范围的左活动边界与矩形左侧边之间的第一横向间隔,以及目标物活动范围的右活动边界与矩形右侧边之间的第二横向间隔;
分别判断第一横向间隔与第二横向间隔是否大于所述横向最小切割尺寸,如果均大于,则比较第一横向间隔与第二横向间隔之间的大小,并选定最小的横向间隔,然后在最小的横向间隔与横向最小切割尺寸的区间范围内选定能够横向等分上下边的最大尺寸作为最终的横向切割尺寸;
如果有一个大于所述横向最小切割尺寸,则在大于横向最小切割尺寸的横向间隔与横向最小切割尺寸的区间范围内选定能够横向等分上下边的最大尺寸作为最终的横向切割尺寸;
如果均小于等于所述横向最小切割尺寸,则选定所述横向最小切割尺寸作为最终的横向切割尺寸;
根据上述得到的最终的纵向切割尺寸与横向切割尺寸更新切割方式。
本方案中,确定出活动的目标物以及所述目标物在高清视频图像尺寸内的活动范围,具体包括:
根据图像识别技术识别出各个高清视频图像内的目标物;
提取出所述目标物在各个高清视频图像的轮廓边界;
计算各个高清视频图像的目标物轮廓边界的差异度;
将差异度相近的高清视频图像进行聚类,并形成不同类别组;
选出高清视频图像数量最多的类别组,并计算类别组的高清视频图像数量与所述预设数量的比例;
判断所述比例是否大于等于预设阈值,如果大于,则根据该类别组中的高清视频图像来确定目标物的活动范围,并按照确定的目标物活动范围更新切割方式,如果小于则不更新切割方式。
本发明第二方面还提出一种适用于图像传输的数据处理系统,包括存储器和处理器,所述存储器中包括适用于图像传输的数据处理方法程序,所述适用于图像传输的数据处理方法程序被所述处理器执行时实现如下步骤:
由发送方的编码器获取高清视频图像帧;
将当前帧的高清视频图像按照预设的切割方式切割成m个相同尺寸的小图像块,获得小图像块数据,并且对每个小图像块数据计算对应的唯一指纹数据;
对当前帧的高清视频图像切割后的m个小图像块数据进行并行处理,并分别与上一帧高清视频图像相同位置的小图像块数据依照唯一指纹数据进行指纹比对;
从当前帧的高清视频图像中筛选出指纹比对不一致的小图像块数据进行数据编码处理得到多个编码数据,收集多个编码数据组成数据队列并通过网络发送给接收方;
在所述接收方的解码器接收到所述数据队列后,对其中的多个编码数据进行并行解码处理还原得到对应的小图像块数据;
判断还原得到的小图像块数据是否齐全,如果不齐全,则确定出空缺位置,从上一帧高清视频图像找出所述空缺位置对应的小图像块数据进行补全;
将补全后的小图像块数据进行拼接,生成完整的高清视频图像并进行显示。
本方案中,从当前帧的高清视频图像中筛选出指纹比对不一致的小图像块数据进行数据编码处理得到多个编码数据之后,所述适用于图像传输的数据处理方法程序被所述处理器执行时还实现如下步骤:
收集多个编码数据以及对应的图像块位置标签组成数据队列并通过网络发送给接收方;
在所述接收方的解码器接收到所述数据队列后,根据接收的图像块位置标签分析出空缺的图像块位置标签;然后从上一帧高清视频图像找出所述空缺的图像块位置标签对应的小图像块数据进行补全。
本方案中,所述适用于图像传输的数据处理方法程序被所述处理器执行时还实现如下步骤:
在预设的切割方式下,由所述接收方连续接收到预设数量的高清视频图像;
由所述接收方根据预设数量的高清视频图像,确定出活动的目标物以及所述目标物在高清视频图像尺寸内的活动范围;
基于所述目标物在高清视频图像尺寸内的活动范围更新切割方式;
并将更新后的切割方式同步给所述发送方,并使所述发送方按照更新后的切割方式进行图像切割处理。
本发明第三方面还提出一种计算机可读存储介质,所述计算机可读存储介质中包括一种适用于图像传输的数据处理方法程序,所述适用于图像传输的数据处理方法程序被处理器执行时,实现如上述的一种适用于图像传输的数据处理方法的步骤。
本发明提供一种适用于图像传输的数据处理方法、系统和存储介质,实现对单一画面帧过大造成的编码延迟大的问题进行改进,在提供高清视频编解码的基础上,极大的降低了高清视频图像帧的延迟时间,以保证高清视频图像帧的实时性。
本发明的附加方面和优点将在下面的描述部分中给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
图1示出了本发明一种适用于图像传输的数据处理方法的流程图;
图2示出了本发明的目标物在高清视频图像内的活动范围示意图;
图3示出了本发明一种适用于图像传输的数据处理系统的框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本发明一种适用于图像传输的数据处理方法的流程图。
如图1所示,本发明第一方面提出一种适用于图像传输的数据处理方法,所述方法包括:
由发送方的编码器获取高清视频图像帧;
将当前帧的高清视频图像按照预设的切割方式切割成m个相同尺寸的小图像块,获得小图像块数据,并且对每个小图像块数据计算对应的唯一指纹数据;
对当前帧的高清视频图像切割后的m个小图像块数据进行并行处理,并分别与上一帧高清视频图像相同位置的小图像块数据依照唯一指纹数据进行指纹比对;
从当前帧的高清视频图像中筛选出指纹比对不一致的小图像块数据进行数据编码处理得到多个编码数据,收集多个编码数据组成数据队列并通过网络发送给接收方;
在所述接收方的解码器接收到所述数据队列后,对其中的多个编码数据进行并行解码处理还原得到对应的小图像块数据;
判断还原得到的小图像块数据是否齐全,如果不齐全,则确定出空缺位置,从上一帧高清视频图像找出所述空缺位置对应的小图像块数据进行补全;
将补全后的小图像块数据进行拼接,生成完整的高清视频图像并进行显示。
可以理解,在判断还原得到的小图像块数据是否齐全时,如果齐全,直接基于齐全的小图像块数据进行拼接,生成完整的高清视频图像并进行显示。
本发明的发送方通过原始的高清视频图像切割成若干个小图像块,并在编码和网络发包时,只针对与上一帧高清视频图像有变化的小图像块数据进行处理,与此同时,接收方也只针对有变化的小图像块数据进行解码处理,对于没有变化的小图像块数据采用上一帧高清视频图像进行补全,本发明并未对没有变化的小图像块数据进行编解码和网络发包处理,从而有效减少了编解码和网络发包的数据量,提高了编解码处理效率,降低了高清视频图像帧的延迟时间,以保证高清视频图像帧的实时性。
优选的,预设的切割方式可以为4*4切割方式,即将一帧视频图像按照纵横切割方式切割成16个相同尺寸的小图像块,但不限于此。
可以理解,所述高清视频图像帧由高清图像采集器(如高清摄像头)提供,具体的,高清图像采集器开启时,实时摄取高清视频图像帧,并将高清视频图像帧提供给编码器进行编码处理。
需要说明的是,在生成完整的高清视频图像后,由发送方的显示屏进行显示,此时只是显示单帧的高清视频图像,并未形成视频流,稍后由发送方的编码器继续获取高清视频图像帧,并由所述发送方和接收方重复以上步骤进行编解码、拼接处理,从而形成连续的高清视频流。
根据本发明的实施例,在发送方的编码器获取高清视频图像帧之前,所述方法还包括:
由所述发送方与所述接收方约定图像切割机制,以及切割后各个小图像块数据的图像块位置标签。
可以理解,在视频图像传输之前,发送方与接收方需要进行约定图像切割机制,例如按照4*4、5*6等切割方式,这样,发送方与接收方均会自动形成统一的图像切割模板,以及所述图像切割模板中各小图像块的图像块位置标签,通过事先的约定,可以使接收方能够快速确定出没有变化的小图像块,并从上一帧高清视频图像提取出对应图像块位置标签的小图像块数据进行补全。
根据本发明的实施例,所述发送方与所述接收方分别包括缓存器;
所述发送方的缓存器将接收到图像切割处理后的历史帧的高清视频图像数据,以便于后续进行当前帧高清视频图像与上一帧高清视频图像相同位置的小图像块数据指纹比对时,能够从发送方的缓存器获取上一帧高清视频图像的对应小图像块数据,并进行指纹数据计算。可以理解,在对当前帧高清视频图像进行图像切割后,则将切割后各个小图像数据块预存在发送方的缓存器中,以便于下一帧高清视频图像的指纹比对。接收方的缓存器将接收补全后历史帧高清视频图像的小图像块数据,以便于后续从历史帧高清视频图像中找出空缺位置对应的小图像块数据进行补全。
根据本发明的实施例,分别与上一帧高清视频图像相同位置的小图像块数据依照唯一指纹数据进行指纹比对,具体包括:
分别对当前帧高清视频图像的各个小图像块数据进行计算,得到唯一指纹数据;
然后将各个小图像块数据的唯一指纹数据与上一帧高清视频图像相同位置的小图像块数据的唯一指纹数据进行比对。
可以理解,上一帧高清视频图像的各个小图像块数据的唯一指纹数据在处理上一帧高清视频图像时已计算出,并保存在发送方的缓存器中,在进行比对时,只需要从发送方的缓存器中取出即可,进而减少计算次数,提高了处理效率。
根据本发明的实施例,所述从当前帧的高清视频图像中筛选出指纹比对不一致的小图像块数据进行数据编码处理得到多个编码数据,收集多个编码数据组成数据队列并通过网络发送给接收方,包括:从当前帧的高清视频图像中筛选出指纹比对不一致的小图像块数据进行数据编码处理得到多个编码数据;收集多个编码数据以及对应的图像块位置标签组成数据队列并通过网络发送给接收方。所述从上一帧高清视频图像找出所述空缺位置对应的小图像块数据进行补全,包括:根据接收的图像块位置标签分析出空缺的图像块位置标签,然后从上一帧高清视频图像找出所述空缺的图像块位置标签对应的小图像块数据进行补全。
需要说明的是,图像块位置标签由发送方与接收方事先约定好规则,每个小图像块数据均具有相应的图像块位置标签,后续通过图像块位置标签来进行补全。
根据本发明的实施例,由发送方的编码器获取高清视频图像帧之前,包括:由高清图像采集器采集高清视频图像帧;对所述高清视频图像帧进行哈希计算得到第一哈希值;将所述高清视频图像帧与第一哈希值一并发送给编码器。由发送方的编码器获取高清视频图像帧,具体包括:由所述编码器接收到第一哈希值和所述高清视频图像帧,并重新对所述高清视频图像帧进行哈希计算得到第二哈希值;比对计算得到的第二哈希值与接收到的第一哈希值是否一致,如果一致,则完整性验证通过,并执行将当前帧的高清视频图像按照预设的切割方式切割成m个相同尺寸的小图像块,获得小图像块数据,并且对每个小图像块数据计算对应的唯一指纹数据的步骤;如果不一致,则完整性验证失败,并提示错误码。
需要说明的是,在编码器进行图像编码处理前,需要确认高清视频图像帧是否完整,如果不完整,可以及时提示错误码,以便于告知用户进行问题排查,避免导致后续编码、拼接等处理流程失败的问题。
根据本发明的实施例,所述方法还包括:
在预设的切割方式下,由所述接收方连续接收到预设数量的高清视频图像;
由所述接收方根据预设数量的高清视频图像,确定出活动的目标物以及所述目标物在高清视频图像尺寸内的活动范围;
基于所述目标物在高清视频图像尺寸内的活动范围更新切割方式;
并将更新后的切割方式同步给所述发送方,并使所述发送方按照更新后的切割方式进行图像切割处理。
需要说明的是,本发明可以根据活动的目标物按照时间轨迹的发展变化进行自适应更新切割方式。通常在进行视频直播时,活动的目标物为直播人,且直播人可能在一定时间段内在高清视频图像尺寸内的活动范围较为集中,通常集中在高清视频图像尺寸的中央位置,如果前期预设的切割方式不合理,例如切割过多的小图像块,则可能会导致后期切割、拼接复杂度的增加,进而影响视频图像传输的实时性。如果切割多少的小图像块,则将可能减少没有变化的小图像块数量,大部分的小图像块数据均因为有变化而不得不进行编解码和发包处理,从而增大需编解码和发布的数据量,不利于确保高清视频图像帧传输的实时性、低延时性。
优选的,所述预设数量的取值范围为10-100,但不限于此。
根据本发明的实施例,在预设的切割方式下,需要更新切割方式的触发条件可以为:
按照预定的时间周期进行触发,即所述接收方按照预定的时间周期连续接收到预设数量的高清视频图像,并进行后续更新切割方式流程;或
根据所述接收方的视频播放延迟状态进行触发,即当所述接收方出现视频图像播放延迟时,则由所述接收方连续接收到预设数量的高清视频图像,并进行后续更新切割方式流程。
根据本发明的实施例,基于所述目标物在高清视频图像尺寸内的活动范围更新切割方式,具体包括:
当高清视频图像的形状为矩形,确定高清视频图像的纵向最小切割尺寸和横向最小切割尺寸;
沿矩形高清视频图像纵向方向,分别取出目标物活动范围的上活动边界与矩形上边之间的第一纵向间隔,以及目标物活动范围的下活动边界与矩形下边之间的第二纵向间隔;
分别判断第一纵向间隔与第二纵向间隔是否大于所述纵向最小切割尺寸,如果均大于,则比较第一纵向间隔与第二纵向间隔之间的大小,并选定最小的纵向间隔,然后在最小的纵向间隔与所述纵向最小切割尺寸的区间范围内选定能够纵向等分侧边的最大尺寸作为最终的纵向切割尺寸;
如果有一个大于所述纵向最小切割尺寸,则在大于所述纵向最小切割尺寸的纵向间隔与所述纵向最小切割尺寸的区间范围内选定能够纵向等分侧边的最大尺寸作为最终的纵向切割尺寸;
如果均小于等于所述纵向最小切割尺寸,则选定所述纵向最小切割尺寸作为最终的纵向切割尺寸;
沿矩形高清视频图像横向方向,分别取目标物活动范围的左活动边界与矩形左侧边之间的第一横向间隔,以及目标物活动范围的右活动边界与矩形右侧边之间的第二横向间隔;
分别判断第一横向间隔与第二横向间隔是否大于所述横向最小切割尺寸,如果均大于,则比较第一横向间隔与第二横向间隔之间的大小,并选定最小的横向间隔,然后在最小的横向间隔与横向最小切割尺寸的区间范围内选定能够横向等分上下边的最大尺寸作为最终的横向切割尺寸;
如果有一个大于所述横向最小切割尺寸,则在大于横向最小切割尺寸的横向间隔与横向最小切割尺寸的区间范围内选定能够横向等分上下边的最大尺寸作为最终的横向切割尺寸;
如果均小于等于所述横向最小切割尺寸,则选定所述横向最小切割尺寸作为最终的横向切割尺寸;
根据上述得到的最终的纵向切割尺寸与横向切割尺寸更新切割方式。
可以理解,所谓纵向最小切割尺寸则是指沿纵向等分矩形侧边的最小分割尺寸,所谓横向最小切割尺寸则是沿横向等分矩形上下边的最小分割尺寸。
需要说明的是,在设定切割方式时,横向与纵向等分切割尺寸不能过小,过小则容易造成切割的小图像块增多,进而增加图像切割与拼接的复杂度;也不能过大,过大则不易于切割出没有变化的小图像块数据,换言之,不利于分开有变化小图像块与没有变化的小图像块,进而不利于降低视频帧的延迟时间,以保证视频帧的实时性。
如图2所示,在矩形高清视频图像的尺寸范围内存在一个不规则图形,即是目标物的活动范围。根据目标物的活动范围可以作出目标物活动范围的上活动边界与矩形上边之间的第一纵向间隔,目标物活动范围的下活动边界与矩形下边之间的第二纵向间隔;以及目标物活动范围的左活动边界与矩形左侧边之间的第一横向间隔,目标物活动范围的右活动边界与矩形右侧边之间的第二横向间隔。
根据本发明的实施例,确定出活动的目标物以及所述目标物在高清视频图像尺寸内的活动范围,具体包括:
根据图像识别技术识别出各个高清视频图像内的目标物;
提取出所述目标物在各个高清视频图像的轮廓边界;
计算各个高清视频图像的目标物轮廓边界的差异度;
将差异度相近的高清视频图像进行聚类,并形成不同类别组;
选出高清视频图像数量最多的类别组,并计算类别组的高清视频图像数量与所述预设数量的比例;
判断所述比例是否大于等于预设阈值,如果大于,则根据该类别组中的高清视频图像来确定目标物的活动范围,并按照确定的目标物活动范围更新切割方式,如果小于则不更新切割方式。
优选的,所述预设阈值为60%,但不限于此。
需要说明的是,如果目标物在一定时间段动作不大,则其活动范围较为集中,换言之大部分(超过60%)高清视频图像的目标物轮廓边界能够聚类在同一类别组内,可以进行基于该时间段的目标物活动范围更新切割方式,如果在一定时间段,目标物活动范围较大,即难以实现大部分(超过60%)高清视频图像的目标物轮廓边界能够聚类在同一类别组内,此时,说明目标物活动没有规律,不利于更新切割方式。
需要说明的是,在根据类别组中的多个高清视频图像来确定目标物的活动范围时,可以将多个高清视频图像进行重叠,并取出重叠后目标物的最外侧轮廓边界为目标物活动范围。可以理解,目标物的活动范围是整合类别组中的多个高清视频图像的各个目标物活动的最大轮廓边界。
根据本发明的实施例,在指纹比对时,如果所有小图像块数据的指纹比对均一致,则仅仅向接收方发送一个指令信息,由所述接收方接收到所述指令信息并将上一帧高清视频图像进行重复显示一次。
图3示出了本发明一种适用于图像传输的数据处理系统的框图。
如图3所示,本发明第二方面还提出一种适用于图像传输的数据处理系统3,包括存储器31和处理器32,所述存储器中包括适用于图像传输的数据处理方法程序,所述适用于图像传输的数据处理方法程序被所述处理器执行时实现如下步骤:
由发送方的编码器获取高清视频图像帧;
将当前帧的高清视频图像按照预设的切割方式切割成m个相同尺寸的小图像块,获得小图像块数据,并且对每个小图像块数据计算对应的唯一指纹数据;
对当前帧的高清视频图像切割后的m个小图像块数据进行并行处理,并分别与上一帧高清视频图像相同位置的小图像块数据依照唯一指纹数据进行指纹比对;
从当前帧的高清视频图像中筛选出指纹比对不一致的小图像块数据进行数据编码处理得到多个编码数据,收集多个编码数据组成数据队列并通过网络发送给接收方;
在所述接收方的解码器接收到所述数据队列后,对其中的多个编码数据进行并行解码处理还原得到对应的小图像块数据;
判断还原得到的小图像块数据是否齐全,如果不齐全,则确定出空缺位置,从上一帧高清视频图像找出所述空缺位置对应的小图像块数据进行补全;
将补全后的小图像块数据进行拼接,生成完整的高清视频图像并进行显示。
根据本发明的实施例,所述从当前帧的高清视频图像中筛选出指纹比对不一致的小图像块数据进行数据编码处理得到多个编码数据,收集多个编码数据组成数据队列并通过网络发送给接收方,包括:从当前帧的高清视频图像中筛选出指纹比对不一致的小图像块数据进行数据编码处理得到多个编码数据;收集多个编码数据以及对应的图像块位置标签组成数据队列并通过网络发送给接收方;所述从上一帧高清视频图像找出所述空缺位置对应的小图像块数据进行补全,包括:根据接收的图像块位置标签分析出空缺的图像块位置标签,然后从上一帧高清视频图像找出所述空缺的图像块位置标签对应的小图像块数据进行补全。
根据本发明的实施例,由发送方的编码器获取高清视频图像帧之前,所述适用于图像传输的数据处理方法程序被所述处理器执行时还实现如下步骤:由高清图像采集器采集高清视频图像帧;对所述高清视频图像帧进行哈希计算得到第一哈希值;将所述高清视频图像帧与第一哈希值一并发送给编码器。由发送方的编码器获取高清视频图像帧,具体包括:由所述编码器接收到第一哈希值和所述高清视频图像帧,并重新对所述高清视频图像帧进行哈希计算得到第二哈希值;比对计算得到的第二哈希值与接收到的第一哈希值是否一致,如果一致,则完整性验证通过,并执行将当前帧的高清视频图像按照预设的切割方式切割成m个相同尺寸的小图像块,获得小图像块数据,并且对每个小图像块数据计算对应的唯一指纹数据的步骤;如果不一致,则完整性验证失败,并提示错误码。
根据本发明的实施例,所述适用于图像传输的数据处理方法程序被所述处理器执行时还实现如下步骤:
在预设的切割方式下,由所述接收方连续接收到预设数量的高清视频图像;
由所述接收方根据预设数量的高清视频图像,确定出活动的目标物以及所述目标物在高清视频图像尺寸内的活动范围;
基于所述目标物在高清视频图像尺寸内的活动范围更新切割方式;
并将更新后的切割方式同步给所述发送方,并使所述发送方按照更新后的切割方式进行图像切割处理。
本发明第三方面还提出一种计算机可读存储介质,所述计算机可读存储介质中包括一种适用于图像传输的数据处理方法程序,所述适用于图像传输的数据处理方法程序被处理器执行时,实现如上述的一种适用于图像传输的数据处理方法的步骤。
本发明提供一种适用于图像传输的数据处理方法、系统和存储介质,实现对单一画面帧过大造成的编码延迟大的问题进行改进,在提供高清视频编解码的基础上,极大的降低了高清视频图像帧的延迟时间,以保证高清视频图像帧的实时性。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种适用于图像传输的数据处理方法,其特征在于,所述方法包括:
由发送方的编码器获取高清视频图像帧;
将当前帧的高清视频图像按照预设的切割方式切割成m个相同尺寸的小图像块,获得小图像块数据,并且对每个小图像块数据计算对应的唯一指纹数据;
对当前帧的高清视频图像切割后的m个小图像块数据进行并行处理,并分别与上一帧高清视频图像相同位置的小图像块数据依照唯一指纹数据进行指纹比对;
从当前帧的高清视频图像中筛选出指纹比对不一致的小图像块数据进行数据编码处理得到多个编码数据,收集多个编码数据组成数据队列并通过网络发送给接收方;
在所述接收方的解码器接收到所述数据队列后,对其中的多个编码数据进行并行解码处理还原得到对应的小图像块数据;
判断还原得到的小图像块数据是否齐全,如果不齐全,则确定出空缺位置,从上一帧高清视频图像找出所述空缺位置对应的小图像块数据进行补全;
将补全后的小图像块数据进行拼接,生成完整的高清视频图像并进行显示;
所述方法还包括:
在预设的切割方式下,由所述接收方连续接收到预设数量的高清视频图像;
由所述接收方根据预设数量的高清视频图像,确定出活动的目标物以及所述目标物在高清视频图像尺寸内的活动范围;
基于所述目标物在高清视频图像尺寸内的活动范围更新切割方式;
并将更新后的切割方式同步给所述发送方,并使所述发送方按照更新后的切割方式进行图像切割处理;
基于所述目标物在高清视频图像尺寸内的活动范围更新切割方式,具体包括:
当高清视频图像的形状为矩形,确定高清视频图像的纵向最小切割尺寸和横向最小切割尺寸;
沿矩形高清视频图像纵向方向,分别取出目标物活动范围的上活动边界与矩形上边之间的第一纵向间隔,以及目标物活动范围的下活动边界与矩形下边之间的第二纵向间隔;
分别判断第一纵向间隔与第二纵向间隔是否大于所述纵向最小切割尺寸,如果均大于,则比较第一纵向间隔与第二纵向间隔之间的大小,并选定最小的纵向间隔,然后在最小的纵向间隔与所述纵向最小切割尺寸的区间范围内选定能够纵向等分侧边的最大尺寸作为最终的纵向切割尺寸;
如果有一个大于所述纵向最小切割尺寸,则在大于所述纵向最小切割尺寸的纵向间隔与所述纵向最小切割尺寸的区间范围内选定能够纵向等分侧边的最大尺寸作为最终的纵向切割尺寸;
如果均小于等于所述纵向最小切割尺寸,则选定所述纵向最小切割尺寸作为最终的纵向切割尺寸;
沿矩形高清视频图像横向方向,分别取目标物活动范围的左活动边界与矩形左侧边之间的第一横向间隔,以及目标物活动范围的右活动边界与矩形右侧边之间的第二横向间隔;
分别判断第一横向间隔与第二横向间隔是否大于所述横向最小切割尺寸,如果均大于,则比较第一横向间隔与第二横向间隔之间的大小,并选定最小的横向间隔,然后在最小的横向间隔与横向最小切割尺寸的区间范围内选定能够横向等分上下边的最大尺寸作为最终的横向切割尺寸;
如果有一个大于所述横向最小切割尺寸,则在大于横向最小切割尺寸的横向间隔与横向最小切割尺寸的区间范围内选定能够横向等分上下边的最大尺寸作为最终的横向切割尺寸;
如果均小于等于所述横向最小切割尺寸,则选定所述横向最小切割尺寸作为最终的横向切割尺寸;
根据上述得到的最终的纵向切割尺寸与横向切割尺寸更新切割方式。
2.根据权利要求1所述的一种适用于图像传输的数据处理方法,其特征在于,所述从当前帧的高清视频图像中筛选出指纹比对不一致的小图像块数据进行数据编码处理得到多个编码数据,收集多个编码数据组成数据队列并通过网络发送给接收方,包括:
从当前帧的高清视频图像中筛选出指纹比对不一致的小图像块数据进行数据编码处理得到多个编码数据;
收集多个编码数据以及对应的图像块位置标签组成数据队列并通过网络发送给接收方;
所述从上一帧高清视频图像找出所述空缺位置对应的小图像块数据进行补全,包括:
根据接收的图像块位置标签分析出空缺的图像块位置标签,然后从上一帧高清视频图像找出所述空缺的图像块位置标签对应的小图像块数据进行补全。
3.根据权利要求1所述的一种适用于图像传输的数据处理方法,其特征在于,由发送方的编码器获取高清视频图像帧之前,包括:
由高清图像采集器采集高清视频图像帧;
对所述高清视频图像帧进行哈希计算得到第一哈希值;将所述高清视频图像帧与第一哈希值一并发送给编码器;
由发送方的编码器获取高清视频图像帧,具体包括:
由所述编码器接收到第一哈希值和所述高清视频图像帧,并重新对所述高清视频图像帧进行哈希计算得到第二哈希值;
比对计算得到的第二哈希值与接收到的第一哈希值是否一致,如果一致,则完整性验证通过,并执行将当前帧的高清视频图像按照预设的切割方式切割成m个相同尺寸的小图像块,获得小图像块数据,并且对每个小图像块数据计算对应的唯一指纹数据的步骤;如果不一致,则完整性验证失败,并提示错误码。
4.根据权利要求1所述的一种适用于图像传输的数据处理方法,其特征在于,确定出活动的目标物以及所述目标物在高清视频图像尺寸内的活动范围,具体包括:
根据图像识别技术识别出各个高清视频图像内的目标物;
提取出所述目标物在各个高清视频图像的轮廓边界;
计算各个高清视频图像的目标物轮廓边界的差异度;
将差异度相近的高清视频图像进行聚类,并形成不同类别组;
选出高清视频图像数量最多的类别组,并计算类别组的高清视频图像数量与所述预设数量的比例;
判断所述比例是否大于等于预设阈值,如果大于,则根据该类别组中的高清视频图像来确定目标物的活动范围,并按照确定的目标物活动范围更新切割方式,如果小于则不更新切割方式。
5.一种适用于图像传输的数据处理系统,其特征在于,包括存储器和处理器,所述存储器中包括适用于图像传输的数据处理方法程序,所述适用于图像传输的数据处理方法程序被所述处理器执行时实现如下步骤:
由发送方的编码器获取高清视频图像帧;
将当前帧的高清视频图像按照预设的切割方式切割成m个相同尺寸的小图像块,获得小图像块数据,并且对每个小图像块数据计算对应的唯一指纹数据;
对当前帧的高清视频图像切割后的m个小图像块数据进行并行处理,并分别与上一帧高清视频图像相同位置的小图像块数据依照唯一指纹数据进行指纹比对;
从当前帧的高清视频图像中筛选出指纹比对不一致的小图像块数据进行数据编码处理得到多个编码数据,收集多个编码数据组成数据队列并通过网络发送给接收方;
在所述接收方的解码器接收到所述数据队列后,对其中的多个编码数据进行并行解码处理还原得到对应的小图像块数据;
判断还原得到的小图像块数据是否齐全,如果不齐全,则确定出空缺位置,从上一帧高清视频图像找出所述空缺位置对应的小图像块数据进行补全;
将补全后的小图像块数据进行拼接,生成完整的高清视频图像并进行显示;
所述适用于图像传输的数据处理方法程序被所述处理器执行时还实现如下步骤:
在预设的切割方式下,由所述接收方连续接收到预设数量的高清视频图像;
由所述接收方根据预设数量的高清视频图像,确定出活动的目标物以及所述目标物在高清视频图像尺寸内的活动范围;
基于所述目标物在高清视频图像尺寸内的活动范围更新切割方式;
并将更新后的切割方式同步给所述发送方,并使所述发送方按照更新后的切割方式进行图像切割处理。
6.根据权利要求5所述的一种适用于图像传输的数据处理系统,其特征在于,从当前帧的高清视频图像中筛选出指纹比对不一致的小图像块数据进行数据编码处理得到多个编码数据之后,所述适用于图像传输的数据处理方法程序被所述处理器执行时还实现如下步骤:
收集多个编码数据以及对应的图像块位置标签组成数据队列并通过网络发送给接收
方;
在所述接收方的解码器接收到所述数据队列后,根据接收的图像块位置标签分析出空缺的图像块位置标签;然后从上一帧高清视频图像找出所述空缺的图像块位置标签对应的小图像块数据进行补全。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中包括一种适用于图像传输的数据处理方法程序,所述适用于图像传输的数据处理方法程序被处理器执行时,实现如权利要求1至4中任一项所述的一种适用于图像传输的数据处理方法的步骤。
CN202110860704.6A 2021-07-29 2021-07-29 一种适用于图像传输的数据处理方法、系统和存储介质 Active CN113315969B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110860704.6A CN113315969B (zh) 2021-07-29 2021-07-29 一种适用于图像传输的数据处理方法、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110860704.6A CN113315969B (zh) 2021-07-29 2021-07-29 一种适用于图像传输的数据处理方法、系统和存储介质

Publications (2)

Publication Number Publication Date
CN113315969A CN113315969A (zh) 2021-08-27
CN113315969B true CN113315969B (zh) 2021-11-05

Family

ID=77381952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110860704.6A Active CN113315969B (zh) 2021-07-29 2021-07-29 一种适用于图像传输的数据处理方法、系统和存储介质

Country Status (1)

Country Link
CN (1) CN113315969B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114222131B (zh) * 2021-12-16 2023-10-27 北京数码视讯技术有限公司 低延时视频编码方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009246539A (ja) * 2008-03-28 2009-10-22 Ibex Technology Co Ltd 符号化装置、符号化方法、符号化プログラム、復号化装置、復号化方法および復号化プログラム
CN103281539A (zh) * 2013-06-07 2013-09-04 华为技术有限公司 一种图像编、解码处理的方法、装置及终端
CN111460526A (zh) * 2020-04-17 2020-07-28 支付宝(杭州)信息技术有限公司 基于区块链的影像数据记录、获取、验证方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100420299C (zh) * 2004-12-24 2008-09-17 北京中星微电子有限公司 一种屏幕广播方法
CN103929644B (zh) * 2014-04-01 2018-08-31 Tcl集团股份有限公司 一种视频指纹库建立、视频指纹识别方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009246539A (ja) * 2008-03-28 2009-10-22 Ibex Technology Co Ltd 符号化装置、符号化方法、符号化プログラム、復号化装置、復号化方法および復号化プログラム
CN103281539A (zh) * 2013-06-07 2013-09-04 华为技术有限公司 一种图像编、解码处理的方法、装置及终端
CN111460526A (zh) * 2020-04-17 2020-07-28 支付宝(杭州)信息技术有限公司 基于区块链的影像数据记录、获取、验证方法及装置

Also Published As

Publication number Publication date
CN113315969A (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
WO2018150083A1 (en) A method and technical equipment for video processing
EP2916543B1 (en) Method for coding/decoding depth image and coding/decoding device
US11863801B2 (en) Method and device for generating live streaming video data and method and device for playing live streaming video
CN110430441B (zh) 一种云手机视频采集方法、系统、装置及存储介质
CN110072119B (zh) 一种基于深度学习网络的内容感知视频自适应传输方法
US11451858B2 (en) Method and system of processing information flow and method of displaying comment information
CN113315969B (zh) 一种适用于图像传输的数据处理方法、系统和存储介质
CN108810427B (zh) 基于视点的全景视频内容表示的方法及装置
CN111757087A (zh) Vr视频的处理方法、装置和电子设备
CN111031032A (zh) 云端视频转码方法及装置、解码方法及装置、及电子设备
CN113452996B (zh) 一种视频编码、解码方法及装置
WO2021136144A1 (zh) 一种字符的还原方法及装置、存储介质、电子装置
CN111738236B (zh) 一种自适应层级的图像切分识别方法、装置及系统
EP4222958A1 (en) A method and apparatus for encoding and decoding one or more views of a scene
CN114827617B (zh) 一种基于感知模型的视频编解码方法及系统
CN111723735A (zh) 一种基于卷积神经网络的伪高码率hevc视频检测方法
CN116682035A (zh) 一种高帧率视频缺陷的检测方法、装置、设备和程序产品
CN113014905B (zh) 图像帧的生成方法及装置、存储介质、电子设备
CN112367521B (zh) 显示屏内容分享方法、装置、计算机设备和存储介质
CN110401835B (zh) 图像处理方法及装置
CN111212288B (zh) 视频数据的编解码方法、装置、计算机设备和存储介质
CN111447444A (zh) 图像处理方法及装置
KR20050021086A (ko) 압축 동영상의 움직임 객체 분할 방법
CN104486633A (zh) 视频错误掩藏方法及装置
CN109168007B (zh) 一种标定焦点及其图像传输的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 333, podium building, 36-1 Huzhou street, Gongshu District, Hangzhou City, Zhejiang Province, 310015

Applicant after: Hangzhou Zimo Network Technology Co.,Ltd.

Address before: 310015 floor 2, building a, Zheshang university entrepreneurship Park, 198 Jiaogong Road, Xihu District, Hangzhou City, Zhejiang Province

Applicant before: Hangzhou Zimo Network Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240325

Address after: PO Box 2221, Wickham Sands II, Tortolarod City, British Virgin Islands

Patentee after: Green Snow Co.,Ltd.

Country or region after: Virgin Islands (British)

Address before: Room 333, podium building, 36-1 Huzhou street, Gongshu District, Hangzhou City, Zhejiang Province, 310015

Patentee before: Hangzhou Zimo Network Technology Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right