CN111447444A - 图像处理方法及装置 - Google Patents

图像处理方法及装置 Download PDF

Info

Publication number
CN111447444A
CN111447444A CN202010176235.1A CN202010176235A CN111447444A CN 111447444 A CN111447444 A CN 111447444A CN 202010176235 A CN202010176235 A CN 202010176235A CN 111447444 A CN111447444 A CN 111447444A
Authority
CN
China
Prior art keywords
image frame
macro block
current image
current
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010176235.1A
Other languages
English (en)
Inventor
杨鹏飞
范志刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Wanxiang Electronics Technology Co Ltd
Original Assignee
Xian Wanxiang Electronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Wanxiang Electronics Technology Co Ltd filed Critical Xian Wanxiang Electronics Technology Co Ltd
Priority to CN202010176235.1A priority Critical patent/CN111447444A/zh
Publication of CN111447444A publication Critical patent/CN111447444A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开提供一种图像处理方法及装置,涉及计算机图像技术领域,具体技术方案为:将当前图像帧划分为多个条带;其中,每个条带包含至少一行宏块;确定当前图像帧每个宏块的宏块类型,所述宏块类型包括变化宏块、不变宏块和视频宏块;基于所述不变宏块,按照预设规则对当前图像帧中各条带分别进行视频窗口识别,获取所述当前图像帧的视频窗口参数;所述当前图像帧的视频窗口参数用于识别下一图像帧中的视频宏块;基于所述宏块类型,对当前图像帧中的各条带中各宏块进行编码。本公开能够提高在进行条带化图像处理时效率。

Description

图像处理方法及装置
技术领域
本公开涉及计算机图像技术领域,尤其涉及图像处理方法及装置。
背景技术
背景技术中,图像传输协议(VANXVM Graphic Transport Protocols,VGTP)对静止图像的传输具有快速高效等优点,而H264协议针对视频画面传输效率较高,因此,在背景技术记载的图传系统中,图像中的视频部分由H264协议进行编码,其余画面均使用VGTP进行编码。因此,对每一帧待传输的画面,均需要从中识别出视频窗口。
为了提高图像编解码的速度,提出了基于条带化的图像处理方法,以便对一帧图像的多个条带进行同步处理,提高编解码效率。具体的,一帧图像可以分为多个宏块,一个宏块为8*8像素或16*16像素,至少一行像素可以组成一个条带,可以同时针对一帧图像的多个条带进行全局运动矢量(motion vector,MV)识别,宏块类型判断等处理步骤。
但是,目前从图像帧确定视频窗口的方法是:对比当前图像帧和前一帧的像素变化情况,将当前图像帧中变化剧烈的像素点所在的区域,确定为视频video窗口。由于基于条带化的图像传输算法是将一帧分为多个条带进行处理,而确定video窗口的步骤是针对整帧进行处理,因此,处理效率低。
发明内容
本公开实施例提供一种图像处理方法及装置,本公开能够在在基于条带化的图像处理过程中,进一步提高处理效率。所述技术方案如下:
根据本公开实施例的第一方面,提供一种图像处理方法,该方法包括:
将当前图像帧划分为多个条带;其中,每个条带包含至少一行宏块;
确定当前图像帧每个宏块的宏块类型,所述宏块类型包括变化change宏块、unchange不变宏块和视频video宏块;
基于所述不变宏块,按照预设规则对当前图像帧中各条带分别进行视频窗口识别,获取所述当前图像帧的视频video窗口参数;所述当前图像帧的视频窗口参数用于识别下一图像帧中的视频宏块;
基于所述宏块类型,对当前图像帧中的各条带中各宏块进行编码。
在一个实施例中,根据所述全局运动矢量确定当前图像帧每个宏块的宏块类型包括:
判断当前图像帧当前条带中的宏块与参考图像帧对应位置的宏块的像素点的像素值是否完全相同;
若完全相同,确定所述当前图像帧当前条带中的宏块为不变宏块;
若不完全相同,确定所述当前图像帧当前条带中的宏块为变化宏块。
在一个实施例中,根据所述全局运动矢量确定当前图像帧每个宏块的宏块类型包括:
获取前一图像帧的视频窗口参数,判断当前图像帧当前条带中的宏块是否在所述前一图像帧的视频窗口内;
若在所述前一图像帧的视频窗口内,确定所述当前图像帧当前条带中的宏块为视频宏块。
在一个实施例中,基于所述不变宏块,按照预设规则对当前图像帧中各条带分别进行视频窗口识别包括:
获取所述当前图像帧的中变化宏块;
对所述变化宏块进行统计,将满足预设条件的宏块区域确定为当前图像帧的视频窗口;
记录所述当前图像帧的视频窗口参数。
在一个实施例中,宏块类型还包括运动矢量匹配mv_match宏块,
将当前图像帧划分为多个条带之后,所述方法还包括:
对所述多个条带分别进行运动矢量(Mobil Vector,MV)识别,得到全局运动矢量;
所述确定当前图像帧每个宏块的宏块类型包括:
将参考图像帧按照所述全局运动矢量进行位移,得到参考位移图像帧;
将所述当前图像帧中的宏块与参考位移图像帧中相同位置的宏块进行逐像素比较;
所述当前图像帧中的宏块与参考位移图像帧中相同位置的宏块完全相同,则确定所述当前图像帧中的宏块为运动矢量匹配宏块。
在一个实施例中,基于所述宏块类型,对当前图像帧中的各条带中各宏块进行编码包括:
对视频宏块使用H264协议进行编码,对除了视频宏块以外的其他类型的宏块使用图像传输协议(vanxum Graphics Transfer Protocol,vGTP)进行编码。
本公开能够在在基于条带化的图像处理过程中,进一步提高处理效率。
根据本公开实施例的第二方面,提供一种图像处理装置,该装置包括:
划分模块,用于将当前图像帧划分为多个条带;其中,每个条带包含至少一行宏块;
确定模块,用于确定当前图像帧每个宏块的宏块类型,所述宏块类型包括变化宏块、不变宏块和视频宏块;
窗口识别模块,用于基于所述不变宏块,按照预设规则对当前图像帧中各条带分别进行视频窗口识别,获取所述当前图像帧的视频窗口参数;所述当前图像帧的视频窗口参数用于识别下一图像帧中的视频宏块;
编码模块,用于基于所述宏块类型,对当前图像帧中的各条带中各宏块进行编码。
在一个实施例中,确定模块包括:
第一判断子模块,用于判断当前图像帧当前条带中的宏块与参考图像帧对应位置的宏块的像素点的像素值是否完全相同;
第一确定子模块,用于若完全相同,确定所述当前图像帧当前条带中的宏块为不变宏块;
第二确定子模块,用于若不完全相同,确定所述当前图像帧当前条带中的宏块为变化宏块。
在一个实施例中,确定模块包括:
第二判断子模块,用于获取前一图像帧的视频窗口参数,判断当前图像帧当前条带中的宏块是否在所述前一图像帧的视频窗口内;
第三确定子模块,用于若在所述前一图像帧的视频窗口内,识别所述当前图像帧当前条带中的宏块为视频宏块。
在一个实施例中,窗口识别模块包括:
获取子模块,用于获取所述当前图像帧的中变化宏块;
第四确定子模块,用于对所述变化宏块进行统计,将满足预设条件的宏块区域确定为当前图像帧的视频窗口;
记录子模块,用于记录所述当前图像帧的视频窗口参数。
在一个实施例中,宏块类型还包括运动矢量匹配宏块,所示装置还包括向量识别模块,用于将当前图像帧划分为多个条带之后,对所述多个条带分别进行运动矢量MV识别,得到全局运动矢量;
确定模块包括:
位移子模块,用于将参考图像帧按照所述全局运动矢量进行位移,得到参考位移图像帧;
比较子模块,用于将所述当前图像帧中的宏块与参考位移图像帧中相同位置的宏块进行逐像素比较;
第五确定子模块,用于所述当前图像帧中的宏块与参考位移图像帧中相同位置的宏块完全相同,则确定所述当前图像帧中的宏块为运动矢量匹配宏块。
在一个实施例中,编码模块具体用于:
对视频宏块使用H264进行编码,对除了视频宏块以外的其他类型的宏块使用图像传输协议vGTP进行编码。
本公开能够在在基于条带化的图像处理过程中,进一步提高处理效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是本公开实施例提供的一种图像处理方法流程图;
图2是本公开实施例提供的一种确定宏块类型方法流程图;
图3是本公开实施例提供的一种确定宏块类型方法流程图;
图4是本公开实施例提供的一图像处理方法流程图;;
图5是本公开实施例提供的确定宏块类型方法流程图;
图6是本公开实施例提供的一种视频窗口识别方法流程图;
图7是本公开实施例提供的一种图像处理装置的结构图;
图8是本公开实施例提供的一种图像处理装置的结构图;
图9是本公开实施例提供的一种图像处理装置的结构图;
图10是本公开实施例提供的一种图像处理装置的结构图;
图11是本公开实施例提供的一种图像处理装置的结构图。
图12是本公开实施例提供的一种图像处理方法流程图。
图13是本公开实施例提供的一种条带划分示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
以下描述的一部分明确地或者暗含地涉及算法和对计算机存储器内数据的操作的功能或者符号表示。这些算法的描述和功能或者符号表示是数据处理领域内技术人员用于更有效地向本领域内其它技术人员表达他们工作实质的方法。此处通常将算法设想为生成期望结果的一系列有条理的步骤。这些步骤是需要对诸如能够存储、传送、组合、对比以及通过其它方式操控的电、磁或者光信号的物理量进行物理操控的步骤。
除非特别说明,否则如以下可显而易见地,应该理解本说明书通篇使用的诸如“划分”、“确定”、“识别”、“编码”、“获取”等术语的讨论,涉及计算机系统或者类似电子设备的动作和处理,上述的电子设备将表示为计算机系统内物理量的数据操控和转换成同样表示为计算机系统或者其它信息存储、传输或者显示设备内物理量的其它数据。
说明书还公开了用于执行方法操作的设备。这种设备为所需的目的而特别构成,或者可以包括通用计算机或者其它存储在计算机中的计算机程序选择性启动或者重新配置的其它设备。本文介绍的算法和显示不是固有地与任何具体计算机或者其它设备相关。各种通用机器可以根据本文教导的程序一起使用。可替换地,用于执行所要求的方法步骤的更特殊的设备构造是可以适用的。常规的通用计算机的结构将在以下描述中介绍。
此外,由于可以由计算机代码实施本文描述方法的各步骤对本领域技术人员是显而易见的,因此本说明书还暗含地公开计算机程序。该计算机程序不试图限制于任何具体的编程语言及其执行。应该理解,可以使用多种编程语言及其代码以执行本文包含的公开的教导。此外,该计算机程序不试图限制于任何具体的控制流。在不脱离本发明精神或者范围的情况下,存在许多其它种类的、可以使用不同控制流的计算机程序。
而且,可以并行地而不是顺序地执行计算机程序的一个或者多个步骤。这种计算机程序可以存储在任何计算机可读介质上。计算机可读介质可以包括的存储设备诸如为磁盘或者光盘、存储器芯片或者适于与通用计算机接口的其它存储设备等。计算机可读介质还可以包括诸如在因特网系统中的硬接线介质,或者无线介质。当在这种通用计算机上加载和执行计算机程序时,计算机程序有效地产生实施优选方法的步骤的设备。
本发明还可被实施为硬件模块。更具体地,在硬件意义下,模块是被设计为与其它部件或模块一起使用的功能性硬件单元。例如,模块可使用分立电子部件实施,或者其可以形成整个电子电路诸如特定用途集成电路(ASIC)的一部分。还存在许多其它可能。本领域技术人员应理解,该系统还可被实施为硬件和软件模块的组合。
本公开实施例提供一种图像处理方法,如图1所示,该图像处理方法包括以下步骤:
步骤102、将当前图像帧划分为多个条带;其中,每个条带包含至少一行宏块;
具体的,可以先将当前帧拆分为多个宏块,再将多个宏块分为多个条带,可以将一行宏块作为一个条带,也可以将多行宏块作为一个条带。其中,一个宏块可以为16*16像素点,也可以为8*8像素点。
步骤104、确定当前图像帧每个宏块的宏块类型,所述宏块类型包括变化宏块、不变宏块和视频宏块;
可选的,如图2所示,确定当前图像帧每个宏块的宏块类型包括:
步骤1041、判断当前图像帧当前条带中的宏块与参考图像帧对应位置的宏块的像素点的像素值是否完全相同;
如果图片是YUV格式,则像素值为YUV分量的值。
步骤1042、若完全相同,确定所述当前图像帧当前条带中的宏块为不变宏块;
步骤1043、若不完全相同,确定所述当前图像帧当前条带中的宏块为变化宏块。
可选的,如图3所示,确定当前图像帧每个宏块的宏块类型包括:
步骤104a、获取前一图像帧的视频窗口参数,判断当前图像帧当前条带中的宏块是否在所述前一图像帧的视频窗口内;
视频窗口参数包括视频窗口的位置和大小(也可以成为尺寸)。
步骤104b、若在所述前一图像帧的视频窗口内,确定所述当前图像帧当前条带中的宏块为视频宏块。
步骤104c、若不在所述前一图像帧的视频窗口内,确定所述当前图像帧当前条带中的宏块为非视频宏块。
可选的,宏块类型还包括运动矢量匹配宏块。如图4所示,在步骤102和步骤104之间,该方法还包括:
步骤103、对所述多个条带分别进行运动矢量MV识别,得到全局运动矢量;
如图5所示,步骤104还包括:
步骤104A、将参考图像帧按照所述全局运动矢量进行位移,得到参考位移图像帧;
步骤104B、将所述当前图像帧中的宏块与参考位移图像帧中相同位置的宏块进行逐像素比较;
步骤104C、所述当前图像帧中的宏块与参考位移图像帧中相同位置的宏块完全相同,则确定所述当前图像帧中的宏块为运动矢量匹配宏块。
步骤106、基于所述不变宏块,按照预设规则对当前图像帧中各条带分别进行视频窗口识别,获取所述当前图像帧的视频窗口参数;所述当前图像帧的视频窗口参数用于识别下一图像帧中的视频宏块;
可选的,如图6所示,步骤106具体包括以下步骤,
步骤1061、获取所述当前图像帧的中变化宏块;
步骤1062、对所述变化宏块进行统计,将满足预设条件的宏块区域确定为当前图像帧的视频窗口;
步骤1063、记录所述当前图像帧的视频窗口参数。
步骤108、基于所述宏块类型,对当前图像帧中的各条带中各宏块进行编码。
对视频宏块使用H264进行编码,对除了视频宏块以外的其他类型的宏块使用vGTP进行编码。
本公开能够在在基于条带化的图像处理过程中,进一步提高处理效率。
基于上述图1对应的实施例中所描述的图像处理方法,下述为本公开对应装置实施例,可以用于执行本公开方法实施例。
本公开实施例提供一种图像处理装置,如图7所示,该装置70包括:划分模块701、确定模块702、窗口识别模块703和编码模块704,
划分模块701,用于将当前图像帧划分为多个条带;其中,每个条带包含至少一行宏块;
确定模块702,用于根据所述全局运动矢量确定当前图像帧每个宏块的宏块类型,所述宏块类型包括变化宏块、不变宏块和视频宏块;
窗口识别模块703,用于基于所述不变宏块,按照预设规则对当前图像帧中各条带分别进行视频窗口识别,获取所述当前图像帧的视频窗口参数;所述当前图像帧的视频窗口参数用于识别下一图像帧中的视频宏块;
编码模块704,用于基于所述宏块类型,对当前图像帧中的各条带中各宏块进行编码。
本公开实施例提供一种图像处理装置,如图8所示,该装置70包括:划分模块701、确定模块702、窗口识别模块703和编码模块704,确定模块702包括:
第一判断子模块7021,用于判断当前图像帧当前条带中的宏块与参考图像帧对应位置的宏块的像素点的像素值是否完全相同;
第一确定子模块7022,用于若完全相同,确定所述当前图像帧当前条带中的宏块为不变宏块;
第二确定子模块7023,用于若不完全相同,确定所述当前图像帧当前条带中的宏块为变化宏块。
本公开实施例提供一种图像处理装置,如图9所示,该装置70包括:划分模块701、确定模块702、窗口识别模块703和编码模块704,确定模块702包括:
第二判断子模块7024,用于获取前一图像帧的视频窗口参数,判断当前图像帧当前条带中的宏块是否在所述前一图像帧的视频窗口内;
第三确定子模块7025,用于若在所述前一图像帧的视频窗口内,识别所述当前图像帧当前条带中的宏块为视频宏块。
本公开实施例提供一种图像处理装置,如图10所示,该装置70包括:划分模块701、确定模块702、窗口识别模块703和编码模块704,窗口识别模块703包括:
获取子模块7031,用于获取所述当前图像帧的中变化宏块;
第四确定子模块7032,用于对所述变化宏块进行统计,将满足预设条件的宏块区域确定为当前图像帧的视频窗口;
记录子模块7033,用于记录所述当前图像帧的视频窗口参数。
本公开实施例提供一种图像处理装置,如图11所示,该装置70包括:划分模块701、确定模块702、窗口识别模块703、编码模块704,和向量识别模块705;
向量识别模块705,用于将当前图像帧划分为多个条带之后,对所述多个条带分别进行运动矢量MV识别,得到全局运动矢量;
确定模块702包括:
位移子模块7026,用于将参考图像帧按照所述全局运动矢量进行位移,得到参考位移图像帧;
比较子模块7027,用于将所述当前图像帧中的宏块与参考位移图像帧中相同位置的宏块进行逐像素比较;
第五确定子模块7028,用于所述当前图像帧中的宏块与参考位移图像帧中相同位置的宏块完全相同,则确定所述当前图像帧中的宏块为运动矢量匹配宏块。
参考图12,图12为本公开提供的一种图像处理方法,如图12所示的图像处理方法包括以下几个步骤:
步骤1201,输入一帧图像,将当前图像帧拆分为多个宏块;
进一步的,将当前帧分为多个条带,每个条带包括多个宏块,如图13所示;图13为将图像帧拆分为多个条带的示意图,其中,一个小方格为一个宏块,图像帧被拆分为(a)(b)(c)(d)(e)(f)共6个条带,每个条带包括两行宏块,本实施例仅是示例性给出条带的划分,具体包括多少宏块和多少行像素,本公开不作限定。
步骤1202,对当前图像帧进行MV识别,得到全局运动矢量(mv_x,mv_y);
具体的,针对当前帧中的各条带,进行MV识别,得到全局运动矢量(mv_x,mv_y);
其中,各条带的MV识别可以同步进行。
步骤1203,判断当前图像帧的各宏块的宏块类型;
在本步骤中,针对当前图像帧的全部宏块,判断各宏块的类型,比如判断宏块是否为unchange宏块、text宏块、video宏块、mv_match宏块等。
具体的,针对判断宏块是否为unchange宏块的过程进行详细说明:
判断当前图像帧中的宏块X与宏块Y的每个像素点是否完全相同,也就是说,需要比较宏块X与宏块Y中每个像素点的YUV三个值,YUV三个值全部相等,才认为两个像素点完全相同),其中,宏块Y在前一帧中的位置与宏块X在当前图像帧中的位置相同;若当前图像帧中宏块X中的像素点与前一帧中宏块Y的像素点完全相同,则可以确定宏块A为unchange宏块;若当前图像帧中宏块X中的像素点与前一帧中宏块Y的像素点不完全相同,则可以确定宏块A不为unchange宏块,也就是说,不为unchange宏块的宏块均为发生变化的宏块。
若当前图像帧中的宏块处于步骤1203确定的video窗口内,若是,则当前图像帧中的宏块为video宏块;将参考帧的图像按照步骤1202确定的全局运动矢量(mv_x,mv_y)进行位移,将当前图像帧中的宏块与位移后的参考帧中处于同一位置的宏块进行逐像素比较,若完全相等,则当前图像帧中的宏块为mv_match宏块。
在实际应用中,宏块类型可能不止上面几种,这里只是举例说明,不影响本发明的改进点。
步骤1204,对当前图像帧进行video窗口识别;
具体的,针对当前帧中的各条带,进行video窗口识别,其中,各条带的video窗口识别可以同步进行。
示例性的,第一步,宏块变化判断:可以根据步骤1203中的对于unchange宏块的判断结果,获取当前图像帧中发生变化的宏块;第二步,video窗口统计:对当前图像帧中发生变化的宏块,使用预设的算法进行筛选和统计,得到变化较为剧烈的宏块集中的区域,可以将该区域作为video窗口,记录video窗口的位置和尺寸。
步骤1205,根据当前图像帧的各宏块的宏块类型,对当前图像帧进行编码。
其中,各条带的编码可以同步进行。
本公开将可以借助针对unchange宏块的判断结果,那么,本发明中的步骤4中不再需要针对整帧进行处理。因此,可以实现对可能包含video窗口的图像,使用基于条带化的图像传输算法进行处理,可以提高对可能包含video窗口的图像的处理效率。
需要说明的是,步骤1203中,判断当前图像帧的宏块是否为video宏块时,使用的video窗口是前一帧得到的,而步骤4中当前图像帧得到的video窗口,可以用于判断下一帧的宏块类型。也就是说,在本发明中,编码算法的切换会延迟一帧,具体的,video窗口出现的第一帧画面,使用的仍是vGTP算法编码,在video窗口结束后的一帧,仍使用的是H264编码。不影响用户的观看体验,由于视频是由千万帧画面组成的,因此,延迟一帧的编码算法的切换,对编码效率的影响也微乎其微。
步骤3,针对当前图像帧中的各条带,进行MV识别,得到全局运动矢量(mv_x,mv_y);
其中,各条带的MV识别可以同步进行。
步骤4,针对当前图像帧中的各条带,判断当前图像帧的各宏块的宏块类型。
其中,各条带的判断宏块类型可以同步进行。
在本步骤中,针对当前条带的全部宏块,判断各宏块的类型,比如判断宏块是否为unchange宏块、text宏块、video宏块、mv_match宏块等。
具体的,针对判断宏块是否为unchange宏块的过程进行详细说明:
判断当前条带中的宏块X与宏块Y的每个像素点是否完全相同,也就是说,需要比较宏块X与宏块Y中每个像素点的YUV三个值,YUV三个值全部相等,才认为两个像素点完全相同,其中,宏块Y在前一帧中的位置与宏块X在当前图像帧中的位置相同;若宏块X中的像素点与前一帧中宏块Y的像素点完全相同,则可以确定宏块A为unchange宏块;若宏块X中的像素点与前一帧中宏块Y的像素点不完全相同,则可以确定宏块A不为unchange宏块,也就是说,不为unchange宏块的宏块均为发生变化的宏块。
其他宏块类型的判断可以参考图1中的步骤4。
步骤5,针对当前图像帧中的各条带,进行video窗口识别;
其中,各条带的video窗口识别可以同步进行。
具体的,第一步,宏块变化判断:可以根据步骤3中的对于unchange宏块的判断结果,获取当前条带中发生变化的宏块;第二步,video窗口统计:对当前条带中发生变化的宏块,使用预设的算法进行筛选和统计,得到变化较为剧烈的宏块集中的区域,可以将该区域作为video窗口,记录video窗口的位置和尺寸。
步骤6,针对当前图像帧中的各条带中各宏块的宏块类型,对当前图像帧进行编码。
其中,各条带的编码可以同步进行。
可见,条带化的处理将原先的单线处理拆分为多个进程的并行处理,在较大程度上提高编码效率。
在本发明中,首先,可以根据“判断当前图像帧的各宏块的宏块类型”中,针对unchange宏块类型的判断结果,也就是说,根据判断宏块是否为unchange宏块的结果,可以得到当前图像帧与前一帧相比,发生变化的像素点;然后,在“判断当前图像帧的各宏块的宏块类型”的步骤之后,对发生变化的像素点进行统计和筛选,得到video窗口。但是,判断当前图像帧的宏块是否为video宏块时,使用的video窗口是前一帧得到的,而当前图像帧得到的video窗口,可以用于判断下一帧的宏块类型。
这样,由于图1中步骤3的“第一步”是针对整帧进行判断的,因此,本发明将图1中的步骤3移到步骤4之后,步骤3中的“第一步”不再执行,而是借助了步骤4的判断结果,那么,video窗口识别的步骤不再需要针对整帧进行处理,可以实现对可能包含video窗口的图像,使用基于条带化的图像传输算法进行处理,可以提高对可能包含video窗口的图像的处理效率。
基于上述图1对应的实施例中所描述的图像处理方法,本公开实施例还提供一种计算机可读存储介质,例如,非临时性计算机可读存储介质可以是只读存储器(英文:ReadOnly Memory,ROM)、随机存取存储器(英文:Random Access Memory,RAM)、CD-ROM、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令,用于执行上述图1对应的实施例中所描述的图像处理方法,此处不再赘述。
本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。

Claims (10)

1.一种图像处理方法,其特征在于,所述方法包括:
将当前图像帧划分为多个条带;其中,每个条带包含至少一行宏块;
确定当前图像帧每个宏块的宏块类型,所述宏块类型包括变化宏块、不变宏块和视频宏块;
基于所述不变宏块,按照预设规则对当前图像帧中各条带分别进行视频窗口识别,获取所述当前图像帧的视频窗口参数;所述当前图像帧的视频窗口参数用于识别下一图像帧中的视频宏块;
基于所述宏块类型,对当前图像帧中的各条带中各宏块进行编码。
2.根据权利要求1所述的方法,其特征在于,所述确定当前图像帧每个宏块的宏块类型包括:
判断当前图像帧当前条带中的宏块与参考图像帧对应位置的宏块的像素点的像素值是否完全相同;
若完全相同,确定所述当前图像帧当前条带中的宏块为不变宏块;
若不完全相同,确定所述当前图像帧当前条带中的宏块为变化宏块。
3.根据权利要求2所述的方法,其特征在于,所述确定当前图像帧每个宏块的宏块类型包括:
获取前一图像帧的视频窗口参数,判断当前图像帧当前条带中的宏块是否在所述前一图像帧的视频窗口内;
若在所述前一图像帧的视频窗口内,确定所述当前图像帧当前条带中的宏块为视频宏块。
4.根据权利要求2所述的方法,其特征在于,所述基于所述不变宏块,按照预设规则对当前图像帧中各条带分别进行视频窗口识别包括:
获取所述当前图像帧的中变化宏块;
对所述变化宏块进行统计,将满足预设条件的宏块区域确定为当前图像帧的视频窗口;
记录所述当前图像帧的视频窗口参数。
5.根据权利要求1所述的方法,其特征在于,所述宏块类型还包括运动矢量匹配宏块,所述将当前图像帧划分为多个条带之后,所述方法还包括:对所述多个条带分别进行运动矢量MV识别,得到全局运动矢量;
确定当前图像帧每个宏块的宏块类型包括:
将参考图像帧按照所述全局运动矢量进行位移,得到参考位移图像帧;
将所述当前图像帧中的宏块与参考位移图像帧中相同位置的宏块进行逐像素比较;
所述当前图像帧中的宏块与参考位移图像帧中相同位置的宏块完全相同,则确定所述当前图像帧中的宏块为运动矢量匹配宏块。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述基于所述宏块类型,对当前图像帧中的各条带中各宏块进行编码包括:
对视频宏块使用H264进行编码,对除了视频宏块以外的其他类型的宏块使用图像传输协议vGTP进行编码。
7.一种图像处理装置,其特征在于,所述装置包括:
划分模块,用于将当前图像帧划分为多个条带;其中,每个条带包含至少一行宏块;
向量识别模块,用于对所述多个条带分别进行运动矢量MV识别,得到全局运动矢量;
确定模块,用于根据所述全局运动矢量确定当前图像帧每个宏块的宏块类型,所述宏块类型包括变化宏块、不变宏块和视频宏块;
窗口识别模块,用于基于所述不变宏块,按照预设规则对当前图像帧中各条带分别进行视频窗口识别,获取所述当前图像帧的视频窗口参数;所述当前图像帧的视频窗口参数用于识别下一图像帧中的视频宏块;
编码模块,用于基于所述宏块类型,对当前图像帧中的各条带中各宏块进行编码。
8.根据权利要求7所述的装置,其特征在于,所述判断模块包括:
第一判断子模块,用于判断当前图像帧当前条带中的宏块与参考图像帧对应位置的宏块的像素点的像素值是否完全相同;
第一确定子模块,用于若完全相同,确定所述当前图像帧当前条带中的宏块为不变宏块;
第二确定子模块,用于若不完全相同,确定所述当前图像帧当前条带中的宏块为变化宏块。
9.根据权利要求8所述的装置,其特征在于,所述判断模块包括:
第二判断子模块,用于获取前一图像帧的视频窗口参数,判断当前图像帧当前条带中的宏块是否在所述前一图像帧的视频窗口内;
第三确定子模块,用于若在所述前一图像帧的视频窗口内,识别所述当前图像帧当前条带中的宏块为视频宏块。
10.根据权利要求8所述的装置,其特征在于,所述窗口识别模块包括:
获取子模块,用于获取所述当前图像帧的中变化宏块;
第四确定子模块,用于对所述变化宏块进行统计,将满足预设条件的宏块区域确定为当前图像帧的视频窗口;
记录子模块,用于记录所述当前图像帧的视频窗口参数。
CN202010176235.1A 2020-03-13 2020-03-13 图像处理方法及装置 Pending CN111447444A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010176235.1A CN111447444A (zh) 2020-03-13 2020-03-13 图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010176235.1A CN111447444A (zh) 2020-03-13 2020-03-13 图像处理方法及装置

Publications (1)

Publication Number Publication Date
CN111447444A true CN111447444A (zh) 2020-07-24

Family

ID=71627557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010176235.1A Pending CN111447444A (zh) 2020-03-13 2020-03-13 图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN111447444A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112351281A (zh) * 2020-10-28 2021-02-09 西安万像电子科技有限公司 图像处理方法及装置、处理器、非易失性存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110110430A1 (en) * 2009-11-12 2011-05-12 National Chung Cheng University Method for motion estimation in multimedia images
US20120143983A1 (en) * 2010-08-02 2012-06-07 Ncomputing Inc. System and method for efficiently streaming digital video
CN102595093A (zh) * 2011-01-05 2012-07-18 腾讯科技(深圳)有限公司 动态更改视频编码的视频通信方法及系统
CN103677816A (zh) * 2013-12-02 2014-03-26 广东威创视讯科技股份有限公司 基于vnc的多屏互动方法及装置
CN103716318A (zh) * 2013-12-25 2014-04-09 杭州网新云视科技有限公司 云计算环境中通过混合使用rfb和h.264编码提高虚拟桌面显示质量的方法
CN106576170A (zh) * 2014-08-01 2017-04-19 Ati科技无限责任公司 用于视频编码的自适应搜索窗口定位
CN108174200A (zh) * 2017-11-28 2018-06-15 西安万像电子科技有限公司 图像传输方法及装置
CN110493599A (zh) * 2019-07-05 2019-11-22 西安万像电子科技有限公司 图像识别方法及装置
CN110839157A (zh) * 2019-10-17 2020-02-25 西安万像电子科技有限公司 图像处理方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110110430A1 (en) * 2009-11-12 2011-05-12 National Chung Cheng University Method for motion estimation in multimedia images
US20120143983A1 (en) * 2010-08-02 2012-06-07 Ncomputing Inc. System and method for efficiently streaming digital video
CN102595093A (zh) * 2011-01-05 2012-07-18 腾讯科技(深圳)有限公司 动态更改视频编码的视频通信方法及系统
CN103677816A (zh) * 2013-12-02 2014-03-26 广东威创视讯科技股份有限公司 基于vnc的多屏互动方法及装置
CN103716318A (zh) * 2013-12-25 2014-04-09 杭州网新云视科技有限公司 云计算环境中通过混合使用rfb和h.264编码提高虚拟桌面显示质量的方法
CN106576170A (zh) * 2014-08-01 2017-04-19 Ati科技无限责任公司 用于视频编码的自适应搜索窗口定位
CN108174200A (zh) * 2017-11-28 2018-06-15 西安万像电子科技有限公司 图像传输方法及装置
CN110493599A (zh) * 2019-07-05 2019-11-22 西安万像电子科技有限公司 图像识别方法及装置
CN110839157A (zh) * 2019-10-17 2020-02-25 西安万像电子科技有限公司 图像处理方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112351281A (zh) * 2020-10-28 2021-02-09 西安万像电子科技有限公司 图像处理方法及装置、处理器、非易失性存储介质

Similar Documents

Publication Publication Date Title
GB2589223A (en) Component-dependent sub-block dividing
CN113519162B (zh) 数字视频中的参数集信令
CN109640089B (zh) 图像编解码方法及装置
EP3718306B1 (en) Cluster refinement for texture synthesis in video coding
US11323717B2 (en) Frequency adjustment for texture synthesis in video coding
CN107801093B (zh) 视频渲染方法、装置、计算机设备和可读存储介质
EP3796655B1 (en) Video privacy mask in forward predicted video frame
CN110933428B (zh) 图像处理方法及装置
US8923640B1 (en) Coherence groups: region descriptors for low bit rate encoding
CN113784124B (zh) 使用多种形状子块进行精细划分的块匹配编码和解码方法
US20190289329A1 (en) Apparatus and a method for 3d video coding
CN112132836A (zh) 视频图像裁剪方法、装置、电子设备及存储介质
US11252413B2 (en) Polynomial fitting for motion compensation and luminance reconstruction in texture synthesis
US8509303B2 (en) Video descriptor generation device
CN110022481B (zh) 视频码流的解码、生成方法及装置、存储介质、电子装置
JP5950605B2 (ja) 画像処理システム、及び、画像処理方法
CN111447444A (zh) 图像处理方法及装置
CN116250238A (zh) 用于对场景的一幅或多幅视图进行编码和解码的方法和装置
US20210105488A1 (en) Encoding and decoding a video
CN111654747B (zh) 弹幕显示方法及装置
US11290735B1 (en) Visual element encoding parameter tuning
CN113111770B (zh) 一种视频处理方法、装置、终端及存储介质
US8953688B2 (en) In loop contrast enhancement for improved motion estimation
CN110839157B (zh) 图像处理方法及装置
CN110602500A (zh) 数据更新方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200724

RJ01 Rejection of invention patent application after publication