CN110677690B - 视频处理方法和装置、存储介质 - Google Patents

视频处理方法和装置、存储介质 Download PDF

Info

Publication number
CN110677690B
CN110677690B CN201910927038.6A CN201910927038A CN110677690B CN 110677690 B CN110677690 B CN 110677690B CN 201910927038 A CN201910927038 A CN 201910927038A CN 110677690 B CN110677690 B CN 110677690B
Authority
CN
China
Prior art keywords
pixel point
resolution
edge pixel
point set
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910927038.6A
Other languages
English (en)
Other versions
CN110677690A (zh
Inventor
高欣玮
李蔚然
毛煦楠
谷沉沉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910927038.6A priority Critical patent/CN110677690B/zh
Publication of CN110677690A publication Critical patent/CN110677690A/zh
Priority to EP20868851.5A priority patent/EP4037324A4/en
Priority to PCT/CN2020/113981 priority patent/WO2021057464A1/zh
Priority to US17/449,109 priority patent/US11838503B2/en
Application granted granted Critical
Publication of CN110677690B publication Critical patent/CN110677690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen

Abstract

本发明公开了一种视频处理方法和装置、存储介质。其中,该方法包括:从当前待处理的解码视频帧中,确定所要重构的至少一对解码块,在至少一对解码块中的每对解码块包括采用第一分辨率的第一解码块和采用第二分辨率的第二解码块;将第一解码块的第一分辨率调整为目标分辨率,并将第二解码块的第二分辨率调整为目标分辨率;从第一解码块中确定出第一边缘像素点集,并从第二解码块中确定出第二边缘像素点集;对第一边缘像素点集进行滤波处理,得到滤波后的第一边缘像素点集,并对第二边缘像素点集进行滤波处理,得到滤波后的第二边缘像素点集。本发明解决了分辨率不一致导致的视频失真的技术问题。

Description

视频处理方法和装置、存储介质
技术领域
本发明涉及音视频编解码领域,具体而言,涉及一种视频处理方法和装置、存储介质。
背景技术
随着数字媒体技术和计算机技术的发展,视频已经应用在各个领域,如移动通信、网络监控、网络电视等。随着硬件性能和屏幕分辨率的提高,用户对高清视频的需求日益强烈。
目前在相关技术中,为了节省传输带宽,会针对不同音视频帧或同一音视频帧中不同的编解码块,采用不同分辨率进行编解码。而在对上述不同分辨率的音视频帧或编解码块进行重构时,由于分辨率不一致,将无法保证还原出的原始的视频内容,从而导致视频失真的问题。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种视频处理方法和装置、存储介质,以至少解决分辨率不一致导致的视频失真的技术问题。
根据本发明实施例的一个方面,提供了一种视频处理方法,包括:从当前待处理的解码视频帧中,确定所要重构的至少一对解码块,其中,在上述至少一对解码块中的每对解码块包括采用第一分辨率的第一解码块和采用第二分辨率的第二解码块,上述第一解码块与上述第二解码块为位置邻接的解码块;将上述第一解码块的上述第一分辨率调整为目标分辨率,并将上述第二解码块的上述第二分辨率调整为上述目标分辨率;从上述第一解码块中确定出第一边缘像素点集,并从上述第二解码块中确定出第二边缘像素点集,其中,上述第一边缘像素点集的位置与上述第二边缘像素点集的位置邻接;对上述第一边缘像素点集进行滤波处理,得到滤波后的上述第一边缘像素点集,并对上述第二边缘像素点集进行滤波处理,得到滤波后的上述第二边缘像素点集,其中,滤波后的上述第一边缘像素点集与滤波后的上述第二边缘像素点集相匹配。
根据本发明实施例的一个方面,提供了一种视频处理方法,包括:从当前待处理的编码视频帧中,确定所要重构的至少一对编码块,其中,在上述至少一对编码块中的每对编码块包括采用第一分辨率的第一编码块和采用第二分辨率的第二编码块,上述第一编码块与上述第二编码块为位置邻接的编码块;将上述第一编码块的上述第一分辨率调整为目标分辨率,并将上述第二编码块的上述第二分辨率调整为上述目标分辨率;从上述第一编码块中确定出第一边缘像素点集,并从上述第二编码块中确定出第二边缘像素点集,其中,上述第一边缘像素点集的位置与上述第二边缘像素点集的位置邻接;对上述第一边缘像素点集进行滤波处理,得到滤波后的上述第一边缘像素点集,并对上述第二边缘像素点集进行滤波处理,得到滤波后的上述第二边缘像素点集,其中,滤波后的上述第一边缘像素点集与滤波后的上述第二边缘像素点集相匹配。
根据本发明实施例的又一方面,还提供了一种视频处理装置,包括:第一确定单元,用于从当前待处理的解码视频帧中,确定所要重构的至少一对解码块,其中,在上述至少一对解码块中的每对解码块包括采用第一分辨率的第一解码块和采用第二分辨率的第二解码块,上述第一解码块与上述第二解码块为位置邻接的解码块;调整单元,用于将上述第一解码块的上述第一分辨率调整为目标分辨率,并将上述第二解码块的上述第二分辨率调整为上述目标分辨率;第二确定单元,从上述第一解码块中确定出第一边缘像素点集,并从上述第二解码块中确定出第二边缘像素点集,其中,上述第一边缘像素点集的位置与上述第二边缘像素点集的位置邻接;滤波处理单元,用于对上述第一边缘像素点集进行滤波处理,得到滤波后的上述第一边缘像素点集,并对上述第二边缘像素点集进行滤波处理,得到滤波后的上述第二边缘像素点集,其中,滤波后的上述第一边缘像素点集与滤波后的上述第二边缘像素点集相匹配。
根据本发明实施例的又一方面,还提供了一种视频处理装置,包括:第一确定单元,用于从当前待处理的编码视频帧中,确定所要重构的至少一对编码块,其中,在上述至少一对编码块中的每对编码块包括采用第一分辨率的第一编码块和采用第二分辨率的第二编码块,上述第一编码块与上述第二编码块为位置邻接的编码块;调整单元,用于将上述第一编码块的上述第一分辨率调整为目标分辨率,并将上述第二编码块的上述第二分辨率调整为上述目标分辨率;第二确定单元,用于从上述第一编码块中确定出第一边缘像素点集,并从上述第二编码块中确定出第二边缘像素点集,其中,上述第一边缘像素点集的位置与上述第二边缘像素点集的位置邻接;滤波处理单元,用于对上述第一边缘像素点集进行滤波处理,得到滤波后的上述第一边缘像素点集,并对上述第二边缘像素点集进行滤波处理,得到滤波后的上述第二边缘像素点集,其中,滤波后的上述第一边缘像素点集与滤波后的上述第二边缘像素点集相匹配。
根据本发明实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述视频处理方法。
根据本发明实施例的又一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述的视频处理方法。
在本发明实施例中,在获取到当前待处理的解码视频帧后,确定所要重构的至少一对解码块,其中,上述至少一对解码块中每对解码块包括采用第一分辨率的第一解码块及采用第二分辨率的第二解码块。通过对上述解码块进行分辨率调整,并对解码块中确定出的边缘像素点集进行边缘滤波处理,以使得在重构过程中可以避免在视频中出现明显接缝,从而保证准确地还原出视频中的内容,进而解决了分辨率不一致导致的视频失真的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的视频处理方法的应用环境的示意图;
图2是根据本发明实施例的一种可选的视频处理方法的流程图;
图3是根据本发明实施例的一种可选的视频处理方法的示意图;
图4是根据本发明实施例的另一种可选的视频处理方法的示意图;
图5是根据本发明实施例的又一种可选的视频处理方法的示意图;
图6是根据本发明实施例的另一种可选的视频处理方法的流程图;
图7是根据本发明实施例的另一种可选的视频处理装置的结构示意图;
图8是根据本发明实施例的另一种可选的视频处理装置的结构示意图;
图9是根据本发明实施例的一种可选的视频处理装置的结构示意图;
图10是根据本发明实施例的另一种可选的电子装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面,提供了一种视频处理方法,可选地,作为一种可选的实施方式,上述视频处理方法可以但不限于应用于如图1所示的应用环境中的视频处理系统。其中,该视频处理系统中包括终端102和服务器104,上述终端102和服务器104通过网络进行通信。其中,上述终端102可以但不限于为智能手机、平板电脑、笔记本电脑、台式计算机等,但并不局限于此。上述服务器104可以但不限于为数据处理能力较强,且具有一定存储空间的计算机处理设备。
需要说明的是,通过上述图1所示的终端102与服务器104的交互过程,从视频编解码过程中采用不同分辨率且位置相邻的编码块或解码块中,确定出位置相邻的边缘像素点集,以对该边缘像素点集进行边缘滤波处理,从而避免重构的视频帧中出现明显的接缝,克服相关技术中由于不同分辨率所导致的视频失真的问题,进而使得滤波后的编码块或解码块可以真实地还原出视频帧中的内容,并提升编解码效率。
在一个实施例中,终端102可以包括但不限于以下部件:图像处理单元1021、处理器1022、存储介质1023、内存1024、网络接口1025、显示屏幕1026和输入设备1027。上述部件可以但不限于通过系统总线1028连接。其中,上述图像处理单元1021用于至少提供显示界面的绘制能力;上述处理器1022用于提供计算和控制能力,以支持终端102的运行;存储介质1023中存储有操作系统1023-2、视频编码器和/或视频解码器1023-4。操作系统1023-2用于提供控制操作指令,视频编码器和/或视频解码器1023-4用于根据控制操作指令执行编码/解码操作。此外,上述内存为存储介质1023中的视频编码器和/或视频解码器1023-4提供运行环境,网络接口1025用于与服务器104中的网络接口1043进行网络通信。上述显示屏幕用于显示应用界面等,如解码视频;输入设备1027用于接收用户输入的命令或数据等。对于带触摸屏的终端102,显示屏幕1026和输入设备1027可为触摸屏。上述图1所示出的终端内部的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的终端的限定,具体的终端或服务器可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,上述服务器104可以包括但不限于以下部件:处理器1041、内存1042、网络接口1043和存储介质1044。上述部件可以但不限于通过系统总线1045连接。上述存储介质1044包括操作系统1044-1、数据库1044-2、视频编码器和/或视频解码器1044-3。其中,上述处理器1041用于提供计算和控制能力,以支持服务器104的运行。内存1042为存储介质1044中的视频编码器和/或视频解码1044-3的运行提供环境。网络接口1043与外部的终端102的网络接口1025通过网络连接通信。上述存储介质中的操作系统1044-1用于提供控制操作指令;视频编码器和/或视频解码器1044-3用于根据控制操作指令执行编码/解码操作;数据库1044-2用于存储数据。上述图1所示出的服务器内部的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备具有不同的部件布置。
在一个实施例中,上述网络可以包括但不限于有线网络。其中,上述有线网络可以包括但不限于:广域网、城域网、局域网。上述仅是一种示例,本实施例中对此不作任何限定。
可选地,作为一种可选的实施方式,如图2所示,上述视频处理方法,可以应用于解码侧,该方法包括:
S202,从当前待处理的解码视频帧中,确定所要重构的至少一对解码块,其中,在至少一对解码块中的每对解码块包括采用第一分辨率的第一解码块和采用第二分辨率的第二解码块,第一解码块与第二解码块为位置邻接的解码块;
S204,将第一解码块的第一分辨率调整为目标分辨率,并将第二解码块的第二分辨率调整为目标分辨率;
S206,从第一解码块中确定出第一边缘像素点集,并从第二解码块中确定出第二边缘像素点集,其中,第一边缘像素点集的位置与第二边缘像素点集的位置邻接;
S208,对第一边缘像素点集进行滤波处理,得到滤波后的第一边缘像素点集,并对第二边缘像素点集进行滤波处理,得到滤波后的第二边缘像素点集,其中,滤波后的第一边缘像素点集与滤波后的第二边缘像素点集相匹配。
需要说明的是,上述图2所示视频处理方法可以但不限于用于图1所示的视频解码器中。通过该视频解码器与其他部件的交互配合,来完成上述视频处理过程。
可选地,在本实施例中,上述视频处理方法可以但不限于应用于视频播放应用、视频共享应用或视频会话应用等应用场景中。其中,上述应用场景中所传输的视频可以包括但不限于:长视频、短视频,如长视频可以为播放时间较长(例如播放时长大于10分钟)的播放剧集,或长时间视频会话中所展示的画面,短视频可以为双方或多方交互的语音消息,或用于在共享平台展示的播放时间较短(例如播放时长小于等于30秒)的视频。上述仅是示例,本实施例中所提供的视频处理方法可以但不限于应用于上述应用场景中用于播放视频的播放设备中,在获取到当前待处理的解码视频帧后,确定所要重构的至少一对解码块,其中,上述至少一对解码块中每对解码块包括采用第一分辨率的第一解码块及采用第二分辨率的第二解码块。通过对上述解码块进行分辨率调整,并对解码块中确定出的边缘像素点集进行边缘滤波处理,以使得在重构过程中可以避免在视频中出现明显接缝,克服相关技术中视频失真的问题。
可选地,在本实施例中,将第一解码块的第一分辨率调整为目标分辨率,并将第二解码块的第二分辨率调整为目标分辨率包括:
1)在目标分辨率等于第一分辨率的情况下,将第二分辨率调整为第一分辨率;
2)在目标分辨率等于第二分辨率的情况下,将第一分辨率调整为第二分辨率;
3)在目标分辨率等于第三分辨率的情况下,将第一分辨率调整为第三分辨率,并将第二分辨率调整为第三分辨率,其中,该第三分辨率与第一分辨率不同,且与第二分辨率不同。
需要说明的是,在本实施例中,上述第三分辨率可以包括但不限于以下之一:解码视频帧的原始分辨率、对解码视频帧进行上采样得到的最高分辨率。也就是说,在本实施例中,对第一解码块和第二解码块进行分辨率统一处理,可以将分辨率统一为一对解码块中的任意一个解码块所采用的分辨率。此外,还可以将分辨率统一为第三分辨率,其中,该第三分辨率为预先约定的分辨率。
例如,假设第一解码块和第二解码块的原始分辨率为8*8,第一解码块所采用的第一分辨率为4*4,第二解码块所采用的第二分辨率为16*16,则上述目标分辨率可以但不限于为以下之一:原始分辨率8*8,第一分辨率为4*4,第二分辨率为16*16。通过对解码块进行上采样或下采样,来实现分辨率的统一。
可选地,在本实施例中,将第一解码块的第一分辨率调整为目标分辨率,并将第二解码块的第二分辨率调整为目标分辨率包括:
1)在第一分辨率和/或第二分辨率大于目标分辨率的情况下,对上述第一分辨率和/或第二分辨率进行下采样,以得到目标分辨率;
2)在第一分辨率和/或第二分辨率小于目标分辨率的情况下,对上述第一分辨率和/或第二分辨率进行上采样,以得到目标分辨率。
可选地,在本实施例中,从第一解码块中确定出第一边缘像素点集和从第二解码块中确定出第二边缘像素点集可以包括但不限于:获取预配置的像素行位置和/或像素列位置;将上述像素行位置和/或像素列位置中的像素点确定为第一边缘像素点集和第二边缘像素点集。
需要说明的是,在第一解码块与第二解码块为行邻接,则根据预配置的像素行位置确定第一边缘像素点集和第二边缘像素点集;在第一解码块与第二解码块为列邻接,则根据预配置的像素列位置确定第一边缘像素点集和第二边缘像素点集。如图3(a)-(b)所示,假设解码视频帧中包括行邻接的一对解码块:解码块A(如图3(b)所示包括圆形像素点)和解码块B(如图3(b)所示包括方形像素点)。在确定二者为行邻接的情况下,则可以在解码块A中与解码块B相邻的一边的像素点中确定出第一边缘像素点集,如图3(b)所示n1个实心圆为第一边缘像素点集;并在解码块B中与解码块A相邻的一边的像素点中确定出第二边缘像素点集,如图3(b)所示n2个实心方框为第二边缘像素点集。
此外,在本实施例中,在对第一解码块与第二解码块的分辨率统一为目标分辨率之后,再对第一边缘像素点集进行滤波处理,得到滤波后的第一边缘像素点集,并对第二边缘像素点集进行滤波处理,得到滤波后的第二边缘像素点集,从而使得第一边缘像素点集中各个像素点的像素值,与第二边缘像素点集中各个像素点的像素值相适配,避免出现明显的接缝,减少主观视差。
可选地,在本实施例中,对第一边缘像素点集进行滤波处理,并对第二边缘像素点集进行滤波处理,可以包括但不限于:从第一边缘像素点集和第二边缘像素点集中确定当前边缘像素点;对与第一边缘像素点集关联的第一参考像素点的像素值,和与第二边缘像素点集关联的第二参考像素点的像素值进行加权求和,得到目标像素值;利用该目标像素值更新上述当前边缘像素点的像素值。其中,上述加权求和所使用的权重根据参考像素点与当前边缘像素点之间的距离确定。
需要说明的是,在本实施例中,上述第一参考像素点可以但不限于为位于第一解码块中,且与第二解码块相邻一边的像素点中的参考像素点。上述第二参考像素点可以但不限于为位于第二解码块中,且与第一解码块相邻一边的像素点中的参考像素点。利用上述各个参考像素点来更新第一边缘像素点集中各个像素点的像素值和第二边缘像素点集中各个像素点的像素值。从而实现对统一为目标分辨率后的第一解码块与第二解码块的边缘滤波处理。
可选地,在本实施例中,在获取到滤波后的第一边缘像素点集和滤波后的第二边缘像素点集之后,可以但不限于按照上述滤波后的第一边缘像素点集和滤波后的第二边缘像素点集进行渲染展示,还可以但不限于将包含上述滤波后的第一边缘像素点集和滤波后的第二边缘像素点集的解码视频帧作为参考帧供后续视频帧进行解码参考。
通过本申请提供的实施例,在获取到当前待处理的解码视频帧后,确定所要重构的至少一对解码块,其中,上述至少一对解码块中每对解码块包括采用第一分辨率的第一解码块及采用第二分辨率的第二解码块。通过对上述解码块进行分辨率调整,并对解码块中确定出的边缘像素点集进行边缘滤波处理,以使得在重构过程中可以避免在视频中出现明显接缝,克服相关技术中视频失真的问题。
作为一种可选的方案,对第一边缘像素点集进行滤波处理,得到滤波后的第一边缘像素点集,并对第二边缘像素点集进行滤波处理,得到滤波后的第二边缘像素点集包括:
S1,从第一解码块中确定出与第一边缘像素点集关联的第一参考像素点,从第二解码块中确定出与第二边缘像素点集关联的第二参考像素点;
S2,根据第一参考像素点的像素值与第二参考像素点的像素值,对第一边缘像素点集和第二边缘像素点集进行滤波处理,其中,滤波后的第一边缘像素点集中第i个像素点的像素值与滤波后的第二边缘像素点集中与第i个像素点对应的第j个像素点的像素值之间的第一差值,小于第一边缘像素点集中第i个像素点的像素值与第二边缘像素点集中第j个像素点的像素值之间的第二差值,i为正整数,且小于等于第一边缘像素点集中像素点的总数,j为正整数,且小于等于第二边缘像素点集中像素点的总数。
需要说明的是,与第一边缘像素点集关联的第一参考像素点可以包括但不限于位于第一解码块中,且与第二解码块相邻一边的多个像素点,该多个像素点包括第一边缘像素点集;与第二边缘像素点集关联的第二参考像素点可以包括但不限于位于第二解码块中,且与第一解码块相邻一边的多个像素点,该多个像素点包括第二边缘像素点集。也就是说,参考两个解码块的相邻边(如相邻行/相邻列)中的多个像素点的像素值,来确定边缘像素点的像素值,从而实现对统一分辨率后的解码块进行边缘滤波的效果,避免解码后还原的视频中出现明显的接缝。
具体结合图4(a)-(b)所示进行说明:假设解码视频帧中包括一对解码块:解码块A和解码块B。在确定二者为行邻接的情况下,则可以在解码块A中与解码块B相邻的一边的像素点中确定出第一边缘像素点集,如图4(a)所示n1个实心圆为第一边缘像素点集,并在解码块B中与解码块A相邻的一边的像素点中确定出第二边缘像素点集,如图4(a)所示n2个实心方框为第二边缘像素点集。
根据上述n1个实心圆确定出第一边缘像素点集关联的第一参考像素点,如图4(b)所示m1个斜线圆;并根据上述n2个实心方框确定出第二边缘像素点集关联的第二参考像素点,如图4(b)所示m2个斜线方框。
进一步假设图4(a)所示的解码块A中虚线框内的实心圆为当前第i个像素点,解码块B中虚线框内的实心方框为与上述第i个像素点对应的第j个像素点。在根据上述第一参考像素点的像素值与上述第二参考像素点的像素值,对第一边缘像素点集和第二边缘像素点集进行滤波处理之后,确定滤波后解码块A中的第i个像素点的像素值与解码块B中的第j个像素点的像素值之间的第一差值f1,并确定滤波前解码块A中的第i个像素点的像素值与解码块B中的第j个像素点的像素值之间的第二差值f2,通过比对上述差值,可以确定f1<f2,也就是说,两个解码块中滤波后的边缘像素集中像素点的像素值的差异更小。
通过本申请提供的实施例,利用第一参考像素点的像素值和第二参考像素点的像素值,来对第一边缘像素点集和第二边缘像素点集进行滤波处理,从而实现融合与边缘像素点邻近的像素点的像素值来完成滤波处理,以使得边缘像素点的像素值相适配,避免在视频播放时出现明显的接缝,进而减少用户的主观视差,改善用户观看体验。
作为一种可选的方案,根据第一参考像素点的像素值与第二参考像素点的像素值,对第一边缘像素点集和第二边缘像素点集进行滤波处理包括:
依次执行以下步骤,直至遍历第一边缘像素点集和第二边缘像素点集:
S1,从第一边缘像素点集和第二边缘像素点集中确定当前边缘像素点;
S2,对第一参考像素点的像素值与第二参考像素点的像素值进行加权求和,得到目标像素值;
S3,将当前边缘像素点的像素值更新为目标像素值,以得到滤波后的当前边缘像素点。
需要说明的是,在本实施例中,针对分辨率不同的解码块,在将分辨率统一为目标分辨率之后,还将进一步对解码块中相邻的边缘像素点的像素值进行边缘滤波处理,以使得边缘像素点得到平滑处理。
可选地,在本实施例中,上述步骤S2,对第一参考像素点的像素值与第二参考像素点的像素值进行加权求和,得到目标像素值包括:
S21,确定当前边缘像素点的位置;
S22,依次获取第一参考像素点和第二参考像素点中每个参考像素点的位置与当前边缘像素点的位置之间的距离;
S23,根据距离确定与每个参考像素点匹配的权重;
S24,利用权重对第一参考像素点的像素值与第二参考像素点的像素值进行加权求和,以得到目标像素值。
具体结合图5所示进行说明:假设第一解码块A中第一边缘像素点集为图5所示实心圆,第二解码块B中第二边缘像素点集为图5所示实心方框。此外,第一解码块A中第一参考像素点为图5所示全部圆圈,第二解码块B中第二参考像素点为图5所示全部方框,各个参考像素点的像素值从左至右依次为Q1至Q7。
进一步,假设确定当前边缘像素点为图5所示的当前边缘像素点P(如图所示虚线框选中的像素点),位于第二解码块B第一行的第二列的位置。此外,依次获取各个参考像素点的位置与当前边缘像素点P所在位置之间的距离,如该距离从左至右依次为:d1至d7,并根据上述不同的距离将分别确定对应不同的权重,如从左至右依次为α1至α7。即,与d1对应的权重为α1,以此类推。
基于上述假设条件计算目标像素值Q,计算公式如下:
Q=Q1*α1+Q2*α2+Q3*α3+Q4*α4+Q5*α5+Q6*α6+Q7*α7
将第一边缘像素点集和第二边缘像素点集中的每个边缘像素点,分别作为当前边缘像素点,重复执行上述步骤,以确定出每个边缘像素点的像素值,从而达到对第一边缘像素点集和第二边缘像素点集进行滤波处理的目的。
进一步,在对第一边缘像素点集和第二边缘像素点集进行滤波处理之后,确定滤波后解码块A中的第i个像素点的像素值与解码块B中的第j个像素点的像素值之间的第一差值f1,并确定滤波前解码块A中的第i个像素点的像素值与解码块B中的第j个像素点的像素值之间的第二差值f2,通过比对上述差值,可以确定f1<f2,也就是说,两个解码块中滤波后的边缘像素集中像素点的像素值的差异更小。其中,i为第一边缘像素点集中第i个像素点,i是正整数,j为第二边缘像素点集中第j个像素点,j是正整数,
通过本申请提供的实施例,融合各个参考像素点的像素值,来计算每个边缘像素点的像素值,以达到边缘滤波处理的目的,从而避免还原视频后出现明显的接缝,减少用户的主观视差。
作为一种可选的方案,从第一解码块中确定出第一边缘像素点集,并从第二解码块中确定出第二边缘像素点集包括:
S1,获取在第一解码块中预先配置的第一行位置和/或第一列位置,以及在第二解码块中预先配置的第二行位置和/或第二列位置;
S2,根据第一行位置和/或第一列位置确定出第一边缘像素点集,并根据第二行位置和/或第二列位置确定出第二边缘像素点集。
需要说明的是,在第一解码块与第二解码块为行邻接的情况下,则获取预先配置的第一列位置和第二列位置;在第一解码块与第二解码块为列邻接的情况下,则获取预先配置的第一行位置和第二行位置。其中,上述预先配置的第一行位置/第二行位置可以但不限于为解码块中的一行或多行位置,上述预先配置的第一列位置/第二列位置可以但不限于为解码块中的一列或多列位置。此外,上述第一行位置的数量与第二行位置的数量可以相等,也可以不等;上述第一列位置的数量与第二列位置的数量可以相等,也可以不等。上述数量可以结合具体应用场景确定,本实施例中对此不作任何限定。
例如,如图5所示,在第一解码块A中的多行多列像素点中,可以确定第一边缘像素点集为图5所示实心圆所指示的像素点;在第二解码块B中的多行多列像素点中,可以确定第二边缘像素点集为图5所示实心方框所指示的像素点。
通过本申请提供的实施例,按照预先配置的行位置/列位置确定边缘像素点集,从而实现对解码块进行统一的边缘滤波处理。
作为一种可选的方案,将第一解码块的第一分辨率调整为目标分辨率,并将第二解码块的第二分辨率调整为目标分辨率包括:
1)在目标分辨率等于第一分辨率的情况下,将第二分辨率调整为第一分辨率;
2)在目标分辨率等于第二分辨率的情况下,将第一分辨率调整为第二分辨率;
3)在目标分辨率等于第三分辨率的情况下,将第一分辨率调整为第三分辨率,并第二分辨率调整为第三分辨率,其中,第三分辨率与第一分辨率不同,且第三分辨率与第二分辨率不同。
需要说明的是,在本实施例中,在对分辨率进行统一时,可以选择将分辨率统一为一对解码块中任意一个分辨率,如第一分辨率或第二分辨率;此外,还可以统一为第三分辨率,其中,该第三分辨率可以但不限于为解码块的原始分辨率或解码块所支持的最高分辨率。上述仅是示例,本实施例中对此不作任何限定。
可选地,在本实施例中,将第一解码块的第一分辨率调整为目标分辨率,并将第二解码块的第二分辨率调整为目标分辨率包括:
(1)在第一分辨率大于目标分辨率的情况下,对第一分辨率进行下采样,得到目标分辨率;或者,在第一分辨率小于目标分辨率的情况下,对第一分辨率进行上采样,得到目标分辨率;
(2)在第二分辨率大于目标分辨率的情况下,对第二分辨率进行下采样,得到目标分辨率;或者,在第二分辨率小于目标分辨率的情况下,对第二分辨率进行上采样,得到目标分辨率。
具体结合以下示例进行说明:假设第一解码块和第二解码块的原始分辨率为8*8,第一解码块所采用的第一分辨率为4*4,第二解码块所采用的第二分辨率为16*16,上述目标分辨率为原始分辨率8*8。
比对后确定,第一分辨率小于目标分辨率,则对第一分辨率4*4进行上采样后得到目标分辨率8*8;第二分辨率大于目标分辨率,则对第二分辨率16*16进行下采样后得到目标分辨率8*8。进一步,对分辨率统一为目标分辨率8*8的第一解码块和第二解码块进行边缘滤波处理,处理过程可以参考上述实施例,本实施例在此不再赘述。
通过本申请提供的实施例,通过上采样差值或下采样抽样的方式,来对第一分辨率和第二分辨率进行统一处理,以使得分辨率不同的第一解码块与第二解码块可以将分辨率统一为目标分辨率,从而便于后续执行边缘滤波处理操作,进而克服相关技术中分辨率不同导致的视频失真的问题。
根据本发明实施例的另一个方面,提供了一种视频处理方法,可选地,作为一种可选的实施方式,上述视频处理方法可以但不限于应用于如图1所示的环境中。
可选地,作为一种可选的实施方式,如图6所示,上述视频处理方法,可以应用于编码侧,该方法包括:
S602,从当前待处理的编码视频帧中,确定所要重构的至少一对编码块,其中,在至少一对编码块中的每对编码块包括采用第一分辨率的第一编码块和采用第二分辨率的第二编码块,第一编码块与第二编码块为位置邻接的编码块;
S604,将第一编码块的第一分辨率调整为目标分辨率,并将第二编码块的第二分辨率调整为目标分辨率;
S606,从第一编码块中确定出第一边缘像素点集,并从第二编码块中确定出第二边缘像素点集,其中,第一边缘像素点集的位置与第二边缘像素点集的位置邻接;
S608,对第一边缘像素点集进行滤波处理,得到滤波后的第一边缘像素点集,并对第二边缘像素点集进行滤波处理,得到滤波后的第二边缘像素点集,其中,滤波后的第一边缘像素点集与滤波后的第二边缘像素点集相匹配。
需要说明的是,上述图2所示视频处理方法可以但不限于用于图1所示的视频编码器中。通过该视频编码器与其他部件的交互配合,来完成上述视频处理过程。
可选地,在本实施例中,上述视频处理方法可以但不限于应用于视频播放应用、视频共享应用或视频会话应用等应用场景中。其中,上述应用场景中所传输的视频可以包括但不限于:长视频、短视频,如长视频可以为播放时间较长(例如播放时长大于10分钟)的播放剧集,或长时间视频会话中所展示的画面,短视频可以为双方或多方交互的语音消息,或用于在共享平台展示的播放时间较短(例如播放时长小于等于30秒)的视频。上述仅是示例,本实施例中所提供的视频处理方法可以但不限于应用于上述应用场景中用于播放视频的播放设备中,在获取到当前待处理的编码视频帧后,确定所要重构的至少一对编码块,其中,上述至少一对编码块中每对编码块包括采用第一分辨率的第一编码块及采用第二分辨率的第二编码块。通过对上述编码块进行分辨率调整,并对编码块中确定出的边缘像素点集进行边缘滤波处理,以使得在重构过程中可以避免在视频中出现明显接缝,克服相关技术中视频失真的问题。
作为一种可选的方案,对第一边缘像素点集进行滤波处理,得到滤波后的第一边缘像素点集,并对第二边缘像素点集进行滤波处理,得到滤波后的第二边缘像素点集包括:
S1,从第一编码块中确定出与第一边缘像素点集关联的第一参考像素点,从第二编码块中确定出与第二边缘像素点集关联的第二参考像素点;
S2,根据第一参考像素点的像素值与第二参考像素点的像素值,对第一边缘像素点集和第二边缘像素点集进行滤波处理,其中,滤波后的第一边缘像素点集中第i个像素点的像素值与滤波后的第二边缘像素点集中与第i个像素点对应的第j个像素点的像素值之间的第一差值,小于第一边缘像素点集中第i个像素点的像素值与第二边缘像素点集中第j个像素点的像素值之间的第二差值,i为正整数,且小于等于第一边缘像素点集中像素点的总数,j为正整数,且小于等于第二边缘像素点集中像素点的总数。
作为一种可选的方案,根据第一参考像素点的像素值与第二参考像素点的像素值,对第一边缘像素点集和第二边缘像素点集进行滤波处理包括:
S1,依次执行以下步骤,直至遍历第一边缘像素点集和第二边缘像素点集:
S11,从第一边缘像素点集和第二边缘像素点集中确定当前边缘像素点;
S12,对第一参考像素点的像素值与第二参考像素点的像素值进行加权求和,得到目标像素值;
S13,将当前边缘像素点的像素值更新为目标像素值,以得到滤波后的当前边缘像素点。
作为一种可选的方案,对第一参考像素点的像素值与第二参考像素点的像素值进行加权求和,得到目标像素值包括:
S1,确定当前边缘像素点的位置;
S2,依次获取第一参考像素点和第二参考像素点中每个参考像素点的位置与当前边缘像素点的位置之间的距离;
S3,根据距离确定与每个参考像素点匹配的权重;
S4,利用权重对第一参考像素点的像素值与第二参考像素点的像素值进行加权求和,以得到目标像素值。
此外,在本实施例中,关于统一分辨率的相关操作,及边缘滤波处理操作,可以参考上述解码侧的实施例,本实施例中在此不再赘述。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面,还提供了一种用于实施上述视频处理方法的视频处理装置。如图7所示,应用于解码侧,该装置包括:
1)第一确定单元702,用于从当前待处理的解码视频帧中,确定所要重构的至少一对解码块,其中,在至少一对解码块中的每对解码块包括采用第一分辨率的第一解码块和采用第二分辨率的第二解码块,第一解码块与第二解码块为位置邻接的解码块;
2)调整单元704,用于将第一解码块的第一分辨率调整为目标分辨率,并将第二解码块的第二分辨率调整为目标分辨率;
3)第二确定单元706,从第一解码块中确定出第一边缘像素点集,并从第二解码块中确定出第二边缘像素点集,其中,第一边缘像素点集的位置与第二边缘像素点集的位置邻接;
4)滤波处理单元708,用于对第一边缘像素点集进行滤波处理,得到滤波后的第一边缘像素点集,并对第二边缘像素点集进行滤波处理,得到滤波后的第二边缘像素点集,其中,滤波后的第一边缘像素点集与滤波后的第二边缘像素点集相匹配。
具体实施例可以参考上述解码侧的视频处理方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,滤波处理单元708包括:
1)第一确定模块,用于从第一解码块中确定出与第一边缘像素点集关联的第一参考像素点,从第二解码块中确定出与第二边缘像素点集关联的第二参考像素点;
2)滤波处理模块,用于根据第一参考像素点的像素值与第二参考像素点的像素值,对第一边缘像素点集和第二边缘像素点集进行滤波处理,其中,滤波后的第一边缘像素点集中第i个像素点的像素值与滤波后的第二边缘像素点集中与第i个像素点对应的第j个像素点的像素值之间的第一差值,小于第一边缘像素点集中第i个像素点的像素值与第二边缘像素点集中第j个像素点的像素值之间的第二差值,i为正整数,且小于等于第一边缘像素点集中像素点的总数,j为正整数,且小于等于第二边缘像素点集中像素点的总数。
具体实施例可以参考上述解码侧的视频处理方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,滤波处理模块包括:
1)处理子模块,用于依次执行以下步骤,直至遍历第一边缘像素点集和第二边缘像素点集:
S1,从第一边缘像素点集和第二边缘像素点集中确定当前边缘像素点;
S2,对第一参考像素点的像素值与第二参考像素点的像素值进行加权求和,得到目标像素值;
S3,将当前边缘像素点的像素值更新为目标像素值,以得到滤波后的当前边缘像素点。
具体实施例可以参考上述解码侧的视频处理方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,处理子模块通过以下步骤实现对第一参考像素点的像素值与第二参考像素点的像素值进行加权求和,得到目标像素值:
S1,确定当前边缘像素点的位置;
S2,依次获取第一参考像素点和第二参考像素点中每个参考像素点的位置与当前边缘像素点的位置之间的距离;
S3,根据距离确定与每个参考像素点匹配的权重;
S4,利用权重对第一参考像素点的像素值与第二参考像素点的像素值进行加权求和,以得到目标像素值。
具体实施例可以参考上述解码侧的视频处理方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,第二确定单元704包括:
1)获取模块,用于获取在第一解码块中预先配置的第一行位置和/或第一列位置,以及在第二解码块中预先配置的第二行位置和/或第二列位置;
2)第三确定模块,用于根据第一行位置和/或第一列位置确定出第一边缘像素点集,并根据第二行位置和/或第二列位置确定出第二边缘像素点集。
具体实施例可以参考上述解码侧的视频处理方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,调整单元706包括:
1)第一调整模块,用于在目标分辨率等于第一分辨率的情况下,将第二分辨率调整为第一分辨率;
2)第二调整模块,用于在目标分辨率等于第二分辨率的情况下,将第一分辨率调整为第二分辨率;
3)第三调整模块,用于在目标分辨率等于第三分辨率的情况下,将第一分辨率调整为第三分辨率,并第二分辨率调整为第三分辨率,其中,第三分辨率与第一分辨率不同,且第三分辨率与第二分辨率不同。
具体实施例可以参考上述解码侧的视频处理方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,调整单元706包括:
1)第一采样模块,用于在第一分辨率大于目标分辨率的情况下,对第一分辨率进行下采样,得到目标分辨率;或者,在第一分辨率小于目标分辨率的情况下,对第一分辨率进行上采样,得到目标分辨率;
2)第二采样模块,用于在第二分辨率大于目标分辨率的情况下,对第二分辨率进行下采样,得到目标分辨率;或者,在第二分辨率小于目标分辨率的情况下,对第二分辨率进行上采样,得到目标分辨率。
具体实施例可以参考上述解码侧的视频处理方法中所示示例,本示例中在此不再赘述。
根据本发明实施例的另一个方面,还提供了一种用于实施上述视频处理方法的视频处理装置。如图8所示,应用于编码侧,该装置包括:
1)第一确定单元802,用于从当前待处理的编码视频帧中,确定所要重构的至少一对编码块,其中,在至少一对编码块中的每对编码块包括采用第一分辨率的第一编码块和采用第二分辨率的第二编码块,第一编码块与第二编码块为位置邻接的编码块;
2)调整单元804,用于将第一编码块的第一分辨率调整为目标分辨率,并将第二编码块的第二分辨率调整为目标分辨率;
3)第二确定单元806,用于从第一编码块中确定出第一边缘像素点集,并从第二编码块中确定出第二边缘像素点集,其中,第一边缘像素点集的位置与第二边缘像素点集的位置邻接;
4)滤波处理单元808,用于对第一边缘像素点集进行滤波处理,得到滤波后的第一边缘像素点集,并对第二边缘像素点集进行滤波处理,得到滤波后的第二边缘像素点集,其中,滤波后的第一边缘像素点集与滤波后的第二边缘像素点集相匹配。
具体实施例可以参考上述编码侧的视频处理方法中的解释说明,关于统一分辨率的相关操作,及边缘滤波处理操作,可以参考上述解码侧的实施例,本实施例中在此不再赘述。
作为一种可选的方案,滤波处理单元708包括:
1)第一确定模块,用于从第一编码块中确定出与第一边缘像素点集关联的第一参考像素点,从第二编码块中确定出与第二边缘像素点集关联的第二参考像素点;
2)滤波处理模块,用于根据第一参考像素点的像素值与第二参考像素点的像素值,对第一边缘像素点集和第二边缘像素点集进行滤波处理,其中,滤波后的第一边缘像素点集中第i个像素点的像素值与滤波后的第二边缘像素点集中与第i个像素点对应的第j个像素点的像素值之间的第一差值,小于第一边缘像素点集中第i个像素点的像素值与第二边缘像素点集中第j个像素点的像素值之间的第二差值,i为正整数,且小于等于第一边缘像素点集中像素点的总数,j为正整数,且小于等于第二边缘像素点集中像素点的总数。
具体实施例可以参考上述解码侧的视频处理方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,滤波处理模块包括:
1)处理子模块,用于依次执行以下步骤,直至遍历第一边缘像素点集和第二边缘像素点集:
S1,从第一边缘像素点集和第二边缘像素点集中确定当前边缘像素点;
S2,对第一参考像素点的像素值与第二参考像素点的像素值进行加权求和,得到目标像素值;
S3,将当前边缘像素点的像素值更新为目标像素值,以得到滤波后的当前边缘像素点。
具体实施例可以参考上述解码侧的视频处理方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,处理子模块通过以下步骤实现对第一参考像素点的像素值与第二参考像素点的像素值进行加权求和,得到目标像素值:
S1,确定当前边缘像素点的位置;
S2,依次获取第一参考像素点和第二参考像素点中每个参考像素点的位置与当前边缘像素点的位置之间的距离;
S3,根据距离确定与每个参考像素点匹配的权重;
S4,利用权重对第一参考像素点的像素值与第二参考像素点的像素值进行加权求和,以得到目标像素值。
根据本发明实施例的又一个方面,还提供了一种用于实施上述视频处理方法的电子装置,如图9所示,该电子装置包括存储器902和处理器904,该存储器902中存储有计算机程序,该处理器904被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,从当前待处理的解码视频帧中,确定所要重构的至少一对解码块,其中,在至少一对解码块中的每对解码块包括采用第一分辨率的第一解码块和采用第二分辨率的第二解码块,第一解码块与第二解码块为位置邻接的解码块;
S2,将第一解码块的第一分辨率调整为目标分辨率,并将第二解码块的第二分辨率调整为目标分辨率;
S3,从第一解码块中确定出第一边缘像素点集,并从第二解码块中确定出第二边缘像素点集,其中,第一边缘像素点集的位置与第二边缘像素点集的位置邻接;
S4,对第一边缘像素点集进行滤波处理,得到滤波后的第一边缘像素点集,并对第二边缘像素点集进行滤波处理,得到滤波后的第二边缘像素点集,其中,滤波后的第一边缘像素点集与滤波后的第二边缘像素点集相匹配。
可选地,本领域普通技术人员可以理解,图9所示的结构仅为示意,电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图9其并不对上述电子装置的结构造成限定。例如,电子装置还可包括比图9中所示更多或者更少的组件(如网络接口等),或者具有与图9所示不同的配置。
其中,存储器902可用于存储软件程序以及模块,如本发明实施例中的视频处理方法和装置对应的程序指令/模块,处理器904通过运行存储在存储器902内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的视频处理方法。存储器902可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器902可进一步包括相对于处理器904远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器902具体可以但不限于用于存储解码视频帧及相关分辨率等信息。作为一种示例,如图9所示,上述存储器902中可以但不限于包括上述视频处理装置中的第一确定单元702、调整单元704、第二确定单元706及滤波处理单元708。此外,还可以包括但不限于上述视频处理装置中的其他模块单元,本示例中不再赘述。
可选地,上述的传输装置906用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置906包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置906为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子装置还包括:显示器908,用于显示上述解码视频帧;和连接总线910,用于连接上述电子装置中的各个模块部件。
根据本发明实施例的又一个方面,还提供了一种用于实施上述视频处理方法的电子装置,如图10所示,该电子装置包括存储器1002和处理器1004,该存储器1002中存储有计算机程序,该处理器1004被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,从当前待处理的编码视频帧中,确定所要重构的至少一对编码块,其中,在至少一对编码块中的每对编码块包括采用第一分辨率的第一编码块和采用第二分辨率的第二编码块,第一编码块与第二编码块为位置邻接的编码块;
S2,将第一编码块的第一分辨率调整为目标分辨率,并将第二编码块的第二分辨率调整为目标分辨率;
S3,从第一编码块中确定出第一边缘像素点集,并从第二编码块中确定出第二边缘像素点集,其中,第一边缘像素点集的位置与第二边缘像素点集的位置邻接;
S4,对第一边缘像素点集进行滤波处理,得到滤波后的第一边缘像素点集,并对第二边缘像素点集进行滤波处理,得到滤波后的第二边缘像素点集,其中,滤波后的第一边缘像素点集与滤波后的第二边缘像素点集相匹配。
可选地,本领域普通技术人员可以理解,图10所示的结构仅为示意,电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图10其并不对上述电子装置的结构造成限定。例如,电子装置还可包括比图10中所示更多或者更少的组件(如网络接口等),或者具有与图10所示不同的配置。
其中,存储器1002可用于存储软件程序以及模块,如本发明实施例中的视频处理方法和装置对应的程序指令/模块,处理器1004通过运行存储在存储器1002内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的视频处理方法。存储器1002可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1002可进一步包括相对于处理器1004远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器1002具体可以但不限于用于存储解码视频帧及相关分辨率等信息。作为一种示例,如图10所示,上述存储器1002中可以但不限于包括上述视频处理装置中的第一确定单元802、调整单元804、第二确定单元806及滤波处理单元808。此外,还可以包括但不限于上述视频处理装置中的其他模块单元,本示例中不再赘述。
可选地,上述的传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置1006包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置1006为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子装置还包括:显示器1008,用于显示上述解码视频帧;和连接总线1010,用于连接上述电子装置中的各个模块部件。
根据本发明的实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,从当前待处理的解码视频帧中,确定所要重构的至少一对解码块,其中,在至少一对解码块中的每对解码块包括采用第一分辨率的第一解码块和采用第二分辨率的第二解码块,第一解码块与第二解码块为位置邻接的解码块;
S2,将第一解码块的第一分辨率调整为目标分辨率,并将第二解码块的第二分辨率调整为目标分辨率;
S3,从第一解码块中确定出第一边缘像素点集,并从第二解码块中确定出第二边缘像素点集,其中,第一边缘像素点集的位置与第二边缘像素点集的位置邻接;
S4,对第一边缘像素点集进行滤波处理,得到滤波后的第一边缘像素点集,并对第二边缘像素点集进行滤波处理,得到滤波后的第二边缘像素点集,其中,滤波后的第一边缘像素点集与滤波后的第二边缘像素点集相匹配。
可选地,在本实施例中,上述计算机可读的存储介质还可以被设置为存储用于执行以下步骤的计算机程序:
S1,从当前待处理的编码视频帧中,确定所要重构的至少一对编码块,其中,在至少一对编码块中的每对编码块包括采用第一分辨率的第一编码块和采用第二分辨率的第二编码块,第一编码块与第二编码块为位置邻接的编码块;
S2,将第一编码块的第一分辨率调整为目标分辨率,并将第二编码块的第二分辨率调整为目标分辨率;
S3,从第一编码块中确定出第一边缘像素点集,并从第二编码块中确定出第二边缘像素点集,其中,第一边缘像素点集的位置与第二边缘像素点集的位置邻接;
S4,对第一边缘像素点集进行滤波处理,得到滤波后的第一边缘像素点集,并对第二边缘像素点集进行滤波处理,得到滤波后的第二边缘像素点集,其中,滤波后的第一边缘像素点集与滤波后的第二边缘像素点集相匹配。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (14)

1.一种视频处理方法,其特征在于,包括:
从当前待处理的解码视频帧中,确定所要重构的至少一对解码块,其中,在所述至少一对解码块中的每对解码块包括采用第一分辨率的第一解码块和采用第二分辨率的第二解码块,所述第一解码块与所述第二解码块为位置邻接的解码块;
将所述第一解码块的所述第一分辨率调整为目标分辨率,并将所述第二解码块的所述第二分辨率调整为所述目标分辨率;
从所述第一解码块中确定出第一边缘像素点集,并从所述第二解码块中确定出第二边缘像素点集,其中,所述第一边缘像素点集的位置与所述第二边缘像素点集的位置邻接;
对所述第一边缘像素点集进行滤波处理,得到滤波后的所述第一边缘像素点集,并对所述第二边缘像素点集进行滤波处理,得到滤波后的所述第二边缘像素点集,其中,滤波后的所述第一边缘像素点集中第i个像素点的像素值与滤波后的所述第二边缘像素点集中与所述第i个像素点对应的第j个像素点的像素值之间的第一差值,小于所述第一边缘像素点集中所述第i个像素点的像素值与所述第二边缘像素点集中所述第j个像素点的像素值之间的第二差值,所述i为正整数,且小于等于所述第一边缘像素点集中像素点的总数,所述j为正整数,且小于等于所述第二边缘像素点集中像素点的总数。
2.根据权利要求1所述的方法,其特征在于,所述对所述第一边缘像素点集进行滤波处理,得到滤波后的所述第一边缘像素点集,并对所述第二边缘像素点集进行滤波处理,得到滤波后的所述第二边缘像素点集包括:
从所述第一解码块中确定出与所述第一边缘像素点集关联的第一参考像素点,从所述第二解码块中确定出与所述第二边缘像素点集关联的第二参考像素点;
根据所述第一参考像素点的像素值与所述第二参考像素点的像素值,对所述第一边缘像素点集和所述第二边缘像素点集进行滤波处理。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一参考像素点的像素值与所述第二参考像素点的像素值,对所述第一边缘像素点集和所述第二边缘像素点集进行滤波处理包括:
依次执行以下步骤,直至遍历所述第一边缘像素点集和所述第二边缘像素点集:
从所述第一边缘像素点集和所述第二边缘像素点集中确定当前边缘像素点;
对所述第一参考像素点的像素值与所述第二参考像素点的像素值进行加权求和,得到目标像素值;
将所述当前边缘像素点的像素值更新为所述目标像素值,以得到滤波后的所述当前边缘像素点。
4.根据权利要求3所述的方法,其特征在于,所述对所述第一参考像素点的像素值与所述第二参考像素点的像素值进行加权求和,得到目标像素值包括:
确定所述当前边缘像素点的位置;
依次获取所述第一参考像素点和所述第二参考像素点中每个参考像素点的位置与所述当前边缘像素点的位置之间的距离;
根据所述距离确定与所述每个参考像素点匹配的权重;
利用所述权重对所述第一参考像素点的像素值与所述第二参考像素点的像素值进行加权求和,以得到所述目标像素值。
5.根据权利要求1所述的方法,其特征在于,所述从所述第一解码块中确定出第一边缘像素点集,并从所述第二解码块中确定出第二边缘像素点集包括:
获取在所述第一解码块中预先配置的第一行位置和/或第一列位置,以及在所述第二解码块中预先配置的第二行位置和/或第二列位置;
根据所述第一行位置和/或第一列位置确定出所述第一边缘像素点集,并根据所述第二行位置和/或第二列位置确定出所述第二边缘像素点集。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述将所述第一解码块的所述第一分辨率调整为目标分辨率,并将所述第二解码块的所述第二分辨率调整为所述目标分辨率包括:
在所述目标分辨率等于所述第一分辨率的情况下,将所述第二分辨率调整为所述第一分辨率;
在所述目标分辨率等于所述第二分辨率的情况下,将所述第一分辨率调整为所述第二分辨率;
在所述目标分辨率等于第三分辨率的情况下,将所述第一分辨率调整为所述第三分辨率,并所述第二分辨率调整为所述第三分辨率,其中,所述第三分辨率与所述第一分辨率不同,且所述第三分辨率与所述第二分辨率不同。
7.根据权利要求1至5中任一项所述的方法,其特征在于,所述将所述第一解码块的所述第一分辨率调整为目标分辨率,并将所述第二解码块的所述第二分辨率调整为所述目标分辨率包括:
在所述第一分辨率大于所述目标分辨率的情况下,对所述第一分辨率进行下采样,得到所述目标分辨率;或者,在所述第一分辨率小于所述目标分辨率的情况下,对所述第一分辨率进行上采样,得到所述目标分辨率;
在所述第二分辨率大于所述目标分辨率的情况下,对所述第二分辨率进行下采样,得到所述目标分辨率;或者,在所述第二分辨率小于所述目标分辨率的情况下,对所述第二分辨率进行上采样,得到所述目标分辨率。
8.一种视频处理方法,其特征在于,包括:
从当前待处理的编码视频帧中,确定所要重构的至少一对编码块,其中,在所述至少一对编码块中的每对编码块包括采用第一分辨率的第一编码块和采用第二分辨率的第二编码块,所述第一编码块与所述第二编码块为位置邻接的编码块;
将所述第一编码块的所述第一分辨率调整为目标分辨率,并将所述第二编码块的所述第二分辨率调整为所述目标分辨率;
从所述第一编码块中确定出第一边缘像素点集,并从所述第二编码块中确定出第二边缘像素点集,其中,所述第一边缘像素点集的位置与所述第二边缘像素点集的位置邻接;
对所述第一边缘像素点集进行滤波处理,得到滤波后的所述第一边缘像素点集,并对所述第二边缘像素点集进行滤波处理,得到滤波后的所述第二边缘像素点集,其中,滤波后的所述第一边缘像素点集中第i个像素点的像素值与滤波后的所述第二边缘像素点集中与所述第i个像素点对应的第j个像素点的像素值之间的第一差值,小于所述第一边缘像素点集中所述第i个像素点的像素值与所述第二边缘像素点集中所述第j个像素点的像素值之间的第二差值,所述i为正整数,且小于等于所述第一边缘像素点集中像素点的总数,所述j为正整数,且小于等于所述第二边缘像素点集中像素点的总数。
9.根据权利要求8所述的方法,其特征在于,所述对所述第一边缘像素点集进行滤波处理,得到滤波后的所述第一边缘像素点集,并对所述第二边缘像素点集进行滤波处理,得到滤波后的所述第二边缘像素点集包括:
从所述第一编码块中确定出与所述第一边缘像素点集关联的第一参考像素点,从所述第二编码块中确定出与所述第二边缘像素点集关联的第二参考像素点;
根据所述第一参考像素点的像素值与所述第二参考像素点的像素值,对所述第一边缘像素点集和所述第二边缘像素点集进行滤波处理。
10.根据权利要求9所述的方法,其特征在于,所述根据所述第一参考像素点的像素值与所述第二参考像素点的像素值,对所述第一边缘像素点集和所述第二边缘像素点集进行滤波处理包括:
依次执行以下步骤,直至遍历所述第一边缘像素点集和所述第二边缘像素点集:
从所述第一边缘像素点集和所述第二边缘像素点集中确定当前边缘像素点;
对所述第一参考像素点的像素值与所述第二参考像素点的像素值进行加权求和,得到目标像素值;
将所述当前边缘像素点的像素值更新为所述目标像素值,以得到滤波后的所述当前边缘像素点。
11.根据权利要求10所述的方法,其特征在于,所述对所述第一参考像素点的像素值与所述第二参考像素点的像素值进行加权求和,得到目标像素值包括:
确定所述当前边缘像素点的位置;
依次获取所述第一参考像素点和所述第二参考像素点中每个参考像素点的位置与所述当前边缘像素点的位置之间的距离;
根据所述距离确定与所述每个参考像素点匹配的权重;
利用所述权重对所述第一参考像素点的像素值与所述第二参考像素点的像素值进行加权求和,以得到所述目标像素值。
12.一种视频处理装置,其特征在于,包括:
第一确定单元,用于从当前待处理的解码视频帧中,确定所要重构的至少一对解码块,其中,在所述至少一对解码块中的每对解码块包括采用第一分辨率的第一解码块和采用第二分辨率的第二解码块,所述第一解码块与所述第二解码块为位置邻接的解码块;
调整单元,用于将所述第一解码块的所述第一分辨率调整为目标分辨率,并将所述第二解码块的所述第二分辨率调整为所述目标分辨率;
第二确定单元,从所述第一解码块中确定出第一边缘像素点集,并从所述第二解码块中确定出第二边缘像素点集,其中,所述第一边缘像素点集的位置与所述第二边缘像素点集的位置邻接;
滤波处理单元,用于对所述第一边缘像素点集进行滤波处理,得到滤波后的所述第一边缘像素点集,并对所述第二边缘像素点集进行滤波处理,得到滤波后的所述第二边缘像素点集,其中,滤波后的所述第一边缘像素点集中第i个像素点的像素值与滤波后的所述第二边缘像素点集中与所述第i个像素点对应的第j个像素点的像素值之间的第一差值,小于所述第一边缘像素点集中所述第i个像素点的像素值与所述第二边缘像素点集中所述第j个像素点的像素值之间的第二差值,所述i为正整数,且小于等于所述第一边缘像素点集中像素点的总数,所述j为正整数,且小于等于所述第二边缘像素点集中像素点的总数。
13.一种视频处理装置,其特征在于,包括:
第一确定单元,用于从当前待处理的编码视频帧中,确定所要重构的至少一对编码块,其中,在所述至少一对编码块中的每对编码块包括采用第一分辨率的第一编码块和采用第二分辨率的第二编码块,所述第一编码块与所述第二编码块为位置邻接的编码块;
调整单元,用于将所述第一编码块的所述第一分辨率调整为目标分辨率,并将所述第二编码块的所述第二分辨率调整为所述目标分辨率;
第二确定单元,用于从所述第一编码块中确定出第一边缘像素点集,并从所述第二编码块中确定出第二边缘像素点集,其中,所述第一边缘像素点集的位置与所述第二边缘像素点集的位置邻接;
滤波处理单元,用于对所述第一边缘像素点集进行滤波处理,得到滤波后的所述第一边缘像素点集,并对所述第二边缘像素点集进行滤波处理,得到滤波后的所述第二边缘像素点集,其中,滤波后的所述第一边缘像素点集中第i个像素点的像素值与滤波后的所述第二边缘像素点集中与所述第i个像素点对应的第j个像素点的像素值之间的第一差值,小于所述第一边缘像素点集中所述第i个像素点的像素值与所述第二边缘像素点集中所述第j个像素点的像素值之间的第二差值,所述i为正整数,且小于等于所述第一边缘像素点集中像素点的总数,所述j为正整数,且小于等于所述第二边缘像素点集中像素点的总数。
14.一种计算机可读的存储介质,所述计算机可读的存储介质包括存储的程序,其中,所述程序被所述计算机运行时执行上述权利要求1至7任一项中所述的方法或权利要求8所述的方法。
CN201910927038.6A 2019-09-27 2019-09-27 视频处理方法和装置、存储介质 Active CN110677690B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910927038.6A CN110677690B (zh) 2019-09-27 2019-09-27 视频处理方法和装置、存储介质
EP20868851.5A EP4037324A4 (en) 2019-09-27 2020-09-08 VIDEO PROCESSING METHOD AND APPARATUS, STORAGE MEDIA AND ELECTRONIC DEVICE
PCT/CN2020/113981 WO2021057464A1 (zh) 2019-09-27 2020-09-08 视频处理方法和装置、存储介质和电子装置
US17/449,109 US11838503B2 (en) 2019-09-27 2021-09-28 Video processing method and apparatus, storage medium, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910927038.6A CN110677690B (zh) 2019-09-27 2019-09-27 视频处理方法和装置、存储介质

Publications (2)

Publication Number Publication Date
CN110677690A CN110677690A (zh) 2020-01-10
CN110677690B true CN110677690B (zh) 2022-07-01

Family

ID=69079616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910927038.6A Active CN110677690B (zh) 2019-09-27 2019-09-27 视频处理方法和装置、存储介质

Country Status (4)

Country Link
US (1) US11838503B2 (zh)
EP (1) EP4037324A4 (zh)
CN (1) CN110677690B (zh)
WO (1) WO2021057464A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110677690B (zh) 2019-09-27 2022-07-01 腾讯科技(深圳)有限公司 视频处理方法和装置、存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105009590A (zh) * 2013-03-15 2015-10-28 高通股份有限公司 用于视频信息的可缩放译码的装置和方法
CN106105201A (zh) * 2014-03-14 2016-11-09 高通股份有限公司 使用像素距离的解块滤波

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4388366B2 (ja) 2003-12-26 2009-12-24 株式会社ケンウッド 送信装置、受信装置、データ送信方法、データ受信方法及びプログラム
WO2006110890A2 (en) * 2005-04-08 2006-10-19 Sarnoff Corporation Macro-block based mixed resolution video compression system
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US9137549B2 (en) * 2006-07-25 2015-09-15 Hewlett-Packard Development Company, L.P. Compressing image data
TW201419846A (zh) * 2012-11-09 2014-05-16 Inst Information Industry 動態解析度調節方法系統與動態解析度調節方法
KR102349788B1 (ko) * 2015-01-13 2022-01-11 인텔렉추얼디스커버리 주식회사 영상의 부호화/복호화 방법 및 장치
CN106157257B (zh) * 2015-04-23 2019-04-12 腾讯科技(深圳)有限公司 图像滤波的方法和装置
US10390021B2 (en) * 2016-03-18 2019-08-20 Mediatek Inc. Method and apparatus of video coding
CN107517385B (zh) * 2016-06-16 2020-02-21 华为技术有限公司 一种视频图像的编解码方法和装置
CN107817385B (zh) 2016-09-14 2020-08-28 株式会社村田制作所 电子元件装置的电气特性测定方法、筛选方法及测定装置
JP7027776B2 (ja) * 2017-10-02 2022-03-02 富士通株式会社 移動ベクトル算出方法、装置、プログラム、及びノイズ除去処理を含む移動ベクトル算出方法
CN108124154B (zh) * 2017-12-28 2020-04-24 北京数码视讯科技股份有限公司 帧间预测模式的快速选择方法、装置及电子设备
WO2020141911A1 (ko) * 2019-01-02 2020-07-09 엘지전자 주식회사 화면간 예측을 사용하여 비디오 신호를 처리하기 위한 방법 및 장치
CN110677690B (zh) * 2019-09-27 2022-07-01 腾讯科技(深圳)有限公司 视频处理方法和装置、存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105009590A (zh) * 2013-03-15 2015-10-28 高通股份有限公司 用于视频信息的可缩放译码的装置和方法
CN106105201A (zh) * 2014-03-14 2016-11-09 高通股份有限公司 使用像素距离的解块滤波

Also Published As

Publication number Publication date
EP4037324A4 (en) 2022-12-14
WO2021057464A1 (zh) 2021-04-01
US11838503B2 (en) 2023-12-05
CN110677690A (zh) 2020-01-10
US20220014737A1 (en) 2022-01-13
EP4037324A1 (en) 2022-08-03

Similar Documents

Publication Publication Date Title
CN110636294A (zh) 视频解码方法及装置,视频编码方法及装置
WO2021057477A1 (zh) 视频编解码方法和相关装置
WO2021057697A1 (zh) 视频编解码方法和装置、存储介质及电子装置
US11943473B2 (en) Video decoding method and apparatus, video encoding method and apparatus, storage medium, and electronic device
CN110677690B (zh) 视频处理方法和装置、存储介质
CN110545433B (zh) 视频编解码方法和装置及存储介质
CN110572677B (zh) 视频编解码方法和装置、存储介质及电子装置
CN110572672B (zh) 视频编解码方法和装置、存储介质及电子装置
CN110677653B (zh) 视频编解码方法和装置及存储介质
CN110677676A (zh) 视频编码方法和装置、视频解码方法和装置及存储介质
US20210409736A1 (en) Video encoding method and apparatus, video decoding method and apparatus, electronic device and readable storage medium
CN110582022B (zh) 视频编解码方法和装置及存储介质
CN110677721B (zh) 视频编解码方法和装置及存储介质
CN113747242A (zh) 图像处理方法、装置、电子设备及存储介质
CN110636293A (zh) 视频编码、解码方法和装置、存储介质及电子装置
CN110636295B (zh) 视频编解码方法和装置、存储介质及电子装置
CN110677691B (zh) 视频编码、解码方法和装置、存储介质及电子装置
CN110572654B (zh) 视频编码、解码方法和装置、存储介质及电子装置
CN110536134B (zh) 视频编码、解码方法和装置、存储介质及电子装置
CN112887726B (zh) 图像处理方法和装置、存储介质及电子设备
CN110572674B (zh) 视频编解码方法和装置、存储介质及电子装置
CN110662060A (zh) 视频编码方法和装置、视频解码方法和装置及存储介质
CN110572676A (zh) 视频编码方法和装置、视频解码方法和装置及存储介质
CN113068029A (zh) 用于移动端的视频解码方法、系统、存储介质及电子设备
CN116132737A (zh) 数据处理方法、直播方法及装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40020132

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant