CN110728180A - 图像处理方法、装置及存储介质 - Google Patents

图像处理方法、装置及存储介质 Download PDF

Info

Publication number
CN110728180A
CN110728180A CN201910832941.4A CN201910832941A CN110728180A CN 110728180 A CN110728180 A CN 110728180A CN 201910832941 A CN201910832941 A CN 201910832941A CN 110728180 A CN110728180 A CN 110728180A
Authority
CN
China
Prior art keywords
image
region
target
area
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910832941.4A
Other languages
English (en)
Other versions
CN110728180B (zh
Inventor
张元尊
郑云飞
闻兴
于冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201910832941.4A priority Critical patent/CN110728180B/zh
Publication of CN110728180A publication Critical patent/CN110728180A/zh
Application granted granted Critical
Publication of CN110728180B publication Critical patent/CN110728180B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本公开关于一种图像处理方法、装置及存储介质，其中，所述方法包括：获取原始图像序列，所述原始图像序列包括多个连续的原始图像；识别出每一个所述原始图像的第一区域图像和第二区域图像；提高所述第一区域图像的清晰度得到第一目的图像；降低所述第二区域图像的码率得到第二目的图像；根据每个所述原始图像的所述第一目的图像和所述第二目的图像生成对应的多个目的图像；依次输出多个所述目的图像。本公开满足用户对视频流数据的图像的清晰度要求，同时，也满足视频流数据的码流对网络带宽的要求。

Description

图像处理方法、装置及存储介质
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置及存储介质。
背景技术
随着网络技术的发展，越来越多的用户通过网络观看视频，视频呈现给用户的画面效果直接影响用户的观看体验。
在视频直播场景中，由于受网络带宽的限制，需要将视频流数据的码率压缩到一定的范围内，以保证用户可以流畅观看视频。但是，考虑到视频画面的清晰度，又不能无限制地压缩码率。因此，在保证清晰度的前提下，尽可能地将视频流数据的码流压缩得更小，或者，在保证视频流数据的码率相同的情况下，尽可能地提升画面清晰度是需要亟待需要解决的问题。
发明内容
本公开提供了一种图像处理方法、装置及存储介质，以至少解决相关技术中无法同时兼顾视频流数据的码流和清晰度的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种图像处理方法，包括：获取原始图像序列，所述原始图像序列包括多个连续的原始图像；识别出每一个所述原始图像的第一区域图像和第二区域图像；提高所述第一区域图像的清晰度得到第一目的图像；降低所述第二区域图像的码率得到第二目的图像；根据每个所述原始图像的所述第一目的图像和所述第二目的图像生成对应的多个目的图像；依次输出多个所述目的图像。
可选地，所述提高所述第一区域图像的清晰度得到第一目的图像的步骤，包括：对所述第一区域图像进行锐化处理得到所述第一目的图像。
可选地，所述对所述第一区域图像进行锐化处理得到所述第一目的图像的步骤，包括：对所述第一区域图像进行高斯滤波处理得到残差图像；根据所述残差图像、预设的锐化因子、预设的第一高斯窗口、预设的第一加权系数和所述第一区域图像生成锐化处理后的所述第一目的图像。
可选地，所述根据所述残差图像、预设的锐化因子、预设的第一高斯窗口、预设的第一加权系数和所述第一区域图像生成锐化处理后的所述第一目的图像的步骤，包括：根据如下公式生成锐化处理后的所述第一目的图像：
Figure BDA0002191302290000021
其中，p表示所述第一区域图像中像素点的横坐标，q表示所述第一区域图像中像素点的纵坐标，I1(p,q)表示所述第一区域图像经过锐化处理后的像素点的像素值，I(p,q)表示所述第一区域图像中像素点的像素值，α表示所述锐化因子，α>1，i表示所述第一区域图像中像素点的横坐标在所述第一高斯窗口内的变化值，j表示所述第一区域图像中像素点的纵坐标在所述第一高斯窗口内的变化值，2t+1表示所述第一高斯窗口的边长，w1表示所述第一加权系数，1＞w1＞0，w1符合正态高斯分布；
表示所述残差图像中像素点的像素值。
可选地，所述降低所述第二区域图像的码率得到第二目的图像的步骤，包括：根据预设的第二高斯窗口和预设的第二加权系数对所述第二区域图像进行低通滤波处理得到所述第二目的图像。
可选地，所述根据预设的第二高斯窗口和预设的第二加权系数对所述第二区域图像进行低通滤波处理得到所述第二目的图像的步骤，包括：根据如下公式对所述第二区域图像进行低通滤波处理得到所述第二目的图像：
Figure BDA0002191302290000023
其中，m表示所述第二区域图像中像素点的横坐标，n表示所述第二区域图像中像素点的纵坐标，I2(m,n)表示所述第二区域图像经过低通滤波处理后的像素点的像素值，r表示所述第二区域图像中像素点的横坐标在所述第二高斯窗口内的变化值，s表示所述第二区域图像中像素点的纵坐标在所述第二高斯窗口内的变化值，2u+1表示所述第二高斯窗口的边长，w2表示所述第二加权系数，1＞w2＞0，w2符合正态高斯分布。
可选地，所述识别出每一个所述原始图像的第一区域图像和第二区域图像的步骤，包括：利用感兴趣区域ROI检测算法或预设的区域范围针对每一个所述原始图像筛选出所述第一区域图像；将所述原始图像中除所述第一区域图像之外的图像确定为所述第二区域图像。
根据本公开实施例的第二方面，提供一种图像处理装置，包括：获取单元，被配置为获取原始图像序列，所述原始图像序列包括多个连续的原始图像；识别单元，被配置为识别出每一个所述原始图像的第一区域图像和第二区域图像；提高单元，被配置为提高所述第一区域图像的清晰度得到第一目的图像；降低单元，被配置为降低所述第二区域图像的码率得到第二目的图像；生成单元，被配置为根据每个所述原始图像的所述第一目的图像和所述第二目的图像生成对应的多个目的图像序列；输出单元，被配置为依次输出多个目的图像。
可选地，所述提高单元，被配置为对所述第一区域图像进行锐化处理得到所述第一目的图像。
可选地，所述提高单元，包括：滤波模块，被配置为对所述第一区域图像进行高斯滤波处理得到残差图像；生成模块，被配置为根据所述残差图像、预设的锐化因子、预设的第一高斯窗口、预设的第一加权系数和所述第一区域图像生成锐化处理后的所述第一目的图像。
可选地，所述生成模块，被配置为根据如下公式生成锐化处理后的所述第一目的图像：
Figure BDA0002191302290000033
其中，p表示所述第一区域图像中像素点的横坐标，q表示所述第一区域图像中像素点的纵坐标，I1(p,q)表示所述第一区域图像经过锐化处理后的像素点的像素值，I(p,q)表示所述第一区域图像中像素点的像素值，α表示所述锐化因子，α>1，i表示所述第一区域图像中像素点的横坐标在所述第一高斯窗口内的变化值，j表示所述第一区域图像中像素点的纵坐标在所述第一高斯窗口内的变化值，2t+1表示所述第一高斯窗口的边长，w1表示所述第一加权系数，1＞w1＞0，w1符合正态高斯分布；
Figure BDA0002191302290000031
表示所述残差图像中像素点的像素值。
可选地，所述降低单元，被配置为根据预设的第二高斯窗口和预设的第二加权系数对所述第二区域图像进行低通滤波处理得到所述第二目的图像。
可选地，所述降低单元，被配置为根据如下公式对所述第二区域图像进行低通滤波处理得到所述第二目的图像：
Figure BDA0002191302290000032
其中，m表示所述第二区域图像中像素点的横坐标，n表示所述第二区域图像中像素点的纵坐标，I2(m,n)表示所述第二区域图像经过低通滤波处理后的像素点的像素值，r表示所述第二区域图像中像素点的横坐标在所述第二高斯窗口内的变化值，s表示所述第二区域图像中像素点的纵坐标在所述第二高斯窗口内的变化值，2u+1表示所述第二高斯窗口的边长，w2表示所述第二加权系数，1＞w2＞0，w2符合正态高斯分布。
可选地，所述识别单元，包括：筛选模块，被配置为利用感兴趣区域ROI检测算法或预设的区域范围针对每一个所述原始图像筛选出所述第一区域图像；确定模块，被配置为将所述原始图像中除所述第一区域图像之外的图像确定为所述第二区域图像。
根据本公开实施例的第三方面，提供一种装置，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如第一方面任一项所述的图像处理方法。
根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由装置的处理器执行时，使得所述装置能够执行如第一方面任一项所述的图像处理方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，包括可读性程序代码，所述可读性程序代码可由装置的处理器执行以完成第一方面任一项所述的图像处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
本公开的实施例从原始图像序列的每一个原始图像中识别出第一区域图像和第二区域图像，进而提高第一区域图像的清晰度得到第一目的图像，并降低第二区域图像的码率得到第二目的图像。再根据每个原始图像的第一目的图像和第二目的图像生成对应的多个目的图像，依次输出多个目的图像。
本公开的实施例从原始图像中识别出第一区域图像和第二区域图像，其中，第一区域图像可以理解为用户感兴趣区域的图像，第二区域图像可以理解为用户不感兴趣区域的图像。提高用户感兴趣区域的图像的清晰度得到第一目的图像，满足用户对视频流数据的图像的清晰度要求，同时，降低用户不感兴趣区域的图像的码率得到第二目的图像，满足视频流数据的码流对网络带宽的要求。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图像处理方法的流程图。
图2是根据一示例性实施例示出的一种锐化处理过程的流程图。
图3是根据一示例性实施例示出的一种自适应感兴趣区域的滤波方法的流程图。
图4是根据一示例性实施例示出的一种图像处理装置的框图。
图5是根据一示例性实施例示出的一种图像处理装置的框图。
图6是根据一示例性实施例示出的一种用于处理图像的装置的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种图像处理方法的流程图，如图1所示，图像处理方法可以用于服务器中，包括以下步骤。
在步骤S11中，获取原始图像序列。
在本公开实施例中，原始图像序列可以理解为待处理的视频流数据中的每一帧图像组成的图像组合。原始图像序列可以由多个连续的原始图像组成。每个原始图像可以为任意格式、尺寸、大小的图像，本公开的实施例对原始图像的格式、尺寸、大小等不作具体限制。
在步骤S12中，识别出每一个原始图像的第一区域图像和第二区域图像。
在本公开实施例中，第一区域图像可以理解为用户感兴趣区域(Region ofInterest，ROI)的图像，第二区域图像可以理解为用户不感兴趣区域的图像。针对用户感兴趣区域的图像，可以提高该区域的图像清晰度。针对用户不感兴趣区域的图像，可以降低该区域的图像的码率，进而实现从整体上降低了原始图像的码率。第一区域图像和第二区域图像可以组成一个完整的原始图像，也可以组成部分的原始图像。也就是说，原始图像可以划分为第一区域图像和第二区域图像两部，原始图像也可以划分为第一区域图像、第二区域图像和第三区域图像等。
在步骤S12中，一方面，可以利用感兴趣区域检测算法针对原始图像序列中的每一个原始图像筛选出第一区域图像，然后从原始图像中扣除第一区域图像得到剩余的区域图像，即原始图像中除第一区域图像之外的区域为第二区域图像。
在步骤S12中，另一方面，可以利用预设的区域范围针对原始图像序列中的每一个原始图像筛选出第一区域图像，然后从原始图像中扣除第一区域图像得到剩余的区域图像，即原始图像中除第一区域图像之外的区域为第二区域图像。例如，在常规的直播界面中，画面的中心为用户感兴趣区域，因此可以将以画面的中心点为原点，一定长度为半径的圆形范围所在的区域的图像设定为第一区域图像。画面顶部和画面底部则被一些用户界面(User Interface，UI)和观众评论以及礼物等覆盖，画面顶部和画面底部为用户不感兴趣的区域。可以将原始图像中除第一区域图像之外的区域作为第二区域图像。
在步骤S13中，提高第一区域图像的清晰度得到第一目的图像。
在实际应用中，本步骤S13中提高第一区域图像的清晰度时，可以对第一区域图像进行锐化处理。如图2所示，锐化处理的具体过程可以包括如下步骤。
在步骤S21中，对第一区域图像进行高斯滤波处理得到残差图像。
在实际应用中，可以对第一区域图像中的像素点进行高斯滤波处理，高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。通俗的讲，高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。高斯滤波的具体操作是：用一个模板(或称卷积、掩模)扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。在对第一区域图像中的像素点进行高斯滤波处理时，可以得到经过高斯滤波处理后的图像和残差图像。
在步骤S22中，根据残差图像、预设的锐化因子、预设的第一高斯窗口、预设的第一加权系数和第一区域图像生成锐化处理后的第一目的图像。
本步骤S22中，可以根据如下公式生成锐化处理后的第一目的图像。
Figure BDA0002191302290000061
其中，p表示第一区域图像中像素点的横坐标，q表示第一区域图像中像素点的纵坐标，I1(p,q)表示第一区域图像经过锐化处理后的像素点的像素值，I(p,q)表示第一区域图像中像素点的像素值，α表示锐化因子，α>1，i表示第一区域图像中像素点的横坐标在第一高斯窗口内的变化值，j表示第一区域图像中像素点的纵坐标在第一高斯窗口内的变化值，2t+1表示第一高斯窗口的边长，w1表示第一加权系数，1＞w1＞0，w1符合正态高斯分布；
Figure BDA0002191302290000071
表示残差图像中像素点的像素值。第一高斯窗口的边长可以设置为5，即2t+1＝5，则t＝2。(p+i,q+j)可以理解为(p,q)的邻居像素点。
在步骤S14中，降低第二区域图像的码率得到第二目的图像。
在实际应用中，本步骤S14中降低第二区域图像的码率时，可以根据预设的第二高斯窗口和预设的第二加权系数对第二区域图像进行低通滤波处理。低通滤波的规则为低频信号能正常通过，而超过设定临界值的高频信号则被阻隔、减弱。但是阻隔、减弱的幅度则会依据不同的频率以及不同的滤波程序(目的)而改变。具体地，可以根据如下公式对第二区域图像进行低通滤波处理得到第二目的图像。
其中，m表示第二区域图像中像素点的横坐标，n表示第二区域图像中像素点的纵坐标，I2(m,n)表示第二区域图像经过低通滤波处理后的像素点的像素值，r表示第二区域图像中像素点的横坐标在第二高斯窗口内的变化值，s表示第二区域图像中像素点的纵坐标在第二高斯窗口内的变化值，2u+1表示第二高斯窗口的边长，w2表示第二加权系数，1＞w2＞0，w2符合正态高斯分布。
需要说明的是，上述第一高斯窗口的边长与上述第二高斯窗口的边长可以相同也可以不相同，在实际应用中，第一高斯窗口的边长可以与第二高斯窗口的边长设置为相同的数值，例如，第一高斯窗口的边长与第二高斯窗口的边长都可以设置为5。上述锐化因子、第一加权系数、第二加权系数的具体取值可以根据实际情况或者经验进行调整。本公开实施例对锐化因子、第一加权系数、第二加权系数的数值等不作具体限制。
需要说明的是，可以先执行上述步骤S13，后执行上述步骤S14；也可以先执行上述步骤S14，后执行上述步骤S13；还可以同时执行上述步骤S13和步骤S14，本公开的实施例对上述步骤S13和上述步骤S14的执行顺序关系等不作具体限制。
在步骤S15中，根据每个原始图像的第一目的图像和第二目的图像生成对应的多个目的图像。
在本步骤S15中生成目的图像时，可以按照第一目的图像在原始图像中的位置和第二目的图像在原始图像中的位置，合成目的图像。第一目的图像在原始图像中的位置即第一区域图像所在的位置，第二目的图像在原始图像中的位置即第二区域图像所在的位置。本公开的实施例可以仅改变第一区域图像的清晰度和第二区域图像的码率，不改变第一区域图像和第二区域图像在原始图像的位置。
在步骤S16中，依次输出多个目的图像。
本公开的实施例中，每个目的图像为对应的原始图像进行提高第一区域图像的清晰度并降低第二区域图像的码率而得。而且，目的图像的码率比对应的原始图像的码率低。例如，多个连续的原始图像依次为Y01、Y02和Y03，对应的目的图像分别为M01、M02和M03，本步骤S16可以按照原始图像的顺序依次输出目的图像M01、M02和M03。
基于上述关于一种图像处理方法的相关说明，下面介绍一种自适应感兴趣区域的滤波方法，该滤波方法可以应用于直播应用场景，可以对视频流数据进行相关处理。如图3所示，视频流数据中的每一帧图像可以称为一张原始图像，利用用户感兴趣区域检测算法对原始图像进行识别，得到感兴趣区域和不感兴趣区域。图3中椭圆形的轮廓用于区分感兴趣区域和不感兴趣区域，椭圆形的轮廓并不代表实际的感兴趣区域的形状，感兴趣区域的形状可以为圆形、椭圆形、方形、菱形、不规则形状等。在识别得到感兴趣区域和不感兴趣区域之后，可以针对感兴趣区域(白色椭圆区域)的图像提升其清晰度，并针对不感兴趣区域(黑色椭圆区域之外的区域)的图像降低其码率。最终得到比原始图像的码率低的目的图像。
本公开的实施例从原始图像序列的每一个原始图像中识别出第一区域图像和第二区域图像，进而提高第一区域图像的清晰度得到第一目的图像，并降低第二区域图像的码率得到第二目的图像。再根据每个原始图像的第一目的图像和第二目的图像生成对应的多个目的图像，依次输出多个目的图像。
本公开的实施例从原始图像中识别出第一区域图像和第二区域图像，其中，第一区域图像可以理解为用户感兴趣区域的图像，第二区域图像可以理解为用户不感兴趣区域的图像。提高用户感兴趣区域的图像的清晰度，满足用户对视频流数据的图像的清晰度要求，同时，降低用户不感兴趣区域的图像的码率，满足视频流数据的码流对网络带宽的要求。
图4是根据一示例性实施例示出的一种图像处理装置的框图。参照图4，该装置包括如下单元和模块。
获取单元40，被配置为获取原始图像序列，所述原始图像序列包括多个连续的原始图像；
识别单元41，被配置为识别出每一个所述原始图像的第一区域图像和第二区域图像；
提高单元42，被配置为提高所述第一区域图像的清晰度得到第一目的图像；
降低单元43，被配置为降低所述第二区域图像的码率得到第二目的图像；
生成单元44，被配置为根据每个所述原始图像的所述第一目的图像和所述第二目的图像生成对应的多个目的图像序列；
输出单元45，被配置为依次输出多个所述目的图像。
在本公开的一种示例性实施例中，所述提高单元42，被配置为对所述第一区域图像进行锐化处理得到所述第一目的图像。
在本公开的一种示例性实施例中，所述提高单元42，包括：
滤波模块421，被配置为对所述第一区域图像进行高斯滤波处理得到残差图像；
生成模块422，被配置为根据所述残差图像、预设的锐化因子、预设的第一高斯窗口、预设的第一加权系数和所述第一区域图像生成锐化处理后的所述第一目的图像。
在本公开的一种示例性实施例中，所述生成模块422，被配置为根据如下公式生成锐化处理后的所述第一目的图像：
Figure BDA0002191302290000091
其中，p表示所述第一区域图像中像素点的横坐标，q表示所述第一区域图像中像素点的纵坐标，I1(p,q)表示所述第一区域图像经过锐化处理后的像素点的像素值，I(p,q)表示所述第一区域图像中像素点的像素值，α表示所述锐化因子，α>1，i表示所述第一区域图像中像素点的横坐标在所述第一高斯窗口内的变化值，j表示所述第一区域图像中像素点的纵坐标在所述第一高斯窗口内的变化值，2t+1表示所述第一高斯窗口的边长，w1表示所述第一加权系数，1＞w1＞0，w1符合正态高斯分布；
Figure BDA0002191302290000092
表示所述残差图像中像素点的像素值。
在本公开的一种示例性实施例中，所述降低单元43，被配置为根据预设的第二高斯窗口和预设的第二加权系数对所述第二区域图像进行低通滤波处理得到所述第二目的图像。
在本公开的一种示例性实施例中，所述降低单元43，被配置为根据如下公式对所述第二区域图像进行低通滤波处理得到所述第二目的图像：
Figure BDA0002191302290000101
其中，m表示所述第二区域图像中像素点的横坐标，n表示所述第二区域图像中像素点的纵坐标，I2(m,n)表示所述第二区域图像经过低通滤波处理后的像素点的像素值，r表示所述第二区域图像中像素点的横坐标在所述第二高斯窗口内的变化值，s表示所述第二区域图像中像素点的纵坐标在所述第二高斯窗口内的变化值，2u+1表示所述第二高斯窗口的边长，w2表示所述第二加权系数，1＞w2＞0，w2符合正态高斯分布。
在本公开的一种示例性实施例中，所述识别单元41，包括：
筛选模块411，被配置为利用感兴趣区域ROI检测算法或预设的区域范围针对每一个所述原始图像筛选出所述第一区域图像；
确定模块412，被配置为将所述原始图像中除所述第一区域图像之外的图像确定为所述第二区域图像。
关于上述实施例中的装置，其中各个单元、各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图5是根据一示例性实施例示出的一种图像处理装置500的框图。例如，装置500可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图5，装置500可以包括以下一个或多个组件：处理组件502，存储器504，电力组件506，多媒体组件508，音频组件510，输入/输出(I/O)的接口512，传感器组件514，以及通信组件516。
处理组件502通常控制装置500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器520来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件502可以包括一个或多个模块，便于处理组件502和其他组件之间的交互。例如，处理组件502可以包括多媒体模块，以方便多媒体组件508和处理组件502之间的交互。
存储器504被配置为存储各种类型的数据以支持在装置500的操作。这些数据的示例包括用于在装置500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件506为装置500的各种组件提供电力。电源组件506可以包括电源管理系统，一个或多个电源，及其他与为装置500生成、管理和分配电力相关联的组件。
多媒体组件508包括在所述装置500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件508包括一个前置摄像头和/或后置摄像头。当装置500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件510被配置为输出和/或输入音频信号。例如，音频组件510包括一个麦克风(MIC)，当装置500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中，音频组件510还包括一个扬声器，用于输出音频信号。
I/O接口512为处理组件502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件514包括一个或多个传感器，用于为装置500提供各个方面的状态评估。例如，传感器组件514可以检测到装置500的打开/关闭状态，组件的相对定位，例如所述组件为装置500的显示器和小键盘，传感器组件514还可以检测装置500或装置500一个组件的位置改变，用户与装置500接触的存在或不存在，装置500方位或加速/减速和装置500的温度变化。传感器组件514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件516被配置为便于装置500和其他设备之间有线或无线方式的通信。装置500可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件516还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器504，上述指令可由装置500的处理器520执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品，该计算机程序产品包括可读性程序代码，该可读性程序代码可由装置500的处理器520执行以完成上述方法。可选地，该程序代码可以存储在装置500的存储介质中，该存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图6是根据一示例性实施例示出的一种用于处理图像的装置600的框图。例如，装置600可以被提供为一服务器。参照图6，装置600包括处理组件622，其进一步包括一个或多个处理器，以及由存储器632所代表的存储器资源，用于存储可由处理组件622的执行的指令，例如应用程序。存储器632中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件622被配置为执行指令，以执行上述图像处理方法。
装置600还可以包括一个电源组件626被配置为执行装置600的电源管理，一个有线或无线网络接口650被配置为将装置600连接到网络，和一个输入输出(I/O)接口658。装置600可以操作基于存储在存储器632的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取原始图像序列，所述原始图像序列包括多个连续的原始图像；
识别出每一个所述原始图像的第一区域图像和第二区域图像；
提高所述第一区域图像的清晰度得到第一目的图像；
降低所述第二区域图像的码率得到第二目的图像；
根据每个所述原始图像的所述第一目的图像和所述第二目的图像生成对应的多个目的图像；
依次输出多个所述目的图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述提高所述第一区域图像的清晰度得到第一目的图像的步骤，包括：
对所述第一区域图像进行锐化处理得到所述第一目的图像。
3.根据权利要求2所述的图像处理方法，其特征在于，所述对所述第一区域图像进行锐化处理得到所述第一目的图像的步骤，包括：
对所述第一区域图像进行高斯滤波处理得到残差图像；
根据所述残差图像、预设的锐化因子、预设的第一高斯窗口、预设的第一加权系数和所述第一区域图像生成锐化处理后的所述第一目的图像。
4.根据权利要求3所述的图像处理方法，其特征在于，所述根据所述残差图像、预设的锐化因子、预设的第一高斯窗口、预设的第一加权系数和所述第一区域图像生成锐化处理后的所述第一目的图像的步骤，包括：
根据如下公式生成锐化处理后的所述第一目的图像：
Figure FDA0002191302280000011
其中，p表示所述第一区域图像中像素点的横坐标，q表示所述第一区域图像中像素点的纵坐标，I1(p,q)表示所述第一区域图像经过锐化处理后的像素点的像素值，I(p,q)表示所述第一区域图像中像素点的像素值，α表示所述锐化因子，α>1，i表示所述第一区域图像中像素点的横坐标在所述第一高斯窗口内的变化值，j表示所述第一区域图像中像素点的纵坐标在所述第一高斯窗口内的变化值，2t+1表示所述第一高斯窗口的边长，w1表示所述第一加权系数，1＞w1＞0，w1符合正态高斯分布；
Figure FDA0002191302280000021
表示所述残差图像中像素点的像素值。
5.根据权利要求1所述的图像处理方法，其特征在于，所述降低所述第二区域图像的码率得到第二目的图像的步骤，包括：
根据预设的第二高斯窗口和预设的第二加权系数对所述第二区域图像进行低通滤波处理得到所述第二目的图像。
6.根据权利要求5所述的图像处理方法，其特征在于，所述根据预设的第二高斯窗口和预设的第二加权系数对所述第二区域图像进行低通滤波处理得到所述第二目的图像的步骤，包括：
根据如下公式对所述第二区域图像进行低通滤波处理得到所述第二目的图像：
Figure FDA0002191302280000022
其中，m表示所述第二区域图像中像素点的横坐标，n表示所述第二区域图像中像素点的纵坐标，I2(m,n)表示所述第二区域图像经过低通滤波处理后的像素点的像素值，r表示所述第二区域图像中像素点的横坐标在所述第二高斯窗口内的变化值，s表示所述第二区域图像中像素点的纵坐标在所述第二高斯窗口内的变化值，2u+1表示所述第二高斯窗口的边长，w2表示所述第二加权系数，1＞w2＞0，w2符合正态高斯分布。
7.根据权利要求1所述的图像处理方法，其特征在于，所述识别出每一个所述原始图像的第一区域图像和第二区域图像的步骤，包括：
利用感兴趣区域ROI检测算法或预设的区域范围针对每一个所述原始图像筛选出所述第一区域图像；
将所述原始图像中除所述第一区域图像之外的图像确定为所述第二区域图像。
8.一种图像处理装置，其特征在于，包括：
获取单元，被配置为获取原始图像序列，所述原始图像序列包括多个连续的原始图像；
识别单元，被配置为识别出每一个所述原始图像的第一区域图像和第二区域图像；
提高单元，被配置为提高所述第一区域图像的清晰度得到第一目的图像；
降低单元，被配置为降低所述第二区域图像的码率得到第二目的图像；
生成单元，被配置为根据每个所述原始图像的所述第一目的图像和所述第二目的图像生成对应的多个目的图像序列；
输出单元，被配置为依次输出多个目的图像。
9.一种装置，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的图像处理方法。
10.一种存储介质，当所述存储介质中的指令由装置的处理器执行时，使得所述装置能够执行如权利要求1至7中任一项所述的图像处理方法。
CN201910832941.4A 2019-09-04 2019-09-04 图像处理方法、装置及存储介质 Active CN110728180B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910832941.4A CN110728180B (zh) 2019-09-04 2019-09-04 图像处理方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910832941.4A CN110728180B (zh) 2019-09-04 2019-09-04 图像处理方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN110728180A true CN110728180A (zh) 2020-01-24
CN110728180B CN110728180B (zh) 2022-11-22

Family

ID=69218885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910832941.4A Active CN110728180B (zh) 2019-09-04 2019-09-04 图像处理方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN110728180B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113518249A (zh) * 2020-04-10 2021-10-19 华为技术有限公司 一种远端图像处理方法及装置
WO2021223144A1 (zh) * 2020-05-07 2021-11-11 深圳市大疆创新科技有限公司 图像处理方法和装置
CN113643190A (zh) * 2020-04-27 2021-11-12 北京金山云网络技术有限公司 图像锐化方法和装置
CN114422688A (zh) * 2020-10-28 2022-04-29 淘宝（中国）软件有限公司 图像生成方法、装置、电子设备及计算机存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102984495A (zh) * 2012-12-06 2013-03-20 北京小米科技有限责任公司 一种视频图像的处理方法及装置
CN103501441A (zh) * 2013-09-11 2014-01-08 北京交通大学长三角研究院 一种基于人类视觉系统的多描述视频编码方法
US20180330169A1 (en) * 2017-05-12 2018-11-15 Google Inc. Methods and Systems for Presenting Image Data for Detected Regions of Interest
CN109785264A (zh) * 2019-01-15 2019-05-21 北京旷视科技有限公司 图像增强方法、装置及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102984495A (zh) * 2012-12-06 2013-03-20 北京小米科技有限责任公司 一种视频图像的处理方法及装置
CN103501441A (zh) * 2013-09-11 2014-01-08 北京交通大学长三角研究院 一种基于人类视觉系统的多描述视频编码方法
US20180330169A1 (en) * 2017-05-12 2018-11-15 Google Inc. Methods and Systems for Presenting Image Data for Detected Regions of Interest
CN109785264A (zh) * 2019-01-15 2019-05-21 北京旷视科技有限公司 图像增强方法、装置及电子设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113518249A (zh) * 2020-04-10 2021-10-19 华为技术有限公司 一种远端图像处理方法及装置
CN113518249B (zh) * 2020-04-10 2023-03-10 华为技术有限公司 一种远端图像处理方法及装置
CN113643190A (zh) * 2020-04-27 2021-11-12 北京金山云网络技术有限公司 图像锐化方法和装置
CN113643190B (zh) * 2020-04-27 2024-07-16 北京金山云网络技术有限公司 图像锐化方法和装置
WO2021223144A1 (zh) * 2020-05-07 2021-11-11 深圳市大疆创新科技有限公司 图像处理方法和装置
CN114422688A (zh) * 2020-10-28 2022-04-29 淘宝（中国）软件有限公司 图像生成方法、装置、电子设备及计算机存储介质

Also Published As

Publication number Publication date
CN110728180B (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
CN110728180B (zh) 图像处理方法、装置及存储介质
CN109345485B (zh) 一种图像增强方法、装置、电子设备及存储介质
CN106331504B (zh) 拍摄方法及装置
CN108154465B (zh) 图像处理方法及装置
CN110580688B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN109784164B (zh) 前景识别方法、装置、电子设备及存储介质
CN107798654B (zh) 图像磨皮方法及装置、存储介质
CN109509195B (zh) 前景处理方法、装置、电子设备及存储介质
CN108932696B (zh) 信号灯的光晕抑制方法及装置
CN112614064B (zh) 图像处理方法、装置、电子设备及存储介质
CN110619610B (zh) 图像处理方法及装置
CN105631803A (zh) 滤镜处理的方法和装置
CN105528765A (zh) 处理图像的方法及装置
CN114500821B (zh) 拍照方法及装置、终端及存储介质
CN112634160A (zh) 拍照方法及装置、终端、存储介质
CN111523346A (zh) 图像识别方法及装置、电子设备和存储介质
CN107507128B (zh) 图像处理方法及设备
CN108961156B (zh) 人脸图像处理的方法及装置
CN118368430A (zh) 视频数据处理方法及装置、增强网络的训练方法及装置
CN107730443B (zh) 图像处理方法、装置及用户设备
CN110662115B (zh) 视频处理方法、装置、电子设备及存储介质
CN113660531A (zh) 视频处理方法及装置、电子设备和存储介质
CN111275641A (zh) 图像处理方法及装置、电子设备和存储介质
CN110807745A (zh) 图像处理方法及装置、电子设备
CN112188095B (zh) 拍照方法、拍照装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant