CN110110778A - 图像处理方法、装置、电子设备和计算机可读存储介质 - Google Patents

图像处理方法、装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN110110778A
CN110110778A CN201910354810.XA CN201910354810A CN110110778A CN 110110778 A CN110110778 A CN 110110778A CN 201910354810 A CN201910354810 A CN 201910354810A CN 110110778 A CN110110778 A CN 110110778A
Authority
CN
China
Prior art keywords
image
training
image processing
user
processing method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910354810.XA
Other languages
English (en)
Other versions
CN110110778B (zh
Inventor
左洪涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910354810.XA priority Critical patent/CN110110778B/zh
Publication of CN110110778A publication Critical patent/CN110110778A/zh
Priority to PCT/CN2020/080119 priority patent/WO2020220858A1/zh
Application granted granted Critical
Publication of CN110110778B publication Critical patent/CN110110778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了图像处理方法、装置、电子设备和计算机可读存储介质。所述图像处理方法,包括:对待处理图像执行第一图像处理,以识别所述输入图像中的不同图像对象;对所述不同图像对象执行相应的第二图像处理,以获取处理后图像;其中,所述不同图像对象包括所述待处理图像中的主体图像对象和背景图像对象。根据本公开实施例的图像处理方法,通过对于图像中的不同对象分别进行对应的处理,使得处理后图像的图像质量更高并且具有更强的对象分辨度。此外,通过采用针对特定类型用户优化的图像处理,进一步提升了特定类型用户对于处理后图像的观看感受。

Description

图像处理方法、装置、电子设备和计算机可读存储介质
技术领域
本公开涉及图像处理领域,更具体地,本公开涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。
背景技术
在执行图像浏览、视频播放等静态或动态图像显示过程中,需要根据需要对原始图像数据执行诸如色彩校正的图像处理,以便获得更好的显示效果。
目前,通常采用的图像处理方法是利用单一图像处理算法,诸如Daltonizer算法(色偏模拟插值算法)、ColorBIindness算法(波长相对距离矫正算法)、Google AndroidNative算法(投影矩阵变换矫正算法)、仿iOS的查找表方式(LUT矫正算法)等等算法,对原始图像数据执行统一的图像处理,而不对图像画面中的不同对象进行区分处理,使得处理后图像中的对象区分度不高,并且图像画面的色彩不够自然。此外,统一的图像处理也缺乏针对特定类型用户的优化,无法满足特定类型用户的观看需求。
发明内容
鉴于上述问题而提出了本公开。本公开提供了一种图像处理方法、装置、电子设备和计算机可读存储介质,能够实现更强的对象区分度和更自然的色彩显示,并且满足特定类型用户的观看需求。
根据本公开的一个方面,提供了一种图像处理方法,包括:对待处理图像执行第一图像处理,以识别所述输入图像中的不同图像对象;对所述不同图像对象执行相应的第二图像处理,以获取处理后图像;其中,所述不同图像对象包括所述待处理图像中的主体图像对象和背景图像对象,并且所述处理后图像适于特定类型用户观看。
此外,根据本公开的一个方面的图像处理方法,其中,所述第二图像处理是色彩校正处理,所述特定类型用户是色盲用户。
此外,根据本公开的一个方面的图像处理方法,其中,利用神经网络系统执行所述图像处理方法,所述图像处理方法还包括:获取训练图像数据;以及利用所述训练图像数据,对初始化的所述神经网络系统执行训练,调整所述神经网络系统的参数,直到满足预定训练结束条件,其中,获取所述训练图像数据包括获取仅具有单个图像对象的训练图像。
此外,根据本公开的一个方面的图像处理方法,其中,获取所述训练图像数据还包括:对于所述训练图像数据中的一个训练图像,利用多种不同的处理方法和多种不同的处理参数执行预处理,获取多个预处理图像;获取由多个所述特定类型用户从所述多个预处理图像中选择的最佳预测图像,将所述一个训练图像与所述最佳预测图像为所述训练图像数据中的一对训练图像对。
此外,根据本公开的一个方面的图像处理方法,其中,调整所述神经网络系统的参数,直到满足预定训练结束条件包括:对于所述训练图像数据中的一个训练图像,利用所述神经网络系统获取一个预测图像;以所述预测图像与所述最佳预测图像的差异作为损失函数,调整所述神经网络系统的参数,直到所述损失函数满足预定收敛条件。
此外,根据本公开的一个方面的图像处理方法,其中,所述待处理图像是视频数据中的一帧视频图像。
根据本公开的另一个方面,提供了一种图像处理装置,包括:第一图像处理单元,用于对待处理图像执行第一图像处理,以识别所述输入图像中的不同图像对象;第二图像处理单元,用于对所述不同图像对象执行相应的第二图像处理,以获取处理后图像;其中,所述不同图像对象包括所述待处理图像中的主体图像对象和背景图像对象,并且所述处理后图像适于特定类型用户观看。
此外,根据本公开的另一个方面的图像处理装置,其中,所述第二图像处理单元执行色彩校正处理,所述特定类型用户是色盲用户。
此外,根据本公开的另一个方面的图像处理装置,其中,所述第一图像处理单元和所述第二图像处理单元利用神经网络系统,所述图像处理装置还包括训练单元,所述训练单元用于:获取训练图像数据;以及利用所述训练图像数据,对初始化的所述神经网络系统执行训练,调整所述神经网络系统的参数,直到满足预定训练结束条件,其中,所述训练单元获取仅具有单个图像对象的训练图像。
此外,根据本公开的另一个方面的图像处理装置,其中,所述训练单元对于所述训练图像数据中的一个训练图像,利用多种不同的处理方法和多种不同的处理参数执行预处理,获取多个预处理图像;所述训练单元获取由多个所述特定类型用户从所述多个预处理图像中选择的最佳预测图像,将所述一个训练图像与所述最佳预测图像为所述训练图像数据中的一对训练图像对。
此外,根据本公开的另一个方面的图像处理装置,其中,所述训练单元对于所述训练图像数据中的一个训练图像,利用所述神经网络系统获取一个预测图像;以所述预测图像与所述最佳预测图像的差异作为损失函数,调整所述神经网络系统的参数,直到所述损失函数满足预定收敛条件。
此外,根据本公开的另一个方面的图像处理装置,其中,所述待处理图像是视频数据中的一帧视频图像。
根据本公开的又一个方面,提供了一种电子设备,包括:处理器;以及存储器,用于存储计算机程序指令;其中,当所述计算机程序指令由所述处理器加载并运行时,所述处理器执行如上所述的图像处理方法。
根据本公开的又一个方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序指令,其中,所述计算机程序指令被处理器加载并运行时,所述处理器执行如上所述的图像处理方法。
如以下将详细描述的,根据本公开实施例图像处理方法、装置、电子设备和计算机可读存储介质,通过对于图像中的不同对象分别进行对应的处理,使得处理后图像的图像质量更高并且具有更强的对象分辨度。此外,通过采用针对特定类型用户优化的图像处理,进一步提升了特定类型用户对于处理后图像的观看感受。
要理解的是,前面的一般描述和下面的详细描述两者都是示例性的,并且意图在于提供要求保护的技术的进一步说明。
附图说明
通过结合附图对本公开实施例进行更详细的描述,本公开的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解,并且构成说明书的一部分,与本公开实施例一起用于解释本公开,并不构成对本公开的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1A是概述根据本公开实施例的图像处理方法的应用场景的示意图;
图1B是图示根据本公开实施例的图像处理方法的流程图;
图2A和2B是图示根据本公开实施例的图像处理方法的示意图;
图3是进一步图示根据本公开实施例的图像处理方法的流程图;
图4是图示根据本公开实施例的图像处理方法中的训练数据的示意图;
图5是图示根据本公开实施例的图像处理方法中的训练过程的示意图;
图6是图示根据本公开实施例的视频播放方法的流程图;
图7是图示根据本公开实施例的图像处理装置的功能框图;
图8是图示根据本公开实施例的电子设备的硬件框图;以及
图9是图示根据本公开的实施例的计算机可读存储介质的示意图。
具体实施方式
为了使得本公开的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本公开的示例实施例。显然,所描述的实施例仅仅是本公开的一部分实施例,而不是本公开的全部实施例,应理解,本公开不受这里描述的示例实施例的限制。
首先,参照图1A概述根据本公开实施例的图像处理方法的应用场景。
如图1A所示,根据本公开实施例的图像处理方法可以应用于图像处理系统10。图像处理系统10包括服务器100以及经由通信网络103与服务器100通信连接的用户101a-101c各自的用户设备102a-102c。
在本公开的一个实施例中,服务器100可以用于执行根据本公开实施例的图像处理方法,并且将作为图像处理结果的处理后图像数据通过通信网络103返回给用户101a-101c各自的用户设备102a-102c,此后由用户设备102a-102c执行渲染并且在用户界面上给用户提供可视化呈现。
可替代地,在本公开的另一个实施例中,用户101a-101c各自的用户设备102a-102c本身可以用于执行根据本公开实施例的图像处理方法。用户设备102a-102c可以经由通信网络103从服务器100接收待处理的图像数据,并且对接收的待处理的图像数据执行根据本公开实施例的图像处理方法,获得处理后图像数据,此后由用户设备102a-102c执行渲染并且在用户界面上给用户提供可视化呈现。
需要理解的是,服务器100包括但不限于配置有大数据处理能力和大容量数据存储能力的服务器装置,诸如搜索引擎服务器、内容提供服务器等。用户设备102a-102c包括但不限于笔记本计算机、台式计算机、智能电话、平板电脑等具有数据处理能力的移动终端或者固定终端。通信网络103包括但不限于遵循诸如传输控制协议和互联网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)和/或文件传输协议(FTP)配置的互联网、IPTV网络、无线保真(Wi-Fi)网络、无线局域网(WLAN)、局域网(LAN)和/或城域网(MAN)等。
接下来,参照图1B到图2B进一步描述根据本公开实施例的图像处理方法。具体地,图1B是图示根据本公开实施例的图像处理方法的流程图。需要理解的是,如上参照图1A所述,根据本公开实施例的图像处理方法例如可以由服务器或用户设备的通用处理单元或专用处理单元执行。图2A和2B是图示根据本公开实施例的图像处理方法的示意图。
如图1B所示,根据本公开实施例的图像处理方法包括以下步骤。
在步骤S101中,对待处理图像执行第一图像处理,以识别所述输入图像中的不同图像对象。
在本公开的实施例中,待处理图像可以是在执行图像浏览、视频播放等静态或动态图像显示过程中要呈现给用户的图像。输入图像中的不同图像对象包括但不限于主体图像对象和背景图像对象等。所述第一图像处理可以是通过例如卷积神经网络系统实现的对于图像中对象的识别、分类和标注处理。
如图2A所示,通过对待处理图像21执行第一图像处理,识别出待处理图像21中的主体人物图像对象201到204以及背景图像对象205。
在步骤S102中,对所述不同图像对象执行相应的第二图像处理,以获取处理后图像。
在本公开的实施例中,不同于对于所述待处理图像21整体执行相同的图像处理,而是对于在步骤S101中识别的不同图像对象执行相应的第二图像处理。具体地,所述第二图像处理例如是色彩校正处理。更具体地,所述色彩校正处理用于获取适于特定类型用户观看的所述处理后图像。
如图2A所示,主体人物图像对象201到204以及背景图像对象205具有不同的颜色。例如,在体育运动场景下的待处理图像21中,主体人物图像对象201和203属于同一队伍,其穿戴相同颜色C1的服装,主体人物图像对象202和204属于另一队伍,其穿戴相同颜色C2的服装,背景图像对象205(诸如场地、看台、观众等)则具有与C1、C2相同或者不同的颜色C3。
如图2B所示,在处理后图像22中,通过对主体人物图像对象201和203执行相同的第一色彩校正处理,使得主体人物图像对象201和203服装颜色被校正为C1’;对主体人物图像对象202和204执行相同的第二色彩校正处理,使得主体人物图像对象202和204服装颜色被校正为C2’;此外,对背景图像对象205第三色彩校正处理,使得背景图像对象205的颜色被校正为C3’。根据需要,第一色彩校正处理、第二色彩校正处理和第三色彩校正处理可以是相同或者不同的色彩校正处理。
在本公开的实施例中,例如在C1是红色,C2是绿色的情况下,特定类型的用户(例如,红绿色盲用户)可能难以通过颜色对于分属不同队伍的主体人物图像对象进行区分。通过上述图像处理过程,校正后的C1’、C2’将使得红绿色盲用户更容易区分不同队伍的主体人物图像对象。此外,校正后的C1’、C2’和C3’也将使得用户更容易对于主体人物对象图像对象与背景图像对象进行区分,并且处理后图像22整体也将更加清晰、自然。
进一步地,在本公开的实施例中,可以无需对待处理图像执行第一图像处理以识别所述输入图像中的不同图像对象,而是直接对待处理图像执行针对特定类型用户的第二图像处理,以便获取适于特定类型用户观看的所述处理后图像。
此外,在本公开的实施例中,所述第二图像处理不限于是色彩校正处理,可以是亮度校正处理、几何校正处理、噪声校正处理等。
以上,参照图1A到图2B概述了根据本公开实施例的图像处理方法。在本公开的一个实施例中,通过利用神经网络系统执行所述图像处理方法。以下,将进一步参照图3到图5描述利用神经网络系统执行的根据本公开实施例的图像处理方法以及所述神经网络系统的训练数据和训练过程。具体地,图3是进一步图示根据本公开实施例的图像处理方法的流程图;图4是图示根据本公开实施例的图像处理方法中的训练数据的示意图;图5是图示根据本公开实施例的图像处理方法中的训练过程的示意图。
如图3所示,在步骤S301中,获取训练图像数据。
在本公开的实施例中,为了如上所述在后续图像处理过程中识别输入图像中的不同图像对象,以便对所述不同图像对象执行相应的第二图像处理,在训练阶段中,所述训练图像数据包括获取仅具有单个图像对象的训练图像。单个图像对象包括不同类型的训练图像。具体地,如图4所示,不同类型的训练图像包括第一类训练图像401、第二类训练图像402…第n类训练图像40n。更具体地,不同类型的训练图像例如可以是运动图像、人物图像、自然风景图像、场景图像等。
进一步地,为了如上所述在后续图像处理过程中实现获取适于特定类型用户观看的所述处理后图像,如图4所示,对于所述训练图像数据中的一个训练图像,利用多种不同的处理方法和多种不同的处理参数执行预处理,获取多个预处理图像。也就是说,对于第一类训练图像401、第二类训练图像402…第n类训练图像40n中的每一个,分别获取第一类预处理图像411、第一类预处理图像412…第n类预处理图像41n。对于第一类预处理图像411、第一类预处理图像412…第n类预处理图像41n,进一步获取由多个所述特定类型用户(例如,大量色盲志愿者用户)从中选择该类预处理图像中的最佳视觉效果图像作为最佳预测图像,即第一类最佳预测图像421、第二类最佳预测图像422…第n类最佳预测图像42n。将一个训练图像与相应的最佳预测图像为所述训练图像数据中的一对训练图像对。
返回参照图3,在步骤S302中,利用所述训练图像数据,对初始化的所述神经网络系统执行训,调整所述神经网络系统的参数,直到满足预定训练结束条件。
在本公开的实施例中,执行训练的目的就是使得训练后的神经网络系统对于一个训练图像能够输出与相应的最佳预测图像差别最小的预测图像。
如图5所示,神经网络系统的输出Y 503由一系列输入变量501(包括X1、X2…Xn)以一个线性模型的组合形式展现出现,模型的权重参数为W1、W2…Wn。
Y=W1X1+W2X2+…+WnXn 表达式(1)
整个训练阶段的目标就是要通过损失函数(Y,W1X1+W2X2+…+WnXn)的最小化来学习相应的权重(W1、W2…Wn)。例如,可以采用梯度下降方法,沿着损失函数的最大梯度方向来调整W1、W2…Wn这样的权重分配,直到满足损失函数最小化的预定训练结束条件。
在步骤S302中获得训练好的神经网络系统后,处理进到步骤S303。步骤S303和S304分别与参照图1B描述的步骤S101和S102相同,即利用神经网络系统执行对待处理图像执行第一图像处理,以识别所述输入图像中的不同图像对象,以及对所述不同图像对象执行相应的第二图像处理,以获取处理后的图像。由于在训练过程中针对识别所述输入图像中的不同图像对象,以及针对特定类型用户来获取训练图像数据,所以通过利用神经网络系统执行步骤S303和S304后获取的处理后图像的图像质量更高并且具有更强的对象分辨度,并且提升了诸如色盲用户的特定类型用户对于处理后图像的观看感受。
以上,参照图1A到图5描述了根据本公开实施例的图像处理方法。根据本公开实施例的图像处理方法可以用于视频播放过程中。图6是图示根据本公开实施例的视频播放方法的流程图。
如图6所示,图6是图示根据本公开实施例的视频播放方法的流程图包括以下步骤。同样如上参照图1A所述,根据本公开实施例的视频播放方法例如可以由服务器或用户设备的通用处理单元或专用处理单元执行。
在步骤S601中,接收视频数据。接收的视频数据是用于执行流媒体播放的数据。
在步骤S602中,解码获取一帧视频图像。解码视频数据获取一帧视频视频图像,所述视频图像是没有经过诸如色彩校正处理的图像处理的原始视频图像。
在步骤S603中,对一帧视频图像执行第一图像处理,以识别所述一帧视频图像中的不同图像对象。步骤S603与以上参照图1B描述的步骤S101和参照图3描述的步骤S303相同,即可以通过神经网络系统识别所述一帧视频图像中的不同图像对象,包括但不限于主体图像对象和背景图像对象等。
在步骤S604中,对所述不同图像对象执行相应的第二图像处理,以获取处理后的一帧视频图像。步骤S604与以上参照图1B描述的步骤S102和参照图3描述的步骤S304相同,即对于在步骤S603中识别的不同图像对象执行相应的第二图像处理。具体地,所述第二图像处理例如是色彩校正处理。更具体地,所述色彩校正处理用于获取适于特定类型用户观看的所述处理后图像。同样地,所述第二图像处理不限于是色彩校正处理,而是可以是亮度校正处理、几何校正处理、噪声校正处理等。
在步骤S605中,将处理后的一帧视频图像存储到帧缓冲器。
在步骤S606中,渲染并执行显示。
通过配置如上步骤S603和S604,根据本公开实施例的视频播放方法渲染并执行显示的视频图像具有更强的对象分辨度,并且提升了诸如色盲用户的特定类型用户对于处理后视频图像的观看感受。
图7是图示根据本公开实施例的图像处理装置的功能框图。如图7所示,根据本公开实施例的图像处理装置70包括:第一图像处理单元701、第二图像处理单元702和训练单元703。上述各模块可以分别执行如上参照图1A到图5描述的根据本公开实施例的图像处理方法的各个步骤。本领域的技术人员理解:这些单元模块可以单独由硬件、单独由软件或者由其组合以各种方式实现,并且本公开不限于它们的任何一个。
第一图像处理单元701用于对待处理图像705执行第一图像处理,以识别所述输入图像中的不同图像对象,所述不同图像对象包括所述待处理图像中的主体图像对象和背景图像对象,并且所述处理后图像适于特定类型用户观看。
第二图像处理单元702用于对所述不同图像对象执行相应的第二图像处理,以获取处理后图像706。具体地,所述第二图像处理单元702执行色彩校正处理,所述特定类型用户例如是色盲用户。
所述第一图像处理单元701和所述第二图像处理单元702利用神经网络系统实现,训练单元703用于训练所述神经网络系统。
所述训练单元703用于获取训练图像数据704,所述训练单元703获取仅具有单个图像对象的训练图像。所述训练单元703对于所述训练图像数据704中的一个训练图像,利用多种不同的处理方法和多种不同的处理参数执行预处理,获取多个预处理图像;所述训练单元703获取由多个所述特定类型用户从所述多个预处理图像中选择的最佳预测图像,将所述一个训练图像与所述最佳预测图像为所述训练图像数据704中的一对训练图像对。
所述训练单元703进一步利用所述训练图像数据704,对初始化的所述神经网络系统执行训练,调整所述神经网络系统的参数,直到满足预定训练结束条件。具体地,所述训练单元703以所述预测图像与所述最佳预测图像的差异作为损失函数,调整所述神经网络系统的参数,直到所述损失函数满足预定收敛条件。
如上参照图7所述,根据本公开实施例的图像处理装置70通过对于图像中的不同对象分别进行对应的处理,使得处理后图像的图像质量更高并且具有更强的对象分辨度。此外,图像处理装置70通过采用针对特定类型用户优化的图像处理,进一步提升了诸如色盲用户的特定类型用户对于处理后图像的观看感受。
以上参照附图,以针对诸如色盲用户的特定类型用户的优化处理为示例,描述了根据本公开实施例的图像处理方法和装置。容易理解的是,根据本公开实施例的图像处理方法和装置不限于此,特定类型用户包括但不限于眼睛具有不同屈光度的用户、处于诸如白天或者夜间的不同使用场景下的用户、具有诸如偏好冷色或暖色的不同使用偏好的用户等。
例如,在针对具有不同屈光度的用户执行优化处理的情况下,在对执行本公开图像处理方法的神经网络执行训练的过程中,获取多个具有不同屈光度的用户从不同类别的预处理图像中选择的最佳视觉效果图像作为该类别的最佳预测图像,并且将一个训练图像与相应的最佳预测图像为一对训练图像对。如此,训练好的神经网络可以为具有不同屈光度的用户执行根据本公开的图像处理方法,获取适于具有不同屈光度的用户的图像或者视频。同样地,可以针对处于诸如白天或者夜间的不同使用场景下的用户、具有诸如偏好冷色或暖色的不同使用偏好的用户执行神经网络执行训练。
当用户使用根据本公开实施例的图像处理方法和装置观看图像或者视频显示时,用户可以预先输入自己的用户设置(例如是否色盲、屈光度、使用偏好),或者图像处理设备可以自动检测当前的使用场景,此后图像处理设备可以执行根据本公开实施例的图像处理方法,以便为用户呈现适应于用户设置和使用场景的最佳图像或视频显示。
图8是图示根据本公开实施例的电子设备800的硬件框图。根据本公开实施例的电子设备800至少包括处理器;以及存储器,用于存储计算机程序指令。当计算机程序指令由处理器加载并运行时,所述处理器执行如上所述的图像处理方法。
图8所示的电子设备800具体地包括:中央处理单元(CPU)801、图形处理单元(GPU)802和主存储器803。这些单元通过总线804互相连接。中央处理单元(CPU)801和/或图形处理单元(GPU)802可以用作上述处理器,主存储器803可以用作上述存储计算机程序指令的存储器。此外,电子设备800还可以包括通信单元805、存储单元806、输出单元807、输入单元808和外部设备809,这些单元也连接到总线804。
图9是图示根据本公开的实施例的计算机可读存储介质的示意图。如图9所示,根据本公开实施例的计算机可读存储介质900其上存储有计算机程序指令901。当所述计算机程序指令901由处理器运行时,执行如上所述的图像处理方法。所述计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存、光盘、磁盘等。
以上,参照附图描述了根据本公开实施例图像处理方法、装置、电子设备和计算机可读存储介质,通过对于图像中的不同对象分别进行对应的处理,使得处理后图像的图像质量更高并且具有更强的对象分辨度。此外,通过采用针对特定类型用户优化的图像处理,进一步提升了特定类型用户对于处理后图像的观看感受。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
以上结合具体实施例描述了本公开的基本原理,但是,需要指出的是,在本公开中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
另外,如在此使用的,在以“至少一个”开始的项的列举中使用的“或”指示分离的列举,以便例如“A、B或C的至少一个”的列举意味着A或B或C,或AB或AC或BC,或ABC(即A和B和C)。此外,措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
还需要指出的是,在本公开的系统和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外,本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而,所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此,本公开不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (14)

1.一种图像处理方法,包括:
对待处理图像执行第一图像处理,以识别所述输入图像中的不同图像对象;
对所述不同图像对象执行相应的第二图像处理,以获取处理后图像;
其中,所述不同图像对象包括所述待处理图像中的主体图像对象和背景图像对象,并且所述处理后图像适于特定类型用户观看。
2.如权利要求1所述的图像处理方法,其中,所述第二图像处理是色彩校正处理,所述特定类型用户是色盲用户。
3.如权利要求1或2所述的图像处理方法,其中,利用神经网络系统执行所述图像处理方法,所述图像处理方法还包括:
获取训练图像数据;以及
利用所述训练图像数据,对初始化的所述神经网络系统执行训练,调整所述神经网络系统的参数,直到满足预定训练结束条件,
其中,获取所述训练图像数据包括获取仅具有单个图像对象的训练图像。
4.如权利要求3所述的图像处理方法,其中,获取所述训练图像数据还包括:
对于所述训练图像数据中的一个训练图像,利用多种不同的处理方法和多种不同的处理参数执行预处理,获取多个预处理图像;
获取由多个所述特定类型用户从所述多个预处理图像中选择的最佳预测图像,将所述一个训练图像与所述最佳预测图像作为所述训练图像数据中的一对训练图像对。
5.如权利要求4所述的图像处理方法,其中,调整所述神经网络系统的参数,直到满足预定训练结束条件包括:
对于所述训练图像数据中的一个训练图像,利用所述神经网络系统获取一个预测图像;
以所述预测图像与所述最佳预测图像的差异作为损失函数,调整所述神经网络系统的参数,直到所述损失函数满足预定收敛条件。
6.如权利要求1到5的任一项所述的图像处理方法,其中,所述待处理图像是视频数据中的一帧视频图像。
7.一种图像处理装置,包括:
第一图像处理单元,用于对待处理图像执行第一图像处理,以识别所述输入图像中的不同图像对象;
第二图像处理单元,用于对所述不同图像对象执行相应的第二图像处理,以获取处理后图像;
其中,所述不同图像对象包括所述待处理图像中的主体图像对象和背景图像对象,并且所述处理后图像适于特定类型用户观看。
8.如权利要求7所述的图像处理装置,其中,所述第二图像处理单元执行色彩校正处理,所述特定类型用户是色盲用户。
9.如权利要求7或8所述的图像处理装置,其中,所述第一图像处理单元和所述第二图像处理单元利用神经网络系统,所述图像处理装置还包括训练单元,所述训练单元用于:
获取训练图像数据;以及
利用所述训练图像数据,对初始化的所述神经网络系统执行训练,调整所述神经网络系统的参数,直到满足预定训练结束条件,
其中,所述训练单元获取仅具有单个图像对象的训练图像。
10.如权利要求9所述的图像处理装置,其中,所述训练单元对于所述训练图像数据中的一个训练图像,利用多种不同的处理方法和多种不同的处理参数执行预处理,获取多个预处理图像;
所述训练单元获取由多个所述特定类型用户从所述多个预处理图像中选择的最佳预测图像,将所述一个训练图像与所述最佳预测图像作为所述训练图像数据中的一对训练图像对。
11.如权利要求10所述的图像处理装置,其中,所述训练单元对于所述训练图像数据中的一个训练图像,利用所述神经网络系统获取一个预测图像;
以所述预测图像与所述最佳预测图像的差异作为损失函数,调整所述神经网络系统的参数,直到所述损失函数满足预定收敛条件。
12.如权利要求7到11的任一项所述的图像处理装置,其中,所述待处理图像是视频数据中的一帧视频图像。
13.一种电子设备,包括:
处理器;以及
存储器,用于存储计算机程序指令;
其中,当所述计算机程序指令由所述处理器加载并运行时,所述处理器执行如权利要求1到6的任一项所述的图像处理方法。
14.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序指令,其中,所述计算机程序指令被处理器加载并运行时,所述处理器执行如权利要求1到6的任一项所述的图像处理方法。
CN201910354810.XA 2019-04-29 2019-04-29 图像处理方法、装置、电子设备和计算机可读存储介质 Active CN110110778B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910354810.XA CN110110778B (zh) 2019-04-29 2019-04-29 图像处理方法、装置、电子设备和计算机可读存储介质
PCT/CN2020/080119 WO2020220858A1 (zh) 2019-04-29 2020-03-19 图像处理方法、装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910354810.XA CN110110778B (zh) 2019-04-29 2019-04-29 图像处理方法、装置、电子设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110110778A true CN110110778A (zh) 2019-08-09
CN110110778B CN110110778B (zh) 2023-04-25

Family

ID=67487356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910354810.XA Active CN110110778B (zh) 2019-04-29 2019-04-29 图像处理方法、装置、电子设备和计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN110110778B (zh)
WO (1) WO2020220858A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020220858A1 (zh) * 2019-04-29 2020-11-05 腾讯科技(深圳)有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN113556441A (zh) * 2020-04-26 2021-10-26 北京小米移动软件有限公司 信息处理方法、装置、终端及存储介质
CN115701129A (zh) * 2021-07-31 2023-02-07 荣耀终端有限公司 一种图像处理方法及电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113556526B (zh) * 2021-07-18 2022-11-15 北京理工大学 一种基于rgbw滤光阵列的彩色夜视设备色彩增强方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1895191A (zh) * 2006-05-11 2007-01-17 复旦大学 基于bp神经网络的色盲及色弱矫正方法
CN1964502A (zh) * 2006-01-12 2007-05-16 安凯(广州)软件技术有限公司 数据驱动可重配置的彩色图像处理系统
CN103179365A (zh) * 2011-12-21 2013-06-26 株式会社理光 图像投影设备和图像处理方法
CN107563976A (zh) * 2017-08-24 2018-01-09 广东欧珀移动通信有限公司 美颜参数获取方法、装置、可读存储介质和计算机设备
CN107844764A (zh) * 2017-10-31 2018-03-27 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
US20180253865A1 (en) * 2017-03-02 2018-09-06 Adobe Systems Incorporated Image matting using deep learning
CN108665475A (zh) * 2018-05-15 2018-10-16 北京市商汤科技开发有限公司 神经网络训练、图像处理方法、装置、存储介质和电子设备
CN108764370A (zh) * 2018-06-08 2018-11-06 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN109034206A (zh) * 2018-06-29 2018-12-18 泰康保险集团股份有限公司 图像分类识别方法、装置、电子设备及计算机可读介质
CN109246354A (zh) * 2018-09-07 2019-01-18 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
WO2019031676A1 (ko) * 2017-08-09 2019-02-14 삼성전자 주식회사 이미지 처리 방법 및 그에 따른 장치
CN109345580A (zh) * 2018-10-23 2019-02-15 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
CN109359675A (zh) * 2018-09-28 2019-02-19 腾讯科技(武汉)有限公司 图像处理方法及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110778B (zh) * 2019-04-29 2023-04-25 腾讯科技(深圳)有限公司 图像处理方法、装置、电子设备和计算机可读存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1964502A (zh) * 2006-01-12 2007-05-16 安凯(广州)软件技术有限公司 数据驱动可重配置的彩色图像处理系统
CN1895191A (zh) * 2006-05-11 2007-01-17 复旦大学 基于bp神经网络的色盲及色弱矫正方法
CN103179365A (zh) * 2011-12-21 2013-06-26 株式会社理光 图像投影设备和图像处理方法
US20180253865A1 (en) * 2017-03-02 2018-09-06 Adobe Systems Incorporated Image matting using deep learning
WO2019031676A1 (ko) * 2017-08-09 2019-02-14 삼성전자 주식회사 이미지 처리 방법 및 그에 따른 장치
CN107563976A (zh) * 2017-08-24 2018-01-09 广东欧珀移动通信有限公司 美颜参数获取方法、装置、可读存储介质和计算机设备
CN107844764A (zh) * 2017-10-31 2018-03-27 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN108665475A (zh) * 2018-05-15 2018-10-16 北京市商汤科技开发有限公司 神经网络训练、图像处理方法、装置、存储介质和电子设备
CN108764370A (zh) * 2018-06-08 2018-11-06 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN109034206A (zh) * 2018-06-29 2018-12-18 泰康保险集团股份有限公司 图像分类识别方法、装置、电子设备及计算机可读介质
CN109246354A (zh) * 2018-09-07 2019-01-18 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109359675A (zh) * 2018-09-28 2019-02-19 腾讯科技(武汉)有限公司 图像处理方法及设备
CN109345580A (zh) * 2018-10-23 2019-02-15 北京字节跳动网络技术有限公司 用于处理图像的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GAJO PETROVI´C 等: "Deep Correct: Deep Learning Color Correction for Color Blindness" *
张海锋: "颜色校正评估与智能颜色校正算法研究" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020220858A1 (zh) * 2019-04-29 2020-11-05 腾讯科技(深圳)有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN113556441A (zh) * 2020-04-26 2021-10-26 北京小米移动软件有限公司 信息处理方法、装置、终端及存储介质
CN115701129A (zh) * 2021-07-31 2023-02-07 荣耀终端有限公司 一种图像处理方法及电子设备

Also Published As

Publication number Publication date
WO2020220858A1 (zh) 2020-11-05
CN110110778B (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
CN110110778A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
US10600171B2 (en) Image-blending via alignment or photometric adjustments computed by a neural network
CN103927005B (zh) 显示控制方法及显示控制装置
CN107145833A (zh) 人脸区域的确定方法和装置
CN104335242B (zh) 使用叠加动画促成由多个用户对媒体内容的同时消费
CN103248793B (zh) 色域转换系统的肤色最佳化方法与装置
CN107948627B (zh) 视频播放方法、装置、计算设备及存储介质
US9542595B2 (en) Systems and methods for recommending cosmetic products for users with mobile devices
CN108665408A (zh) 肤色调整方法、装置和电子设备
CN110198437A (zh) 图像的处理方法、装置、存储介质和电子装置
CN108111911B (zh) 基于自适应跟踪框分割的视频数据实时处理方法及装置
US8629868B1 (en) Systems and methods for simulating depth of field on a computer generated display
CN106373489A (zh) 基于弯曲显示屏的显示方法、显示装置和用户设备
CN107730568B (zh) 基于权重学习的着色方法和装置
CN109919859A (zh) 一种户外场景图像去雾增强方法、计算设备及其存储介质
CN106294483A (zh) 用于为产品品牌匹配代言人的数据处理方法和装置
CN109035151A (zh) 图像处理装置、图像处理方法和存储介质
Gautam et al. Efficient color image contrast enhancement using range limited bi-histogram equalization with adaptive gamma correction
WO2016183681A1 (en) System and method for color retargeting
Ahn et al. Real-time adjustment of contrast saliency for improved information visibility in mobile augmented reality
CN106162117A (zh) 显示控制方法和装置
CN113222846A (zh) 图像处理方法和图像处理装置
KR102082766B1 (ko) 객체를 구별하는 방법 및 장치
CN115760870A (zh) 一种图像重点区域的分割方法、装置、设备及存储介质
CN112819691B (zh) 图像处理方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant