CN112967190A - 图像处理方法、装置、电子设备及计算机可读存储介质 - Google Patents
图像处理方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112967190A CN112967190A CN202110186593.5A CN202110186593A CN112967190A CN 112967190 A CN112967190 A CN 112967190A CN 202110186593 A CN202110186593 A CN 202110186593A CN 112967190 A CN112967190 A CN 112967190A
- Authority
- CN
- China
- Prior art keywords
- processed
- image
- current image
- current
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 141
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 49
- 230000006870 function Effects 0.000 claims description 77
- 238000004590 computer program Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 abstract description 23
- 238000004148 unit process Methods 0.000 abstract description 5
- 238000012549 training Methods 0.000 description 14
- 238000011156 evaluation Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000007613 environmental effect Effects 0.000 description 4
- 230000002787 reinforcement Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种图像处理方法、装置、电子设备及计算机可读存储介质,通过该方法对待处理图像进行处理的过程中,由哪个目标功能单元对待处理图像进行处理,以及目标功能单元的参数均由功能单元确定网络所输出的内容进行确定,对于工程师而言,不再需要对耗费大量的精力来确定各个功能单元之间的处理顺序以及每个功能单元的单元参数,因此,可以减少工程师的工作量,从而减轻工程师的调试压力。
Description
技术领域
本申请属于图像处理领域,具体涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。
背景技术
在通过相机、抓拍机等图像采集设备获取到原始图像后,为了使得后续在使用原始图像时能够呈现出较好的效果,在对原始进行后续处理前,一般需要对原始图像进行图像处理。在进行图像处理的过程中,一般需要处理多种图像属性,例如对原始图像的颜色、对比度、饱和度、亮度等图像属性进行处理,因此,在对原始图像进行处理时,一般需要多种不同类型的功能模块单元协同合作。
在现有技术中,一般由Image Signal Processor(ISP,图像信号处理器)通道来执行对原始图像的图像处理任务。ISP通道包括多个功能独立的功能模块单元,且多个功能独立的功能模块单元按照一定的次序组成。
在实际使用中,每个功能模块单元的参数都需要工程师根据使用场景进行调试。由于不同功能模块单元对图像的处理往往存在耦合,会互相影响,经常出现一个功能模块单元的参数调试好之后,另一个功能模块单元的参数怎么都调试不好;此外,由于不同原始图像(使用场景)对功能模块单元的处理顺序以及对各个功能模块单元的参数可能不相同,因此,使用传统的ISP通道处理原始图像时,需要工程师对ISP通道进行大量修改,对工程师而言,造成较大的调试压力。
发明内容
有鉴于此,本申请的目的在于提供一种图像处理方法、装置、电子设备及计算机可读存储介质,在通过该方法进行图像处理时,可以减少工程师的调试工作量,降低工程师的调试压力。
本申请的实施例是这样实现的:
第一方面,本申请实施例提供一种图像处理方法,所述方法包括:获取当前的待处理图像;通过将当前的所述待处理图像输入预先训练好的功能单元确定网络来确定当前的目标功能单元信息;根据当前的所述目标功能单元信息对当前的所述待处理图像进行处理。
在上述过程中,由于在对待处理图像进行处理的过程中,由哪个目标功能单元对待处理图像进行处理,以及目标功能单元的参数均由功能单元确定网络所输出的内容进行确定,对于工程师而言,不再需要对耗费大量的精力来确定各个功能单元之间的处理顺序以及每个功能单元的单元参数,因此,可以减少工程师的工作量,从而减轻工程师的调试压力。
结合第一方面实施例,在一种可能的实施方式中,所述功能单元确定网络包括单元类型确定子网络以及单元参数确定子网络;所述通过将当前的所述待处理图像输入预先训练好的功能单元确定网络来确定当前的目标功能单元信息,包括:将当前的所述待处理图像分别输入所述单元类型确定子网络以及所述单元参数确定子网络;通过所述单元类型确定子网络确定出用于对当前的所述待处理图像进行处理的目标功能单元的类别,通过所述单元参数确定子网络确定出与所述目标功能单元对应的单元参数;所述目标功能单元信息包括所述目标功能单元的类别以及所述目标功能单元对应的单元参数。
结合第一方面实施例,在一种可能的实施方式中,所述根据当前的所述目标功能单元信息对当前的所述待处理图像进行处理,包括:选择与所述目标功能单元的类别对应的功能单元,并通过所述目标功能单元对应的单元参数调试所述对应的功能单元;将当前的所述待处理图像输入到经过调试后的对应的功能单元进行处理。
结合第一方面实施例,在一种可能的实施方式中,在所述通过将当前的所述待处理图像输入预先训练好的功能单元确定网络来确定当前的目标功能单元信息之前,所述方法还包括:判断当前的所述待处理图像是否满足停止被处理的条件;在判断结果为否时,通过将当前的所述待处理图像输入所述功能单元确定网络来确定当前的所述目标功能单元信息;相应的,所述根据当前的所述目标功能单元信息对当前的所述待处理图像进行处理之后,得到的图像为下一阶段的所述待处理图像。在本申请实施例中,循环多次对待处理图像进行图像处理,且由设备根据当前的待处理图像判断是否停止循环,每次所确定出的当前的目标功能单元信息之间相互独立,从而可以节省工程师确定各个功能单元之间的处理次序部分的工作量,从而减轻工程师的调试压力。结合第一方面实施例,在一种可能的实施方式中,所述判断当前的所述待处理图像是否满足停止被处理的条件,包括:根据预先获取到的画质评分规则对当前的所述待处理图像的画质进行评分;在确定所述评分小于评分阈值时,确定当前的所述待处理图像不满足停止被处理的条件。
结合第一方面实施例,在一种可能的实施方式中,所述判断当前的所述待处理图像是否满足停止被处理的条件,包括:获取当前的所述待处理图像在本次之前已被处理过的次数;在所述次数小于次数阈值时,确定当前的所述待处理图像不满足停止被处理的条件。
结合第一方面实施例,在一种可能的实施方式中,所述判断当前的所述待处理图像是否满足停止被处理的条件,包括:获取当前的所述待处理图像在本次之前已被处理过的次数;根据预先获取到的画质评分规则对当前的所述待处理图像的画质进行评分;在所述次数小于次数阈值,且所述评分小于评分阈值时,确定当前的所述待处理图像不满足停止被处理的条件。
结合第一方面实施例,在一种可能的实施方式中,所述方法还包括:在所述待处理图像满足停止被处理的条件时,停止对当前的所述待处理图像进行处理,并将当前的所述待处理图像确定为最终图像。
第二方面,本申请实施例提供一种图像处理装置,所述装置包括:获取模块、执行模块以及处理模块。获取模块,用于获取当前的待处理图像;执行模块,用于通过将当前的所述待处理图像输入预先训练好的功能单元确定网络来确定当前的目标功能单元信息;处理模块,用于根据当前的所述目标功能单元信息对当前的所述待处理图像进行处理。
结合第二方面实施例,在一种可能的实施方式中,所述功能单元确定网络包括单元类型确定子网络以及单元参数确定子网络;所述执行模块,用于将当前的所述待处理图像分别输入所述单元类型确定子网络以及所述单元参数确定子网络;通过所述单元类型确定子网络确定出用于对当前的所述待处理图像进行处理的目标功能单元的类别,通过所述单元参数确定子网络确定出与所述目标功能单元对应的单元参数;所述目标功能单元信息包括所述目标功能单元的类别以及所述目标功能单元对应的单元参数。
结合第二方面实施例,在一种可能的实施方式中,所述处理模块,用于选择与所述目标功能单元的类别对应的功能单元,并通过所述目标功能单元对应的单元参数调试所述对应的功能单元;将当前的所述待处理图像输入到经过调试后的对应的功能单元进行处理。
结合第二方面实施例,在一种可能的实施方式中,所述装置还包括判断模块,用于判断当前的所述待处理图像是否满足停止被处理的条件;在判断结果为否时,通过将当前的所述待处理图像输入所述功能单元确定网络来确定当前的所述目标功能单元信息,以及根据当前的所述目标功能单元信息对当前的所述待处理图像进行处理,得到的图像为下一阶段的所述待处理图像。结合第二方面实施例,在一种可能的实施方式中,所述判断模块,用于根据预先获取到的画质评分规则对当前的所述待处理图像的画质进行评分;在确定所述评分小于评分阈值时,确定当前的所述待处理图像不满足停止被处理的条件。
结合第二方面实施例,在一种可能的实施方式中,所述判断模块,用于获取当前的所述待处理图像在本次之前已被处理过的次数;在所述次数小于次数阈值时,确定当前的所述待处理图像不满足停止被处理的条件。
结合第二方面实施例,在一种可能的实施方式中,所述判断模块,用于获取当前的所述待处理图像在本次之前已被处理过的次数;根据预先获取到的画质评分规则对当前的所述待处理图像的画质进行评分;在所述次数小于次数阈值,且所述评分小于评分阈值时,确定当前的所述待处理图像不满足停止被处理的条件。
结合第二方面实施例,在一种可能的实施方式中,所述执行模块,还用于在判断结果为是时,停止对当前的所述待处理图像进行处理,并将当前的所述待处理图像确定为最终图像。
第三方面,本申请实施例还提供一种电子设备,包括:存储器和处理器,所述存储器和所述处理器连接;所述存储器用于存储程序;所述处理器调用存储于所述存储器中的程序,以执行上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的方法。
第四方面,本申请实施例还提供一种非易失性计算机可读取存储介质(以下简称计算机可读存储介质),其上存储有计算机程序,所述计算机程序被计算机运行时执行上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的方法。
本申请的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请实施例而了解。本申请的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。通过附图所示,本申请的上述及其它目的、特征和优势将更加清晰。在全部附图中相同的附图标记指示相同的部分。并未刻意按实际尺寸等比例缩放绘制附图,重点在于示出本申请的主旨。
图1示出本申请实施例提供的一种图像处理方法的流程图。
图2A示出本申请实施例提供的功能单元确定网络的结构框图之一。
图2B示出本申请实施例提供的功能单元确定网络的结构框图之二。
图3示出本申请实施例提供的基础子网络结构框架。
图4示出本申请实施例提供的一种图像处理装置的结构框图。
图5示出本申请实施例提供的一种电子设备的结构示意图。
图标:100-电子设备;110-处理器;120-存储器;200-功能单元确定网络;210-单元类型确定子网络;220-单元参数确定子网络;230-评价分数输出子网络;240-环境参数子网络;300-基础子网络结构框架;310-卷积层;320-全连接层;400-图像处理装置;410-获取模块;420-执行模块;430-处理模块。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
再者,本申请中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
此外,针对现有技术中的图像处理方案所存在的缺陷(导致工程师的调试压力较大)是申请人在经过实践并仔细研究后得出的结果,因此,上述缺陷的发现过程以及在下文中本申请实施例针对上述缺陷所提出的解决方案,都应该被认定为申请人对本申请做出的贡献。
为了解决上述问题,本申请实施例提供一种图像处理方法、装置、电子设备及计算机可读存储介质,可以减少工程师的调试工作量,降低工程师的调试压力。
该技术可采用相应的软件、硬件以及软硬结合的方式实现。以下对本申请实施例进行详细介绍。
于本申请实施例中,当获取到原始图像且需要对原始图像进行图像处理时,一般需要对原始图像进行多轮图像处理。
其中,原始图像可以是来自于图像采集设备所传递的图像;也可以是来自于云端或者本地所保存的,且未经过本申请所提出的图像处理方法进行处理的图像。
下面将以其中的一轮处理流程为例,对本申请实施例所提供的图像处理方法进行介绍。
请参照图1,申请实施例所提供的图像处理方法可以包括以下内容。
步骤S110:获取当前的待处理图像。
前文提及,于本申请实施例中,当获取到原始图像后,需要对原始图像进行多次图像处理,因此,本申请实施例中所提及到的当前的待处理图像所指代的内容随着对同一图像的处理次数的变化时间而实时变动。
可选的,当本次图像处理流程是针对原始图像的第一次图像处理时,相应的,当前的待处理图像指代的内容为原始图像。
可选的,当本次图像处理流程是针对原始图像的第N次图像处理时,相应的,当前的待处理图像指代的内容为原始图像经过N-1次图像处理后所得到的图像。
也就是说,在本申请实施例中,每次图像处理流程所处理的待处理图像为上一次图像处理流程所得到的处理后的图像,而经过本次图像处理流程所得到的处理后的图像,则作为下一阶段的图像处理流程的待处理图像。
在获取到当前的待处理图像后,在一些实施方式中,可以直接针对当前的待处理图像执行后续步骤S120所示的处理流程。
在另一些实施方式中,在获取到当前的待处理图像后,还可以执行步骤S111,且由判断结果来确定是否针对获取到当前的待处理图像执行后续步骤S120所示的处理流程。
其中,步骤S111可以为:判断当前的所述待处理图像是否满足停止被处理的条件。
由于本申请实施例所涉及到的图像处理流程是一个迭代处理过程,为了防止无限制地对同一图像进行处理,需要预先确定出迭代处理的停止条件,即确定出当前的待处理图像停止被处理的条件。
在一些实施方式中,当获取到当前的待处理图像后,可以根据预先获取到的画质评分规则,对当前的待处理图像的画质进行评分。若待处理图像经过评分后所得到的评分分数X小于评分阈值Y,则说明该待处理图像还没有达到画质要求,需要继续进行图像处理,相应的,此时,即可以确定当前的待处理图像不满足停止被处理的条件;否则,则说明该待处理图像已经达到画质要求,可以确定当前的待处理图像满足停止被处理的条件。
其中,画质评分规则可以直接采用已有的,针对图像的各项画质属性进行评分的第三方画质评分规则。
在该规则中,预先为图像的每项画质属性设置相应的阈值区间以及对应的分数,若待评分图像的某项画质属性达到相应的阈值区间,则该待评分图像的该项画质属性的分数则为与该阈值区间对应的分数。当然,当第三方画质评分规则中包括多项画质属性时,最终的评分分数为各项画质属性对应的分数的加权求和。
此外,画质评分规则也可以由工程师根据实际情况进行指定。
其中,画质属性可以包括,但不限于:颜色、对比度、饱和度、色调、亮度、锐度等中的一项或多项。
此外,在一些实施方式中,在每对同一张原始图像迭代处理一次后,还可以记录对该原始图像的处理次数,即该原始图像的已被处理过的次数。
在这种实施方式下,当获取到当前的待处理图像后,可以获取与该当前的待处理图像对应的原始图像在本次之前的已被处理过的次数N,并判断N是否小于预先设置的次数阈值M。
若N小于M,则说明未对该待处理图像对应的原始图像进行过度处理,还可以继续对当前的待处理图像进行图像处理,相应的,此时,即可以确定当前的待处理图像不满足停止被处理的条件;否则,则可以确定当前的待处理图像满足停止被处理的条件。
此外,在一些实施方式中,也可以结合上述两种方式来确定当前的待处理图像是否满足停止被处理的条件。
例如,在确定当前的待处理图像的经过评分后所得到的评分分数X小于评分阈值Y,且确定与该当前的待处理图像对应的原始图像在本次之前的已被处理过的次数N小于次数阈值M时,确定当前的待处理图像不满足停止被处理的条件;否则,则可以确定当前的待处理图像满足停止被处理的条件。
在这种实施方式下,只要X大于等于Y或N大于等于M,均可以确定当前的待处理图像满足停止被处理的条件。此时,为了尽可能的节省计算资源(可以理解,获取当前的待处理图像对应的原始图像在本次之前的已被处理过的次数N所需要消耗的计算资源,小于计算当前的待处理图像的评分分数X所需要消耗的计算资源),在一些实施方式中,在获取到当前的待处理图像后,可以先判断与该当前的待处理图像对应的原始图像在本次之前的已被处理过的次数N与次数阈值M之间的大小关系。
当N大于等于M时,即可以直接得出当前的待处理图像满足停止被处理的条件,并不再需要计算当前的待处理图像的评分分数X。
当N小于M时,再计算当前的待处理图像的评分分数X,并判断X与评分阈值Y之间的大小关系,并继续基于X与Y的大小关系判断当前的待处理图像是否满足停止被处理的条件。
相应的,在这种实施方式下,若针对当前的待处理图像的判断结果为不满足停止被处理的条件,则说明先确定出与该当前的待处理图像对应的原始图像在本次之前的已被处理过的次数N小于次数阈值M,然后再确定出当前的待处理图像的评分分数X小于评分阈值Y。
在本申请一些实施方式中,当通过上述任何实施方式确定当前的待处理图像满足停止被处理的条件时,说明当前的待处理图像已经符合要求,此时即可以停止对当前的待处理图像进行处理,并将当前的待处理图像确定为最终图像,并可以基于该最终图像执行其他图像任务。
此外,在本申请一些实施方式中,在通过上述过程确定当前的待处理图像不满足停止被处理的条件时,则可以基于当前的待处理图像执行步骤S120。
步骤S120:通过将当前的所述待处理图像输入预先训练好的功能单元确定网络来确定当前的目标功能单元信息。
在本申请实施例中,每次对待处理图像进行图像处理时,只对待处理图像的一个画质属性类别所对应的内容进行处理,相应的,每次对待处理图像进行图像处理时,所需要确定的调试信息包括:需要处理的画质属性类别,以及处理该画质属性类别过程中所需要用到的参数。
具体的,于本申请实施方式中,为了减少工程师的工作量,可以借助于神经网络(下文称之为功能单元确定网络)来确定本次对当前的待处理图像进行图像处理时所需要的一些调试信息(后文称之为目标功能单元信息),从而减轻工程师的调试压力。
请参照图2A,功能单元确定网络200可以包括单元类型确定子网络210以及单元参数确定子网络220。单元类型确定子网络210以及单元参数确定子网络220之间相互独立,不存在连接关系。
其中,当把当前的待处理图像分别输入到单元类型确定子网络210以及单元参数确定子网络220之后,由单元类型确定子网络210输出现有的每个功能单元需要对当前的待处理图像进行处理的概率,由单元参数确定子网络220输出现有的每个功能单元在本次处理当前的待处理图像时所需要的单元参数。
值得指出的是,现有的各个功能单元所对应处理的画质属性类别不同,例如存在7个功能单元,分别为功能单元1、功能单元2、功能单元3、功能单元4以及功能单元5。
其中,功能单元1负责调整颜色、功能单元2负责调整对比度、功能单元3负责调整饱和度、功能单元4负责调整锐度、功能单元5负责调整亮度。
在单元类型确定子网络210针对当前的待处理图像所输出的各个功能单元的概率后,可以确定概率最高的功能单元所对应的类别为目标功能单元的类别,以便后续由与目标功能单元的类别对应的功能单元对当前的待处理图像进行执行相应的画质属性处理。
此外,在单元参数确定子网络220针对当前的待处理图像所输出的各个功能单元在本次处理过程中所需要的单元参数后,还可以确定出与本次的目标功能单元对应的单元参数。
也就是说,在将当前的待处理图像输入到功能单元确定网络200后,即可以确定当前的目标功能单元信息,该目标功能单元信息包括:目标功能单元的类别以及目标功能单元对应的单元参数。
其中,本次由哪个功能单元对当前的待处理图像进行处理,由目标功能单元的类别来决定;目标功能单元在本次处理过程中的单元参数,由目标功能单元对应的单元参数来决定。
步骤S130:根据当前的所述目标功能单元信息对当前的所述待处理图像进行处理。
在确定出本次对当前的待处理图像进行处理时所需的目标功能单元信息(即当前的目标功能单元信息)后,即可以从现有的各个功能单元中,选择出与目标功能单元的类别对应的功能单元,并通过目标功能单元对应的单元参数调试对应的功能单元,然后将当前的待处理图像输入到经过调试后的对应的功能单元,以便进行图像处理。
其中,若在对当前的待处理图像进行处理之前,确定当前的待处理图像不满足停止被处理的条件,那么经过步骤S130处理后所得到的图像为下一阶段的待处理图像。也就是说,当前所得到的下一阶段的待处理图像有可能还要继续被处理。
至于下一阶段的待处理图像是否还需要继续被处理,则由下一阶段继续按照上述步骤S111所介绍的内容进行判断。
本申请实施例所提供的一种图像处理方法,由于在对待处理图像进行处理的过程中,由哪个目标功能单元对待处理图像进行处理,以及目标功能单元的参数均由功能单元确定网络200所输出的内容进行确定,对于工程师而言,不再需要对耗费大量的精力来确定各个功能单元之间的处理顺序以及每个功能单元的单元参数,因此,可以减少工程师的工作量,从而减轻工程师的调试压力。
此外,为了使得功能单元确定网络200具备上述输出各个功能单元的概率以及每个功能单元对应的单元参数的能力,下面将针对功能单元确定网络200的训练过程进行介绍。
请参照图2B,在训练阶段,功能单元确定网络200还可以包括评价分数输出子网络230以及环境参数子网络240。
其中,单元类型确定子网络210、单元参数确定子网络220、评价分数输出子网络230以及环境参数子网络240之间相互独立,不存在连接关系。
此外,单元类型确定子网络210、单元参数确定子网络220、评价分数输出子网络230以及环境参数子网络240的结构框架均可以采用如图3所示的基础子网络结构框架300,包括卷积层310以及全连接层320。
其中,单元类型确定子网络210的输出为N通道,N由现有的各个功能单元的数量来确定,例如在前文的举例中,存在5个功能单元,那么单元类型确定子网络210的输出为5通道,每个通道的数值分别代表每种功能单元用于处理所输入的当前的待处理图像的概率。
单元参数确定子网络220的输出为N通道,N由现有的各个功能单元的数量N以及每个功能单元的单元参数来确定。例如存在5个功能单元,其中,功能单元1需要1个单元参数,功能单元2需要1个单元参数,功能单元3需要2个单元参数,功能单元4需要1个单元参数,功能单元5需要1个单元参数,那么单元参数确定子网络220的输出为6通道。
评价分数输出子网络230的输出为1通道,用于表征每次图像处理的评分。
环境参数子网络240的输出为1通道。
在训练过程前,需要获取训练样本。其中,每个训练样本包括两张图像,分别为原始图像以及该原始图像经过专业图像处理人员进行处理后所得到的标准处理图像。
在训练过程中,采用了传统增强学习的训练框架。
具体的,将每个训练样本中的原始图像输入到训练单元类型确定子网络210以及单元参数确定子网络220后,根据得到的结果来对原始图像进行处理,从而得到中间处理图像。然后将该中间处理图像输入到评价分数输出子网络230以及环境参数子网络240。
其中,训练单元类型确定子网络210以及单元参数确定子网络220对应于增强学习框架中的“actor”部分,在每一次迭代中根据不同的输入图像,选择不同的策略作为输出,采用policy gradient的梯度来更新内部参数。
评价分数输出子网络230对应于增强学习框架中的“critic”部分,负责评价训练单元类型确定子网络210以及单元参数确定子网络220对输入图像的整个处理流程的好坏。
在传统的增强学习中,环境是已知,而在本申请中所提出的应用场景里,环境是未知的,因此,环境参数子网络240担当模拟环境的作用,用来评价经过完整处理流程后的图像的画质。
环境参数子网络240的训练目标是使得输入到其内的中间处理图像靠近与该中间处理图像对应的标准处理图像,并通过比较当前输入的中间处理图像与对应的标准处理图像之间的相似度,来更新评价分数输出子网络230所输出的处理分数值。
后续,将评价分数输出子网络230以及环境参数子网络240所得到的损失函数在训练单元类型确定子网络210以及单元参数确定子网络220内反向传播,从而对训练单元类型确定子网络210以及单元参数确定子网络220内的参数进行修正。
如图4所示,本申请实施例还提供一种图像处理装置400,图像处理装置400可以包括:获取模块410、执行模块420以及处理模块430。
获取模块410,用于获取当前的待处理图像;
执行模块420,用于通过将当前的所述待处理图像输入预先训练好的功能单元确定网络来确定当前的目标功能单元信息;
处理模块430,用于根据当前的所述目标功能单元信息对当前的所述待处理图像进行处理。
在一种可能的实施方式中,所述功能单元确定网络包括单元类型确定子网络以及单元参数确定子网络;所述执行模块420,用于将当前的所述待处理图像分别输入所述单元类型确定子网络以及所述单元参数确定子网络;通过所述单元类型确定子网络确定出用于对当前的所述待处理图像进行处理的目标功能单元的类别,通过所述单元参数确定子网络确定出与所述目标功能单元对应的单元参数;所述目标功能单元信息包括所述目标功能单元的类别以及所述目标功能单元对应的单元参数。
在一种可能的实施方式中,所述处理模块430,用于选择与所述目标功能单元的类别对应的功能单元,并通过所述目标功能单元对应的单元参数调试所述对应的功能单元;将当前的所述待处理图像输入到经过调试后的对应的功能单元进行处理。
在一种可能的实施方式中,所述装置还包括判断模块,用于判断当前的所述待处理图像是否满足停止被处理的条件;在判断结果为否时,通过将当前的所述待处理图像输入所述功能单元确定网络来确定当前的所述目标功能单元信息,以及根据当前的所述目标功能单元信息对当前的所述待处理图像进行处理,得到的图像为下一阶段的所述待处理图像。
在一种可能的实施方式中,所述判断模块,用于根据预先获取到的画质评分规则对当前的所述待处理图像的画质进行评分;在确定所述评分小于评分阈值时,确定当前的所述待处理图像不满足停止被处理的条件。
在一种可能的实施方式中,所述判断模块,用于获取当前的所述待处理图像在本次之前已被处理过的次数;在所述次数小于次数阈值时,确定当前的所述待处理图像不满足停止被处理的条件。
在一种可能的实施方式中,所述判断模块,用于获取当前的所述待处理图像在本次之前已被处理过的次数;根据预先获取到的画质评分规则对当前的所述待处理图像的画质进行评分;在所述次数小于次数阈值,且所述评分小于评分阈值时,确定当前的所述待处理图像不满足停止被处理的条件。
在一种可能的实施方式中,所述执行模块420,还用于在判断结果为是时,停止对当前的所述待处理图像进行处理,并将当前的所述待处理图像确定为最终图像。
本申请实施例所提供的图像处理装置400,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
此外,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被计算机运行时,执行如上述的图像处理方法所包含的步骤。
此外,请参照图5,本申请实施例还提供一种用于实现本申请实施例的图像处理方法、装置的电子设备100。
可选的,电子设备100,可以是,但不限于个人电脑(Personal computer,PC)、智能手机、平板电脑、移动上网设备(Mobile Internet Device,MID)、个人数字助理、服务器等设备。其中,服务器可以是,但不限于网络服务器、云端服务器等。
其中,电子设备100可以包括:处理器110、存储器120。
应当注意,图5所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,电子设备100也可以具有其他组件和结构。例如,在一些情况下,电子设备100还可以包括显示器,用于对进行图像处理后的图像进行显示。
处理器110、存储器120以及其他可能出现于电子设备100的组件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,处理器110、存储器120以及其他可能出现的组件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
存储器120用于存储程序,例如存储有前文出现的图像处理方法对应的程序或者前文出现的图像处理装置。可选的,当存储器120内存储有图像处理装置时,图像处理装置包括至少一个可以以软件或固件(firmware)的形式存储于存储器120中的软件功能模块。
可选的,图像处理装置所包括软件功能模块也可以固化在电子设备100的操作系统(operating system,OS)中。
处理器110用于执行存储器120中存储的可执行模块,例如图像处理装置包括的软件功能模块或计算机程序。当处理器110在接收到执行指令后,可以执行计算机程序,例如执行:获取当前的待处理图像;通过将当前的所述待处理图像输入预先训练好的功能单元确定网络来确定当前的目标功能单元信息;根据当前的所述目标功能单元信息对当前的所述待处理图像进行处理。
当然,本申请任一实施例所揭示的方法都可以应用于处理器110中,或者由处理器110实现。
综上所述,本发明实施例提出的图像处理方法、装置、电子设备及计算机可读存储介质,由于在对待处理图像进行处理的过程中,由哪个目标功能单元对待处理图像进行处理,以及目标功能单元的参数均由功能单元确定网络200所输出的内容进行确定,对于工程师而言,不再需要对耗费大量的精力来确定各个功能单元之间的处理顺序以及每个功能单元的单元参数,因此,可以减少工程师的工作量,从而减轻工程师的调试压力。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,笔记本电脑,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。
Claims (11)
1.一种图像处理方法,其特征在于,所述方法包括:
获取当前的待处理图像;
通过将当前的所述待处理图像输入预先训练好的功能单元确定网络来确定当前的目标功能单元信息;
根据当前的所述目标功能单元信息对当前的所述待处理图像进行处理。
2.根据权利要求1所述的方法,其特征在于,所述功能单元确定网络包括单元类型确定子网络以及单元参数确定子网络;所述通过将当前的所述待处理图像输入预先训练好的功能单元确定网络来确定当前的目标功能单元信息,包括:
将当前的所述待处理图像分别输入所述单元类型确定子网络以及所述单元参数确定子网络;
通过所述单元类型确定子网络确定出用于对当前的所述待处理图像进行处理的目标功能单元的类别,通过所述单元参数确定子网络确定出与所述目标功能单元对应的单元参数;
所述目标功能单元信息包括所述目标功能单元的类别以及所述目标功能单元对应的单元参数。
3.根据权利要求2所述的方法,其特征在于,所述根据当前的所述目标功能单元信息对当前的所述待处理图像进行处理,包括:
选择与所述目标功能单元的类别对应的功能单元,并通过所述目标功能单元对应的单元参数调试所述对应的功能单元;
将当前的所述待处理图像输入到经过调试后的对应的功能单元进行处理。
4.根据权利要求1-3中任一项所述的方法,其特征在于,在所述通过将当前的所述待处理图像输入预先训练好的功能单元确定网络来确定当前的目标功能单元信息之前,所述方法还包括:
判断当前的所述待处理图像是否满足停止被处理的条件;
在判断结果为否时,通过将当前的所述待处理图像输入所述功能单元确定网络来确定当前的所述目标功能单元信息;
相应的,所述根据当前的所述目标功能单元信息对当前的所述待处理图像进行处理之后,得到的图像为下一阶段的所述待处理图像。
5.根据权利要求4所述的方法,其特征在于,所述判断当前的所述待处理图像是否满足停止被处理的条件,包括:
根据预先获取到的画质评分规则对当前的所述待处理图像的画质进行评分;
在所述评分小于评分阈值时,确定当前的所述待处理图像不满足停止被处理的条件。
6.根据权利要求4所述的方法,其特征在于,所述判断当前的所述待处理图像是否满足停止被处理的条件,包括:
获取当前的所述待处理图像在本次之前已被处理过的次数;
在所述次数小于次数阈值时,确定当前的所述待处理图像不满足停止被处理的条件。
7.根据权利要求4所述的方法,其特征在于,所述判断当前的所述待处理图像是否满足停止被处理的条件,包括:
获取当前的所述待处理图像在本次之前已被处理过的次数;
根据预先获取到的画质评分规则对当前的所述待处理图像的画质进行评分;
在所述次数小于次数阈值,且所述评分小于评分阈值时,确定当前的所述待处理图像不满足停止被处理的条件。
8.根据权利要求4-7中任一项所述的方法,其特征在于,所述方法还包括:
在判断结果为是时,停止对当前的所述待处理图像进行处理,并将当前的所述待处理图像确定为最终图像。
9.一种图像处理装置,其特征在于,所述装置包括:
获取模块,用于获取当前的待处理图像;
执行模块,用于通过将当前的所述待处理图像输入预先训练好的功能单元确定网络来确定当前的目标功能单元信息;
处理模块,用于根据当前的所述目标功能单元信息对当前的所述待处理图像进行处理。
10.一种电子设备,其特征在于,包括:存储器和处理器,所述存储器和所述处理器连接;
所述存储器用于存储程序;
所述处理器调用存储于所述存储器中的程序,以执行如权利要求1-8中任一项所述的方法。
11.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被计算机运行时执行如权利要求1-8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110186593.5A CN112967190A (zh) | 2021-02-09 | 2021-02-09 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110186593.5A CN112967190A (zh) | 2021-02-09 | 2021-02-09 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112967190A true CN112967190A (zh) | 2021-06-15 |
Family
ID=76284953
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110186593.5A Pending CN112967190A (zh) | 2021-02-09 | 2021-02-09 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112967190A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023025063A1 (zh) * | 2021-08-23 | 2023-03-02 | 索尼集团公司 | 图像信号处理器优化方法及设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108881708A (zh) * | 2017-12-18 | 2018-11-23 | 南通使爱智能科技有限公司 | 一种智能图像处理装置 |
CN110839129A (zh) * | 2018-08-17 | 2020-02-25 | Oppo广东移动通信有限公司 | 图像处理方法、装置以及移动终端 |
CN111325726A (zh) * | 2020-02-19 | 2020-06-23 | 腾讯医疗健康(深圳)有限公司 | 模型训练方法、图像处理方法、装置、设备及存储介质 |
-
2021
- 2021-02-09 CN CN202110186593.5A patent/CN112967190A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108881708A (zh) * | 2017-12-18 | 2018-11-23 | 南通使爱智能科技有限公司 | 一种智能图像处理装置 |
CN110839129A (zh) * | 2018-08-17 | 2020-02-25 | Oppo广东移动通信有限公司 | 图像处理方法、装置以及移动终端 |
CN111325726A (zh) * | 2020-02-19 | 2020-06-23 | 腾讯医疗健康(深圳)有限公司 | 模型训练方法、图像处理方法、装置、设备及存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023025063A1 (zh) * | 2021-08-23 | 2023-03-02 | 索尼集团公司 | 图像信号处理器优化方法及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10997752B1 (en) | Utilizing a colorization neural network to generate colorized images based on interactive color edges | |
CN109670558B (zh) | 使用深度学习的数字图像完成 | |
JP6182242B1 (ja) | データのラベリングモデルに係る機械学習方法、コンピュータおよびプログラム | |
CN110956255A (zh) | 难样本挖掘方法、装置、电子设备及计算机可读存储介质 | |
CN110458791B (zh) | 质量缺陷检测方法和检测设备 | |
CN110046707B (zh) | 一种神经网络模型的评估优化方法和系统 | |
CN111401722A (zh) | 智能决策方法和智能决策系统 | |
CN114842307B (zh) | 掩码图像模型训练方法、掩码图像内容预测方法和设备 | |
CN113505854A (zh) | 一种人脸图像质量评价模型构建方法、装置、设备及介质 | |
CN117095257A (zh) | 多模态大模型微调方法、装置、计算机设备及存储介质 | |
CN114998679A (zh) | 深度学习模型的在线训练方法、装置、设备及存储介质 | |
CN112967190A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN111159241A (zh) | 一种点击转化预估方法及装置 | |
US20240127083A1 (en) | Systems and methods for knowledge-based reasoning of an autonomous system | |
CN112418443A (zh) | 基于迁移学习的数据处理方法、装置、设备及存储介质 | |
US11688175B2 (en) | Methods and systems for the automated quality assurance of annotated images | |
CN115112661B (zh) | 一种缺陷检测方法、装置、计算机设备和存储介质 | |
CN111241993A (zh) | 座位数的确定方法、装置、电子设备及存储介质 | |
CN116977271A (zh) | 缺陷检测方法、模型训练方法、装置及电子设备 | |
KR102413588B1 (ko) | 학습 데이터에 따른 객체 인식 모델 추천 방법, 시스템 및 컴퓨터 프로그램 | |
CN116433999A (zh) | 图像数据清洗方法、装置、电子设备及存储介质 | |
US20220253690A1 (en) | Machine-learning systems for simulating collaborative behavior by interacting users within a group | |
CN111815442B (zh) | 一种链接预测的方法、装置和电子设备 | |
CN115270923A (zh) | 一种基于场景的可视化智能决策方法及系统 | |
CN110955369B (zh) | 基于点击位置的焦点判断方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |