CN114187185A - 一种数据处理方法、系统及装置 - Google Patents
一种数据处理方法、系统及装置 Download PDFInfo
- Publication number
- CN114187185A CN114187185A CN202010959989.4A CN202010959989A CN114187185A CN 114187185 A CN114187185 A CN 114187185A CN 202010959989 A CN202010959989 A CN 202010959989A CN 114187185 A CN114187185 A CN 114187185A
- Authority
- CN
- China
- Prior art keywords
- image
- data
- parameter
- unit
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 107
- 238000006243 chemical reaction Methods 0.000 claims abstract description 76
- 238000000034 method Methods 0.000 claims abstract description 35
- 230000015556 catabolic process Effects 0.000 claims description 33
- 238000006731 degradation reaction Methods 0.000 claims description 33
- 230000015654 memory Effects 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 17
- 238000010276 construction Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 7
- 238000010801 machine learning Methods 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000000593 degrading effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/268—Signal distribution or switching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种数据处理方法、系统及装置,涉及AI领域,该数据处理方法可通过服务器来执行,也可通过具有数据处理功能的设备来执行,在执行时,先获取参考数据;其中,参考数据包括:RGB图像数据、图像设备的设备参数,之后利用AutoML确定RGB图像数据转换成RAW数据所需的多个转换参数,最后根据多个转换参数将RGB图像数据处理成RAW数据;其中,RAW数据与图像设备的设备参数相匹配。由于本申请引入了AutoML来确定RGB图像数据转换成RAW数据所需的多个转换参数,并非基于人工经验来确定转换参数,该方式提高了数据处理的效率。
Description
技术领域
本申请涉及人工智能(artificial intelligence,AI)技术领域,尤其涉及一种数据处理方法、系统及装置。
背景技术
计算摄影是一种将计算机软件方法(计算机视觉、数字信号处理、图形学等)与摄影设备以及相关应用进行综合的技术。计算摄影将硬件设计与软件计算能力有机结合,极大地简化了摄影流程,提高了摄影体验,让更多的人可以享受到摄影的乐趣。
为了通过终端设备(手机、平板电脑等)得到良好的图像效果,可利用终端设备在拍摄过程产生的RAW数据(感光元件记录的图像的所有灰度数据)和单反相机产生的RGB数据组成的RAW-RGB数据集,用于神经网络学习,来提高终端设备的拍摄能力。但是RAW-RGB数据集的采集耗时较长,且采集的RAW-RGB数据集与真实数据的差距较大。
考虑到数据采集时出现的问题,相关技术提出通过RGB数据退化成RAW数据,来构建RAW-RGB数据集,但是该方式需要人工计算RGB数据退化成RAW数据所需的多个参数的取值,该方式费时费力。
发明内容
基于此,本申请提供一种数据处理方法、系统及装置,以提高数据的处理效率。
第一方面,本申请提供一种数据处理方法,该数据处理方法可通过服务器来执行,也可通过具有数据处理功能的设备来执行,在此不做具体限定。该方法在执行时,需要先获取参考数据;其中,参考数据包括:RGB图像数据、图像设备的设备参数,之后利用自动化机器学习(auto machine learning,AutoML)确定RGB图像数据转换成RAW数据所需的多个转换参数,最后根据多个转换参数将RGB图像数据处理成RAW数据;RAW数据与图像设备的设备参数相匹配。
上述的图像设备可以理解为具有图像处理功能的设备,可以为终端设备如:手机、平板电脑、移动机器人,也可以为其他设备,本申请在此不做具体限定。本申请利用AutoML确定RGB图像数据转换成RAW数据所需的多个转换参数,并基于该转换参数将RGB图像数据转换成RAW数据。通过该方式获取的RAW数据可以提高数据的处理效率,且RAW数据与图像设备的设备参数是相匹配的,更加适配图像设备的设备需求。
在一种可能的实现方式中,可根据设备参数确定与图像设备对应的搜索空间;之后从搜索空间确定多个转换参数。
需要说明的是,不同的图像设备的设备参数是不同的,本申请可根据不同的图像设备的设备参数适配符合图像设备需求的搜索空间,并在确定的搜索空间内确定适配图像设备需求的转换参数,通过该方式确定的转换参数可以提高转换参数的获取效率,且该转换参数适配图像设备的需求,有利于更好地将RGB图像数据转换成RAW数据。
在一种可能的实现方式中,可构建RGB图像数据以及RAW数据的图像对;之后将图像对输入任务处理单元中进行训练,确定反馈信号;任务处理单元用于处理视频或图像数据;反馈信号用于指示图像对的构建质量;最后根据反馈信号更新RGB图像数据转换成RAW数据所需的多个转换参数。
需要说明的是,上述构建质量反映的是RGB图像数据转换到RAW数据时,RAW数据与图像设备的设备参数匹配程度,本申请基于反馈信号来调整RGB图像数据转换成RAW数据所需的多个转换参数可以转换参数的准确度,使得RAW数据的更加适配图像设备的设备参数的需求。
在一种可能的实现方式中,图像设备对应的搜索空间包括多个图像处理模块;其中,所述图像处理模块包括以下中的一种或多种:加噪声模块、加马赛克模块以及亮度调整模块。
需要说明的是,本申请中的图像处理模块并不限于加噪声模块、加马赛克模块以及亮度调整模块,还可包括电平调整模块、白平衡调整模块等。此外,其他RGB图像数据转换成RAW数据所需的图像处理模块均适用于本申请,本申请在此不具体限定具体包括的图像处理模块的数量和类型。
在一种可能的实现方式中,转换参数包括以下中的一种或多种:加噪参数、加马赛克参数、亮度调整参数、伽马参数、电平调整参数以及白平衡调整参数。
需要说明的是,本申请中的转换参数并不限于加噪参数、加马赛克参数、亮度调整参数、伽马参数、电平调整参数以及白平衡调整参数,还可包括坏点校正参数等。此外,其他RGB图像数据转换成RAW数据所需的转换参数均适用于本申请,本申请在此不具体限定具体包括的转换参数的数量和类型。
第二方面,本申请提供一种数据处理系统,包括:图像退化单元以及策略单元;所述图像退化单元用于根据所述策略单元输出的多个转换参数将RGB图像数据转换成与图像设备的设备参数相匹配的RAW数据;所述策略单元用于利用自动化机器学习AutoML确定所述RGB图像数据转换成RAW数据所需的多个转换参数。
需要说明的是,在实际应用时,上述的图像退化单元以及策略单元,可以理解为图像退化装置以及策略装置,还可以理解为图像退化模型以及策略模型,本申请在此不具体限定。本申请中退化单元可利用AutoML确定RGB图像数据转换成RAW数据所需的多个转换参数,图像退换单元可基于该转换参数将RGB图像数据转换成RAW数据。通过该数据处理系统获取的RAW数据可以提高数据的处理效率,且RAW数据与图像设备的设备参数是相匹配的,更加适配图像设备的设备需求。
在一种可能的实现方式中,所述图像退化单元还用于输出所述RGB图像数据与所述RAW数据的图像对。
在一种可能的实现方式中,还包括:任务处理单元;所述任务处理单元用于根据所述图像退化单元输出的所述RGB图像数据与所述RAW数据的图像对进行训练,确定反馈信号,并将所述反馈信号输入至所述策略单元;所述反馈信号用于指示所述图像对的构建质量。
在一种可能的实现方式中,所述策略单元还用于接收所述任务处理单元输出的所述反馈信号,并根据反馈信号调整所述策略单元的网络参数;基于调整后的网络参数更新所述多个转换参数。
需要说明的是,本申请中反馈信号是用来指示生成的RGB图像数据以及RAW数据的图像对的构建质量的,基于反馈信号来调整网络参数,并基于调整后的网络参数更新RGB图像数据转换成RAW数据所需的多个转换参数,可以使得RAW数据的更加适配图像设备的设备参数的需求。
在一种可能的实现方式中,所述策略单元还用于根据所述设备参数确定与所述图像设备对应的搜索空间;从所述搜索空间确定所述多个转换参数。
需要说明的是,不同的图像设备的设备参数是不同的,本申请可根据不同的图像设备的设备参数适配符合图像设备需求的搜索空间,并在确定的搜索空间内确定适配图像设备需求的转换参数,通过该方式确定的转换参数可以提高转换参数的获取效率,且该转换参数适配图像设备的需求,有利于更好地将RGB图像数据转换成RAW数据。
在一种可能的实现方式中,所述图像退化单元包括多个图像处理模块;其中,所述图像处理模块包括以下中的一种或多种:加噪声模块、加马赛克模块以及亮度调整模块。
需要说明的是,本申请中的图像处理模块并不限于加噪声模块、加马赛克模块以及亮度调整模块,还可包括电平调整模块、白平衡调整模块等。此外,其他RGB图像数据转换成RAW数据所需的图像处理模块均适用于本申请,本申请在此不具体限定具体包括的图像处理模块的数量和类型。
在一种可能的实现方式中,所述转换参数包括以下中的一种或多种:加噪参数、加马赛克参数、亮度调整参数、伽马参数、电平调整参数以及白平衡调整参数。
需要说明的是,本申请中的转换参数并不限于加噪参数、加马赛克参数、亮度调整参数、伽马参数、电平调整参数以及白平衡调整参数,还可包括坏点校正参数等。此外,其他RGB图像数据转换成RAW数据所需的转换参数均适用于本申请,本申请在此不具体限定具体包括的转换参数的数量和类型。
第三方面,本申请提供一种数据处理装置,包括处理器和存储器,所述存储器,存储有计算机程序;所述处理器,用于执行所述存储器中存储的计算机程序,以使得上述第一方面任一实现方式所述的方案被执行。
第四方面,本申请提供一种计算机可读存储介质,计算机存储介质中存储有计算机可读指令,当计算机读取并执行计算机可读指令时,使得计算机执行上述第一方面任一实现方式所述的方案。
第五方面,本申请提供一种计算机程序产品,当计算机读取并执行计算机程序产品时,使得计算机执行如执行上述第一方面任一实现方式所述的方案。
上述第二方面至第五方面可以达到的技术效果,请参照上述第一方面中相应可能设计方案可以达到的技术效果说明,本申请这里不再重复赘述。
附图说明
图1示出本申请实施例提供的数据处理网络的结构示意图;
图2示出本申请实施例提供的图像退化单元的结构示意图;
图3示出本申请实施例提供的另一数据处理网络的结构示意图;
图4示出了本申请实施例提供的数据处理方法的流程示意图;
图5示出了本申请实施例提供的数据处理装置的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行详尽描述。
如背景技术所述,相关技术虽然提出通过RGB数据退化成RAW数据,来构建RAW-RGB数据集,但是该方式需要人工计算RGB数据退化成RAW数据所需的多个参数的取值,如:RGB数据退化成RAW数据需要经过加噪声、加马赛克的图像处理步骤,假定与加噪声相关的参数有100个,与加马赛克相关的参数有200个,那么RGB数据退化成RAW数最多则需要尝试20000次(100*200)来确定RGB数据退化成RAW数据所需要的参数值,该方式费时费力,且该方式生成的RAW数据也不一定适配不同图像设备的设备需求,故而亟需一种数据处理方法来解决上述的问题。
需要说明的是,本申请中,“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。以及,除非有相反的说明,本申请实施例提及“第一”、“第二”等序数词是用于对多个对象进行区分,不用于限定多个对象的顺序、时序、优先级或者重要程度。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例,而是意味着结合该实施例描述的特定特征、结构或特点。
为了更好地说明本申请的方案,先对本申请涉及的某些专业名词进行简单介绍,具体如下:
AutoML:是将机器学习应用于现实问题自动化数据处理的过程,在实际应用时可以根据不同的任务为用户提供不同需求的参数。如:任务为寻找1000个自然数中的质数,将1000个自然数以及寻找质数的任务作为AutoML的输入数据,则可输出1000个自然数中所有的质数;任务为将1万张图像按照人像、自然风景以及人文景观进行分类,将1万张图像作为AutoML的输入数据,则可按照不同的类别输出图像。
RGB图像:RGB图像由格式为M×N×3的三维数组组成,其中的“3”可以理解为三幅M×N的二维图像(灰度值图像)。这三幅图像分别代表R、G、B分量,每个分量的像素点取值范围是[0,255]。其中,R代表Red(红色),G代表Green(绿色),B代表Blue(蓝色)。计算机定义颜色时R、G、B三种成分的取值范围是0-255,0表示没有刺激量,255表示刺激量达最大值。其中,R、G、B均为255时就合成了白光,R、G、B均为0时就形成了黑色。
RAW数据:可以理解为记录了图像设备传感器的原始信息,同时记录了由图像设备拍摄所产生的一些元数据(如感光度设置、快门速度、光圈值、白平衡等)的文件。
如图1为本申请提供的数据处理系统的示意图,包括图像退化单元以及策略单元,该数据处理系统可以集成在一个设备中,也可以集成在多个设备中,若集成在一个设备中,该图像退化单元可以为图像退化模型,该策略单元可以为用于输出策略的模型;若集成在多个设备中,该图像退化单元则可为用于处理图像退化数据的处理设备,该策略单元则可为用于输出图像处理策略的处理设备,本申请在此不具体限定单元到底为模型还是设备。
需要说明的是,策略单元可利用AutoML确定RGB图像数据转换成RAW数据所需的多个转换参数;图像退化单元可接收RGB图像数据以及图像设备的设备参数,并根据策略单元输出的多个转换参数将RGB图像数据转换成与图像设备的设备参数相匹配的RAW数据。其中,图像设备可以理解为具有图像处理功能的设备,可以为终端设备如:手机、平板电脑、移动机器人,也可以为其他设备,本申请在此不做具体限定。RGB图像数据可以为数据处理系统从网络直接下载的图像,也可以为单反相机拍摄的图像后导入到数据处理系统中的,还可以为图像设备从网络下载后传输给数据处理系统的图像,本申请在此不具体限定该RGB图像数据的数据来源。
本申请利用AutoML确定RGB图像数据转换成RAW数据所需的多个转换参数,并基于该转换参数将RGB图像数据转换成RAW数据。通过该方式获取的RAW数据可以提高数据的处理效率,且本申请确定的RAW数据与图像设备的设备参数是相匹配的,更加适配图像设备的设备需求。
另外,本申请中的策略单元还可根据设备参数确定与图像设备对应的搜索空间;从搜索空间确定多个转换参数。基于策略单元确定的转换参数可自适应地适配图像设备的设备参数的需求,如图像设备1的设备参数中感光度为参数1、光圈值为参数2,服务器可根据参数1以及参数2确定适配图像设备1的搜索空间1,并在搜索空间1中确定适配图像设备1需求的多个转换参数;图像设备2的设备参数中感光度为参数2、光圈值为参数4、快门速度为参数3,服务器可根据参数1、参数2以及参数3确定适配图像设备2的搜索空间2,并在搜索空间2中确定适配图像设备2需求的多个转换参数。
此外,图像退化单元可包括多个图像处理模块;其中,图像处理模块可包括以下中的一种或多种:加噪声模块、加马赛克模块以及亮度调整模块。转换参数可包括以下中的一种或多种:加噪参数、加马赛克参数、亮度调整参数、伽马参数、电平调整参数以及白平衡调整参数。
需要说明的是,由于本申请的图像退化单元是将RGB图像数据与RAW数据,也即将高清晰度的图像变成低清晰度的图像,需要进行加噪声、加马赛克、亮度调整等图像处理流程,但是在实际应用时可能并不限于上述几种图像处理模块还可能包括其他图像处理模块,在将RGB图像数据与RAW数据过程中可能涉及的图像处理模块均适用于本申请,本申请在此不一一示意。
另外,与图像处理模块相匹配的转换参数,可能包括加噪参数、加马赛克参数、亮度调整(如:提高亮度、降低亮度)参数、伽马参数、电平调整(如:添加黑电平、添加白电平)参数、白平衡调整参数。其中,噪声可能包括:高斯白噪声、加性噪声以及乘性噪声;伽马参数可用于灰度调整、透明度调整;白平衡可用于消除光源对图像的影响,如通过调整白平衡调整参数增加光源对图像的影响。在将RGB图像数据与RAW数据过程中可能涉及的转换参数均适用于本申请,本申请在此不一一示意。
需要说明的是,搜索空间与图像退化单元中图像处理模块,以及图像退化单元中各个图像处理模块对应的参数(该参数是与图像设备的设备参数相匹配的)相关。如图2所示,常规的图像处理流程是通过去噪声模块去除RAW数据的噪声、通过去马赛克模块去除RAW数据的马赛克,将RAW数据转换成RGB图像数据。本申请的图像退化处理是通过加噪声模块对RGB图像数据添加噪声、通过加马赛克模块对RGB图像数据添加马赛克,将RGB图像数据转换成RAW数据。对RGB图像数据进行加噪声、加马赛克等图像处理(也即与RAW数据转换成RGB图像数据相反的图像处理操作)。在实际应用时图像退化单元中可能还包括其他图像处理模块在此不一一示意。本申请提及的搜索空间有图像退化单元中的各个图像处理模块相关,例如:针对适配图像设备1的图像退化单元包括3个图像处理模块如:加噪声模块、加马赛克模块以及亮度调整模块,则可通过策略单元确定适配图像设备1搜索空间,该搜索空间包括与加噪声模块、加马赛克模块以及亮度调整模块对应的参数。此外,加噪声模块、加马赛克模块以及亮度调整模块对应的转换参数可能会包括多个,可根据图像设备的设备参数确定加噪声模块、加马赛克模块以及亮度调整模块对应的转换参数的取值范围,如:图像设备1的光圈值为A,策略单元根据光圈值A可知亮度调整模块对应的转换参数取值范围为50-500,并非0到无穷大,故而可以缩小策略单元的参数搜索范围。针对其他图像处理模块的参数与图像设备参数之间的关系本申请在此不再一一说明。
作为示例,数据处理系统还可包括任务处理单元,如图3所示,该任务处理单元可根据图像退化单元输出的RGB图像数据与RAW数据的图像对进行训练,确定反馈信号,并将反馈信号输入至策略单元,以使策略单元根据反馈信号调整策略单元的网络参数,并基于调整后的网络参数更新多个转换参数。需要说明的是,策略单元可理解为一个神经网络模型,在该网络模型构建时需要大量的与模型结构相关的网络参数,通过调整网络参数可以调整策略单元的输出策略,进而调整策略单元输出的多个转换参数。其中,所述反馈信号用于指示生成的图像对的构建质量,该反馈信号可通过测试数据集或训练数据集的损失值进行指示;该构建质量反映的是RGB图像数据转换到RAW数据时,RAW数据与图像设备的设备参数匹配程度。该任务处理单元可用于处理视频或图像数据,如将低分辨率的变成超高清视频,将低分辨率的图像变成高分辨率的图像,或者将亮度低的图像变成亮度高的图像等,本申请在此不做具体限定。
例如,将RGB图像数据与RAW数据的图像对输入至任务处理单元进行训练,获取的反馈信号,将反馈信号输入到策略单元中,策略单元根据该反馈信号自适应地调整策略单元要输出的转换参数,并将转换参数输入到图像退化单元中将RGB图像数据退化成RAW数据,经过不断的循环迭代,直到反馈信号指示的图像对的构建质量,满足预设的需求为止。迭代的次数也可为根据用户需求的预设值,如为500次,500次迭代之后无论反馈信号的取值为多少则不再进行迭代,将第500次迭代时策略单元确定的转换参数作为图像退化单元所需的转换参数,并基于该转换参数将数据处理网络获取的RGB图像数据转换成RAW数据,也即将最后一次迭代确定的转换参数作为最终的转换参数。也可以根据策略单元搜索过程中,基于反馈信号更新的不同转换参数作为最终的参数,例如当验证数据集的损失值作为反馈信号时,可以挑选验证数据集的损失值最小时对应的转换参数作为最终参数。
此外,还要说明的是,本申请中策略单元可通过长短期记忆网络(long short-term memory,LSTM)、循环神经网络(recurrent neural network,RNN)等网络来确定转换参数,本申请在此不做具体限定,凡是可基于AutoML确定转换参数的网络均适用于本申请。
接下来介绍使用于本申请的数据处理方法,该数据处理方法可在上述的数据处理网络中执行,也可在服务器,具有数据处理功能的数据处理设备中执行,本申请在此不具体限定数据处理方法的执行主体,下文以执行主体为服务器为例进行说明,服务器可参照图4所示的步骤来执行:
步骤401,获取参考数据;其中,所述参考数据包括:RGB图像数据、图像设备的设备参数。
步骤402,利用AutoML确定RGB图像数据转换成RAW数据所需的多个转换参数。
步骤403,根据多个转换参数将RGB图像数据处理成所述RAW数据;RAW数据与图像设备的设备参数相匹配。
本申请利用AutoML确定RGB图像数据转换成RAW数据所需的多个转换参数,并基于该转换参数将RGB图像数据转换成RAW数据。通过该方式获取的RAW数据可以提高数据的处理效率,且RAW数据与图像设备的设备参数是相匹配的,更加适配图像设备的设备需求。
示例性地,服务器还可根据设备参数确定与图像设备对应的搜索空间;之后从搜索空间确定多个转换参数。
需要说明的是,不同的图像设备的设备参数是不同的,本申请可根据不同的图像设备的设备参数适配符合图像设备需求的搜索空间,并在确定的搜索空间内确定适配图像设备需求的转换参数,通过该方式确定的转换参数可以提高转换参数的获取效率,且该转换参数适配图像设备的需求,有利于更好地将RGB图像数据转换成RAW数据,如实现上述数据处理网络中的策略单元的功能,本申请在此不具体说明。
示例性地,服务器还可构建RGB图像数据以及RAW数据的图像对;之后将图像对输入任务处理单元中进行训练,确定反馈信号;最后根据反馈信号更新RGB图像数据转换成RAW数据所需的多个转换参数;其中,任务处理单元用于处理视频或图像数据;反馈信号用于指示图像对的构建质量。
需要说明的是,本申请中反馈信号是用来指示生成的RGB图像数据以及RAW数据的图像对的构建质量的,基于反馈信号来调整RGB图像数据转换成RAW数据所需的多个转换参数可以转换参数的准确度,使得RAW数据的更加适配图像设备的设备参数的需求。
示例性地,图像设备对应的搜索空间包括多个图像处理模块如上述数据处理网络中的图像退化单元所述,所述图像处理模块包括以下中的一种或多种:加噪声模块、加马赛克模块以及亮度调整模块,本申请在此不再赘述。
示例性地,转换参数包括以下中的一种或多种:加噪参数、加马赛克参数、亮度调整参数、伽马参数、电平调整参数、白平衡调整参数,如上述数据处理网络所述,本申请在此不再赘述。
基于相同的构思,如图4所示,为本申请提供的一种数据处理装置500。示例性地,数据处理装置500可以是芯片或芯片系统。可选的,在本申请实施例中芯片系统可以由芯片构成,也可以包含芯片和其他分立器件。
数据处理装置500可以包括至少一个处理器510,数据处理装置500还可以包括至少一个存储器520,用于存储计算机程序、程序指令和/或数据。存储器520和处理器510耦合。本申请实施例中的耦合是装置、单元或模块之间的间接耦合或通信连接,可以是电性,机械或其它的形式,用于装置、单元或模块之间的信息交互。处理器510可能和存储器520协同操作。处理器510可能执行存储器520中存储的计算机程序。可选的,所述至少一个存储器520中的至少一个可以包括于处理器510中。
数据处理装置500中还可以包括收发器530,数据处理装置500可以通过收发器530和其它设备进行信息交互。收发器530可以是电路、总线、收发器或者其它任意可以用于进行信息交互的装置。
在一种可能的实施方式中,该数据处理装置500可以应用于前述网络设备,具体故障分析装置500可以是前述网络设备,也可以是能够支持前述网络设备实施上述任一实施例的装置。存储器520保存实施上述任一实施例中的网络设备的功能的必要计算机程序、程序指令和/或数据。所述处理器510可执行所述存储器520存储的计算机程序,完成上述任一实施例中的方法。
本申请实施例中不限定上述收发器530、处理器510以及存储器520之间的具体连接介质。本申请实施例在图5中以存储器520、处理器510以及收发器530之间通过总线连接,总线在图5中以粗线表示,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
在本申请实施例中,处理器可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实施或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
在本申请实施例中,存储器可以是非易失性存储器,比如硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD)等,还可以是易失性存储器(volatilememory),例如随机存取存储器(random-access memory,RAM)。存储器还可以是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本申请实施例中的存储器还可以是电路或者其它任意能够实施存储功能的装置,用于存储计算机程序、程序指令和/或数据。
基于以上实施例,本申请实施例还提供一种可读存储介质,该可读存储介质存储有指令,当所述指令被执行时,使上述任一实施例中安全检测设备执行的方法被实施。该可读存储介质可以包括:U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理装置的处理器以产生一个机器,使得通过计算机或其他可编程数据处理装置的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理装置以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理装置上,使得在计算机或其他可编程装置上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程装置上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
Claims (14)
1.一种数据处理方法,其特征在于,包括:
获取参考数据;其中,所述参考数据包括:RGB图像数据、图像设备的设备参数;
利用自动化机器学习AutoML确定所述RGB图像数据转换成RAW数据所需的多个转换参数;
根据所述多个转换参数将所述RGB图像数据处理成所述RAW数据;所述RAW数据与所述图像设备的设备参数相匹配。
2.根据权利要求1所述的方法,其特征在于,所述利用AutoML确定所述RGB图像数据转换成RAW数据所需的多个转换参数,包括:
根据所述设备参数确定与所述图像设备对应的搜索空间;
从所述搜索空间确定所述多个转换参数。
3.根据权利要求1或2所述的方法,其特征在于,还包括:
构建所述RGB图像数据以及所述RAW数据的图像对;
将所述图像对输入任务处理单元中进行训练,确定反馈信号;所述任务处理单元用于处理视频或图像数据;所述反馈信号用于指示所述图像对的构建质量;
根据所述反馈信号更新所述RGB图像数据转换成所述RAW数据所需的多个转换参数。
4.根据权利要求1-3任一所述的方法,其特征在于,所述图像设备对应的搜索空间包括多个图像处理模块;
其中,所述图像处理模块包括以下中的一种或多种:加噪声模块、加马赛克模块以及亮度调整模块。
5.根据权利要求1-4任一所述的方法,其特征在于,所述转换参数包括以下中的一种或多种:加噪参数、加马赛克参数、亮度调整参数、伽马参数、电平调整参数以及白平衡调整参数。
6.一种数据处理系统,其特征在于,包括:图像退化单元以及策略单元;
所述图像退化单元用于根据所述策略单元输出的多个转换参数将RGB图像数据转换成与图像设备的设备参数相匹配的RAW数据;
所述策略单元用于利用自动化机器学习AutoML确定所述RGB图像数据转换成RAW数据所需的多个转换参数。
7.根据权利要求6所述的系统,其特征在于,所述图像退化单元还用于:
输出所述RGB图像数据与所述RAW数据的图像对。
8.根据权利要求7所述的系统,其特征在于,还包括:任务处理单元;
所述任务处理单元用于根据所述图像退化单元输出的所述RGB图像数据与所述RAW数据的图像对进行训练,确定反馈信号,并将所述反馈信号输入至所述策略单元;所述反馈信号用于指示所述图像对的构建质量。
9.根据权利要求8所述的系统,其特征在于,所述策略单元还用于:
接收所述任务处理单元输出的所述反馈信号,并根据所述反馈信号调整所述策略单元的网络参数;
基于调整后的所述网络参数更新所述多个转换参数。
10.根据权利要求6-9任一所述的系统,其特征在于,所述策略单元还用于:
根据所述设备参数确定与所述图像设备对应的搜索空间;
从所述搜索空间确定所述多个转换参数。
11.根据权利要求6-10任一所述的系统,其特征在于,所述图像退化单元包括多个图像处理模块;
其中,所述图像处理模块包括以下中的一种或多种:加噪声模块、加马赛克模块以及亮度调整模块。
12.根据权利要求6-11任一所述的系统,其特征在于,所述转换参数包括以下中的一种或多种:加噪参数、加马赛克参数、亮度调整参数、伽马参数、电平调整参数以及白平衡调整参数。
13.一种数据处理装置,其特征在于,包括:处理器和存储器;
所述存储器,存储有计算机程序;
所述处理器,用于执行所述存储器中存储的计算机程序,以使得如权利要求1-5任意一项所述的方法被执行。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,当所述指令在计算机上运行时,使得计算机执行如权利要求1-5任一项所述的方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010959989.4A CN114187185A (zh) | 2020-09-14 | 2020-09-14 | 一种数据处理方法、系统及装置 |
PCT/CN2021/115085 WO2022052820A1 (zh) | 2020-09-14 | 2021-08-27 | 一种数据处理方法、系统及装置 |
US18/182,655 US20230222639A1 (en) | 2020-09-14 | 2023-03-13 | Data processing method, system, and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010959989.4A CN114187185A (zh) | 2020-09-14 | 2020-09-14 | 一种数据处理方法、系统及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114187185A true CN114187185A (zh) | 2022-03-15 |
Family
ID=80538954
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010959989.4A Pending CN114187185A (zh) | 2020-09-14 | 2020-09-14 | 一种数据处理方法、系统及装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230222639A1 (zh) |
CN (1) | CN114187185A (zh) |
WO (1) | WO2022052820A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115589539B (zh) * | 2022-11-29 | 2023-05-09 | 荣耀终端有限公司 | 一种图像调节的方法、设备及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104735354B (zh) * | 2015-03-13 | 2018-01-19 | 广东欧珀移动通信有限公司 | 一种拍摄图像的方法及装置 |
JP7043191B2 (ja) * | 2017-06-30 | 2022-03-29 | キヤノン株式会社 | 画像認識装置、学習装置、画像認識方法、学習方法及びプログラム |
-
2020
- 2020-09-14 CN CN202010959989.4A patent/CN114187185A/zh active Pending
-
2021
- 2021-08-27 WO PCT/CN2021/115085 patent/WO2022052820A1/zh active Application Filing
-
2023
- 2023-03-13 US US18/182,655 patent/US20230222639A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2022052820A1 (zh) | 2022-03-17 |
US20230222639A1 (en) | 2023-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10708525B2 (en) | Systems and methods for processing low light images | |
US11263782B2 (en) | Image signal processor for processing images | |
US9813635B2 (en) | Method and apparatus for auto exposure value detection for high dynamic range imaging | |
WO2020033524A1 (en) | Artificial intelligence techniques for image enhancement | |
AU2018346909A1 (en) | Image signal processor for processing images | |
CN111292264A (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
US11508038B2 (en) | Image processing method, storage medium, image processing apparatus, learned model manufacturing method, and image processing system | |
CN109191403A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
US20230209029A1 (en) | Apparatus and method for white balance editing | |
CN115496668A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN110838088B (zh) | 一种基于深度学习的多帧降噪方法、装置及终端设备 | |
US10769416B2 (en) | Image processing method, electronic device and storage medium | |
CN108616700A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN113052768B (zh) | 一种处理图像的方法、终端及计算机可读存储介质 | |
CN110807735A (zh) | 图像处理方法、装置、终端设备及计算机可读存储介质 | |
US20230222639A1 (en) | Data processing method, system, and apparatus | |
CN113658091A (zh) | 一种图像评价方法、存储介质及终端设备 | |
CN116668656B (zh) | 图像处理方法及电子设备 | |
CN117156289A (zh) | 色彩风格校正方法、系统、电子设备、存储介质及芯片 | |
CN114331927A (zh) | 一种图像处理方法、存储介质及终端设备 | |
US20170163852A1 (en) | Method and electronic device for dynamically adjusting gamma parameter | |
CN109447927A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN116546304A (zh) | 一种参数配置方法、装置、设备、存储介质及产品 | |
CN112087556B (zh) | 一种暗光成像方法、装置、可读存储介质及终端设备 | |
CN115699073A (zh) | 神经网络支持的相机图像或视频处理流水线 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |