CN108364267B - 图像处理方法、装置及设备 - Google Patents
图像处理方法、装置及设备 Download PDFInfo
- Publication number
- CN108364267B CN108364267B CN201810151206.2A CN201810151206A CN108364267B CN 108364267 B CN108364267 B CN 108364267B CN 201810151206 A CN201810151206 A CN 201810151206A CN 108364267 B CN108364267 B CN 108364267B
- Authority
- CN
- China
- Prior art keywords
- parameter
- image
- image processing
- sensor
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 214
- 238000013528 artificial neural network Methods 0.000 claims abstract description 91
- 238000012549 training Methods 0.000 claims abstract description 83
- 238000000034 method Methods 0.000 claims abstract description 36
- 241000208340 Araliaceae Species 0.000 claims abstract description 22
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims abstract description 22
- 235000003140 Panax quinquefolius Nutrition 0.000 claims abstract description 22
- 235000008434 ginseng Nutrition 0.000 claims abstract description 22
- 238000003384 imaging method Methods 0.000 claims description 69
- 238000004364 calculation method Methods 0.000 claims description 26
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 208000027418 Wounds and injury Diseases 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 5
- 230000006378 damage Effects 0.000 claims description 5
- 208000014674 injury Diseases 0.000 claims description 5
- 230000008439 repair process Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 230000003014 reinforcing effect Effects 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 238000012512 characterization method Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 abstract description 7
- 238000003786 synthesis reaction Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 210000005036 nerve Anatomy 0.000 description 2
- 210000004218 nerve net Anatomy 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种图像处理方法、装置及设备,涉及图像处理技术领域,该方法包括:获取待处理的原始图像;根据预先训练得到的神经网络确定原始图像对应的调整参数;其中,调整参数至少包括图像处理参数;将图像处理参数发送给图像处理单元,以使图像处理单元按照图像处理参数对原始图像进行图像处理操作。本发明借助神经网络确定图像处理参数,一方面无需人工调参,另一方面也降低了图像处理单元的硬件要求,综合降低了图像处理难度。
Description
技术领域
本发明涉及图像处理技术领域,尤其是涉及一种图像处理方法、装置及设备。
背景技术
图像信号处理是对诸如摄像头等图像传感器输出的图像信号进行处理的关键步骤,图像处理单元能够将图像传感器采集的原始图片进行矫正处理,得到符合人体观感的效果较佳的图片。
现有的图像处理单元对原始图片进行处理,需要依靠拍摄者手动调参,或者需要依靠高复杂度的硬件处理系统进行自动调参。然而,手动调参的方式需要拍摄者具有较高的专业知识,操作难度较高,不利于普通用户操作;而自动调参的方式对图像处理单元的硬件要求较高,相应的硬件较为复杂且成本较高,实现难度较高。
发明内容
有鉴于此,本发明的目的在于提供一种图像处理方法、装置及设备,可有效降低图像处理难度。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明实施例提供了一种图像处理方法,包括:获取待处理的原始图像;根据预先训练得到的神经网络确定所述原始图像对应的调整参数;其中,所述调整参数至少包括图像处理参数;将所述图像处理参数发送给图像处理单元,以使所述图像处理单元按照所述图像处理参数对所述原始图像进行图像处理操作。
进一步,所述调整参数还包括传感器控制参数;所述方法还包括:根据所述传感器控制参数调整图像传感器的物理状态;其中,所述图像传感器为采集所述原始图像的器件。
进一步,所述根据预先训练得到的神经网络确定所述原始图像对应的调整参数的步骤,包括:将所述原始图像输入至预先训练得到的神经网络,以使所述神经网络对所述原始图像进行特征处理,输出所述原始图像对应的调整参数;其中,所述神经网络包括卷积神经网络。
进一步,所述方法还包括:获取训练图像以及与所述训练图像对应的基准处理图像;其中,所述基准处理图像是所述训练图像经图像处理所得;基于所述训练图像和所述基准处理图像,对所述神经网络进行训练。
进一步,基于所述训练图像和所述基准处理图像,对所述神经网络进行训练的步骤,包括:根据所述训练图像和所述基准处理图像,确定所述训练图像对应的调整参数;将标注有对应的调整参数的所述训练图像输入至所述神经网络,计算损失函数值;基于所述损失函数值对所述神经网络进行训练,直至所述损失函数值收敛至预设值,和/或,训练次数达到预设次数时停止训练。
进一步,所述根据所述传感器控制参数调整图像传感器的物理状态的步骤,包括:将所述传感器控制参数直接反馈给所述图像传感器,以使所述图像传感器按照所述传感器控制参数对所述图像传感器的物理状态进行调整。
进一步,所述根据所述传感器控制参数调整图像传感器的物理状态的步骤,包括:将所述传感器控制参数发送给所述图像处理单元,以使所述图像处理单元根据所述传感器控制参数确定所述图像传感器的物理参数;其中,所述物理参数为表征所述图像传感器的物理状态的参数;将所述图像处理单元确定的所述图像传感器的物理参数反馈给所述图像传感器,以使所述图像传感器按照接收的所述物理参数对所述图像传感器的物理状态进行调整。
进一步,所述图像处理参数包括色彩恒常处理参数和/或画质损伤修复处理参数;所述传感器控制参数包括光圈控制参数、曝光控制参数、对焦控制参数、增益控制参数、白平衡控制参数中的一种或多种。
第二方面,本发明实施例还提供一种图像处理装置,包括:图像获取模块,用于获取待处理的原始图像;参数确定模块,用于根据预先训练得到的神经网络确定所述原始图像对应的调整参数;其中,所述调整参数至少包括图像处理参数;图像处理模块,用于将所述图像处理参数发送给图像处理单元,以使所述图像处理单元按照所述图像处理参数对所述原始图像进行图像处理操作。
第三方面,本发明实施例提供了一种图像处理设备,包括:两两连接的图像传感器、图像处理单元和参数计算单元;其中,所述参数计算单元上设置有预先训练得到的神经网络;所述图像传感器用于获取待处理的原始图像,并将所述原始图像分别发送给所述图像处理单元和所述参数计算单元;所述参数计算单元用于通过预先训练得到的神经网络确定所述原始图像对应的调整参数;其中,所述调整参数至少包括图像处理参数;所述神经网络设置于所述参数计算单元上;所述参数计算单元还用于将所述图像处理参数发送给所述图像处理单元;所述图像处理单元用于按照接收的所述图像处理参数对所述原始图像进行图像处理操作。
进一步,所述调整参数还包括传感器控制参数;所述参数计算单元还用于将所述传感器控制参数发送给所述图像处理单元;所述图像处理单元还用于根据所述传感器控制参数确定所述图像传感器的物理参数,并将所述图像传感器的物理参数反馈给所述图像传感器;其中,所述物理参数为表征所述图像传感器的物理状态的参数;所述图像传感器还用于按照接收的所述物理参数对所述图像传感器的物理状态进行调整。
进一步,所述调整参数还包括传感器控制参数;所述参数计算单元还用于将所述传感器控制参数发送给所述图像传感器;所述图像传感器还用于按照接收的所述传感器控制参数对所述图像传感器的物理状态进行调整。
进一步,所述图像处理单元为ISP芯片;所述参数计算单元为FPGA芯片。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述第一方面任一项所述的方法的步骤。
本发明实施例提供了一种图像处理方法、装置及设备,在获取到待处理的原始图像后,可通过预先训练得到的神经网络确定原始图像对应的图像处理参数,从而可使图像处理单元直接按照图像处理参数对原始图像进行图像处理操作。这种通过神经网络直接确定图像处理参数的方式,一方面无需人工调参,另一方面也降低了图像处理单元的硬件要求,综合降低了图像处理难度。
本公开的其他特征和优点将在随后的说明书中阐述,或者,部分特征和优点可以从说明书推知或毫无疑义地确定,或者通过实施本公开的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明实施例所提供的一种电子设备的结构示意图;
图2示出了本发明实施例所提供的一种图像处理方法流程图;
图3示出了本发明实施例所提供的一种神经网络的结构示意图;
图4示出了本发明实施例所提供的一种图像处理装置的结构框图;
图5示出了本发明实施例所提供的另一种图像处理装置的结构框图;
图6示出了本发明实施例所提供的一种图像处理设备的结构示意图;
图7示出了本发明实施例所提供的一种图像处理设备的图像处理示意图;
图8示出了本发明实施例所提供的另一种图像处理设备的图像处理示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
考虑到现有的ISP(Image Signal Processing,图像信号处理)技术需要人工手动调参,或者需要借助具有复杂硬件系统的图像处理单元调参,实现难度较高,为改善此问题,本发明实施例提供的一种图像处理方法、装置及设备,该技术可应用于涉及图像处理的电子设备,诸如摄像机、抓拍机、智能手机或电脑等,以下对本发明实施例进行详细介绍。
实施例一:
首先,参照图1来描述用于实现本发明实施例的图像处理方法、装置及设备的示例电子设备100。
如图1所示的一种电子设备的结构示意图,电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110,这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。
所述处理器102可以采用数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)中的至少一种硬件形式来实现,所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合,并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如,用户)输出各种信息(例如,图像或声音),并且可以包括显示器、扬声器等中的一个或多个。
所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等),并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。
示例性地,用于实现根据本发明实施例的图像处理方法、装置及设备的示例电子设备可以被实现为诸如摄像机、抓拍机、智能手机、平板电脑等智能终端。
实施例二:
参照图2所示的一种图像处理方法流程图,该方法可以由诸如手机、照相机、平板电脑等电子设备执行,具体包括如下步骤:
步骤S202,获取待处理的原始图像。具体实施时,可以直接通过图像传感器获取原始图像,也可以从图像传感器已输出的图像集或者视频流中获取待处理的原始图像。原始图像为图像传感器处于当前物理状态下采集的,图像传感器的当前物理状态也可以由图像传感器当前的物理参数表征,物理参数可以包括光圈大小、曝光时间、焦距参数、白平衡参数等,图像传感器的物理参数设定不同,采集到的原始图像的呈现效果不同。
步骤S204,根据预先训练得到的神经网络确定原始图像对应的调整参数;其中,调整参数至少包括图像处理参数。在实际应用中,图像处理参数包括色彩恒常处理参数和/或画质损伤修复处理参数,具体的,色彩恒常处理参数可以包括RGB三个色彩通道的亮度调整参数和图片整体的亮度调整参数等,画质损伤修复处理参数可以包括噪点参数、颜色插值参数、白平衡校正参数、曝光校正参数、边缘校正参数等。
在具体实施时,可以将原始图像输入至预先训练得到的神经网络,以使神经网络对原始图像进行特征处理,输出原始图像对应的调整参数。在一种具体的实施例中,神经网络可以为卷积神经网络,在该卷积神经网络中包括有用于提取图像特征的卷积层,还可以包括有用于降低卷积层输出的特征向量维度的池化层。卷积神经网络可以是由卷积层与池化层以栈的形式交替组成的网络架构,其中,卷积层可通过使用非线性激活函数的线性组合产生特征图。此外,卷积神经网络还可以包括有可用于分类的全连接层,或者全局平均池化层(global average pooling)。全局平均池化层与全连接层相比,可以作为一个结构化正则化矩阵而明确的用于加强特征映射到类别映射的信任度,提升神经网络的可靠性。为便于理解,可参见图3所示的一种神经网络的结构示意图,示出了交替组成的卷积层、池化层、卷积层和池化层,同时也示出了全局平均池化层。图3仅是一种神经网络的示意结构,在实际应用中,可以根据具体应用场景而扩充、变换网络结构,在此不再赘述。
步骤S206,将图像处理参数发送给图像处理单元,以使图像处理单元按照图像处理参数对原始图像进行图像处理操作。图像处理单元主要用于对前端图像传感器输出的图像信号进行后期处理,以使原始图像呈现较高画质。具体应用中,图像处理单元可以采用ISP芯片实现。与现有技术中还需要借助自身复杂硬件结构确定原始图像对应的图像处理参数相比,由于本实施例中已由神经网络确定了原始图像对应的图像处理参数,本实施例的图像处理单元可以直接根据神经网络输出的图像处理参数对原始图像进行调整,从而较好地降低了对图像处理单元的硬件要求。
本发明实施例提供的上述图像处理方法,在获取到待处理的原始图像后,可通过预先训练得到的神经网络确定原始图像对应的图像处理参数,从而可使图像处理单元直接按照图像处理参数对原始图像进行图像处理操作。这种通过神经网络直接确定图像处理参数的方式,一方面无需人工调参,另一方面也降低了图像处理单元的硬件要求,综合降低了图像处理难度。
为了提升图像传感器采集原始图像的质量,本实施例给出了另一种实施方式,神经网络在输出图像处理参数的基础上,还可以输出传感器控制参数,以根据原始图像对图像传感器进行反向调整,改变图像传感器诸如光圈大小、曝光时长等物理参数,以使图像传感器在之后能够采集到质量更佳的原始图像,从而简化后续对该原始图像的处理程度。基于此,神经网络输出的调整参数还包括传感器控制参数。在实际应用中,传感器控制参数可以包括光圈控制参数、曝光控制参数、对焦控制参数、增益控制参数、白平衡控制参数中的一种或多种,传感器控制参数还可以包括其它参数,在此不再赘述。
当神经网络可确定的调整参数还包括传感器控制参数时,上述图像处理方法还包括:根据传感器控制参数调整图像传感器的物理状态;其中,图像传感器为采集原始图像的器件。通过这种方式可以基于原始图像而对图像传感器进行反向控制,以进一步提升图像传感器采集原始图像的质量。
为便于理解,本实施例给出了以下两种根据传感器控制参数调整图像传感器的物理状态的具体方式:
方式一:
将传感器控制参数直接反馈给图像传感器,以使图像传感器按照传感器控制参数对图像传感器的物理状态进行调整。
在上述方式中,图像传感器可以直接响应传感器控制参数,按照传感器控制参数对物理状态进行调整。
在一种实施例中,图像传感器可以根据传感器控制参数确定自身的物理参数,并相应调节自身的物理状态,例如,假设传感器控制参数包括“光圈值:F1.0”,则图像传感器根据该控制参数确定自身的镜头口径,并相应调整镜头有效口径以改变进光量,直至镜头口径对应的光圈值为F1.0。
在另一种实施例中,神经网络输出的传感器控制参数可以具体包括诸如镜头口径等图像传感器的物理参数,此时图像传感器直接按照神经网络输出的物理参数调整自身的物理状态即可,实现方式较为简单。
在上述方式一中,图像传感器可以直接读取传感器控制参数,并相应调整自身状态,无需图像处理单元读取传感器控制参数并控制图像传感器,因此可以进一步降低图像处理单元的硬件要求。
方式二:
将传感器控制参数发送给图像处理单元,以使图像处理单元根据传感器控制参数确定图像传感器的物理参数;其中,物理参数为表征图像传感器的物理状态的参数;
将图像处理单元确定的图像传感器的物理参数反馈给图像传感器,以使图像传感器按照接收的物理参数对图像传感器的物理状态进行调整。
在上述方式中,首先需要由图像处理单元根据传感器控制参数确定图像传感器的物理参数,然后再将物理参数反馈给图像传感器,以使图像传感器按照接收的物理参数调整物理状态。假设传感器控制参数包括“光圈值:F1.0”,则图像处理单元根据该传感器控制参数确定图像传感器的镜头口径(即,图像传感器的物理参数),将镜头口径发送给图像传感器,以使图像传感器直接调整镜头口径。
在上述方式二中,图像传感器的物理参数可以由图像处理单元基于传感器控制参数所确定,图像传感器直接按照物理参数调整物理状态即可,图像传感器的实现方式较为简单。
在实际应用中,可以根据图像传感器以及图像处理单元(诸如,ISP芯片)的实际硬件水平而灵活选用上述方式一或方式二。
在具体应用中,本发明实施例提供的上述图像处理方法所应用的神经网络是预先构建的,上述方法还包括:获取训练图像以及与训练图像对应的基准处理图像;其中,基准处理图像是训练图像经图像处理所得;基于训练图像和基准处理图像,对神经网络进行训练。具体的,训练图像为未经处理的图像,在一种实施方式中,可以采用硬件水平符合图像处理要求的现有ISP对待处理的训练图像进行图像处理,得到处理后的图像,将处理后的图像作为基准处理图像。
为便于理解,本实施例给出一种基于训练图像和基准处理图像训练神经网络的具体实施方式:
(1)根据训练图像和基准处理图像,确定训练图像对应的调整参数。
在一种实施方式中,可以基于基准处理图像将现有的图像处理过程进行反推以得到训练图像,具体的,可以比对训练图像和基准处理图像的特征数据,基于比对结果反推公式,也即对公式进行逆运算,即可得到训练图像对应的调整参数。
在另一种实施方式中,由于基准处理图像是训练图像经过现有ISP进行图像处理所得,在现有ISP对训练图像进行处理,得到基准处理图像的过程中,也可以从现有ISP直接获取调整参数。
(2)将标注有对应的调整参数的训练图像输入至神经网络,计算损失函数值。具体的,可以根据神经网络输出的调整参数(输出参数),与训练图像标注的调整参数(基准参数)进行比对,确定损失函数值。其中,损失函数值用于评估神经网络的输出参数准确性,神经网络输出的调整参数越准确,诸如,神经网络输出的该训练图像的调整参数与实际调整参数越接近,损失函数值越小。
(3)基于损失函数值对神经网络进行训练,直至损失函数值收敛至预设值,和/或,训练次数达到预设次数时停止训练。
当损失函数值收敛至预设值时,则表明神经网络输出的调整参数的准确度已在可接受范围之内,该神经网络已训练完成。如果以训练次数进行评定,可以根据经验设置次数,以确保神经网络在达到预设次数时的损失函数值达到可接受范围内。
当神经网络经过训练后,向其输入未经处理的原始图像,神经网络即可输出该原始图像对应的调整参数。
在具体训练时,神经网络可以为卷积神经网络CNN,也可以为循环神经网络RNN等。具体实施时,还可以直接设置原始图像对应的调整参数,诸如通过前后调整曝光参数并观测神经网络相应的图像处理效果等方式确定与原始图像对应的较为准确的调整参数,从而逐步训练神经网络,直至神经网络符合要求,即该神经网络输出的调整参数的准确度在可接受范围内,以便于图像处理单元直接按照较为准确的调整参数对原始图像进行处理,得到较高质量的处理图像。
为便于理解,以调整参数为色彩恒常处理参数为例进行说明,其中,色彩恒常又称为自动白平衡,其作用是减少由光源及硬件处理过程造成的色彩失真。未经处理的具有色彩偏差的原始图像在经过图像处理单元的色彩恒常处理后,可成为一张经过矫正地符合人体观感的图像。
当向预先训练得到的神经网络输入张量为C*H*W的原始图像时,该神经网络即可对应输出该原始图像的色彩恒常处理参数(a1,a2,a3,b,γ),其中,C=3对应原始图像的三个色彩通道(R,G,B),H和W分别为原始图像的高度和宽度;神经网络输出的色彩恒常处理参数可以是一个五维向量,其中,a1表示第一通道对应的亮度调整参数,a2表示第二通道对应的亮度调整参数,a3表示第三通道对应的亮度调整参数,b表示图像整体的亮度调整参数,γ表示预定的额外参数。为便于理解,本实施例进一步给出图像处理单元在获取到色彩恒常处理参数(a1,a2,a3,b,γ)时,对原始图像的处理过程:
首先对三个通道进行权重调整:其中,i=1,2,3;以x表示输入的原始图像像素,xi表示原始图像对应的第i个通道的像素值;ai表示第i个通道对应的亮度调整参数。
记y=(y1,y2,y3),对整体图像进行正则化及缩放处理,得到其中,y表示张量y的全体元素的均值。
最后再对上述图像进行乘幂处理即可得到输出图像的像素值:x~=max(min(zr,0),1)。
以上为图像处理单元基于神经网络输出的原始图像的色彩恒常处理参数(a1,a2,a3,b,γ)而对原始图像进行色彩恒常处理的具体步骤。为便于理解,进一步以上述色彩恒常处理为例对神经网络的训练过程进行阐述:预先通过现有ISP获得了训练图像以及与训练图像对应的基准处理图像,基准处理图像即为图像处理单元按照上述步骤对训练图像进行处理后得到的图像。根据基准处理图像的像素值以及训练图像的像素值,按照上述步骤进行反推,即可确定训练图像对应的色彩恒常处理参数(a1,a2,a3,b,γ),从而可利用标记有色彩恒常处理参数的训练图像对神经网络进行训练,直至神经网络输出的调整参数的准确性符合预设要求。
综上所述,本实施例提供的上述图像处理方法,通过神经网络直接确定图像处理参数,一方面无需人工调参,另一方面也降低了图像处理单元的硬件要求,综合降低了图像处理难度。此外,神经网络还可以直接确定传感器控制参数,从而可实时调整图像传感器的物理状态,以使图像传感器能够实时调整自身物理状态,以采集质量更佳的原始图像。
实施例三:
对于实施例二中所提供的图像处理方法,本发明实施例提供了一种图像处理装置,参见图4所示的一种图像处理装置的结构框图,包括如下模块:
图像获取模块402,用于获取待处理的原始图像。
参数确定模块404,用于根据预先训练得到的神经网络确定原始图像对应的调整参数;其中,调整参数至少包括图像处理参数。在具体应用中,图像处理参数可以包括色彩恒常处理参数和/或画质损伤修复处理参数等。神经网络的训练方式可以参照实施例二中相关内容实现,在此不再赘述。
在一种实施方式中,参数确定模块404进一步用于将原始图像输入至预先训练得到的神经网络,以使神经网络对原始图像进行特征处理,输出原始图像对应的调整参数;其中,神经网络包括卷积神经网络。
图像处理模块406,用于将图像处理参数发送给图像处理单元,以使图像处理单元按照图像处理参数对原始图像进行图像处理操作。
在一种实施方式中,图像处理模块406进一步用于:将传感器控制参数直接反馈给图像传感器,以使图像传感器按照传感器控制参数对图像传感器的物理状态进行调整。
在另一种实施方式中,图像处理模块406进一步用于:将传感器控制参数发送给图像处理单元,以使图像处理单元根据传感器控制参数确定图像传感器的物理参数;其中,物理参数为表征图像传感器的物理状态的参数;将图像处理单元确定的图像传感器的物理参数反馈给图像传感器,以使图像传感器按照接收的物理参数对图像传感器的物理状态进行调整。
本发明实施例提供的上述图像处理装置,在获取到待处理的原始图像后,可通过预先训练得到的神经网络确定原始图像对应的图像处理参数,从而可使图像处理单元直接按照图像处理参数对原始图像进行图像处理操作。这种通过神经网络直接确定图像处理参数的方式,一方面无需人工调参,另一方面也降低了图像处理单元的硬件要求,综合降低了图像处理难度。
在一种实施方式中,上述调整参数还包括传感器控制参数。在具体应用中,传感器控制参数包括光圈控制参数、曝光控制参数、对焦控制参数、增益控制参数、白平衡控制参数中的一种或多种。
参见图5所示的另一种图像处理装置的结构框图,在图4的基础上,上述装置还包括传感器调整模块502,用于根据传感器控制参数调整图像传感器的物理状态;其中,图像传感器为采集原始图像的器件。
此外,在具体实施时,上述装置还包括训练图像获取模块以及训练模块;其中,
训练图像获取模块,用于获取训练图像以及与训练图像对应的基准处理图像;其中,基准处理图像是训练图像经图像处理所得;
训练模块,用于基于训练图像和基准处理图像,对神经网络进行训练。
在一种实施方式中,上述训练模块进一步用于:根据训练图像和基准处理图像,确定训练图像对应的调整参数;将标注有对应的调整参数的训练图像输入至神经网络,计算损失函数值;基于损失函数值对神经网络进行训练,直至损失函数值收敛至预设值,和/或,训练次数达到预设次数时停止训练。
本实施例所提供的装置,其实现原理及产生的技术效果和前述实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
实施例四:
对应于前述实施例提供的图像处理方法及装置,本实施例提供了一种图像处理设备,参见图6所示的一种图像处理设备的结构示意图,包括:两两连接的图像传感器10、图像处理单元20和参数计算单元30;其中,参数计算单元30上设置有预先训练得到的神经网络;
图像传感器10用于获取待处理的原始图像,并将原始图像分别发送给图像处理单元和参数计算单元。
参数计算单元30用于通过预先训练得到的神经网络确定原始图像对应的调整参数;其中,调整参数至少包括图像处理参数;神经网络设置于参数计算单元30上;参数计算单元30还用于将图像处理参数发送给图像处理单元。在实际应用中,参数计算单元可以为GPU,也可以为FPGA,考虑到部分相机不便于搭载GPU,因此在无法搭载GPU的相机上可以直接采用FPGA芯片实现,神经网络借助FPGA芯片而实现高效计算。
图像处理单元20用于按照接收的图像处理参数对原始图像进行图像处理操作。具体的,图像处理单元可以采用ISP芯片实现。
本发明实施例提供的上述图像处理设备,在图像传感器获取到待处理的原始图像后,可通过设置有预先训练得到的神经网络的参数计算单元确定原始图像对应的图像处理参数,从而可使图像处理单元直接按照图像处理参数对原始图像进行图像处理操作。这种通过神经网络直接确定图像处理参数的方式,一方面无需人工调参,另一方面也降低了图像处理单元的硬件要求,综合降低了图像处理难度。
基于上述图像处理设备的结构,本实施例给出了以下两种图像处理设备的处理方式:
参见图7所示的一种图像处理设备的图像处理示意图,在图7中以图像处理单元为ISP芯片,参数计算单元为FPGA芯片为例进行说明;其中,FPGA芯片上设置有用于确定原始图像对应的调整参数的卷积神经网络。从图7中可见,图像传感器将原始图像分别发送给ISP芯片和FPGA芯片,FPGA芯片用于利用神经网络确定图像处理参数和传感器控制参数,并将图像处理参数和传感器控制参数发送给ISP芯片;ISP芯片用于根据图像处理参数对原始图像进行处理,并输出处理后的图像;ISP芯片还用于根据传感器控制参数生成确定图像传感器的物理参数,并将图像传感器的物理参数反馈给图像传感器,使图像传感器按照接收的物理参数对图像传感器的物理状态进行调整。
参见图8所示的另一种图像处理设备的图像处理示意图,FPGA芯片用于利用神经网络确定图像处理参数和传感器控制参数,将图像处理参数发送给ISP芯片,并将图像传感器的物理参数直接发送给图像传感器,以便于ISP芯片按照图像处理参数对原始图像进行处理,以及令图像传感器按照传感器控制参数进行调整。具体的,图8中的图像传感器可以根据传感器控制参数确定自身的物理参数,并相应调节自身的物理状态。
通过上述图像处理设备直接借助内置神经网络的FPGA芯片计算原始图像的调整参数,实现便捷地自动调参,不仅无需人工调参,而且可有效降低ISP的硬件要求,综合降低了图像处理难度。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的图像处理设备的具体工作过程和工作原理,可以参考前述方法实施例中的对应过程,在此不再赘述。
进一步,本实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述前述方法实施例所提供的方法的步骤。
本发明实施例所提供的图像处理方法、装置及设备的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (12)
1.一种图像处理方法,其特征在于,包括:
获取待处理的原始图像;
根据预先训练得到的神经网络确定所述原始图像对应的调整参数;其中,所述调整参数至少包括图像处理参数;所述神经网络包括卷积神经网络;所述卷积神经网络包括交替组成的卷积层、池化层、卷积层、池化层和全局平均池化层;所述卷积层用于提取图像特征;所述池化层用于降低卷积层输出的特征向量维度;所述全局平均池化层用于加强特征映射到类别映射的信任度;
将所述图像处理参数发送给图像处理单元,以使所述图像处理单元按照所述图像处理参数对所述原始图像进行图像处理操作;
所述调整参数还包括传感器控制参数;
所述方法还包括:
根据所述传感器控制参数调整图像传感器的物理状态;其中,所述图像传感器为采集所述原始图像的器件。
2.根据权利要求1所述的方法,其特征在于,所述根据预先训练得到的神经网络确定所述原始图像对应的调整参数的步骤,包括:
将所述原始图像输入至预先训练得到的神经网络,以使所述神经网络对所述原始图像进行特征处理,输出所述原始图像对应的调整参数。
3.根据权利要求1或2任一项所述的方法,其特征在于,所述方法还包括:
获取训练图像以及与所述训练图像对应的基准处理图像;其中,所述基准处理图像是所述训练图像经图像处理所得;
基于所述训练图像和所述基准处理图像,对所述神经网络进行训练。
4.根据权利要求3所述的方法,其特征在于,基于所述训练图像和所述基准处理图像,对所述神经网络进行训练的步骤,包括:
根据所述训练图像和所述基准处理图像,确定所述训练图像对应的调整参数;
将标注有对应的调整参数的所述训练图像输入至所述神经网络,计算损失函数值;
基于所述损失函数值对所述神经网络进行训练,直至所述损失函数值收敛至预设值,和/或,训练次数达到预设次数时停止训练。
5.根据权利要求1所述的方法,其特征在于,所述根据所述传感器控制参数调整图像传感器的物理状态的步骤,包括:
将所述传感器控制参数直接反馈给所述图像传感器,以使所述图像传感器按照所述传感器控制参数对所述图像传感器的物理状态进行调整。
6.根据权利要求1所述的方法,其特征在于,所述根据所述传感器控制参数调整图像传感器的物理状态的步骤,包括:
将所述传感器控制参数发送给所述图像处理单元,以使所述图像处理单元根据所述传感器控制参数确定所述图像传感器的物理参数;其中,所述物理参数为表征所述图像传感器的物理状态的参数;
将所述图像处理单元确定的所述图像传感器的物理参数反馈给所述图像传感器,以使所述图像传感器按照接收的所述物理参数对所述图像传感器的物理状态进行调整。
7.根据权利要求1所述的方法,其特征在于,所述图像处理参数包括色彩恒常处理参数和/或画质损伤修复处理参数;
所述传感器控制参数包括光圈控制参数、曝光控制参数、对焦控制参数、增益控制参数、白平衡控制参数中的一种或多种。
8.一种图像处理装置,其特征在于,包括:
图像获取模块,用于获取待处理的原始图像;
参数确定模块,用于根据预先训练得到的神经网络确定所述原始图像对应的调整参数;其中,所述调整参数至少包括图像处理参数;所述神经网络包括卷积神经网络;所述卷积神经网络包括交替组成的卷积层、池化层、卷积层、池化层和全局平均池化层;所述卷积层用于提取图像特征;所述池化层用于降低卷积层输出的特征向量维度;所述全局平均池化层用于加强特征映射到类别映射的信任度;
图像处理模块,用于将所述图像处理参数发送给图像处理单元,以使所述图像处理单元按照所述图像处理参数对所述原始图像进行图像处理操作;
所述调整参数还包括传感器控制参数;
所述装置还包括传感器调整模块,用于根据传感器控制参数调整图像传感器的物理状态;其中,图像传感器为采集原始图像的器件。
9.一种图像处理设备,其特征在于,包括:两两连接的图像传感器、图像处理单元和参数计算单元;其中,所述参数计算单元上设置有预先训练得到的神经网络;所述神经网络包括卷积神经网络;所述卷积神经网络包括交替组成的卷积层、池化层、卷积层、池化层和全局平均池化层;所述卷积层用于提取图像特征;所述池化层用于降低卷积层输出的特征向量维度;所述全局平均池化层用于加强特征映射到类别映射的信任度;
所述图像传感器用于获取待处理的原始图像,并将所述原始图像分别发送给所述图像处理单元和所述参数计算单元;
所述参数计算单元用于通过预先训练得到的神经网络确定所述原始图像对应的调整参数;其中,所述调整参数至少包括图像处理参数;所述神经网络设置于所述参数计算单元上;所述参数计算单元还用于将所述图像处理参数发送给所述图像处理单元;
所述图像处理单元用于按照接收的所述图像处理参数对所述原始图像进行图像处理操作;
所述调整参数还包括传感器控制参数;
所述参数计算单元还用于将所述传感器控制参数发送给所述图像传感器;
所述图像传感器还用于按照接收的所述传感器控制参数对所述图像传感器的物理状态进行调整。
10.根据权利要求9所述的设备,其特征在于,所述图像处理单元还用于根据所述传感器控制参数确定所述图像传感器的物理参数,并将所述图像传感器的物理参数反馈给所述图像传感器;其中,所述物理参数为表征所述图像传感器的物理状态的参数;
所述图像传感器还用于按照接收的所述物理参数对所述图像传感器的物理状态进行调整。
11.根据权利要求9至10任一项所述的设备,其特征在于,所述图像处理单元为ISP芯片;所述参数计算单元为FPGA芯片。
12.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行上述权利要求1至7任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810151206.2A CN108364267B (zh) | 2018-02-13 | 2018-02-13 | 图像处理方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810151206.2A CN108364267B (zh) | 2018-02-13 | 2018-02-13 | 图像处理方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108364267A CN108364267A (zh) | 2018-08-03 |
CN108364267B true CN108364267B (zh) | 2019-07-05 |
Family
ID=63002467
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810151206.2A Active CN108364267B (zh) | 2018-02-13 | 2018-02-13 | 图像处理方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108364267B (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109544503B (zh) * | 2018-10-15 | 2020-12-01 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN109685750A (zh) * | 2018-12-14 | 2019-04-26 | 厦门美图之家科技有限公司 | 图像增强方法及计算设备 |
WO2020124374A1 (zh) * | 2018-12-18 | 2020-06-25 | 深圳市大疆创新科技有限公司 | 图像处理方法、终端设备及存储介质 |
CN109741281B (zh) * | 2019-01-04 | 2020-09-29 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及终端 |
CN109801209B (zh) * | 2019-01-29 | 2023-12-05 | 爱芯元智半导体(宁波)有限公司 | 参数预测方法、人工智能芯片、设备及系统 |
CN113273180B (zh) * | 2019-02-27 | 2023-03-24 | 华为技术有限公司 | 图像处理装置和方法 |
WO2020215180A1 (zh) * | 2019-04-22 | 2020-10-29 | 华为技术有限公司 | 图像处理方法、装置和电子设备 |
CN111953953A (zh) * | 2019-05-17 | 2020-11-17 | 北京地平线机器人技术研发有限公司 | 调整像素亮度的方法及装置和电子设备 |
CN110267024A (zh) * | 2019-07-26 | 2019-09-20 | 惠州视维新技术有限公司 | 调整电视白平衡值的方法、装置和计算机可读存储介质 |
CN112822474A (zh) * | 2019-11-15 | 2021-05-18 | 北京金山云网络技术有限公司 | 视频的处理方法、视频修复方法、装置及电子设备 |
CN110830721B (zh) * | 2019-11-28 | 2021-09-07 | 维沃移动通信有限公司 | 一种图像处理方法、电子设备及介质 |
CN111435986B (zh) * | 2019-12-23 | 2021-11-23 | 珠海市杰理科技股份有限公司 | 源图像数据库的获取方法、训练装置及电子设备 |
CN111126273B (zh) * | 2019-12-24 | 2024-04-23 | 珠海奔图电子有限公司 | 图像处理方法、装置、电子设备以及存储介质 |
CN111246091B (zh) * | 2020-01-16 | 2021-09-03 | 北京迈格威科技有限公司 | 一种动态自动曝光控制方法和装置及电子设备 |
CN111445383B (zh) * | 2020-03-20 | 2024-02-13 | 北京迈格威科技有限公司 | 影像参数的调节方法、装置及系统 |
CN113747145B (zh) * | 2020-05-29 | 2024-02-27 | Oppo广东移动通信有限公司 | 图像处理电路、电子设备和图像处理方法 |
CN113067980A (zh) * | 2021-03-23 | 2021-07-02 | 北京澎思科技有限公司 | 图像采集方法、装置、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102082899A (zh) * | 2009-11-27 | 2011-06-01 | 索尼公司 | 图像处理装置、图像处理方法、程序和记录介质 |
CN104545957A (zh) * | 2013-10-22 | 2015-04-29 | 上海西门子医疗器械有限公司 | X线影像系统、x线影像设备、服务器及方法 |
CN105426828A (zh) * | 2015-11-10 | 2016-03-23 | 浙江宇视科技有限公司 | 人脸检测方法、装置及系统 |
CN106966274A (zh) * | 2016-01-13 | 2017-07-21 | 东芝电梯株式会社 | 电梯系统 |
-
2018
- 2018-02-13 CN CN201810151206.2A patent/CN108364267B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102082899A (zh) * | 2009-11-27 | 2011-06-01 | 索尼公司 | 图像处理装置、图像处理方法、程序和记录介质 |
CN104545957A (zh) * | 2013-10-22 | 2015-04-29 | 上海西门子医疗器械有限公司 | X线影像系统、x线影像设备、服务器及方法 |
CN105426828A (zh) * | 2015-11-10 | 2016-03-23 | 浙江宇视科技有限公司 | 人脸检测方法、装置及系统 |
CN106966274A (zh) * | 2016-01-13 | 2017-07-21 | 东芝电梯株式会社 | 电梯系统 |
Also Published As
Publication number | Publication date |
---|---|
CN108364267A (zh) | 2018-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108364267B (zh) | 图像处理方法、装置及设备 | |
CN104506762B (zh) | 光场采集控制方法和装置、光场采集设备 | |
WO2019237992A1 (zh) | 拍照方法、装置、终端及计算机可读存储介质 | |
CN104301624B (zh) | 一种图像拍摄亮度控制方法及装置 | |
CN105453134B (zh) | 用于图像的动态范围增强的方法和设备 | |
WO2018103314A1 (zh) | 一种拍照方法、装置、终端及存储介质 | |
US11503205B2 (en) | Photographing method and device, and related electronic apparatus | |
KR20210059712A (ko) | 이미지 향상을 위한 인공지능 기법 | |
CN101095078B (zh) | 数字成像的曝光 | |
CN105141853B (zh) | 图像处理方法以及电子设备 | |
CN108961303A (zh) | 一种图像处理方法、装置、电子设备和计算机可读介质 | |
CN106504278A (zh) | 高动态范围色调映射 | |
CN108419028A (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
CN108810406B (zh) | 人像光效处理方法、装置、终端及计算机可读存储介质 | |
CN110266946A (zh) | 一种拍照效果自动优化方法、装置、存储介质及终端设备 | |
CN108198177A (zh) | 图像获取方法、装置、终端及存储介质 | |
CN109819238B (zh) | Tof图像采集模块的工作频率调节方法、装置和电子系统 | |
CN103765473B (zh) | 提供视图的调整的数字图像表示的方法以及装置 | |
CN106303293B (zh) | 视频处理方法、装置及移动终端 | |
CN111814745B (zh) | 手势识别方法、装置、电子设备及存储介质 | |
Yang et al. | Personalized exposure control using adaptive metering and reinforcement learning | |
WO2018009701A1 (en) | Low complexity auto-exposure control for computer vision and imaging systems | |
CN110198418A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN106815803B (zh) | 图片的处理方法及装置 | |
WO2023020201A1 (zh) | 图像的增强方法和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |