CN112801536B - 图像处理方法、装置和电子设备 - Google Patents
图像处理方法、装置和电子设备 Download PDFInfo
- Publication number
- CN112801536B CN112801536B CN202110195273.6A CN202110195273A CN112801536B CN 112801536 B CN112801536 B CN 112801536B CN 202110195273 A CN202110195273 A CN 202110195273A CN 112801536 B CN112801536 B CN 112801536B
- Authority
- CN
- China
- Prior art keywords
- subjective
- sample
- image quality
- quality enhancement
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 238000013210 evaluation model Methods 0.000 claims abstract description 134
- 238000012549 training Methods 0.000 claims abstract description 114
- 238000000034 method Methods 0.000 claims abstract description 61
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000004590 computer program Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 13
- 230000006870 function Effects 0.000 description 56
- 230000000875 corresponding effect Effects 0.000 description 32
- 238000013135 deep learning Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000013441 quality evaluation Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- General Business, Economics & Management (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Tourism & Hospitality (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种图像处理方法、装置和电子设备。其中，该方法包括：获取目标图像；将目标图像输入预先训练完成的画质增强模型中，获得画质增强模型输出的画质增强图像；其中，画质增强模型的损失函数基于客观评价模型的损失函数和主观评价模型的损失函数确定，客观评价模型是基于图像的客观指标进行训练得到的，主观评价模型是基于图像的主观指标进行训练得到的。预先训练完成包含客观评价模型和主观评价模型的画质增强模型，将待进行画质增强的目标图像输入至画质增强模型中，画质增强模型输出画质增强图像。画质增强模型可以综合考虑客观指标和主观指标，因此，主观指标和客观指标可以同时达到理想的效果，上述方法具有良好的泛用性。
Description
技术领域
本发明涉及深度学习的技术领域，尤其是涉及一种图像处理方法、装置和电子设备。
背景技术
随着多媒体技术的发展，网络数据呈现爆炸式增长，例如图片、视频、文字等。图像或视频作为信息传播的主要载体，在图像或视频采集、编码、传输等环节通常面临着很多质量损失。低质量图像或视频会严重降低人眼视觉观感，因此，在视频或图像被观看者观看之前通常会对视频或图像进行画质增强。
画质增强方法包括但不限于对比度增强、边缘增强、色彩增强、去除噪声等。现有的画质增强方法主要分为两类：一类是传统方法，如直方图均衡等算法，它们通常是针对某一具体场景或问题而设计的算法，比如去噪算法通常主要关注于图像或视频中各种噪声并加以去除，而不需要关注色彩、对比度等场景。另一类是基于深度学习的方法，其主要是从大量已标注数据中进行学习并应用到其他数据中，相比传统方法，深度学习方法泛化性更好，且可以同时对画质的多个场景和维度进行增强处理。
现有基于深度学习的画质增强方法在神经网络模型训练的过程中尽可能让神经网络模型去逼近已知高清图像，训练完成的神经网络模型一般具有较高的客观指标，例如PSNR(Peak Signal to Noise Ratio，峰值信噪比)，但是主观指标通常并不能达到较为理想的效果。也即客观指标和主观指标并不完全是正相关，客观指标高的未必主观指标就一定好。因此，现有的画质增强方法泛化性较差，主观指标和客观指标难以同时达到理想的效果。
发明内容
有鉴于此，本发明的目的在于提供一种图像处理方法、装置和电子设备，以提高泛化性，使得主观指标和客观指标同时达到理想的效果。
第一方面，本发明实施例提供了一种图像处理方法，包括：获取目标图像；将目标图像输入预先训练完成的画质增强模型中，获得画质增强模型输出的画质增强图像；其中，画质增强模型的损失函数基于客观评价模型的损失函数和主观评价模型的损失函数确定，客观评价模型是基于图像的客观指标进行训练得到的，主观评价模型是基于图像的主观指标进行训练得到的。
在本发明较佳的实施例中，上述画质增强模型通过以下步骤训练：基于预设的图像样本集合确定当前样本和当前样本对应的标准样本；对于每一个当前样本，均执行以下训练操作：将当前样本输入至画质增强模型中，输出画质增强样本；基于画质增强样本和标准样本确定当前样本的损失值；根据当前样本的损失值调整画质增强模型的参数；当训练操作满足预设的训练结束条件时，将当前训练得到的画质增强模型确定为训练好的画质增强模型。
在本发明较佳的实施例中，上述基于画质增强样本和标准样本确定当前样本的损失值的步骤，包括：基于画质增强样本和标准样本确定主观评价模型的第一损失值；基于画质增强样本和标准样本确定客观评价模型的第二损失值；通过以下损失函数确定当前样本的损失值：Loss＝w*L0+(1-w)*LQA；其中，Loss为当前样本的损失值，w为损失函数权重，L0为第二损失值，LQA为第一损失值。
在本发明较佳的实施例中，上述将当前样本输入至画质增强模型中，输出画质增强样本的步骤之后，方法还包括：将画质增强样本和标准样本分别输入主观评价模型，输出画质增强样本对应的第一主观分数和标准样本对应的第二主观分数；基于画质增强样本和标准样本确定主观评价模型的第一损失值的步骤，包括：如果QA(E(LR))-QA(HR)＞＝0，LQA＝0；其中，LR为当前样本，E(LR)为画质增强样本，QA(E(LR))为第一主观分数；HR为标准样本，QA(HR)为第二主观分数；如果QA(E(LR))-QA(HR)＜0并且QA(E(LR))-QA(HR)＞＝T，LQA＝-1/T*(QA(E(LR))-QA(HR))^2；其中，T为预设阈值；如果QA(E(LR))-QA(HR)＜T，LQA＝QA(HR)-QA(E(LR))。
在本发明较佳的实施例中，上述方法还包括：记录画质增强模型训练过程中的迭代次数；通过以下算式计算损失函数权重：w＝exp(-x^2)，其中，x为画质增强模型训练过程中的迭代次数。
在本发明较佳的实施例中，上述主观评价模型通过以下步骤训练：基于预设的主观指标图像集合训练主观评价模型；其中，主观指标图像集合的图像样本标注有主观评分值；主观评分值表征主观指标图像集合的图像样本的主观指标。
在本发明较佳的实施例中，上述基于预设的主观指标图像集合训练主观评价模型的步骤，包括：基于预设的主观指标图像集合确定当前主观样本和当前主观样本对应的主观评分值；对于每一个当前主观样本，均执行以下主观训练操作：将当前主观样本输入至主观评价模型中，输出当前主观样本对应的当前主观分数；基于主观评分值和当前主观分数确定当前主观样本的损失值；根据当前主观样本的损失值调整主观评价模型的参数；当主观训练操作满足预设的主观训练结束条件时，将当前训练得到的主观评价模型确定为训练好的主观评价模型。
第二方面，本发明实施例还提供一种图像处理装置，包括：图像获取模块，用于获取目标图像；画质增强模块，用于将目标图像输入预先训练完成的画质增强模型中，获得画质增强模型输出的画质增强图像；其中，画质增强模型的损失函数基于客观评价模型的损失函数和主观评价模型的损失函数确定，客观评价模型是基于图像的客观指标进行训练得到的，主观评价模型是基于图像的主观指标进行训练得到的。
第三方面，本发明实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述的图像处理方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述的图像处理方法的步骤。
本发明实施例带来了以下有益效果：
本发明实施例提供的一种图像处理方法、装置和电子设备，预先训练完成包含客观评价模型和主观评价模型的画质增强模型，将待进行画质增强的目标图像输入至画质增强模型中，画质增强模型输出画质增强图像。画质增强模型可以综合考虑客观指标和主观指标，因此，画质增强图像的主观指标和客观指标可以同时达到理想的效果，上述方法具有良好的泛用性。
本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像处理方法的流程图；
图2为本发明实施例提供的一种主观评价模型的训练方法的流程图；
图3为本发明实施例提供的一种画质增强模型的训练方法的流程图；
图4为本发明实施例提供的一种图像处理装置的结构示意图；
图5为本发明实施例提供的另一种图像处理装置的结构示意图；
图6为本发明实施例提供的另一种图像处理装置的结构示意图；
图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，现有的画质增强方法主要分为两类：一类是传统方法，另一类是基于深度学习的方法。其中，传统方法的泛用性较差，不能同时对画质的多个场景和维度进行增强处理。深度学习的方法的客观指标一般较好，但是主观指标可能较差，主观指标和客观指标难以同时达到理想的效果。基于此，本发明实施例提供的一种图像处理方法、装置和电子设备，该技术可以应用于服务器、计算机、相机、手机、平板电脑等多种设备中，该技术可采用相应的软件和硬件实现，以下对本发明实施例进行详细介绍。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种图像处理方法进行详细介绍。
本实施例提供了一种图像处理方法，参见图1所示的一种图像处理方法的流程图，该图像处理方法包括如下步骤：
步骤S100，获取目标图像。
目标图像可以为待进行画质增强的图像，可以直接将一个图像作为目标图像，也可以从视频中提取目标图像，例如：从视频中提取一个视频帧，将提取的视频帧作为目标图像。一般来说，目标图像可以指质量较低的图像，例如：像素数较低、对比度较低、画质较差、噪声较多等。又或者，视频在采集、编码、传输等环节出现了质量损失，从出现质量损失的视频中提取的图像可以作为目标图像。
步骤S102，将目标图像输入预先训练完成的画质增强模型中，获得画质增强模型输出的画质增强图像；其中，画质增强模型的损失函数基于客观评价模型的损失函数和主观评价模型的损失函数确定，客观评价模型是基于图像的客观指标进行训练得到的，主观评价模型是基于图像的主观指标进行训练得到的。
本实施例中可以预先训练完成画质增强模型，其中，画质增强模型的损失函数基于客观评价模型的损失函数和主观评价模型的损失函数确定。由于客观评价模型是基于图像的客观指标进行训练得到的，那么客观评价模型可以用于提升目标图像的客观指标。客观指标可一直通过对图像进行运算得到的指标：例如：对比度、亮度、噪点数量、PSNR等。
在训练客观评价模型时，样本训练集中的样本可以预先标注对应的客观指标的数值，将样本输入训练中的客观评价模型，输出训练后的样本，计算训练后样本的客观指标，并将训练后样本的客观指标与训练集中的样本对应的客观指标进行对比，以调整客观评价模型的参数。
由于主观评价模型是基于图像的主观指标(主观指标也可以称为主观质量)进行训练得到的，那么主观评价模型可以用于提升目标图像的主观指标。主观指标是指难以通过量化计算的方式得到的指标，简单来说，主观指标可以理解为人眼观看图像的感受，如果人眼观看图像的感受比较好(即“人工感觉图像比较好看”)，则可以认为图像的主观指标较好。例如：可以通过人工打分的方式评价图像的主观指标，例如：可以人工对图案进行打分，人眼观看图像的感受越好，则分数越高。
在训练主观评价模型时，样本训练集中的样本可以预先标注对应的主观指标的数值，将样本输入训练中的主观评价模型，输出训练后的样本以及训练后的样本的主观指标的数值，将训练后样本的主观指标的数值与训练集中的样本对应的主观指标的数值进行对比，以调整主观评价模型的参数。
综上，客观评价模型可以用于提升目标图像的客观指标，主观评价模型可以用于提升目标图像的主观指标，由于画质增强模型的损失函数基于客观评价模型的损失函数和主观评价模型的损失函数确定，则画质增强模型可以同时提升目标图像的主观指标和客观指标。
本发明实施例提供的一种图像处理方法，预先训练完成包含客观评价模型和主观评价模型的画质增强模型，将待进行画质增强的目标图像输入至画质增强模型中，画质增强模型输出画质增强图像。画质增强模型可以综合考虑客观指标和主观指标，因此，画质增强图像的主观指标和客观指标可以同时达到理想的效果，上述方法具有良好的泛用性。
本实施例提供了另一种图像处理方法，该方法在上述实施例的基础上实现；本实施例重点描述训练主观评价模型的具体实施方式。本实施例中的主观评价模型可以为无参考图像的质量评价模型，即主观评价模型的样本集合(即本实施例中的主观指标图像集合)中样本并没有参考图像，只需要标注主观指标的数值(即本实施例中的主观评分值)。因此，可以通过下述步骤训练主观评价模型：基于预设的主观指标图像集合训练主观评价模型；其中，主观指标图像集合的图像样本标注有主观评分值；主观评分值表征主观指标图像集合的图像样本的主观指标。
举例来说，主观指标图像集合训练可以包含100张图像样本，预先由人工标注这100张图像样本的主观评分值(主观评分值可以为0-100之间)。在进行主观评价模型的训练时，主观评价模型输出图像样本的当前主观分数，根据当前主观分数与主观评分值的差异调整主观评价模型的参数。
基于上述描述，参见图2所示的一种主观评价模型的训练方法的流程图，本实施例中的主观评价模型的训练方法包括如下步骤：
步骤S200，基于预设的主观指标图像集合确定当前主观样本和当前主观样本对应的主观评分值。
每次训练主观评价模型时从主观指标图像集合可以提取一个当前主观样本，由于主观指标图像的样本均标注有主观评分值，因此可以确定当前主观样本对应的主观评分值。例如，提取当前主观样本A和当前主观样本A对应的主观评分值95分。
步骤S202，对于每一个当前主观样本，均执行以下主观训练操作：将当前主观样本输入至主观评价模型中，输出当前主观样本对应的当前主观分数。
训练主观评价模型的操作可以称为主观训练操作，将当前主观样本输入I，至主观评价模型QA中，可以输出该当前主观样本对应的当前主观分数QA(I)。QA(I)越大可以表示当前主观样本的主观质量越好。其中，主观评价模型包括但不限于深度学习模型，如DeepIQA等。
步骤S204，基于主观评分值和当前主观分数确定当前主观样本的损失值。
可以根据预先设定的损失函数，以及主观评分值和当前主观分数确定当前主观样本的损失值，损失函数可以为L1范数损失函数(L1-loss)或L2范数损失函数(L2-loss)等。
步骤S206，根据当前主观样本的损失值调整主观评价模型的参数。
确定当前主观样本的损失值之后，可以根据损失值调整主观评价模型的参数，以使主观评价模型输出的当前主观样本对应的当前主观分数更加接近当前主观样本对应的主观评分值。
步骤S208，当主观训练操作满足预设的主观训练结束条件时，将当前训练得到的主观评价模型确定为训练好的主观评价模型。
主观训练结束条件可以为：损失值收敛、训练次数达到预设次数、训练集合中的样本全部训练完毕等。当主观训练操作满足预设的主观训练结束条件时，可以认为主观评价模型的训练结束，将当前训练得到的主观评价模型确定为训练好的主观评价模型。
本发明实施例提供的上述方法，主观评价模型可以为无参考图像的质量评价模型，主观指标图像集合的图像样本标注有主观评分值，基于预设的主观指标图像集合训练主观评价模型。主观评价模型由此可以实现对主观指标进行训练，以提高图像的主观质量。
本实施例提供了另一种图像处理方法，该方法在上述实施例的基础上实现；本实施例重点描述训练画质增强模型的具体实施方式。如图3所示的一种画质增强模型的训练方法的流程图，本实施例中的画质增强模型的训练方法包括如下步骤：
步骤S300，基于预设的图像样本集合确定当前样本和当前样本对应的标准样本。
画质增强模型的样本集合(即本实施例中的图像样本集合)包含样本对应的标准样本，其中，上述标准样本可以为高清晰度的高清样本。在从图像样本集合提取当前样本时，可以确定当前样本对应的标准样本。其中，图像样本集合中的样本可以为低质量的图像，标准样本可以为高质量的图像。
步骤S302，对于每一个当前样本，均执行以下训练操作：将当前样本输入至画质增强模型中，输出画质增强样本。
将当前样本输入至画质增强模型中，画质增强模型可以输出当前样本对应的画质增强样本，画质增强样本可以理解为对当前样本进行画质增强后的样本，画质增强样本与当前样本相比质量更好。
步骤S304，基于画质增强样本和标准样本确定当前样本的损失值。
在画质增强模型输出当前样本对应的画质增强样本之后，可以基于画质增强样本和标准样本确定当前样本的损失值。由于画质增强模型的损失函数基于客观评价模型的损失函数和主观评价模型的损失函数确定，因此当前样本的损失值可以通过步骤A1-步骤A3根据主观评价模型的第一损失值和客观评价模型的第二损失值确定：
步骤A1，基于画质增强样本和标准样本确定主观评价模型的第一损失值。
当前样本LR经过画质增强模型E后，画质增强模型E输出画质增强样本E(LR)。之后，画质增强样本E(LR)和标准样本HR可以分别输入主观评价模型，例如：将画质增强样本和标准样本分别输入主观评价模型，输出画质增强样本对应的第一主观分数和标准样本对应的第二主观分数。
其中，画质增强样本E(LR)输入主观评价模型，输出画质增强样本E(LR)的第一主观分数QA(E(LR))；标准样本HR输入主观评价模型，输出标准样本HR的第二主观分数QA(HR)，则第一损失值LQA可以通过以下形式表示：
如果QA(E(LR))-QA(HR)＞＝0，LQA＝0；
如果QA(E(LR))-QA(HR)＜0并且QA(E(LR))-QA(HR)＞＝T，LQA＝-1/T*(QA(E(LR))-QA(HR))^2；其中，T为预设阈值；
如果QA(E(LR))-QA(HR)＜T，LQA＝QA(HR)-QA(E(LR))。
如果QA(E(LR))-QA(HR)＞＝0，则说明画质增强样本E(LR)的第一主观分数QA(E(LR))大于或者等于标准样本HR的第二主观分数QA(HR)，则可以认为画质增强样本E(LR)的主观指标要好于标准样本HR的主观指标或者画质增强样本E(LR)的主观指标与标准样本HR的主观指标相同，此时的损失值LQA＝0，则认为无需调整主观评价模型。
如果QA(E(LR))-QA(HR)＜0并且QA(E(LR))-QA(HR)＞＝T，其中，T为预设阈值(T的取值为小于0的实数)，此时说明画质增强样本E(LR)的第一主观分数QA(E(LR))虽然小于标准样本HR的第二主观分数QA(HR)，但是差距不远，则损失值LQA＝-1/T*(QA(E(LR))-QA(HR))^2。损失值较小，则认为只需要对主观评价模型进行微调。
如果QA(E(LR))-QA(HR)＜T，则画质增强样本E(LR)的第一主观分数QA(E(LR))远小于标准样本HR的第二主观分数QA(HR)，差距较大，此时损失值LQA＝QA(HR)-QA(E(LR))，损失值较大，则认为需要对主观评价模型进行大幅度调整。
本发明实施例提供的上述方法，可以通过画质增强样本和标准样本确定主观评价模型的第一损失值，损失函数为分段函数，根据不同的区间采用不同的损失函数，代表了不同的含义，从而对主观评价模型进行不同幅度的调整，可以准确地调整主观评价模型。
步骤A2，基于画质增强样本和标准样本确定客观评价模型的第二损失值。
客观评价模型的损失函数可以为单个损失函数，也可以为多个损失函数。其中，客观评价模型的损失函数基于L1范数损失函数和/或L2范数损失函数确定。如果客观评价模型的损失函数为单个损失函数，则可以为L1范数损失函数或者L2范数损失函数，如果客观评价模型的损失函数为多个损失函数，则可以为L1范数损失函数和L2范数损失函数的组合。
步骤A3，通过以下损失函数确定当前样本的损失值：Loss＝w*L0+(1-w)*LQA；其中，Loss为当前样本的损失值，w为损失函数权重，L0为第二损失值，LQA为第一损失值。
损失函数权重w可以为预设的固定值，取值范围可以是(0,1]，如果w不等于0，则可以认为是第二损失值L0和第一损失值LQA加权的形式得到当前样本的损失值Loss；如果w＝0，则Loss＝LQA，此时可以认为是直接将第一损失值LQA作为当前样本的损失值Loss。
此外，本发明实施例还可以记录画质增强模型训练过程中的迭代次数，根据上述迭代次数计算损失函数权重w，可以通过下述步骤执行：记录画质增强模型训练过程中的迭代次数；通过以下算式计算损失函数权重：w＝exp(-x^2)，其中，x为画质增强模型训练过程中的迭代次数。
通过记录画质增强模型训练过程中的迭代次数x，随时调整损失函数权重w，此时损失函数权重w的取值范围是0-1，随着迭代次数的增加，w的值越来越小。
步骤S306，根据当前样本的损失值调整画质增强模型的参数。
在确定当前样本的损失值之后，可以调整画质增强模型的参数。通过调整参数，从而提高画质增强模型输出的画质增强图像的主观指标和客观指标。
步骤S308，当训练操作满足预设的训练结束条件时，将当前训练得到的画质增强模型确定为训练好的画质增强模型。
训练结束条件一般为收敛条件，即画质增强模型到达预先设定的收敛条件时，可以认为训练结束，将当前训练得到的画质增强模型确定为训练好的画质增强模型。除此以外，还可以将训练次数达到阈值，图像样本的全部样本完成训练等作为训练结束条件。
本发明实施例提供的上述方法，旨在解决现有画质增强算法增强后的图像或视频主观效果较差的问题。本发明实施例提出了一种基于质量评价的画质增强方法，将质量评价模型作为画质增强算法的损失函数的一部分并指导画质增强模型进行训练和学习。该方式中，通过将质量评价模型应用于画质增强算法中，可以显著提升图像或视频主观效果，从而解决现有画质增强模型效果较差的问题，使得画质增强图像的主观指标和客观指标可以同时达到理想的效果。
对应于上述方法实施例，本发明实施例提供了一种图像处理装置，参见图4所示的一种图像处理装置的结构示意图，该图像处理装置包括：
图像获取模块41，用于获取目标图像；
画质增强模块42，用于将目标图像输入预先训练完成的画质增强模型中，获得画质增强模型输出的画质增强图像；其中，画质增强模型的损失函数基于客观评价模型的损失函数和主观评价模型的损失函数确定，客观评价模型是基于图像的客观指标进行训练得到的，主观评价模型是基于图像的主观指标进行训练得到的。
本发明实施例提供的一种图像处理装置，预先训练完成包含客观评价模型和主观评价模型的画质增强模型，将待进行画质增强的目标图像输入至画质增强模型中，画质增强模型输出画质增强图像。画质增强模型可以综合考虑客观指标和主观指标，因此，画质增强图像的主观指标和客观指标可以同时达到理想的效果，上述方法具有良好的泛用性。
参见图5所示另一种图像处理装置的结构示意图，该图像处理装置还包括：画质增强模型训练模块43，上述画质增强模型训练模块43与图像获取模块41连接，上述画质增强模型训练模块43，用于基于预设的图像样本集合确定当前样本和当前样本对应的标准样本；对于每一个当前样本，均执行以下训练操作：将当前样本输入至画质增强模型中，输出画质增强样本；基于画质增强样本和标准样本确定当前样本的损失值；根据当前样本的损失值调整画质增强模型的参数；当训练操作满足预设的训练结束条件时，将当前训练得到的画质增强模型确定为训练好的画质增强模型。
上述画质增强模型训练模块，用于基于画质增强样本和标准样本确定主观评价模型的第一损失值；基于画质增强样本和标准样本确定客观评价模型的第二损失值；通过以下损失函数确定当前样本的损失值：Loss＝w*L0+(1-w)*LQA；其中，Loss为当前样本的损失值，w为损失函数权重，L0为第二损失值，LQA为第一损失值。
上述画质增强模型训练模块，还用于将画质增强样本和标准样本分别输入主观评价模型，输出画质增强样本对应的第一主观分数和标准样本对应的第二主观分数；上述画质增强模型训练模块，还用于如果QA(E(LR))-QA(HR)＞＝0，LQA＝0；其中，LR为当前样本，E(LR)为画质增强样本，QA(E(LR))为第一主观分数；HR为标准样本，QA(HR)为第二主观分数；如果QA(E(LR))-QA(HR)＜0并且QA(E(LR))-QA(HR)＞＝T，LQA＝-1/T*(QA(E(LR))-QA(HR))^2；其中，T为预设阈值；如果QA(E(LR))-QA(HR)＜T，LQA＝QA(HR)-QA(E(LR))。
上述画质增强模型训练模块，还用于记录画质增强模型训练过程中的迭代次数；通过以下算式计算损失函数权重：w＝exp(-x^2)，其中，x为画质增强模型训练过程中的迭代次数。
参见图6所示另一种图像处理装置的结构示意图，该图像处理装置还包括：主观评价模型训练模块44，上述主观评价模型训练模块44与图像获取模块41连接，上述主观评价模型训练模块44，用于基于预设的主观指标图像集合训练主观评价模型；其中，主观指标图像集合的图像样本标注有主观评分值；主观评分值表征主观指标图像集合的图像样本的主观指标。
上述主观评价模型训练模块，用于基于预设的主观指标图像集合确定当前主观样本和当前主观样本对应的主观评分值；对于每一个当前主观样本，均执行以下主观训练操作：将当前主观样本输入至主观评价模型中，输出当前主观样本对应的当前主观分数；基于主观评分值和当前主观分数确定当前主观样本的损失值；根据当前主观样本的损失值调整主观评价模型的参数；当主观训练操作满足预设的主观训练结束条件时，将当前训练得到的主观评价模型确定为训练好的主观评价模型。
本发明实施例所提供的图像处理装置，其实现原理及产生的技术效果和前述图像处理方法实施例相同，为简要描述，图像处理装置实施例部分未提及之处，可参考前述图像处理方法实施例中相应内容。
本发明实施例还提供了一种电子设备，用于运行上述图像处理方法；参见图7所示的一种电子设备的结构示意图，该电子设备包括存储器100和处理器101，其中，存储器100用于存储一条或多条计算机指令，一条或多条计算机指令被处理器101执行，以实现上述图像处理方法。
进一步地，图7所示的电子设备还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。
其中，存储器100可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施例的方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述图像处理方法，具体实现可参见方法实施例，在此不再赘述。
本发明实施例所提供的图像处理方法、装置和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和/或装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (8)
1.一种图像处理方法，其特征在于，包括：
获取目标图像；
将所述目标图像输入预先训练完成的画质增强模型中，获得所述画质增强模型输出的画质增强图像；其中，所述画质增强模型的损失函数基于客观评价模型的损失函数和主观评价模型的损失函数确定，所述客观评价模型是基于图像的客观指标进行训练得到的，所述客观评价模型用于提升所述目标图像的客观指标，所述主观评价模型是基于图像的主观指标进行训练得到的，所述主观评价模型用于提升所述目标图像的主观指标；
所述画质增强模型通过以下步骤训练：基于预设的图像样本集合确定当前样本和所述当前样本对应的标准样本；对于每一个所述当前样本，均执行以下训练操作：将所述当前样本输入至所述画质增强模型中，输出画质增强样本；基于所述画质增强样本和所述标准样本确定所述当前样本的损失值；根据所述当前样本的损失值调整所述画质增强模型的参数；当所述训练操作满足预设的训练结束条件时，将当前训练得到的所述画质增强模型确定为训练好的画质增强模型；
基于所述画质增强样本和所述标准样本确定所述当前样本的损失值的步骤，包括：基于所述画质增强样本和所述标准样本确定所述主观评价模型的第一损失值；基于所述画质增强样本和所述标准样本确定所述客观评价模型的第二损失值；通过以下损失函数确定所述当前样本的损失值：Loss = w * L0 + (1 - w) * LQA；其中，Loss为所述当前样本的损失值，w为损失函数权重，L0为所述第二损失值，LQA为所述第一损失值。
2.根据权利要求1所述的方法，其特征在于，将所述当前样本输入至所述画质增强模型中，输出画质增强样本的步骤之后，所述方法还包括：
将所述画质增强样本和所述标准样本分别输入所述主观评价模型，输出所述画质增强样本对应的第一主观分数和所述标准样本对应的第二主观分数；
基于所述画质增强样本和所述标准样本确定所述主观评价模型的第一损失值的步骤，包括：
如果QA(E(LR)) - QA(HR) ＞= 0，LQA=0；其中，LR为所述当前样本，E(LR)为所述画质增强样本，QA(E(LR))为所述第一主观分数；HR为标准样本，QA(HR)为所述第二主观分数；
如果QA(E(LR)) - QA(HR) ＜ 0 并且QA(E(LR)) - QA(HR) ＞= T，LQA= -1/T * (QA(E(LR)) - QA(HR))^2；其中，T为预设阈值；
如果QA(E(LR)) - QA(HR) ＜ T，LQA= QA(HR) - QA(E(LR))。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
记录所述画质增强模型训练过程中的迭代次数；
通过以下算式计算所述损失函数权重：w = exp(-x^2)，其中，x为所述画质增强模型训练过程中的迭代次数。
4.根据权利要求1所述的方法，其特征在于，所述主观评价模型通过以下步骤训练：
基于预设的主观指标图像集合训练所述主观评价模型；其中，所述主观指标图像集合的图像样本标注有主观评分值；所述主观评分值表征所述主观指标图像集合的图像样本的主观指标。
5.根据权利要求4所述的方法，其特征在于，基于预设的主观指标图像集合训练所述主观评价模型的步骤，包括：
基于预设的主观指标图像集合确定当前主观样本和所述当前主观样本对应的主观评分值；
对于每一个所述当前主观样本，均执行以下主观训练操作：将所述当前主观样本输入至所述主观评价模型中，输出所述当前主观样本对应的当前主观分数；
基于所述主观评分值和所述当前主观分数确定所述当前主观样本的损失值；
根据所述当前主观样本的损失值调整所述主观评价模型的参数；
当所述主观训练操作满足预设的主观训练结束条件时，将当前训练得到的所述主观评价模型确定为训练好的主观评价模型。
6.一种图像处理装置，其特征在于，包括：
图像获取模块，用于获取目标图像；
画质增强模块，用于将所述目标图像输入预先训练完成的画质增强模型中，获得所述画质增强模型输出的画质增强图像；其中，所述画质增强模型的损失函数基于客观评价模型的损失函数和主观评价模型的损失函数确定，所述客观评价模型是基于图像的客观指标进行训练得到的，所述客观评价模型用于提升所述目标图像的客观指标，所述主观评价模型是基于图像的主观指标进行训练得到的，所述主观评价模型用于提升所述目标图像的主观指标；
画质增强模型训练模块，用于基于预设的图像样本集合确定当前样本和所述当前样本对应的标准样本；对于每一个所述当前样本，均执行以下训练操作：将所述当前样本输入至所述画质增强模型中，输出画质增强样本；基于所述画质增强样本和所述标准样本确定所述当前样本的损失值；根据所述当前样本的损失值调整所述画质增强模型的参数；当所述训练操作满足预设的训练结束条件时，将当前训练得到的所述画质增强模型确定为训练好的画质增强模型；
所述画质增强模型训练模块，用于基于所述画质增强样本和所述标准样本确定所述主观评价模型的第一损失值；基于所述画质增强样本和所述标准样本确定所述客观评价模型的第二损失值；通过以下损失函数确定所述当前样本的损失值：Loss = w * L0 + (1 - w)* LQA；其中，Loss为所述当前样本的损失值，w为损失函数权重，L0为所述第二损失值，LQA为所述第一损失值。
7.一种电子设备，其特征在于，所述电子设备包括：图像采集设备、处理设备和存储装置；
所述图像采集设备，用于获取训练图片；
所述存储装置上存储有计算机程序，所述计算机程序在被所述处理设备运行时执行如权利要求1至5任一项所述的图像处理方法。
8.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理设备运行时执行权利要求1至5任一项所述的图像处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110195273.6A CN112801536B (zh) | 2021-02-20 | 2021-02-20 | 图像处理方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110195273.6A CN112801536B (zh) | 2021-02-20 | 2021-02-20 | 图像处理方法、装置和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112801536A CN112801536A (zh) | 2021-05-14 |
| CN112801536B true CN112801536B (zh) | 2024-04-30 |
Family
ID=75815292
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110195273.6A Active CN112801536B (zh) | 2021-02-20 | 2021-02-20 | 图像处理方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112801536B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113313650B (zh) * | 2021-06-09 | 2023-10-13 | 北京百度网讯科技有限公司 | 图像画质增强方法、装置、设备和介质 |
| CN113962965B (zh) * | 2021-10-26 | 2023-06-09 | 腾讯科技（深圳）有限公司 | 图像质量评价方法、装置、设备以及存储介质 |
| CN116091862A (zh) * | 2022-12-16 | 2023-05-09 | 广州市网星信息技术有限公司 | 一种画质识别方法、装置、设备、存储介质及产品 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104581141A (zh) * | 2015-01-09 | 2015-04-29 | 宁波大学 | 一种立体图像视觉舒适度评价方法 |
| CN111079740A (zh) * | 2019-12-02 | 2020-04-28 | 咪咕文化科技有限公司 | 图像的质量评价方法、电子设备和计算机可读存储介质 |
| CN111105375A (zh) * | 2019-12-17 | 2020-05-05 | 北京金山云网络技术有限公司 | 图像生成方法及其模型训练方法、装置及电子设备 |
| CN111192258A (zh) * | 2020-01-02 | 2020-05-22 | 广州大学 | 一种图像质量评估方法及装置 |
| CN111382619A (zh) * | 2018-12-28 | 2020-07-07 | 广州市百果园信息技术有限公司 | 图片推荐模型的生成、图片推荐方法、装置、设备及介质 |
| CN111415304A (zh) * | 2020-02-26 | 2020-07-14 | 中国农业大学 | 基于级联深度网络的水下视觉增强方法和装置 |
| CN112288638A (zh) * | 2019-07-27 | 2021-01-29 | 华为技术有限公司 | 图像增强设备以及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110210524B (zh) * | 2019-05-13 | 2023-05-02 | 东软医疗系统股份有限公司 | 一种图像增强模型的训练方法、图像增强方法及装置 |
-
2021
- 2021-02-20 CN CN202110195273.6A patent/CN112801536B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104581141A (zh) * | 2015-01-09 | 2015-04-29 | 宁波大学 | 一种立体图像视觉舒适度评价方法 |
| CN111382619A (zh) * | 2018-12-28 | 2020-07-07 | 广州市百果园信息技术有限公司 | 图片推荐模型的生成、图片推荐方法、装置、设备及介质 |
| CN112288638A (zh) * | 2019-07-27 | 2021-01-29 | 华为技术有限公司 | 图像增强设备以及系统 |
| CN111079740A (zh) * | 2019-12-02 | 2020-04-28 | 咪咕文化科技有限公司 | 图像的质量评价方法、电子设备和计算机可读存储介质 |
| CN111105375A (zh) * | 2019-12-17 | 2020-05-05 | 北京金山云网络技术有限公司 | 图像生成方法及其模型训练方法、装置及电子设备 |
| CN111192258A (zh) * | 2020-01-02 | 2020-05-22 | 广州大学 | 一种图像质量评估方法及装置 |
| CN111415304A (zh) * | 2020-02-26 | 2020-07-14 | 中国农业大学 | 基于级联深度网络的水下视觉增强方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| 基于主客观联合评价判据的红外超分辨率重建方法;邵保泰等;《红外与毫米波学报》;第第38卷卷(第第6期期);第813-818页 * |
| 邵保泰等.基于主客观联合评价判据的红外超分辨率重建方法.《红外与毫米波学报》.2019,第第38卷卷(第第6期期),第813-818页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112801536A (zh) | 2021-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112801536B (zh) | 图像处理方法、装置和电子设备 | |
| CN108932697B (zh) | 一种失真图像的去失真方法、装置及电子设备 | |
| Gu et al. | Automatic contrast enhancement technology with saliency preservation | |
| CN112950581B (zh) | 质量评估方法、装置和电子设备 | |
| CN112954312B (zh) | 一种融合时空特征的无参考视频质量评估方法 | |
| CN112950579B (zh) | 图像质量评价方法、装置和电子设备 | |
| Jakhetiya et al. | A prediction backed model for quality assessment of screen content and 3-D synthesized images | |
| CN111292272B (zh) | 图像处理方法、装置、介质以及电子设备 | |
| US20100128181A1 (en) | Seam Based Scaling of Video Content | |
| CN112785572B (zh) | 图像质量评估方法、装置以及计算机可读存储介质 | |
| CN105376563A (zh) | 基于双目融合特征相似度的无参考立体图像质量评价方法 | |
| Ghadiyaram et al. | A no-reference video quality predictor for compression and scaling artifacts | |
| CN108513132B (zh) | 一种视频质量评价方法及装置 | |
| CN114125495A (zh) | 视频质量评估模型训练方法、视频质量评价方法和装置 | |
| Da et al. | Perceptual quality assessment of nighttime video | |
| CN109801257A (zh) | 无参考dibr生成图像质量评价方法 | |
| CN111311584B (zh) | 视频质量评估方法及装置、电子设备、可读介质 | |
| CN110458754B (zh) | 图像生成方法及终端设备 | |
| CN110766153A (zh) | 神经网络模型训练方法、装置及终端设备 | |
| Fu et al. | Full-reference video quality assessment based on spatiotemporal visual sensitivity | |
| CN113038129A (zh) | 一种用于机器学习的数据样本获取的方法及设备 | |
| Luo et al. | Saliency and texture information based full-reference quality metrics for video QoE assessment | |
| CN113888515B (zh) | 基于深度学习和人类视觉特性的双通道立体图像质量评价方法 | |
| CN106412583B (zh) | 一种图像压缩方法和装置 | |
| CN114401400B (zh) | 基于视觉显著性编码效应感知的视频质量评测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |