CN109522950B - 图像评分模型训练方法及装置和图像评分方法及装置 - Google Patents

图像评分模型训练方法及装置和图像评分方法及装置 Download PDF

Info

Publication number
CN109522950B
CN109522950B CN201811329912.8A CN201811329912A CN109522950B CN 109522950 B CN109522950 B CN 109522950B CN 201811329912 A CN201811329912 A CN 201811329912A CN 109522950 B CN109522950 B CN 109522950B
Authority
CN
China
Prior art keywords
image
loss function
sample images
score
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811329912.8A
Other languages
English (en)
Other versions
CN109522950A (zh
Inventor
侯晓霞
许盛辉
刘彦东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Media Technology Beijing Co Ltd
Original Assignee
Netease Media Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Media Technology Beijing Co Ltd filed Critical Netease Media Technology Beijing Co Ltd
Priority to CN201811329912.8A priority Critical patent/CN109522950B/zh
Publication of CN109522950A publication Critical patent/CN109522950A/zh
Application granted granted Critical
Publication of CN109522950B publication Critical patent/CN109522950B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明的实施方式提供了一种图像评分模型训练方法及装置和图像评分方法及装置。其中，图像评分模型训练方法包括：选取至少两个样本图像分别输入所述图像评分模型，根据所述图像评分模型输出的各个样本图像的评估分数对所述样本图像进行排序；针对所述至少两个样本图像，如果根据评估分数的排序结果与根据实际分数的排序结果不同，则生成第一损失函数，采用所述第一损失函数训练所述图像评分模型。通过生成第一损失函数，并采用第一损失函数训练图像评分模型，本发明的方法能够实现为图像给出与人工标注结果相近的预估分数。

Description

图像评分模型训练方法及装置和图像评分方法及装置
技术领域
本发明的实施方式涉及图像质量估计技术领域，更具体地，本发明的实施方式涉及图像评分模型训练方法及装置和图像评分方法及装置。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
对于图像质量估计，传统方法一般是抽取图像浅层特征来估计，如采用图像梯度特征来估计图像清晰度。采用这些浅层特征估计的图像质量分数往往是无明确取值范围的，较难将图像按质量分数设置阈值来划分质量等级，评估准确度也有限。
深度学习发展以来，深度网络模型对于图像语义理解有着出色表现，对于图像质量估计，也有方法提出采用深度学习模型来估计。通常的处理方式是将该问题转换为一个分类问题或者回归问题。
如果当作分类问题，则将训练数据划分为高质量图像与低质量图像，然后训练二分类模型来预估图像属于高质量或是低质量图像。但是，这种分类是粗粒度的，同一类别中图像质量等级较难区分。
如果当作回归问题，即训练模型来拟合人工标注分数，则不同的训练策略会得到不同的预估准确度。
可见，现有的图像质量估计方法，都无法对图像给出与人工标注结果相近的预估分数。
发明内容
在本上下文中，本发明的实施方式期望提供一种图像评分模型训练方法和装置，以及一种图像评分方法和装置。
在本发明实施方式的第一方面中，提供了一种图像评分模型训练方法，包括：
选取至少两个样本图像，将所述样本图像分别输入所述图像评分模型；
根据所述图像评分模型输出的各个样本图像的评估分数对所述样本图像进行排序；
针对所述至少两个样本图像，如果根据评估分数的排序结果与根据实际分数的排序结果不同，则生成第一损失函数，采用所述第一损失函数训练所述图像评分模型。
在本发明的一个实施例中，当选取两个样本图像分别输入所述图像评分模型时，所述第一损失函数与所述两个样本图像的评估分数之间的差值正相关。
在本发明的一个实施例中，所述第一损失函数为所述两个样本图像的评估分数之间的差值的指数倍。
在本发明的一个实施例中，所述选取至少两个样本图像之前，进一步包括：
建立样本图像库，所述样本图像库包括随机选取的多个样本图像，各个样本图像的实际分数由人工设定。
在本发明的一个实施例中，所述样本图像的实际分数的评分标准包括以下项中的至少一项：
图像主体强调程度、画面布局、色彩丰富度、对比度、清晰度和画面杂乱程度。
在本发明的一个实施例中，进一步包括：
如果样本图像的实际分数与评估分数不同，则生成第二损失函数，采用所述第二损失函数训练所述图像评分模型；所述第二损失函数与所述实际分数和评估分数之间的差值正相关。
在本发明的一个实施例中，所述图像评分模型采用卷积神经网络。
在本发明实施方式的第二方面中，提供了一种图像评分方法，包括：
获取待评分图像；
将所述待评分图像输入图像评分模型，由所述图像评分模型输出所述待评分图像的评估分数；
所述图像评分模型是由多组任意选取的样本图像训练得到的，每组样本图像包括至少两个样本图像，训练的方式为：由所述图像评分模型对一组中的各个样本图像分别进行评估，得到评估分数；针对一组中的各个样本图像，如果根据评估分数的排序结果与根据实际分数的排序结果不同，则生成第一损失函数，采用所述第一损失函数训练所述图像评分模型。
在本发明的一个实施例中，当所述每组样本图像包括两个样本图像时，所述第一损失函数与所述两个样本图像的评估分数之间的差值正相关。
在本发明的一个实施例中，所述第一损失函数为所述两个样本图像的评估分数之间的差值的指数倍。
在本发明的一个实施例中，所述训练的方式还包括：如果样本图像的实际分数与评估分数不同，则生成第二损失函数，采用所述第二损失函数训练所述图像评分模型；所述第二损失函数与所述实际分数和评估分数之间的差值正相关。
在本发明的一个实施例中，所述图像评分模型采用卷积神经网络。
在本发明的一个实施例中，所述待评分图像为视频文件的视频帧；
所述方法还包括：
获取针对视频文件的各个视频帧的评估分数，选取评估分数最高的视频帧作为所述视频文件的视频封面。
在本发明实施方式的第三方面中，提供了一种图像评分模型训练装置，包括：
样本选取模块，用于选取至少两个样本图像，将所述样本图像分别输入所述图像评分模型；
排序模块，用于根据所述图像评分模型输出的各个样本图像的评估分数对所述样本图像进行排序；
第一训练模块，用于针对所述至少两个样本图像，如果根据评估分数的排序结果与根据实际分数的排序结果不同，则生成第一损失函数，采用所述第一损失函数训练所述图像评分模型。
在本发明的一个实施例中，所述样本选取模块，用于选取两个样本图像，将所述样本图像分别输入所述图像评分模型；
所述第一训练模块，用于针对所述两个样本图像，如果根据评估分数的排序结果与根据实际分数的排序结果不同，则生成第一损失函数，采用所述第一损失函数训练所述图像评分模型；所述第一损失函数与所述两个样本图像的评估分数之间的差值正相关。
在本发明的一个实施例中，所述第一损失函数为所述两个样本图像的评估分数之间的差值的指数倍。
在本发明的一个实施例中，所述装置还包括：
样本库建立模块，用于建立样本图像库，所述样本图像库包括随机选取的多个样本图像，各个样本图像的实际分数由人工设定。
在本发明的一个实施例中，所述样本图像的实际分数的评分标准包括以下项中的至少一项：
图像主体强调程度、画面布局、色彩丰富度、对比度、清晰度和画面杂乱程度。
在本发明的一个实施例中，所述装置还包括：
第二训练模块，用于在样本图像的实际分数与评估分数不同时，生成第二损失函数，采用所述第二损失函数训练所述图像评分模型；所述第二损失函数与所述实际分数和评估分数之间的差值正相关。
在本发明的一个实施例中，所述图像评分模型采用卷积神经网络。
在本发明实施方式的第四方面中，提供了一种图像评分装置，包括：
图像获取模块，用于获取待评分图像；
输入模块，用于将所述待评分图像输入图像评分模型，由所述图像评分模型输出所述待评分图像的评估分数；
所述图像评分模型是由多组任意选取的样本图像训练得到的，每组样本图像包括至少两个样本图像，训练的方式为：由所述图像评分模型对一组中的各个样本图像分别进行评估，得到评估分数；针对一组中的各个样本图像，如果根据评估分数的排序结果与根据实际分数的排序结果不同，则生成第一损失函数，采用所述第一损失函数训练所述图像评分模型。
在本发明的一个实施例中，当所述每组样本图像中包括两个样本图像时，所述第一损失函数与所述两个样本图像的评估分数之间的差值正相关。
在本发明的一个实施例中，所述第一损失函数为所述两个样本图像的评估分数之间的差值的指数倍。
在本发明的一个实施例中，所述训练的方式还包括：如果样本图像的实际分数与评估分数不同，则生成第二损失函数，采用所述第二损失函数训练所述图像评分模型；所述第二损失函数与所述实际分数和评估分数之间的差值正相关。
在本发明的一个实施例中，所述图像评分模型采用卷积神经网络。
在本发明的一个实施例中，所述图像获取模块获取的待评分图像为视频文件的视频帧；
所述装置还包括：
封面选取模块，用于获取针对视频文件的各个视频帧的评估分数，选取评估分数最高的视频帧作为所述视频文件的视频封面。
在本发明实施方式的第五方面中，提供了一种计算机可读介质，其存储有计算机程序，该程序被处理器执行时实现上述图像评分模型训练方法或图像评分方法的步骤。
在本发明实施方式的第六方面中，提供了一种计算设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述图像评分模型训练方法或图像评分方法的步骤。
根据本发明实施方式的图像评分模型训练方法和装置，可以采用多组样本图像训练图像评分模型，当根据评估分数的排序结果与根据实际分数的排序结果不同时，生成第一损失函数，采用第一损失函数训练图像评分模型。通过这种方式训练出的图像评分模型，能够为图像给出与人工标注结果更接近的预估分数。根据本发明实施方式的图像评分方法和装置，采用该图像评分模型为图像进行评分，能够得到与人工标注结果更接近的预估分数。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1示意性地示出了根据本发明一实施方式的图像评分模型训练方法的流程图；
图2示意性地示出了根据本发明一实施方式的图像评分模型训练方法中选取两个样本图像分别输入图像评分模型进行训练的示意图；
图3示意性地示出了根据本发明一实施方式的图像评分方法的流程图；
图4示意性地示出了根据本发明一实施方式的图像评分方法中选取视频文件的视频封面的示意图；
图5示意性地示出了根据本发明一实施方式的用于图像评分模型训练方法、或用于图像评分方法的介质示意图；
图6示意性地示出了根据本发明一实施方式的图像评分模型训练装置结构示意图；
图7示意性地示出了根据本发明一实施方式的图像评分装置结构示意图；
图8示意性地示出了根据本发明一实施方式的计算设备的结构示意图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
根据本发明的实施方式，提出了一种图像评分模型训练方法、介质、装置和计算设备，以及一种图像评分方法、介质、装置和计算设备。
在本文中，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
发明概述
本发明人发现，现有的图像质量估计方法，都无法对图像给出与人工标注结果相近的预估分数。
有鉴于此，本发明实施例提供了一种图像评分模型训练方法和装置，采用多组样本图像训练图像评分模型，当根据评估分数的排序结果与根据实际分数的排序结果不同时，生成第一损失函数，采用第一损失函数训练图像评分模型。通过这种方式训练出的图像评分模型，能够为图像给出与人工标注结果更接近的预估分数。本发明实施例还提供了一种图像评分方法和装置，采用上述图像评分模型为图像进行评分，能够得到与人工标注结果更接近的预估分数。
在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。
示例性方法
本发明实施例提出一种图像评分模型训练方法。如图1所示，本发明实施例的图像评分模型训练方法可以包括以下步骤：
S11：选取至少两个样本图像，将所述样本图像分别输入所述图像评分模型。
S12：根据所述图像评分模型输出的各个样本图像的评估分数对所述样本图像进行排序。
S13：针对所述至少两个样本图像，如果根据评估分数的排序结果与根据实际分数的排序结果不同，则生成第一损失函数，采用所述第一损失函数训练所述图像评分模型。
在一种可能的实施方式中，当选取两个样本图像时，所述第一损失函数与所述两个样本图像的评估分数之间的差值正相关。
在一种可能的实施方式中，第一损失函数为所述两个样本图像的评估分数之间的差值的指数倍。
在一种可能的实施方式中，上述步骤S11之前，可以进一步包括：
S10：建立样本图像库，所述样本图像库包括随机选取的多个样本图像，各个样本图像的实际分数由人工设定。
本发明实施例提出的图像评分模型训练方法，训练得到的图像评分模型可以用于对视频文件中的各个视频帧进行评分。在一个视频文件中，得分最高的视频帧可以作为该视频文件的视频封面。一般客户端呈现给用户一条视频文件时，均有一个视频帧定格在视频页面，点击该视频帧则视频正常播放，该视频帧即为视频封面。视频封面的选取应该更符合用户的审美习惯，而不能仅仅考虑清晰度。
鉴于此，步骤S10中可以从多个视频文件中选取视频帧，作为样本图像库中的样本图像。
在一种可能的实施方式中，样本图像的实际分数的评分标准包括以下项中的至少一项：图像主体强调程度、画面布局、色彩丰富度、对比度、清晰度和画面杂乱程度。
由于人工评分带有主观性，因此采用多人同时评分的形式。图像越美观、越具有吸引力，则人工设定的实际分数越高。
这样，训练得到的图像评分模型能够适用于对视频文件中视频封面的选取。当然，在本发明的其他实施方式中，也可以采用其他的样本图像及评分标准，以适用于对不同种类图像的评分，本发明对此不做限制。
在以下的实施例中，以训练适用于选取视频封面的图像评分模型为例进行介绍。
在一种可能的实施方式中，图像评分模型可以采用卷积神经网络(CNN，Convolutional Neural Network)。图像评分模型的输入为任意尺寸、任意格式的视频帧，输出为一个评估分数。本发明实施方式的训练算法采用了图像对比策略。由于任意一组图像在美观度上均有差异，美观度高的图像得分应该比美观度低的图像得分高，因此本发明实施方式在训练中采用图像比较的方式来指导图像评分模型的学习。
如图1所示，在一种可能的实施方式中，还可以包括：
S14：如果样本图像的实际分数与评估分数不同，则生成第二损失函数，采用所述第二损失函数训练所述图像评分模型；所述第二损失函数与所述实际分数和评估分数之间的差值正相关。
在一种可能的实施方式中，步骤S11中选取两个样本图像分别输入图像评分模型。图2为选取两个样本图像分别输入图像评分模型进行训练的示意图。
如图2所示，将图像Ii和图像Ij分别输入图像评分模型，图像评分模型针对图像Ii和图像Ij分别给出的评估分数为ri和rj，图像Ii和图像Ij的实际分数分别为Si和Sj
则采用如下式子(1)确定总的损失函数：
Loss＝Lrank+Lreg (1)
其中，Loss为总的损失函数；
Lrank为第一损失函数的值；
Lreg为第二损失函数的值。
采用如下式子(2)确定Lrank：
Figure BDA0001859684260000101
采用如下式子(3)确定Lreg：
Figure BDA0001859684260000102
在一种可能的实施方式中，当训练图像评分模型时，采用反向传输算法，利用上述总的惩罚函数修改图像评分模型中的相关参数。通过反复修改，使得图像评分模型对图像的评估分数更接近于真实分数。
以上实施方式中，以一组包含两个样本图像为例进行介绍。在本发明的其他实施方式中，也可以一组包含多个样本图像，当多个样本图像根据评估分数的排序结果与根据实际分数的排序结果不同时，生成第一损失函数，采用该第一损失函数训练图像评分模型。
采用上述方式，选取多组样本图像对图像评分模型进行训练，最终训练出能够给出与人工标注结果更接近的预估分数的图像评分模型。
本发明实施例还提出一种图像评分方法。如图3所示，本发明实施例的图像评分方法可以包括以下步骤：
S31：获取待评分图像。
S32：将所述待评分图像输入图像评分模型，由所述图像评分模型输出所述待评分图像的评估分数。
所述图像评分模型是由多组任意选取的样本图像训练得到的，每组样本图像包括至少两个样本图像，训练的方式为：由所述图像评分模型对一组中的各个样本图像分别进行评估，得到评估分数；针对一组中的各个样本图像，如果根据评估分数的排序结果与根据实际分数的排序结果不同，则生成第一损失函数，采用所述第一损失函数训练所述图像评分模型。
在一种可能的实施方式中，当所述每组样本图像包括两个样本图像时，所述第一损失函数与所述两个样本图像的评估分数之间的差值正相关。
在一种可能的实施方式中，所述第一损失函数为所述两个样本图像的评估分数之间的差值的指数倍。
在一种可能的实施方式中，所述训练的方式还包括：如果样本图像的实际分数与评估分数不同，则生成第二损失函数，采用所述第二损失函数训练所述图像评分模型；所述第二损失函数与所述实际分数和评估分数之间的差值正相关。
在一种可能的实施方式中，所述图像评分模型采用卷积神经网络。
在本实施例中，图像评分模型的训练方式与上述实施例中的方式相同，不再赘述。
在一种可能的实施方式中，所述待评分图像可以为视频文件的视频帧；
如图3所示，所述方法还可以包括：
S33：获取针对视频文件的各个视频帧的评估分数，选取评估分数最高的视频帧作为所述视频文件的视频封面。
图4为选取视频文件的视频封面的示意图。如图4所示，为了选取视频文件的视频封面，将视频文件的各个视频帧分别输入图像评分模型，图像评分模型分别输出各个视频帧的评估分数，选取评估分数最高的视频帧作为该视频文件的视频封面。
采用本实施例的方法，采用多组样本图像训练图像评分模型，当根据评估分数的排序结果与根据实际分数的排序结果不同时，生成第一损失函数，采用第一损失函数训练图像评分模型。还可以针对同一个样本图像，生成与实际分数和评估分数之间的差值相关的第二损失函数，采用第二损失函数训练图像评分模型。采用该图像评分模型，可以对图像进行评估，给出与人工标注结果相近的预估分数。将本发明实施例的方法应用于视频文件，可以选取出视频文件中质量最高的视频帧作为视频封面。
示例性介质
在介绍了本发明示例性实施方式的方法之后，接下来，参考图5对本发明示例性实施方式的介质进行说明。
在一些可能的实施方式中，本发明的各个方面还可以实现为一种计算机可读介质，其上存储有程序，当该程序被处理器执行时用于实现本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的图像评分模型训练方法、或者图像评分方法的步骤。
具体地，上述处理器执行上述程序时用于实现如下步骤：选取至少两个样本图像分别输入所述图像评分模型，根据所述图像评分模型输出的各个样本图像的评估分数对所述样本图像进行排序；针对所述至少两个样本图像，如果根据评估分数的排序结果与根据实际分数的排序结果不同，则生成第一损失函数，采用所述第一损失函数训练所述图像评分模型。
或者，上述处理器执行上述程序时用于实现如下步骤：将待评分图像输入图像评分模型，由所述图像评分模型输出所述待评分图像的评估分数；所述图像评分模型是由多组任意选取的样本图像训练得到的，每组样本图像包括至少两个样本图像，训练的方式为：由所述图像评分模型对一组中的各个样本图像分别进行评估，得到评估分数；针对一组中的各个样本图像，如果根据评估分数的排序结果与根据实际分数的排序结果不同，则生成第一损失函数，采用所述第一损失函数训练所述图像评分模型。
需要说明的是：上述的介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
如图5所示，描述了根据本发明的实施方式的介质50，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序，并可以在设备上运行。然而，本发明不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算设备。
示例性装置
在介绍了本发明示例性实施方式的介质之后，接下来，参考图6和图7对本发明示例性实施方式的装置进行说明。
如图6所示，本发明实施例的图像评分模型训练装置可以包括：
样本选取模块601，用于选取至少两个样本图像，将所述样本图像分别输入所述图像评分模型；
排序模块602，用于根据所述图像评分模型输出的各个样本图像的评估分数对所述样本图像进行排序；
第一训练模块603，用于针对所述至少两个样本图像，如果根据评估分数的排序结果与根据实际分数的排序结果不同，则生成第一损失函数，采用所述第一损失函数训练所述图像评分模型。
在一种可能的实施方式中，样本选取模块601，用于选取两个样本图像，将样本图像分别输入图像评分模型；在一种可能的实施方式中，第一训练模块603，用于针对所述两个样本图像，如果根据评估分数的排序结果与根据实际分数的排序结果不同，则生成第一损失函数，采用所述第一损失函数训练所述图像评分模型；所述第一损失函数与所述两个样本图像的评估分数之间的差值正相关。
在一种可能的实施方式中，第一损失函数为所述两个样本图像的评估分数之间的差值的指数倍。
在一种可能的实施方式中，所述装置还包括：
样本库建立模块600，用于建立样本图像库，所述样本图像库包括随机选取的多个样本图像，各个样本图像的实际分数由人工设定。
在一种可能的实施方式中，所述样本图像的实际分数的评分标准包括以下项中的至少一项：图像主体强调程度、画面布局、色彩丰富度、对比度、清晰度和画面杂乱程度。
在一种可能的实施方式中，所述装置还包括：
第二训练模块604，用于在样本图像的实际分数与评估分数不同时，生成第二损失函数，采用所述第二损失函数训练所述图像评分模型；所述第二损失函数与所述实际分数和评估分数之间的差值正相关。
在一种可能的实施方式中，图像评分模型采用卷积神经网络。
如图7所示，本发明实施例的图像评分装置可以包括：
图像获取模块701，用于获取待评分图像；
输入模块702，用于将所述待评分图像输入图像评分模型，由所述图像评分模型输出所述待评分图像的评估分数；
所述图像评分模型是由多组任意选取的样本图像训练得到的，每组样本图像包括至少两个样本图像，训练的方式为：由所述图像评分模型对一组中的各个样本图像分别进行评估，得到评估分数；针对一组中的各个样本图像，如果根据评估分数的排序结果与根据实际分数的排序结果不同，则生成第一损失函数，采用所述第一损失函数训练所述图像评分模型。
在一种可能的实施方式中，当所述每组样本图像中包括两个样本图像时，所述第一损失函数与所述两个样本图像的评估分数之间的差值正相关。
在一种可能的实施方式中，所述第一损失函数为所述两个样本图像的评估分数之间的差值的指数倍。
在一种可能的实施方式中，所述训练的方式还包括：如果样本图像的实际分数与评估分数不同，则生成第二损失函数，采用所述第二损失函数训练所述图像评分模型；所述第二损失函数与所述实际分数和评估分数之间的差值正相关。
在一种可能的实施方式中，所述图像评分模型采用卷积神经网络。
在一种可能的实施方式中，所述图像获取模块701获取的待评分图像可以为视频文件的视频帧；
所述装置还可以包括：
封面选取模块703，用于获取针对视频文件的各个视频帧的评估分数，选取评估分数最高的视频帧作为所述视频文件的视频封面。
示例性计算设备
在介绍了本发明示例性实施方式的方法、介质和装置之后，接下来，参考图8对本发明示例性实施方式的计算设备进行说明。
本发明实施例提供了一种计算设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现上述图像评分模型训练方法中的任一方法、或者上述图像评分方法中的任一方法。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
在一些可能的实施方式中，根据本发明实施方式的计算设备可以至少包括至少一个处理单元、以及至少一个存储单元。其中，上述存储单元存储有程序代码，当上述程序代码被上述处理单元执行时，使得上述处理单元执行本说明书上述“示例性方法”部分中描述的根据本发明的各种示例性实施方式的图像评分模型训练方法中的步骤、或图像评分方法中的步骤。
下面参照图8来描述根据本发明的实施方式的计算设备800。图8显示的计算设备80仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，计算设备80以通用计算设备的形式表现。计算设备80的组件可以包括但不限于：上述至少一个处理单元801、上述至少一个存储单元802以及连接不同系统组件(包括处理单元801和存储单元802)的总线803。
总线803包括数据总线、控制总线和地址总线。
存储单元802可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)8021和/或高速缓存存储器8022，可以进一步包括非易失性存储器形式的可读介质，例如只读存储器(ROM)8023。
存储单元802还可以包括具有一组(至少一个)程序模块8024的程序/实用工具8025，这样的程序模块8024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
计算设备80也可以与一个或多个外部设备804(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口805进行。并且，计算设备80还可以通过网络适配器806与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图8所示，网络适配器806通过总线803与计算设备80的其它模块通信。应当理解，尽管图中未示出，可以结合计算设备80使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了装置的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
应当注意，尽管在上文详细描述中提及了图像评分模型训练装置的若干单元/模块或子单元/模块，以及图像评分装置的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (19)

1.一种图像评分模型训练方法，其特征在于，包括：
选取两个样本图像，将所述样本图像分别输入所述图像评分模型；
根据所述图像评分模型输出的各个样本图像的评估分数对所述样本图像进行排序；
针对所述两个样本图像，如果根据评估分数的排序结果与根据实际分数的排序结果不同，则生成第一损失函数；如果样本图像的实际分数与评估分数不同，则生成第二损失函数；将所述第一损失函数和所述第二损失函数相加，得到总的损失函数；采用所述总的损失函数训练所述图像评分模型；其中，所述第一损失函数为所述两个样本图像的评估分数之间的差值的指数倍；所述第二损失函数与所述两个样本图像的所述实际分数和评估分数之间的差值正相关；
所述第一损失函数采用下式确定：
Figure FDF0000014550730000011
所述第二损失函数采用下式确定：
Figure FDF0000014550730000012
其中，所述Lrank为第一损失函数的值；
所述Lreg为第二损失函数的值；
所述ri和所述rj分别为图像Ii和图像Ij的评估分数；
所述Si和所述Sj分别为图像Ii和图像Ij的实际分数；
其中，训练得到的图像评分模型用于对视频文件中的各个视频帧进行评分，得分最高的视频帧作为所述视频文件的视频封面。
2.根据权利要求1所述的方法，其特征在于，所述第一损失函数与所述两个样本图像的评估分数之间的差值正相关。
3.根据权利要求1或2所述的方法，其特征在于，所述选取两个样本图像之前，进一步包括：
建立样本图像库，所述样本图像库包括随机选取的多个样本图像，各个样本图像的实际分数由人工设定。
4.根据权利要求3所述的方法，其特征在于，所述样本图像的实际分数的评分标准包括以下项中的至少一项：
图像主体强调程度、画面布局、色彩丰富度、对比度、清晰度和画面杂乱程度。
5.根据权利要求1或2所述的方法，其特征在于，所述图像评分模型采用卷积神经网络。
6.一种图像评分方法，其特征在于，包括：
获取待评分图像；
将所述待评分图像输入图像评分模型，由所述图像评分模型输出所述待评分图像的评估分数；
所述图像评分模型是由多组任意选取的样本图像训练得到的，每组样本图像包括两个样本图像，训练的方式为：由所述图像评分模型对一组中的各个样本图像分别进行评估，得到评估分数；针对一组中的各个样本图像，如果根据评估分数的排序结果与根据实际分数的排序结果不同，则生成第一损失函数；如果样本图像的实际分数与评估分数不同，则生成第二损失函数；将所述第一损失函数和所述第二损失函数相加，得到总的损失函数；采用所述总的损失函数训练所述图像评分模型；其中，所述第一损失函数为所述两个样本图像的评估分数之间的差值的指数倍；所述第二损失函数与所述两个样本图像的所述实际分数和评估分数之间的差值正相关；
所述第一损失函数采用下式确定：
Figure FDF0000014550730000021
所述第二损失函数采用下式确定：
Figure FDF0000014550730000031
其中，所述Lrank为第一损失函数的值；
所述Lreg为第二损失函数的值；
所述ri和所述rj分别为图像Ii和图像Ij的评估分数；
所述Si和所述Sj分别为图像Ii和图像Ij的实际分数；
所述待评分图像为视频文件的视频帧，所述方法还包括：
获取针对所述视频文件的各个视频帧的评估分数，选取评估分数最高的视频帧作为所述视频文件的视频封面。
7.根据权利要求6所述的方法，其特征在于，所述第一损失函数与所述两个样本图像的评估分数之间的差值正相关。
8.根据权利要求或7所述的方法，其特征在于，所述图像评分模型采用卷积神经网络。
9.一种图像评分模型训练装置，其特征在于，包括：
样本选取模块，用于选取两个样本图像，将所述样本图像分别输入所述图像评分模型；
排序模块，用于根据所述图像评分模型输出的各个样本图像的评估分数对所述样本图像进行排序；
第一训练模块，用于针对所述两个样本图像，如果根据评估分数的排序结果与根据实际分数的排序结果不同，则生成第一损失函数；如果样本图像的实际分数与评估分数不同，则生成第二损失函数；将所述第一损失函数和所述第二损失函数相加，得到总的损失函数；采用所述总的损失函数训练所述图像评分模型；其中，所述第一损失函数为所述两个样本图像的评估分数之间的差值的指数倍；所述第二损失函数与所述两个样本图像的所述实际分数和评估分数之间的差值正相关；
所述第一损失函数采用下式确定：
Figure FDF0000014550730000032
所述第二损失函数采用下式确定：
Figure FDF0000014550730000041
其中，所述Lrank为第一损失函数的值；
所述Lreg为第二损失函数的值；
所述ri和所述rj分别为图像Ii和图像Ij的评估分数；
所述Si和所述Sj分别为图像Ii和图像Ij的实际分数；
其中，训练得到的图像评分模型用于对视频文件中的各个视频帧进行评分，得分最高的视频帧作为所述视频文件的视频封面。
10.根据权利要求9所述的装置，其特征在于，所述样本选取模块，用于选取两个样本图像，将所述样本图像分别输入所述图像评分模型；
所述第一训练模块，用于针对所述两个样本图像，如果根据评估分数的排序结果与根据实际分数的排序结果不同，则生成第一损失函数，所述第一损失函数与所述两个样本图像的评估分数之间的差值正相关。
11.根据权利要求9或10所述的装置，其特征在于，所述装置还包括：
样本库建立模块，用于建立样本图像库，所述样本图像库包括随机选取的多个样本图像，各个样本图像的实际分数由人工设定。
12.根据权利要求11所述的装置，其特征在于，所述样本图像的实际分数的评分标准包括以下项中的至少一项：
图像主体强调程度、画面布局、色彩丰富度、对比度、清晰度和画面杂乱程度。
13.根据权利要求9或10所述的装置，其特征在于，所述装置还包括：
第二训练模块，用于在样本图像的实际分数与评估分数不同时，生成第二损失函数，所述第二损失函数与所述实际分数和评估分数之间的差值正相关。
14.根据权利要求9或10所述的装置，所述图像评分模型采用卷积神经网络。
15.一种图像评分装置，其特征在于，包括：
图像获取模块，用于获取待评分图像；
输入模块，用于将所述待评分图像输入图像评分模型，由所述图像评分模型输出所述待评分图像的评估分数；
所述图像评分模型是由多组任意选取的样本图像训练得到的，每组样本图像包括两个样本图像，训练的方式为：由所述图像评分模型对一组中的各个样本图像分别进行评估，得到评估分数；针对一组中的各个样本图像，如果根据评估分数的排序结果与根据实际分数的排序结果不同，则生成第一损失函数；如果样本图像的实际分数与评估分数不同，则生成第二损失函数；将所述第一损失函数和所述第二损失函数相加，得到总的损失函数；采用所述总的损失函数训练所述图像评分模型；其中，所述第一损失函数为所述两个样本图像的评估分数之间的差值的指数倍；所述第二损失函数与所述两个样本图像的所述实际分数和评估分数之间的差值正相关；
所述第一损失函数采用下式确定：
Figure FDF0000014550730000051
所述第二损失函数采用下式确定：
Figure FDF0000014550730000052
其中，所述Lrank为第一损失函数的值；
所述Lreg为第二损失函数的值；
所述ri和所述rj分别为图像Ii和图像Ij的评估分数；
所述Si和所述Sj分别为图像Ii和图像Ij的实际分数；
其中，所述图像获取模块获取的待评分图像为视频文件的视频帧；所述装置还包括：
封面选取模块，用于获取针对视频文件的各个视频帧的评估分数，选取评估分数最高的视频帧作为所述视频文件的视频封面。
16.根据权利要求15所述的装置，其特征在于，所述第一损失函数与所述两个样本图像的评估分数之间的差值正相关。
17.根据权利要求15或16所述的装置，其特征在于，所述图像评分模型采用卷积神经网络。
18.一种介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的方法。
19.一种计算设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
CN201811329912.8A 2018-11-09 2018-11-09 图像评分模型训练方法及装置和图像评分方法及装置 Active CN109522950B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811329912.8A CN109522950B (zh) 2018-11-09 2018-11-09 图像评分模型训练方法及装置和图像评分方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811329912.8A CN109522950B (zh) 2018-11-09 2018-11-09 图像评分模型训练方法及装置和图像评分方法及装置

Publications (2)

Publication Number Publication Date
CN109522950A CN109522950A (zh) 2019-03-26
CN109522950B true CN109522950B (zh) 2022-04-22

Family

ID=65773421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811329912.8A Active CN109522950B (zh) 2018-11-09 2018-11-09 图像评分模型训练方法及装置和图像评分方法及装置

Country Status (1)

Country Link
CN (1) CN109522950B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111813888A (zh) * 2019-04-12 2020-10-23 微软技术许可有限责任公司 训练目标模型
WO2020211003A1 (zh) * 2019-04-17 2020-10-22 深圳市欢太科技有限公司 图像处理方法、计算机可读存储介质和计算机设备
CN110191357A (zh) * 2019-06-28 2019-08-30 北京奇艺世纪科技有限公司 视频片段精彩度评估、动态封面生成方法及装置
CN113627419A (zh) * 2020-05-08 2021-11-09 百度在线网络技术（北京）有限公司 兴趣区域评估方法、装置、设备和介质
CN111640099A (zh) * 2020-05-29 2020-09-08 北京金山云网络技术有限公司 一种确定图像质量的方法、装置、电子设备及存储介质
CN111737554A (zh) * 2020-06-16 2020-10-02 北京奇艺世纪科技有限公司 评分模型训练方法、电子书评分方法及装置
CN112183946A (zh) * 2020-09-07 2021-01-05 腾讯音乐娱乐科技（深圳）有限公司 多媒体内容评估方法、装置及其训练方法
CN112561334A (zh) * 2020-12-16 2021-03-26 咪咕文化科技有限公司 阅读对象的评分方法、装置、电子设备及存储介质
CN112950579B (zh) * 2021-02-26 2024-05-31 北京金山云网络技术有限公司 图像质量评价方法、装置和电子设备
CN114926705B (zh) * 2022-05-12 2024-05-28 网易（杭州）网络有限公司 封面设计模型训练方法、介质、装置和计算设备
CN117478825B (zh) * 2023-12-27 2024-04-16 苏州元脑智能科技有限公司 虚拟会议的视频集锦获取方法、系统、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295682A (zh) * 2016-08-02 2017-01-04 厦门美图之家科技有限公司 一种判断图片质量因子的方法、装置和计算设备
CN107481218A (zh) * 2017-07-12 2017-12-15 中国科学院自动化研究所 图像美感评估方法及装置
CN107633520A (zh) * 2017-09-28 2018-01-26 福建帝视信息科技有限公司 一种基于深度残差网络的超分辨率图像质量评估方法
CN107945175A (zh) * 2017-12-12 2018-04-20 百度在线网络技术（北京）有限公司 图像的评价方法、装置、服务器及存储介质
CN107944035A (zh) * 2017-12-13 2018-04-20 合肥工业大学 一种融合视觉特征和用户评分的图像推荐方法
CN108269250A (zh) * 2017-12-27 2018-07-10 武汉烽火众智数字技术有限责任公司 基于卷积神经网络评估人脸图像质量的方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107958455B (zh) * 2017-12-06 2019-09-20 百度在线网络技术（北京）有限公司 图像清晰度评估方法、装置、计算机设备及存储介质
CN108335293B (zh) * 2018-01-31 2020-11-03 泰康保险集团股份有限公司 图像质量的确定方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295682A (zh) * 2016-08-02 2017-01-04 厦门美图之家科技有限公司 一种判断图片质量因子的方法、装置和计算设备
CN107481218A (zh) * 2017-07-12 2017-12-15 中国科学院自动化研究所 图像美感评估方法及装置
CN107633520A (zh) * 2017-09-28 2018-01-26 福建帝视信息科技有限公司 一种基于深度残差网络的超分辨率图像质量评估方法
CN107945175A (zh) * 2017-12-12 2018-04-20 百度在线网络技术（北京）有限公司 图像的评价方法、装置、服务器及存储介质
CN107944035A (zh) * 2017-12-13 2018-04-20 合肥工业大学 一种融合视觉特征和用户评分的图像推荐方法
CN108269250A (zh) * 2017-12-27 2018-07-10 武汉烽火众智数字技术有限责任公司 基于卷积神经网络评估人脸图像质量的方法和装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Long Xu 等.Pairwise comparison and rank learning for image quality assessment.《Displays 44 (2016)》.2016, *
Shu Kong 等.Photo Aesthetics Ranking Network with Attributes and Content Adaptation.《ECCV 2016》.2016, *
Xialei Liu 等.RankIQA: Learning from Rankings for No-reference Image Quality Assessment.《ICCV 2017》.2017, *
杨璐 等.基于机器学习的无参考图像质量评价综述.《计算机工程与应用》.2018,第54卷(第19期), *
谢燕娟 等.特征互补的图像美学质量评分方法.《模式识别与人工智能》.2017,第30卷(第10期), *

Also Published As

Publication number Publication date
CN109522950A (zh) 2019-03-26

Similar Documents

Publication Publication Date Title
CN109522950B (zh) 图像评分模型训练方法及装置和图像评分方法及装置
WO2020207431A1 (zh) 文献分类方法、装置、设备及存储介质
CN111062871B (zh) 一种图像处理方法、装置、计算机设备及可读存储介质
CN111738016B (zh) 多意图识别方法及相关设备
US12001514B2 (en) Image classification modeling while maintaining data privacy compliance
US10671895B2 (en) Automated selection of subjectively best image frames from burst captured image sequences
US9766868B2 (en) Dynamic source code generation
US9619209B1 (en) Dynamic source code generation
US11682415B2 (en) Automatic video tagging
JP2015162244A (ja) 発話ワードをランク付けする方法、プログラム及び計算処理システム
CN109491915B (zh) 数据处理方法及装置、介质和计算设备
CN107948730B (zh) 基于图片生成视频的方法、装置、设备及存储介质
US20190362226A1 (en) Facilitate Transfer Learning Through Image Transformation
US20230066504A1 (en) Automated adaptation of video feed relative to presentation content
CN111225236A (zh) 生成视频封面的方法、装置、电子设备以及计算机可读存储介质
CN111199540A (zh) 图像质量评价方法、装置、电子设备及存储介质
CN110263218A (zh) 视频描述文本生成方法、装置、设备和介质
JP2009157442A (ja) データ検索装置および方法
US11157920B2 (en) Techniques for instance-specific feature-based cross-document sentiment aggregation
US11653071B2 (en) Responsive video content alteration
CN111385659B (zh) 一种视频推荐方法、装置、设备及存储介质
US10902844B2 (en) Analysis of content sources for automatic generation of training content
US20160180249A1 (en) Avoiding supporting evidence processing when evidence scoring does not affect final ranking of a candidate answer
CN109960745B (zh) 视频分类处理方法及装置、存储介质和电子设备
US9940320B2 (en) Plugin tool for collecting user generated document segmentation feedback

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant