CN113362304A - 清晰度预测模型的训练方法和确定清晰等级的方法 - Google Patents

清晰度预测模型的训练方法和确定清晰等级的方法 Download PDF

Info

Publication number
CN113362304A
CN113362304A CN202110622024.0A CN202110622024A CN113362304A CN 113362304 A CN113362304 A CN 113362304A CN 202110622024 A CN202110622024 A CN 202110622024A CN 113362304 A CN113362304 A CN 113362304A
Authority
CN
China
Prior art keywords
sharpness
definition
prediction model
image
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110622024.0A
Other languages
English (en)
Other versions
CN113362304B (zh
Inventor
刘祥
黄晨
杨羿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110622024.0A priority Critical patent/CN113362304B/zh
Publication of CN113362304A publication Critical patent/CN113362304A/zh
Application granted granted Critical
Publication of CN113362304B publication Critical patent/CN113362304B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本公开公开了一种清晰度预测模型的训练方法和确定清晰等级的方法，涉及人工智能领域，具体涉及深度学习领域，可应用于图像处理和视频处理场景下。清晰度预测模型的训练方法的具体实现方案为：以样本图像对中的两个样本图像分别作为清晰度预测模型的输入，获得两个样本图像各自的预测清晰度，其中，两个样本图像均具有指示实际清晰度的标签；确定两个样本图像的两个预测清晰度之间的第一差值，并确定两个样本图像的两个实际清晰度之间的第二差值；以及基于第一预定损失函数和第一差值与第二差值之间的差异，对清晰度预测模型进行训练，其中，样本图像对是由多个样本图像中的任意两个样本图像组合得到的。

Description

清晰度预测模型的训练方法和确定清晰等级的方法
技术领域
本公开涉及人工智能领域，具体涉及深度学习领域，可应用于图像处理和视频处理场景下。
背景技术
随着互联网技术的发展，图像和视频成为人们获取信息的重要载体。高清晰度的图像和视频可以为人们带来更好的用户体验，利于提高电子信息的质量。
发明内容
提供了一种提高模型精度并降低模型训练成本的清晰度预测模型的训练方法、确定图像清晰等级的方法和确定视频清晰等级的方法。
根据本公开的一个方面，提供了一种清晰度预测模型的训练方法，包括：以样本图像对中的两个样本图像分别作为清晰度预测模型的输入，获得两个样本图像各自的预测清晰度，其中，两个样本图像均具有指示实际清晰度的标签；确定两个样本图像的两个预测清晰度之间的第一差值，并确定两个样本图像的两个实际清晰度之间的第二差值；以及基于第一预定损失函数和第一差值与第二差值之间的差异，对清晰度预测模型进行训练。其中，样本图像对是由多个样本图像中的任意两个样本图像组合得到的。
根据本公开的另一个方面，提供了一种确定图像清晰等级的方法，包括：以待处理图像作为清晰度预测模型的输入，获得待处理图像的预测清晰度；以及基于待处理图像的预测清晰度，确定待处理图像的清晰等级，其中，该清晰度预测模型是采用上述的清晰度预测模型的训练方法训练得到的。
根据本公开的另一方面，提供了一种确定视频清晰等级的方法，包括：从待处理视频中提取多个关键图像帧；以多个关键图像帧分别作为清晰度预测模型的输入，获得多个关键图像帧各自的预测清晰度；以及基于多个关键帧的多个预测清晰度，确定待处理视频的清晰等级，其中，清晰度预测模型是采用上述的清晰度预测模型的训练方法训练得到的。
根据本公开的另一方面，提供了一种清晰度预测模型的训练装置，包括：第一清晰度预测模块，用于以样本图像对中的两个样本图像分别作为清晰度预测模型的输入，获得两个样本图像各自的预测清晰度，其中，两个样本图像均具有指示实际清晰度的标签；差值确定模块，用于确定两个样本图像的两个预测清晰度之间的第一差值，并确定两个样本图像的两个实际清晰度之间的第二差值；以及模型训练模块，用于基于第一预定损失函数和第一差值与第二差值之间的差异，对清晰度预测模型进行训练，其中，样本图像对是由多个样本图像中的任意两个样本图像组合得到的。
根据本公开的另一方面，提供了一种确定图像清晰等级的装置，包括：第三清晰度预测模块，用于以待处理图像作为清晰度预测模型的输入，获得待处理图像的预测清晰度；以及第一清晰等级确定模块，用于基于待处理图像的预测清晰度，确定待处理图像的清晰等级，其中，清晰度预测模型是采用上述的清晰度预测模型的训练装置训练得到的。
根据本公开的另一方面，提供了一种确定视频清晰等级的装置，包括：图像帧提取模块，用于从待处理视频中提取多个关键图像帧；第四清晰度预测模块，用于以多个关键图像帧分别作为清晰度预测模型的输入，获得多个关键图像帧各自的预测清晰度；以及第二清晰等级确定模块，用于基于多个关键图像帧的多个预测清晰度，确定待处理视频的清晰等级，其中，清晰度预测模型是采用上述的清晰度预测模型的训练装置训练得到的。
根据本公开的另一个方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的以下至少一种方法：清晰度预测模型的训练方法、确定图像清晰等级的方法和确定视频清晰等级的方法。
根据本公开的另一个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的以下至少一种方法：清晰度预测模型的训练方法、确定图像清晰等级的方法和确定视频清晰等级的方法。
根据本公开的另一个方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开提供的以下至少一种方法：清晰度预测模型的训练方法、确定图像清晰等级的方法和确定视频清晰等级的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例的清晰度预测模型的训练方法和确定清晰等级的方法的应用场景示意图；
图2是根据本公开实施例的清晰度预测模型的训练方法的流程示意图；
图3是根据本公开实施例的对清晰度预测模型进行训练的原理示意图；
图4是根据本公开实施例的获得样本图像的预测清晰度的原理示意图；
图5是根据本公开实施例的确定图像清晰等级的方法的流程示意图；
图6是根据本公开实施例的确定视频清晰等级的方法的流程示意图；
图7是根据本公开实施例的清晰度预测模型的训练装置的结构框图；
图8是根据本公开实施例的确定图像清晰等级的装置的结构框图；
图9是根据本公开实施例的确定视频清晰等级的装置的结构框图；以及
图10是用来实施本公开实施例的清晰度预测模型的训练方法、确定图像清晰等级的方法和/或确定视频清晰等级的方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本公开提供了一种清晰度预测模型的训练方法，包括清晰度预测阶段、差值确定阶段和模型训练阶段。在清晰度预测阶段中，以样本图像对中的两个样本图像分别作为清晰度预测模型的输入，获得两个样本图像各自的预测清晰度，其中，两个样本图像均具有指示实际清晰度的标签。在差值确定阶段中，确定两个样本图像的两个预测清晰度之间的第一差值，并确定两个样本图像的两个实际清晰度之间的第二差值。在模型训练阶段中，基于第一预定损失函数和第一差值与第二差值之间的差异，对清晰度预测模型进行训练。其中，样本图像对是由多个样本图像中的任意两个样本图像组合得到的。
以下将结合图1对本公开提供的方法和装置的应用场景进行描述。
图1是根据本公开实施例的清晰度预测模型的训练方法和确定清晰等级的方法的应用场景示意图。
如图1所示，该应用场景100包括终端设备110，该终端设备可以为具有处理功能的任意电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机和服务器等等。
该终端设备110例如可以对输入的图像120进行处理，具体可以对输入的图像120进行识别，并根据识别结果确定图像120的清晰度130，以便于根据该清晰度确定图像的清晰等级或图像所属视频的清晰等级。其中，该终端设备110例如可以采用清晰度预测模型来确定图像的清晰度130。
根据本公开的实施例，如图1所示，该应用场景100还可以包括服务器140。终端设备110可以通过网络与服务器140通信连接，网络可以包括有线或无线通信链路。
示例性地，服务器140可以用于训练清晰度预测模型，并响应于终端设备110发送的模型获取请求，将训练好的清晰度预测模型150发送给终端设备110，便于终端设备110对输入的图像进行识别，确定图像的清晰度。
示例性地，服务器例如可以是提供各种服务的服务器，例如可以为对终端设备110上运行的应用程序提供支持的后台管理服务器。例如，该服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
根据本公开的实施例，如图1所示，该应用场景100还可以包括数据库160，该数据库160例如可以维护有标注了清晰度的图像。服务器140例如可以访问该数据库160，并从数据库中抽取标注有清晰度的图像作为训练样本，并对清晰度预测模型进行训练。
在一实施例中，终端设备110与服务器140例如可以为同一设备，该同一设备中包括用于确定图像或视频清晰等级的第一处理模块和用于对清晰度预测模型进行训练的第二处理模块。该第一处理模块和第二处理模块之间可以通过网络协议进行通信。
在一实施例中，采用清晰度预测模型确定图像的清晰度时，可以采用基于特征提取和机器学习的方法或基于神经网络的方法等。其中，基于特征提取和机器学习的方法针对特定的模糊图像设定提取的特征(例如可以包括梯度能量Gradient Energy、高斯导数Gaussian Derivative或直方图熵Histogram Entropy等)，并以该提取的特征作为机器学习模型的输入来得到清晰度。基于神经网络的方法为采用VGG 16等神经网络作为骨干模型，用分类模型来预测清晰度。
在另一实施例中，可以采用下文描述的清晰度预测模型的训练方法训练得到的清晰度预测模型来确定图像的清晰度，在此不再详述。
需要说明的是，本公开所提供的清晰度预测模型的训练方法可以由服务器140执行。相应地，本公开所提供的清晰度预测模型的训练装置可以设置于服务器140中。本公开所提供的确定清晰等级的方法(包括确定图像清晰等级的方法和/或确定视频清晰等级的方法)可以由终端设备110执行。相应地，本公开所提供的确定图像清晰等级的装置和/或确定视频清晰等级的装置可以设置于终端设备110中。
应该理解，图1中的终端设备、服务器和数据库的数目和类型仅仅是示意性的。根据实现需要，可以具有任意数目和类型的终端设备、服务器和数据库。
以下将结合图1，通过图2～图4对本公开提供的清晰度预测模型的训练方法进行详细描述。
图2是根据本公开实施例的清晰度预测模型的训练方法的流程示意图。
如图2所示，该实施例的清晰度预测模型的训练方法200可以包括操作S210～操作S230。
在操作S210，以样本图像对中的两个样本图像分别作为清晰度预测模型的输入，获得两个样本图像各自的预测清晰度。
根据本公开的实施例，可以先获取多个样本图像。将该多个样本图像中的任意两个样本图像组合得到一个样本图像对。例如，若获取了n个样本图像，则通过任意组合可以得到[n*(n-1)/2]个样本图像。其中，每个样本图像具有指示该每个样本图像的实际清晰度的标签。
该实施例可以将两个样本图像中的其中一个样本图像输入清晰度预测模型，经该清晰度预测模型处理后，输出该其中一个样本图像的预测清晰度。类似地，将两个样本图像中的其中另一个样本图像输入清晰度预测模型，经该清晰度预测模型处理后，输出该其中另一个样本图像的预测清晰度。
其中，清晰度预测模型例如可以基于卷积神经网络构建，例如可以为作为分类模型的VGG 19、ResNet50、InceptionV3、Xception模型等。
在操作S220，确定两个样本图像的两个预测清晰度之间的第一差值，并确定两个样本图像的两个实际清晰度之间的第二差值。
可以将其中一个样本图像的预测清晰度与其中另一个样本图像的预测清晰度之间的差值作为第一差值，将其中一个样本图像的标签指示的实际清晰度与另一个样本图像的标签指示的实际清晰度之间的差值作为第二差值。
在操作S230，基于第一预定损失函数和第一差值与第二差值之间的差异，对清晰度预测模型进行训练。
根据本公开的实施例，第一预定损失函数可以为孪生网络(Siamesse Net)的损失函数，例如可以包括对比损失(Contrastive Loss)函数或三元组损失(Triplte Loss)函数等。
该实施例可以根据第一差值与第二差值之间的差异，确定第一预定损失函数的取值。随后采用梯度下降算法或反向传播算法等对清晰度预测模型进行训练。其中，第一差值与第二差值之间的差异例如可以为第一差值与第二差值之间的差值的绝对值，或者第一差值与第二差值之间的差值的平方，本公开对此不做限定。
本公开实施例通过基于多个样本图像中的任意两个样本图像组合得到的样本图像来对清晰度预测模型进行训练，可以在一定程度上提高清晰度预测模型的训练样本的数量，无需获取大规模的图像来生成样本图像。因此，可以在一定程度上降低模型训练成本，提高模型训练效率。相较于基于特征提取和机器学习的方法来确定清晰度，采用该实施例训练得到的清晰度预测模型确定清晰度时，无需设定提取的特征，因此可以应用于需要检测图像或视频清晰度的多种场景下。相较于基于神经网络的方法来确定清晰度，采用该实施例的清晰度预测模型的训练方法可以解决数据量小导致的模型训练不准确的技术问题。
根据本公开的实施例，还可以为第一预定损失函数添加超参，以仅在第一差值与第二差值之间的差异较大时才考虑损失，并基于损失训练清晰度预测模型，如此可以提高训练得到的清晰度预测模型的普适性，使得该清晰度预测模型的使用场景可以覆盖更多的图像模糊情形。相应地，在对清晰度预测模型进行训练时，可以先确定第一差值与第二差值之间的差异和超参之间的差值，得到第三差值。随后基于该第三差值和第一预定损失函数，来对清晰度预测模型进行训练。具体可以是将该第三差值代入第一预定损失函数，采用梯度下降算法或反向传播算法来对清晰度预测模型进行训练。
在一实施例中，第一预定损失函数可以采用以下公式表示：L＝max(0，||diff(pred0，pred1)-diff(label0，label1)||2-margin)；其中，pred0、pred1分别为两个样本图像的两个预测清晰度，diff(pred0，pred1)为第一差值，labelo、label1分别为两个样本图像的两个实际清晰度，diff(label0，label1)为第二差值，margin为预定超参，且该预定超参的取值大于0。
图3是根据本公开实施例的对清晰度预测模型进行训练的原理示意图。
根据本公开的实施例，可以采用孪生网络来对该清晰度预测模型进行训练。例如可以将该清晰度预测模型作为孪生网络的主干模型，通过将两个样本图像分别输入该孪生网络的两个网络中，经由该两个网络分别处理该两个样本图像，获得两个样本图像各自的预测清晰度。
示例性地，如图3所示，该实施例300中的孪生网络310可以包括第一清晰度预测模型311和第二清晰度预测模型312，该第一清晰度预测模型311和第二清晰度预测模型312共用参数。在训练清晰度预测模型时，可以将两个样本图像中的其中一个样本图像301输入第一清晰度预测模型311中，经由该第一清晰度预测模型311处理后可以得到该其中一个样本图像301的预测清晰度，作为第一预测清晰度303。同时，将两个样本图像中的其中另一个样本图像302输入第二清晰度预测模型312中，经由该第二清晰度预测模型312处理后可以得到该其中另一个样本图像302的预测清晰度，作为第二预测清晰度304。
在得到第一预测清晰度303和第二预测清晰度304后，可以确定该两个预测清晰度之间的差值，并确定其中一个样本图像301的实际清晰度与其中另一个样本图像302的实际清晰度之间的差值。基于该两个差值和第一预定损失函数305来同步训练第一清晰度预测模型311和第二清晰度预测模型312。通过采用多个样本图像对来对第一清晰度预测模型和第二清晰度预测模型进行同步训练，直至基于两个清晰度预测模型输出的预测清晰度得到的损失函数小于预定值或达到局部最小。最终，将训练得到的两个模型中的任一模型作为训练好的清晰度预测模型。
根据公开的实施例，在完成对清晰度预测模型的训练之后，该实施例的方法还可以通过验证图像来确定训练后的清晰度预测模型在实际使用场景中的准确性，并对训练后的清晰度预测模型进行优化，使得优化后的清晰度预测模型可以更好的适用于该实际使用场景。或者，在将清晰度预测模型投入使用后，可以定期对该清晰度预测模型进行优化。这是考虑到线上数据的更新速度较快，数据分布会随时间变化，且不同的产品线对图像清晰度的评测指标也有不同。通过在实际使用场景中优化模型或定期优化模型，可以使得清晰度预测模型的预测结果更为准确。
在一实施例中，在优化模型时，可以以具有指示实际清晰度的标签的验证图像作为训练后的清晰度预测模型的输入，获得验证图像的预测清晰度。随后基于验证图像的预测清晰度与实际清晰度之间的差异以及第二预定损失函数，来优化清晰度预测模型。其中，第二预定损失函数例如可以为交叉熵损失函数、铰链损失函数或指数损失函数等，本公开对此不做限定。该实施例可以采用下降梯度算法或反向传播算法来对清晰度预测模型进行优化。
图4是根据本公开实施例的获得样本图像的预测清晰度的原理示意图。
如图4所示，在一实施例400中，清晰度预测模型可以包括结构不同的多个处理分支、特征融合层450和输出层460。其中，多个处理分支的结构和数量可以根据实际需求进行设定，本公开对此不作限定。基于该清晰度预测模型，在获得两个样本图像各自的预测清晰度时，可以将两个样本图像中的任一图像401同时作为多个处理分支的输入，获得该任一图像的多个清晰度特征。随后以该多个清晰度特征作为特征融合层450的输入，获得融合特征。以该融合特征作为输出层460的输入，可以获得该任一图像401的预测清晰度402。该实施例通过采用具有结构不同的多个处理分支的清晰度预测模型来得到图像的预测清晰度，可以实现对图像的不同程度的模糊化处理。最后通过融合不同程度的模糊化处理得到的清晰度特征，并基于融合后的特征确定预测清晰度，可以实现对不同模糊程度的清晰度特征之间的关联关系的充分考虑，并因此可以提高确定的预测清晰度的准确性。
在一实施例中，如图4所示，以清晰度预测模型为Inception V3模型为例，该清晰度预测模型例如可以包括四个处理分支。该四个分支中的第一个处理分支可以包括1*1卷积层411，第二个处理分支可以包括1*1卷积层421和3*3卷积层422，第三个处理分支可以包括1*1卷积层431和5*5卷积层432，以及第四个处理分支可以包括3*3池化层441和1*1卷积层442。可以理解的是，该多个处理分支的结构和数据仅作为示例以利于理解本公开，本公开对此不作限定。
在一实施例中，特征融合层可以通过concat()函数来融合多个清晰度特征，得到融合特征。
在一实施例中，该清晰度预测模型可以以该多个处理分支和特征融合层作为一个处理模块，由多个处理模块和输出层依次拼接构成，前一处理模块中特征融合层输出的融合特征作为后一处理模块中多个处理分支的输入。例如，该清晰度预测模型可以为Inception V3模型或者ResNet模型。
基于上述训练得到的清晰度预测模型，本公开还提供了一种确定图像清晰等级的方法。以下将结合图5对该方法进行详细描述。
图5是根据本公开实施例的确定图像清晰等级的方法的流程示意图。
如图5所示，该实施例的确定图像清晰等级的方法500可以包括操作S510和操作S520。
在操作S510，以待处理图像作为清晰度预测模型的输入，获得待处理图像的预测清晰度。该操作S510与前文描述的获得两个样本图像中任一样本图像的预测清晰度的方法类似，区别在于，该实施例中采用的清晰度预测模型是采用前文描述的训练方法训练得到的精准度高的模型，精准度高于获得任一样本图像的预测清晰度时使用模型的精度。
在操作S520，基于待处理图像的预测清晰度，确定待处理图像的清晰等级。
根据本公开的实施例，预测清晰度与清晰等级之间可以具有映射关系。例如，清晰度的取值在区间[0，a1)内，则映射的清晰等级为模糊，若清晰度的取值在区间[a1，a2)内，则映射的清晰等级为较模糊，若清晰度的取值在区间[a2，1]内，则映射的清晰等级为清晰。其中，a1、a2均为大于0且小于1的值，且a1小于a2。可以理解的是，上述映射关系及清晰等级的设置仅作为示例以利于理解本公开，本公开对此不做限定。
基于上述训练得到的清晰度预测模型，本公开还提供了一种确定图视频清晰等级的方法。以下将结合图6对该方法进行详细描述。
图6是根据本公开实施例的确定视频清晰等级的方法的流程示意图。
如图6所示，该实施例的确定视频清晰等级的方法600可以包括操作S610～操作S630。
在操作S610，从待处理视频中提取多个关键图像帧。
根据本公开的实施例，在提取多个关键图像帧时，可以采用基于镜头提取的方法、基于运动分析的方法或聚类方法来提取。其中，基于镜头提取的方法是将待处理视频根据镜头切分后，将每个镜头的首尾两帧作为关键图像帧。基于运动分析的方法是选择待处理视频中光流运动最少的图像帧作为关键图像帧。基于聚类的方法是通过聚类算法将待处理视频中的各图像帧进行聚类，选择每簇中距离聚类中心最近的图像帧作为关键图像帧。
可以理解的是，上述提取多个关键图像帧的方法仅作为示例以利于理解本公开，本公开对此不做限定。
在操作S620，以多个关键图像帧分别作为清晰度预测模型的输入，获得多个关键图像帧各自的预测清晰度。该操作S620与前文描述的获得待处理图像的预测清晰度的方法类似，且清晰度预测模型为采用前文描述的训练方法得到的模型，在此不再赘述。
在操作S630，基于多个关键图像帧的多个预测清晰度，确定待处理视频的清晰等级。
根据本公开的实施例，可以根据多个预测清晰度中的最低清晰度来确定待处理视频的清晰等级。该根据最低清晰度确定待处理视频的清晰等级的方法与前文描述的根据待处理图像的预测清晰度确定待处理图像的清晰等级的方法类似，在此不再赘述。
根据本公开的实施例，可以先基于该多个预测清晰度，确定待处理视频的清晰度。例如可以将该多个预测清晰度的平均值作为待处理视频的清晰度。在确定了待处理视频的清晰度后，再基于该待处理视频的清晰度，来确定待处理视频的清晰等级。该基于待处理视频的清晰度确定待处理视频的清晰等级的方法与前文描述的根据待处理图像的预测清晰度确定待处理图像的清晰等级的方法类似，在此不再赘述。可以理解的是，上述基于多个预测清晰度确定待处理视频的清晰度的方法仅作为示例以利于理解本公开，例如还可以将该多个预测清晰度的均方根值作为待处理视频的清晰度，本公开对此不做限定。
基于上述的清晰度预测模型的训练方法，本公开还提供了一种清晰度预测模型的训练装置。以下将结合图7对该装置进行详细描述。
图7是根据本公开实施例的清晰度预测模型的训练装置的结构框图。
如图7所示，该实施例的清晰度预测模型的训练装置700可以包括第一清晰度预测模块710、差值确定模块720和模型训练模块730。
第一清晰度预测模块710用于以样本图像对中的两个样本图像分别作为清晰度预测模型的输入，获得两个样本图像各自的预测清晰度，其中，两个样本图像均具有指示实际清晰度的标签，样本图像对是由多个样本图像中的任意两个样本图像组合得到的。在一实施例中，第一清晰度预测模块710可以用于执行前文描述的操作S210，在此不再赘述。
差值确定模块720用于确定两个样本图像的两个预测清晰度之间的第一差值，并确定两个样本图像的两个实际清晰度之间的第二差值。在一实施例中，差值确定模块720可以用于执行前文描述的操作S220，在此不再赘述。
模型训练模块730用于基于第一预定损失函数和第一差值与第二差值之间的差异，对清晰度预测模型进行训练。在一实施例中，模型训练模块730可以用于执行前文描述的操作S230，在此不再赘述。
根据本公开的实施例，上述清晰度预测模型包括结构不同的多个处理分支、特征融合层和输出层。上述第一清晰度预测模型710用于通过以下方式获得两个样本图像中任一图像的预测清晰度：以任一图像作为多个处理分支的输入，获得任一图像的多个清晰度特征；以多个清晰度特征作为特征融合层的输入，获得融合特征；以及以融合特征作为输出层的输入，获得任一图像的预测清晰度。
根据本公开的实施例，上述清晰度预测模型的训练装置700还可以包括第二清晰度预测模块和模型优化模块。第二清晰度预测模块用于在模型训练模块对清晰度预测模型进行训练之后，以验证图像作为训练后的清晰度预测模型的输入，获得验证图像的预测清晰度，其中，验证图像具有指示实际清晰度的标签。模型优化模块用于基于第二预定损失函数及验证图像的预测清晰度与验证图像的实际清晰度之间的差异，优化清晰度预测模型。
根据本公开的实施例，上述模型训练模块包括差值确定子模块和训练子模块。差值确定子模块用于确定差异与预定超参之间的差值，作为第三差值。训练子模块用于基于第一预定损失函数和第三差值，对清晰度预测模型进行训练。
根据本公开的实施例，上述第一预定损失函数采用以下公式表示：L＝max(0，||diff(pred0，pred1)-diff(label0，label1)||2-margin)其中，pred0、pred1分别为两个样本图像的两个预测清晰度，diff(pred0，pred1)为第一差值，label0、label1分别为两个样本图像的两个实际清晰度，diff(label0，label1)为第二差值，margin为预定超参，且预定超参的取值大于0。
根据本公开的实施例，第一清晰度预测模块710可以通过以下方式获得两个样本图像各自的预测清晰度：将两个样本图像输入以清晰度预测模型为主干模型的孪生网络中，以经由孪生网络中的两个网络分别处理两个样本图像，获得两个样本图像各自的预测清晰度。
基于上述的确定图像清晰等级的方法，本公开还提供了一种确定图像清晰等级的装置。以下将结合图8对该装置进行详细描述。
图8是根据本公开实施例的确定图像清晰等级的装置的结构框图。
如图8所示，该实施例的确定图像清晰等级的装置800可以包括第三清晰度预测模块810和第一清晰等级确定模块820。
第三清晰度预测模块810用于以待处理图像作为清晰度预测模型的输入，获得待处理图像的预测清晰度。其中，清晰度预测模型是采用前文描述的清晰度预测模型的训练装置训练得到的。在一实施例中，第三清晰度预测模块810可以用于执行前文描述的操作S510，在此不再赘述。
第一清晰等级确定模块820用于基于待处理图像的预测清晰度，确定待处理图像的清晰等级。在一实施例中，第一清晰等级确定模块820可以用于执行前文描述的操作S520，在此不再赘述。
基于上述的确定视频清晰等级的方法，本公开还提供了一种确定视频清晰等级的装置。以下将结合图9对该装置进行详细描述。
图9是根据本公开实施例的确定视频清晰等级的装置的结构框图。
如图9所示，该实施例的确定视频清晰等级的装置900可以包括图像帧提取模块910、第四清晰度预测模块920和第二清晰等级确定模块930。
图像帧提取模块910用于从待处理视频中提取多个关键图像帧。在一实施例中，图像帧提取模块910可以用于执行前文描述的操作S610，在此不再赘述。
第四清晰度预测模块920用于以多个关键图像帧分别作为清晰度预测模型的输入，获得多个关键图像帧各自的预测清晰度。其中，清晰度预测模型是采用前文描述的清晰度预测模型的训练装置训练得到的。在一实施例中，第四清晰度预测模块920可以用于执行前文描述的操作S620，在此不再赘述。
第二清晰等级确定模块930用于基于多个关键图像帧的多个预测清晰度，确定待处理视频的清晰等级。在一实施例中，第二清晰等级确定模块930可以用于执行前文描述的操作S630，在此不再赘述。
根据本公开的实施例，上述第二清晰等级确定模块930可以包括清晰度确定子模块和清晰等级确定子模块。清晰度确定子模块用于基于多个关键图像帧的预测清晰度，确定待处理视频的清晰度。清晰等级确定子模块用于基于待处理视频的清晰度，确定待处理视频的清晰等级。
需要说明的是，本公开的技术方案中，所涉及的用户个人信息的获取、存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如以下方法中的至少之一：清晰度预测模型的训练方法、确定图像清晰等级的方法和确定视频清晰等级的方法。例如，在一些实施例中，以下方法中的至少之一：清晰度预测模型的训练方法、确定图像清晰等级的方法和确定视频清晰等级的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的以下方法中的至少之一：清晰度预测模型的训练方法、确定图像清晰等级的方法和确定视频清晰等级的方法中的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行以下方法中的至少之一：清晰度预测模型的训练方法、确定图像清晰等级的方法和确定视频清晰等级的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。其中，服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(″Virtual Private Server″，或简称″VPS″)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (21)

1.一种清晰度预测模型的训练方法，包括：
以样本图像对中的两个样本图像分别作为所述清晰度预测模型的输入，获得所述两个样本图像各自的预测清晰度，其中，所述两个样本图像均具有指示实际清晰度的标签；
确定所述两个样本图像的两个预测清晰度之间的第一差值，并确定所述两个样本图像的两个实际清晰度之间的第二差值；以及
基于第一预定损失函数和所述第一差值与所述第二差值之间的差异，对所述清晰度预测模型进行训练，
其中，所述样本图像对是由多个样本图像中的任意两个样本图像组合得到的。
2.根据权利要求1所述的方法，其中，所述清晰度预测模型包括结构不同的多个处理分支、特征融合层和输出层；获得所述两个样本图像各自的预测清晰度包括针对所述两个样本图像中的任一图像：
以所述任一图像作为所述多个处理分支的输入，获得所述任一图像的多个清晰度特征；
以所述多个清晰度特征作为所述特征融合层的输入，获得融合特征；以及
以所述融合特征作为所述输出层的输入，获得所述任一图像的预测清晰度。
3.根据权利要求1所述的方法，还包括在对所述清晰度预测模型进行训练之后：
以验证图像作为训练后的清晰度预测模型的输入，获得所述验证图像的预测清晰度，其中，所述验证图像具有指示实际清晰度的标签；以及
基于第二预定损失函数及所述验证图像的预测清晰度与所述验证图像的实际清晰度之间的差异，优化所述清晰度预测模型。
4.根据权利要求1所述的方法，其中，对所述清晰度预测模型进行训练包括：
确定所述差异与预定超参之间的差值，作为第三差值；以及
基于所述第一预定损失函数和所述第三差值，对所述清晰度预测模型进行训练。
5.根据权利要求4所述的方法，其中，所述第一预定损失函数采用以下公式表示：
L＝max(0，||diff(pred0，pred1)-diff(label0，label1)||2-margin)
其中，pred0、pred1分别为所述两个样本图像的两个预测清晰度，diff(pred0，pred1)为所述第一差值，label0、label1分别为所述两个样本图像的两个实际清晰度，diff(label0，label1)为所述第二差值，margin为所述预定超参，且所述预定超参的取值大于0。
6.根据权利要求1所述的方法，其中，获得所述两个样本图像各自的预测清晰度包括：
将所述两个样本图像输入以所述清晰度预测模型为主干模型的孪生网络中，以经由所述孪生网络中的两个网络分别处理所述两个样本图像，获得所述两个样本图像各自的预测清晰度。
7.一种确定图像清晰等级的方法，包括：
以待处理图像作为清晰度预测模型的输入，获得所述待处理图像的预测清晰度；以及
基于所述待处理图像的预测清晰度，确定所述待处理图像的清晰等级，
其中，所述清晰度预测模型是采用权利要求1～6中任一项所述的方法训练得到的。
8.一种确定视频清晰等级的方法，包括：
从待处理视频中提取多个关键图像帧；
以所述多个关键图像帧分别作为清晰度预测模型的输入，获得所述多个关键图像帧各自的预测清晰度；以及
基于所述多个关键图像帧的多个预测清晰度，确定所述待处理视频的清晰等级，
其中，所述清晰度预测模型是采用权利要求1～6中任一项所述的方法训练得到的。
9.根据权利要求8所述的方法，其中，确定所述待处理视频的清晰等级包括：
基于所述多个关键图像帧的预测清晰度，确定所述待处理视频的清晰度；以及
基于所述待处理视频的清晰度，确定所述待处理视频的清晰等级。
10.一种清晰度预测模型的训练装置，包括：
第一清晰度预测模块，用于以样本图像对中的两个样本图像分别作为所述清晰度预测模型的输入，获得所述两个样本图像各自的预测清晰度，其中，所述两个样本图像均具有指示实际清晰度的标签；
差值确定模块，用于确定所述两个样本图像的两个预测清晰度之间的第一差值，并确定所述两个样本图像的两个实际清晰度之间的第二差值；以及
模型训练模块，用于基于第一预定损失函数和所述第一差值与所述第二差值之间的差异，对所述清晰度预测模型进行训练，
其中，所述样本图像对是由多个样本图像中的任意两个样本图像组合得到的。
11.根据权利要求10所述的装置，其中，所述清晰度预测模型包括结构不同的多个处理分支、特征融合层和输出层；所述第一清晰度预测模型用于通过以下方式获得所述两个样本图像中任一图像的预测清晰度：
以所述任一图像作为所述多个处理分支的输入，获得所述任一图像的多个清晰度特征；
以所述多个清晰度特征作为所述特征融合层的输入，获得融合特征；以及
以所述融合特征作为所述输出层的输入，获得所述任一图像的预测清晰度。
12.根据权利要求10所述的装置，还包括：
第二清晰度预测模块，用于在所述模型训练模块对所述清晰度预测模型进行训练之后，以验证图像作为训练后的清晰度预测模型的输入，获得所述验证图像的预测清晰度，其中，所述验证图像具有指示实际清晰度的标签；以及
模型优化模块，用于基于第二预定损失函数及所述验证图像的预测清晰度与所述验证图像的实际清晰度之间的差异，优化所述清晰度预测模型。
13.根据权利要求10所述的装置，其中，所述模型训练模块包括：
差值确定子模块，用于确定所述差异与预定超参之间的差值，作为第三差值；以及
训练子模块，用于基于所述第一预定损失函数和所述第三差值，对所述清晰度预测模型进行训练。
14.根据权利要求13所述的装置，其中，所述第一预定损失函数采用以下公式表示：
L＝max(0，||diff(pred0，pred1)-diff(label0，label1)||2-margin)
其中，pred0、pred1分别为所述两个样本图像的两个预测清晰度，diff(pred0，pred1)为所述第一差值，label0、label1分别为所述两个样本图像的两个实际清晰度，diff(label0，label1)为所述第二差值，margin为所述预定超参，且所述预定超参的取值大于0。
15.根据权利要求10所述的装置，其中，所述第一清晰度预测模块可以通过以下方式获得所述两个样本图像各自的预测清晰度：
将所述两个样本图像输入以所述清晰度预测模型为主干模型的孪生网络中，以经由所述孪生网络中的两个网络分别处理所述两个样本图像，获得所述两个样本图像各自的预测清晰度。
16.一种确定图像清晰等级的装置，包括：
第三清晰度预测模块，用于以待处理图像作为清晰度预测模型的输入，获得所述待处理图像的预测清晰度；以及
第一清晰等级确定模块，用于基于所述待处理图像的预测清晰度，确定所述待处理图像的清晰等级，
其中，所述清晰度预测模型是采用权利要求10～15中任一项所述的装置训练得到的。
17.一种确定视频清晰等级的装置，包括：
图像帧提取模块，用于从待处理视频中提取多个关键图像帧；
第四清晰度预测模块，用于以所述多个关键图像帧分别作为清晰度预测模型的输入，获得所述多个关键图像帧各自的预测清晰度；以及
第二清晰等级确定模块，用于基于所述多个关键图像帧的多个预测清晰度，确定所述待处理视频的清晰等级，
其中，所述清晰度预测模型是采用权利要求10～15中任一项所述的装置训练得到的。
18.根据权利要求17所述的装置，其中，所述第二清晰等级确定模块包括：
清晰度确定子模块，用于基于所述多个关键图像帧的预测清晰度，确定所述待处理视频的清晰度；以及
清晰等级确定子模块，用于基于所述待处理视频的清晰度，确定所述待处理视频的清晰等级。
19.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～9中任一项所述的方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1～9中任一项所述的方法。
21.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1～9中任一项所述的方法。
CN202110622024.0A 2021-06-03 2021-06-03 清晰度预测模型的训练方法和确定清晰等级的方法 Active CN113362304B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110622024.0A CN113362304B (zh) 2021-06-03 2021-06-03 清晰度预测模型的训练方法和确定清晰等级的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110622024.0A CN113362304B (zh) 2021-06-03 2021-06-03 清晰度预测模型的训练方法和确定清晰等级的方法

Publications (2)

Publication Number Publication Date
CN113362304A true CN113362304A (zh) 2021-09-07
CN113362304B CN113362304B (zh) 2023-07-21

Family

ID=77531990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110622024.0A Active CN113362304B (zh) 2021-06-03 2021-06-03 清晰度预测模型的训练方法和确定清晰等级的方法

Country Status (1)

Country Link
CN (1) CN113362304B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807491A (zh) * 2019-11-05 2020-02-18 上海眼控科技股份有限公司 车牌图像清晰度模型训练方法、清晰度检测方法及装置
CN111314733A (zh) * 2020-01-20 2020-06-19 北京百度网讯科技有限公司 用于评估视频清晰度的方法和装置
CN111368758A (zh) * 2020-03-09 2020-07-03 苏宁云计算有限公司 一种人脸模糊度检测方法、装置、计算机设备及存储介质
CN111402121A (zh) * 2020-03-20 2020-07-10 上海眼控科技股份有限公司 图像风格的转换方法、装置、计算机设备和存储介质
US20210142450A1 (en) * 2019-11-07 2021-05-13 Shanghai Harvest Intelligence Technology Co., Ltd. Image Processing Method And Apparatus, Storage Medium, And Terminal

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807491A (zh) * 2019-11-05 2020-02-18 上海眼控科技股份有限公司 车牌图像清晰度模型训练方法、清晰度检测方法及装置
US20210142450A1 (en) * 2019-11-07 2021-05-13 Shanghai Harvest Intelligence Technology Co., Ltd. Image Processing Method And Apparatus, Storage Medium, And Terminal
CN111314733A (zh) * 2020-01-20 2020-06-19 北京百度网讯科技有限公司 用于评估视频清晰度的方法和装置
CN111368758A (zh) * 2020-03-09 2020-07-03 苏宁云计算有限公司 一种人脸模糊度检测方法、装置、计算机设备及存储介质
CN111402121A (zh) * 2020-03-20 2020-07-10 上海眼控科技股份有限公司 图像风格的转换方法、装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUAMING LIU等: "Image Inpainting Based on Generative Adversarial Networks", 《IEEE XPLORE》 *
李福卫;李玉惠;: "基于卷积神经网络的图像清晰度识别方法", 软件, no. 07 *

Also Published As

Publication number Publication date
CN113362304B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN113343803A (zh) 模型训练方法、装置、设备和存储介质
CN113627536B (zh) 模型训练、视频分类方法，装置，设备以及存储介质
CN113436100A (zh) 用于修复视频的方法、装置、设备、介质和产品
CN114187459A (zh) 目标检测模型的训练方法、装置、电子设备以及存储介质
CN110633717A (zh) 一种目标检测模型的训练方法和装置
CN114449343A (zh) 一种视频处理方法、装置、设备及存储介质
CN113627361A (zh) 人脸识别模型的训练方法、装置及计算机程序产品
CN113657411A (zh) 神经网络模型的训练方法、图像特征提取方法及相关装置
CN114973333B (zh) 人物交互检测方法、装置、设备以及存储介质
CN115527069A (zh) 物品识别和物品识别系统构建方法及装置
CN113139463B (zh) 用于训练模型的方法、装置、设备、介质和程序产品
CN113032251B (zh) 应用程序服务质量的确定方法、设备和存储介质
CN113362304B (zh) 清晰度预测模型的训练方法和确定清晰等级的方法
CN114330576A (zh) 模型处理方法、装置、图像识别方法及装置
CN114707638A (zh) 模型训练、对象识别方法及装置、设备、介质和产品
CN113806541A (zh) 情感分类的方法和情感分类模型的训练方法、装置
CN114612971A (zh) 人脸检测方法、模型训练方法、电子设备及程序产品
CN113657248A (zh) 人脸识别模型的训练方法、装置及计算机程序产品
CN113343979B (zh) 用于训练模型的方法、装置、设备、介质和程序产品
CN115131709B (zh) 视频类别预测方法、视频类别预测模型的训练方法及装置
CN113378781B (zh) 视频特征提取模型的训练方法、装置和电子设备
CN114022695A (zh) 一种检测模型的训练方法、装置、电子设备及存储介质
CN114863207A (zh) 目标检测模型的预训练方法、装置及电子设备
CN116866669A (zh) 视频推荐方法、装置及计算机程序产品
CN115294052A (zh) 一种屏幕破损区域的检测方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant