CN111210399B - 一种成像质量评价方法、装置及设备 - Google Patents

一种成像质量评价方法、装置及设备 Download PDF

Info

Publication number
CN111210399B
CN111210399B CN201811400085.7A CN201811400085A CN111210399B CN 111210399 B CN111210399 B CN 111210399B CN 201811400085 A CN201811400085 A CN 201811400085A CN 111210399 B CN111210399 B CN 111210399B
Authority
CN
China
Prior art keywords
quality
image
confidence
license plate
evaluated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811400085.7A
Other languages
English (en)
Other versions
CN111210399A (zh
Inventor
涂丛欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201811400085.7A priority Critical patent/CN111210399B/zh
Publication of CN111210399A publication Critical patent/CN111210399A/zh
Application granted granted Critical
Publication of CN111210399B publication Critical patent/CN111210399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明实施例提供了一种成像质量评价方法、装置及设备，方法包括：通过对图像中的定位区域进行识别，得到拍摄对象的置信度；将定位区域输入至预先训练得到的质量分类模型中，得到质量分类结果；基于拍摄对象的置信度及质量分类结果，计算待评价图像的质量评分；第一方面，自动计算图像的质量评分，实现了自动评价图像的成像质量，节省了人力；第二方面，结合考虑置信度和质量分类结果两方面因素进行质量评分，得到的评分结果准确度更高。

Description

一种成像质量评价方法、装置及设备
技术领域
本发明涉及图像处理技术领域，特别是涉及一种成像质量评价方法、装置及设备。
背景技术
一些场景中，通常需要收集成像质量较高的图像。比如，收集一些成像质量较高的车牌图像，以便于后续进行车牌识别；收集一些成像质量较高的人脸图像，以便于后续进行人脸识别；等等。这就需要对图像进行成像质量评价。
现有方案中，通常提取图像的频率特征、颜色特征、灰度投影特征等等，通过对这些特征进行分析，得到图像的质量评价结果。这种方案中，需要人工选择所要提取的特征、并且人工进行特征提取，耗费大量人力。
发明内容
本发明实施例的目的在于提供一种成像质量评价方法、装置及设备，以实现自动评价图像的成像质量，节省人力。
为达到上述目的，本发明实施例提供了一种成像质量评价方法，包括：
获取待评价图像；
在所述待评价图像中，定位拍摄对象所在的区域；
通过对所定位的区域进行识别，得到所述拍摄对象的置信度；
将所定位的区域输入至预先训练得到的质量分类模型中，得到质量分类结果；
基于所述拍摄对象的置信度及所述质量分类结果，计算所述待评价图像的质量评分。
可选的，所述在所述待评价图像中，定位拍摄对象所在的区域之后，还包括：
对所定位的区域进行扩展，得到扩展后的区域；
所述通过对所定位的区域进行识别，得到所述拍摄对象的置信度，包括：
通过对所述扩展后的区域进行识别，得到所述拍摄对象的置信度；
所述将所定位的区域输入至预先训练得到的质量分类模型中，得到质量分类结果，包括：
将所述扩展后的区域输入至预先训练得到的质量分类模型中，得到质量分类结果。
可选的，在所述通过对所定位的区域进行识别，得到所述拍摄对象的置信度之后，还包括：
判断得到的置信度是否大于预设阈值；
如果大于，执行所述将所定位的区域输入至预先训练得到的质量分类模型中，得到质量分类结果的步骤。
可选的，所述基于所述拍摄对象的置信度及所述质量分类结果，计算所述待评价图像的质量评分，包括：
在所述拍摄对象的置信度的基础上，增加利用所述质量分类结果得到的调整值，得到所述待评价图像的质量评分。
可选的，所述质量分类结果包括：清晰及清晰的置信度，或者模糊及模糊的置信度；所述在所述拍摄对象的置信度的基础上，增加利用所述质量分类结果得到的调整值，得到所述待评价图像的质量评分，包括：
利用如下算式，计算所述待评价图像的质量评分：
Q＝Q0+α*C*(Cred-X)；
其中，Q表示所述待评价图像的质量评分，Q0表示所述拍摄对象的置信度，α表示预设权重系数，C表示清晰或者模糊的分类结果，Cred表示分类结果的置信度，X表示预设值；α*C*(Cred-X)表示利用所述质量分类结果得到的调整值。
可选的，所述待评价图像为待评价车牌图像；所述在所述待评价图像中，定位拍摄对象所在的区域，包括：
在所述待评价车牌图像中，定位车牌区域；
所述通过对所定位的区域进行识别，得到所述拍摄对象的置信度，包括：
通过对所述车牌区域进行识别，得到车牌字符串及其置信度。
为达到上述目的，本发明实施例还提供了一种成像质量评价装置，包括：
获取模块，用于获取待评价图像；
定位模块，用于在所述待评价图像中，定位拍摄对象所在的区域；
识别模块，用于通过对所定位的区域进行识别，得到所述拍摄对象的置信度；
分类模块，用于将所定位的区域输入至预先训练得到的质量分类模型中，得到质量分类结果；
计算模块，用于基于所述拍摄对象的置信度及所述质量分类结果，计算所述待评价图像的质量评分。
可选的，所述装置还包括：
扩展模块，用于对所定位的区域进行扩展，得到扩展后的区域；
所述识别模块，具体用于：通过对所述扩展后的区域进行识别，得到所述拍摄对象的置信度；
所述分类模块，具体用于：将所述扩展后的区域输入至预先训练得到的质量分类模型中，得到质量分类结果。
可选的，所述装置还包括：
判断模块，用于判断得到的置信度是否大于预设阈值；如果大于，触发所述分类模块。
可选的，所述计算模块，具体用于：
在所述拍摄对象的置信度的基础上，增加利用所述质量分类结果得到的调整值，得到所述待评价图像的质量评分。
可选的，所述质量分类结果包括：清晰及清晰的置信度，或者模糊及模糊的置信度；所述计算模块，具体用于：
利用如下算式，计算所述待评价图像的质量评分：
Q＝Q0+α*C*(Cred-X)；
其中，Q表示所述待评价图像的质量评分，Q0表示所述拍摄对象的置信度，α表示预设权重系数，C表示清晰或者模糊的分类结果，Cred表示分类结果的置信度，X表示预设值；α*C*(Cred-X)表示利用所述质量分类结果得到的调整值。
可选的，所述待评价图像为待评价车牌图像；
所述定位模块，具体用于：在所述待评价车牌图像中，定位车牌区域；
所述识别模块，具体用于：通过对所述车牌区域进行识别，得到车牌字符串及其置信度。
为达到上述目的，本发明实施例还提供了一种电子设备，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一种成像质量评价方法。
为达到上述目的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种成像质量评价方法。
应用本发明实施例，第一方面，自动计算图像的质量评分，实现了自动评价图像的成像质量，节省了人力；第二方面，结合考虑置信度和质量分类结果两方面因素进行质量评分，得到的评分结果准确度更高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种评分流程示意图；
图2为本发明实施例提供的成像质量评价方法的第二种流程示意图；
图3为本发明实施例提供的成像质量评价方法的第三种流程示意图；
图4为本发明实施例提供的一种成像质量评价装置的结构示意图；
图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例的术语解释如下：
置信度：模型或算法输出结果的可靠程度。
质量评分：图像的质量分数，质量越好评分越高。
车牌检测/定位：检测图像中车牌所在位置，并确定车牌四个角点的坐标。
车牌识别：识别车牌的字符串。
模糊车牌：成像质量较差的车牌，与分辨率、光照、角度等相关。
质量类型标签：类型标签代表不同的质量类别，比如标签为1表示成像清晰、质量较好，标签为-1表示成像模糊、质量较差。
LSTM:(Long Short-Term Memory，长短期记忆网络)，是一种时间递归神经网络。
RCNN：(Regions with CNN features，基于区域的卷积网络方法)，是利用CNN(convolutional neural networks卷积神经网络)提取特征并实现目标检测的一种方法。
RPN：(Region Proposal Networks)区域推荐网络。
YOLO：(You Only Look Once)一种端到端的目标检测网络。
本发明的发明构思如下：
参考图1所示，第一步，输入含有车牌的图像，也就是将待评价的车牌图像输入至电子设备(执行主体)中进行处理。
第二步，通过车牌检测/定位，确定该图像中车牌所在的位置。比如，可以通过车牌定位模型，获取车牌在图像中的位置。
该车牌定位模型用于回归得到车牌区域的边界点。举例来说，可以通过具有车牌位置标定结果的图像数据，训练获得该车牌定位模型。该车牌定位模型可以包括FasterRCNN(快速RCNN)的二阶检测网络、RPN网络和RCNN网络；其中，可以使用FasterRCNN的二阶检测网络对图像进行检测，使用RPN网络提取检测出的定位框，使用RCNN网络来分类和回归车牌边界。或者，也可以使用YOLO网络对图像进行检测，具体的车牌定位模型不做限定。
第三步，在该图像中提取车牌块。
通过第二步获取车牌在图像中的位置后，分别向车牌的上下左右进行扩展，截取扩展后的区域作为车牌块。比如，可以向上下扩展1/5的车牌高度，向左右扩展1/5的车牌宽度。
第四步，将车牌块分别输入到车牌识别模型和质量分类模型中。
将第三步得到的车牌块输入到车牌识别模型。该车牌识别模型可以通过具有车牌字符标定结果的图像数据训练获得，该车牌识别模型用于识别车牌字符串并得到识别结果的置信度。可以使用LSTM网络训练得到该车牌识别模型，或者也可以使用其他网络，具体不做限定。
将该车牌识别模型输出的置信度作为图像质量的初始评分。另外，可以通过该车牌识别模型，过滤掉误识别结果的非车牌块。比如，如果车牌块的识别结果的置信度低于预设阈值，则认为该车牌块为误识别结果。
将第三步得到的车牌块输入到质量分类模型。该质量分类模型可以为任一种可实现二分类的网络模型。该质量分类模型可以通过已标定车牌质量类型的车牌样本训练得到，该车牌质量类型可以包括清晰和模糊两种类型，比如，如果样本成像清晰、质量较好，则标为“1”，如果样本成像模糊、质量较差，则标为“-1”。或者该车牌质量类型也可以为一个评分区间，具体不做限定。该车牌质量类型用于判断该车牌块是属于质量较好的清晰图像还是属于质量较差的模糊图像，并给出质量分类置信度。
质量分类模型的输出包括：车牌质量的分类结果C(包括清晰C＝1、模糊C＝-1两类)和分类的置信度Cred。
第五步，基于车牌识别模型输出的置信度(初始评分)、以及质量分类模型的输出的上述内容，计算图像的质量评分。
一种情况下，质量评分公式可以为：Q＝Q0+α*C*(Cred-X)，其中Q表示图像的质量评分，Q0表示识别得到的车牌字符串的置信度；α表示预设权重系数，比如，α∈(0,1)，可以依照实际应用需求对α值进行调整；C表示清晰或者模糊的分类结果，Cred表示分类结果的置信度，X表示预设值，比如可以为300、400等等，具体不做限定。
可见，应用上述方案，第一方面，通过车牌定位模型自动定位图像中的车牌区域，不需要人工截取车牌区域，节省了人力。第二方面，本方案的场景适用性较强，比如车牌量较少的卡口、出入口场景，或者车牌量较多的电警、微卡口、治安监控场景等，都可以应用本方案。第三方面，结合考虑置信度和质量分类结果两方面因素进行质量评分，得到的评分结果准确度更高。第四方面，本方案中，训练得到质量分类模型过程中，采用具有确定标签1(成像清晰)和-1(成像模糊)的样本，不采用介于清晰和模糊之间的样本，使得网络模型学习到质量分类的有效图像特征，保证了模型分类的准确性。第五方面，本方案中，可以依照实际应用需求，来调整质量评分计算公式中的权重系数，该公式可以适应场景和各种应用需求，适应性强。
基于相同的发明构思，本发明实施例提供了一种成像质量评价方法、装置及设备。该方法及装置可以应用于PC(personal computer，个人计算机)、手机、平板电脑、服务器等各种电子设备，具体不做限定。下面首先对本发明实施例提供的成像质量评价方法进行详细介绍。为了方便描述，以下实施例中将执行主体称为评价设备。
图2为本发明实施例提供的成像质量评价方法的第二种流程示意图，包括：
S201：获取待评价图像。
待评价图像即为需要进行成像质量评价的图像。举例来说，待评价图像可以为车牌图像、人脸图像，等等，具体不做限定。
S202：在该待评价图像中，定位拍摄对象所在的区域。
举例来说，如果待评价图像为车牌图像，则图像中拍摄对象所在的区域即为车牌区域。这种情况下，S202包括：在所述待评价车牌图像中，定位车牌区域。
比如，可以通过车牌定位模型，定位图像中的车牌区域。该车牌定位模型用于回归得到车牌区域的边界点。举例来说，可以通过具有车牌位置标定结果的图像数据，训练获得该车牌定位模型。该车牌定位模型可以包括FasterRCNN(快速RCNN)的二阶检测网络、RPN网络和RCNN网络；其中，可以使用FasterRCNN的二阶检测网络对图像进行检测，使用RPN网络提取检测出的定位框，使用RCNN网络来分类和回归车牌边界。或者，也可以使用YOLO网络对图像进行检测，具体的车牌定位模型不做限定。
再举一例，如果待评价图像为人脸图像，则图像中拍摄对象所在的区域即为人脸区域。比如，可以通过人脸定位模型，定位图像中的人脸区域。该人脸定位模型用于回归得到人脸区域的边界点。举例来说，可以通过具有人脸位置标定结果的图像数据，训练获得该人脸定位模型。该人脸定位模型可以包括FasterRCNN(快速RCNN)的二阶检测网络、RPN网络和RCNN网络；其中，可以使用FasterRCNN的二阶检测网络对图像进行检测，使用RPN网络提取检测出的定位框，使用RCNN网络来分类和回归人脸边界。或者，也可以使用YOLO网络对图像进行检测，具体的人脸定位模型不做限定。
或者，待评价图像中也可以包括其他拍摄对象，不再一一列举。S202中定位出的区域可以有一个或多个，如果有多个，则后续步骤中，对这些区域分别进行处理。
可以理解，即使相机针对拍摄对象进行图像采集，也难免会采集到拍摄对象以外的其他内容，本实施例中，定位图像中拍摄对象所在的区域，只对该部分区域进行处理，相比于对整张图像进行处理，可以提高处理效率。
S203：通过对所定位的区域进行识别，得到该拍摄对象的置信度。
作为一种实施方式，可以直接对S202中所定位的区域进行识别。
或者，作为另一种实施方式，可以先对S202中所定位的区域进行扩展，得到扩展后的区域，然后再通过对该扩展后的区域进行识别，得到该拍摄对象的置信度。本实施方式中，如果所定位的区域有遗漏的内容，通过对所定位的区域进行扩展，可以减少遗漏的内容。
一种情况下，可以以S202中所定位的区域为基准向四周扩展。举例来说，假设S201中获取的是待评价车牌图像，S202中定位出车牌区域，则本实施方式中，可以分别向车牌区域的上下左右进行扩展，比如，可以向上下扩展1/5的车牌高度，向左右扩展1/5的车牌宽度。具体扩展方式不做限定。
如果待评价图像为车牌图像，则可以通过对车牌区域或者扩展后的区域进行识别，得到车牌字符串及其置信度。比如，可以利用车牌识别模型对车牌区域或者扩展后的区域进行识别，该车牌识别模型可以通过具有车牌字符标定结果的图像数据训练获得，该车牌识别模型用于识别车牌字符串并得到识别结果的置信度。可以使用LSTM网络训练得到该车牌识别模型，或者也可以使用其他网络，具体不做限定。
如果待评价图像为人脸图像，则可以利用人脸识别模型对人脸区域(或者对人脸区域扩展后的区域)进行识别，识别结果可以为人脸属性信息及其置信度。该人脸识别模型可以通过具有人脸属性标定结果的图像数据训练获得，该人脸识别模型用于识别人脸属性并得到识别结果的置信度。可以使用LSTM网络训练得到该人脸属性识别模型，或者也可以使用其他网络，具体不做限定。
S204：将所定位的区域输入至预先训练得到的质量分类模型中，得到质量分类结果。
S203与S204的执行顺序不做限定。如果先执行S203，后执行S204，则一种实施方式中，可以先判断S203中得到的置信度是否大于预设阈值；如果大于，再执行S204。
本实施方式中，如果S203中得到的置信度不大于预设阈值，则表示是误识别，对误识别区域进行过滤。如上所述，S202中可以定位出一个或多个区域，如果有的定位区域的置信度大于预设阈值，有的定位区域的置信度不大于预设阈值，则将置信度不大于预设阈值的定位区域过滤掉，只将未被过滤的区域输入质量分类模型中。该质量分类模型可以为任一种可实现二分类的网络模型。
上述一种实施方式中，未对S202中所定位的区域进行扩展，这种情况下，直接将S202中所定位的区域输入该质量分类模型。上述另一种实施方式中，对S202中所定位的区域进行了扩展，得到扩展后的区域，这种情况下，可以将扩展后的区域输入该质量分类模型中，得到质量分类结果。或者，这种情况下，在对扩展后的区域进行识别，得到拍摄对象的置信度之后，也可以判断该置信度是否大于预设阈值；如果大于，再将扩展后的区域输入该质量分类模型。
以待评价图像为车牌图像为例来说，该质量分类模型可以通过已标定车牌质量类型的车牌样本训练得到，该车牌质量类型可以包括清晰和模糊两种类型，比如，如果样本成像清晰、质量较好，则标为“1”，如果样本成像模糊、质量较差，则标为“-1”。或者该车牌质量类型也可以为一个评分区间，具体不做限定。该车牌质量类型用于判断车牌区域(或者扩展后的区域)是属于质量较好的清晰图像还是属于质量较差的模糊图像，并给出质量分类置信度。
质量分类模型的输出包括：车牌质量的分类结果C(包括清晰C＝1、模糊C＝-1两类)和分类的置信度Cred。
以待评价图像为人脸图像为例来说，该质量分类模型可以通过已标定人脸质量类型的人脸样本训练得到，该人脸质量类型可以包括清晰和模糊两种类型，比如，如果样本成像清晰、质量较好，则标为“1”，如果样本成像模糊、质量较差，则标为“-1”。或者该人脸质量类型也可以为一个评分区间，具体不做限定。该人脸质量类型用于判断人脸区域(或者扩展后的区域)是属于质量较好的清晰图像还是属于质量较差的模糊图像，并给出质量分类置信度。
质量分类模型的输出包括：人脸质量的分类结果C(包括清晰C＝1、模糊C＝-1两类)和分类的置信度Cred。
S205：基于该拍摄对象的置信度及该质量分类结果，计算该待评价图像的质量评分。
本实施例中，结合考虑拍摄对象的置信度和质量分类结果两方面因素进行质量评分。举例来说，可以分别为拍摄对象的置信度和该质量分类结果分配权重系数，假设拍摄对象的置信度的权重系数为γ，质量分类结果的权重系数为β，则质量评分可以为：γ*拍摄对象的置信度+β*质量分类结果。
或者，作为一种实施方式，S205可以包括：在所述拍摄对象的置信度的基础上，增加利用所述质量分类结果得到的调整值，得到所述待评价图像的质量评分。
具体的，可以利用如下算式，计算所述待评价图像的质量评分：
Q＝Q0+α*C*(Cred-X)；
其中，Q表示所述待评价图像的质量评分，Q0表示所述拍摄对象的置信度，α表示预设权重系数，C表示清晰或者模糊的分类结果，Cred表示分类结果的置信度，X表示预设值；α*C*(Cred-X)表示利用所述质量分类结果得到的调整值。举例来说，α∈(0,1)，可以依照实际应用需求对α值进行调整，X可以为300、400，等等，具体不做限定。
应用本发明实施例，第一方面，自动计算图像的质量评分，实现了自动评价图像的成像质量，节省了人力；第二方面，结合考虑置信度和质量分类结果两方面因素进行质量评分，得到的评分结果准确度更高。
图3为本发明实施例提供的成像质量评价方法的第三种流程示意图，包括：
S301：获取待评价车牌图像。
S302：在该待评价车牌图像中，定位车牌区域。
比如，可以通过车牌定位模型，定位图像中的车牌区域。该车牌定位模型用于回归得到车牌区域的边界点。举例来说，可以通过具有车牌位置标定结果的图像数据，训练获得该车牌定位模型。该车牌定位模型可以包括FasterRCNN(快速RCNN)的二阶检测网络、RPN网络和RCNN网络；其中，可以使用FasterRCNN的二阶检测网络对图像进行检测，使用RPN网络提取检测出的定位框，使用RCNN网络来分类和回归车牌边界。或者，也可以使用YOLO网络对图像进行检测，具体的车牌定位模型不做限定。
可以理解，即使相机针对车牌进行图像采集，也难免会采集到车牌以外的其他内容，本实施例中，定位图像中车牌所在的区域，只对该部分区域进行处理，相比于对整张图像进行处理，可以提高处理效率。
S303：对该车牌区域进行扩展，得到扩展后的区域。
一种情况下，可以以该车牌区域为基准向四周扩展。举例来说，可以分别向车牌区域的上下左右进行扩展，比如，可以向上下扩展1/5的车牌高度，向左右扩展1/5的车牌宽度。具体扩展方式不做限定。
如果所定位的区域有遗漏的内容，通过对所定位的车牌区域进行扩展，可以减少遗漏的内容。
S304：通过对该扩展后的区域进行识别，得到车牌字符串及其置信度。
比如，可以利用车牌识别模型对该扩展后的区域进行识别。该车牌识别模型可以通过具有车牌字符标定结果的图像数据训练获得，该车牌识别模型用于识别车牌字符串并得到识别结果的置信度。可以使用LSTM网络训练得到该车牌识别模型，或者也可以使用其他网络，具体不做限定。
S305：将该扩展后的区域输入至预先训练得到的质量分类模型中，得到质量分类结果。
该质量分类模型可以为任一种可实现二分类的网络模型。该质量分类模型可以通过已标定车牌质量类型的车牌样本训练得到，该车牌质量类型可以包括清晰和模糊两种类型，比如，如果样本成像清晰、质量较好，则标为“1”，如果样本成像模糊、质量较差，则标为“-1”。或者该车牌质量类型也可以为一个评分区间，具体不做限定。该车牌质量类型用于判断扩展后的区域是属于质量较好的清晰图像还是属于质量较差的模糊图像，并给出质量分类置信度。
质量分类模型的输出包括：车牌质量的分类结果C(包括清晰C＝1、模糊C＝-1两类)和分类的置信度Cred。
S306：基于该车牌字符串的置信度及该质量分类结果，计算该待评价车牌图像的质量评分。
本实施例中，结合考虑拍摄对象的置信度和质量分类结果两方面因素进行质量评分。举例来说，可以分别为拍摄对象的置信度和该质量分类结果分配权重系数，假设拍摄对象的置信度的权重系数为α，质量分类结果的权重系数为β，则质量评分可以为：α*拍摄对象的置信度+β*质量分类结果。
或者，作为一种实施方式，S205可以包括：在所述拍摄对象的置信度的基础上，增加利用所述质量分类结果得到的调整值，得到所述待评价图像的质量评分。
具体的，可以利用如下算式，计算所述待评价图像的质量评分：
Q＝Q0+α*C*(Cred-X)；
其中，Q表示所述待评价图像的质量评分，Q0表示所述拍摄对象的置信度，α表示预设权重系数，C表示清晰或者模糊的分类结果，Cred表示分类结果的置信度，X表示预设值；α*C*(Cred-X)表示利用所述质量分类结果得到的调整值。举例来说，α∈(0,1)，可以依照实际应用需求对α值进行调整，X可以为300、400，等等，具体不做限定。
应用本发明实施例，第一方面，自动计算图像的质量评分，实现了自动评价图像的成像质量，节省了人力；第二方面，结合考虑置信度和质量分类结果两方面因素进行质量评分，得到的评分结果准确度更高。第三方面，通过车牌定位模型自动定位图像中的车牌区域，不需要人工截取车牌区域，节省了人力。第四方面，本方案的场景适用性较强，比如车牌量较少的卡口、出入口场景，或者车牌量较多的电警、微卡口、治安监控场景等，都可以应用本方案。第五方面，本方案中，训练得到质量分类模型过程中，采用具有确定标签1(成像清晰)和-1(成像模糊)的样本，不采用介于清晰和模糊之间的样本，使得网络模型学习到质量分类的有效图像特征，保证了模型分类的准确性。第六方面，本方案中，可以依照实际应用需求，来调整质量评分计算公式中的权重系数，该公式可以适应场景和各种应用需求，适应性强。
与上述方法实施例相对应，本发明实施例还提供一种成像质量评价装置，如图4所示，包括：
获取模块401，用于获取待评价图像；
定位模块402，用于在所述待评价图像中，定位拍摄对象所在的区域；
识别模块403，用于通过对所定位的区域进行识别，得到所述拍摄对象的置信度；
分类模块404，用于将所定位的区域输入至预先训练得到的质量分类模型中，得到质量分类结果；
计算模块405，用于基于所述拍摄对象的置信度及所述质量分类结果，计算所述待评价图像的质量评分。
作为一种实施方式，所述装置还包括：扩展模块(图中未示出)，用于对所定位的区域进行扩展，得到扩展后的区域；
识别模块403具体用于：通过对所述扩展后的区域进行识别，得到所述拍摄对象的置信度；
分类模块404具体用于：将所述扩展后的区域输入至预先训练得到的质量分类模型中，得到质量分类结果。
作为一种实施方式，所述装置还包括：判断模块(图中未示出)，用于判断得到的置信度是否大于预设阈值；如果大于，触发分类模块404。
作为一种实施方式，计算模块405具体用于：
在所述拍摄对象的置信度的基础上，增加利用所述质量分类结果得到的调整值，得到所述待评价图像的质量评分。
作为一种实施方式，所述质量分类结果包括：清晰及清晰的置信度，或者模糊及模糊的置信度；计算模块405具体用于：
利用如下算式，计算所述待评价图像的质量评分：
Q＝Q0+α*C*(Cred-X)；
其中，Q表示所述待评价图像的质量评分，Q0表示所述拍摄对象的置信度，α表示预设权重系数，C表示清晰或者模糊的分类结果，Cred表示分类结果的置信度，X表示预设值；α*C*(Cred-X)表示利用所述质量分类结果得到的调整值。
作为一种实施方式，所述待评价图像为待评价车牌图像；
定位模块402具体用于：在所述待评价车牌图像中，定位车牌区域；
识别模块403具体用于：通过对所述车牌区域进行识别，得到车牌字符串及其置信度。
应用本发明实施例，第一方面，自动计算图像的质量评分，实现了自动评价图像的成像质量，节省了人力；第二方面，结合考虑置信度和质量分类结果两方面因素进行质量评分，得到的评分结果准确度更高。
本发明实施例还提供一种电子设备，如图5所示，包括处理器501和存储器502；
存储器502，用于存放计算机程序；
处理器501，用于执行存储器502上所存放的程序时，实现上述任一种成像质量评价方法。
上述电子设备提到的存储器可以包括随机存取存储器(Random AccessMemory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种成像质量评价方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、设备实施例、以及计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种成像质量评价方法，其特征在于，包括：
获取待评价图像；
在所述待评价图像中，定位拍摄对象所在的区域；
通过对所定位的区域进行识别，得到所述拍摄对象的置信度；
将所定位的区域输入至预先训练得到的质量分类模型中，得到质量分类结果；
所述质量分类结果包括：清晰及清晰的置信度，或者模糊及模糊的置信度；利用如下算式，计算所述待评价图像的质量评分：
Q＝Q0+α*C*(Cred-X)；
其中，Q表示所述待评价图像的质量评分，Q0表示所述拍摄对象的置信度，α表示预设权重系数，C表示清晰或者模糊的分类结果，Cred表示分类结果的置信度，X表示预设值；α*C*(Cred-X)表示利用所述质量分类结果得到的调整值。
2.根据权利要求1所述的方法，其特征在于，所述在所述待评价图像中，定位拍摄对象所在的区域之后，还包括：
对所定位的区域进行扩展，得到扩展后的区域；
所述通过对所定位的区域进行识别，得到所述拍摄对象的置信度，包括：
通过对所述扩展后的区域进行识别，得到所述拍摄对象的置信度；
所述将所定位的区域输入至预先训练得到的质量分类模型中，得到质量分类结果，包括：
将所述扩展后的区域输入至预先训练得到的质量分类模型中，得到质量分类结果。
3.根据权利要求1所述的方法，其特征在于，在所述通过对所定位的区域进行识别，得到所述拍摄对象的置信度之后，还包括：
判断得到的置信度是否大于预设阈值；
如果大于，执行所述将所定位的区域输入至预先训练得到的质量分类模型中，得到质量分类结果的步骤。
4.根据权利要求1所述的方法，其特征在于，所述待评价图像为待评价车牌图像；所述在所述待评价图像中，定位拍摄对象所在的区域，包括：
在所述待评价车牌图像中，定位车牌区域；
所述通过对所定位的区域进行识别，得到所述拍摄对象的置信度，包括：
通过对所述车牌区域进行识别，得到车牌字符串及其置信度。
5.一种成像质量评价装置，其特征在于，包括：
获取模块，用于获取待评价图像；
定位模块，用于在所述待评价图像中，定位拍摄对象所在的区域；
识别模块，用于通过对所定位的区域进行识别，得到所述拍摄对象的置信度；
分类模块，用于将所定位的区域输入至预先训练得到的质量分类模型中，得到质量分类结果；
计算模块，用于基于所述拍摄对象的置信度及所述质量分类结果，计算所述待评价图像的质量评分；
所述质量分类结果包括：清晰及清晰的置信度，或者模糊及模糊的置信度；所述计算模块，具体用于：
利用如下算式，计算所述待评价图像的质量评分：
Q＝Q0+α*C*(Cred-X)；
其中，Q表示所述待评价图像的质量评分，Q0表示所述拍摄对象的置信度，α表示预设权重系数，C表示清晰或者模糊的分类结果，Cred表示分类结果的置信度，X表示预设值；α*C*(Cred-X)表示利用所述质量分类结果得到的调整值。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
扩展模块，用于对所定位的区域进行扩展，得到扩展后的区域；
所述识别模块，具体用于：通过对所述扩展后的区域进行识别，得到所述拍摄对象的置信度；
所述分类模块，具体用于：将所述扩展后的区域输入至预先训练得到的质量分类模型中，得到质量分类结果。
7.根据权利要求5所述的装置，其特征在于，所述装置还包括：
判断模块，用于判断得到的置信度是否大于预设阈值；如果大于，触发所述分类模块。
8.根据权利要求5所述的装置，其特征在于，所述待评价图像为待评价车牌图像；
所述定位模块，具体用于：在所述待评价车牌图像中，定位车牌区域；
所述识别模块，具体用于：通过对所述车牌区域进行识别，得到车牌字符串及其置信度。
9.一种电子设备，其特征在于，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-4任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法步骤。
CN201811400085.7A 2018-11-22 2018-11-22 一种成像质量评价方法、装置及设备 Active CN111210399B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811400085.7A CN111210399B (zh) 2018-11-22 2018-11-22 一种成像质量评价方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811400085.7A CN111210399B (zh) 2018-11-22 2018-11-22 一种成像质量评价方法、装置及设备

Publications (2)

Publication Number Publication Date
CN111210399A CN111210399A (zh) 2020-05-29
CN111210399B true CN111210399B (zh) 2023-10-17

Family

ID=70789333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811400085.7A Active CN111210399B (zh) 2018-11-22 2018-11-22 一种成像质量评价方法、装置及设备

Country Status (1)

Country Link
CN (1) CN111210399B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914834B (zh) * 2020-06-18 2024-04-02 绍兴埃瓦科技有限公司 图像识别方法、装置、计算机设备和存储介质
CN111881775B (zh) * 2020-07-07 2022-04-08 烽火通信科技股份有限公司 一种人脸实时识别方法和装置
CN112287898A (zh) * 2020-11-26 2021-01-29 深源恒际科技有限公司 一种图像的文本检测质量评价方法及系统
CN113470116B (zh) * 2021-06-16 2023-09-01 杭州海康威视数字技术股份有限公司 对摄像装置标定数据的验证方法、装置、设备及存储介质
CN114219803B (zh) * 2022-02-21 2022-07-15 浙江大学 一种三阶段图像质量评估的检测方法与系统
CN114572252B (zh) * 2022-05-06 2022-08-02 新石器慧通（北京）科技有限公司 基于驾驶权限认证的无人车控制方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8254647B1 (en) * 2012-04-16 2012-08-28 Google Inc. Facial image quality assessment
JP2013074221A (ja) * 2011-09-29 2013-04-22 Hitachi High-Technologies Corp 画像分類支援を行う荷電粒子線装置
CN104978578A (zh) * 2015-04-21 2015-10-14 深圳市前海点通数据有限公司 手机拍照文本图像质量评估方法
JP2017083427A (ja) * 2015-10-30 2017-05-18 キヤノン株式会社 信頼度生成装置、信頼度生成方法、および撮像装置
CN106920229A (zh) * 2017-01-22 2017-07-04 北京奇艺世纪科技有限公司 图像模糊区域自动检测方法及系统
CN107203754A (zh) * 2017-05-26 2017-09-26 北京邮电大学 一种基于深度学习的车牌定位方法及装置
CN108121984A (zh) * 2016-11-30 2018-06-05 杭州海康威视数字技术股份有限公司 一种字符识别方法及装置
KR20180109658A (ko) * 2017-03-27 2018-10-08 삼성전자주식회사 영상 처리 방법과 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160103398A (ko) * 2015-02-24 2016-09-01 삼성전자주식회사 이미지의 품질 측정 방법 및 장치
US10366482B2 (en) * 2015-07-17 2019-07-30 Panasonic Corporation Or North America Method and system for automated video image focus change detection and classification
US9858496B2 (en) * 2016-01-20 2018-01-02 Microsoft Technology Licensing, Llc Object detection and classification in images

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013074221A (ja) * 2011-09-29 2013-04-22 Hitachi High-Technologies Corp 画像分類支援を行う荷電粒子線装置
US8254647B1 (en) * 2012-04-16 2012-08-28 Google Inc. Facial image quality assessment
CN104978578A (zh) * 2015-04-21 2015-10-14 深圳市前海点通数据有限公司 手机拍照文本图像质量评估方法
JP2017083427A (ja) * 2015-10-30 2017-05-18 キヤノン株式会社 信頼度生成装置、信頼度生成方法、および撮像装置
CN108121984A (zh) * 2016-11-30 2018-06-05 杭州海康威视数字技术股份有限公司 一种字符识别方法及装置
CN106920229A (zh) * 2017-01-22 2017-07-04 北京奇艺世纪科技有限公司 图像模糊区域自动检测方法及系统
KR20180109658A (ko) * 2017-03-27 2018-10-08 삼성전자주식회사 영상 처리 방법과 장치
CN107203754A (zh) * 2017-05-26 2017-09-26 北京邮电大学 一种基于深度学习的车牌定位方法及装置

Also Published As

Publication number Publication date
CN111210399A (zh) 2020-05-29

Similar Documents

Publication Publication Date Title
CN111210399B (zh) 一种成像质量评价方法、装置及设备
CN109492577B (zh) 一种手势识别方法、装置及电子设备
CN110580428A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN110390229B (zh) 一种人脸图片筛选方法、装置、电子设备及存储介质
CN109670383B (zh) 视频遮蔽区域选取方法、装置、电子设备及系统
CN111127508B (zh) 一种基于视频的目标跟踪方法及装置
CN110956615B (zh) 图像质量评估模型训练方法、装置、电子设备及存储介质
CN111767783A (zh) 行为检测、模型训练方法、装置、电子设备及存储介质
CN111354024B (zh) 关键目标的行为预测方法、ai服务器及存储介质
CN111898581A (zh) 动物检测方法、装置、电子设备及可读存储介质
CN110969045B (zh) 一种行为检测方法、装置、电子设备和存储介质
CN110866428B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN111814776B (zh) 一种图像处理方法、设备、服务器及存储介质
CN110610123A (zh) 一种多目标车辆检测方法、装置、电子设备及存储介质
CN112766218A (zh) 基于非对称联合教学网络的跨域行人重识别方法和装置
CN112733666A (zh) 一种难例图像的搜集、及模型训练方法、设备及存储介质
CN115880260A (zh) 基站施工的检测方法、装置、设备及计算机可读存储介质
CN110298302B (zh) 一种人体目标检测方法及相关设备
CN111179245B (zh) 图像质量检测方法、装置、电子设备和存储介质
CN111178347A (zh) 证件图像的模糊度检测方法、装置、设备及存储介质
CN115984780A (zh) 工业固体废物出入库判别方法、装置、电子设备及介质
CN115661475A (zh) 一种图像异物识别方法、装置、设备及存储介质
CN112308061B (zh) 一种车牌字符识别方法及装置
CN112784691B (zh) 一种目标检测模型训练方法、目标检测方法和装置
CN115311680A (zh) 人体图像质量检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant