CN110348440A - 牌照检测方法、装置、电子设备及存储介质 - Google Patents

牌照检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110348440A
CN110348440A CN201910614736.0A CN201910614736A CN110348440A CN 110348440 A CN110348440 A CN 110348440A CN 201910614736 A CN201910614736 A CN 201910614736A CN 110348440 A CN110348440 A CN 110348440A
Authority
CN
China
Prior art keywords
license plate
area
plate area
vehicle
rotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910614736.0A
Other languages
English (en)
Inventor
王旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN201910614736.0A priority Critical patent/CN110348440A/zh
Publication of CN110348440A publication Critical patent/CN110348440A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开公开了一种牌照检测方法、装置、电子设备及存储介质。该方法包括：在图像的车辆区域中确定牌照区域；如果所述牌照区域的边与所述图像中对应的边不平行，则根据所述牌照区域的边与所述图像中对应的边的夹角旋转所述牌照区域，旋转后牌照区域的边与所述图像中对应的边平行；根据旋转后牌照区域的关键点和所述夹角，在所述车辆区域中确定修正后的牌照区域。本公开实施例可以提高牌照检测的准确率。

Description

牌照检测方法、装置、电子设备及存储介质
技术领域
本公开实施例涉及图像检测技术，尤其涉及一种牌照检测方法、装置、电子设备及存储介质。
背景技术
随着图像识别技术的发展，图像识别技术的应用范围越来越广泛。例如，在牌照检测领域中，需要先对一张图像进行牌照检测，获取该图像中的车辆区域，并在检测到车辆区域中检测牌照，得到牌照区域。
目前，由于图像的拍摄角度很难与地面保持平行，和/或图像的拍摄方向很难与车辆的运动方向相同等，从而，牌照的实际区域相较于图像区域来说，通常为倾斜的平行四边形。
现有的牌照检测方法通常是直接检测包含牌照的区域的四个顶点，从而确定包含牌照的矩形区域作为牌照区域。实际上包含牌照的实际区域通常为倾斜区域，但现有的牌照检测方法针对倾斜区域的检测准确率比针对矩形区域的检测准确率低。尤其是在视频中进行牌照检测时，后续视频帧基于前述视频帧检测到的牌照区域进行处理，会导致后续视频帧的处理结果的误差越来越大。而且，随着牌照实际区域的倾斜角度越大，检测到的牌照区域越不准确。
发明内容
本公开实施例提供一种牌照检测方法、装置、电子设备及存储介质，可以提高牌照检测的准确率。
第一方面，本公开实施例提供了一种牌照检测方法，该方法包括：
在图像的车辆区域中确定牌照区域；
如果所述牌照区域的边与所述图像中对应的边不平行，则根据所述牌照区域的边与所述图像中对应的边的夹角旋转所述牌照区域，旋转后牌照区域的边与所述图像中对应的边平行；
根据旋转后牌照区域的关键点和所述夹角，在所述车辆区域中确定修正后的牌照区域。
第二方面，本公开实施例还提供了一种牌照检测装置，该装置包括：
牌照区域获取模块，用于在图像的车辆区域中确定牌照区域；
牌照区域旋转模块，用于如果所述牌照区域的边与所述图像中对应的边不平行，则根据所述牌照区域的边与所述图像中对应的边的夹角旋转所述牌照区域，旋转后牌照区域的边与所述图像中对应的边平行；
牌照区域修正模块，用于根据旋转后牌照区域的关键点和所述夹角，在所述车辆区域中确定修正后的牌照区域。
第三方面，本公开实施例还提供了一种电子设备，该电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例所述的牌照检测方法。
第四方面，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例所述的牌照检测方法。
本公开实施例通过在车辆区域中检测牌照，并在检测到的牌照区域的边与图像中对应的边不平行时，根据牌照区域的边与图像中对应的边之间的夹角对牌照区域进行旋转，直至牌照区域的边与图像中对应的边平行，根据旋转后的牌照区域的关键点，确定旋转前的牌照区域的关键点，从而修正牌照区域，解决了现有技术中倾斜牌照的检测准确率低的问题，将倾斜牌照的检测，转换为旋转后的矩形拍照的检测，提高牌照的检测准确率。
附图说明
图1a是本公开实施例一中的一种牌照检测方法的流程图；
图1b是本公开实施例一中的一种车辆区域的示意图；
图1c是本公开实施例一中的一种旋转前牌照区域的示意图；
图1d是本公开实施例一中的一种旋转后牌照区域的示意图；
图2是本公开实施例二中的一种牌照检测方法的流程图；
图3是本公开实施例三中的一种牌照检测方法的流程图；
图4是本公开实施例四中的一种牌照检测装置的结构示意图；
图5是本公开实施例五中的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
实施例一
图1a为本公开实施例一中的一种牌照检测方法的流程图，本实施例可适用于在视频中检测到的车辆区域，获取包含牌照的区域的情况，该方法可以由牌照检测装置来执行，该装置可以采用软件和/或硬件的方式实现，该装置可以配置于电子设备中，例如终端设备和服务器，典型的终端设备包括手机、车载终端或笔记本电脑等。如图1a所示，该方法具体包括如下步骤：
S110，在图像的车辆区域中确定牌照区域。
图像可以是视频中的视频帧，还可以是单独拍摄的图像。其中，视频可以是预先录制的视频，也可以是实时录制的视频。相应的，图像可以是预先录制的视频中任意一个视频帧，或者是在视频录制的过程中实时获取的视频帧。
预先在图像中进行车辆检测，确定图像中的车辆区域。具体的，车辆检测可以通过预先训练的机器学习模型实现，还可以通过其他算法实现，甚至可以通过人工标注，对此，本公开实施例不做具体限制。
牌照区域具体是指包含牌照的区域。
在车辆区域中确定牌照区域的方法可以是通过预先训练的机器学习模型实现，还可以通过其他算法实现，对此，本公开实施例不做具体限制。
可选的，所述在图像的车辆区域中确定牌照区域，包括：在图像的车辆区域中确定牌照矩形区域，所述牌照矩形区域为包含牌照的最小矩形区域；在所述牌照矩形区域中，通过直线检测方法检测所述牌照矩形区域中牌照边作为所述牌照区域的边；计算所述牌照区域的边与所述图像中对应的边的夹角，其中，所述牌照区域的边与所述夹角确定所述牌照区域；或在所述牌照矩形区域中，通过预先训练的机器学习模型确定所述牌照区域的对角顶点坐标，以及所述牌照区域的边与所述图像中对应的边的夹角。
具体的，牌照矩形区域用于缩小牌照的检测范围，如可以是包含牌照的最小矩形区域。牌照矩形区域的确定方法可以是采用现有的牌照识别算法实现，相对于倾斜牌照区域的确定，牌照矩形区域的检测准确率较高，由此，可以先确定牌照矩形区域，后续在牌照矩形区域中检测倾斜牌照，提高牌照检测速度和准确率。例如，牌照识别算法包括：基于形状方法、基于色调方法、基于纹理方法或基于文字特征方法等，此外还可以是其他算法，对此，本公开实施例不做具体限制。
牌照边可以是指牌照实际的边，可以通过直线检测方法得到。具体的，牌照边可以用向量表示，同样，可以将图像中对应的边用向量表示，计算两个向量之间的夹角作为牌照区域的边与图像中对应的边的夹角。其中，该夹角可以通过向量夹角公式计算得到。实际上，在牌照矩形区域中，牌照边以及牌照边与图像中对应的边之间的夹角，足可以描述牌照区域的具体位置范围，此时，可以不需要进一步根据牌照边以及夹角确定牌照矩形区域中的牌照区域的具体位置范围。而且此时确定的牌照区域的检测结果不准，从而无需进一步计算牌照区域的关键点，以得到牌照区域的位置范围。
预先训练的机器学习模型用于检测实际牌照的对角顶点和牌照边与图像中对应的边之间的夹角。实际上，在牌照矩形区域中，确定牌照区域的对角顶点坐标以及牌照边与图像中对应的边之间的夹角，可以确定牌照矩形区域中的牌照区域。同样由于现有的倾斜牌照检测方法不准确，此时，无需确定倾斜牌照区域的位置范围。
通过在车辆区域中确定牌照矩形区域，并在更小范围内检测实际牌照，得到牌照的边和夹角或者对角顶点坐标和夹角，用于确定牌照区域，提高牌照区域的夹角的准确率，在更小范围内检测牌照，提高牌照检测速度。
S120，如果所述牌照区域的边与所述图像中对应的边不平行，则根据所述牌照区域的边与所述图像中对应的边的夹角旋转所述牌照区域，旋转后牌照区域的边与所述图像中对应的边平行。
牌照通常是平行四边形，牌照区域的边即牌照的边，可以是平行四边形中的任意一条边。图像是平行四边形，图像中对应的边可以是与牌照区域的边之间夹角最小的边，还可以是与牌照区域的边之间长度差最小的边，此外，还可以是其他对应方式，对此，本公开实施例不做具体限制。示例性的，如图1b所示，在图像141的车辆区域142中检测到的牌照区域143的底边与图像141的底边不平行。
若牌照区域为矩形，则牌照区域无需修正，该牌照区域作为图像的牌照检测结果。若牌照区域为平行四边形，则确定牌照区域为倾斜牌照，此时，在车辆图像中直接检测到的牌照区域的结果的准确率不高，需要进行修正。
牌照区域的边与图像中对应的边的夹角用于表示牌照区域相对于图像的倾斜程度，还用于牌照区域旋转至与图像平行。示例性的，如图1b所示，牌照区域的底边与图像的底边之间的夹角θ，为牌照区域的边与图像中对应的边的夹角。
具体的，从牌照区域中选择一个点作为基准点，选择任意一个方向旋转该牌照区域。示例性的，以牌照区域的左下顶点作为基准点，逆时针旋转方向，旋转角度为夹角，以使牌照区域相对于图像是正向，即牌照区域的各边均与图像对应的边平行。在一个具体的例子中，如图1c所示，车辆区域中牌照区域是倾斜的，经过旋转变换，旋转后的牌照区域为如图1d所示的矩形区域。
S130，根据旋转后牌照区域的关键点和所述夹角，在所述车辆区域中确定修正后的牌照区域。
关键点用于确定旋转后牌照区域的位置范围，示例性的，关键点包括旋转后牌照区域的对角顶点，如图1d所示的牌照区域的左上顶点和右下顶点，或者左下顶点和右上顶点。可选的，所述旋转后牌照区域的关键点包括至少两个所述旋转后牌照区域的对角顶点。此外，关键点还可以包括旋转后牌照区域的中心点(矩形区域的对角线的交点)等其他点，对此，本公开实施例不做具体限制。
在车辆区域中重新对旋转后牌照区域进行检测，得到旋转后的牌照区域的关键点。基于关键点和旋转的夹角，可以确定旋转前的关键点，由此确定旋转前的牌照区域的位置范围。具体的，可以将关键点按照预先旋转的方式反转回去，得到匹配的牌照区域的关键点。
可选的，所述根据旋转后牌照区域的关键点和所述夹角，在所述车辆区域中确定修正后的牌照区域，包括：根据旋转后牌照区域的关键点和所述夹角，确定车辆区域中对应的目标关键点；根据所述目标关键点在所述车辆区域中确定修正后的牌照区域。
其中，目标关键点用于确定旋转前的牌照区域，也即目标关键点为旋转前牌照区域的关键点。示例性的，图1c所示的牌照的左上顶点和右下顶点为目标关键点。具体的，可以根据牌照区域的边与图像中对应的边之间的夹角确定用于实现牌照区域旋转的旋转变换矩阵，从而可以获取旋转逆变换矩阵，将关键点的坐标与该旋转逆变换矩阵相乘，可以得到对应的目标关键点的坐标。
通过获取旋转变换前的目标关键点，确定修正后的牌照区域，基于关键点确定牌照区域的位置范围，提高牌照的检测精度。
实际上，在现有的牌照检测方法针对矩形牌照的检测准确率高于倾斜的平行四边形牌照。甚至，大部分的牌照检测方法检测到的矩形区域包含牌照，但还包含部分车身。
从而，本公开在确定牌照为倾斜时，将牌照区域的检测转换为矩形牌照的检测，提高了牌照检测的准确率。
本公开实施例通过在车辆区域中检测牌照，并在检测到的牌照区域的边与图像中对应的边不平行时，根据牌照区域的边与图像中对应的边之间的夹角对牌照区域进行旋转，直至牌照区域的边与图像中对应的边平行，根据旋转后的牌照区域的关键点，确定旋转前的牌照区域的关键点，从而修正牌照区域，解决了现有技术中倾斜牌照的检测准确率低的问题，将倾斜牌照的检测，转换为旋转后的矩形拍照的检测，提高牌照的检测准确率。
实施例二
图2为本公开实施例中的一种牌照检测方法的流程图，该方法以上述步骤为基础进行优化，将步骤：根据旋转后牌照区域的关键点和所述夹角，在所述车辆区域中确定修正后的牌照区域，具体化为：根据旋转后牌照区域的关键点和所述夹角，确定车辆区域中对应的目标关键点；根据所述目标关键点在所述车辆区域中确定修正后的牌照区域。同时，将步骤：在图像的车辆区域中确定牌照区域，具体化为：在图像的车辆区域中确定牌照矩形区域，所述牌照矩形区域为包含牌照的最小矩形区域；在所述牌照矩形区域中，通过预先训练的机器学习模型确定所述牌照区域的对角顶点坐标，以及所述牌照区域的边与所述图像中对应的边的夹角。
如图2所示，该方法具体包括如下步骤：
S210，在图像的车辆区域中确定牌照矩形区域，所述牌照矩形区域为包含牌照的最小矩形区域。
本公开实施例中的图像、车辆区域、牌照矩形区域、对角顶点坐标、夹角和目标关键点等均可以参考上述实施例的描述。
S220，在所述牌照矩形区域中，通过预先训练的机器学习模型确定所述牌照区域的对角顶点坐标，以及所述牌照区域的边与所述图像中对应的边的夹角。
S230，如果所述牌照区域的边与所述图像中对应的边不平行，则根据所述牌照区域的边与所述图像中对应的边的夹角旋转所述牌照区域，旋转后牌照区域的边与所述图像中对应的边平行。
可选的，在牌照区域进行旋转时，可以将整个牌照矩形区域进行旋转，避免前述检测的牌照区域小于实际牌照区域，保证将属于牌照的全部区域旋转到目标位置，从而，在后续牌照检测时，保证牌照的检测结果的准确性。
S240，根据旋转后牌照区域的关键点和所述夹角，确定车辆区域中对应的目标关键点。
具体的，在旋转后的牌照矩形区域中检测旋转后牌照区域的关键点。关键点检测方法可以参考前述牌照识别算法，此外，还可以通过其他方法检测，如机器学习模型，对此，本公开实施例不做具体限制。
S250，根据所述目标关键点在所述车辆区域中确定修正后的牌照区域。
可选的，所述根据所述牌照区域的边与所述图像中对应的边的夹角旋转所述牌照区域，旋转后牌照区域的边与所述图像中对应的边平行，包括：根据所述夹角，确定旋转变换矩阵；基于所述旋转变换矩阵，对所述牌照区域进行旋转变换，得到旋转后的牌照区域。
其中，旋转变换矩阵用于将牌照区域范围内的所有像素点坐标分别转换为旋转后的像素点坐标。具体的，旋转变换矩阵根据夹角确定，示例性的，旋转变换矩阵如下式：
其中，θ为待旋转的角度夹角。旋转前坐标为(x，y)，对应的旋转后的坐标为(a，b)。
可以将牌照区域中的全部像素点的坐标均与该旋转变换矩阵相乘，得到的乘积结果的形成的区域为旋转后的牌照区域。
通过旋转变换矩阵实现牌照区域的旋转，实现牌照区域的准确旋转。
可选的，所述根据旋转后牌照区域的关键点和所述夹角，确定车辆区域中对应的目标关键点，包括：根据所述旋转变换矩阵，确定旋转逆变换矩阵；根据旋转后牌照区域的关键点，以及所述旋转逆变换矩阵，计算得到旋转前牌照区域的对应的关键点作为所述车辆区域中对应的目标关键点。
具体的，旋转逆变换矩阵可以是指旋转角度为夹角的相反数的旋转变换矩阵，用于将关键点变换到未旋转之前的状态，也即用于确定关键点对应的旋转前的牌照区域的点的坐标。目标关键点为旋转前的牌照区域的关键点，用于确定倾斜的牌照的位置范围。目标关键点通过关键点与旋转逆变换矩阵的乘积得到。
通过旋转变换矩阵，确定旋转逆变换矩阵，并基于关键点，确定目标关键点，从而确定旋转前的牌照区域，由此，准确确定倾斜的牌照的位置范围。
本公开实施例通过预先确定牌照矩形区域，并在旋转牌照区域之后，在牌照矩形区域中检测旋转后的牌照区域的关键点，实现在小范围内检测牌照区域，确定旋转前的牌照区域的目标关键点，从而实现确定倾斜的牌照区域，提高牌照区域的检测准确率。
在上述实施例的基础上，可选的，在形成所述车牌矩形区域匹配的车牌区域之后，还包括：获取牌照遮挡图像；采用所述旋转逆变换矩阵，对所述牌照遮挡图像匹配的像素矩阵进行旋转变换；将旋转变换后的牌照遮挡图像覆盖在所述牌照区域上。
为了保护隐私，用户会选择在拍照时遮挡牌照。通常，选择的牌照遮挡图像是矩形，而且尺寸与旋转后的牌照区域的尺寸不同，由此，可以预先对牌照遮挡图像进行尺寸缩放，形成与旋转后的牌照区域的尺寸相同的矩形，再与旋转逆变换矩阵相乘，得到与倾斜牌照区域匹配的牌照遮挡图像，从而实现纹丝合缝覆盖牌照区域。其中，牌照遮挡区域可以包括logo图。
通过在准确识别的牌照区域上覆盖遮挡图像，减少过多或过少覆盖的情况，提高遮挡覆盖的准确率。
实施例三
图3为本公开实施例三提供的一种牌照检测方法的流程图，本实施例以上述实施例进行优化，在图像的车辆区域中确定牌照区域之前，优化为：获取初始视频帧中的初始车辆区域，所述初始车辆区域包含车辆的概率大于第一概率阈值；确定所述初始视频帧的初始车辆区域中包含车辆的概率大于第二概率阈值的备选区域，所述第二概率阈值大于所述第一概率阈值；从所述初始视频帧起遍历视频，根据前一视频帧中的备选区域，确定当前视频帧中的备选区域，直至所述视频中的最后视频帧，则以最后视频帧中的备选区域作为车辆检测结果；从所述车辆检测结果中选择一个备选区域作为所述图像的车辆区域。
具体的，本实施例提供的方法包括：
S310，获取初始视频帧中的初始车辆区域，所述初始车辆区域包含车辆的概率大于第一概率阈值。
本公开实施例中的图像、车辆区域、牌照矩形区域、对角顶点坐标、夹角和目标关键点等均可以参考上述实施例的描述。
本实施例提供的车辆检测方法，运算速度快，需要资源小，且同时兼顾检测准确率，尤其适合应用于性能一般的电子设备中，如移动终端，具体是手机。
对视频的车辆检测实际是对视频包含的各视频帧进行车辆检测。初始视频帧可以是指视频中的视频帧。具体的，视频可以是指预先录制的视频，或者是实时录制的视频。相应的，初始视频帧可以是预先录制的视频中的任意一个视频帧，或者是在视频录制的过程中实时获取的视频帧。
初始车辆区域用于为后续车辆检测步骤缩小检测范围。具体的，每个视频帧是由大量像素点组成的，可以针对视频帧建立平面坐标系，每个像素点在该平面坐标系中对应一个坐标。初始车辆区域可以通过区域顶点对应的像素点的坐标确定，同时，初始车辆区域可以是指从初始视频帧中截取的部分区域。
实际上，为了提高车辆检测的速度，获取视频中疑似包含车辆的区域作为初始车辆区域，同时后续在初始车辆区域中进行车辆检测，以进一步判断初始车辆区域是否包含车辆，从而避免以整个初始视频帧的图像面积作为检测范围进行精细检测，检测数据量大，所需资源多，检测速度慢的情况。
可以理解的是，初始车辆区域包含车辆的概率并不是百分之百，为了减少后续检测的数据量，初始车辆区域包含车辆的概率不能太低，示例性的，初始车辆区域包含车辆的概率大于第一概率阈值。其中，第一概率阈值可以根据需要确定，对此，本公开实施例不做具体限制，示例性的，第一概率阈值为70％。
具体的，可以通过第一车辆检测方法对初始视频帧进行车辆检测，得到初始车辆区域，其中，第一车辆检测方法用于快速获取车辆区域。具体的，初始车辆区域可以是固定形状的区域，如矩形区域。初始车辆区域可以通过区域的边界坐标点确定。例如，获取初始车辆区域的对角顶点的坐标确定初始车辆区域，如左上顶点和右下顶点，或者左下顶点和右上顶点。
此外，初始视频帧中可以确定至少一个初始车辆区域。
S320，确定所述初始视频帧的初始车辆区域中包含车辆的概率大于第二概率阈值的备选区域，所述第二概率阈值大于所述第一概率阈值。
在初始视频帧的初始车辆区域的区域范围内进行车辆检测，进一步定位车辆的区域。备选区域同样用于为后续车辆检测步骤缩小检测范围，以及用于筛选初始车辆区域是否包含车辆。备选区域与初始车辆区域不同，通常备选区域包含车辆的概率大于初始车辆区域包含车辆的概率，备选区域的图像面积小于等于初始车辆区域的图像面积。备选区域实际是在初始车辆区域的基础上进行进一步精细车辆检测得到的区域。备选区域可以是固定形状的区域，如矩形区域。备选区域可以通过区域的边界坐标点确定。例如，获取备选区域的对角顶点的坐标确定备选区域，如左上顶点和右下顶点，或者左下顶点和右上顶点。备选区域同样可以通过区域顶点对应的像素点的坐标确定，同时，备选区域可以是指从初始车辆区域中截取的部分区域。
需要说明的是，如果初始车辆区域不包含车辆，备选区域的图像面积为0，也即该备选区域不存在。
具体的，可以通过第二车辆检测方法对初始视频帧的初始车辆区域进行车辆检测，得到备选区域，其中，第二车辆检测方法用于准确获取车辆区域，第二车辆检测方法的车辆检测的准确率高于第一车辆检测方法。第一车辆检测方法与第二车辆检测方法可以相同，也可以不同，具体可以根据需要进行设定，对此，本公开实施例不做具体限制。若第一车辆检测方法与第二车辆检测方法相同时，两种方法涉及的算法参数不同。示例性的，第一车辆检测方法为采用预先训练的第一图像识别模型对初始车辆区域进行检测，第二车辆检测方法为采用预先训练的第二图像识别模型对备选区域进行检测。第一图像识别模型和第二图像识别模型均可以是机器学习模型，但模型参数不同。
可选的，所述获取初始视频帧中的初始车辆区域，包括：将所述初始视频帧输入第一图像识别模型，得到初始车辆区域。
通过图像识别模型，可以快速准确确定初始车辆区域。
其中，第二概率阈值可以根据需要确定，对此，本公开实施例不做具体限制，示例性的，第一概率阈值为98％。可以理解的是，第二概率阈值大于第一概率阈值，可以确保备选区域作为车辆检测结果的准确率高于初始车辆区域作为车辆检测结果的准确率。
S330，从所述初始视频帧起遍历视频，根据前一视频帧中的备选区域，确定当前视频帧中的备选区域，直至所述视频中的最后视频帧，则以最后视频帧中的备选区域作为车辆检测结果。
在确定初始视频帧的备选区域之后，基于该备选区域，在初始视频帧的后一视频帧中进行车辆检测，确定后一视频帧的备选区域。按照时间顺序，遍历视频，循环上述车辆检测步骤，直到基于视频中的最后视频帧的前一视频帧的备选区域，在最后视频帧中进行检测，确定最后视频帧的备选区域，并作为视频的车辆检测结果。
最后视频帧是指视频中时间顺序上的最后一个视频帧。最后视频帧中的备选区域实际上是指当前最新检测得到的车辆区域。
可选的，所述根据前一视频帧中的备选区域，确定当前视频帧中的备选区域，包括：如果当前视频帧距离初始视频帧的时间长度不是预设值，则将当前视频帧中与前一视频帧中的备选区域对应的区域输入第二图像识别模型，得到当前视频帧中的备选区域；如果当前视频帧距离初始视频帧的时间长度为预设值，则将当前视频帧输入第一图像识别模型，输出的区域与前一视频帧中的备选区域的合集再输入第二图像识别模型，得到当前视频帧中的备选区域。
当前视频帧距离初始视频帧的时间长度用于衡量视频帧的整图检测的间隔时间。可以理解的是，如果有新车进入到视频的拍摄范围时，仅根据前一视频帧确定的备选区域的检测操作，无法检测到新车的所在区域，从而导致车辆检测不准确。通过配置整图检测(对在视频帧的整个图像面积的区域范围内进行检测)的周期，实现每隔一段时间进行整图检测，用于检测是否有新车，避免新车进入却无法检测到的情况。
预设值用于限定新车检测周期，示例性的，预设值为30帧，或者预设值为1秒。此外，预设值还可以是其他值，对此，本公开实施例不做具体限制。
将当前视频帧中与前一视频帧中的备选区域对应的区域作为当前视频帧的待车辆检测区域，输入到第二图像识别模型中进行车辆检测，得到第二图像识别模型输出的备选区域，即待车辆检测区域范围中检测到的车辆区域。
将当前视频帧输入第一图像识别模型实现，对当前视频帧的整个图像面积区域中进行车辆检测。
输出的区域与前一视频帧中的备选区域的合集，表示前一视频帧中确定的车辆区域和当前视频帧中的新车区域，将合集输入到第二图像识别模型，对合集中的各区域进行车辆检测，可以实现将新车区域添加到车辆检测的循环中，保证有新车进入到视频的拍摄范围内时被检测到。
具体的，第一图像识别模型输出的区域与前一视频帧中的备选区域的合集的确定方式，具体可以是：将第一图像识别模型输出的全部区域中，任选一个区域分别与前一视频帧确定的至少一个备选区域进行重叠率计算，直到第一图像识别模型输出的全部区域全部计算完成。将与前一视频帧确定的至少一个备选区域的重叠率均低于设定重叠率阈值的区域作为新车区域。将确定的全部新车区域与前一视频帧确定的至少一个备选区域作为第一图像识别模型输出的区域与前一视频帧中的备选区域的合集。其中，重叠率的计算方法可以包括基于直方图的方法、基于特征点的方法和基于矩阵分解方法等，此外，还可以通过其他方法计算重叠率，例如，通过预先训练的机器学习模型等，对此，本公开实施例不做具体限制。
可选的，所述第一图像识别模型是通过第一样本集训练形成的机器学习模型，所述第二图像识别模型是通过第二样本集训练形成的机器学习模型；所述第一样本集和所述第二样本集为同一数据集；所述第一样本集包括第一正样本和第一负样本，所述第一正样本包括车辆区域，所述第一负样本包括不包含车辆的区域；所述第二样本集包括第二正样本和第二负样本，所述第二正样本包括由所述第一正样本中筛选得到的车辆区域的面积与所属图像区域面积的比值大于等于所述比例阈值的区域，所述第二负样本包括所述数据集中除所述第二正样本之外的区域。
通过配置第一正样本和第一负样本训练第一图像识别模型，以及配置第二正样本和第二负样本训练第二图像识别模型，提高样本的代表性，从而提高图像识别模型的识别准确率，而且，通过选用同一个数据集分别训练第一图像识别模型和第二图像识别模型，可以避免人工筛选样本的伪随机性，减少样本选择偏差，提高样本的代表性，从而提高图像识别模型的识别准确率，而且，采用同一个数据集训练两个机器学习模型，减少训练工作量，提高模型训练效率。
可选的，所述车辆检测方法还包括：如果当前视频帧中的备选区域为空，则以当前视频帧作为新的初始视频帧重新进行车辆检测；如果遍历到最后视频帧之前，接受到停止指令，则终止车辆检测。
具体的，当前视频帧中的备选区域为空，表明前一视频帧确定的全部备选区域都无车。可以理解的是，在上情况中，继续对前一视频帧的备选区域进行车辆检测，无法得到正确的车辆检测结果，此时，可以将当前视频帧作为初始视频帧重新在整个图像面积的区域范围内进行车辆检测。
此外，若初始视频帧的初始车辆区域为空，表明当前无车，确定该初始视频帧的备选区域也为空，初始视频帧的后一视频帧，同样作为初始视频帧，重新进行车辆检测，直到初始车辆区域不为空。
停止指令用于终止车辆检测。示例性的，若视频是预先录制的视频，停止指令可以是用户输入的停止车辆检测的操作指令。若视频是实时拍摄的视频，停止指令可以是用户输入的视频停止拍摄指令或者跳转至其他应用的跳转指令。此外，停止指令具体还可以是其他指令，本公开实施例不做具体限制。
通过在备选区域为空，对当前视频帧作为初始视频帧重新进行整图车辆检测，释放对备选区域进行车辆检测的资源，应用到整图的车辆检测，从而减少无效车辆检测，提高车辆检测的准确率，以及提高车辆检测的资源利用率。
可选的，所述车辆检测方法还包括：显示各视频帧的备选区域。
具体的，可以在各视频帧中显示匹配的备选区域。示例性的，备选区域可以通过无填充的框线标注显示，备选区域还可以有其他显示方式，对此，本公开实施例不作具体限制。
S340，从所述车辆检测结果中选择一个备选区域作为所述图像的车辆区域。
S350，在图像的车辆区域中确定牌照矩形区域，所述牌照矩形区域为包含牌照的最小矩形区域。
S360，在所述牌照矩形区域中，通过预先训练的机器学习模型确定所述牌照区域的对角顶点坐标，以及所述牌照区域的边与所述图像中对应的边的夹角。
S370，如果所述牌照区域的边与所述图像中对应的边不平行，则根据所述牌照区域的边与所述图像中对应的边的夹角旋转所述牌照区域，旋转后牌照区域的边与所述图像中对应的边平行。
S380，根据旋转后牌照区域的关键点和所述夹角，确定车辆区域中对应的目标关键点。
S390，根据所述目标关键点在所述车辆区域中确定修正后的牌照区域。
本公开实施例通过在初始视频帧中进行车辆检测获取初始车辆区域，并基于初始车辆区域进一步进行车辆检测，得到初始视频帧的备选区域，从初始视频帧遍历视频，根据前一视频帧的备选区域确定当前视频帧的备选区域，将最后视频帧的备选区域作为该视频的车辆检测结果，避免对各视频帧的整个图像区域进行车辆检测，降低每个视频帧的车辆检测的数据量，从而提高视频车辆检测的效率，以及提高视频的牌照区域检测的效率。
实施例四
图4为本公开实施例四提供的一种牌照检测装置的结构示意图，本实施例可适用于在视频中检测到的车辆区域，获取包含牌照的区域的情况。该装置可以采用软件和/或硬件的方式实现，该装置可以配置于电子设备中，例如终端设备。如图4所示，该装置可以包括：牌照区域获取模块410、牌照区域旋转模块420和牌照区域修正模块430。
牌照区域获取模块410，用于在图像的车辆区域中确定牌照区域；
牌照区域旋转模块420，用于如果所述牌照区域的边与所述图像中对应的边不平行，则根据所述牌照区域的边与所述图像中对应的边的夹角旋转所述牌照区域，旋转后牌照区域的边与所述图像中对应的边平行；
牌照区域修正模块430，用于根据旋转后牌照区域的关键点和所述夹角，在所述车辆区域中确定修正后的牌照区域。
本公开实施例通过在车辆区域中检测牌照，并在检测到的牌照区域的边与图像中对应的边不平行时，根据牌照区域的边与图像中对应的边之间的夹角对牌照区域进行旋转，直至牌照区域的边与图像中对应的边平行，根据旋转后的牌照区域的关键点，确定旋转前的牌照区域的关键点，从而修正牌照区域，解决了现有技术中倾斜牌照的检测准确率低的问题，将倾斜牌照的检测，转换为旋转后的矩形拍照的检测，提高牌照的检测准确率。
进一步的，所述牌照区域修正模块430，包括：目标关键点确定单元，用于根据旋转后牌照区域的关键点和所述夹角，确定车辆区域中对应的目标关键点；根据所述目标关键点在所述车辆区域中确定修正后的牌照区域。
进一步的，所述牌照区域获取模块410，包括：牌照矩形区域检测单元，用于在图像的车辆区域中确定牌照矩形区域，所述牌照矩形区域为包含牌照的最小矩形区域；在所述牌照矩形区域中，通过直线检测方法检测所述牌照矩形区域中牌照边作为所述牌照区域的边；计算所述牌照区域的边与所述图像中对应的边的夹角，其中，所述牌照区域的边与所述夹角确定所述牌照区域；或在所述牌照矩形区域中，通过预先训练的机器学习模型确定所述牌照区域的对角顶点坐标，以及所述牌照区域的边与所述图像中对应的边的夹角。
进一步的，所述牌照矩形区域检测单元，包括：旋转变换矩阵确定子单元，用于根据所述夹角，确定旋转变换矩阵；基于所述旋转变换矩阵，对所述牌照区域进行旋转变换，得到旋转后的牌照区域。
进一步的，所述牌照区域获取模块410，包括：旋转逆变换矩阵确定子单元，用于根据所述旋转变换矩阵，确定旋转逆变换矩阵；根据旋转后牌照区域的关键点，以及所述旋转逆变换矩阵，计算得到旋转前牌照区域的对应的关键点作为所述车辆区域中对应的目标关键点。
进一步的，所述旋转后牌照区域的关键点包括至少两个所述旋转后牌照区域的对角顶点。
进一步的，所述牌照检测装置，还包括：车辆区域检测模块，用于在图像的车辆区域中确定牌照区域之前，获取初始视频帧中的初始车辆区域，所述初始车辆区域包含车辆的概率大于第一概率阈值；确定所述初始视频帧的初始车辆区域中包含车辆的概率大于第二概率阈值的备选区域，所述第二概率阈值大于所述第一概率阈值；从所述初始视频帧起遍历视频，根据前一视频帧中的备选区域，确定当前视频帧中的备选区域，直至所述视频中的最后视频帧，则以最后视频帧中的备选区域作为车辆检测结果；从所述车辆检测结果中选择一个备选区域作为所述图像的车辆区域。
本公开实施例提供的牌照检测装置，与前述实施例提供的牌照检测方法属于同一发明构思，未在本公开实施例中详尽描述的技术细节可参见前述实施例，并且本公开实施例提供的牌照检测装置与前述实施例提供的牌照检测方法具有相同的有益效果。
实施例五
本公开实施例五提供了一种电子设备，下面参考图5，其示出了适于用来实现本公开实施例的电子设备(例如终端设备和服务器)500的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(PDA)、平板电脑(PAD)、便携式多媒体播放器(PMP)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。特别的电子设备500为移动终端。
如图5所示，电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
通常，以下装置可以连接至I/O接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507；包括例如磁带、硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
实施例六
本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：在图像的车辆区域中确定牌照区域；如果所述牌照区域的边与所述图像中对应的边不平行，则根据所述牌照区域的边与所述图像中对应的边的夹角旋转所述牌照区域，旋转后牌照区域的边与所述图像中对应的边平行；根据旋转后牌照区域的关键点和所述夹角，在所述车辆区域中确定修正后的牌照区域。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，牌照区域获取模块还可以被描述为“在图像的车辆区域中确定牌照区域的模块”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，本公开提供了一种牌照检测方法，包括：
在图像的车辆区域中确定牌照区域；
如果所述牌照区域的边与所述图像中对应的边不平行，则根据所述牌照区域的边与所述图像中对应的边的夹角旋转所述牌照区域，旋转后牌照区域的边与所述图像中对应的边平行；
根据旋转后牌照区域的关键点和所述夹角，在所述车辆区域中确定修正后的牌照区域。
根据本公开的一个或多个实施例，本公开提供的牌照检测方法中，所述根据旋转后牌照区域的关键点和所述夹角，在所述车辆区域中确定修正后的牌照区域，包括：根据旋转后牌照区域的关键点和所述夹角，确定车辆区域中对应的目标关键点；根据所述目标关键点在所述车辆区域中确定修正后的牌照区域。
根据本公开的一个或多个实施例，本公开提供的牌照检测方法中，所述在图像的车辆区域中确定牌照区域，包括：在图像的车辆区域中确定牌照矩形区域，所述牌照矩形区域为包含牌照的最小矩形区域；在所述牌照矩形区域中，通过直线检测方法检测所述牌照矩形区域中牌照边作为所述牌照区域的边；计算所述牌照区域的边与所述图像中对应的边的夹角，其中，所述牌照区域的边与所述夹角确定所述牌照区域；或在所述牌照矩形区域中，通过预先训练的机器学习模型确定所述牌照区域的对角顶点坐标，以及所述牌照区域的边与所述图像中对应的边的夹角。
根据本公开的一个或多个实施例，本公开提供的牌照检测方法中，所述根据所述牌照区域的边与所述图像中对应的边的夹角旋转所述牌照区域，旋转后牌照区域的边与所述图像中对应的边平行，包括：根据所述夹角，确定旋转变换矩阵；基于所述旋转变换矩阵，对所述牌照区域进行旋转变换，得到旋转后的牌照区域。
根据本公开的一个或多个实施例，本公开提供的牌照检测方法中，所述根据旋转后牌照区域的关键点和所述夹角，确定车辆区域中对应的目标关键点，包括：根据所述旋转变换矩阵，确定旋转逆变换矩阵；根据旋转后牌照区域的关键点，以及所述旋转逆变换矩阵，计算得到旋转前牌照区域的对应的关键点作为所述车辆区域中对应的目标关键点。
根据本公开的一个或多个实施例，本公开提供的牌照检测方法中，所述旋转后牌照区域的关键点包括至少两个所述旋转后牌照区域的对角顶点。
根据本公开的一个或多个实施例，本公开提供的牌照检测方法，在图像的车辆区域中确定牌照区域之前，还包括：获取初始视频帧中的初始车辆区域，所述初始车辆区域包含车辆的概率大于第一概率阈值；确定所述初始视频帧的初始车辆区域中包含车辆的概率大于第二概率阈值的备选区域，所述第二概率阈值大于所述第一概率阈值；从所述初始视频帧起遍历视频，根据前一视频帧中的备选区域，确定当前视频帧中的备选区域，直至所述视频中的最后视频帧，则以最后视频帧中的备选区域作为车辆检测结果；从所述车辆检测结果中选择一个备选区域作为所述图像的车辆区域。
根据本公开的一个或多个实施例，本公开提供了一种牌照检测装置，包括：
牌照区域获取模块，用于在图像的车辆区域中确定牌照区域；
牌照区域旋转模块，用于如果所述牌照区域的边与所述图像中对应的边不平行，则根据所述牌照区域的边与所述图像中对应的边的夹角旋转所述牌照区域，旋转后牌照区域的边与所述图像中对应的边平行；
牌照区域修正模块，用于根据旋转后牌照区域的关键点和所述夹角，在所述车辆区域中确定修正后的牌照区域。
根据本公开的一个或多个实施例，本公开提供的牌照检测装置中，所述牌照区域修正模块，包括：目标关键点确定单元，用于根据旋转后牌照区域的关键点和所述夹角，确定车辆区域中对应的目标关键点；根据所述目标关键点在所述车辆区域中确定修正后的牌照区域。
根据本公开的一个或多个实施例，本公开提供的牌照检测装置中，所述牌照区域获取模块，包括：牌照矩形区域检测单元，用于在图像的车辆区域中确定牌照矩形区域，所述牌照矩形区域为包含牌照的最小矩形区域；在所述牌照矩形区域中，通过直线检测方法检测所述牌照矩形区域中牌照边作为所述牌照区域的边；计算所述牌照区域的边与所述图像中对应的边的夹角，其中，所述牌照区域的边与所述夹角确定所述牌照区域；或在所述牌照矩形区域中，通过预先训练的机器学习模型确定所述牌照区域的对角顶点坐标，以及所述牌照区域的边与所述图像中对应的边的夹角。
根据本公开的一个或多个实施例，本公开提供的牌照检测装置中，所述牌照矩形区域检测单元，包括：旋转变换矩阵确定子单元，用于根据所述夹角，确定旋转变换矩阵；基于所述旋转变换矩阵，对所述牌照区域进行旋转变换，得到旋转后的牌照区域。
根据本公开的一个或多个实施例，本公开提供的牌照检测装置中，所述牌照区域获取模块，包括：旋转逆变换矩阵确定子单元，用于根据所述旋转变换矩阵，确定旋转逆变换矩阵；根据旋转后牌照区域的关键点，以及所述旋转逆变换矩阵，计算得到旋转前牌照区域的对应的关键点作为所述车辆区域中对应的目标关键点。
根据本公开的一个或多个实施例，本公开提供的牌照检测装置中，所述旋转后牌照区域的关键点包括至少两个所述旋转后牌照区域的对角顶点。
根据本公开的一个或多个实施例，本公开提供的牌照检测装置，所述牌照检测装置，还包括：车辆区域检测模块，用于在图像的车辆区域中确定牌照区域之前，获取初始视频帧中的初始车辆区域，所述初始车辆区域包含车辆的概率大于第一概率阈值；确定所述初始视频帧的初始车辆区域中包含车辆的概率大于第二概率阈值的备选区域，所述第二概率阈值大于所述第一概率阈值；从所述初始视频帧起遍历视频，根据前一视频帧中的备选区域，确定当前视频帧中的备选区域，直至所述视频中的最后视频帧，则以最后视频帧中的备选区域作为车辆检测结果；从所述车辆检测结果中选择一个备选区域作为所述图像的车辆区域。
根据本公开的一个或多个实施例，本公开提供了一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开提供的任一所述的牌照检测方法。
根据本公开的一个或多个实施例，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开提供任一所述的牌照检测方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (10)

1.一种牌照检测方法，其特征在于，包括：
在图像的车辆区域中确定牌照区域；
如果所述牌照区域的边与所述图像中对应的边不平行，则根据所述牌照区域的边与所述图像中对应的边的夹角旋转所述牌照区域，旋转后牌照区域的边与所述图像中对应的边平行；
根据旋转后牌照区域的关键点和所述夹角，在所述车辆区域中确定修正后的牌照区域。
2.根据权利要求1所述的方法，其特征在于，所述根据旋转后牌照区域的关键点和所述夹角，在所述车辆区域中确定修正后的牌照区域，包括：
根据旋转后牌照区域的关键点和所述夹角，确定车辆区域中对应的目标关键点；
根据所述目标关键点在所述车辆区域中确定修正后的牌照区域。
3.根据权利要求2所述的方法，其特征在于，所述在图像的车辆区域中确定牌照区域，包括：
在图像的车辆区域中确定牌照矩形区域，所述牌照矩形区域为包含牌照的最小矩形区域；
在所述牌照矩形区域中，通过直线检测方法检测所述牌照矩形区域中牌照边作为所述牌照区域的边；
计算所述牌照区域的边与所述图像中对应的边的夹角，其中，所述牌照区域的边与所述夹角用于表示所述牌照区域；或
在所述牌照矩形区域中，通过预先训练的机器学习模型确定所述牌照区域的对角顶点坐标，以及所述牌照区域的边与所述图像中对应的边的夹角。
4.根据权利要求3所述的方法，其特征在于，所述根据所述牌照区域的边与所述图像中对应的边的夹角旋转所述牌照区域，旋转后牌照区域的边与所述图像中对应的边平行，包括：
根据所述夹角，确定旋转变换矩阵；
基于所述旋转变换矩阵，对所述牌照区域进行旋转变换，得到旋转后的牌照区域。
5.根据权利要求4所述的方法，其特征在于，所述根据旋转后牌照区域的关键点和所述夹角，确定车辆区域中对应的目标关键点，包括：
根据所述旋转变换矩阵，确定旋转逆变换矩阵；
根据旋转后牌照区域的关键点，以及所述旋转逆变换矩阵，计算得到旋转前牌照区域的对应的关键点作为所述车辆区域中对应的目标关键点。
6.根据权利要求5所述的方法，其特征在于，所述旋转后牌照区域的关键点包括至少两个所述旋转后牌照区域的对角顶点。
7.根据权利要求1所述的方法，其特征在于，在图像的车辆区域中确定牌照区域之前，还包括：
获取初始视频帧中的初始车辆区域，所述初始车辆区域包含车辆的概率大于第一概率阈值；
确定所述初始视频帧的初始车辆区域中包含车辆的概率大于第二概率阈值的备选区域，所述第二概率阈值大于所述第一概率阈值；
从所述初始视频帧起遍历视频，根据前一视频帧中的备选区域，确定当前视频帧中的备选区域，直至所述视频中的最后视频帧，则以最后视频帧中的备选区域作为车辆检测结果；
从所述车辆检测结果中选择一个备选区域作为所述图像的车辆区域。
8.一种牌照检测装置，其特征在于，配置于移动终端中，包括：
牌照区域获取模块，用于在图像的车辆区域中确定牌照区域；
牌照区域旋转模块，用于如果所述牌照区域的边与所述图像中对应的边不平行，则根据所述牌照区域的边与所述图像中对应的边的夹角旋转所述牌照区域，旋转后牌照区域的边与所述图像中对应的边平行；
牌照区域修正模块，用于根据旋转后牌照区域的关键点和所述夹角，在所述车辆区域中确定修正后的牌照区域。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的牌照检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一所述的牌照检测方法。
CN201910614736.0A 2019-07-09 2019-07-09 牌照检测方法、装置、电子设备及存储介质 Pending CN110348440A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910614736.0A CN110348440A (zh) 2019-07-09 2019-07-09 牌照检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910614736.0A CN110348440A (zh) 2019-07-09 2019-07-09 牌照检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN110348440A true CN110348440A (zh) 2019-10-18

Family

ID=68178405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910614736.0A Pending CN110348440A (zh) 2019-07-09 2019-07-09 牌照检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110348440A (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833859A (zh) * 2010-05-14 2010-09-15 山东大学 基于虚拟线圈的自触发车牌识别方法
CN102982559A (zh) * 2012-11-28 2013-03-20 大唐移动通信设备有限公司 车辆跟踪方法及系统
CN103793708A (zh) * 2014-03-05 2014-05-14 武汉大学 一种基于仿射校正的多尺度车牌精准定位方法
WO2014076979A1 (ja) * 2012-11-16 2014-05-22 三菱重工業株式会社 画像認識装置、画像認識方法、プログラム、及び記録媒体
CN105279476A (zh) * 2014-07-15 2016-01-27 贺江涛 一种基于多特征的车脸识别方法与装置
CN105335743A (zh) * 2015-10-28 2016-02-17 重庆邮电大学 一种车牌识别方法
CN105913034A (zh) * 2016-04-18 2016-08-31 智车优行科技（北京）有限公司 车辆识别方法、装置及车辆
CN106485248A (zh) * 2016-10-20 2017-03-08 江苏商贸职业学院 一种渣土车车牌倾斜校正方法
CN106778737A (zh) * 2016-11-24 2017-05-31 北京文安智能技术股份有限公司 一种车牌矫正方法、装置和一种视频采集装置
CN106874897A (zh) * 2017-04-06 2017-06-20 北京精英智通科技股份有限公司 一种车牌识别方法和装置
CN107506765A (zh) * 2017-10-13 2017-12-22 厦门大学 一种基于神经网络的车牌倾斜校正的方法
CN109858484A (zh) * 2019-01-22 2019-06-07 电子科技大学 一种基于偏斜评价的多类别变换车牌校正算法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833859A (zh) * 2010-05-14 2010-09-15 山东大学 基于虚拟线圈的自触发车牌识别方法
WO2014076979A1 (ja) * 2012-11-16 2014-05-22 三菱重工業株式会社 画像認識装置、画像認識方法、プログラム、及び記録媒体
CN102982559A (zh) * 2012-11-28 2013-03-20 大唐移动通信设备有限公司 车辆跟踪方法及系统
CN103793708A (zh) * 2014-03-05 2014-05-14 武汉大学 一种基于仿射校正的多尺度车牌精准定位方法
CN105279476A (zh) * 2014-07-15 2016-01-27 贺江涛 一种基于多特征的车脸识别方法与装置
CN105335743A (zh) * 2015-10-28 2016-02-17 重庆邮电大学 一种车牌识别方法
CN105913034A (zh) * 2016-04-18 2016-08-31 智车优行科技（北京）有限公司 车辆识别方法、装置及车辆
CN106485248A (zh) * 2016-10-20 2017-03-08 江苏商贸职业学院 一种渣土车车牌倾斜校正方法
CN106778737A (zh) * 2016-11-24 2017-05-31 北京文安智能技术股份有限公司 一种车牌矫正方法、装置和一种视频采集装置
CN106874897A (zh) * 2017-04-06 2017-06-20 北京精英智通科技股份有限公司 一种车牌识别方法和装置
CN107506765A (zh) * 2017-10-13 2017-12-22 厦门大学 一种基于神经网络的车牌倾斜校正的方法
CN109858484A (zh) * 2019-01-22 2019-06-07 电子科技大学 一种基于偏斜评价的多类别变换车牌校正算法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YUN WEI等: "Multi-vehicle detection algorithm through combining Harr and HOG features", 《MATHEMATICS AND COMPUTERS IN SIMULATION》 *
何东健等: "《数字图像处理》", 28 February 2015, 西安电子科技大学出版社 *
刘长青: "车牌识别技术的研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Similar Documents

Publication Publication Date Title
WO2019205842A1 (zh) 相机姿态追踪过程的重定位方法、装置及存储介质
CN109584276A (zh) 关键点检测方法、装置、设备及可读介质
CN112733820B (zh) 障碍物信息生成方法、装置、电子设备和计算机可读介质
US8803880B2 (en) Image-based lighting simulation for objects
CN111932664A (zh) 图像渲染方法、装置、电子设备及存储介质
CN109947886A (zh) 图像处理方法、装置、电子设备及存储介质
WO2020228682A1 (zh) 对象交互方法及装置、系统、计算机可读介质和电子设备
CN109754464B (zh) 用于生成信息的方法和装置
CN109583391A (zh) 关键点检测方法、装置、设备及可读介质
CN111357034A (zh) 点云生成方法、系统和计算机存储介质
CN109683710B (zh) 一种手掌法向量确定方法、装置、设备及存储介质
CN110062157A (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN110225400A (zh) 一种动作捕捉方法、装置、移动终端及存储介质
WO2022247630A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN110334650A (zh) 物体检测方法、装置、电子设备及存储介质
CN114049674A (zh) 一种三维人脸重建方法、装置及存储介质
WO2020259152A1 (zh) 贴纸生成方法、装置、介质和电子设备
WO2023193613A1 (zh) 高光渲染方法、装置、介质及电子设备
CN109816791B (zh) 用于生成信息的方法和装置
WO2023193639A1 (zh) 图像渲染方法、装置、可读介质及电子设备
CN110047126B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN110363132B (zh) 活体检测方法、装置、电子设备及存储介质
US8872832B2 (en) System and method for mesh stabilization of facial motion capture data
WO2023025085A1 (zh) 视频处理方法、装置、设备、介质及程序产品
CN110348440A (zh) 牌照检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191018