CN110288612B - 铭牌定位与校正方法及设备 - Google Patents
铭牌定位与校正方法及设备 Download PDFInfo
- Publication number
- CN110288612B CN110288612B CN201910528635.1A CN201910528635A CN110288612B CN 110288612 B CN110288612 B CN 110288612B CN 201910528635 A CN201910528635 A CN 201910528635A CN 110288612 B CN110288612 B CN 110288612B
- Authority
- CN
- China
- Prior art keywords
- nameplate
- image
- outline
- region
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012937 correction Methods 0.000 claims abstract description 16
- 230000011218 segmentation Effects 0.000 claims description 55
- 230000015654 memory Effects 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 16
- 238000013135 deep learning Methods 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 2
- 238000007689 inspection Methods 0.000 abstract description 7
- 239000007787 solid Substances 0.000 abstract description 3
- 230000005291 magnetic effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明的目的是提供一种铭牌定位与校正方法及设备，本发明根据所述铭牌的四个顶点透视校正铭牌，实现了铭牌的智能定位与校正，可以对任意倾斜角度保持鲁棒。可以解决车辆年检等场景中现场铭牌拍摄角度随意导致铭牌照片畸变问题，铭牌定位与校正为铭牌识别打下坚实的基础。铭牌的定位与校正是铭牌信息检测与识别的前提，可以实现车辆年检铭牌信息快速核对，节省人力成本，提高企业效率。
Description
技术领域
本发明涉及计算机领域，尤其涉及一种铭牌定位与校正方法及设备。
背景技术
随着社会经济的不断发展和人民生活水平的持续提高，城市机动车保有量迅猛增长。机动车车辆年检的工作量也随之迅速增大。传统的车辆年检中车辆铭牌信息检测对比主要是人工判定，车辆基数大，个人精力有限，如何准确、快速地审核车辆铭牌，同时避免人工核对成本高，易疲劳，易疏忽等弊端，是急需解决的技术问题。
发明内容
本发明的一个目的是提供一种铭牌定位与校正方法及设备。
根据本发明的一个方面，提供了一种铭牌定位与校正方法，该方法包括：
获取待校正角度的铭牌图像；
分割所述铭牌图像得到分割结果；其中，所述分割结果至少标记出铭牌图像中的铭牌区域；
基于所述分割结果将所述铭牌图像转换为区域二值图；
基于所述区域二值图查找铭牌区域的轮廓，得到铭牌区域的轮廓二值图；
基于所述铭牌区域的轮廓二值图检测所述铭牌区域的轮廓的两组对边边缘直线；
基于所述铭牌区域的轮廓的两组对边边缘直线计算所述铭牌区域的四个顶点，基于所述铭牌区域的四个顶点校正所述铭牌区域的角度。
进一步的，上述方法中，分割所述铭牌图像得到分割结果，包括：
将所述铭牌图像输入基于深度学习的分割模型；
获取所述基于深度学习的分割模型的输出的至少标记出铭牌图像中的铭牌区域的分割结果。
进一步的，上述方法中，将所述铭牌图像输入基于深度学习的分割模型之前，还包括：
获取不同角度、光照、种类和图像质量的铭牌图像样本；
采用多边形在所述铭牌图像样本中标记铭牌区域的轮廓；
采用标记了铭牌区域的轮廓的铭牌图像训练铭牌分割深度学习网络模型，以获得基于深度学习的分割模型。
进一步的，上述方法中，基于所述分割结果将所述铭牌图像转换为区域二值图，包括：
基于分割结果，将标记出的铭牌图像中的铭牌区域的颜色映射为第一颜色，将除铭牌区域之外的其他区域的颜色映射为第二颜色，得到颜色映射colormap图；其中，第一颜色与第二颜色互异；
对颜色映射colormap图进行灰度化处理，得到灰度图；
对灰度图进行二值化处理以获得区域二值图。
进一步的，上述方法中，基于所述铭牌区域的轮廓二值图检测所述铭牌区域的轮廓的两组对边边缘直线，包括：
运用霍夫线变换houghline检测所述轮廓二值图中的直线，并分类所检测到的直线中的铭牌边缘直线簇；
根据所述铭牌边缘直线簇的倾斜角分类得到所述铭牌的两组对边边缘直线。
进一步的，上述方法中，运用霍夫线变换houghline检测所述轮廓二值图中的直线，并分类所检测到的直线中的铭牌边缘直线簇，根据所述铭牌边缘直线簇的倾斜角分类得到所述铭牌的两组对边边缘直线，包括：
调用视觉库opencv的画轮廓函数drawcontours将所述轮廓二值图中轮廓点集画在新建的同样大小的纯色图片上，并对应调整纯色图片上轮廓点集的大小；
运用霍夫线变换houghline在所述纯色图片上轮廓点集上查找直线；
根据所检测到的直线与x、y坐标轴的截距分类铭牌边缘直线簇，并判断分类得到的所述直线簇数量是否是4，若是，则根据所述铭牌边缘直线簇的倾斜角分类得到所述铭牌的两组对边边缘直线。
进一步的，上述方法中，根据所述铭牌边缘直线簇的倾斜角分类得到所述铭牌的两组对边边缘直线，包括：
在所述铭牌边缘直线簇中遍历最长直线的作为铭牌的4个边界；
计算所述铭牌的4个边界两两之间的倾斜角度差距；
分别将倾斜角度差距最小的每两个边界的作为一组对边边缘直线。
进一步的，上述方法中，基于所述铭牌区域的轮廓的两组对边边缘直线计算所述铭牌区域的四个顶点，包括：
根据所述铭牌区域的两组对边边缘直线计算四个交点，根据所述四个交点离原点距离以及上下左右位置关系，确定所述铭牌区域的左上、右上、左下和右下四个顶点。
进一步的，上述方法中，基于所述铭牌的四个顶点校正所述铭牌区域的角度，包括：
根据四个顶点的原始坐标确定铭牌校正后的四个顶点的目标坐标；
根据四个顶点的原始坐标和铭牌校正后的四个顶点的目标坐标，计算变换矩阵；
基于所述变换矩阵并调用warpPerspective函数透视校正所述铭牌区域。
根据本发明的另一方面，还提供了一种铭牌定位与校正设备，其中，该设备包括：
第一装置，用于获取待校正角度的铭牌图像；分割所述铭牌图像得到分割结果；其中，所述分割结果至少标记出铭牌图像中的铭牌区域；
第二装置，用于基于所述分割结果将所述铭牌图像转换为区域二值图，基于所述区域二值图查找铭牌区域的轮廓，得到铭牌区域的轮廓二值图；
第三装置，用于基于所述铭牌区域的轮廓二值图检测所述铭牌区域的轮廓的两组对边边缘直线；
第四装置，用于基于所述铭牌区域的轮廓的两组对边边缘直线计算所述铭牌区域的四个顶点，基于所述铭牌区域的四个顶点校正所述铭牌区域的角度。
根据本发明的另一方面，还提供了一种基于计算的设备，其中，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
获取待校正角度的铭牌图像；
分割所述铭牌图像得到分割结果；其中，所述分割结果至少标记出铭牌图像中的铭牌区域；
基于所述分割结果将所述铭牌图像转换为区域二值图；
基于所述区域二值图查找铭牌区域的轮廓，得到铭牌区域的轮廓二值图；
基于所述铭牌区域的轮廓二值图检测所述铭牌区域的轮廓的两组对边边缘直线；
基于所述铭牌区域的轮廓的两组对边边缘直线计算所述铭牌区域的四个顶点，基于所述铭牌区域的四个顶点校正所述铭牌区域的角度。
根据本发明的另一方面，还提供了一种计算机可读存储介质，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：
获取待校正角度的铭牌图像；
分割所述铭牌图像得到分割结果；其中，所述分割结果至少标记出铭牌图像中的铭牌区域；
基于所述分割结果将所述铭牌图像转换为区域二值图；
基于所述区域二值图查找铭牌区域的轮廓，得到铭牌区域的轮廓二值图；
基于所述铭牌区域的轮廓二值图检测所述铭牌区域的轮廓的两组对边边缘直线；
基于所述铭牌区域的轮廓的两组对边边缘直线计算所述铭牌区域的四个顶点，基于所述铭牌区域的四个顶点校正所述铭牌区域的角度。
与现有技术相比，本发明根据所述铭牌的四个顶点透视校正铭牌，实现了铭牌的智能定位与校正，可以对任意倾斜角度保持鲁棒。可以解决车辆年检等场景中现场铭牌拍摄角度随意导致铭牌照片畸变问题，铭牌定位与校正为铭牌识别打下坚实的基础。铭牌的定位与校正是铭牌信息检测与识别的前提，可以实现车辆年检铭牌信息快速核对，节省人力成本，提高企业效率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1示出本发明一实施例的铭牌定位与校正方法的流程图；
图2示出本发明一实施例的待校正的铭牌的原图；
图3示出本发明一实施例的铭牌的colormap图；
图4示出本发明一实施例的铭牌的二值图；
图5示出本发明一实施例的铭牌的轮廓二值图；
图6示出根本发明一实施例的铭牌的两对边直线图；
图7示出根本发明一实施例的铭牌的四个顶点图；
图8示出根本发明一实施例的校正之后的铭牌图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本发明作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
如图1所示，本发明提供一种铭牌定位与校正方法，包括：
步骤S1，获取待校正角度的铭牌图像，分割所述铭牌图像得到分割结果；其中，所述分割结果至少标记出铭牌图像中的铭牌区域；
在此，从服务器下载如图2所示的铭牌图像；
可以根据铭牌区域的大小判断铭牌是否存在，若存在记录此条标志为1；若不存在则记录此条标记为0，则可以保存相关图片，进入统计分析流程；
步骤S2，基于所述分割结果将所述铭牌图像转换为区域二值图，基于所述区域二值图查找铭牌区域的轮廓，得到铭牌区域的轮廓二值图；
步骤S3，基于所述铭牌区域的轮廓二值图检测所述铭牌区域的轮廓的两组对边边缘直线，其中，两组对边边缘直线之间互相垂直，每组对边边缘直线互相平行；
步骤S4，基于所述铭牌区域的轮廓的两组对边边缘直线计算所述铭牌区域的四个顶点，基于所述铭牌区域的四个顶点校正所述铭牌区域的角度。
在此，本发明根据所述铭牌的四个顶点透视校正铭牌，实现了铭牌的智能定位与校正，可以对任意倾斜角度保持鲁棒。可以解决车辆年检等场景中现场铭牌拍摄角度随意导致铭牌照片畸变问题，铭牌定位与校正为铭牌识别打下坚实的基础。铭牌的定位与校正是铭牌信息检测与识别的前提，可以实现车辆年检铭牌信息快速核对，节省人力成本，提高企业效率。
如图1所示，本发明的铭牌定位与校正方法一实施例中，步骤S1，分割所述铭牌图像中的铭牌区域，包括：
将所述铭牌图像输入基于深度学习的分割模型；
获取所述基于深度学习的分割模型的输出的至少标记出铭牌图像中的铭牌区域的分割结果。
本发明的铭牌定位与校正方法一实施例中，将所述铭牌图像输入基于深度学习的分割模型之前，还包括：
S01、获取不同角度、光照、种类和图像质量的铭牌图像样本；
S02、采用多边形在所述铭牌图像样本中标记铭牌区域的轮廓；
S03、采用标记了铭牌区域的轮廓的铭牌图像训练铭牌分割深度学习网络模型，以获得基于深度学习的分割模型。
在此，可以采集不同角度、光照、种类和图像质量的铭牌图像，并沿着铭牌轮廓标注铭牌所在区域，在轮廓内的像素点代表铭牌，标签为1，轮廓外的像素代表背景，标签为0。这样生成一副和铭牌图像尺寸一样的标签图像。铭牌分割模型训练集由铭牌原图和与其对应的标签图构成。训练场景分割神经网络模型，获得铭牌分割模型。在训练过程中，根据各个标签的准确度适当调整相应的权重class_weighting。
如图1所示，本发明的铭牌定位与校正方法一实施例中，步骤S2基于所述分割结果将所述铭牌图像转换为区域二值图，包括：
步骤S21，基于分割结果，将标记出的铭牌图像中的铭牌区域的颜色映射为第一颜色，将除铭牌区域之外的其他区域的颜色映射为第二颜色，得到颜色映射colormap图；其中，第一颜色与第二颜色互异，
步骤S22，对颜色映射colormap图进行灰度化处理，得到灰度图；
步骤S23，对灰度图进行二值化处理以获得区域二值图。
在此，可以对分割到的铭牌区域进行铭牌colormap图形态学操作以获得区域二值图；
可以用训练好的分割模型对铭牌跑前向得到铭牌的颜色映colormap图，所谓的颜色映colormap图就是模型输出图片的标签图，根据不同的标签对应相应的颜色，方便显示查看，如图3铭牌colormap图所示。对colormap图灰度二值化处理，如图4铭牌的区域二值图所示。在区域二值图上查找轮廓，因为前向跑出来的colormap图会有其他小区域的误判，导致二值图检测出来的轮廓不止一个，但是铭牌所在区域的轮廓面积肯定是最大的，因此取最大面积轮廓为铭牌轮廓，其他轮廓为干扰无效的轮廓。在同样尺寸上的图片画出轮廓，并灰度二值化处理得到铭牌的轮廓二值图。如图5铭牌轮廓二值图所示。
如图1所示，本发明的铭牌定位与校正方法一实施例中，步骤S3，基于所述铭牌区域的轮廓二值图检测所述铭牌区域的轮廓的两组对边边缘直线，包括：
步骤S31，运用霍夫线变换houghline检测所述轮廓二值图中的直线，并分类所检测到的直线中的铭牌边缘直线簇；
在此，在铭牌轮廓二值图上运用霍夫线变换houghline检测直线，并根据所检测到的直线与x、y轴的截距分类铭牌边缘直线簇，若直线簇的数量是4则记录此条标记为1，否则记录此条标记为0，并保存相关图片，进入统计分析流程；
步骤S32，根据所述铭牌边缘直线簇的倾斜角分类得到所述铭牌的两组对边边缘直线。
在此，通过运用霍夫线变换houghline检测直线，可以更高效、准确地获取铭牌的两组对边边缘直线。
如图1所示，本发明的铭牌定位与校正方法一实施例中，步骤S31和步骤S32，运用霍夫线变换houghline检测所述轮廓二值图中的直线，并分类所检测到的直线中的铭牌边缘直线簇，根据所述铭牌边缘直线簇的倾斜角分类得到所述铭牌的两组对边边缘直线，包括：
步骤S311，调用视觉库opencv的画轮廓函数drawcontours将所述轮廓二值图中轮廓点集画在新建的同样大小的纯色图片上，并对应调整纯色图片上轮廓点集的大小；
步骤S312，运用霍夫线变换houghline在所述纯色图片上轮廓点集上查找直线；
步骤S313，根据所检测到的直线与x、y坐标轴的截距分类铭牌边缘直线簇，并判断分类得到的所述直线簇数量是否是4，若是，则根据所述铭牌边缘直线簇的倾斜角分类得到所述铭牌的两组对边边缘直线。
在此，可以在铭牌轮廓二值图上运用houghline检测直线，根据两个端点坐标按照ax+by+c＝0的形式求所有直线方程，得到铭牌轮廓直线簇。根据直线与x、y坐标轴的截距来归类直线，具体来说，因为铭牌同一边上的直线与轴的截距相差不大，根据直线方程求出直线与x或者y轴的截距来归类直线，这样就可以把直线簇归类为4类小直线簇，每类直线簇代表铭牌的4条边。同时因为铭牌对边理论上是平行的，在实际情况中，根据铭牌的两对边的倾斜角差距很小，可以得到铭牌的两对边。如图6所示铭牌两对边边缘直线。
如图1所示，本发明的铭牌定位与校正方法一实施例中，步骤S32，根据所述铭牌边缘直线簇的倾斜角分类得到所述铭牌的两组对边边缘直线，包括：
S321，在所述铭牌边缘直线簇中遍历最长直线的作为铭牌的4个边界；
S322，计算所述铭牌的4个边界两两之间的倾斜角度差距；
S323，分别将倾斜角度差距最小的每两个边界的作为一组对边边缘直线。
如图1所示，本发明的铭牌定位与校正方法一实施例中，步骤S4，基于所述铭牌区域的轮廓的两组对边边缘直线计算所述铭牌区域的四个顶点，包括：
根据所述铭牌区域的两组对边边缘直线计算四个交点，根据所述四个交点离原点距离以及上下左右位置关系，确定所述铭牌区域的左上、右上、左下和右下四个顶点。
在此，可以在每类直线簇中取最长的直线为铭牌区域的边缘线，根据直线上下左右关系得到铭牌区域的上下左右边界直线。
在数学上，直线A方程，a1X+b1Y+C＝0；直线B方程，a2X+b2Y+C＝0；其交点方程为，横坐标为(b0*c1-b1*c0)/(a0*b1-a1*b0)，纵坐标为(a1*co-a0*c1)/(a0*b1-a1*b0)。
根据以上公式计算两两对边交点坐标，即可得到铭牌四个顶点坐标。把顶点坐标画在colormap图上如图7铭牌4个顶点图所示。
本发明的铭牌定位与校正方法一实施例中，步骤S4，基于所述铭牌区域的四个顶点校正所述铭牌区域的角度，包括：
步骤S41，根据四个顶点的原始坐标确定铭牌校正后的四个顶点的目标坐标；
步骤S42，根据四个顶点的原始坐标和铭牌校正后的四个顶点的目标坐标，计算变换矩阵；
步骤S43，基于所述变换矩阵并调用warpPerspective函数透视校正所述铭牌区域。
在此，可以设铭牌的四个顶点坐标左上src_pt[0]，左下src_pt[1]，右上src_pt[2]，右下src_pt[3]，则映射后的四个坐标如下：
dst_pt[0]＝Point(MIN(src_pt[0].x,src_pt[1].x),MIN(src_pt[0].y,src_pt[2].y))；
dst_pt[1]＝Point(MIN(src_pt[0].x,src_pt[1].x),MAX(src_pt[1].y,src_pt[3].y))；
dst_pt[2]＝Point(MAX(src_pt[2].x,src_pt[3].x),MIN(src_pt[0].y,src_pt[2].y))；
dst_pt[3]＝Point(MAX(src_pt[2].x,src_pt[3].x),MAX(src_pt[1].y,src_pt[3].y))；
根据dst_pt确定铭牌校正后的矩形区域。因此由4个src_pt和4个映射后的dst_pt调用opencv函数getPerspectiveTransform(src_pt,dst_pt)；
可以计算映射矩阵WarpMatrix。
再调用warpPerspective函数即可透视校正铭牌。校正之后如图8所示。
根据本发明的另一方面，还提供了一种铭牌定位与校正设备，其中，该设备包括：
第一装置，用于获取待校正角度的铭牌图像；分割所述铭牌图像得到分割结果；其中，所述分割结果至少标记出铭牌图像中的铭牌区域；
第二装置，用于基于所述分割结果将所述铭牌图像转换为区域二值图，基于所述区域二值图查找铭牌区域的轮廓，得到铭牌区域的轮廓二值图；
第三装置，用于基于所述铭牌区域的轮廓二值图检测所述铭牌区域的轮廓的两组对边边缘直线；
第四装置，用于基于所述铭牌区域的轮廓的两组对边边缘直线计算所述铭牌区域的四个顶点，基于所述铭牌区域的四个顶点校正所述铭牌区域的角度
根据本发明的另一方面，还提供了一种基于计算的设备，其中，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
获取待校正角度的铭牌图像；
分割所述铭牌图像得到分割结果；其中，所述分割结果至少标记出铭牌图像中的铭牌区域；
基于所述分割结果将所述铭牌图像转换为区域二值图；
基于所述区域二值图查找铭牌区域的轮廓，得到铭牌区域的轮廓二值图；
基于所述铭牌区域的轮廓二值图检测所述铭牌区域的轮廓的两组对边边缘直线；
基于所述铭牌区域的轮廓的两组对边边缘直线计算所述铭牌区域的四个顶点，基于所述铭牌区域的四个顶点校正所述铭牌区域的角度。
根据本发明的另一方面，还提供了一种计算机可读存储介质，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：
获取待校正角度的铭牌图像；
分割所述铭牌图像得到分割结果；其中，所述分割结果至少标记出铭牌图像中的铭牌区域；
基于所述分割结果将所述铭牌图像转换为区域二值图；
基于所述区域二值图查找铭牌区域的轮廓，得到铭牌区域的轮廓二值图；
基于所述铭牌区域的轮廓二值图检测所述铭牌区域的轮廓的两组对边边缘直线；
基于所述铭牌区域的轮廓的两组对边边缘直线计算所述铭牌区域的四个顶点，基于所述铭牌区域的四个顶点校正所述铭牌区域的角度。
本发明的各设备和存储介质实施例的详细内容，具体可参见各方法实施例的对应部分，在此，不再赘述。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本发明的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (10)
1.一种铭牌定位与校正方法，其特征在于，该方法包括：
获取待校正角度的铭牌图像；
分割所述铭牌图像得到分割结果；其中，所述分割结果至少标记出铭牌图像中的铭牌区域；
基于所述分割结果中标记出的铭牌图像区域映射为第一颜色，将除铭牌区域之外的其他区域的颜色映射为第二颜色，得到颜色映射colormap图，对颜色映射colormap图进行灰度化处理，得到灰度图，对灰度图进行二值化处理得到所述铭牌图像对应的区域二值图；
基于所述区域二值图查找铭牌区域的轮廓，得到铭牌区域的轮廓二值图，包括对所述区域二值图进行轮廓检测得到多个轮廓，选取面积最大的轮廓作为铭牌轮廓，并在同样尺寸上的图片画出所述铭牌轮廓后，并灰度二值化处理得到铭牌区域的轮廓二值图；
基于所述铭牌区域的轮廓二值图检测所述铭牌区域的轮廓的两组对边边缘直线，包括：运用霍夫线变换houghline检测所述轮廓二值图中的直线，并根据所述直线的截距分类所检测到的直线中的铭牌边缘直线簇，根据所述铭牌边缘直线簇的倾斜角分类得到所述铭牌的两组对边边缘直线；
基于所述铭牌区域的轮廓的两组对边边缘直线计算所述铭牌区域的四个顶点，基于所述铭牌区域的四个顶点校正所述铭牌区域的角度。
2.根据权利要求1所述的方法，其特征在于，分割所述铭牌图像得到分割结果，包括：
将所述铭牌图像输入基于深度学习的分割模型；
获取所述基于深度学习的分割模型的输出的至少标记出铭牌图像中的铭牌区域的分割结果。
3.根据权利要求2所述的方法，其特征在于，将所述铭牌图像输入基于深度学习的分割模型之前，还包括：
获取不同角度、光照、种类和图像质量的铭牌图像样本；
采用多边形在所述铭牌图像样本中标记铭牌区域的轮廓；
采用标记了铭牌区域的轮廓的铭牌图像训练铭牌分割深度学习网络模型，以获得基于深度学习的分割模型。
4.根据权利要求1所述的方法，其特征在于，第一颜色与第二颜色互异。
5.根据权利要求1所述的方法，其特征在于，运用霍夫线变换houghline检测所述轮廓二值图中的直线，并分类所检测到的直线中的铭牌边缘直线簇，根据所述铭牌边缘直线簇的倾斜角分类得到所述铭牌的两组对边边缘直线，包括：
调用视觉库opencv的画轮廓函数drawcontours将所述轮廓二值图中轮廓点集画在新建的同样大小的纯色图片上，并对应调整纯色图片上轮廓点集的大小；
运用霍夫线变换houghline在所述纯色图片上轮廓点集上查找直线；
根据所检测到的直线与x、y坐标轴的截距分类铭牌边缘直线簇，并判断分类得到的所述直线簇数量是否是4，若是，则根据所述铭牌边缘直线簇的倾斜角分类得到所述铭牌的两组对边边缘直线。
6.根据权利要求5所述的方法，其特征在于，根据所述铭牌边缘直线簇的倾斜角分类得到所述铭牌的两组对边边缘直线，包括：
在所述铭牌边缘直线簇中遍历最长直线的作为铭牌的4个边界；
计算所述铭牌的4个边界两两之间的倾斜角度差距；
分别将倾斜角度差距最小的每两个边界的作为一组对边边缘直线。
7.根据权利要求1所述的方法，其特征在于，基于所述铭牌区域的轮廓的两组对边边缘直线计算所述铭牌区域的四个顶点，包括：
根据所述铭牌区域的两组对边边缘直线计算四个交点，根据所述四个交点离原点距离以及上下左右位置关系，确定所述铭牌区域的左上、右上、左下和右下四个顶点。
8.根据权利要求1所述的方法，其特征在于，基于所述铭牌区域的四个顶点校正所述铭牌区域的角度，包括：
根据四个顶点的原始坐标确定铭牌校正后的四个顶点的目标坐标；
根据四个顶点的原始坐标和铭牌校正后的四个顶点的目标坐标，计算变换矩阵；
基于所述变换矩阵并调用warpPerspective函数透视校正所述铭牌区域。
9.一种基于计算的设备，其中，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行权利要求1至8任一项所述方法的操作。
10.一种计算机可读存储介质，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器执行权利要求1至8任一项所述方法的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910528635.1A CN110288612B (zh) | 2019-06-18 | 2019-06-18 | 铭牌定位与校正方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910528635.1A CN110288612B (zh) | 2019-06-18 | 2019-06-18 | 铭牌定位与校正方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110288612A CN110288612A (zh) | 2019-09-27 |
| CN110288612B true CN110288612B (zh) | 2020-08-25 |
Family
ID=68005084
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910528635.1A Expired - Fee Related CN110288612B (zh) | 2019-06-18 | 2019-06-18 | 铭牌定位与校正方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110288612B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110852958B (zh) * | 2019-10-11 | 2022-12-16 | 北京迈格威科技有限公司 | 基于物体倾斜角度的自适应校正方法和装置 |
| CN111429516A (zh) * | 2020-03-23 | 2020-07-17 | 上海眼控科技股份有限公司 | 车架号的角点定位方法、装置、计算机设备及存储介质 |
| CN114267038B (zh) * | 2022-03-03 | 2022-05-20 | 南京甄视智能科技有限公司 | 铭牌的类型识别方法、装置、存储介质及设备 |
| CN115689994B (zh) * | 2022-09-14 | 2023-08-04 | 优层智能科技(上海)有限公司 | 一种铭牌和条码缺陷检测方法、设备和存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102902945B (zh) * | 2012-09-28 | 2015-04-15 | 南京汇兴博业数字设备有限公司 | 基于快速响应矩阵码外轮廓的畸变校正方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106203433A (zh) * | 2016-07-13 | 2016-12-07 | 西安电子科技大学 | 一种车辆监控图像中车牌位置自动提取并透视校正的方法 |
| CN108446698B (zh) * | 2018-03-15 | 2020-08-21 | 腾讯大地通途（北京）科技有限公司 | 在图像中检测文本的方法、装置、介质及电子设备 |
| CN108564557B (zh) * | 2018-05-31 | 2020-08-25 | 京东方科技集团股份有限公司 | 图像校正方法及装置 |
| CN109087241A (zh) * | 2018-08-22 | 2018-12-25 | 东北农业大学 | 一种农业作物图像数据无损采集方法 |
| CN109241966A (zh) * | 2018-08-22 | 2019-01-18 | 东北农业大学 | 一种植物叶片无损采集方法 |
-
2019
- 2019-06-18 CN CN201910528635.1A patent/CN110288612B/zh not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102902945B (zh) * | 2012-09-28 | 2015-04-15 | 南京汇兴博业数字设备有限公司 | 基于快速响应矩阵码外轮廓的畸变校正方法 |
Non-Patent Citations (3)
| Title |
|---|
| Bend sensors with direction recognition based on long-period gratings written in D-shaped fiber;Zhao, DH 等;《APPLIED OPTICS》;20041010;全文 * |
| Building an Automatic Vehicle License-Plate Recognition System;Tran Duc Duan 等;《International. Conference in Computer Science》;20050228;全文 * |
| 车牌识别中关键算法研究与实现;刘锦;《中国优秀硕士学位论文全文数据库信息科技辑》;20110515;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110288612A (zh) | 2019-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110288612B (zh) | 铭牌定位与校正方法及设备 | |
| US10607362B2 (en) | Remote determination of containers in geographical region | |
| CN111695486B (zh) | 一种基于点云的高精度方向标志牌目标提取方法 | |
| US20190138849A1 (en) | Rotation variant object detection in deep learning | |
| CN109977191B (zh) | 问题地图检测方法、装置、电子设备和介质 | |
| CN111259889A (zh) | 图像文本识别方法、装置、计算机设备及计算机存储介质 | |
| CN111325769B (zh) | 一种目标对象检测方法及装置 | |
| CN111507976B (zh) | 基于多角度成像的缺陷检测方法及系统 | |
| CN112257676A (zh) | 一种指针式仪表读数方法、系统以及巡检机器人 | |
| CN111325717B (zh) | 手机缺陷位置识别方法及设备 | |
| CN114758249B (zh) | 基于野外夜间环境的目标物监测方法、装置、设备及介质 | |
| EP3553700A2 (en) | Remote determination of containers in geographical region | |
| CN111626295A (zh) | 车牌检测模型的训练方法和装置 | |
| CN110223310A (zh) | 一种基于深度学习的线结构光中心线和箱体边缘检测方法 | |
| CN110659637A (zh) | 一种结合深度神经网络和sift特征的电能表示数与标签自动识别方法 | |
| CN108447092B (zh) | 视觉定位标识物的方法及装置 | |
| CN112686872B (zh) | 基于深度学习的木材计数方法 | |
| CN112784675B (zh) | 目标检测方法及装置、存储介质、终端 | |
| CN109191489B (zh) | 一种飞行器着陆标志的检测跟踪方法与系统 | |
| CN106682668A (zh) | 一种使用无人机标记影像的输电线路地质灾害监测方法 | |
| CN111402185A (zh) | 一种图像检测方法及装置 | |
| CN113537026B (zh) | 建筑平面图中的图元检测方法、装置、设备及介质 | |
| Bogacz et al. | Feature descriptors for spotting 3D characters on triangular meshes | |
| CN111325194B (zh) | 一种文字识别方法、装置及设备、存储介质 | |
| Tybusch et al. | Color-based and recursive fiducial marker for augmented reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Nameplate positioning and correction method and equipment Effective date of registration: 20220211 Granted publication date: 20200825 Pledgee: Shanghai Bianwei Network Technology Co.,Ltd. Pledgor: SHANGHAI EYE CONTROL TECHNOLOGY Co.,Ltd. Registration number: Y2022310000023 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200825 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |