CN113971738A - 图像检测方法、装置、电子设备及存储介质 - Google Patents

图像检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113971738A
CN113971738A CN202111262362.4A CN202111262362A CN113971738A CN 113971738 A CN113971738 A CN 113971738A CN 202111262362 A CN202111262362 A CN 202111262362A CN 113971738 A CN113971738 A CN 113971738A
Authority
CN
China
Prior art keywords
image
detected
layer
coordinate
vertex
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111262362.4A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Shuzhilian Technology Co Ltd
Original Assignee
Chengdu Shuzhilian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Shuzhilian Technology Co Ltd filed Critical Chengdu Shuzhilian Technology Co Ltd
Priority to CN202111262362.4A priority Critical patent/CN113971738A/zh
Publication of CN113971738A publication Critical patent/CN113971738A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种图像检测方法、装置、电子设备及存储介质，涉及图像检测领域。在本发明中，首先获取原始图像，其中，原始图像包括待检测图像，待检测图像为至少包含四个顶点的多边形；然后，将原始图像输入预先训练的图像检测模型的特征提取网络，得到原始图像的特征图；再将特征图输入图像检测模型的坐标预测网络，得到待检测图像的顶点坐标，并根据顶点坐标，从原始图像中确定待检测图像；最后，根据顶点坐标，将待检测图像进行透视变换，得到目标图像。本发明消除了因拍摄角度造成的图像畸变对图像检测及识别的影响，不需要多次调整拍摄角度，进而提高了图像检测的效率。

Description

图像检测方法、装置、电子设备及存储介质
技术领域
本发明涉及图像检测领域，具体而言，涉及一种图像检测方法、装置、电子设备及存储介质。
背景技术
随着数字化技术的发展，许多生活场景都会涉及图像解析，比如，移动支付中，通过扫描二维码完成付款。一般情况下，图像解析过程包括检测和识别两个步骤，但由于拍摄角度的偏差，使得图像的形状存在畸变，检测过程仅仅得到了畸变图像的最小外接矩形区域，无法进行识别，只能不断调整拍摄角度直到检测到可识别的图像，严重影响了图像解析的效率。
发明内容
本发明实施例提供一种图像检测方法、装置、电子设备及存储介质，其能够克服现有技术的不足。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供了一种图像检测方法，所述图像检测方法包括：
获取原始图像，所述原始图像包括待检测图像，所述待检测图像为至少包含四个顶点的多边形；
将所述原始图像输入预先训练的图像检测模型的特征提取网络，得到所述原始图像的特征图；
将所述特征图输入所述图像检测模型的坐标预测网络，得到所述待检测图像的顶点坐标；
根据所述顶点坐标，从所述原始图像中确定所述待检测图像；
对所述待检测图像进行透视变换，得到目标图像。
作为一种可能的实现方式，所述坐标预测网络包括热力层、相对偏移层、顶点偏移层和解码层，所述将所述特征图输入所述图像检测模型的坐标预测网络，得到所述待检测图像的顶点坐标的步骤包括：
将所述特征图输入所述热力层，得到参考点的坐标；
将所述特征图输入所述相对偏移层，得到所述待检测图像的中心点坐标相对于所述参考点的坐标的第一偏移量；
将所述特征图输入所述顶点偏移层，得到所述待检测图像的顶点坐标相对于所述中心点坐标的第二偏移量；
将所述参考点的坐标、所述第一偏移量和所述第二偏移量作为所述特征图的解码参数，并将所述解码参数输入所述解码层，得到所述待检测图像的顶点坐标。
作为一种可能的实现方式，将所述解码参数输入所述解码层，得到所述待检测图像的顶点坐标的步骤包括：
利用所述解码层，根据所述参考点的坐标和所述第一偏移量，得到所述待检测图像的中心点坐标；
根据所述中心点坐标和所述第二偏移量，得到所述待检测图像的顶点坐标。
作为一种可能的实现方式，所述特征图为多个，所述坐标预测网络还包括抑制层，所述将所述特征图输入所述图像检测模型的坐标预测网络，得到所述待检测图像的顶点坐标的步骤还包括：
将每一所述特征图分别输入所述热力层、相对偏移层和顶点偏移层，得到每一所述特征图的解码参数；
将每一所述特征图的解码参数输入所述解码层，得到每一所述特征图对应的顶点坐标；
将所有所述特征图对应的顶点坐标输入所述抑制层，得到所述待检测图像的顶点坐标。
作为一种可能的实现方式，所述热力层包括卷积模块，所述将所述特征图输入所述热力层，得到参考点坐标的步骤包括：
将所述特征图输入所述卷积模块，得到热力特征图；
将所述热力特征图中热力值大于预设值的像素点的坐标作为所述参考点的坐标。
作为一种可能的实现方式，所述对所述待检测图像进行透视变换，得到目标图像的步骤包括：
根据预设点坐标及所述顶点坐标，求解透视变换矩阵，其中，所述预设点坐标为目标图像的顶点坐标，所述目标图像为对所述待检测图像进行透视变换后的图像；
根据所述透视变换矩阵对所述待检测图像中的每一个像素点进行坐标变换，得到所述目标图像。
作为一种可能的实现方式，训练所述图像检测模型的方式为：
获取训练数据及标签；
将所述训练数据输入所述图像检测模型，得到预测顶点坐标；
根据所述预测顶点坐标及所述标签，利用预设损失函数对所述图像检测模型进行参数更新，直至满足预设终止条件，得到训练后的图像检测模型，其中，所述预设损失函数是根据所述热力层的损失函数、所述相对偏移层的损失函数、所述顶点偏移层的损失函数和尺寸回归层的损失函数确定的。
作为一种可能的实现方式，所述预设损失函数是根据所述热力层的损失函数、所述相对偏移层的损失函数、所述尺寸回归层的损失函数和所述顶点偏移层的损失函数采用公式Ltotal＝aLcls+bLoff+cLsize+dLcor确定，其中，所述Ltotal为所述图像检测模型的损失函数，所述Lcls为所述热力层的损失函数，所述Loff为所述相对偏移层的损失函数，所述Lsize为所述尺寸回归层的损失函数，所述Lcor为所述顶点偏移层的损失函数，所述a，b，c，d分别为所述热力层、所述相对偏移层、所述尺寸回归层和所述顶点偏移层的权重因子。
第二方面，本发明实施例还提供了一种图像检测装置，所述图像检测装置包括：
获取模块，用于获取原始图像，所述原始图像包括待检测图像，所述待检测图像为至少包含四个顶点的多边形；
检测模块，用于将所述原始图像输入预先训练的图像检测模型的特征提取网络，得到所述原始图像的特征图；
所述检测模块，还用于将所述特征图输入所述图像检测模型的坐标预测网络，得到所述待检测图像的顶点坐标；
所述检测模块，还用于根据所述顶点坐标，从所述原始图像中确定所述待检测图像；
校正模块，用于根据所述顶点坐标，将所述待检测图像进行透视变换，得到目标图像。
第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在调用所述计算机程序时执行本发明实施例第一方面提供的图像检测方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面提供的图像检测方法。
相较于现有技术，本发明实施例提供的一种图像检测方法、装置、电子设备及存储介质，首先获取原始图像，其中，原始图像包括待检测图像，待检测图像为至少包含四个顶点的多边形；然后，将原始图像输入预先训练的图像检测模型的特征提取网络，得到原始图像的特征图；再将特征图输入图像检测模型的坐标预测网络，得到待检测图像的顶点坐标，并根据顶点坐标，从原始图像中确定待检测图像；最后，根据顶点坐标，将待检测图像进行透视变换，得到目标图像。由于本发明实施例通过将原始图像输入预先训练的包含特征提取网络核坐标预测网络的图像检测模型，确定待检测图像的顶点坐标，并根据顶点坐标从原始图像中获取待检测图像，再根据顶点坐标对待检测图像进行透视变换，得到目标图像，从而消除了因拍摄角度造成的图像畸变对图像检测及识别的影响，不需要多次调整拍摄角度，进而提高了图像检测的效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种图像检测方法流程图；
图2为本发明实施例提供的一种图像检测模型结构示意图；
图3为本发明实施例提供的一种确定待检测图像的顶点坐标的方法流程图；
图4为本发明实施例提供的一种训练阶段的图像检测模型结构示意图；
图5为本发明实施例提供的一种待检测图像透视变换流程图；
图6为本发明实施例提供的一种待检测图像透视变换前后对比图；
图7为本发明实施例提供的图像检测装置的方框示意图；
图8为本发明实施例提供的一种电子设备的结构示意框图。
图标：100-图像检测装置；101-获取模块；102-检测模块；103-校正模块；200-电子设备；210-存储器；220-处理器。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。
为了克服因拍摄角度造成的图像畸变对图像检测及识别的影响，本发明实施例提供了一种图像检测方法、装置、电子设备及存储介质，下面将对其进行详细描述。
请参照图1，图1为本发明实施例提供的一种图像检测方法流程图，该方法包括步骤S101至步骤S105。
步骤S101，获取原始图像，其中，原始图像包括待检测图像，待检测图像为至少包含四个顶点的多边形。
在本发明实施例中，待检测图像为原始图像的一个组成部分，其形状为不规则的多边形，且边数不少于四条，即待检测图像至少为一个四边形。
步骤S102，将原始图像输入预先训练的图像检测模型的特征提取网络，得到原始图像的特征图。
在本发明实施例中，原始图像的特征图可以为一个，也可以为多个，并且多个特征图分别反映不同尺度的空间特征，特征提取网络可以为U-net结构，也可以为HR-net结构等。
步骤S103，将特征图输入图像检测模型的坐标预测网络，得到待检测图像的顶点坐标。
在本发明实施例中，图像检测模型包括坐标预测网络，将特征提取网络输出的原始图像的特征图输入坐标预测网络，实现对待检测图像多个顶点的坐标的检测。
步骤S104，根据顶点坐标，从原始图像中确定待检测图像。
在本发明实施例中，根据待检测图像多个顶点的坐标，确定待检测图像在原始图像中位置及所占据的区域，并截取出待检测图像。
步骤S105，对待检测图像进行透视变换，得到目标图像。
在本发明实施例中，目标图像是指消除了待检测图像中因拍摄角度造成的图像畸变，可以用于后续图像识别的图像，换句话说，待检测图像就是畸变后的目标图像。
本发明实施例提供的上述方法，其有益效果在于，通过将原始图像输入预先训练的包含特征提取网络核坐标预测网络的图像检测模型，确定待检测图像的顶点坐标，并根据顶点坐标从原始图像中获取待检测图像，再根据顶点坐标对待检测图像进行透视变换，得到目标图像，从而消除了因拍摄角度造成的图像畸变对图像检测及识别的影响，并且不需要多次调整拍摄角度，进而提高了图像检测的效率。
为了更好地理解上述图像检测方法的各步骤，本发明发明实施例提供了一种具体的图像检测模型，请参照图2，图2为本发明实施例提供的一种图像检测模型结构示意图，图像检测模型包括U-net结构的特征提取网络，其包括多个下采样层和与多个下采样层通过跳跃连接的多个上采样层。将原始图像输入U-net结构的特征提取网络，通过一层一层下采样层逐步提取不同尺度的空间特征，再经过一层一层上采样层对相应尺度的空间特征进行特征还原，输出原始图像的特征图。图像检测模型还包括坐标预测网络，其包括热力层、相对偏移层、顶点偏移层、解码层和抑制层。
基于图1和图2，本发明实施例提供了一种利用坐标预测网络确定待检测图像的顶点坐标的具体实现方式，请参照图3，图3为本发明实施例提供的一种确定待检测图像的顶点坐标的方法流程图，步骤S103包括子步骤S103-1至子步骤S103-4。
子步骤S103-1，将特征图输入热力层，得到参考点的坐标。
在本发明实施例中，参考点用于辅助定位待检测图像在原始图像中的位置，通过将原始图像的特征图输入热力层，根据热力层的输出结果，确定参考点的坐标。
作为一种具体实现方式，子步骤S103-1的具体步骤包括：
首先，将特征图输入卷积模块，得到热力特征图。
然后，将热力特征图中热力值大于预设值的像素点的坐标作为参考点的坐标。
在本发明实施例中，热力层包含卷积模块，将原始图像的特征图输入卷积模块，卷积模块输出热力特征图，上述预设值为将热力特征图中的像素点进行分类的一个门限值，当某像素点的热力值大于预设值时，该像素点被确定为参考点，其坐标即为参考点的坐标。
子步骤S103-2，将特征图输入相对偏移层，得到待检测图像的中心点坐标相对于参考点的坐标的第一偏移量。
在本发明实施例中，待检测图像的中心点坐标相对于参考点坐标的第一偏移量是指中心点在x方向相对于参考点的距离和中心点在y方向相对于参考点的距离，将原始图像的特征图输入相对偏移层，输出待检测图像的中心点坐标相对于参考点坐标的第一偏移量。
子步骤S103-3，将特征图输入顶点偏移层，得到待检测图像的顶点坐标相对于中心点坐标的第二偏移量。
在本发明实施例中，待检测图像的顶点坐标相对于中心点坐标的第二偏移量是指顶点在x方向相对于中心点的距离和顶点在y方向相对于中心点的距离，将原始图像的特征图输入顶点偏移层，输出待检测图像的顶点坐标相对于中心点坐标的第二偏移量。
子步骤S103-4，将参考点的坐标、第一偏移量和第二偏移量作为特征图的解码参数，并将解码参数输入解码层，得到待检测图像的顶点坐标。
在本发明实施例中，解码层解码的过程即为计算待检测图像顶点坐标的过程，而解码过程需要利用参考点的坐标、第一偏移量和第二偏移量，则基于原始图像的特征图得到的参考点的坐标、第一偏移量和第二偏移量组成了解码参数。
在本发明实施例中，输入坐标预测网络的特征图可以为一个，此时，子步骤S103-4的具体实现方式如下：
首先，利用解码层，根据参考点的坐标和第一偏移量，得到待检测图像的中心点坐标。
然后，根据中心点坐标和第二偏移量，得到待检测图像的顶点坐标。
在本发明实施例中，解码层解码过程的具体实现原理如下述公式所示：
Figure BDA0003326221320000091
其中，(xc，yc)表示参考点的坐标，(δxc,i，δyc,i)为第一偏移量，
Figure BDA0003326221320000092
为第二偏移量，
Figure BDA0003326221320000093
为待检测图像的中心点坐标，
Figure BDA0003326221320000094
为待检测图像的顶点坐标。
在本发明实施例中，输入坐标预测网络的特征图还可以为多个，它们是原始图像经特征提取网络输出的，且具有不同的尺度，坐标预测网络的热力层、相对偏移层以及顶点偏移层基于不同尺度的特征图，输出多组解码参数，其中，每一特征图对应一组解码参数，利用解码层可以对每一特征图的解码参数进行计算，得到每一特征图对应的顶点坐标，利用抑制层，从多个特征图对应的顶点坐标中，确定待检测图像的顶点坐标，即子步骤S103-4具体实现方式如下：
首先，将每一特征图分别输入热力层、相对偏移层和顶点偏移层，得到每一特征图的解码参数。
然后，将每一特征图的解码参数输入解码层，得到每一特征图对应的顶点坐标。
可以理解地，当输入坐标预测网络的特征图为多个时，对每一特征图的解码参数，解码层解码过程的具体实现原理与输入坐标预测网络的特征图为一个时相同，并无二样。
最后，将所有特征图对应的顶点坐标输入抑制层，得到待检测图像的顶点坐标。
作为一种具体的实现方式，抑制层包括分类模块和非极大抑制模块，将个特征图对应的顶点坐标和原始图像输入分类模块，输出多个候选框以及每个候选框的得分，非极大抑制模块首先将所有候选框按照得分从高到低排列，然后选中得分最高的候选框为处理框，遍历剩余的候选框，并将其中与处理框的重合面积大于预先设定的阀值的候选框删除，接着从未处理的候选框中继续选取一个得分最高的候选框为处理对象，重复上述遍历-删除过程，直到所有的候选框都被处理，将被保留下来的未被删除的候选框的各个顶点的坐标作为待检测图像的顶点坐标进行输出。
在本发明实施例中，利用上述图像检测方法对原始图像进行处理前，需要预先训练好图像检测模型，本发明实施例提供了一种训练图像检测模型的具体实现方式，步骤为：
首先，获取训练数据及标签；
然后，将训练数据输入图像检测模型，得到预测顶点坐标；
最后，根据预测顶点坐标及标签，利用预设损失函数对所述图像检测模型进行参数更新，直至满足预设终止条件，得到训练后的图像检测模型，其中，预设损失函数是根据热力层的损失函数、相对偏移层的损失函数、顶点偏移层的损失函数和尺寸回归层的损失函数确定的。
请参见图4，图4为本发明实施例提供的一种训练阶段的图像检测模型结构示意图，在本发明实施例中，对于图像检测模型训练阶段，其坐标预测网络中还包括尺寸回归层，其用于获取图像的尺寸信息，利用热力层的损失函数、相对偏移层的损失函数、顶点偏移层的损失函数和尺寸回归层的损失函数确定图像检测模型的预设损失函数。
作为一种具体的实现方式，预设损失函数是根据热力层的损失函数、相对偏移层的损失函数、尺寸回归层的损失函数和顶点偏移层的损失函数采用公式Ltotal＝aLcls+bLoff+cLsize+dLcor确定，其中，Ltotal为图像检测模型的损失函数，Lcls为热力层的损失函数，Loff为相对偏移层的损失函数，Lsize为尺寸回归层的损失函数，Lcor为顶点偏移层的损失函数，a，b，c，d分别为热力层、相对偏移层、尺寸回归层及顶点偏移层的权重因子。
基于图1，本发明实施例提供了一种对待检测图像进行透视变换的具体实现方式，请参照图5，图5为本发明实施例提供的一种待检测图像透视变换流程图，步骤S105包括子步骤S105-1至子步骤S105-2。
子步骤S105-1，根据预设点坐标及顶点坐标，求解透变换视矩阵，其中，预设点坐标为目标图像的顶点坐标，目标图像为对待检测图像进行透视变换后的图像。
子步骤S105-2，根据透视变换矩阵对待检测图像中的每一个像素点进行坐标变换，得到所述目标图像。
在本发明实施例中，待检测图像是畸变后的目标图像，对待检测图像进行透视变换来消除待检测图像中的畸变现象，得到目标图像。为了更加直观的解释上述内容，本发明实施例以形状为不规则四边形的待检测图像为例，请参见图6，图6为本发明实施例提供的一种待检测图像透视变换前后对比图，待检测图像的四个顶点坐标为(x0，y0)、(x1，y1)、(x2，y2)和(x3，y3)，目标图像的形状为正方形，其四个顶点坐标为(u0，v0)、(u1，v1)、(u2，v2)和(u3，v3)，透视变换的本质是将待检测图像从当前所在的x-y坐标系变换到目标图像所在的u-v坐标系，透视变换矩阵描述了这两个坐标系中各坐标点的对应关系，其中，(x0，y0)与(u0，v0)对应，(x1，y1)与(u1，v1)对应，(x2，y2)与(u2，v2)对应，以及(x3，y3)与(u3，v3)对应，基于这四组对应关系，利用下述公式，求解透视变换矩阵。
Figure BDA0003326221320000121
其中，(x，y)为待检测图像的顶点坐标，(u，v)为目标图像的顶点坐标，A、B、C、D、E、E、G以及H为透视变换矩阵
Figure BDA0003326221320000122
中的8个待求解的元素。
根据上述透视变换矩阵，对待检测图像中的每一个像素点的坐标进行坐标变换，并将待检测图像中各像素点的像素值赋给与其相对应的目标图像中的像素点，得到目标图像。
为了执行上述实施例及各个可能的实施方式中的相应步骤，下面给出一种图像检测装置100的实现方式。请参照图7，图7示出了本发明实施例提供的图像检测装置100的方框示意图。需要说明的是，本发明实施例提供的图像检测装置100，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本发明实施例部分未提及指出。
图像检测装置100包括获取模块101、检测模块102以及校正模块103。
获取模块101，用于获取原始图像，原始图像包括待检测图像，待检测图像为至少包含四个顶点的多边形。
检测模块102，用于将原始图像输入预先训练的图像检测模型的特征提取网络，得到原始图像的特征图。
检测模块102，还用于将特征图输入图像检测模型的坐标预测网络，得到待检测图像的顶点坐标。
作为一种具体的实现方式，检测模块102具体用于将特征图输入热力层，得到参考点的坐标；将特征图输入相对偏移层，得到待检测图像的中心点坐标相对于参考点的坐标的第一偏移量；将特征图输入顶点偏移层，得到待检测图像的顶点坐标相对于中心点坐标的第二偏移量；将参考点的坐标、第一偏移量和第二偏移量作为特征图的解码参数，并将解码参数输入解码层，得到待检测图像的顶点坐标。
检测模块102，还用于根据顶点坐标，从原始图像中确定待检测图像。
校正模块103，用于所述顶点坐标，将待检测图像进行透视变换，得到目标图像。
作为一种具体的实现方式，校正模块103具体用于根据预设点坐标及待检测图像的顶点坐标，求解透视矩阵，其中，预设点坐标为目标图像的顶点坐标，目标图像为对待检测图像校正后的图像；根据透视矩阵对待检测图像中的每一个像素点进行坐标变换，得到所述目标图像。
进一步地，请参照图8，图8为本发明实施例提供的一种电子设备200的结构示意框图，该电子设备200可以包括存储器210和处理器220。
其中，处理器220可以是一个通用的中央处理器(Central Processing Unit，CPU)，微处理器，特定应用集成电路(Application-Specific Integrated Circuit，ASIC)，或一个或多个用于控制下述方法实施例提供的图像检测方法的程序执行的集成电路。
存储器210可以是ROM或可存储静态信息和指令的其它类型的静态存储设备，RAM或者可存储信息和指令的其它类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmabler-Only MEMory，EEPROM)、只读光盘(CompactdiscRead-Only MEMory，CD-ROM)或其它光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质，但不限于此。存储器210可以是独立存在，通过通信总线与处理器220相连接。存储器210也可以和处理器220集成在一起。其中，存储器210用于存储执行本申请方案的机器可执行指令。处理器220用于执行存储器210中存储的机器可执行指令，以实现前述的方法实施例。
由于本发明实施例提供的电子设备200是前述的方法实施例提供的图像检测方法的另一种实现形式，因此其所能获得的技术效果可参考上述方法实施例，在此不再赘述。
本发明实施例还提供一种包含计算机可执行指令的可读存储介质，计算机可执行指令在被执行时可以用于执行前述的方法实施例提供的图像检测方法中的相关操作。
综上所述，本发明实施例提供的一种图像检测方法、装置、电子设备及存储介质，首先获取原始图像，其中，原始图像包括待检测图像，待检测图像为至少包含四个顶点的多边形；然后，将原始图像输入预先训练的图像检测模型的特征提取网络，得到原始图像的特征图；再将特征图输入图像检测模型的坐标预测网络，得到待检测图像的顶点坐标，并根据顶点坐标，从原始图像中确定待检测图像；最后，根据顶点坐标，将待检测图像进行透视变换，得到目标图像。相较于现有技术，本发明实施例通过将原始图像输入预先训练的包含特征提取网络核坐标远测网络的图像检测模型，确定待检测图像的顶点坐标，并根据顶点坐标从原始图像中获取待检测图像，再根据顶点坐标对待检测图像进行透视变换，得到目标图像，从而消除了因拍摄角度造成的图像畸变对图像检测及识别的影响，不需要多次调整拍摄角度，进而提高了图像检测的效率。
本以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种图像检测方法，其特征在于，所述方法包括：
获取原始图像，所述原始图像包括待检测图像，所述待检测图像为至少包含四个顶点的多边形；
将所述原始图像输入预先训练的图像检测模型的特征提取网络，得到所述原始图像的特征图；
将所述特征图输入所述图像检测模型的坐标预测网络，得到所述待检测图像的顶点坐标；
根据所述顶点坐标，从所述原始图像中确定所述待检测图像；
对所述待检测图像进行透视变换，得到目标图像。
2.根据权利要求1所述的方法，其特征在于，所述坐标预测网络包括热力层、相对偏移层、顶点偏移层和解码层，所述将所述特征图输入所述图像检测模型的坐标预测网络，得到所述待检测图像的顶点坐标的步骤包括：
将所述特征图输入所述热力层，得到参考点的坐标；
将所述特征图输入所述相对偏移层，得到所述待检测图像的中心点坐标相对于所述参考点的坐标的第一偏移量；
将所述特征图输入所述顶点偏移层，得到所述待检测图像的顶点坐标相对于所述中心点坐标的第二偏移量；
将所述参考点的坐标、所述第一偏移量和所述第二偏移量作为所述特征图的解码参数，并将所述解码参数输入所述解码层，得到所述待检测图像的顶点坐标。
3.根据权利要求2所述的方法，其特征在于，将所述解码参数输入所述解码层，得到所述待检测图像的顶点坐标的步骤包括：
利用所述解码层，根据所述参考点的坐标和所述第一偏移量，得到所述待检测图像的中心点坐标；
根据所述中心点坐标和所述第二偏移量，得到所述待检测图像的顶点坐标。
4.根据权利要求2所述的方法，其特征在于，所述特征图为多个，所述坐标预测网络还包括抑制层，所述将所述特征图输入所述图像检测模型的坐标预测网络，得到所述待检测图像的顶点坐标的步骤还包括：
将每一所述特征图分别输入所述热力层、相对偏移层和顶点偏移层，得到每一所述特征图的解码参数；
将每一所述特征图的解码参数输入所述解码层，得到每一所述特征图对应的顶点坐标；
将所有所述特征图对应的顶点坐标输入所述抑制层，得到所述待检测图像的顶点坐标。
5.根据权利要求2所述的方法，其特征在于，所述热力层包括卷积模块，所述将所述特征图输入所述热力层，得到参考点坐标的步骤包括：
将所述特征图输入所述卷积模块，得到热力特征图；
将所述热力特征图中热力值大于预设值的像素点的坐标作为所述参考点的坐标。
6.根据权利要求1所述的方法，其特征在于，所述对所述待检测图像进行透视变换，得到目标图像的步骤包括：
根据预设点坐标及所述顶点坐标，求解透视变换矩阵，其中，所述预设点坐标为所述目标图像的顶点坐标，所述目标图像为对所述待检测图像进行透视变换后的图像；
根据所述透视变换矩阵对所述待检测图像中的每一个像素点进行坐标变换，得到所述目标图像。
7.根据权利要求2所述的方法，其特征在于，训练所述图像检测模型的方式为：
获取训练数据及标签；
将所述训练数据输入所述图像检测模型，得到预测顶点坐标；
根据所述预测顶点坐标及所述标签，利用预设损失函数对所述图像检测模型进行参数更新，直至满足预设终止条件，得到训练后的图像检测模型，其中，所述预设损失函数是根据所述热力层的损失函数、所述相对偏移层的损失函数、所述顶点偏移层的损失函数和尺寸回归层的损失函数确定的。
8.根据权利要求7所述的方法，其特征在于，所述预设损失函数是根据所述热力层的损失函数、所述相对偏移层的损失函数、所述尺寸回归层的损失函数和所述顶点偏移层的损失函数采用公式Ltotal＝aLcls+bLoff+cLsize+dLcor确定，其中，所述Ltotal为所述图像检测模型的损失函数，所述Lcls为所述热力层的损失函数，所述Loff为所述相对偏移层的损失函数，所述Lsize为所述尺寸回归层的损失函数，所述Lcor为所述顶点偏移层的损失函数，所述a，b，c，d分别为所述热力层、所述相对偏移层、所述尺寸回归层和所述顶点偏移层的权重因子。
9.一种图像检测装置，其特征在于，包括：
获取单元，用于获取原始图像，所述原始图像包括待检测图像，所述待检测图像为至少包含四个顶点的多边形；
检测模块，用于将所述原始图像输入预先训练的图像检测模型的特征提取网络，得到所述原始图像的特征图；
所述检测模块，还用于将所述特征图输入所述图像检测模型的坐标预测网络，得到所述待检测图像的顶点坐标；
所述检测模块，还用于根据所述顶点坐标，从所述原始图像中确定所述待检测图像；
校正模块，用于对所述待检测图像进行透视变换，得到目标图像。
10.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在调用所述计算机程序时执行如权利要求1～8任一项所述的方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8任一项所述的方法。
CN202111262362.4A 2021-10-28 2021-10-28 图像检测方法、装置、电子设备及存储介质 Pending CN113971738A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111262362.4A CN113971738A (zh) 2021-10-28 2021-10-28 图像检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111262362.4A CN113971738A (zh) 2021-10-28 2021-10-28 图像检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113971738A true CN113971738A (zh) 2022-01-25

Family

ID=79588763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111262362.4A Pending CN113971738A (zh) 2021-10-28 2021-10-28 图像检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113971738A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740550A (zh) * 2023-08-15 2023-09-12 深圳爱莫科技有限公司 一种冰柜图像完整性识别方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109670503A (zh) * 2018-12-19 2019-04-23 北京旷视科技有限公司 标识检测方法、装置和电子系统
CN111797821A (zh) * 2020-09-09 2020-10-20 北京易真学思教育科技有限公司 文本检测方法、装置、电子设备及计算机存储介质
CN112101361A (zh) * 2020-11-20 2020-12-18 深圳佑驾创新科技有限公司 针对鱼眼图像的目标检测方法、装置、设备和存储介质
CN112115911A (zh) * 2020-09-28 2020-12-22 安徽大学 一种基于深度学习的轻量型sar图像目标检测方法
WO2021147563A1 (zh) * 2020-01-22 2021-07-29 上海商汤临港智能科技有限公司 目标检测方法、装置、电子设备及计算机可读存储介质
CN113420761A (zh) * 2021-06-23 2021-09-21 平安银行股份有限公司 证件定位方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109670503A (zh) * 2018-12-19 2019-04-23 北京旷视科技有限公司 标识检测方法、装置和电子系统
WO2021147563A1 (zh) * 2020-01-22 2021-07-29 上海商汤临港智能科技有限公司 目标检测方法、装置、电子设备及计算机可读存储介质
CN111797821A (zh) * 2020-09-09 2020-10-20 北京易真学思教育科技有限公司 文本检测方法、装置、电子设备及计算机存储介质
CN112115911A (zh) * 2020-09-28 2020-12-22 安徽大学 一种基于深度学习的轻量型sar图像目标检测方法
CN112101361A (zh) * 2020-11-20 2020-12-18 深圳佑驾创新科技有限公司 针对鱼眼图像的目标检测方法、装置、设备和存储介质
CN113420761A (zh) * 2021-06-23 2021-09-21 平安银行股份有限公司 证件定位方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740550A (zh) * 2023-08-15 2023-09-12 深圳爱莫科技有限公司 一种冰柜图像完整性识别方法及系统
CN116740550B (zh) * 2023-08-15 2023-12-08 深圳爱莫科技有限公司 一种冰柜图像完整性识别方法及系统

Similar Documents

Publication Publication Date Title
CN110135424B (zh) 倾斜文本检测模型训练方法和票证图像文本检测方法
CN111814794B (zh) 文本检测方法、装置、电子设备及存储介质
CN110990516B (zh) 地图数据的处理方法、装置和服务器
CN108520247A (zh) 对图像中的对象节点的识别方法、装置、终端及可读介质
CN113313083B (zh) 文本检测方法及装置
CN107545223B (zh) 图像识别方法及电子设备
CN111260694B (zh) 卫星遥感视频目标跟踪方法及装置
CN110245621B (zh) 人脸识别装置及图像处理方法、特征提取模型、存储介质
CN116934907A (zh) 图像生成方法、设备和存储介质
CN112597918A (zh) 文本检测方法及装置、电子设备、存储介质
CN111597845A (zh) 一种二维码检测方法、装置、设备及可读存储介质
CN110879972A (zh) 一种人脸检测方法及装置
CN113744142A (zh) 图像修复方法、电子设备及存储介质
CN110046623B (zh) 一种图像特征点提取方法和相机
CN113971738A (zh) 图像检测方法、装置、电子设备及存储介质
CN112749576B (zh) 图像识别方法和装置、计算设备以及计算机存储介质
CN111967478B (zh) 一种基于权重翻转的特征图重构方法、系统、存储介质及终端
CN111079643B (zh) 基于神经网络的人脸检测方法、装置和电子设备
CN112017113B (zh) 图像处理方法及装置、模型训练方法及装置、设备及介质
CN116798041A (zh) 图像识别方法、装置和电子设备
CN116665201A (zh) 单目三维目标检测方法、装置、设备及存储介质
CN110100263B (zh) 图像重建方法及装置
CN112232361B (zh) 图像处理的方法及装置、电子设备及计算机可读存储介质
CN109815791B (zh) 基于血管的身份识别方法和装置
CN116584100A (zh) 适合于覆盖媒体内容的图像空间检测

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 610000 No. 270, floor 2, No. 8, Jinxiu street, Wuhou District, Chengdu, Sichuan

Applicant after: Chengdu shuzhilian Technology Co.,Ltd.

Address before: No.2, floor 4, building 1, Jule road crossing, Section 1, West 1st ring road, Wuhou District, Chengdu City, Sichuan Province 610041

Applicant before: CHENGDU SHUZHILIAN TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information