CN113392669A - 一种图像信息检测方法、检测装置及存储介质 - Google Patents
一种图像信息检测方法、检测装置及存储介质 Download PDFInfo
- Publication number
- CN113392669A CN113392669A CN202110601377.2A CN202110601377A CN113392669A CN 113392669 A CN113392669 A CN 113392669A CN 202110601377 A CN202110601377 A CN 202110601377A CN 113392669 A CN113392669 A CN 113392669A
- Authority
- CN
- China
- Prior art keywords
- matrix
- image
- code
- dot
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Abstract
为解决现有技术中错误率较高的技术问题,本发明提出了一种图像信息检测方法、检测装置及存储介质。其中,一种图像信息检测方法包括:获取待处理的原始图像;根据预设的感兴趣区域对原始图像进行裁切,生成子图像,子图像包括完整的点阵码;将子图像输入至已训练的图像处理深度学习模型中,生成点阵码的参数信息;根据参数信息确定点阵码矩阵;校验点阵码矩阵的合法性和点阵码矩阵中矩阵数据位内容的合法性;在点阵码矩阵合法并且点阵码矩阵中矩阵数据位内容合法时,将点阵码矩阵还原为信息数据;显示信息数据。本发明直接在原始图像上进行检测,保留原始图像的细节,降低错误率。
Description
技术领域
本发明涉及图像识别技术领域,具体涉及一种图像信息检测方法、检测装置及存储介质。
背景技术
在日常生活中及工业生产活动中,常常涉及到信息的传递、记录与核对。单纯使用文字,或常用的标准一维码、二维码,其保密性较低,且可定制性与灵活度较低。
近来出现了一种使用点阵码记录信息的方法,即:根据事先设计以及约定,赋予每个点在每一位的出现与否代表某一固定含义。按照这一规则,先将想要记录的信息通过书写、打印、蚀刻等方法记录于物体上。在读取信息时,按照上述规则进行解读,就能还原信息的真实内容。
在进行信息的读取还原时,可由人工进行解读,但是效率极其低下,并且准确率难以得到保证。
为了提高点阵码的检测的速度,目前出现了一些基于计算机机器视觉的技术方案。目前现有的方案多为:基于形态学方法对点阵码图像进行预处理,利用可变的窗口对预处理后的图像进行比对,通过比对得到的能量参数来判断目标区域是否包含点码。
现有方案所用到的方法一般是:将原始图像转换为灰度图像,再基于阈值将灰度图像分为二值图像;将二值图像进行滤波操作,并利用形态学中的开闭运算、腐蚀膨胀运算等,以消除噪声干扰;使用滑动窗口将图像分为小块,对于每个小块再进行腐蚀运算;在这里假设该小块中原本存在码点图像,而腐蚀后图像缩小甚至消失,通过对比即得到两者之间的变化值,即为能量密度;将能量密度相近,位置也相邻近的小块进行合并,即得到码点位置的候选框;将得到的候选框输入CNN卷积神经网络网络中进行分类过滤,最后根据事先设定好的模板作比对,就能识别点阵码的结果。
现有技术在处理原始图像时,将其转换为灰度图,而后又使用二值分割的方法转换为二值图像;这期间丢失了大量的数据,同时由于二值分割时须定下一个阈值,但由于实际环境复杂多变,例如:原始图像中充斥较多反光点或阴影时,分割后的效果较差,不利于后续的处理和识别。
现有技术在对图像预处理时使用了较多形态学运算,这些运算多需要指定关键系数,这些系数与原始图像的状态密切相关。如果实际应用场景发生改变而没有修改这些系数,可能出现结果缺漏,异常点增多的情况。同时现有技术的多个形态学运算预处理方法都是一环接着一环的,两两之间联系紧密,较为繁琐,如果其中一个步骤出现了不正确的结果,那么后续得到的结果都存在偏差。
同时现有技术多使用根据经验预设的固定大小的滑动窗口对预处理后的图像进行“检索”,计算得到能量密度较大的,将其认定为点码位置的候选框。但是这一做法有一定局限性,即原图像中点码位置需要保持基本水平,否则会与水平的窗口形成夹角,最终导致识别结果错位。
因此,有必要提供一种方案,解决现有技术中错误率较高的技术问题。
发明内容
为了解决现有技术中错误率较高的技术问题,本发明提出了一种图像信息检测方法、检测装置及存储介质,本发明具体是以如下技术方案实现的。
本发明提供一种图像信息检测方法,包括:
获取待处理的原始图像;
根据预设的感兴趣区域对所述原始图像进行裁切,生成子图像,所述子图像包括完整的点阵码;
将所述子图像输入至已训练的图像处理深度学习模型中,生成所述点阵码的参数信息;
根据所述参数信息确定点阵码矩阵;
校验所述点阵码矩阵的合法性和所述点阵码矩阵中矩阵数据位内容的合法性;
在所述点阵码矩阵合法并且所述点阵码矩阵中矩阵数据位内容合法时,将所述点阵码矩阵还原为信息数据;
显示所述信息数据。
本发明提供的图像信息检测方法的进一步改进在于,所述图像处理深度学习模型为目标检测模型。
本发明提供的图像信息检测方法的进一步改进在于,所述图像处理深度学习模型为图像分割模型;
所述将所述子图像输入至已训练的图像处理深度学习模型中,生成所述点阵码的参数信息包括:
将所述子图像输入至已训练的图像处理深度学习模型中,生成掩膜图像;
提取所述掩膜图像的至少一组边缘轮廓;
确定所述边缘轮廓的外接矩形;
根据所述外接矩形确定所述点阵码的参数信息。
本发明提供的图像信息检测方法的更进一步改进在于,所述点阵码的参数信息包括点阵码坐标、点阵码直径、点阵码之间的间距;
所述根据所述外接矩形确定所述点阵码的参数信息包括:
建立平面坐标系;
确定所述外接矩形的中心点;
对所述中心点的位置进行微调;
确定微调后的中心点的坐标,将微调后的中心点的坐标确定为所述点阵码坐标;
确定微调后的相邻中心点之间的距离,将所述距离确定为所述点阵码之间的间距;
确定所述外接矩形的边长的平均值,将所述平均值确定为所述点阵码直径。
本发明提供的图像信息检测方法的更进一步改进在于,所述对所述中心点的位置进行微调包括:
将所述中心点拟合得到第一线段;
将所述中心点平移至所述第一线段上;
旋转所述第一线段至水平角度,得到第二线段。
本发明提供的图像信息检测方法的更进一步改进在于,所述旋转所述第一线段至水平角度,得到第二线段包括:
确定所述第一线段的斜率;
确定所述第一线段的中点;
根据所述斜率并以所述中点为旋转中心旋转所述第一线段至水平角度,得到所述第二线段。
本发明提供的图像信息检测方法的更进一步改进在于,所述根据所述外接矩形确定所述点阵码的参数信息之后,所述根据所述参数信息确定点阵码矩阵之前,方法还包括:
确定任意两条所述第一线段之间的夹角;
比较所述夹角和预设范围;
在所述夹角未设于所述预设范围内时,返回所述获取待处理的原始图像的步骤。
本发明提供的图像信息检测方法的进一步改进在于,所述在所述点阵码矩阵合法并且所述点阵码矩阵中矩阵数据位内容合法时,将所述点阵码矩阵还原为信息数据包括:
在所述点阵码矩阵合法并且所述点阵码矩阵中矩阵数据位内容合法时,获取操作次数;
更新所述操作次数;
比较更新后的操作次数与预设阈值;
在所述更新后的操作次数大于所述预设阈值时,将所述点阵码矩阵还原为信息数据;
在所述更新后的操作次数不大于所述预设阈值时,返回所述获取待处理的原始图像的步骤。
此外,本发明还提供一种图像信息检测装置,用于执行如上所述的检测方法,装置包括:
获取模块,用于获取待处理的原始图像;
裁切模块,用于根据预设的感兴趣区域对所述原始图像进行裁切,生成子图像,所述子图像包括完整的点阵码;
模型处理模块,用于将所述子图像输入至已训练的图像处理深度学习模型中,生成所述点阵码的参数信息;
第一确定模块,用于根据所述参数信息确定点阵码矩阵;
校验模块,用于校验所述点阵码矩阵的合法性和所述点阵码矩阵中矩阵数据位内容的合法性;
还原模块,用于在所述点阵码矩阵合法并且所述点阵码矩阵中矩阵数据位内容合法时,将所述点阵码矩阵还原为信息数据;
显示模块,用于显示所述信息数据。
此外,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上所述的图像信息检测方法。
与现有技术相比,本发明无需利用大量的形态学运算完成前处理工作,省去前期大量的形态学运算、图像灰度化,二值化等操作;本发明直接利用深度学习神经网络模型在原始图像上进行检测;由此,本发明能最大限度利用RGB三通道信息,最大限度保留原始图像的细节,保持图像细节不丢失,简化检测流程,同时本发明可以适应多种环境条件,算法鲁棒性较高,能应对复杂多变的外部环境,降低错误率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的图像信息检测方法的流程示意图。
图2为在一次检测中使用本发明实施例1后的检测结果示意图。
图3为本发明实施例3提供的图像信息检测装置的框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了解决现有技术中错误率较高的技术问题,本发明提出了一种图像信息检测方法、检测装置及存储介质,本发明具体是以如下技术方案实现的。
实施例1:
结合图1至图2所示,本实施例1提出的一种图像信息检测方法包括:
步骤S101:获取待处理的原始图像;
步骤S102:根据预设的感兴趣区域对原始图像进行裁切,生成子图像,子图像包括完整的点阵码;
步骤S103:将子图像输入至已训练的图像处理深度学习模型中,生成点阵码的参数信息;
步骤S104:根据参数信息确定点阵码矩阵;
步骤S105:校验点阵码矩阵的合法性和点阵码矩阵中矩阵数据位内容的合法性;
步骤S106:在点阵码矩阵合法并且点阵码矩阵中矩阵数据位内容合法时,将点阵码矩阵还原为信息数据;
步骤S107:显示信息数据。
与现有技术相比,本实施例1无需利用大量的形态学运算完成前处理工作,省去前期大量的形态学运算、图像灰度化,二值化等操作;本实施例1直接利用深度学习神经网络模型在原始图像上进行检测;由此,本实施例1能最大限度利用RGB三通道信息,最大限度保留原始图像的细节,保持图像细节不丢失,简化检测流程,同时本实施例1可以适应多种环境条件,算法鲁棒性较高,能应对复杂多变的外部环境,降低错误率。
进一步地,步骤S101之前检测方法还包括获取图像处理深度学习模型,具体包括:
获取点阵码的图像数据集,图像数据集包括训练集、验证集和测试集;
建立初始模型;
根据图像数据集训练初始模型,得到多个候选模型;
在多个候选模型中筛选得到深度学习神经网络模型,将深度学习神经网络模型作为步骤S103中已训练的图像处理深度学习模型。
在本发明中使用的图像处理深度学习模型可以是任一目标检测模型或图像分割模型,如Faster R-CNN、YOLO、SegNet、Deeplab、U-Net等常见的模型,也可根据实际需要,对模型的深度进行增减或其他形式的修改。具体地,本实施例1中使用的深度学习神经网络模型为Deeplab V3+,骨干网络为MobileNetV2,深度学习框架为TensorFlow。
在实施例1中,根据深度学习模型结构,使用TensorFlow提供的相关函数、API及封装好的层来搭建模型;可以使用相应的深度学习框架,如TensorFlow、PyTorch、Caffe、Keras等,按照所选定的模型结构,使用深度学习框架提供的封装层或包装器进行搭建,可也根据实际需要编写自定义层。
在实施例1中,训练模型所使用的数据集可以自行使用一种或多种设备进行采集,并将原始图像进行整理、裁剪、标注和加工。一般来说,采集的数据所覆盖的应用场景越广,拍摄的角度、距离及焦距等种类越多,则更有利于深度学习模型效果的提高。使用计算机摄像头拍摄大量点阵码的实际图片,图片应尽可能覆盖各种使用场景,各种不同光照环境,各种拍摄距离及角度。收集好图片后,需要对其进行统一的预处理,如删去不合格的图片,裁剪成统一大小等。然后由标注人员根据实际需要,使用标注软件对图片中的点码区域进行标注。最后将标注好的图片按照比例,分为训练集、验证集及测试集。
在实施例1中可以从头开始训练模型,也可以根据所选定的MobileNet骨干网络,下载公开的预训练权重,解除最后被冻结的输出层后微调模型(Fine Tune),这样能加快训练速度,同时得到更好的效果。
训练模型时,可以对模型输入尺寸、批大小、学习率、损失函数、初始权重、锚点位置等一种或多种超参数进行调整,甚至可对通用模型的骨干网络进行调整或替换。通过反复试验,筛选出在测试集上表现最好的一个模型,将该模型确定为本方案中所用到的点阵码检测深度学习模型。选取不同的超参数,尝试修改模型输入尺寸、批大小、学习率、损失函数、初始权重、输出步长(Output Stride)等,训练出多个模型,从中选取出速度和精度最合适的一个,作为步骤S103中的图像处理深度学习模型。
在实施例1的步骤S101中,可以通过电脑摄像头、外置摄像头、手机、平板电脑等图像采集设备采集原始图像。原始图像以像素点矩阵的形式,暂时存贮于计算机内存。步骤S102中,感兴趣区域可以是根据经验预设的固定尺寸区域,也可以是通过相应算法或方法生成的自适应的区域,也可以根据实际情况,将全部原始图像区域设置为感兴趣区域;按照事先所确定的ROI感兴趣区域,将原始图像进行裁切,形成子图像,该子图像内包含了所有的点阵码。
步骤S103中,将裁切好的子图像输入至已训练的图像处理深度学习模型中,模型运行后最终输出一张掩膜(Mask)图像。该图像上每个像素点的值代表模型预测出的该位置的种类。在实施例1中,像素点值为0代表该点为普通背景,像素点1代表该点为点阵码。理想情况下,掩膜图像上的图像是与实际图像上的点阵码一一对应的。
进一步地,步骤S103包括:
将子图像输入至已训练的图像处理深度学习模型中,生成掩膜图像;
提取掩膜图像的至少一组边缘轮廓;
确定边缘轮廓的外接矩形;
根据外接矩形确定点阵码的参数信息。
在实施例1中,获取掩膜图像后,可用OpenCV库中所提供的查找轮廓函数提取掩膜图像中所有点阵码的边缘轮廓。对于每个边缘轮廓求得其外接矩形。
更进一步地,点阵码的参数信息包括点阵码坐标、点阵码直径、点阵码之间的间距;
根据外接矩形确定点阵码的参数信息包括:
建立平面坐标系;
确定外接矩形的中心点;
对中心点的位置进行微调;
确定微调后的中心点的坐标,将微调后的中心点的坐标确定为点阵码坐标;
确定微调后的相邻中心点之间的距离,将距离确定为点阵码之间的间距;
确定外接矩形的边长的平均值,将平均值确定为点阵码直径。
本实施例1中,每个外接矩形的中心点即可认为是每个点阵码的中心点,而每个外接矩形边长的平均值可将其等效为点阵码的直径大小。
更进一步地,对中心点的位置进行微调包括:
通过最小二乘法将中心点拟合得到第一线段;
将中心点平移至第一线段上,具体地,将中心点沿竖直方向平移至第一线段上;
旋转第一线段至水平角度,得到第二线段,具体地,确定第一线段的斜率,确定第一线段的中点,根据斜率并以中点为旋转中心旋转第一线段至水平角度,得到第二线段。
本实施例1中,微调后可通过简单数学运算来对中心点进行后处理。通过最小二乘法将中心点拟合为第一线段,将中心点略微平移至第一线段上,可减小点阵码坐标的浮动对最后的解码带来的不良影响。同时,还可以利用第一线段的斜率值k计算出点阵码的倾斜角度,再将其旋转至水平角度,便于后续的解码工作。在本实施例1中,可以使用传统数学方法中的直线、曲线拟合,三角函数及反三角函数等的一种或几种确定点阵码的参数信息。根据外接矩形的中心点进行图像的校正,如:将图像旋转至水平方向,将码点归位于统一垂直或水平位置,筛选剔除存在明显错误的重叠或稀疏码点。
更进一步地,根据外接矩形确定点阵码的参数信息之后,根据参数信息确定点阵码矩阵之前,方法还包括:
确定任意两条第一线段之间的夹角;
比较夹角和预设范围;
在夹角未设于预设范围内时,返回获取待处理的原始图像的步骤。
本实施例1中,对于多组点阵码拟合出的多条直线,可以利用反正切函数求得其夹角,用以过滤去除过于歪斜的错误结果。
本实施例1步骤S104中,根据点阵码坐标、点阵码直径、点阵码之间的间距,将其计算还原至标准数学矩阵中,得到点阵码矩阵。
本实施例1步骤S105中,通过编码规则校验所得到的点阵码矩阵是否合法,同时校验所得到的点阵码矩阵数据位中内容是否合法。若全部符合规则,可将其暂时存贮于计算机RAM内存。
进一步地,步骤S106包括:
在点阵码矩阵合法并且点阵码矩阵中矩阵数据位内容合法时,获取操作次数;
更新操作次数;
比较更新后的操作次数与预设阈值;
在更新后的操作次数大于预设阈值时,将点阵码矩阵还原为信息数据。
更进一步地,还包括:
在点阵码矩阵不合法或者点阵码矩阵中矩阵数据位内容不合法时,返回获取待处理的原始图像的步骤;
在更新后的操作次数不大于预设阈值时,返回获取待处理的原始图像的步骤。
本实施例1中,重复操作若干次(次数为预设阈值),得到多份信息数据,如果若干次后所得到的暂存的点阵码矩阵均相同,可认为数据是准确的,确认该点阵码矩阵可代表该点阵码,则可以按照事先设计以及约定的编码和解码方法,将点阵码矩阵还原成原始的易于理解的信息数据。
本实施例1步骤S107中,将解码得到的数据显示于计算机屏幕界面上,而后存储至计算机磁盘中,同时通过网络上传发送至服务器中进行存储。在本实施例1中,将按照约定解码规则解码后的信息进行存储或传输。信息可为二进制数据流、字符串、json、xml、yaml等格式。
本实施例1可部署于各平台使用,如计算机、手机、平板电脑、边缘设备微控制器等;数据可存贮于RAM、磁盘、电子存储芯片、数据库和云端等。本实施例1经过实验验证,证实方案是可行的,且复杂环境及光照条件下的结果要明显优于传统的形态学运算方法,而其时间开销也是在工程应用中可接受的范围内。
本实施例1提出的各个步骤可独立拆分使用,如:可以将手动标注的点码信息接入后续的后处理算法中,也可以去除感兴趣区域裁切的步骤,直接将获得的原始图像输入神经网络模型进行预测。本实施例1不仅仅可以应用于点阵码识别,也同时适用与多种机器视觉检测,如工业视觉缺陷检测、显微镜下细胞计数等场景。
本实施例1的基本内容为:从设备中获取相应图像;根据实际需求,从原始图像中按照感兴趣区域(ROI)截取包含目标的子图像;将子图像输入预先训练好的深度学习模型中,得到输出结果;通过后处理算法对结果进行分析校正,得到参数信息、点阵码矩阵;根据事先设计以及约定的编码和解码方法,还原信息,并进行校验、存储、显示等操作。
与现有技术相比,本实施例1无需利用大量的形态学运算完成前处理工作,而是直接利用深度学习神经网络模型在原图像上进行检测。这样能最大限度利用RGB三通道信息,保持图像细节不丢失,简化检测流程,同时本检测方法可以适应多种环境条件,算法鲁棒性较高。本实施例1基于基础的数学函数方法获得点阵码的参数信息,运算开销极少,效率很高的同时可以大幅度提升后续解码的成功率与正确率。本方案提出的深度学习模型可以根据实际需要进行个性化调整,可以很少的开发工作量兼容市面上的大部分电子设备,从而降低研发的成本。本实施例1还可以通过简单数学函数方法来解决原始图像的倾斜旋转、结果重叠错位等问题。
实施例2:
与实施例1不同,本实施例2中图像处理深度学习模型为目标检测模型,如FasterR-CNN、YOLO。
本实施例2中,当子图像输入目标检测模型后,模型会输出一系列原始结果,每一列结果包含:1.框的坐标,框为待检测的目标的外接矩形框;2.该列结果的置信度,置信度为0-1之间的小数,数值越高代表该列结果的可能性越大;3.类别的置信度,为0-1之间的小数,数值越高代表该类别的可能性越大,在本例中只有一个类别,即点阵码。
将这一系列的原始结果,按照“该列结果的置信度”进行筛选,置信度值大于预先设定阈值的列保留。
将筛选后的结果,通过“非极大值抑制”的方法进行过滤,找到最佳的目标框,去除冗余的目标框,最后得到每个目标的外接矩形框的坐标,本实施例2中的目标是点阵码。
外接矩形框的坐标格式可以为:左上角点坐标(X1,Y1),右下角点坐标(X2,Y2),此时中心点的坐标为((X1+X2)/2,(Y1+Y2)/2)。
外接矩形框的坐标格式也可以为:左上角点坐标(XTop,YTop),框的宽度W,框的高度H,此时中心点的坐标为((X1+W/2),(Y1+H/2))。
至此,本实施例2确定了外接矩形,后续需要根据外接矩形确定点阵码的参数信息,根据参数信息确定点阵码矩阵,校验点阵码矩阵的合法性和点阵码矩阵中矩阵数据位内容的合法性,在点阵码矩阵合法并且点阵码矩阵中矩阵数据位内容合法时,将点阵码矩阵还原为信息数据,显示信息数据。
如实施例1一致,本实施例2中,点阵码的参数信息包括点阵码坐标、点阵码直径、点阵码之间的间距;
根据外接矩形确定点阵码的参数信息包括:
建立平面坐标系;
确定外接矩形的中心点;
对中心点的位置进行微调;
确定微调后的中心点的坐标,将微调后的中心点的坐标确定为点阵码坐标;
确定微调后的相邻中心点之间的距离,将距离确定为点阵码之间的间距;
确定外接矩形的边长的平均值,将平均值确定为点阵码直径。
更进一步地,对中心点的位置进行微调包括:
将中心点拟合得到第一线段;
将中心点平移至第一线段上;
旋转第一线段至水平角度,得到第二线段。
更进一步地,旋转第一线段至水平角度,得到第二线段包括:
确定第一线段的斜率;
确定第一线段的中点;
根据斜率并以中点为旋转中心旋转第一线段至水平角度,得到第二线段。
更进一步地,根据外接矩形确定点阵码的参数信息之后,根据参数信息确定点阵码矩阵之前,方法还包括:
确定任意两条第一线段之间的夹角;
比较夹角和预设范围;
在夹角未设于预设范围内时,返回获取待处理的原始图像的步骤。与现有技术相比,本实施例2无需利用大量的形态学运算完成前处理工作,而是直接利用深度学习神经网络模型在原图像上进行检测。这样能最大限度利用RGB三通道信息,保持图像细节不丢失,简化检测流程,同时本检测方法可以适应多种环境条件,算法鲁棒性较高。本实施例2基于基础的数学函数方法获得点阵码的参数信息,运算开销极少,效率很高的同时可以大幅度提升后续解码的成功率与正确率。本实施例2中的深度学习模型可以根据实际需要进行个性化调整,可以很少的开发工作量兼容市面上的大部分电子设备,从而降低研发的成本。本实施例2还可以通过简单数学函数方法来解决原始图像的倾斜旋转、结果重叠错位等问题。
实施例3:
结合图3所示,本实施例3提供一种图像信息检测装置,用于执行实施例1或者实施例2中的检测方法,检测装置包括:
获取模块10,用于获取待处理的原始图像;
裁切模块20,用于根据预设的感兴趣区域对原始图像进行裁切,生成子图像,子图像包括完整的点阵码;
掩膜处理模块30,用于将子图像输入至已训练的图像处理深度学习模型中,以使图像处理深度学习模型对子图像进行掩膜处理并生成掩膜图像;
第一确定模块40,用于根据掩膜图像确定点阵码的参数信息;
第二确定模块50,用于根据参数信息确定点阵码矩阵;
校验模块60,用于校验点阵码矩阵的合法性和点阵码矩阵中矩阵数据位内容的合法性;
还原模块70,用于在点阵码矩阵合法并且点阵码矩阵中矩阵数据位内容合法时,将点阵码矩阵还原为信息数据;
显示模块80,用于显示信息数据。
与现有技术相比,本实施例3无需利用大量的形态学运算完成前处理工作,而是直接利用深度学习神经网络模型在原图像上进行检测。这样能最大限度利用RGB三通道信息,保持图像细节不丢失,简化检测流程,同时本检测方法可以适应多种环境条件,算法鲁棒性较高。本实施例3基于基础的数学函数方法获得点阵码的参数信息,运算开销极少,效率很高的同时可以大幅度提升后续解码的成功率与正确率。本方案提出的深度学习模型可以根据实际需要进行个性化调整,可以很少的开发工作量兼容市面上的大部分电子设备,从而降低研发的成本。本实施例3还可以通过简单数学函数方法来解决原始图像的倾斜旋转、结果重叠错位等问题。
实施例4:
本实施例4提供一种计算机可读存储介质,计算机可读存储介质中存储有至少一条指令或至少一段程序,至少一条指令或至少一段程序由处理器加载并执行以实现实施例1或实施例2中的图像信息检测方法。
以上仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种图像信息检测方法,其特征在于,包括:
获取待处理的原始图像;
根据预设的感兴趣区域对所述原始图像进行裁切,生成子图像,所述子图像包括完整的点阵码;
将所述子图像输入至已训练的图像处理深度学习模型中,生成所述点阵码的参数信息;
根据所述参数信息确定点阵码矩阵;
校验所述点阵码矩阵的合法性和所述点阵码矩阵中矩阵数据位内容的合法性;
在所述点阵码矩阵合法并且所述点阵码矩阵中矩阵数据位内容合法时,将所述点阵码矩阵还原为信息数据;
显示所述信息数据。
2.如权利要求1所述的图像信息检测方法,其特征在于,所述图像处理深度学习模型为目标检测模型。
3.如权利要求1所述的图像信息检测方法,其特征在于,所述图像处理深度学习模型为图像分割模型;
所述将所述子图像输入至已训练的图像处理深度学习模型中,生成所述点阵码的参数信息包括:
将所述子图像输入至已训练的图像处理深度学习模型中,生成掩膜图像;
提取所述掩膜图像的至少一组边缘轮廓;
确定所述边缘轮廓的外接矩形;
根据所述外接矩形确定所述点阵码的参数信息。
4.如权利要求3所述的图像信息检测方法,其特征在于,所述点阵码的参数信息包括点阵码坐标、点阵码直径、点阵码之间的间距;
所述根据所述外接矩形确定所述点阵码的参数信息包括:
建立平面坐标系;
确定所述外接矩形的中心点;
对所述中心点的位置进行微调;
确定微调后的中心点的坐标,将微调后的中心点的坐标确定为所述点阵码坐标;
确定微调后的相邻中心点之间的距离,将所述距离确定为所述点阵码之间的间距;
确定所述外接矩形的边长的平均值,将所述平均值确定为所述点阵码直径。
5.如权利要求4所述的图像信息检测方法,其特征在于,所述对所述中心点的位置进行微调包括:
将所述中心点拟合得到第一线段;
将所述中心点平移至所述第一线段上;
旋转所述第一线段至水平角度,得到第二线段。
6.如权利要求5所述的图像信息检测方法,其特征在于,所述旋转所述第一线段至水平角度,得到第二线段包括:
确定所述第一线段的斜率;
确定所述第一线段的中点;
根据所述斜率并以所述中点为旋转中心旋转所述第一线段至水平角度,得到所述第二线段。
7.如权利要求5所述的图像信息检测方法,其特征在于,所述根据所述外接矩形确定所述点阵码的参数信息之后,所述根据所述参数信息确定点阵码矩阵之前,方法还包括:
确定任意两条所述第一线段之间的夹角;
比较所述夹角和预设范围;
在所述夹角未设于所述预设范围内时,返回所述获取待处理的原始图像的步骤。
8.如权利要求1所述的图像信息检测方法,其特征在于,所述在所述点阵码矩阵合法并且所述点阵码矩阵中矩阵数据位内容合法时,将所述点阵码矩阵还原为信息数据包括:
在所述点阵码矩阵合法并且所述点阵码矩阵中矩阵数据位内容合法时,获取操作次数;
更新所述操作次数;
比较更新后的操作次数与预设阈值;
在所述更新后的操作次数大于所述预设阈值时,将所述点阵码矩阵还原为信息数据;
在所述更新后的操作次数不大于所述预设阈值时,返回所述获取待处理的原始图像的步骤。
9.一种图像信息检测装置,用于执行如权利要求1至8中任一项所述的检测方法,其特征在于,装置包括:
获取模块,用于获取待处理的原始图像;
裁切模块,用于根据预设的感兴趣区域对所述原始图像进行裁切,生成子图像,所述子图像包括完整的点阵码;
模型处理模块,用于将所述子图像输入至已训练的图像处理深度学习模型中,生成所述点阵码的参数信息;
第一确定模块,用于根据所述参数信息确定点阵码矩阵;
校验模块,用于校验所述点阵码矩阵的合法性和所述点阵码矩阵中矩阵数据位内容的合法性;
还原模块,用于在所述点阵码矩阵合法并且所述点阵码矩阵中矩阵数据位内容合法时,将所述点阵码矩阵还原为信息数据;
显示模块,用于显示所述信息数据。
10.一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1至8中任一项所述的图像信息检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110601377.2A CN113392669B (zh) | 2021-05-31 | 2021-05-31 | 一种图像信息检测方法、检测装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110601377.2A CN113392669B (zh) | 2021-05-31 | 2021-05-31 | 一种图像信息检测方法、检测装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113392669A true CN113392669A (zh) | 2021-09-14 |
CN113392669B CN113392669B (zh) | 2022-09-23 |
Family
ID=77619593
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110601377.2A Active CN113392669B (zh) | 2021-05-31 | 2021-05-31 | 一种图像信息检测方法、检测装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113392669B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114266977A (zh) * | 2021-12-27 | 2022-04-01 | 青岛澎湃海洋探索技术有限公司 | 基于超分辨可选择网络的多auv的水下目标识别方法 |
CN115329795A (zh) * | 2022-10-17 | 2022-11-11 | 北京搜狐新动力信息技术有限公司 | 一种识别二维码的方法及装置 |
CN115497115A (zh) * | 2022-11-03 | 2022-12-20 | 杭州实在智能科技有限公司 | 基于深度学习的页眉页脚检测方法及系统 |
CN117273044A (zh) * | 2023-10-27 | 2023-12-22 | 广州通赢科技有限公司 | 一种点阵图、点阵图构建方法及识别点阵图的方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004094907A (ja) * | 2002-07-10 | 2004-03-25 | Ricoh Co Ltd | 2次元コードパターン、2次元コードパターンを担持するパターン担持媒体、2次元コードパターンの生成方法、2次元コード読取装置および読取方法 |
CN1836242A (zh) * | 2003-08-11 | 2006-09-20 | 技术转移服务股份有限公司 | 二维条码的形成方法及形成装置 |
AU2005209709A1 (en) * | 2005-09-13 | 2007-03-29 | Canon Kabushiki Kaisha | Two dimensionally phase modulated information symbol |
CN104657737A (zh) * | 2013-11-20 | 2015-05-27 | 航天信息股份有限公司 | 基于聚类对qr二维码图像进行校正的方法和装置 |
CN109829475A (zh) * | 2018-12-27 | 2019-05-31 | 北京奇安信科技有限公司 | 一种基于深度学习的图像暗水印处理方法及装置 |
CN110189343A (zh) * | 2019-04-16 | 2019-08-30 | 阿里巴巴集团控股有限公司 | 图像标注方法、装置及系统 |
CN110287752A (zh) * | 2019-06-25 | 2019-09-27 | 北京慧眼智行科技有限公司 | 一种点阵码检测方法及装置 |
CN110348266A (zh) * | 2019-07-19 | 2019-10-18 | 北京慧眼智行科技有限公司 | 一种点阵码图像的识读方法及装置 |
CN111291846A (zh) * | 2020-05-09 | 2020-06-16 | 支付宝(杭州)信息技术有限公司 | 一种二维码生成、解码、识别方法、装置及设备 |
-
2021
- 2021-05-31 CN CN202110601377.2A patent/CN113392669B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004094907A (ja) * | 2002-07-10 | 2004-03-25 | Ricoh Co Ltd | 2次元コードパターン、2次元コードパターンを担持するパターン担持媒体、2次元コードパターンの生成方法、2次元コード読取装置および読取方法 |
CN1836242A (zh) * | 2003-08-11 | 2006-09-20 | 技术转移服务股份有限公司 | 二维条码的形成方法及形成装置 |
AU2005209709A1 (en) * | 2005-09-13 | 2007-03-29 | Canon Kabushiki Kaisha | Two dimensionally phase modulated information symbol |
CN104657737A (zh) * | 2013-11-20 | 2015-05-27 | 航天信息股份有限公司 | 基于聚类对qr二维码图像进行校正的方法和装置 |
CN109829475A (zh) * | 2018-12-27 | 2019-05-31 | 北京奇安信科技有限公司 | 一种基于深度学习的图像暗水印处理方法及装置 |
CN110189343A (zh) * | 2019-04-16 | 2019-08-30 | 阿里巴巴集团控股有限公司 | 图像标注方法、装置及系统 |
CN110287752A (zh) * | 2019-06-25 | 2019-09-27 | 北京慧眼智行科技有限公司 | 一种点阵码检测方法及装置 |
CN110348266A (zh) * | 2019-07-19 | 2019-10-18 | 北京慧眼智行科技有限公司 | 一种点阵码图像的识读方法及装置 |
CN111291846A (zh) * | 2020-05-09 | 2020-06-16 | 支付宝(杭州)信息技术有限公司 | 一种二维码生成、解码、识别方法、装置及设备 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114266977A (zh) * | 2021-12-27 | 2022-04-01 | 青岛澎湃海洋探索技术有限公司 | 基于超分辨可选择网络的多auv的水下目标识别方法 |
CN115329795A (zh) * | 2022-10-17 | 2022-11-11 | 北京搜狐新动力信息技术有限公司 | 一种识别二维码的方法及装置 |
CN115497115A (zh) * | 2022-11-03 | 2022-12-20 | 杭州实在智能科技有限公司 | 基于深度学习的页眉页脚检测方法及系统 |
CN115497115B (zh) * | 2022-11-03 | 2024-03-15 | 杭州实在智能科技有限公司 | 基于深度学习的页眉页脚检测方法及系统 |
CN117273044A (zh) * | 2023-10-27 | 2023-12-22 | 广州通赢科技有限公司 | 一种点阵图、点阵图构建方法及识别点阵图的方法 |
CN117273044B (zh) * | 2023-10-27 | 2024-03-29 | 广州通赢科技有限公司 | 一种点阵图构建方法及识别点阵图的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113392669B (zh) | 2022-09-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113392669B (zh) | 一种图像信息检测方法、检测装置及存储介质 | |
CN105989317B (zh) | 一种二维码的识别方法及装置 | |
CN109343920B (zh) | 一种图像处理方法及其装置、设备和存储介质 | |
CN110570433B (zh) | 基于生成对抗网络的图像语义分割模型构建方法和装置 | |
CN110084172B (zh) | 文字识别方法、装置和电子设备 | |
CN113240642A (zh) | 图像缺陷检测方法及装置、电子设备、存储介质 | |
JP2006350704A (ja) | 判別器の学習方法、顔判別方法および装置並びにプログラム | |
CN112307919B (zh) | 一种基于改进YOLOv3的单证图像中数字信息区域识别方法 | |
CN114155527A (zh) | 一种场景文本识别方法和装置 | |
CN111680690A (zh) | 一种文字识别方法及装置 | |
CN111209858A (zh) | 一种基于深度卷积神经网络的实时车牌检测方法 | |
CN111626145A (zh) | 一种简捷有效的残缺表格识别及跨页拼接方法 | |
CN112052702A (zh) | 一种识别二维码的方法和装置 | |
CN113989604A (zh) | 基于端到端深度学习的轮胎dot信息识别方法 | |
CN111597845A (zh) | 一种二维码检测方法、装置、设备及可读存储介质 | |
CN113435557B (zh) | 一种二维码生成、解码、识别方法、装置及设备 | |
CN102521559A (zh) | 一种基于亚像素边缘检测的四一七条码识别方法 | |
CN114519788A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN114528865B (zh) | 条形码检测模型的训练方法、装置及条形码检测方法、装置 | |
CN115909378A (zh) | 单据文本检测模型的训练方法及单据文本检测方法 | |
CN115953744A (zh) | 一种基于深度学习的车辆识别追踪方法 | |
CN114612907A (zh) | 一种车牌识别方法及装置 | |
CN111951287A (zh) | 一种二维码检测和识读方法 | |
CN118037552A (zh) | 一种二维码缺陷修复方法、装置、设备及介质 | |
CN113723414B (zh) | 一种蒙面人脸遮挡物分割方法与装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |