CN112800801B - 图像中的图形识别方法、装置、计算机设备和存储介质 - Google Patents

图像中的图形识别方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112800801B
CN112800801B CN202110151304.8A CN202110151304A CN112800801B CN 112800801 B CN112800801 B CN 112800801B CN 202110151304 A CN202110151304 A CN 202110151304A CN 112800801 B CN112800801 B CN 112800801B
Authority
CN
China
Prior art keywords
image
recognized
neural network
identified
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110151304.8A
Other languages
English (en)
Other versions
CN112800801A (zh
Inventor
唐光远
陈海波
罗琴
张俊杰
李润静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai, Zhuhai Lianyun Technology Co Ltd filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN202110151304.8A priority Critical patent/CN112800801B/zh
Publication of CN112800801A publication Critical patent/CN112800801A/zh
Application granted granted Critical
Publication of CN112800801B publication Critical patent/CN112800801B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Toxicology (AREA)
  • Electromagnetism (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像中的图形识别方法、装置、计算机设备和存储介质，该方法包括获取待识别图像；通过自抑制残差神经网络解析待识别图像，得到待识别图像中待识别图形的图形特征；通过注意力机制神经网络解析获得待识别图像，得到图形特征的权重向量；基于图形特征的权重向量，获得待识别图形在待识别图像中的边界坐标。通过自抑制残差神经网络可以用更深的网络去捕获更深层次的信息，由于自抑制残差神经网络收敛速度更快，能够准确获得二维码的特征，通过注意力机制神经网络，获取表征二维码特征的权重向量，从而能够基于二维码特征的权重向量确定二维码边界点坐标，进而精确地将待识别图像中的二维码与背景分离出来。

Description

图像中的图形识别方法、装置、计算机设备和存储介质
技术领域
本发明涉及图像识别技术领域，特别涉及一种图像中的图形识别方法、装置、计算机设备和存储介质。
背景技术
随着移动互联网的不断发展，二维码的应用得到了长足的发展。在移动互联网应用的各领域均可见到二维码。比如，登录账户需要识别二维码；加好友需要识别二维码；租共享单车需要识别二维码，二维码识别已经渗透到生活的很多方面。
受限于部分显示设备的显示像素或者二维码的识别距离，导致二维码无法精确识别。影响二维码识别的因素有很多，比如待识别图片背景与二维码背景相似，背景的占比较大，或者因拍摄角度不同，导致待识别的二维码存在不同程度的变形。所以二维码识别到现在为止还面临很多挑战。
为了提高二维码是识别精度和识别率，目前二维码识别技术还多使用的传统方法，例如基于阈值的分割方法，基于边缘检测的方法等，这些方法虽然识别速度很快，但是在识别准确率上却不是很理想。因此，如何提高对二维码的识别精度，是目前亟需解决的。
发明内容
基于此，有必要针对上述技术问题，提供一种图像中的图形识别方法、装置、计算机设备和存储介质。
一种图像中的图形识别方法，包括：
获取待识别图像，其中，所述待识别图像内包含待识别图形；
将所述待识别图像输入至自抑制残差神经网络，通过所述自抑制残差神经网络解析所述待识别图像，得到所述待识别图像中所述待识别图形的图形特征，其中，所述自抑制残差神经网络包括三个自抑制残差块；
将获得所述图形特征的所述待识别图像，输入至注意力机制神经网络，通过所述注意力机制神经网络解析所述待识别图像，得到所述图形特征的权重向量；
基于所述图形特征的权重向量，获得所述待识别图形在所述待识别图像中的边界坐标。
在一个实施例中，所述基于所述图形特征的权重向量，获得所述待识别图形在所述待识别图像中的边界坐标的步骤包括：
基于所述图形特征的权重向量，获得所述待识别图形的边界坐标的权重向量；
对所述待识别图形的边界坐标的各所述权重向量进行排序，提取权重向量较大的所述待识别图形的边界坐标作为所述待识别图形在所述待识别图像中的边界坐标。
在其中一个实施例中，所述待识别图形包括二维码，所述图形特征包括二维码特征。
在其中一个实施例中，所述获取待识别图像的步骤之前包括：
获得多个学习图像，其中，所述学习图像为标记了图形的边界坐标的图像；
将所述学习图像依次输入至自抑制残差神经网络和注意力机制神经网络进行学习，得到学习后的自抑制残差神经网络和学习后的注意力机制神经网络。
在其中一个实施例中，所述将所述待识别图像输入至自抑制残差神经网络的步骤之前还包括：
对所述待识别图像进行预处理，得到预处理后的图像。
在其中一个实施例中，所述对所述待识别图像进行预处理的步骤包括：
对所述待识别图像进行灰度化处理，得到灰度化后的所述待识别图像；
对所述灰度化图像进行滤波，得到预处理后的所述待识别图像。
一种图像中的图形识别装置，包括：
待识别图像获取模块，用于获取待识别图像，其中，所述待识别图像内包含待识别图形；
图形特征获取模块，用于将所述待识别图像输入至自抑制残差神经网络，通过所述自抑制残差神经网络解析所述待识别图像，得到所述待识别图像中所述待识别图形的图形特征，其中，所述自抑制残差神经网络包括三个自抑制残差块；
特征权重向量获取模块，用于将获得所述图形特征的所述待识别图像，输入至注意力机制神经网络，通过所述注意力机制神经网络解析所述待识别图像，得到所述图形特征的权重向量；
图形边界坐标获取模块，用于基于所述图形特征的权重向量，获得所述待识别图形在所述待识别图像中的边界坐标。
在其中一个实施例中，所述图形边界坐标获取模块包括：
边界坐标权重向量获取单元，用于基于所述图形特征的权重向量，获得所述待识别图形的边界坐标的权重向量；
边界坐标确定单元，用于对所述待识别图形的边界坐标的各所述权重向量进行排序，提取权重向量较大的所述待识别图形的边界坐标作为所述待识别图形在所述待识别图像中的边界坐标。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：
获取待识别图像，其中，所述待识别图像内包含待识别图形；
将所述待识别图像输入至自抑制残差神经网络，通过所述自抑制残差神经网络解析所述待识别图像，得到所述待识别图像中所述待识别图形的图形特征，其中，所述自抑制残差神经网络包括三个自抑制残差块；
将获得所述图形特征的所述待识别图像，输入至注意力机制神经网络，通过所述注意力机制神经网络解析所述待识别图像，得到所述图形特征的权重向量；
基于所述图形特征的权重向量，获得所述待识别图形在所述待识别图像中的边界坐标。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待识别图像，其中，所述待识别图像内包含待识别图形；
将所述待识别图像输入至自抑制残差神经网络，通过所述自抑制残差神经网络解析所述待识别图像，得到所述待识别图像中所述待识别图形的图形特征，其中，所述自抑制残差神经网络包括三个自抑制残差块；
将获得所述图形特征的所述待识别图像，输入至注意力机制神经网络，通过所述注意力机制神经网络解析所述待识别图像，得到所述图形特征的权重向量；
基于所述图形特征的权重向量，获得所述待识别图形在所述待识别图像中的边界坐标。
上述图像中的图形识别方法、装置、计算机设备和存储介质，通过自抑制残差神经网络可以用更深的网络去捕获更深层次的信息，包括三个自抑制残差块的自抑制残差神经网络与传统的残差网络相比收敛速度更快，使得二维码识别的准确率有提升，能够准确获得二维码的特征，随后通过注意力机制神经网络，获取表征二维码特征的权重向量，通过二维码特征的权重向量能够获取更多所需要关注目标的细节信息，从而抑制其他无用信息，从而能够基于二维码特征的权重向量确定二维码边界点坐标，进而精确地将待识别图像中的二维码与背景分离出来。通过上述过程能够有效提高二维码的识别精确和识别率。
附图说明
图1为一个实施例中图像中的图形识别方法的应用场景示意图；
图2为一个实施例中图像中的图形识别方法的流程示意图；
图3为一个实施例中图像中的图形识别装置的结构框图；
图4为一个实施例中计算机设备的内部结构图；
图5为一个实施例中的图像中的图形识别方法的模型框架示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
实施例一
本申请提供的图像中的图形识别方法，可以应用于如图1所示的应用环境中。其中，计算机102通过网络与服务器104通过网络进行通信。其中，终端102可以但不限于是各种个人计算机、服务器、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。服务器104上部署了自抑制残差神经网络和注意力机制神经网络。
终端102首先将大量的标记了图形的边界坐标的学习图像发送至服务器104上的自抑制残差神经网络和注意力机制神经网络，服务器104获得学习图像，并通过自抑制残差神经网络和注意力机制神经网络对学习图像进行学习，构建用于识别图形边界坐标的识别模型。
终端102将包含待识别图形的待识别图像发送至服务器104，服务器104获取待识别图像，将所述待识别图像输入至学习后的自抑制残差神经网络，通过所述自抑制残差神经网络解析所述待识别图像，得到所述待识别图像中所述待识别图形的图形特征，其中，所述自抑制残差神经网络包括三个自抑制残差块；将获得所述图形特征的所述待识别图像，输入至学习后的注意力机制神经网络，通过所述注意力机制神经网络解析所述待识别图像，得到所述图形特征的权重向量；基于所述图形特征的权重向量，获得所述待识别图形在所述待识别图像中的边界坐标，从而精确地将待识别图像中的图形与背景分离出来。
实施例二
本实施例中，如图2所示，提供了一种图像中的图形识别方法，其包括：
步骤210，获取待识别图像，其中，所述待识别图像内包含待识别图形。
本实施例中，待识别图像为需要对其内包含的图形进行分离的图像。该待识别图像中包含了待识别图形和背景图形，待识别图形为能够承载信息的图形，背景图形也可以称为背景，该背景为待识别图像中除待识别图形以外的图形，该待识别图形为待识别图像中需要从背景中分离的图形，该待识别图形为携带信息的图形，而背景图形无携带信息的图形。本实施例中，获取待识别图像，通过后续步骤，用于将待识别图像的待识别图形从背景中分离出来。
步骤230，将所述待识别图像输入至自抑制残差神经网络，通过所述自抑制残差神经网络解析所述待识别图像，得到所述待识别图像中所述待识别图形的图形特征，其中，所述自抑制残差神经网络包括三个自抑制残差块。
具体地，自抑制残差神经网络也可以称为自抑制残差网络层，自抑制残差神经网络能够以更深的网络去捕获更深层次的信息，本实施例中，自抑制残差神经网络是由三个自抑制残差块拼接而成，自抑制残差块也可以称为自抑制残差模块。三个自抑制残差模块重复叠加，这样使得网络层数较传统卷积网络相比较深，所以自抑制残差神经网络的层数远深于传统的神经网络，因此，自抑制残差网络跟普通的残差网络相比收敛速度更快，使得图形的识别的准确率有提升。
本实施例中，该自抑制残差神经网络为通过多个学习图像预先学习得到的神经网络，将待识别图像输入至预先学习得到的自抑制残差神经网络，通过该自抑制残差神经网络能够解析得到带识别图像中的待识别图形的图形特征，并且通过该自抑制残差神经网络能够更深的层次可以挖掘到待识别图形的更深层次的特征。
步骤250，将获得所述图形特征的所述待识别图像，输入至注意力机制神经网络，通过所述注意力机制神经网络解析所述待识别图像，得到所述图形特征的权重向量。
具体地，注意力机制神经网络也可以称为注意力机制层。通过注意力机制神经网络，可以更好地学习到待识别图形的局部特征，从局部特征提取有用的信息，从而得到该图形特种的权重向量。
本实施例中，通过该注意力机制神经网络，获取表征相关的图形特征的权重的向量，可以更加准确的检索到与当前识别最大相关的信息。这些图形特征的权重的向量能以获取更多所需要关注目标的细节信息，而抑制其他无用信息。本实施例中，注意力机制可以将学习的特征比重更多地放在待识别图形的区域内，得到待识别图形的权重向量。
步骤270，基于所述图形特征的权重向量，获得所述待识别图形在所述待识别图像中的边界坐标。
具体地，待识别图形的边界坐标为待识别图形的边界在待识别图像中的坐标，表明待识别图形在待识别图像中的边界的位置。通过图形特征的权重向量，经过精确识别待识别图形的边界坐标。
本实施例中，通过明确待识别图形在待识别图像中的边界坐标，从而确定待识别图形的边界，从而能够将待识别图形从待识别图像中分离出来。
一个实施例中，所述基于所述图形特征的权重向量，获得所述待识别图形在所述待识别图像中的边界坐标的步骤之后还包括基于待识别图像中的边界坐标，获得所述待识别图形的边界轮廓，基于待识别图形的边界轮廓提取所述待识别图形。从而能够精确地将待识别图形从待识别图像的背景中分离出来。
上述实施例中，通过自抑制残差神经网络可以用更深的网络去捕获更深层次的信息，包括三个自抑制残差块的自抑制残差神经网络与传统的残差网络相比收敛速度更快，使得二维码识别的准确率有提升，能够准确获得二维码的特征，随后通过注意力机制神经网络，获取表征二维码特征的权重向量，通过二维码特征的权重向量能够获取更多所需要关注目标的细节信息，从而抑制其他无用信息，从而能够基于二维码特征的权重向量确定二维码边界点坐标，进而精确地将待识别图像中的二维码与背景分离出来。通过上述过程能够有效提高二维码的识别精确和识别率。
在一个实施例中，所述基于所述图形特征的权重向量，获得所述待识别图形在所述待识别图像中的边界坐标的步骤包括：
基于所述图形特征的权重向量，获得所述待识别图形的边界坐标的权重向量；对所述待识别图形的边界坐标的各所述权重向量进行排序，提取权重向量较大的所述待识别图形的边界坐标作为所述待识别图形在所述待识别图像中的边界坐标。
具体地，该图形特征用于表征图形的坐标信息，这些坐标信息包含了图形区域内的坐标以及图形的边界坐标，本实施例中，首先基于图形特征的权重向量，从图形特征中获得用于表征待识别图形的边界坐标的特征，进而得到边界坐标的特征对应的权重向量。应该理解的是，由于在注意力机制神经网络对于待识别图形的一个点获得的边界坐标可能有多个，因此，需要根据权重向量对这一个点对应的多个边界坐标进行排序，提取该点对应权重向量最大的一个边界坐标作为该点的边界坐标。这样，即可确定待识别图形的边界，从而可以精确地从待识别图像中提取该待识别图形。
比如，以带待识别图形为二维码为例，待识别图像中的二维码的边界某一个点的坐标通过神经网络的学习，得到多个可能的值，比如，包括(x1，y1)、(x2，y1)、(x1，y2)，而这三个可能的值的权重不一。比如，(x1，y1)的权重向量为1，(x2，y1)的权重向量为0.2，(x1，y2)的权重向量为0.15，则由于(x1，y1)的权重向量最大，因此，确定二维码的边界的该点坐标为(x1，y1)，其他的边界坐标如此类推获得。这样，通过权重向量，即可精确地确定二维码在图像中的边界，从而精确地从图像中提取二维码。
在一个实施例中，所述待识别图形包括二维码，所述图形特征包括二维码特征。
本实施例中，待识别图形包括二维码图形，待识别图形的图形特征包括二维码特征。本实施例中，应用于包含二维码的图像中的二维码的识别。
本实施例中，获取包含二维码的待识别图像；将包含二维码的待识别图像输入至自抑制残差神经网络，通过所述自抑制残差神经网络解析包含二维码的待识别图像，得到待识别图像中二维码特征；将获得了二维码特征的待识别图像输入至注意力机制神经网络，通过所述注意力机制神经网络解析所述待识别图像，得到二维码特征的权重向量；基于二维码特征的权重向量，获得二维码在所述待识别图像中的边界坐标，从而将二维码从待识别图像中的背景分离出来。
在一个实施例中，所述获取待识别图像的步骤之前包括：获得多个学习图像，其中，所述学习图像为标记了图形的边界坐标的图像；将所述学习图像依次输入至自抑制残差神经网络和注意力机制神经网络进行学习，得到学习后的自抑制残差神经网络和学习后的注意力机制神经网络。
本实施例中，学习图像为标记了图形的边界位置的图像，该学习图像用于输入至自抑制残差神经网络和注意力机制神经网络，以使得自抑制残差神经网络和注意力机制神经网络能够对标记了图形的边界的图像进行学习。本实施例中，首先对学习图像进行标记，对学习图像中的图形进行标记，比如，对图像中的二维码进行标记。将大量的学习图像输入至自抑制残差神经网络和注意力机制神经网络进行训练，
在一个实施例中，所述将所述待识别图像输入至自抑制残差神经网络的步骤之前还包括：对所述待识别图像进行预处理，得到预处理后的图像。
本实施例中，通过图像预处理对所述待识别图像进行预处理，能够有效减少待识别图像的噪声，减少下一步的计算量，以减小后续自抑制残差神经网络和自抑制残差神经网络的计算量，提高处理效率。
在一个实施例中，所述对所述待识别图像进行预处理的步骤包括：对所述待识别图像进行灰度化处理，得到灰度化后的所述待识别图像；对所述灰度化图像进行滤波，得到预处理后的所述待识别图像。
本实施例中，通过对待识别图像进行灰度化处理，使得图像的像素二维化，以使得待识别图像的像素值简化，随后对灰度化处理后的待识别图像进行滤波，以减少待识别图像的噪音，从而得到预处理后的所述待识别图像。通过对待识别图像依次进行灰度化处理和滤波，能够有效减少待识别图像的噪声，减少下一步的计算量，以减小后续自抑制残差神经网络和自抑制残差神经网络的计算量，提高处理效率。
实施例三
本实施例中，首先对图片进行预处理，进行灰度化与滤波，进行图像预处理可以减少噪声，减少下一步的计算量。然后对大量的二维码图片进行标记，用于算法的监督学习。再输入到自抑制残差网络层，自抑制残差网络层可以用更深的网络去捕获更深层次的信息，自抑制残差网络跟普通的残差网络相比收敛速度更快，使得二维码识别的准确率有提升。在传入到注意力机制层，获取表征相关图像权重的向量，这些向量能以获取更多所需要关注目标的细节信息，而抑制其他无用信息。二维码识别层用训练好的模型输出二维码边界点坐标，将待识别图像中的二维码与背景分离出来。
本申请为一种基于自抑制残差网络的二维码识别方法。首先对图像预处理，进行灰度化与滤波，进行图像预处理可以减少噪声，减少下一步的计算量。然后对大量的二维码图片进行标注，用于算法的监督学习。再输入到自抑制残差网络层，自抑制残差网络层可以用更深的网络去捕获更深层次的信息，自抑制残差网络跟普通的残差网络相比收敛速度更快，使得二维码识别的准确率有提升。在传入到注意力机制层，获取表征相关图像权重的向量，这些向量能以获取更多所需要关注目标的细节信息，而抑制其他无用信息。二维码识别层用训练好的模型输出二维码边界点坐标，将待识别图像中的二维码与背景分离出来。
本发明的模型总体框架图如图5所示，自抑制残差神经网络结构图如图二所示。具体实施步骤如下：
1.数据处理层:在数据预处理层中，首先用图像预处理，进行灰度化与滤波，进行图像预处理可以减少噪声，减少下一步的计算量。然后对大量的二维码图片进行标注，用于算法的监督学习。
2.自抑制残差网络层：自抑制残差网络层可以用更深的网络去捕获更深层次的信息，因为该网络是由三个自抑制残差块拼接而成，所以自抑制残差神经网络的层数远深于传统的神经网络，所以自抑制残差网络跟普通的残差网络相比收敛速度更快，使得二维码识别的准确率有提升。
3.注意力机制层：传入到注意力机制层，获取表征相关图像权重的向量，可以更加准确的检索到与当前识别最大相关的信息。这些向量能以获取更多所需要关注目标的细节信息，而抑制其他无用信息。注意力机制可以将学习的特征比重更多地放在二维码区域内，得到二维码区域的权重向量。
4.二维码识别层：二维码识别层用训练好的模型输出得到二维码边界点坐标，将待识别图像中的二维码与背景分离出来。
应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
实施例四
本实施例中，如图3所示，提供一种图像中的图形识别装置，包括：
待识别图像获取模块310，用于获取待识别图像，其中，所述待识别图像内包含待识别图形；
图形特征获取模块330，用于将所述待识别图像输入至自抑制残差神经网络，通过所述自抑制残差神经网络解析所述待识别图像，得到所述待识别图像中所述待识别图形的图形特征，其中，所述自抑制残差神经网络包括三个自抑制残差块；
特征权重向量获取模块350，用于将获得所述图形特征的所述待识别图像，输入至注意力机制神经网络，通过所述注意力机制神经网络解析所述待识别图像，得到所述图形特征的权重向量；
图形边界坐标获取模块370，用于基于所述图形特征的权重向量，获得所述待识别图形在所述待识别图像中的边界坐标。
在一个实施例中，所述图形边界坐标获取模块包括：
边界坐标权重向量获取单元，用于基于所述图形特征的权重向量，获得所述待识别图形的边界坐标的权重向量；
边界坐标确定单元，用于对所述待识别图形的边界坐标的各所述权重向量进行排序，提取权重向量较大的所述待识别图形的边界坐标作为所述待识别图形在所述待识别图像中的边界坐标。
在一个实施例中，所述待识别图形包括二维码，所述图形特征包括二维码特征。
在一个实施例中，图像中的图形识别装置还包括：
学习图像获取模块，用于获得多个学习图像，其中，所述学习图像为标记了图形的边界坐标的图像；
学习模块，用于将所述学习图像依次输入至自抑制残差神经网络和注意力机制神经网络进行学习，得到学习后的自抑制残差神经网络和学习后的注意力机制神经网络。
在一个实施例中，图像中的图形识别装置还包括：
预处理模块，用于对所述待识别图像进行预处理，得到预处理后的图像。
在一个实施例中，所述预处理模块包括：
灰度化处理单元，用于对所述待识别图像进行灰度化处理，得到灰度化后的所述待识别图像；
滤波单元，用于对所述灰度化图像进行滤波，得到预处理后的所述待识别图像。
关于图像中的图形识别装置的具体限定可以参见上文中对于图像中的图形识别方法的限定，在此不再赘述。上述图像中的图形识别装置中的各个单元可全部或部分通过软件、硬件及其组合来实现。上述各单元可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个单元对应的操作。
实施例五
本实施例中，提供了计算机设备。其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序，且该非易失性存储介质部署有数据库，该数据库用于存储用大量的带有二维码图形的图像。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与部署了应用软件的其他计算机设备通信。该计算机程序被处理器执行时以实现一种图像中的图形识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取待识别图像，其中，所述待识别图像内包含待识别图形；
将所述待识别图像输入至自抑制残差神经网络，通过所述自抑制残差神经网络解析所述待识别图像，得到所述待识别图像中所述待识别图形的图形特征，其中，所述自抑制残差神经网络包括三个自抑制残差块；
将获得所述图形特征的所述待识别图像，输入至注意力机制神经网络，通过所述注意力机制神经网络解析所述待识别图像，得到所述图形特征的权重向量；
基于所述图形特征的权重向量，获得所述待识别图形在所述待识别图像中的边界坐标。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
基于所述图形特征的权重向量，获得所述待识别图形的边界坐标的权重向量；
对所述待识别图形的边界坐标的各所述权重向量进行排序，提取权重向量较大的所述待识别图形的边界坐标作为所述待识别图形在所述待识别图像中的边界坐标。
在一个实施例中，所述待识别图形包括二维码，所述图形特征包括二维码特征。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获得多个学习图像，其中，所述学习图像为标记了图形的边界坐标的图像；
将所述学习图像依次输入至自抑制残差神经网络和注意力机制神经网络进行学习，得到学习后的自抑制残差神经网络和学习后的注意力机制神经网络。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对所述待识别图像进行预处理，得到预处理后的图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对所述待识别图像进行灰度化处理，得到灰度化后的所述待识别图像；
对所述灰度化图像进行滤波，得到预处理后的所述待识别图像。
实施例六
本实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待识别图像，其中，所述待识别图像内包含待识别图形；
将所述待识别图像输入至自抑制残差神经网络，通过所述自抑制残差神经网络解析所述待识别图像，得到所述待识别图像中所述待识别图形的图形特征，其中，所述自抑制残差神经网络包括三个自抑制残差块；
将获得所述图形特征的所述待识别图像，输入至注意力机制神经网络，通过所述注意力机制神经网络解析所述待识别图像，得到所述图形特征的权重向量；
基于所述图形特征的权重向量，获得所述待识别图形在所述待识别图像中的边界坐标。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
基于所述图形特征的权重向量，获得所述待识别图形的边界坐标的权重向量；
对所述待识别图形的边界坐标的各所述权重向量进行排序，提取权重向量较大的所述待识别图形的边界坐标作为所述待识别图形在所述待识别图像中的边界坐标。
在一个实施例中，所述待识别图形包括二维码，所述图形特征包括二维码特征。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获得多个学习图像，其中，所述学习图像为标记了图形的边界坐标的图像；
将所述学习图像依次输入至自抑制残差神经网络和注意力机制神经网络进行学习，得到学习后的自抑制残差神经网络和学习后的注意力机制神经网络。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对所述待识别图像进行预处理，得到预处理后的图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对所述待识别图像进行灰度化处理，得到灰度化后的所述待识别图像；
对所述灰度化图像进行滤波，得到预处理后的所述待识别图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种图像中的图形识别方法，其特征在于，包括：
获取待识别图像，其中，所述待识别图像内包含待识别图形；
将所述待识别图像输入至自抑制残差神经网络，通过所述自抑制残差神经网络解析所述待识别图像，得到所述待识别图像中所述待识别图形的图形特征，其中，所述自抑制残差神经网络包括三个自抑制残差块；
将获得所述图形特征的所述待识别图像，输入至注意力机制神经网络，通过所述注意力机制神经网络解析所述待识别图像，得到所述图形特征的权重向量；
基于所述图形特征的权重向量，获得所述待识别图形的边界坐标的权重向量；
对所述待识别图形的边界坐标的各所述权重向量进行排序，提取权重向量最大的所述待识别图形的边界坐标作为所述待识别图形在所述待识别图像中的边界坐标。
2.根据权利要求1所述的方法，其特征在于，所述待识别图形包括二维码，所述图形特征包括二维码特征。
3.根据权利要求1所述的方法，其特征在于，所述获取待识别图像的步骤之前包括：
获得多个学习图像，其中，所述学习图像为标记了图形的边界坐标的图像；
将所述学习图像依次输入至自抑制残差神经网络和注意力机制神经网络进行学习，得到学习后的自抑制残差神经网络和学习后的注意力机制神经网络。
4.根据权利要求1-3任一项中所述的方法，其特征在于，所述将所述待识别图像输入至自抑制残差神经网络的步骤之前还包括：
对所述待识别图像进行预处理，得到预处理后的图像。
5.根据权利要求4所述的方法，其特征在于，所述对所述待识别图像进行预处理的步骤包括：
对所述待识别图像进行灰度化处理，得到灰度化后的所述待识别图像；
对所述灰度化图像进行滤波，得到预处理后的所述待识别图像。
6.一种图像中的图形识别装置，其特征在于，包括：
待识别图像获取模块，用于获取待识别图像，其中，所述待识别图像内包含待识别图形；
图形特征获取模块，用于将所述待识别图像输入至自抑制残差神经网络，通过所述自抑制残差神经网络解析所述待识别图像，得到所述待识别图像中所述待识别图形的图形特征，其中，所述自抑制残差神经网络包括三个自抑制残差块；
特征权重向量获取模块，用于将获得所述图形特征的所述待识别图像，输入至注意力机制神经网络，通过所述注意力机制神经网络解析所述待识别图像，得到所述图形特征的权重向量；
图形边界坐标获取模块，用于基于所述图形特征的权重向量，获得所述待识别图形的边界坐标的权重向量；对所述待识别图形的边界坐标的各所述权重向量进行排序，提取权重向量最大的所述待识别图形的边界坐标作为所述待识别图形在所述待识别图像中的边界坐标。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
CN202110151304.8A 2021-02-03 2021-02-03 图像中的图形识别方法、装置、计算机设备和存储介质 Active CN112800801B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110151304.8A CN112800801B (zh) 2021-02-03 2021-02-03 图像中的图形识别方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110151304.8A CN112800801B (zh) 2021-02-03 2021-02-03 图像中的图形识别方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN112800801A CN112800801A (zh) 2021-05-14
CN112800801B true CN112800801B (zh) 2022-11-11

Family

ID=75814015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110151304.8A Active CN112800801B (zh) 2021-02-03 2021-02-03 图像中的图形识别方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112800801B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110837835A (zh) * 2019-10-29 2020-02-25 华中科技大学 一种基于边界点检测的场景文本端到端识别方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255369B (zh) * 2018-08-09 2020-10-16 杭州易现先进科技有限公司 利用神经网络识别图片的方法及装置、介质和计算设备
US11887005B2 (en) * 2018-12-03 2024-01-30 Intel Corporation Content adaptive attention model for neural network-based image and video encoders
CN109753836A (zh) * 2018-12-20 2019-05-14 恒银金融科技股份有限公司 基于微分搜索算法的bp神经网络二维码区域提取方法
CN109815770B (zh) * 2019-01-31 2022-09-27 北京旷视科技有限公司 二维码检测方法、装置及系统
CN110232348A (zh) * 2019-06-10 2019-09-13 腾讯科技（深圳）有限公司 行人属性识别方法、装置和计算机设备
CN110738146B (zh) * 2019-09-27 2020-11-17 华中科技大学 一种目标重识别神经网络及其构建方法和应用
CN111967480A (zh) * 2020-09-07 2020-11-20 上海海事大学 基于权重共享的多尺度自注意力目标检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110837835A (zh) * 2019-10-29 2020-02-25 华中科技大学 一种基于边界点检测的场景文本端到端识别方法

Also Published As

Publication number Publication date
CN112800801A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
WO2021017261A1 (zh) 识别模型训练方法、图像识别方法、装置、设备及介质
CN109558832B (zh) 一种人体姿态检测方法、装置、设备及存储介质
US10936911B2 (en) Logo detection
CN109285105B (zh) 水印检测方法、装置、计算机设备和存储介质
KR101896357B1 (ko) 객체를 검출하는 방법, 디바이스 및 프로그램
CN111274977A (zh) 多任务卷积神经网络模型及使用方法、装置和存储介质
CN113239874B (zh) 基于视频图像的行为姿态检测方法、装置、设备及介质
CN111611873A (zh) 人脸替换检测方法及装置、电子设备、计算机存储介质
WO2019033570A1 (zh) 嘴唇动作分析方法、装置及存储介质
US7831068B2 (en) Image processing apparatus and method for detecting an object in an image with a determining step using combination of neighborhoods of a first and second region
CN113255630B (zh) 一种运动目标识别训练方法、运动目标识别方法及装置
CN113255557B (zh) 一种基于深度学习的视频人群情绪分析方法及系统
CN110046577B (zh) 行人属性预测方法、装置、计算机设备和存储介质
CN111414888A (zh) 低分辨率人脸识别方法、系统、装置及存储介质
CN111368638A (zh) 电子表格的创建方法、装置、计算机设备和存储介质
CN112001932A (zh) 人脸识别方法、装置、计算机设备和存储介质
Nguyen et al. Towards real-time smile detection based on faster region convolutional neural network
CN113449586A (zh) 目标检测方法、装置、计算机设备和存储介质
CN112101386A (zh) 文本检测方法、装置、计算机设备和存储介质
Lahiani et al. Hand pose estimation system based on Viola-Jones algorithm for android devices
CN111178310A (zh) 手掌特征识别方法、装置、计算机设备和存储介质
CN112800801B (zh) 图像中的图形识别方法、装置、计算机设备和存储介质
CN111274965A (zh) 人脸识别方法、装置、计算机设备和存储介质
CN115424001A (zh) 场景相似度估计方法、装置、计算机设备和存储介质
CN115424267A (zh) 基于高斯分布的旋转目标检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant