CN112560834B - 一种坐标预测模型生成方法、装置及图形识别方法、装置 - Google Patents
一种坐标预测模型生成方法、装置及图形识别方法、装置 Download PDFInfo
- Publication number
- CN112560834B CN112560834B CN201910918242.1A CN201910918242A CN112560834B CN 112560834 B CN112560834 B CN 112560834B CN 201910918242 A CN201910918242 A CN 201910918242A CN 112560834 B CN112560834 B CN 112560834B
- Authority
- CN
- China
- Prior art keywords
- vertex coordinates
- graph
- loss function
- image
- prediction model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012567 pattern recognition method Methods 0.000 title claims abstract description 9
- 238000012549 training Methods 0.000 claims abstract description 49
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000003909 pattern recognition Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 238000003062 neural network model Methods 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 43
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 101710129069 Serine/threonine-protein phosphatase 5 Proteins 0.000 description 2
- 101710199542 Serine/threonine-protein phosphatase T Proteins 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 229920000470 poly(p-phenylene terephthalate) polymer Polymers 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
一种坐标预测模型生成方法、装置及图形识别方法、装置，包括：利用训练样本集迭代训练预先构建的深度卷积神经网络模型，生成用于预测图像中图形的顶点坐标的坐标预测模型；其中，训练样本集包括：多张包含待识别图形的样本图像以及每个待识别图形的实际顶点坐标。由于采用了大量训练样本训练深度卷积神经网络模型，因此生成的坐标预测模型是一个稳定的模型，从而保证了后续图像中图形的识别准确度。
Description
技术领域
本文涉及图像处理技术，尤指一种坐标预测模型生成方法、装置及图形识别方法、装置。
背景技术
随着科技的发展，很多业务需要通过计算机技术对图像中的图形进行识别，例如从一张图像中识别出文档、PPT或者证件。
相关技术中，图像中图形的获取基于传统计算机视觉CV边缘检测算法。
然而，这种算法的抗干扰能力较差，极易受到外界干扰(例如在背景与图形边缘区分不明显)，因此无法保证后续图像中图形的识别准确度。
发明内容
本申请提供了一种坐标预测模型生成方法、装置及图形识别方法、装置，能够提供一个稳定的坐标预测模型，从而保证后续图像中图形的识别准确度。
本申请提供了一种坐标预测模型生成方法，包括：
利用训练样本集迭代训练预先构建的深度卷积神经网络模型，生成用于预测图像中图形的顶点坐标的坐标预测模型；其中，所述训练样本集包括：多张包含待识别图形的样本图像以及每个所述待识别图形的实际顶点坐标。
所述图形包括：四边形。
所述利用训练样本集迭代训练预先构建的深度卷积神经网络模型，生成用于预测图像中图形的顶点坐标的坐标预测模型，包括：
将所述训练样本集作为所述深度卷积神经网络模型的输入，根据预先设定的损失函数，利用反向传播算法对所述深度卷积神经网络模型进行迭代训练、调整所述深度卷积神经网络模型的参数，直到损失函数的损失值收敛，得到所述坐标预测模型。
所述损失函数包括：用于计算预测顶点坐标与实际顶点坐标之间绝对误差的第一损失函数。
所述训练样本集还包括：用于表示来自每张所述样本图像的实际坐标构成的图形为所述待识别图形的标识信息；
所述损失函数包括：通过第一损失函数与第一权重因子，第二损失函数与第二权重因子进行加权运算得到的第三损失函数；其中，所述第一损失函数用于计算预测顶点坐标与实际顶点坐标之间的绝对误差，所述第二损失函数用于判断预测顶点坐标构成的图形是否是所述待识别图形，所述第一权重因子和所述第二权重因子的和为1。
所述第一权重因子和所述第二权重因子均为0.5。
本申请还提供了一种图形识别方法，包括：
获取包含目标图形的待处理图像；
将所述待处理图像输入至如上述任一项所述的坐标预测模型生成方法生成的坐标预测模型，得到所述目标图形的预测顶点坐标，并基于所述预测顶点坐标识别所述目标图形。
所述图像包括：静态图像和动态图像；
当所述图像为动态图像时，针对组成所述动态图像的每一帧静态图像，所述得到目标图形的预测顶点坐标之后，以及基于预测顶点坐标识别目标图形之前，还包括：
将获得的预测顶点坐标输入预先设置的滤波器，得到经过处理的预测顶点坐标。
所述滤波器的层数为两层。
本申请还提供了一种坐标预测模型生成装置，包括：
第一处理模块，用于利用训练样本集迭代训练预先构建的深度卷积神经网络模型，生成用于预测图像中图形的顶点坐标的坐标预测模型；其中，所述训练样本集包括：多张包含待识别图形的样本图像以及每个所述待识别图形的实际顶点坐标。
本申请还提供了一种图形识别装置，包括：
获取模块，用于获取包含目标图形的待处理图像；
第二处理模块，用于将所述待处理图像输入至如上述所述的坐标预测模型生成装置生成的坐标预测模型，得到所述目标图形的预测顶点坐标，并基于所述预测顶点坐标识别所述目标图形。
与相关技术相比，本申请包括：利用训练样本集迭代训练预先构建的深度卷积神经网络模型，生成用于预测图像中图形的顶点坐标的坐标预测模型；其中，所述训练样本集包括：多张包含待识别图形的样本图像以及每个所述待识别图形的实际顶点坐标。由于采用了大量训练样本训练深度卷积神经网络模型，因此生成的坐标预测模型是一个稳定的模型，从而保证了后续图像中图形的识别准确度。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1为本申请实施例提供的一种坐标预测模型生成方法的流程示意图；
图2为本申请实施例提供的识别出的图形的示意图；
图3为本申请实施例提供的坐标预测模型生成装置的结构示意图；
图4为本申请实施例提供的图形识别装置的结构示意图。
具体实施方式
本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。
本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。
此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。
本申请实施例提供一种坐标预测模型生成方法，如图1所示，包括：
步骤101、利用训练样本集迭代训练预先构建的深度卷积神经网络模型，生成用于预测图像中图形的顶点坐标的坐标预测模型；其中，训练样本集包括：多张包含待识别图形的样本图像以及每个待识别图形的实际顶点坐标。
在一种示例性实例中，多张包含待识别图形的样本图像的数量为几万张。
在一种示例性实例中，所有样本图像的大小都一致。每个待识别四边形的顶点的实际坐标是以人工方式获得的坐标，每个顶点的坐标包括：横坐标和纵坐标。
在一种示例性实例中，在深度学习过程中，深度卷积神经网络模型的卷积层提取图像的特征，而全连接层将特征映射到样本的标记空间，即映射为一组固定长度的向量。其中，全连接层也可以用卷积层替代，前层是全连接的全连接层可以转化为卷积核为1×1的卷积，而前层是卷积层的全连接层可以转化为卷积核为h×w的全局卷积，h和w分别为前层卷积输出结果的高和宽。
在一种示例性实例中，深度卷积神经网络层数可变，也可采用成熟的VGG、Resnet、Mobilenet等网络的前半部分作为特征提取网络。其中，VGG是英国剑桥大学研究的一种深度学习网络结构，Resnet是微软亚洲研究院研发的一种网络结构，可以翻译为残差网络，Mobilenet是Goolge公司研发的一种网络结构。
在一种示例性实例中，图形包括：四边形。
在一种示例性实例中，利用训练样本集迭代训练预先构建的深度卷积神经网络模型，生成用于预测图像中图形的顶点坐标的坐标预测模型，包括：
将训练样本集作为深度卷积神经网络模型的输入，根据预先设定的损失函数，利用反向传播算法对深度卷积神经网络模型进行迭代训练、调整深度卷积神经网络模型的参数，直到损失函数的损失值收敛，得到坐标预测模型。
在一种示例性实例中，损失函数包括：用于计算预测顶点坐标与实际顶点坐标之间绝对误差的第一损失函数。
在一种示例性实例中，训练样本集还包括：用于表示来自每张样本图像的实际坐标构成的图形为待识别图形的标识信息。
损失函数包括：通过第一损失函数与第一权重因子，第二损失函数与第二权重因子进行加权运算得到的第三损失函数；其中，第一损失函数用于计算预测顶点坐标与实际顶点坐标之间的绝对误差，第二损失函数用于判断预测顶点坐标构成的图形是否是待识别图形，第一权重因子和第二权重因子的和为1。
在一种示例性实例中，只用第一损失函数做约束训练神经网络模型得到的顶点坐标预测模型虽然在坐标预测方面准确度高，但是申请人发现在训练过程中损失值难以收敛，因此设计加入第二损失函数，通过第一损失函数与第二损失函数加权运算得到第三损失函数。在实际训练中，与收敛第一损失函数的损失值所用的时间相比，收敛第三损失函数的损失值所用的时间大幅缩短，同时预测准确度仍能满足需求。因此，通过第一损失函数和第二损失函数训练得到的深度卷积申请网络模型能够兼顾收敛难度和预测准确度。
在一种示例性实例中，第一损失函数可以是：abs_diff＝tf.abs(tf.subtract(coordinates_true,coordinates_pred))；其中，abs_diff是数据回归的loss定义即坐标误差，tf.abs表示求绝对值，tf.subtract表示求差，coordinates_true表示真实坐标值，coordinates_pred表示预测坐标值。
在一种示例性实例中，第二损失函数可以表示为：loss_cross_entropy＝tf.losses.softmax_cross_entropy(classes_true,classes_pred)。其中，loss_cross_entropy是使用算法算得的交叉熵loss，tf.losses.softmax_cross_entropy表示tensorflow里预封装好的算法，classes_true表示检测出来的区域是目标，这里用1表示，classes_pred表示预测出来的区域是否是目标。上式表示计算人标注的类别标签，和预测出来的标签进行对比，看看是不是一样。其中，类别标签比如是不是目标，或者是目标还是背景，一般是true或者false，在数值上用0和1表示。如果一样的话，说明预测正确，那么cross entropy就比较大，说明相关性比较大。如果预测错误了，那么就是没有相关性。
在一种示例性实例中，第一权重因子和第二权重因子均为0.5。
本申请实施例提供的坐标预测模型生成方法，由于采用了大量训练样本训练深度卷积神经网络模型，因此生成的坐标预测模型是一个稳定的模型，从而保证了后续图像中图形的识别准确度。
本申请实施例还提供一种图形识别方法，包括：
首先、获取包含目标图形的待处理图像。
其次、将待处理图像输入至上述实施例中的任意一种实施例描述的坐标预测模型生成方法生成的坐标预测模型，得到目标图形的预测顶点坐标，并基于预测顶点坐标识别目标图形。
在一种示例性实例中，待处理图像的大小与样本图像的大小一致。
在一种示例性实例中，当图形为四边形时，识别到的目标四边形可以如图2所示。本实施例提供的图形识别方法可以从图像中获取透视变化的PPT、文档或证件，以用于做透视矫正、抠图等操作。
在一种示例性实例中，图像包括：静态图像和动态图像。
当图像为动态图像时，针对组成动态图像的每一帧静态图像，得到目标图形的预测顶点坐标之后，以及基于预测顶点坐标识别目标图形之前，还包括：
将获得的预测顶点坐标输入预先设置的滤波器，得到经过处理的预测顶点坐标。
在一种示例性实例中，滤波器的层数为两层。
本申请实施例提供的图形识别方法，由于采用了大量训练样本训练深度卷积神经网络模型，因此使得生成的坐标预测模型在各种干扰条件下能够准确地进行图形顶点预测，从而实现了图形地准确获取。
本申请实施例还提供一种坐标预测模型生成装置，如图3所示，包括：
第一处理模块21，用于利用训练样本集迭代训练预先构建的深度卷积神经网络模型，生成用于预测图像中图形的顶点坐标的坐标预测模型；其中，训练样本集包括：多张包含待识别图形的样本图像以及每个待识别图形的实际顶点坐标。
在一种示例性实例中，图形包括：四边形。
在一种示例性实例中，第一处理模块21，具体用于将训练样本集作为深度卷积神经网络模型的输入，根据预先设定的损失函数，利用反向传播算法对深度卷积神经网络模型进行迭代训练、调整深度卷积神经网络模型的参数，直到损失函数的损失值收敛，得到坐标预测模型。
在一种示例性实例中，损失函数包括：用于计算预测顶点坐标与实际顶点坐标之间绝对误差的第一损失函数。
在一种示例性实例中，训练样本集还包括：用于表示来自每张样本图像的实际坐标构成的图形为待识别图形的标识信息。
损失函数包括：通过第一损失函数与第一权重因子，第二损失函数与第二权重因子进行加权运算得到的第三损失函数；其中，第一损失函数用于计算预测顶点坐标与实际顶点坐标之间的绝对误差，第二损失函数用于判断预测顶点坐标构成的图形是否是待识别图形，第一权重因子和第二权重因子的和为1。
在一种示例性实例中，第一权重因子和第二权重因子均为0.5。
本申请实施例提供的坐标预测模型生成装置，由于采用了大量训练样本训练深度卷积神经网络模型，因此生成的坐标预测模型是一个稳定的模型，从而保证了后续图像中图形的识别准确度。
在实际应用中，所述第一处理模块21由位于坐标预测模型生成装置中的中央处理器(Central Processing Unit，CPU)、微处理器(Micro Processor Unit，MPU)、数字信号处理器(Digital Signal Processor，DSP)或现场可编程门阵列(Field Programmable GateArray，FPGA)等实现。
本申请实施例还提供一种图形识别装置，如图4所示，包括：
获取模块31，用于获取包含目标图形的待处理图像。
第二处理模块32，用于将待处理图像输入至上述任意一种实施例描述的坐标预测模型生成装置生成的坐标预测模型，得到目标图形的预测顶点坐标，并基于预测顶点坐标识别目标图形。
在一种示例性实例中，图像包括：静态图像和动态图像。
当图像为动态图像时，针对组成动态图像的每一帧静态图像，第二处理模块32，还用于将获得的预测顶点坐标输入预先设置的滤波器，得到经过处理的预测顶点坐标。
在一种示例性实例中，滤波器的层数为两层。
本申请实施例提供的图形识别装置，由于采用了大量训练样本训练深度卷积神经网络模型，因此使得生成的坐标预测模型在各种干扰条件下能够准确地进行图形顶点预测，从而实现了图形地准确获取。
在实际应用中，所述获取模块31和第二处理模块32位于图形识别装置中的CPU、MPU、DSP或FPGA等实现。
本申请实施例还提供一种图像处理装置，包括：处理器和存储器，其中，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时实现如上述任意一种所述的方法的处理。
本申请实施例还提供一种存储介质，存储介质上存储有计算机可执行命令，计算机可执行命令用于执行如上述任意一种所述的方法的处理。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
Claims (9)
1.一种坐标预测模型生成方法，其特征在于，包括：
利用训练样本集，根据预先设定的损失函数迭代训练预先构建的深度卷积神经网络模型，生成用于预测图像中图形的顶点坐标的坐标预测模型；其中，
所述训练样本集包括：多张包含待识别图形的样本图像、每个所述待识别图形的实际顶点坐标，以及表示来自每张所述样本图像的实际坐标构成的图形为所述待识别图形的标识信息；
所述损失函数包括：通过第一损失函数与第一权重因子，第二损失函数与第二权重因子进行加权运算得到的第三损失函数；所述第一损失函数用于计算预测顶点坐标与实际顶点坐标之间的绝对误差，所述第二损失函数用于判断预测顶点坐标构成的图形是否是所述待识别图形，所述第一权重因子和所述第二权重因子的和为1；
所述图形包括：四边形；
所述坐标预测模型所预测的顶点坐标用于对所述图像中的图形进行透视矫正或抠图，以进行图形识别。
2.根据权利要求1所述的方法，其特征在于，所述利用训练样本集，根据预先设定的损失函数迭代训练预先构建的深度卷积神经网络模型，生成用于预测图像中图形的顶点坐标的坐标预测模型，包括：
将所述训练样本集作为所述深度卷积神经网络模型的输入，根据预先设定的损失函数，利用反向传播算法对所述深度卷积神经网络模型进行迭代训练、调整所述深度卷积神经网络模型的参数，直到损失函数的损失值收敛，得到所述坐标预测模型。
3.根据权利要求2所述的方法，其特征在于，所述损失函数包括：用于计算预测顶点坐标与实际顶点坐标之间绝对误差的第一损失函数。
4.根据权利要求1所述的方法，其特征在于，所述第一权重因子和所述第二权重因子均为0.5。
5.一种图形识别方法，其特征在于，包括：
获取包含目标图形的待处理图像；
将所述待处理图像输入至如权利要求1-4任一项所述的坐标预测模型生成方法生成的坐标预测模型，得到所述目标图形的预测顶点坐标，并基于所述预测顶点坐标对所述图像中的图形进行透视矫正或抠图，以识别所述目标图形。
6.根据权利要求5所述的方法，其特征在于，所述图像包括：静态图像和动态图像；
当所述图像为动态图像时，针对组成所述动态图像的每一帧静态图像，所述得到目标图形的预测顶点坐标之后，以及基于预测顶点坐标识别目标图形之前，还包括：
将获得的预测顶点坐标输入预先设置的滤波器，得到经过处理的预测顶点坐标。
7.根据权利要求6所述的方法，其特征在于，所述滤波器的层数为两层。
8.一种坐标预测模型生成装置，其特征在于，包括：
第一处理模块，用于利用训练样本集，根据预先设定的损失函数迭代训练预先构建的深度卷积神经网络模型，生成用于预测图像中图形的顶点坐标的坐标预测模型；其中，所述训练样本集包括：多张包含待识别图形的样本图像、每个所述待识别图形的实际顶点坐标，以及表示来自每张所述样本图像的实际坐标构成的图形为所述待识别图形的标识信息；
所述损失函数包括：通过第一损失函数与第一权重因子，第二损失函数与第二权重因子进行加权运算得到的第三损失函数；其中，所述第一损失函数用于计算预测顶点坐标与实际顶点坐标之间的绝对误差，所述第二损失函数用于判断预测顶点坐标构成的图形是否是所述待识别图形，所述第一权重因子和所述第二权重因子的和为1；
所述图形包括：四边形；
所述坐标预测模型所预测的顶点坐标用于对所述图像中的图形进行透视矫正或抠图，以进行图形识别。
9.一种图形识别装置，其特征在于，包括：
获取模块，用于获取包含目标图形的待处理图像；
第二处理模块，用于将所述待处理图像输入至如权利要求8所述的坐标预测模型生成装置生成的坐标预测模型，得到所述目标图形的预测顶点坐标，并基于所述预测顶点坐标对所述图像中的图形进行透视矫正或抠图，以识别所述目标图形。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910918242.1A CN112560834B (zh) | 2019-09-26 | 2019-09-26 | 一种坐标预测模型生成方法、装置及图形识别方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910918242.1A CN112560834B (zh) | 2019-09-26 | 2019-09-26 | 一种坐标预测模型生成方法、装置及图形识别方法、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112560834A CN112560834A (zh) | 2021-03-26 |
| CN112560834B true CN112560834B (zh) | 2024-05-10 |
Family
ID=75029865
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910918242.1A Active CN112560834B (zh) | 2019-09-26 | 2019-09-26 | 一种坐标预测模型生成方法、装置及图形识别方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112560834B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113807315B (zh) * | 2021-10-08 | 2024-06-04 | 文思海辉智科科技有限公司 | 一种构建待识别对象识别模型的方法、装置、设备及介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107689035A (zh) * | 2017-08-30 | 2018-02-13 | 广州华多网络科技有限公司 | 一种基于卷积神经网络的单应性矩阵确定方法及装置 |
| CN108229299A (zh) * | 2017-10-31 | 2018-06-29 | 北京市商汤科技开发有限公司 | 证件的识别方法和装置、电子设备、计算机存储介质 |
| CN108537215A (zh) * | 2018-03-23 | 2018-09-14 | 清华大学 | 一种基于图像目标检测的火焰检测方法 |
| CN108875722A (zh) * | 2017-12-27 | 2018-11-23 | 北京旷视科技有限公司 | 字符识别与识别模型训练方法、装置和系统及存储介质 |
| WO2019032305A2 (en) * | 2017-08-07 | 2019-02-14 | Standard Cognition, Corp. | DETECTION OF INSERTION AND REMOVAL OF ARTICLE USING IMAGE RECOGNITION |
| CN110059680A (zh) * | 2019-04-24 | 2019-07-26 | 杭州智趣智能信息技术有限公司 | 一种身份证图像的检测方法、装置及设备 |
| CN110069993A (zh) * | 2019-03-19 | 2019-07-30 | 同济大学 | 一种基于深度学习的目标车辆检测方法 |
| CN110245581A (zh) * | 2019-05-25 | 2019-09-17 | 天津大学 | 一种基于深度学习和距离-多普勒序列的人体行为识别方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9418458B2 (en) * | 2015-01-05 | 2016-08-16 | Superfish Ltd. | Graph image representation from convolutional neural networks |
| US10860888B2 (en) * | 2018-01-05 | 2020-12-08 | Whirlpool Corporation | Detecting objects in images |
-
2019
- 2019-09-26 CN CN201910918242.1A patent/CN112560834B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019032305A2 (en) * | 2017-08-07 | 2019-02-14 | Standard Cognition, Corp. | DETECTION OF INSERTION AND REMOVAL OF ARTICLE USING IMAGE RECOGNITION |
| CN107689035A (zh) * | 2017-08-30 | 2018-02-13 | 广州华多网络科技有限公司 | 一种基于卷积神经网络的单应性矩阵确定方法及装置 |
| CN108229299A (zh) * | 2017-10-31 | 2018-06-29 | 北京市商汤科技开发有限公司 | 证件的识别方法和装置、电子设备、计算机存储介质 |
| CN108875722A (zh) * | 2017-12-27 | 2018-11-23 | 北京旷视科技有限公司 | 字符识别与识别模型训练方法、装置和系统及存储介质 |
| CN108537215A (zh) * | 2018-03-23 | 2018-09-14 | 清华大学 | 一种基于图像目标检测的火焰检测方法 |
| CN110069993A (zh) * | 2019-03-19 | 2019-07-30 | 同济大学 | 一种基于深度学习的目标车辆检测方法 |
| CN110059680A (zh) * | 2019-04-24 | 2019-07-26 | 杭州智趣智能信息技术有限公司 | 一种身份证图像的检测方法、装置及设备 |
| CN110245581A (zh) * | 2019-05-25 | 2019-09-17 | 天津大学 | 一种基于深度学习和距离-多普勒序列的人体行为识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112560834A (zh) | 2021-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108198145B (zh) | 用于点云数据修复的方法和装置 | |
| US11633146B2 (en) | Automated co-registration of prostate MRI data | |
| US20080320421A1 (en) | Feature extraction that supports progressively refined search and classification of patterns in a semiconductor layout | |
| JP2012032370A (ja) | 欠陥検出方法、欠陥検出装置、学習方法、プログラム、及び記録媒体 | |
| CN112001488A (zh) | 训练生成型对抗性网络 | |
| US11398015B2 (en) | Iterative image inpainting with confidence feedback | |
| CN114677565B (zh) | 特征提取网络的训练方法和图像处理方法、装置 | |
| CN111160229A (zh) | 基于ssd网络的视频目标检测方法及装置 | |
| CN109165654B (zh) | 一种目标定位模型的训练方法和目标定位方法及装置 | |
| US20230401691A1 (en) | Image defect detection method, electronic device and readable storage medium | |
| US10089764B2 (en) | Variable patch shape synthesis | |
| CN114549374A (zh) | 对使用蒙特卡罗绘制进行绘制的图像去噪 | |
| CN111753870B (zh) | 目标检测模型的训练方法、装置和存储介质 | |
| US20220189051A1 (en) | Learnable Cost Volume for Determining Pixel Correspondence | |
| US20230068381A1 (en) | Method and electronic device for quantizing dnn model | |
| US10521918B2 (en) | Method and device for filtering texture, using patch shift | |
| CN112560834B (zh) | 一种坐标预测模型生成方法、装置及图形识别方法、装置 | |
| CN111445021A (zh) | 学习方法、学习设备和计算机可读记录介质 | |
| CN113516697B (zh) | 图像配准的方法、装置、电子设备及计算机可读存储介质 | |
| CN111027551B (zh) | 图像处理方法、设备和介质 | |
| CN107085843A (zh) | 用于估计光学系统中的调制传递函数的系统和方法 | |
| CN116665201A (zh) | 单目三维目标检测方法、装置、设备及存储介质 | |
| US12057336B2 (en) | Estimating heights of defects in a wafer by scaling a 3D model using an artificial neural network | |
| US11756319B2 (en) | Shift invariant loss for deep learning based image segmentation | |
| CN113740802B (zh) | 以自适应噪声估计进行矩阵补全的信号源定位方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |