CN114359553B - 一种基于物联网的签章定位方法、系统及存储介质 - Google Patents
一种基于物联网的签章定位方法、系统及存储介质 Download PDFInfo
- Publication number
- CN114359553B CN114359553B CN202210262998.7A CN202210262998A CN114359553B CN 114359553 B CN114359553 B CN 114359553B CN 202210262998 A CN202210262998 A CN 202210262998A CN 114359553 B CN114359553 B CN 114359553B
- Authority
- CN
- China
- Prior art keywords
- signature
- area
- target
- image information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及签章技术领域，公开了一种基于物联网的签章定位方法、系统及存储介质，包括：获取目标文件的图像信息，将所述的图像信息进行预处理，提取预处理后的目标文件图像信息的感兴趣区域，基于深度学习建立目标文件的图像文字识别模型并进行初始化训练，将预处理后的图像信息输入所述图像文字识别模型，通过所述图像文字识别模型确定图像信息中的目标签章区域，通过双目视觉系统获取所述目标签章区域的中心坐标，将所述中心坐标进行坐标变换后反馈至签章控件，通过所述签章控件实现签章的精准覆盖。本发明通过双目视觉系统实现标签章位置的精确定位，节省了定位时间，提高了签章的定位效率。
Description
技术领域
本发明涉及签章技术领域，更具体的，涉及一种基于物联网的签章定位方法、系统及存储介质。
背景技术
签章作为代表个人和单位鉴定或签署的工具,在当前社会仍然发挥着重要作用。在工作中，各种文件的签章，都离不开印章，并由于印章都伴随着法律效应，所以印章的使用对个人或集体的利益都具有举足轻重的意义。正是随着印章的重要性越来越凸显，所以印章的规范性也逐渐受到人们的重视，在签章的管理中，往往一个错印就会带来巨大的损失，签章的覆盖不规范导致盖印位置出错是日常使用中极易出现的问题之一。
为了实现签章覆盖的精确定位，需要开发一款系统与之配合进行实现，该系统包括：获取目标文件的图像信息，并进行预处理，提取预处理后的目标文件图像信息的感兴趣区域，基于深度学习建立目标文件的图像文字识别模型并进行初始化训练，将预处理后的图像信息输入所述图像文字识别模型，通过所述图像文字识别模型确定图像信息中的目标签章区域，通过双目视觉系统获取所述目标签章区域的中心坐标，将所述中心坐标进行坐标变换后反馈至签章控件，通过所述签章控件实现签章的精准覆盖，在本系统的实现过程中，如何通过双目视觉系统确定目标签章区域的中心坐标是亟不可待的问题之一。
发明内容
为了解决上述技术问题，本发明提出了一种基于物联网的签章定位方法、系统及存储介质。
本发明第一方面提供了一种基于物联网的签章定位方法，包括：
获取目标文件的图像信息，将所述的图像信息进行预处理，提取预处理后的目标文件图像信息的感兴趣区域；
基于深度学习建立目标文件的图像文字识别模型并进行初始化训练，将预处理后的图像信息输入所述图像文字识别模型；
通过所述图像文字识别模型识别图像信息中的关键词信息，根据所述关键词信息获取目标签章区域，通过双目视觉系统获取所述目标签章区域的中心坐标；
将所述中心坐标进行坐标变换后反馈至签章控件，通过所述签章控件实现签章的精准覆盖。
本方案中，所述获取目标文件的图像信息，将所述图像信息进行预处理，具体为：
通过双目视觉系统获取含有目标文件的图像信息，将所述图像信息进行基于小波变换的图像降噪处理；
将降噪处理后的图像信息进行灰化处理获取灰度图像；
通过Canny算子对所述灰度图像进行边缘检测，将图像信息中的背景部分去除，单独获取完整的目标文件图像区域，并将所述目标文件图像区域作为图像信息中的感兴趣区域。
本方案中，所述的基于深度学习建立目标文件的图像文字识别模型并进行初始化训练，具体为：
基于神经网络构建图像文字识别模型，获取海量含有签章关键词的图像信息作为初始数据集，将初始数据集进行分组得到若干组训练集，将若干组训练集导入图像文字识别模型进行初始化训练，得到第一次学习后的输出结果；
根据第一次学习后的输出结果计算每组训练集的初始学习率，将第一次学习后的输出结果再次导入图像文字识别模型，根据初始学习率继续进行n次迭代学习至损失函数平稳；
获取图像文字识别模型第n次迭代学习后若干组训练集的输出结果，根据若干组训练集的输出结果计算数据偏差率，判断若干组训练集的数据偏差率是否均小于预设的数据偏差率阈值；
若小于，则说明图像文字识别模型训练完毕，通过所述图像文字识别模型进行目标文件关键词的识别及关键词的位置确定。
本方案中，所述的根据所述关键词信息获取目标签章区域，具体为：
获取感兴趣区域中的关键词信息，根据所述关键词所在位置及留白区域确定目标文件预留签章区域；
将签章尺寸信息与所述目标文件预留签章区域进行对比分析；
若所述签章尺寸信息小于等于所述目标文件预留签章区域，则将所述目标文件预留签章区域作为目标签章区域；
若所述签章尺寸信息大于所述目标文件预留签章区域，则根据所述签章尺寸信息与目标文件预留签章区域的偏差对目标文件预留签章区域进行修正，将修正后目标文件预留签章区域作为目标签章区域。
本方案中，所述的通过双目视觉系统获取所述目标签章区域的中心坐标，具体为：
所述双目视觉系统通过坐标变化进行标定，并进行畸变校正；
获取双目视觉系统中左右相机获取的图像信息，根据左右相机获取的图像信息进行目标签章区域特征顶点坐标的读取；
通过左右相机获取的图像信息中的特征顶点坐标结合双目视觉系统的视差获取特征顶点的三维坐标；
根据所述特征顶点的三维坐标获取目标签章区域中心点三维坐标，将所述目标签章区域中心点三维坐标反馈到签章控件实现签章的精准覆盖。
本方案中，通过所述签章控件实现签章的精准覆盖，还包括：
获取签章覆盖后图像信息及签章控件中目标签章图像信息，通过所述签章覆盖后图像信息获取签章实际覆盖位置，根据目标文件中关键词信息获取签章期望覆盖位置；
将所述签章实际覆盖位置与所述签章期望覆盖位置进行对比，生成位置偏差，判断所述位置偏差是否大于位置偏差阈值，若大于，则根据所述位置偏差生成修正信息；
通过所述签章覆盖后图像信息及目标签章图像信息判断签章的完整性；
将签章覆盖后图像信息与目标签章图像信息对比获取图像偏差，判断所述图像偏差是否大于图像偏差阈值；
若大于，则证明签章覆盖后图像信息存在残缺，将对应目标文件进行作废标记，同时获取签章缺失区域，判断所述签章缺失区域是否处于目标签章区域，若不处于，则生成修正信息；
通过所述修正信息对目标签章区域进行误差补偿。
本发明第二方面还提供了一种基于物联网的签章定位系统，该系统包括：存储器、处理器，所述存储器中包括一种基于物联网的签章定位方法程序，所述一种基于物联网的签章定位方法程序被所述处理器执行时实现如下步骤：
获取目标文件的图像信息，将所述的图像信息进行预处理，提取预处理后的目标文件图像信息的感兴趣区域；
基于深度学习建立目标文件的图像文字识别模型并进行初始化训练，将预处理后的图像信息输入所述图像文字识别模型；
通过所述图像文字识别模型识别图像信息中的关键词信息，根据所述关键词信息获取目标签章区域，通过双目视觉系统获取所述目标签章区域的中心坐标；
将所述中心坐标进行坐标变换后反馈至签章控件，通过所述签章控件实现签章的精准覆盖。
本方案中，所述获取目标文件的图像信息，将所述图像信息进行预处理，具体为：
通过双目视觉系统获取含有目标文件的图像信息，将所述图像信息进行基于小波变换的图像降噪处理；
将降噪处理后的图像信息进行灰化处理获取灰度图像；
通过Canny算子对所述灰度图像进行边缘检测，将图像信息中的背景部分去除，单独获取完整的目标文件图像区域，并将所述目标文件图像区域作为图像信息中的感兴趣区域。
本方案中，所述的基于深度学习建立目标文件的图像文字识别模型并进行初始化训练，具体为：
基于神经网络构建图像文字识别模型，获取海量含有签章关键词的图像信息作为初始数据集，将初始数据集进行分组得到若干组训练集，将若干组训练集导入图像文字识别模型进行初始化训练，得到第一次学习后的输出结果；
根据第一次学习后的输出结果计算每组训练集的初始学习率，将第一次学习后的输出结果再次导入图像文字识别模型，根据初始学习率继续进行n次迭代学习至损失函数平稳；
获取图像文字识别模型第n次迭代学习后若干组训练集的输出结果，根据若干组训练集的输出结果计算数据偏差率，判断若干组训练集的数据偏差率是否均小于预设的数据偏差率阈值；
若小于，则说明图像文字识别模型训练完毕，通过所述图像文字识别模型进行目标文件关键词的识别及关键词的位置确定。
本方案中，所述的根据所述关键词信息获取目标签章区域，具体为：
获取感兴趣区域中的关键词信息，根据所述关键词所在位置及留白区域确定目标文件预留签章区域；
将签章尺寸信息与所述目标文件预留签章区域进行对比分析；
若所述签章尺寸信息小于等于所述目标文件预留签章区域，则将所述目标文件预留签章区域作为目标签章区域；
若所述签章尺寸信息大于所述目标文件预留签章区域，则根据所述签章尺寸信息与目标文件预留签章区域的偏差对目标文件预留签章区域进行修正，将修正后目标文件预留签章区域作为目标签章区域。
本方案中，所述的通过双目视觉系统获取所述目标签章区域的中心坐标，具体为：
所述双目视觉系统通过坐标变化进行标定，并进行畸变校正；
获取双目视觉系统中左右相机获取的图像信息，根据左右相机获取的图像信息进行目标签章区域特征顶点坐标的读取；
通过左右相机获取的图像信息中的特征顶点坐标结合双目视觉系统的视差获取特征顶点的三维坐标；
根据所述特征顶点的三维坐标获取目标签章区域中心点三维坐标，将所述目标签章区域中心点三维坐标反馈到签章控件实现签章的精准覆盖。
本方案中，通过所述签章控件实现签章的精准覆盖，还包括：
获取签章覆盖后图像信息及签章控件中目标签章图像信息，通过所述签章覆盖后图像信息获取签章实际覆盖位置，根据目标文件中关键词信息获取签章期望覆盖位置；
将所述签章实际覆盖位置与所述签章期望覆盖位置进行对比，生成位置偏差，判断所述位置偏差是否大于位置偏差阈值，若大于，则根据所述位置偏差生成修正信息；
通过所述签章覆盖后图像信息及目标签章图像信息判断签章的完整性；
将签章覆盖后图像信息与目标签章图像信息对比获取图像偏差，判断所述图像偏差是否大于图像偏差阈值；
若大于，则证明签章覆盖后图像信息存在残缺，将对应目标文件进行作废标记，同时获取签章缺失区域，判断所述签章缺失区域是否处于目标签章区域，若不处于，则生成修正信息；
通过所述修正信息对目标签章区域进行误差补偿。
本发明第三方面还提供一种计算机可读存储介质，所述计算机可读存储介质中包括一种基于物联网的签章定位方法程序，所述一种基于物联网的签章定位方法程序被处理器执行时，实现如上述任一项所述的一种基于物联网的签章定位方法的步骤。
本发明公开了一种基于物联网的签章定位方法、系统及存储介质，包括：获取目标文件的图像信息，将所述的图像信息进行预处理，提取预处理后的目标文件图像信息的感兴趣区域，基于深度学习建立目标文件的图像文字识别模型并进行初始化训练，将预处理后的图像信息输入所述图像文字识别模型，通过所述图像文字识别模型确定图像信息中的目标签章区域，通过双目视觉系统获取所述目标签章区域的中心坐标，将所述中心坐标进行坐标变换后反馈至签章控件，通过所述签章控件实现签章的精准覆盖。本发明通过双目视觉系统实现了目标签章位置的精确定位，节省了定位时间，提高了签章的定位效率。
附图说明
图1示出了本发明一种基于物联网的签章定位方法的流程图；
图2示出了本发明一种基于物联网的签章定位系统的框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本发明一种基于物联网的签章定位方法的流程图。
如图1所示，本发明第一方面提供了一种基于物联网的签章定位方法，包括：
S102，获取目标文件的图像信息，将所述的图像信息进行预处理，提取预处理后的目标文件图像信息的感兴趣区域；
S104，基于深度学习建立目标文件的图像文字识别模型并进行初始化训练，将预处理后的图像信息输入所述图像文字识别模型；
S106，通过所述图像文字识别模型识别图像信息中的关键词信息，根据所述关键词信息获取目标签章区域，通过双目视觉系统获取所述目标签章区域的中心坐标；
S108，将所述中心坐标进行坐标变换后反馈至签章控件，通过所述签章控件实现签章的精准覆盖。
需要说明的是，所述获取目标文件的图像信息，将所述图像信息进行预处理，具体为：通过双目视觉系统获取含有目标文件的图像信息，将所述图像信息进行基于小波变换的图像降噪处理；将降噪处理后的图像信息进行灰化处理获取灰度图像；通过Canny算子对所述灰度图像进行边缘检测，将图像信息中的背景部分去除，单独获取完整的目标文件图像区域，并将所述目标文件图像区域作为图像信息中的感兴趣区域。
需要说明的是，所述的基于深度学习建立目标文件的图像文字识别模型并进行初始化训练，具体为：
基于神经网络构建图像文字识别模型，获取足够多的含有签章关键词的图像信息，或直接连接相关数据库，将获取的含有签章关键词的图像信息进行整理分类、数据分析等预处理，将含有签章关键词的图像信息进行分组，得到若干个训练集，将若干个训练集导入图像文字识别模型生成第一次学习后的输出结果，根据得到的第一次输出结果进行分析计算出每组训练集的初始学习率，初始学习率与离散系数成正比，将第一次学习后的输出结果再次导入神经网络模型，继续进行N次迭代学习，训练至损失函数平稳，在每次学习的过程中使得若干组训练集的损失函数保持线性相关，根据多个训练集以及损失函数对图像文字识别模型进行相关参数的调整，输出图像文字识别模型进行第N次迭代学习后的输出结果，获取若干组签章关键词识别结果，根据若干组签章关键词识别结果与图像信息中实际签章关键词进行对比计算得到数据偏差率，判断若干组训练集的输出结果对应的数据偏差率是否均小于预设的数据偏差率阈值，若小于，则说明图像文字识别模型训练完毕，通过所述图像文字识别模型进行目标文件关键词的识别及关键词的位置确定。
优先的，所述图像文字识别模型基于R-CNN结合RPN网络进行实现，通过CNN根据初始数据生成第一特征图，根据第一特征图获取有价值信息区域，获取有价值区域的关键词信息，根据关键词信息生成新的特征区域，将新的特征区域输入RPN网络中进行训练获取候选区域，将候选区域送入R-CNN进行关键词信息的分类及价值信息坐标。
需要说明的是，所述的根据所述关键词信息获取目标签章区域，具体为：
获取感兴趣区域中的关键词信息，根据所述关键词所在位置及留白区域确定目标文件预留签章区域，举例说明，当所述关键词信息为签字信息时，则获取签字信息右侧留白区域确定目标文件预留签章区域；当所述关键词信息为公章信息时，则以公章信息所在点为中心，预设区域半径选取留白区域确定目标文件预留签章区域；
将签章尺寸信息与所述目标文件预留签章区域进行对比分析；
若所述签章尺寸信息小于等于所述目标文件预留签章区域，则将所述目标文件预留签章区域作为目标签章区域；
若所述签章尺寸信息大于所述目标文件预留签章区域，则根据所述签章尺寸信息与目标文件预留签章区域的偏差对目标文件预留签章区域进行修正，将修正后目标文件预留签章区域作为目标签章区域。
需要说明的是，所述的通过双目视觉系统获取所述目标签章区域的中心坐标，具体为：
所述双目视觉系统通过坐标变化进行标定，并进行畸变校正；
获取双目视觉系统中左右相机获取的图像信息，根据左右相机获取的图像信息进行目标签章区域特征顶点坐标的读取；
通过左右相机获取的图像信息中的特征顶点坐标结合双目视觉系统的视差获取特征顶点的三维坐标；
根据所述特征顶点的三维坐标获取目标签章区域中心点三维坐标，将所述目标签章区域中心点三维坐标反馈到签章控件实现签章的精准覆盖。
需要说明的是，通过所述签章控件实现签章的精准覆盖，还包括：
获取签章覆盖后图像信息及签章控件中目标签章图像信息，通过所述签章覆盖后图像信息获取签章实际覆盖位置，根据目标文件中关键词信息获取签章期望覆盖位置；
将所述签章实际覆盖位置与所述签章期望覆盖位置进行对比，生成位置偏差，判断所述位置偏差是否大于位置偏差阈值，若大于，则根据所述位置偏差生成修正信息；
通过所述签章覆盖后图像信息及目标签章图像信息判断签章的完整性；
将签章覆盖后图像信息与目标签章图像信息对比获取图像偏差，判断所述图像偏差是否大于图像偏差阈值；
若大于，则证明签章覆盖后图像信息存在残缺，将对应目标文件进行作废标记，同时获取签章缺失区域，判断所述签章缺失区域是否处于目标签章区域，若不处于，则生成修正信息；
通过所述修正信息对目标签章区域进行误差补偿。
根据本发明实施例，本发明还包括，检测目标签章区域是否含有签章信息，具体为：
基于海量签章信息建立签章识别模型，通过签章的多维融合特征对所述签章识别模型进行训练；
通过图像分割获取目标签章区域的区域图像信息，提取所述区域图像信息中的颜色特征及形状特征；
将所述颜色特征及形状特征输入所述签章识别模型中进行检测，若目标签章区域含有签章信息，则将所述形状特征与签章控件中的签章进行相似度分析；
若所述相似度的小于预设相似度阈值，则正面目标签章区域的签章信息不是目标签章，将该份文件进行作废标记，若所述相似度大于等于预设相似度阈值，则无需将该文件进行签章覆盖；
若目标签章区域不含签章信息，则获取目标目标签章区域的中心坐标，将所述中心坐标进行坐标变换后反馈至签章控件进行签章覆盖。
需要说明的是，签章识别模型可通过神经网络、支持向量机等机器学习方式进行实现，获取海量签章图像信息，提取签章图像信息中签章的颜色特征，形状特征及文字特征，根据获取到的特征生成多维融合特征，利用所述多维融合特征生成训练数据集，利用所述训练数据集对签章识别模型进行训练，所述区域图像信息中的形状特征包括签章轮廓信息，签章文字信息等，将形状特征签章控件中的目标签章的特征进行相似度对比分析来验证目标目标签章区域中的签章是否与签章控件中的目标签章一致，若不一致，则不对该份文件进行签章覆盖，并对其进行作废标记，其中相似度对比可以是欧式距离或余弦对比。
根据本发明实施例，本发明还包括，获取目标文件骑缝章目标位置特征，根据所所述骑缝章目标位置特征进行骑缝章的精准盖覆，具体为：
获取目标文件的页数信息，根据签章尺寸信息及所述页数信息确定目标文件错层斜面尺寸；
根据目标文件的页数信息确定目标文件的厚度信息，通过所述厚度信息及所述错层斜面尺寸获取目标文件错层斜面角度；
将所述目标文件错层斜面角度发送到签章控件，通过签章控件对签章的角度进行调整，使签章与目标文件错层斜面保持垂直；
同时获取目标签章区域顶点三维坐标信息，根据所述顶点三维坐标信息进行签章控件的定位。
图2示出了本发明一种基于物联网的签章定位系统的框图。
本发明第二方面还提供了一种基于物联网的签章定位系统2，该系统包括：存储器21、处理器22，所述存储器中包括一种基于物联网的签章定位方法程序，所述一种基于物联网的签章定位方法程序被所述处理器执行时实现如下步骤：
获取目标文件的图像信息，将所述的图像信息进行预处理，提取预处理后的目标文件图像信息的感兴趣区域；
基于深度学习建立目标文件的图像文字识别模型并进行初始化训练，将预处理后的图像信息输入所述图像文字识别模型；
通过所述图像文字识别模型识别图像信息中的关键词信息，根据所述关键词信息获取目标签章区域，通过双目视觉系统获取所述目标签章区域的中心坐标；
将所述中心坐标进行坐标变换后反馈至签章控件，通过所述签章控件实现签章的精准覆盖。
需要说明的是，所述获取目标文件的图像信息，将所述图像信息进行预处理，具体为：通过双目视觉系统获取含有目标文件的图像信息，将所述图像信息进行基于小波变换的图像降噪处理；将降噪处理后的图像信息进行灰化处理获取灰度图像；通过Canny算子对所述灰度图像进行边缘检测，将图像信息中的背景部分去除，单独获取完整的目标文件图像区域，并将所述目标文件图像区域作为图像信息中的感兴趣区域。
需要说明的是，所述的基于深度学习建立目标文件的图像文字识别模型并进行初始化训练，具体为：
基于神经网络构建图像文字识别模型，获取足够多的含有签章关键词的图像信息，或直接连接相关数据库，将获取的含有签章关键词的图像信息进行整理分类、数据分析等预处理，将含有签章关键词的图像信息进行分组，得到若干个训练集，将若干个训练集导入图像文字识别模型生成第一次学习后的输出结果，根据得到的第一次输出结果进行分析计算出每组训练集的初始学习率，初始学习率与离散系数成正比，将第一次学习后的输出结果再次导入神经网络模型，继续进行N次迭代学习，训练至损失函数平稳，在每次学习的过程中使得若干组训练集的损失函数保持线性相关，根据多个训练集以及损失函数对图像文字识别模型进行相关参数的调整，输出图像文字识别模型进行第N次迭代学习后的输出结果，获取若干组签章关键词识别结果，根据若干组签章关键词识别结果与图像信息中实际签章关键词进行对比计算得到数据偏差率，判断若干组训练集的输出结果对应的数据偏差率是否均小于预设的数据偏差率阈值，若小于，则说明图像文字识别模型训练完毕，通过所述图像文字识别模型进行目标文件关键词的识别及关键词的位置确定。
优先的，所述图像文字识别模型基于R-CNN结合RPN网络进行实现，通过CNN根据初始数据生成第一特征图，根据第一特征图获取有价值信息区域，获取有价值区域的关键词信息，根据关键词信息生成新的特征区域，将新的特征区域输入RPN网络中进行训练获取候选区域，将候选区域送入R-CNN进行关键词信息的分类及价值信息坐标。
需要说明的是，所述的根据所述关键词信息获取目标签章区域，具体为：
获取感兴趣区域中的关键词信息，根据所述关键词所在位置及留白区域确定目标文件预留签章区域，举例说明，当所述关键词信息为签字信息时，则获取签字信息右侧留白区域确定目标文件预留签章区域；当所述关键词信息为公章信息时，则以公章信息所在点为中心，预设区域半径选取留白区域确定目标文件预留签章区域；
将签章尺寸信息与所述目标文件预留签章区域进行对比分析；
若所述签章尺寸信息小于等于所述目标文件预留签章区域，则将所述目标文件预留签章区域作为目标签章区域；
若所述签章尺寸信息大于所述目标文件预留签章区域，则根据所述签章尺寸信息与目标文件预留签章区域的偏差对目标文件预留签章区域进行修正，将修正后目标文件预留签章区域作为目标签章区域。
需要说明的是，所述的通过双目视觉系统获取所述目标签章区域的中心坐标，具体为：
所述双目视觉系统通过坐标变化进行标定，并进行畸变校正；
获取双目视觉系统中左右相机获取的图像信息，根据左右相机获取的图像信息进行目标签章区域特征顶点坐标的读取；
通过左右相机获取的图像信息中的特征顶点坐标结合双目视觉系统的视差获取特征顶点的三维坐标；
根据所述特征顶点的三维坐标获取目标签章区域中心点三维坐标，将所述目标签章区域中心点三维坐标反馈到签章控件实现签章的精准覆盖。
需要说明的是，通过所述签章控件实现签章的精准覆盖，还包括：
获取签章覆盖后图像信息及签章控件中目标签章图像信息，通过所述签章覆盖后图像信息获取签章实际覆盖位置，根据目标文件中关键词信息获取签章期望覆盖位置；
将所述签章实际覆盖位置与所述签章期望覆盖位置进行对比，生成位置偏差，判断所述位置偏差是否大于位置偏差阈值，若大于，则根据所述位置偏差生成修正信息；
通过所述签章覆盖后图像信息及目标签章图像信息判断签章的完整性；
将签章覆盖后图像信息与目标签章图像信息对比获取图像偏差，判断所述图像偏差是否大于图像偏差阈值；
若大于，则证明签章覆盖后图像信息存在残缺，将对应目标文件进行作废标记，同时获取签章缺失区域，判断所述签章缺失区域是否处于目标签章区域，若不处于，则生成修正信息；
通过所述修正信息对目标签章区域进行误差补偿。
根据本发明实施例，本发明还包括，检测目标签章区域是否含有签章信息，具体为：
基于海量签章信息建立签章识别模型，通过签章的多维融合特征对所述签章识别模型进行训练；
通过图像分割获取目标签章区域的区域图像信息，提取所述区域图像信息中的颜色特征及形状特征；
将所述颜色特征及形状特征输入所述签章识别模型中进行检测，若目标签章区域含有签章信息，则将所述形状特征与签章控件中的签章进行相似度分析；
若所述相似度的小于预设相似度阈值，则正面目标签章区域的签章信息不是目标签章，将该份文件进行作废标记，若所述相似度大于等于预设相似度阈值，则无需将该文件进行签章覆盖；
若目标签章区域不含签章信息，则获取目标目标签章区域的中心坐标，将所述中心坐标进行坐标变换后反馈至签章控件进行签章覆盖。
需要说明的是，签章识别模型可通过神经网络、支持向量机等机器学习方式进行实现，获取海量签章图像信息，提取签章图像信息中签章的颜色特征，形状特征及文字特征，根据获取到的特征生成多维融合特征，利用所述多维融合特征生成训练数据集，利用所述训练数据集对签章识别模型进行训练，所述区域图像信息中的形状特征包括签章轮廓信息，签章文字信息等，将形状特征签章控件中的目标签章的特征进行相似度对比分析来验证目标目标签章区域中的签章是否与签章控件中的目标签章一致，若不一致，则不对该份文件进行签章覆盖，并对其进行作废标记，其中相似度对比可以是欧式距离或余弦对比。
根据本发明实施例，本发明还包括，获取目标文件骑缝章目标位置特征，根据所所述骑缝章目标位置特征进行骑缝章的精准盖覆，具体为：
获取目标文件的页数信息，根据签章尺寸信息及所述页数信息确定目标文件错层斜面尺寸；
根据目标文件的页数信息确定目标文件的厚度信息，通过所述厚度信息及所述错层斜面尺寸获取目标文件错层斜面角度；
将所述目标文件错层斜面角度发送到签章控件，通过签章控件对签章的角度进行调整，使签章与目标文件错层斜面保持垂直；
同时获取目标签章区域顶点三维坐标信息，根据所述顶点三维坐标信息进行签章控件的定位。
本发明第三方面还提供一种计算机可读存储介质，所述计算机可读存储介质中包括一种基于物联网的签章定位方法程序，所述一种基于物联网的签章定位方法程序被处理器执行时，实现如上述任一项所述的一种基于物联网的签章定位方法的步骤。
本发明公开了一种基于物联网的签章定位方法、系统及存储介质，包括：获取目标文件的图像信息，将所述的图像信息进行预处理，提取预处理后的目标文件图像信息的感兴趣区域，基于深度学习建立目标文件的图像文字识别模型并进行初始化训练，将预处理后的图像信息输入所述图像文字识别模型，通过所述图像文字识别模型确定图像信息中的目标签章区域，通过双目视觉系统获取所述目标签章区域的中心坐标，将所述中心坐标进行坐标变换后反馈至签章控件，通过所述签章控件实现签章的精准覆盖。本发明通过双目视觉系统实现了目标签章位置的精确定位，节省了定位时间，提高了签章的定位效率。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (7)
1.一种基于物联网的签章定位方法，其特征在于，包括以下步骤：
获取目标文件的图像信息，将所述的图像信息进行预处理，提取预处理后的目标文件图像信息的感兴趣区域；
基于深度学习建立目标文件的图像文字识别模型并进行初始化训练，将预处理后的图像信息输入所述图像文字识别模型；
通过所述图像文字识别模型识别图像信息中的关键词信息，根据所述关键词信息获取目标签章区域，通过双目视觉系统获取所述目标签章区域的中心坐标；
将所述中心坐标进行坐标变换后反馈至签章控件，通过所述签章控件实现签章的精准覆盖；
所述的通过双目视觉系统获取所述目标签章区域的中心坐标，具体为：
所述双目视觉系统通过坐标变化进行标定，并进行畸变校正；
获取双目视觉系统中左右相机获取的图像信息，根据左右相机获取的图像信息进行目标签章区域特征顶点坐标的读取；
通过左右相机获取的图像信息中的特征顶点坐标结合双目视觉系统的视差获取特征顶点的三维坐标；
根据所述特征顶点的三维坐标获取目标签章区域中心点三维坐标，将所述目标签章区域中心点三维坐标反馈到签章控件实现签章的精准覆盖；
通过所述签章控件实现签章的精准覆盖，还包括：
获取签章覆盖后图像信息及签章控件中目标签章图像信息，通过所述签章覆盖后图像信息获取签章实际覆盖位置，根据目标文件中关键词信息获取签章期望覆盖位置；
将所述签章实际覆盖位置与所述签章期望覆盖位置进行对比，生成位置偏差，判断所述位置偏差是否大于位置偏差阈值，若大于，则根据所述位置偏差生成修正信息；
通过所述签章覆盖后图像信息及目标签章图像信息判断签章的完整性；
将签章覆盖后图像信息与目标签章图像信息对比获取图像偏差，判断所述图像偏差是否大于图像偏差阈值；
若大于，则证明签章覆盖后图像信息存在残缺，将对应目标文件进行作废标记，同时获取签章缺失区域，判断所述签章缺失区域是否处于目标签章区域，若不处于，则生成修正信息；
通过所述修正信息对目标签章区域进行误差补偿。
2.根据权利要求1所述的一种基于物联网的签章定位方法，其特征在于，所述获取目标文件的图像信息，将所述图像信息进行预处理，具体为：
通过双目视觉系统获取含有目标文件的图像信息，将所述图像信息进行基于小波变换的图像降噪处理；
将降噪处理后的图像信息进行灰化处理获取灰度图像；
通过Canny算子对所述灰度图像进行边缘检测，将图像信息中的背景部分去除，单独获取完整的目标文件图像区域，并将所述目标文件图像区域作为图像信息中的感兴趣区域。
3.根据权利要求1所述的一种基于物联网的签章定位方法，其特征在于，所述的基于深度学习建立目标文件的图像文字识别模型并进行初始化训练，具体为：
基于神经网络构建图像文字识别模型，获取海量含有签章关键词的图像信息作为初始数据集，将初始数据集进行分组得到若干组训练集，将若干组训练集导入图像文字识别模型进行初始化训练，得到第一次学习后的输出结果；
根据第一次学习后的输出结果计算每组训练集的初始学习率，将第一次学习后的输出结果再次导入图像文字识别模型，根据初始学习率继续进行n次迭代学习至损失函数平稳；
获取图像文字识别模型第n次迭代学习后若干组训练集的输出结果，根据若干组训练集的输出结果计算数据偏差率，判断若干组训练集的数据偏差率是否均小于预设的数据偏差率阈值；
若小于，则说明图像文字识别模型训练完毕，通过所述图像文字识别模型进行目标文件关键词的识别及关键词的位置确定。
4.根据权利要求1所述的一种基于物联网的签章定位方法，其特征在于，所述的根据所述关键词信息获取目标签章区域，具体为：
获取感兴趣区域中的关键词信息，根据所述关键词所在位置及留白区域确定目标文件预留签章区域；
将签章尺寸信息与所述目标文件预留签章区域进行对比分析；
若所述签章尺寸信息小于等于所述目标文件预留签章区域，则将所述目标文件预留签章区域作为目标签章区域；
若所述签章尺寸信息大于所述目标文件预留签章区域，则根据所述签章尺寸信息与目标文件预留签章区域的偏差对目标文件预留签章区域进行修正，将修正后目标文件预留签章区域作为目标签章区域。
5.一种基于物联网的签章定位系统，其特征在于，该系统包括：存储器、处理器，所述存储器中包括一种基于物联网的签章定位方法程序，所述一种基于物联网的签章定位的方法程序被所述处理器执行时实现如下步骤：
获取目标文件的图像信息，将所述的图像信息进行预处理，提取预处理后的目标文件图像信息的感兴趣区域；
基于深度学习建立目标文件的图像文字识别模型并进行初始化训练，将预处理后的图像信息输入所述图像文字识别模型；
通过所述图像文字识别模型识别图像信息中的关键词信息，根据所述关键词信息获取目标签章区域，通过双目视觉系统获取所述目标签章区域的中心坐标；
将所述中心坐标进行坐标变换后反馈至签章控件，通过所述签章控件实现签章的精准覆盖；
所述的通过双目视觉系统获取所述目标签章区域的中心坐标，具体为：
所述双目视觉系统通过坐标变化进行标定，并进行畸变校正；
获取双目视觉系统中左右相机获取的图像信息，根据左右相机获取的图像信息进行目标签章区域特征顶点坐标的读取；
通过左右相机获取的图像信息中的特征顶点坐标结合双目视觉系统的视差获取特征顶点的三维坐标；
根据所述特征顶点的三维坐标获取目标签章区域中心点三维坐标，将所述目标签章区域中心点三维坐标反馈到签章控件实现签章的精准覆盖；
通过所述签章控件实现签章的精准覆盖，还包括：
获取签章覆盖后图像信息及签章控件中目标签章图像信息，通过所述签章覆盖后图像信息获取签章实际覆盖位置，根据目标文件中关键词信息获取签章期望覆盖位置；
将所述签章实际覆盖位置与所述签章期望覆盖位置进行对比，生成位置偏差，判断所述位置偏差是否大于位置偏差阈值，若大于，则根据所述位置偏差生成修正信息；
通过所述签章覆盖后图像信息及目标签章图像信息判断签章的完整性；
将签章覆盖后图像信息与目标签章图像信息对比获取图像偏差，判断所述图像偏差是否大于图像偏差阈值；
若大于，则证明签章覆盖后图像信息存在残缺，将对应目标文件进行作废标记，同时获取签章缺失区域，判断所述签章缺失区域是否处于目标签章区域，若不处于，则生成修正信息；
通过所述修正信息对目标签章区域进行误差补偿。
6.根据权利要求5所述的一种基于物联网的签章定位系统，其特征在于，所述的根据所述关键词信息获取目标签章区域，具体为：
获取感兴趣区域中的关键词信息，根据所述关键词所在位置及留白区域确定目标文件预留签章区域；
将签章尺寸信息与所述目标文件预留签章区域进行对比分析；
若所述签章尺寸信息小于等于所述目标文件预留签章区域，则将所述目标文件预留签章区域作为目标签章区域；
若所述签章尺寸信息大于所述目标文件预留签章区域，则根据所述签章尺寸信息与目标文件预留签章区域的偏差对目标文件预留签章区域进行修正，将修正后目标文件预留签章区域作为目标签章区域。
7.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中包括一种基于物联网的签章定位方法程序，所述一种基于物联网的签章定位方法程序被处理器执行时，实现如权利要求1至4中任一项所述的一种基于物联网的签章定位方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210262998.7A CN114359553B (zh) | 2022-03-17 | 2022-03-17 | 一种基于物联网的签章定位方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210262998.7A CN114359553B (zh) | 2022-03-17 | 2022-03-17 | 一种基于物联网的签章定位方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114359553A CN114359553A (zh) | 2022-04-15 |
| CN114359553B true CN114359553B (zh) | 2022-06-03 |
Family
ID=81095105
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210262998.7A Active CN114359553B (zh) | 2022-03-17 | 2022-03-17 | 一种基于物联网的签章定位方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114359553B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116189203B (zh) * | 2022-12-30 | 2024-03-29 | 苏州工业园区航星信息技术服务有限公司 | 电子签章的生成方法、装置、设备及存储介质 |
| CN116304266B (zh) * | 2023-03-03 | 2024-02-27 | 苏州工业园区航星信息技术服务有限公司 | 档案管理系统 |
| CN117194683A (zh) * | 2023-08-18 | 2023-12-08 | 国新久其数字科技(北京)有限公司 | 一种确定文件中盖章位置的方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107133312A (zh) * | 2017-05-02 | 2017-09-05 | 深圳乐信软件技术有限公司 | 一种电子签章方法及装置 |
| CN110245220A (zh) * | 2019-05-05 | 2019-09-17 | 深圳法大大网络科技有限公司 | 电子文件签署方法、装置及服务器、存储介质 |
| WO2021115490A1 (zh) * | 2020-06-22 | 2021-06-17 | 平安科技（深圳）有限公司 | 面向复杂环境的印章文字检测识别方法、装置及介质 |
| CN112990310A (zh) * | 2021-03-12 | 2021-06-18 | 国网智能科技股份有限公司 | 服务于电力机器人的人工智能系统及方法 |
| CN113177237A (zh) * | 2021-05-31 | 2021-07-27 | 福建凯特信息安全技术有限公司 | 一种避免签章重叠的方法及终端 |
| CN113553962A (zh) * | 2021-07-27 | 2021-10-26 | 未鲲(上海)科技服务有限公司 | 一种电子签章定位方法、装置、设备及存储介质 |
-
2022
- 2022-03-17 CN CN202210262998.7A patent/CN114359553B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107133312A (zh) * | 2017-05-02 | 2017-09-05 | 深圳乐信软件技术有限公司 | 一种电子签章方法及装置 |
| CN110245220A (zh) * | 2019-05-05 | 2019-09-17 | 深圳法大大网络科技有限公司 | 电子文件签署方法、装置及服务器、存储介质 |
| WO2021115490A1 (zh) * | 2020-06-22 | 2021-06-17 | 平安科技（深圳）有限公司 | 面向复杂环境的印章文字检测识别方法、装置及介质 |
| CN112990310A (zh) * | 2021-03-12 | 2021-06-18 | 国网智能科技股份有限公司 | 服务于电力机器人的人工智能系统及方法 |
| CN113177237A (zh) * | 2021-05-31 | 2021-07-27 | 福建凯特信息安全技术有限公司 | 一种避免签章重叠的方法及终端 |
| CN113553962A (zh) * | 2021-07-27 | 2021-10-26 | 未鲲(上海)科技服务有限公司 | 一种电子签章定位方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114359553A (zh) | 2022-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114359553B (zh) | 一种基于物联网的签章定位方法、系统及存储介质 | |
| US20050058325A1 (en) | Fingerprint verification | |
| CN112862024B (zh) | 一种文本识别方法及系统 | |
| CN109947273B (zh) | 一种点读定位方法及装置 | |
| CN111444795A (zh) | 票据数据识别方法、电子设备、存储介质及装置 | |
| US8027978B2 (en) | Image search method, apparatus, and program | |
| CN111079571A (zh) | 证卡信息识别及其边缘检测模型训练方法、装置 | |
| CN111858977B (zh) | 票据信息采集方法、装置、计算机设备和存储介质 | |
| CN114092938B (zh) | 图像的识别处理方法、装置、电子设备及存储介质 | |
| CN112580108B (zh) | 签名和印章完整性验证方法及计算机设备 | |
| CN113095187A (zh) | 一种基于图像特征匹配对齐的试卷批改方法 | |
| CN113111880A (zh) | 证件图像校正方法、装置、电子设备及存储介质 | |
| CN110222660B (zh) | 一种基于动态与静态特征融合的签名鉴伪方法及系统 | |
| US7684594B2 (en) | Method and apparatus for estimating object part location in digital image data using feature value analysis | |
| CN108921006B (zh) | 手写签名图像真伪鉴别模型建立方法及真伪鉴别方法 | |
| CN114694161A (zh) | 一种特定版式证件的文本识别方法、设备及存储介质 | |
| CN108090728B (zh) | 一种基于智能终端的快递信息录入方法及录入系统 | |
| CN111213157A (zh) | 一种基于智能终端的快递信息录入方法及录入系统 | |
| CN112507914A (zh) | 一种基于存折、票据字符ocr识别方法和识别系统 | |
| US7957555B2 (en) | Method and apparatus for localizing an object part in digital image data by updating an initial position estimate based on a displacement of the object part | |
| CN116798061A (zh) | 一种票据审核识别方法、装置、终端和存储介质 | |
| CN115795079A (zh) | 一种工程造价分析数据采集与处理方法、系统 | |
| CN111612045B (zh) | 一种获取目标检测数据集的通用方法 | |
| CN115050069A (zh) | 基于深度学习的人脸及属性识别方法、系统及计算机设备 | |
| JP2009032109A (ja) | 文書画像検索方法、文書画像登録方法、そのプログラムおよび装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |