CN111652272B - 图像处理方法及装置、计算机设备、存储介质 - Google Patents
图像处理方法及装置、计算机设备、存储介质 Download PDFInfo
- Publication number
- CN111652272B CN111652272B CN202010341416.5A CN202010341416A CN111652272B CN 111652272 B CN111652272 B CN 111652272B CN 202010341416 A CN202010341416 A CN 202010341416A CN 111652272 B CN111652272 B CN 111652272B
- Authority
- CN
- China
- Prior art keywords
- information
- identification
- target image
- state information
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims abstract description 22
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000012015 optical character recognition Methods 0.000 claims abstract description 20
- 238000004590 computer program Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 13
- 230000003287 optical effect Effects 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/151—Transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Character Input (AREA)
- Character Discrimination (AREA)
Abstract
本发明涉及区块链技术、及人工智能技术，可应用于智慧城市领域中。本发明提供了一种图像处理方法及装置、计算机设备、存储介质，其中，该方法包括：获取目标图像的多个第一信息，其中，多个第一信息至少包括：目标图像的编码信息，目标图像的类型信息，目标图像的识别状态信息，以及与识别状态信息对应的第二信息，第二信息表示通过光学字符识别对目标图像内容识别的识别结果信息，识别状态信息用于标识目标图像内容是否识别成功；将多个第一信息拼接成JSON格式的字符串；在目标图像内容识别成功的情况下，将JSON格式的字符串转换成可编辑格式的字段内容。通过本发明，解决了相关技术中无法快速、高效地提取图像中有效信息的技术问题。
Description
技术领域
本发明涉及计算机领域，具体而言，涉及一种图像处理方法及装置、计算机设备、存储介质。
背景技术
目前，随着移动互联网的繁荣发展，社会已经迎来了移动应用井喷时代，而出于对业务模式的创新，以及用户体验优化的追求，仅仅靠传统方式收集到的用户数据已经越来越不能满足大数据应用的需求了。而数据就是财富，不仅仅是实际收集的实实在在用户数据，图片也可以提供很多有价值的数据，并且相对于许多用户自己填写的用户数据来说，图片信息的可信度更高。
相关技术中，图片存储仅用于附件留底存放，对于非结构化图像数据中所包含的大量有效信息也没有得到充分利用，给数据库采集、管理、分析和决策非结构化图像数据带来了诸多不便，因此，如何提取非结构化数据中的有效信息成为摆在诸多领域面前的共同难题。
针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。
发明内容
本发明实施例提供了一种图像处理方法及装置、计算机设备、存储介质，以至少解决了相关技术中无法快速、高效地提取图像中有效信息的技术问题。
根据本发明的一个实施例，提供了一种图像处理方法，包括：获取目标图像的多个第一信息，其中，所述多个第一信息至少包括：所述目标图像的编码信息，所述目标图像的类型信息，所述目标图像的识别状态信息，以及与所述识别状态信息对应的第二信息，所述第二信息表示通过光学字符识别对所述目标图像内容识别的识别结果信息，所述识别状态信息用于标识所述目标图像内容是否识别成功；将所述多个第一信息拼接成JSON格式的字符串；在所述目标图像内容识别成功的情况下，将所述JSON格式的字符串转换成可编辑格式的字段内容，并将所述字段内容存储于数据仓库。
可选的，获取目标图像的多个第一信息包括：读取所述目标图像的编码信息和类型信息；将所述目标图像转换为字节数组字符串；将所述字节数组字符串输入光学字符识别接口进行识别，得到所述识别状态信息和所述第二信息。
可选的，将所述多个第一信息拼接成JSON格式的字符串包括：判断所述识别状态信息，其中，所述识别状态信息包括识别失败状态信息和识别成功状态信息，若所述识别状态信息为所述识别失败状态信息，所述第二信息表示对所述目标图像内容识别失败的原因信息，若所述识别状态信息为所述识别成功状态信息，所述第二信息表示所述目标图像中包含的多个内容信息；若所述识别状态信息为所述识别失败状态信息，将所述编码信息、所述类型信息、所述识别失败状态信息以及所述原因信息拼接成JSON格式的第一字符串；若所述识别状态信息为所述识别成功状态信息，将所述编码信息、所述类型信息、所述识别成功状态信息以及所述多个内容信息拼接成JSON格式的第二字符串。
可选的，在将所述多个第一信息拼接成JSON格式的字符串之后，所述方法还包括：若所述识别状态信息为所述识别成功状态信息，将所述JSON格式的第二字符串存储至文件夹；将所述文件夹导入所述数据仓库。
可选的，将所述JSON格式的字符串转换成可编辑格式的字段内容，并将所述字段内容存储于数据仓库，包括：通过调用JSON库函数fastjson()解析所述JSON格式的字符串，并将解析结果存储至所述数据仓库的预设对象中；通过调用重写函数ToString()将所述预设对象转换为可编辑格式的多个字段内容；将所述多个字段内容按照数据仓库工具hive表的方式进行存储。
可选的，在获取目标图像的多个第一信息之前，所述方法还包括：对收集到的多个源图像进行编码，得到多个编码信息，其中，每一个源图像对应一个编码信息，所述目标图像为所述多个源图像中任一图像；对所述多个源图像进行分类。
可选的，对所述多个源图像进行分类包括：基于图像类型对所述多个源图像进行分类，并为分类后的每一个源图像标记第一类型信息；基于图像质量对同一图像类型的源图像进行分类，并为分类后的每一个源图像标记第二类型信息；和/或，基于图像内容的有效内容数量对同一图像类型的源图像进行分类，并为分类后的每一个源图像标记第三类型信息；根据所述第一类型信息，所述第二类型信息和/或所述第三类型信息确定任一源图像的类型信息。
根据本发明的一个实施例，提供了一种图像处理装置，包括：获取模块，用于获取目标图像的多个第一信息，其中，所述多个第一信息至少包括：所述目标图像的编码信息，所述目标图像的类型信息，所述目标图像的识别状态信息，以及与所述识别状态信息对应的第二信息，所述第二信息表示通过光学字符识别对所述目标图像内容识别的识别结果信息，所述识别状态信息用于标识所述目标图像内容是否识别成功；拼接模块，用于将所述多个第一信息拼接成JSON格式的字符串；转换模块，用于在所述目标图像内容识别成功的情况下，将所述JSON格式的字符串转换成可编辑格式的字段内容，并将所述字段内容存储于数据仓库。
可选的，所述获取模块包括：读取单元，用于读取所述目标图像的编码信息和类型信息；第一转换单元，用于将所述目标图像转换为字节数组字符串；识别单元，用于将所述字节数组字符串输入光学字符识别接口进行识别，得到所述识别状态信息和所述第二信息。
可选的，所述拼接模块包括：判断单元，用于判断所述识别状态信息，其中，所述识别状态信息包括识别失败状态信息和识别成功状态信息，若所述识别状态信息为所述识别失败状态信息，所述第二信息表示对所述目标图像内容识别失败的原因信息，若所述识别状态信息为所述识别成功状态信息，所述第二信息表示所述目标图像中包含的多个内容信息；拼接单元，用于若所述识别状态信息为所述识别失败状态信息，将所述编码信息、所述类型信息、所述识别失败状态信息以及所述原因信息拼接成JSON格式的第一字符串；若所述识别状态信息为所述识别成功状态信息，将所述编码信息、所述类型信息、所述识别成功状态信息以及所述多个内容信息拼接成JSON格式的第二字符串。
可选的，所述拼接模块还包括：第一存储单元，用于在将所述多个第一信息拼接成JSON格式的字符串之后，若所述识别状态信息为所述识别成功状态信息，将所述JSON格式的第二字符串存储至文件夹；导入单元，用于将所述文件夹导入所述数据仓库。
可选的，所述转换模块包括：解析单元，用于通过调用JSON库函数fastjson()解析所述JSON格式的字符串，并将解析结果存储至所述数据仓库的预设对象中；第二转换单元，用于通过调用重写函数ToString()将所述预设对象转换为可编辑格式的多个字段内容；第二存储单元，用于将所述多个字段内容按照数据仓库工具hive表的方式进行存储。
可选的，所述装置还包括：编码模块，用于在获取目标图像的多个第一信息之前，对收集到的多个源图像进行编码，得到多个编码信息，其中，每一个源图像对应一个编码信息，所述目标图像为所述多个源图像中任一图像；分类模块，用于对所述多个源图像进行分类。
可选的，所述分类模块包括：第一分类单元，用于基于图像类型对所述多个源图像进行分类，并为分类后的每一个源图像标记第一类型信息；第二分类单元，用于基于图像质量对同一图像类型的源图像进行分类，并为分类后的每一个源图像标记第二类型信息；和/或，基于图像内容的有效内容数量对同一图像类型的源图像进行分类，并为分类后的每一个源图像标记第三类型信息；确定单元，用于根据所述第一类型信息，所述第二类型信息和/或所述第三类型信息确定任一源图像的类型信息。
根据本发明的又一个实施例，还提供了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项装置实施例中的步骤。
通过本发明，获取目标图像的编码信息、类型信息、目标图像的识别状态信息，以及通过光学字符识别对所述目标图像内容识别的识别结果信息，并将编码信息、类型信息、识别状态信息和识别结果信息拼接成字符串，最后将识别成功状态下拼接后的字符串转换为可编辑的字段内容，实现了将目标图像中的有效信息转换为可编辑的文本信息和特征数据，并落地数仓，解决了相关技术中无法快速、高效地提取图像中有效信息的技术问题，从而方便了数据库的采集、管理、分析和决策。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的一种图像处理方法应用于计算机终端的硬件结构框图；
图2是根据本发明实施例的一种图像处理方法的流程图；
图3是根据本发明实施例的一种图像处理装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
实施例1
本申请实施例一所提供的方法实施例可以在移动终端、服务器、计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例，图1是本发明实施例的一种图像处理方法应用于计算机终端的硬件结构框图。如图1所示，计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的图像处理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种图像处理方法，图2是根据本发明实施例的一种图像处理方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，获取目标图像的多个第一信息，其中，多个第一信息至少包括：目标图像的编码信息，目标图像的类型信息，目标图像的识别状态信息，以及与识别状态信息对应的第二信息，第二信息表示通过光学字符识别对目标图像内容识别的识别结果信息，识别状态信息用于标识目标图像内容是否识别成功；
本实施例中的目标图像可以是非结构化图片，例如：身份证、驾驶证、银行卡、车牌、名片、文档等各种形式的图片，通过采用OCR(全称为Optical Character Recognition，光学字符识别)识别技术处理图片化、形体化的信源，从而快速、高效地提取图片数据中所包含着的大量有效数据。
本实施例中，编码信息为目标图像的图片ID；类型信息表示目标图像的分类命名，例如，可以是基于图像类型(比如目标图像是身份证，驾驶证等)、图像质量、图像中有效内容的数量等对源图像的分类得到；识别状态信息包括识别成功/失败信息；其中，与识别成功信息对应的第二信息为目标图像中所包含的内容信息，与识别失败信息对应的第二信息是识别失败的原因信息。通过提取目标图像的参数信息以及目标图像中所包含的信息，从而达到高效地提取到目标图像中的有效信息。
步骤S204，将多个第一信息拼接成JSON格式的字符串；
步骤S206，在目标图像内容识别成功的情况下，将JSON格式的字符串转换成可编译格式的字段内容，并将字段内容存储于数据仓库。
通过上述步骤，获取目标图像的编码信息、类型信息、目标图像的识别状态信息，以及通过光学字符识别对目标图像内容识别的识别结果信息，并将编码信息、类型信息、识别状态信息和识别结果信息拼接成字符串，最后将识别成功状态下拼接后的字符串转换为可编辑的字段内容，实现了将目标图像中的有效信息转换为可编辑的文本信息和特征数据，并落地数仓，解决了相关技术中无法快速、高效地提取图像中有效信息的技术问题，从而方便了数据库的采集、管理、分析和决策。
在一个可选的实施例中，获取目标图像的多个第一信息包括：读取目标图像的编码信息和类型信息；将目标图像转换为字节数组字符串；将字节数组字符串输入光学字符识别接口进行识别，得到识别状态信息和第二信息。
在本实施例中，通过调用OCR接口对目标图像进行识别。优选地，在确定待识别的目标图像后，读取目标图像的编码信息和类型信息，使用python(一种动态的、面向对象的脚本语言)或java开发多线程调用OCR接口，OCR识别程序通过网络传输顺序获取图片进行快速识别，避免了通过人工录入图片中的有效信息，导致耗时、耗力，及易产生录入错误等技术问题，从而高效地提取非结构化图片中的有效信息。
包括以下步骤：
步骤S301，将待识别的图片转换为base64格式(用于传输8Bit字节代码的编码方式之一)的字符串；其中，转换代码如下：
步骤S303，将Base64码字符串输入OCR接口进行识别，输出json字符串。
可选的，将Base64码字符串输入OCR接口进行识别，OCR接口内的证件图片识别过程包括：图像预处理(例如将图片降噪、倾斜矫正、光线增强等)；图像分割(比如先按行分割，再对每行进行字符分割)；字符识别(例如采用模板匹配法识别或使用人工神经网络识别算法建模型识别)；识别结果处理；识别完后返回识别结果，循环调用。
其中，base64码字符串中含有很多“换行回车”字符，去掉base64码字符串中的换行回车符：
var i＝
JSON.parse("{\"card1\":\""+card1.replace(/[\r\n]/g,"")+"\"}")；
将去掉“换行回车”字符的字符串在添加到json字符串中，解析得到json对象。
对目标图像的识别结果通常为一个非常复杂的json串，json格式字符串至少包括：接口http请求代码、状态标志(成功、失败)(即上述识别状态信息)、错误信息(即上述原因信息)和识别结果(即上述目标图像中所包含的内容信息)。
可选的，对识别结果进行逻辑判断，包括：根据接口http请求返回的代码来判断是否请求成功(例如代码200为成功，其他代码都为异常)；然后根据状态标识来判断，状态标识为成功时，错误信息为空，识别结果都有值；状态标识为失败，错误信息会提示失败类型(比如，图片格式错误等信息)，失败时识别结果就没有值。
在一个可选的实施例中，将多个第一信息拼接成JSON格式的字符串包括：判断识别状态信息，其中，识别状态信息包括识别失败状态信息和识别成功状态信息，若识别状态信息为识别失败状态信息，第二信息表示对目标图像内容识别失败的原因信息，若识别状态信息为识别成功状态信息，第二信息表示目标图像中包含的多个内容信息；若识别状态信息为识别失败状态信息，将编码信息、类型信息、识别失败状态信息以及原因信息拼接成JSON格式的第一字符串；若识别状态信息为识别成功状态信息，将编码信息、类型信息、识别成功状态信息以及多个内容信息拼接成JSON格式的第二字符串。
在本实施例中，将识别出来的内容信息拼接成图片ID(即上述编码信息)+分类标识(即上述类型信息)+识别成功/失败标识(即上述识别状态信息)+识别详情(即上述第二信息)的字符串。
在本案的一个场景中，识别成功/失败标识对应不同的识别结果(即上述第二信息)，例如，识别驾驶证成功的话，提示：驾驶证号，姓名，准驾驶类型、驾驶证的正反面等详情(即上述多个内容信息)，以及针对每一项详情信息，识别接口打出的一个可信度评分。识别失败的话，提示：图片类型不符，网络故障等失败原因信息(即上述原因信息)。
此外，顺序识别时需同时将识别过的图片ID存到一个文件夹中，程序在执行过程中可能会异常停止，此时可以读取文件夹中末尾处的图片ID，以判断重新读取的位置，从而提高识别准确度。
在本案的一个可选的实施例中，在将多个第一信息拼接成JSON格式的字符串之后，还包括：若识别状态信息为识别成功状态信息，将JSON格式的第二字符串存储至文件夹；将文件夹导入数据仓库。
优选地，将拼接后的字符串分别写入到两个文件中(即识别成功的字符串存储在第第一文件夹中，识别失败的字符串存储在第二文件夹中)；可选的，在生产环境服务器中运行时可以每天生成一个文件夹，以便通过文件同步将识别到的图片信息导入数据仓库ODS，结合大数据技术进行落地产生价值。
在一个可选的实施例中，将JSON格式的字符串转换成可编辑格式的字段内容，并将字段内容存储于数据仓库，包括：通过调用JSON库函数fastjson()解析JSON格式的字符串，并将解析结果存储至数据仓库的预设对象中；通过调用重写函数ToString()将预设对象转换为可编辑格式的多个字段内容；将多个字段内容按照数据仓库工具hive表的方式进行存储。
在本实施例中，通过Filesync(文件同步软件)定期将服务器中生产的结果文件(即上述第一文件夹，即识别成功的结果，失败的舍弃)导入操作型数据存储仓库ODS(全称为Operational Data Store，简称数仓)，存储时对字符串进行简单的分割，得到的形式为：图像ID+分类标识+识别结果。
在本案的一个实施例中，将JSON格式的字符串转换成可编辑格式的字段内容，并落地数据仓库，包括以下步骤：
步骤S401，对JSON格式的字符串进行解析；
通过人工智能领域中的图像识别技术中的OCR接口识别得到的是json格式的字符串，一般较为复杂。一般证件有两面，证件正反面的内容不一致，返回的字符串格式不一样，识别结果中识别出的信息中有正反面标志，一条json可以解出多条数据，在数仓中使用hive编写UDTF(全称为User-Defined Table-Generating Functions，用户定义表生成函数)函数调用fastjson解析，可以创建一个属性全的对象来存放解析出的数据，根据正反面标识来开发对应的解析方法，解析完成存入定义好的对象(即上述预设对象)中，重写对象的ToString()方法，其中，重写toString()方法是为了输出对有用的信息，不重写输出的信息没用。
例如，假设证件的正面可以识别出x个信息(比如8个信息)，反面有y个信息(比如3个信息)，正面的结果用一个可以装x个信息的容器(即上述预设对象)来存储，反面的结果用一个可以装y个信息的容器存储。
把识别结果转化为hive表方便导入的“字段”+“分割符”+“字段”的形式。例如，身份证图片识别，正面会有姓名、性别、民族、出生日期、身份证号、住址等信息，“字段”+“分割符”+“字段”的形式可以表示为“姓名”+“分隔符”+“性别”+“分隔符”+“民族”+“分隔符”+“出生日期”的形式。
步骤S403，全部解析完毕后导入数仓建表存储，再根据图片分类标识和OCR识别可信度评分来筛选可靠信息建表存储。
其中，可信度评分是OCR接口中的模型给出来的，数值在0-1之间，越接近1可信度越高。输入图片样本，训练识别模型，返回识别结果。由于不能保证识别的百分之百准确，可以根据照片清晰度、角度等因素通过算法给出一个大致的百分比用来表示识别结果准确程度。
例如，设定一个阈值(比如50％)，以可信度是否大于阈值为界，大于阈值的认为可靠，比如一个姓名“陈赫”正常清晰平整的图片识别出来的一般为“陈赫”可信度接近1，但如果拍照光线不清晰，反光，或者角度倾斜导致图片姓名看不清字，OCR也会给出一个识别结果可能是“陈赤赤”或者“陈赤”但可信度非常低，这个就认为不可靠了。
通过上述实施例，完成了将图片识别出有些信息的全部流程，将整套流程编写脚本定时运行即可获取图片的有效信息，避免了通过人工录入图片中的有效信息，导致耗时、耗力，及易产生录入错误等技术问题。
可选的，在获取目标图像的多个第一信息之前，还包括：对收集到的多个源图像进行编码，得到多个编码信息，其中，每一个源图像对应一个编码信息，目标图像为多个源图像中任一图像；对多个源图像进行分类。
可选的，本案中的数据仓库可以为区块链上任一节点上的数据仓库，即本案可基于区块链技术将全部流程过程中出现的数据(包括图像、第一信息、字段内容等等)进行区块链存储存储，从而应用区块链中的技术(分布式数据存储、点对点传输、共识机制、加密算法等计算机技术)而带来更多好处。
在本案的一个应用场景中，例如，保险行业在办理承保，理赔等业务流程中可以获取到大量的证件、单据复印件图片(即上述多个源图像)，为每一个证件或图片生成一个图像ID(即上述编码信息)；对多个源图像进行分类并标记分类标识(即上述类型信息)。
可选地，在收集数据时，生成一个含有与图像ID对应的存储路径和图片分类标识的列表，通过图片ID和分类标识确定待识别的目标图片，以提高识别准确度，提高识别效率，也提高了工作效率。
例如，设置一个表(table1)，用于存储图片id和这个图片的详细信息(比如图片的分类名)。在上传收集图片时，每个类型的图片都有一个对应的接口，比如，上传一个驾驶证，从驾驶证接口上传的图片，先生成图片id；在table1里面存储id，在类型字段存储驾驶证。
在本案的一个实施例中，对多个源图像进行分类包括：基于图像类型对多个源图像进行分类，并为分类后的每一个源图像标记第一类型信息；基于图像质量对同一图像类型的源图像进行分类，并为分类后的每一个源图像标记第二类型信息；和/或，基于图像内容的有效内容数量对同一图像类型的源图像进行分类，并为分类后的每一个源图像标记第三类型信息；根据第一类型信息，第二类型信息和/或第三类型信息确定任一源图像的类型信息。
根据上述实施例，对每一个源图像进行分类包括以下步骤：
步骤S501，按照图像类型(即上述图片的详细信息)对每个源图像进行分类并标记分类标识(即上述第一类型信息)；
可选的，在收集图像过程中，根据图像类型对收集到的图像进行分类命名，并存储指定类型的多张图片(即用户所需的图像类型)，例如，图像类型为驾驶证、身份证、单据复印件等。
步骤S503，针对同一图像类型的源图像，按照图像质量或者图像中有效内容的数量进行分类，并标记分类标识(即上述第二类型信息)；
可选的，针对具有同类型的多张图片，根据图片质量(比如图片的清晰程度、角度)对图片进行分类；或者根据图片内有效内容的数量再进行分类，以驾驶证图片为例，图片中可能存在两张驾驶证的情况，并标记分类标识，最后在table1表中保存。由此可知，本方案可应用于智慧城市中的智慧交通领域中，从而推动智慧城市的建设。同时可推导出，本方案同样适用于智慧医疗、智慧政务、智慧安防等等智慧城市建设的多个子领域中。
进一步的，对分类后的图片进行保存，由于图片文件需要大量存储空间，可以存储到一个集中的文件系统中，同时也确定了目标图像的存储路径。
通过上述实施例，对收集到的多个源图像进行分类，标记分类标识，采用OCR识别图像中的有效信息，并拼接成字符串存储到ODS数仓中，进而实现了提取图像中的有效信息，并将非结构化图像信息转化为可编辑的文本信息和特征数据，并结合大数据技术进行落地产生价值，从而方便数据库的采集、管理、分析和决策，解决了相关技术中无法实现快速、高效地提取非结构化图像数据中的有效信息等技术问题，通过本方案可以挖掘到更多可靠的用户数据，在这个数据的基础上通过其他来源的数据一起为精准营销等业务提供数据支持。
实施例2
在本实施例中还提供了一种图像处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图3是根据本发明实施例的一种图像处理装置的结构框图，如图3所示，该装置包括：获取模块30，用于获取目标图像的多个第一信息，其中，多个第一信息至少包括：目标图像的编码信息，目标图像的类型信息，目标图像的识别状态信息，以及与识别状态信息对应的第二信息，第二信息表示通过光学字符识别对目标图像内容识别的识别结果信息，识别状态信息用于标识目标图像内容是否识别成功；拼接模块32，连接至上述获取模块30，用于将多个第一信息拼接成JSON格式的字符串；转换模块34，连接至上述拼接模块32，用于在目标图像内容识别成功的情况下，将JSON格式的字符串转换成可编辑格式的字段内容，并将字段内容存储于数据仓库。
可选的，获取模块30包括：读取单元，用于读取目标图像的编码信息和类型信息；第一转换单元，用于将目标图像转换为字节数组字符串；识别单元，用于将字节数组字符串输入光学字符识别接口进行识别，得到识别状态信息和第二信息。
可选的，拼接模块32包括：判断单元，用于判断识别状态信息，其中，识别状态信息包括识别失败状态信息和识别成功状态信息，若识别状态信息为识别失败状态信息，第二信息表示对目标图像内容识别失败的原因信息，若识别状态信息为识别成功状态信息，第二信息表示目标图像中包含的多个内容信息；拼接单元，用于若识别状态信息为识别失败状态信息，将编码信息、类型信息、识别失败状态信息以及原因信息拼接成JSON格式的第一字符串；若识别状态信息为识别成功状态信息，将编码信息、类型信息、识别成功状态信息以及多个内容信息拼接成JSON格式的第二字符串。
可选的，拼接模块32还包括：第一存储单元，用于在将多个第一信息拼接成JSON格式的字符串之后，若识别状态信息为识别成功状态信息，将JSON格式的第二字符串存储至文件夹；导入单元，用于将文件夹导入数据仓库。
可选的，转换模块34包括：解析单元，用于通过调用JSON库函数fastjson()解析JSON格式的字符串，并将解析结果存储至数据仓库的预设对象中；第二转换单元，用于通过调用重写函数ToString()将预设对象转换为可编辑格式的多个字段内容；第二存储单元，用于将多个字段内容按照数据仓库工具hive表的方式进行存储。
可选的，上述装置还包括：编码模块，用于在获取目标图像的多个第一信息之前，对收集到的多个源图像进行编码，得到多个编码信息，其中，每一个源图像对应一个编码信息，目标图像为多个源图像中任一图像；分类模块，用于对多个源图像进行分类。
可选的，分类模块包括：第一分类单元，用于基于图像类型对多个源图像进行分类，并为分类后的每一个源图像标记第一类型信息；第二分类单元，用于基于图像质量对同一图像类型的源图像进行分类，并为分类后的每一个源图像标记第二类型信息；和/或，基于图像内容的有效内容数量对同一图像类型的源图像进行分类，并为分类后的每一个源图像标记第三类型信息；确定单元，用于根据第一类型信息，第二类型信息和/或第三类型信息确定任一源图像的类型信息。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取目标图像的多个第一信息，其中，所述多个第一信息至少包括：所述目标图像的编码信息，所述目标图像的类型信息，所述目标图像的识别状态信息，以及与所述识别状态信息对应的第二信息，所述第二信息表示通过光学字符识别对所述目标图像内容识别的识别结果信息，所述识别状态信息用于标识所述目标图像内容是否识别成功；
S2，将所述多个第一信息拼接成JSON格式的字符串；
S3，在所述目标图像内容识别成功的情况下，将所述JSON格式的字符串转换成可编辑格式的字段内容，并将所述字段内容存储于数据仓库。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取目标图像的多个第一信息，其中，所述多个第一信息至少包括：所述目标图像的编码信息，所述目标图像的类型信息，所述目标图像的识别状态信息，以及与所述识别状态信息对应的第二信息，所述第二信息表示通过光学字符识别对所述目标图像内容识别的识别结果信息，所述识别状态信息用于标识所述目标图像内容是否识别成功；
S2，将所述多个第一信息拼接成JSON格式的字符串；
S3，在所述目标图像内容识别成功的情况下，将所述JSON格式的字符串转换成可编辑格式的字段内容，并将所述字段内容存储于数据仓库。可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种图像处理方法，其特征在于，包括：
获取目标图像的多个第一信息，其中，所述多个第一信息至少包括：所述目标图像的编码信息，所述目标图像的类型信息，所述目标图像的识别状态信息，以及与所述识别状态信息对应的第二信息，所述第二信息表示通过光学字符识别对所述目标图像内容识别的识别结果信息，所述识别状态信息用于标识所述目标图像内容是否识别成功；
将所述多个第一信息拼接成JSON格式的字符串；
在所述目标图像内容识别成功的情况下，将所述JSON格式的字符串转换成可编辑格式的字段内容，并将所述字段内容存储于数据仓库；
所述将所述多个第一信息拼接成JSON格式的字符串包括：
判断所述识别状态信息，其中，所述识别状态信息包括识别失败状态信息和识别成功状态信息，若所述识别状态信息为所述识别失败状态信息，所述第二信息表示对所述目标图像内容识别失败的原因信息，若所述识别状态信息为所述识别成功状态信息，所述第二信息表示所述目标图像中包含的多个内容信息；
若所述识别状态信息为所述识别失败状态信息，将所述编码信息、所述类型信息、所述识别失败状态信息以及所述原因信息拼接成JSON格式的第一字符串；若所述识别状态信息为所述识别成功状态信息，将所述编码信息、所述类型信息、所述识别成功状态信息以及所述多个内容信息拼接成JSON格式的第二字符串。
2.根据权利要求1所述的方法，其特征在于，获取目标图像的多个第一信息包括：
读取所述目标图像的编码信息和类型信息；
将所述目标图像转换为字节数组字符串；
将所述字节数组字符串输入光学字符识别接口进行识别，得到所述识别状态信息和所述第二信息。
3.根据权利要求1所述的方法，其特征在于，在将所述多个第一信息拼接成JSON格式的字符串之后，所述方法还包括：
若所述识别状态信息为所述识别成功状态信息，将所述JSON格式的第二字符串存储至文件夹；
将所述文件夹导入所述数据仓库。
4.根据权利要求1所述的方法，其特征在于，将所述JSON格式的字符串转换成可编辑格式的字段内容，并将所述字段内容存储于数据仓库，包括：
通过调用JSON库函数fastjson()解析所述JSON格式的字符串，并将解析结果存储至所述数据仓库的预设对象中；
通过调用重写函数ToString()将所述预设对象转换为可编辑格式的多个字段内容；
将所述多个字段内容按照数据仓库工具hive表的方式进行存储，其中，所述数据仓库为区块链上任一节点上的数据仓库。
5.根据权利要求1所述的方法，其特征在于，在获取目标图像的多个第一信息之前，所述方法还包括：
对收集到的多个源图像进行编码，得到多个编码信息，其中，每一个源图像对应一个编码信息，所述目标图像为所述多个源图像中任一图像；
对所述多个源图像进行分类。
6.根据权利要求5所述的方法，其特征在于，对所述多个源图像进行分类包括：
基于图像类型对所述多个源图像进行分类，并为分类后的每一个源图像标记第一类型信息；
基于图像质量对同一图像类型的源图像进行分类，并为分类后的每一个源图像标记第二类型信息；和/或，基于图像内容的有效内容数量对同一图像类型的源图像进行分类，并为分类后的每一个源图像标记第三类型信息；
根据所述第一类型信息，所述第二类型信息和/或所述第三类型信息确定任一源图像的类型信息。
7.一种图像处理装置，其特征在于，包括：
获取模块，用于获取目标图像的多个第一信息，其中，所述多个第一信息至少包括：所述目标图像的编码信息，所述目标图像的类型信息，所述目标图像的识别状态信息，以及与所述识别状态信息对应的第二信息，所述第二信息表示通过光学字符识别对所述目标图像内容识别的识别结果信息，所述识别状态信息用于标识所述目标图像内容是否识别成功；
拼接模块，用于将所述多个第一信息拼接成JSON格式的字符串；
转换模块，用于在所述目标图像内容识别成功的情况下，将所述JSON格式的字符串转换成可编辑格式的字段内容，并将所述字段内容存储于数据仓库；
所述拼接模块包括：判断单元，用于判断识别状态信息，其中，识别状态信息包括识别失败状态信息和识别成功状态信息，若识别状态信息为识别失败状态信息，第二信息表示对目标图像内容识别失败的原因信息，若识别状态信息为识别成功状态信息，第二信息表示目标图像中包含的多个内容信息；拼接单元，用于若识别状态信息为识别失败状态信息，将编码信息、类型信息、识别失败状态信息以及原因信息拼接成JSON格式的第一字符串；若识别状态信息为识别成功状态信息，将编码信息、类型信息、识别成功状态信息以及多个内容信息拼接成JSON格式的第二字符串。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
9.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010341416.5A CN111652272B (zh) | 2020-04-27 | 2020-04-27 | 图像处理方法及装置、计算机设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010341416.5A CN111652272B (zh) | 2020-04-27 | 2020-04-27 | 图像处理方法及装置、计算机设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111652272A CN111652272A (zh) | 2020-09-11 |
| CN111652272B true CN111652272B (zh) | 2024-05-28 |
Family
ID=72349256
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010341416.5A Active CN111652272B (zh) | 2020-04-27 | 2020-04-27 | 图像处理方法及装置、计算机设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111652272B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112464852B (zh) * | 2020-12-09 | 2023-12-05 | 重庆大学 | 一种车辆行驶证图片自适应矫正与识别方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109389124A (zh) * | 2018-10-29 | 2019-02-26 | 苏州派维斯信息科技有限公司 | 小票信息类目识别方法 |
| CN109656550A (zh) * | 2018-12-14 | 2019-04-19 | 平安城市建设科技(深圳)有限公司 | json数据解析方法、装置、设备及可读存储介质 |
| CN111027297A (zh) * | 2019-12-23 | 2020-04-17 | 海南港澳资讯产业股份有限公司 | 一种对图像型pdf财务数据关键表格信息的处理方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3196811A1 (en) * | 2016-01-20 | 2017-07-26 | Accenture Global Services Limited | Cognitive document reader |
| US10846573B2 (en) * | 2018-07-31 | 2020-11-24 | Triangle Digital Ventures Ii, Llc | Detecting, redacting, and scoring confidential information in images |
-
2020
- 2020-04-27 CN CN202010341416.5A patent/CN111652272B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109389124A (zh) * | 2018-10-29 | 2019-02-26 | 苏州派维斯信息科技有限公司 | 小票信息类目识别方法 |
| CN109656550A (zh) * | 2018-12-14 | 2019-04-19 | 平安城市建设科技(深圳)有限公司 | json数据解析方法、装置、设备及可读存储介质 |
| CN111027297A (zh) * | 2019-12-23 | 2020-04-17 | 海南港澳资讯产业股份有限公司 | 一种对图像型pdf财务数据关键表格信息的处理方法 |
Non-Patent Citations (1)
| Title |
|---|
| 地面目标特征识别与无人飞行器位姿估计;张梁 等;国防科技大学学报;20150228;第37卷(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111652272A (zh) | 2020-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11816165B2 (en) | Identification of fields in documents with neural networks without templates | |
| US11195006B2 (en) | Multi-modal document feature extraction | |
| US9626555B2 (en) | Content-based document image classification | |
| US20190095439A1 (en) | Content pattern based automatic document classification | |
| CN111930805A (zh) | 一种信息挖掘方法及计算机设备 | |
| CN109800354B (zh) | 一种基于区块链存储的简历修改意图识别方法及系统 | |
| CN115687647A (zh) | 公证文书生成方法、装置、电子设备及存储介质 | |
| CN115391439B (zh) | 文档数据导出方法、装置、电子设备和存储介质 | |
| CN113868419A (zh) | 基于人工智能的文本分类方法、装置、设备及介质 | |
| CN110363667A (zh) | 基于ai的订单融资处理方法、装置、计算机设备及存储介质 | |
| CN112800949A (zh) | 基于人工智能的纸质档案的数字化处理方法、系统及设备 | |
| CN112052305A (zh) | 信息提取方法、装置、计算机设备及可读存储介质 | |
| Walton et al. | Landscape analysis for the specimen data refinery | |
| CN114297140A (zh) | 一种基于人工智能的档案管理系统 | |
| CN111652272B (zh) | 图像处理方法及装置、计算机设备、存储介质 | |
| US20220405503A1 (en) | Machine learning-based document splitting and labeling in an electronic document system | |
| US11055666B2 (en) | Systems and methods for automation of corporate workflow processes via machine learning techniques | |
| CN111581937A (zh) | 文档生成方法、装置、计算机可读介质及电子设备 | |
| CN115880702A (zh) | 数据处理方法、装置、设备、程序产品及存储介质 | |
| CN115063784A (zh) | 票据图像的信息提取方法和装置、存储介质及电子设备 | |
| CN111444794B (zh) | 基于ocr的票据识别辅助方法、设备、存储介质及装置 | |
| EP4165564A1 (en) | Methods and systems for matching and optimizing technology solutions to requested enterprise products | |
| CN113901817A (zh) | 文档分类方法、装置、计算机设备和存储介质 | |
| CN111311197A (zh) | 差旅数据处理方法及装置 | |
| CN117010349B (zh) | 基于神经网络模型的表单填充方法、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |