CN111986015A - 提取财务信息用于记账的方法和系统 - Google Patents

提取财务信息用于记账的方法和系统 Download PDF

Info

Publication number
CN111986015A
CN111986015A CN202010906379.8A CN202010906379A CN111986015A CN 111986015 A CN111986015 A CN 111986015A CN 202010906379 A CN202010906379 A CN 202010906379A CN 111986015 A CN111986015 A CN 111986015A
Authority
CN
China
Prior art keywords
information
image
financial
category
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010906379.8A
Other languages
English (en)
Other versions
CN111986015B (zh
Inventor
励程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN111986015A publication Critical patent/CN111986015A/zh
Application granted granted Critical
Publication of CN111986015B publication Critical patent/CN111986015B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/12—Accounting
    • G06Q40/125—Finance or payroll
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Character Discrimination (AREA)
  • Character Input (AREA)

Abstract

本发明提供了一种提取财务信息用于记账的方法和系统，使用第一设备接收第一影像；使用预设的分类模型对第一影像按生成来源进行分类，生成影像类别信息和影像类别编号；根据影像类别编号使用预设的与影像类别编号对应的所属分类的财务信息提取模型，对第一影像中一个或多个区域所关联的财务字段的文本和/或图像信息进行提取；将影像类别信息及第一影像中一个或多个区域所关联的财务字段的文本和/或图像信息记入财务账本内。通过采用人工智能技术中的神经网络模型识别含财务信息的影像并提取财务信息进行记账，解决了传统人工记账的低效问题，达到了能够快速准确地将大量不同来源所生成的财务信息进行汇总记账的效果。

Description

提取财务信息用于记账的方法和系统
技术领域
本发明涉及智能识别技术领域，具体地，涉及一种提取财务信息用于记账的方法和系统。
背景技术
传统人工记账方式低效，对于大量且不同来源所生成的财务信息进行汇总记账，往往需要耗费大量的人力物力，且容易出错，造成较难弥补的损失。因此，需要提出高效的记账方式。
专利文献CN109636557A公开一种基于票据识别的智能分类记账方法，包括记账凭证生成步骤：获取原始票据的图像并通过图像识别得到票据信息；通过票据信息匹配票种规则，确定该原始票据对应的会计票种，所述票种规则根据每一种会计票种的特征信息进行设定；根据确定的会计票种查找出对应的凭证模板，所述凭证模板待填写的项目包含科目和金额；根据票据信息自动匹配票据类别；将票据类别自动填入所述科目中，并从票据信息中提取金额信息，自动填入凭证模板，生成记账凭证。能够智能分类票据，并生成记账凭证，同时自动更新凭证模板，训练人工智能记账机制，大大提高了会计的工作效率。但是上述方案仅能针对特定的会计票种，不能适用财务记录来源大量不同的情况，以及在多个软件中涉及财务信息的页面，不利于信息记录之后的大数据分析等进一步应用。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种提取财务信息用于记账的方法和系统。
根据本发明提供的一种提取财务信息用于记账的方法，包括：
步骤S1：使用第一设备接收第一影像；
步骤S2：使用预设的分类模型对第一影像按生成来源进行分类，生成影像类别信息和影像类别编号；
步骤S3：根据影像类别编号使用预设的与影像类别编号对应的所属分类的财务信息提取模型，对第一影像中一个或多个区域所关联的财务字段的文本和/或图像信息，生成不同的财务记录进行提取；
步骤S4：将影像类别信息及第一影像中一个或多个区域所关联的财务字段的文本和/或图像信息记入财务账本内，并根据不同的财务记录给予相应的账本记录编号。
优选地，所述第一影像为图片或视频，影像来源为对财务信息软件中的财务信息页面进行截屏或录屏。
优选地，所述步骤S2包括：
步骤S2.1：从生成财务信息的来源中截屏或录屏财务信息页面，以及与财务信息页面对应的类别标准文档，形成影像训练集；
步骤S2.2：使用神经网络模型对影像训练集进行分类识别训练，得到第一分类模型；
步骤S2.3：在分类模型中设定多个分级或者不设定分级，设定多个分级中，第一分级为创建财务信息的软件类别，第二分级为财务信息的记录类别，第三分级为创建财务信息软件的页面布局差异；不设定分级中，所述软件类别、记录类别、页面布局差异保存在类别标准文档中；
步骤S2.4：令分类模型对影像训练集进行分类识别，将得到的第一类别信息和第一类别编号分别与类别标准文档中的第二类别信息和第二类别编号进行比较，根据得到的误差值调整神经网络模型的分类参数，持续比较后使得误差值小于设定阈值，得到第二分类模型，使用第二分类模型生成影像类别信息和影像类别编号。
优选地，所述步骤S3包括：
步骤S3.1：从生成财务信息的来源中截屏或录屏之后依照类别标准文档归类得到的同一类别编号的财务信息页面，以及与财务信息页面对应的财务信息标注文档，形成同一类别编号下的含财务信息的类别影像集合；
步骤S3.2：使用神经网络模型对类别影像集合进行提取识别训练，得到与同一类别编号对应的所属分类的财务信息提取模型；
步骤S3.3：根据同一类别编号与财务信息提取模型对第一影像中一个或多个区域所关联的财务字段的文本和/或图像信息，生成不同的财务记录进行提取。
优选地，所述步骤S4包括：
步骤S4.1：在财务账本中创建一个或多个账本字段，所述账本字段与第一影像中一个或多个区域所关联的财务字段，以及影像类别编号相关联；
步骤S4.2：根据账本字段的关联关系，将第一影像中一个或多个区域所关联的财务字段中的文本及图像信息和影像类别信息记入财务账本内；
步骤S4.3：对财务账本中对应同一条财务记录的多个账本字段在同一账本记录编号下进行合并或更新。
根据本发明提供的一种提取财务信息用于记账的系统，包括：
模块S1：使用第一设备接收第一影像；
模块S2：使用预设的分类模型对第一影像按生成来源进行分类，生成影像类别信息和影像类别编号；
模块S3：根据影像类别编号使用预设的与影像类别编号对应的所属分类的财务信息提取模型，对第一影像中一个或多个区域所关联的财务字段的文本和/或图像信息，生成不同的财务记录进行提取；
模块S4：将影像类别信息及第一影像中一个或多个区域所关联的财务字段的文本和/或图像信息记入财务账本内，并根据不同的财务记录给予相应的账本记录编号。
优选地，所述第一影像为图片或视频，影像来源为对财务信息软件中的财务信息页面进行截屏或录屏。
优选地，所述模块S2包括：
模块S2.1：从生成财务信息的来源中截屏或录屏财务信息页面，以及与财务信息页面对应的类别标准文档，形成影像训练集；
模块S2.2：使用神经网络模型对影像训练集进行分类识别训练，得到第一分类模型；
模块S2.3：在分类模型中设定多个分级或者不设定分级，设定多个分级中，第一分级为创建财务信息的软件类别，第二分级为财务信息的记录类别，第三分级为创建财务信息软件的页面布局差异；不设定分级中，所述软件类别、记录类别、页面布局差异保存在类别标准文档中；
模块S2.4：令分类模型对影像训练集进行分类识别，将得到的第一类别信息和第一类别编号分别与类别标准文档中的第二类别信息和第二类别编号进行比较，根据得到的误差值调整神经网络模型的分类参数，持续比较后使得误差值小于设定阈值，得到第二分类模型，使用第二分类模型生成影像类别信息和影像类别编号。
优选地，所述模块S3包括：
模块S3.1：从生成财务信息的来源中截屏或录屏之后依照类别标准文档归类得到的同一类别编号的财务信息页面，以及与财务信息页面对应的财务信息标注文档，形成同一类别编号下的含财务信息的类别影像集合；
模块S3.2：使用神经网络模型对类别影像集合进行提取识别训练，得到与同一类别编号对应的所属分类的财务信息提取模型；
模块S3.3：根据同一类别编号与财务信息提取模型对第一影像中一个或多个区域所关联的财务字段的文本和/或图像信息，生成不同的财务记录进行提取。
优选地，所述模块S4包括：
模块S4.1：在财务账本中创建一个或多个账本字段，所述账本字段与第一影像中一个或多个区域所关联的财务字段，以及影像类别编号相关联；
模块S4.2：根据账本字段的关联关系，将第一影像中一个或多个区域所关联的财务字段中的文本及图像信息和影像类别信息记入财务账本内；
模块S4.3：对财务账本中对应同一条财务记录的多个账本字段在同一账本记录编号下进行合并或更新。
优选地，步骤S3和步骤S4包括：
步骤S3：使用预设的文本图像信息提取模型对第一影像中所有的文本及图像信息进行提取；
根据影像类别编号使用预设的与影像类别编号对应的所属分类的财务信息解析模型，从已提取的文本图像信息中匹配筛选出与预设财务信息字典所关联的财务字段，生成不同的财务记录进行提取；
步骤S4：将影像类别信息及第一影像中识别解析出的与预设财务信息字典所关联的财务字段的文本和/或图像信息记入财务账本内，并根据不同的财务记录给予相应的账本记录编号。
优选地，所述步骤S3包括：
步骤S3.1：从生成财务信息的来源中截屏或录屏财务信息页面，以及与财务信息页面对应的文本图像信息标注文档，形成影像训练集；
步骤S3.2：使用神经网络模型对影像训练集进行文本图像识别训练，得到第一文本图像信息提取模型；
步骤S3.3：在文本图像信息提取模型中设定文本信息以文字及符号组成的单个字段为单位进行识别，图像信息以单个图标为单位进行识别；
步骤S3.4：令文本图像信息提取模型对影像训练集进行识别，将提取得到的第一文本信息和第一图像信息分别与文本图像信息标注文档中的第二文本信息和第二图像信息进行比较，根据得到的误差值调整神经网络模型的识别参数，持续比较后使得误差值小于设定阈值，得到第二文本图像信息提取模型，使用第二文本图像信息提取模型生成影像文本和/或图像信息；或者，
所述步骤S3还包括：
步骤S3.5：从第二文本图像信息提取模型生成影像文本信息和/或图像信息之后依照类别标准文档归类得到的同一类别编号的文本图像信息文档，以及与文本图像信息文档对应的财务信息标注文档，形成同一类别编号下的含财务信息的类别文本图像信息文档集合；
步骤S3.6：使用多元迭代模型对类别文本图像信息文档集合进行匹配筛选训练，得到与同一类别编号对应的所属分类的第一财务信息解析模型；
步骤S3.7：在财务信息解析模型中预设与类别编号所对应的财务信息字典，财务信息字典设定有一个或多个多元迭代模式的组合，多元迭代模式可为一元至N元的任意个元的组合，其中的每一元代表一个财务字段，将各个多元迭代模式循环遍历文本图像信息文档中所有的字段或图像进行迭代匹配，筛选出与多元迭代模式匹配相一致的字段或图像的多元组合，得到与类别编号所对应的财务信息字典所关联的财务字段；
步骤S3.8：令财务信息解析模型对类别文本图像信息文档集合进行解析，将匹配筛选得到的第一财务字段信息分别与财务信息标注文档中的第二财务字段信息进行比较，根据得到的误差值调整多元迭代模型的解析参数，持续比较后使得误差值小于设定阈值，得到第二财务信息解析模型，使用第二财务信息解析模型生成财务字段信息。
步骤S3.9：根据同一类别编号与对应的所属分类的财务信息解析模型对文本图像信息提取模型所提取的文本和/或图像信息匹配筛选出与预设财务信息字典所关联的财务字段，生成不同的财务记录进行提取；或者，
所述步骤S4包括：
步骤S4.1：在财务账本中创建一个或多个账本字段，所述账本字段与财务信息字典所关联的财务字段，以及影像类别编号相关联；
步骤S4.2：根据账本字段的关联关系，将第一影像中识别解析出的与预设财务信息字典所关联的财务字段的文本及图像信息和影像类别信息记入财务账本内；
步骤S4.3：对财务账本中对应同一条财务记录的多个账本字段在同一账本记录编号下进行合并或更新。
优选地，所述步骤S2、步骤S3和步骤S4包括：
步骤S2：使用预设的文本图像信息提取模型对第一影像中所有的文本及图像信息进行提取；
步骤S3：使用预设的财务信息解析模型，从已提取的文本图像信息中匹配筛选出与预设财务信息字典所关联的财务字段，生成不同的财务记录进行提取，同时对第一影像根据所匹配的财务信息字典按影像生成来源进行分类，生成影像类别信息和影像类别编号；
步骤S4：将影像类别信息及第一影像中识别解析出的与预设财务信息字典所关联的财务字段的文本和/或图像信息记入财务账本内，并根据不同的财务记录给予相应的账本记录编号。
优选地，所述步骤S2包括：
步骤S2.1：从生成财务信息的来源中截屏或录屏财务信息页面，以及与财务信息页面对应的文本图像信息标注文档，形成影像训练集；
步骤S2.2：使用神经网络模型对影像训练集进行文本图像识别训练，得到第一文本图像信息提取模型；
步骤S2.3：在文本图像信息提取模型中设定文本信息以文字及符号组成的单个字段为单位进行识别，图像信息以单个图标为单位进行识别；
步骤S2.4：令文本图像信息提取模型对影像训练集进行识别，将提取得到的第一文本信息和第一图像信息分别与文本图像信息标注文档中的第二文本信息和第二图像信息进行比较，根据得到的误差值调整神经网络模型的识别参数，持续比较后使得误差值小于设定阈值，得到第二文本图像信息提取模型，使用第二文本图像信息提取模型生成影像文本和/或图像信息；或者，
所述步骤S3包括：
步骤S3.1：从第二文本图像信息提取模型生成影像文本和/或图像信息之后得到的文本图像信息文档，以及与文本图像信息文档对应的财务信息标注文档，形成含财务信息的文本图像信息文档集合；
步骤S3.2：使用多元迭代模型对文本图像信息文档集合进行匹配筛选训练，得到第一财务信息解析模型；
步骤S3.3：在财务信息解析模型中预设多个与财务信息来源的分类相对应财务信息字典，每个财务信息字典设定有一个或多个多元迭代模式的组合，多元迭代模式可为一元至N元的任意个元的组合，其中的每一元代表一个财务字段，将各个财务信息字典的多元迭代模式循环遍历文本图像信息文档中所有的字段或图像进行迭代匹配，筛选出与多元迭代模式匹配相一致的字段或图像的多元组合，得到与一类别财务信息来源相对应的财务信息字典所关联的财务字段；
步骤S3.4：根据财务信息解析模型匹配出的与财务信息来源的分类所对应的财务信息字典得到第一影像所生成来源的类别，生成影像类别信息和影像类别编号，第一影像按照财务信息生成来源的分类设定多个分级或者不设定分级，设定多个分级中，第一分级为创建财务信息的软件类别，第二分级为财务信息的记录类别，第三分级为创建财务信息软件的页面布局差异；不设定分级中，所述软件类别、记录类别、页面布局差异保存在财务信息字典中；
步骤S3.5：令财务信息解析模型对类别文本图像信息文档集合进行解析，将匹配筛选得到的第一财务字段信息及第一影像类别信息和第一影像类别编号分别与财务信息标注文档中的第二财务字段信息及第二影像类别信息和第二影像类别编号进行比较，根据得到的误差值调整多元迭代模型的解析参数，持续比较后使得误差值小于设定阈值，得到第二财务信息解析模型，使用第二财务信息解析模型生成财务字段信息及影像类别信息和影像类别编号；
步骤S3.6：根据财务信息解析模型对文本图像信息提取模型所提取的文本和/或图像信息匹配筛选出与预设财务信息字典所关联的财务字段及影像类别信息和编号，生成不同的财务记录进行提取；或者，
所述步骤S4包括：
步骤S4.1：在财务账本中创建一个或多个账本字段，所述账本字段与财务信息字典所关联的财务字段，以及影像类别编号相关联；
步骤S4.2：根据账本字段的关联关系，将第一影像中识别解析出的与预设财务信息字典所关联的财务字段的文本及图像信息和影像类别信息记入财务账本内；
步骤S4.3：对财务账本中对应同一条财务记录的多个账本字段在同一账本记录编号下进行合并或更新。
优选地，所述模块S3和模块S4包括：
模块S3：使用预设的文本图像信息提取模型对第一影像中所有的文本及图像信息进行提取；
根据影像类别编号使用预设的与影像类别编号对应的所属分类的财务信息解析模型，从已提取的文本图像信息中匹配筛选出与预设财务信息字典所关联的财务字段，生成不同的财务记录进行提取；
模块S4：将影像类别信息及第一影像中识别解析出的与预设财务信息字典所关联的财务字段的文本和/或图像信息记入财务账本内，并根据不同的财务记录给予相应的账本记录编号。
优选地，所述模块S3包括：
模块S3.1：从生成财务信息的来源中截屏或录屏财务信息页面，以及与财务信息页面对应的文本图像信息标注文档，形成影像训练集；
模块S3.2：使用神经网络模型对影像训练集进行文本图像识别训练，得到第一文本图像信息提取模型；
模块S3.3：在文本图像信息提取模型中设定文本信息以文字及符号组成的单个字段为单位进行识别，图像信息以单个图标为单位进行识别；
模块S3.4：令文本图像信息提取模型对影像训练集进行识别，将提取得到的第一文本信息和第一图像信息分别与文本图像信息标注文档中的第二文本信息和第二图像信息进行比较，根据得到的误差值调整神经网络模型的识别参数，持续比较后使得误差值小于设定阈值，得到第二文本图像信息提取模型，使用第二文本图像信息提取模型生成影像文本和/或图像信息；或者，
所述模块S3还包括：
模块S3.5：从第二文本图像信息提取模型生成影像文本信息和/或图像信息之后依照类别标准文档归类得到的同一类别编号的文本图像信息文档，以及与文本图像信息文档对应的财务信息标注文档，形成同一类别编号下的含财务信息的类别文本图像信息文档集合；
模块S3.6：使用多元迭代模型对类别文本图像信息文档集合进行匹配筛选训练，得到与同一类别编号对应的所属分类的第一财务信息解析模型；
模块S3.7：在财务信息解析模型中预设与类别编号所对应的财务信息字典，财务信息字典设定有一个或多个多元迭代模式的组合，多元迭代模式可为一元至N元的任意个元的组合，其中的每一元代表一个财务字段，将各个多元迭代模式循环遍历文本图像信息文档中所有的字段或图像进行迭代匹配，筛选出与多元迭代模式匹配相一致的字段或图像的多元组合，得到与类别编号所对应的财务信息字典所关联的财务字段；
模块S3.8：令财务信息解析模型对类别文本图像信息文档集合进行解析，将匹配筛选得到的第一财务字段信息分别与财务信息标注文档中的第二财务字段信息进行比较，根据得到的误差值调整多元迭代模型的解析参数，持续比较后使得误差值小于设定阈值，得到第二财务信息解析模型，使用第二财务信息解析模型生成财务字段信息。
模块S3.9：根据同一类别编号与对应的所属分类的财务信息解析模型对文本图像信息提取模型所提取的文本和/或图像信息匹配筛选出与预设财务信息字典所关联的财务字段，生成不同的财务记录进行提取；或者，
所述模块S4包括：
模块S4.1：在财务账本中创建一个或多个账本字段，所述账本字段与财务信息字典所关联的财务字段，以及影像类别编号相关联；
模块S4.2：根据账本字段的关联关系，将第一影像中识别解析出的与预设财务信息字典所关联的财务字段的文本及图像信息和影像类别信息记入财务账本内；
模块S4.3：对财务账本中对应同一条财务记录的多个账本字段在同一账本记录编号下进行合并或更新。
优选地，所述模块S2、模块S3和模块S4包括：
模块S2：使用预设的文本图像信息提取模型对第一影像中所有的文本及图像信息进行提取；
模块S3：使用预设的财务信息解析模型，从已提取的文本图像信息中匹配筛选出与预设财务信息字典所关联的财务字段，生成不同的财务记录进行提取，同时对第一影像根据所匹配的财务信息字典按影像生成来源进行分类，生成影像类别信息和影像类别编号；
模块S4：将影像类别信息及第一影像中识别解析出的与预设财务信息字典所关联的财务字段的文本和/或图像信息记入财务账本内，并根据不同的财务记录给予相应的账本记录编号。
优选地，所述模块S2包括：
模块S2.1：从生成财务信息的来源中截屏或录屏财务信息页面，以及与财务信息页面对应的文本图像信息标注文档，形成影像训练集；
模块S2.2：使用神经网络模型对影像训练集进行文本图像识别训练，得到第一文本图像信息提取模型；
模块S2.3：在文本图像信息提取模型中设定文本信息以文字及符号组成的单个字段为单位进行识别，图像信息以单个图标为单位进行识别；
模块S2.4：令文本图像信息提取模型对影像训练集进行识别，将提取得到的第一文本信息和第一图像信息分别与文本图像信息标注文档中的第二文本信息和第二图像信息进行比较，根据得到的误差值调整神经网络模型的识别参数，持续比较后使得误差值小于设定阈值，得到第二文本图像信息提取模型，使用第二文本图像信息提取模型生成影像文本和/或图像信息；或者，
所述模块S3包括：
模块S3.1：从第二文本图像信息提取模型生成影像文本和/或图像信息之后得到的文本图像信息文档，以及与文本图像信息文档对应的财务信息标注文档，形成含财务信息的文本图像信息文档集合；
模块S3.2：使用多元迭代模型对文本图像信息文档集合进行匹配筛选训练，得到第一财务信息解析模型；
模块S3.3：在财务信息解析模型中预设多个与财务信息来源的分类相对应财务信息字典，每个财务信息字典设定有一个或多个多元迭代模式的组合，多元迭代模式可为一元至N元的任意个元的组合，其中的每一元代表一个财务字段，将各个财务信息字典的多元迭代模式循环遍历文本图像信息文档中所有的字段或图像进行迭代匹配，筛选出与多元迭代模式匹配相一致的字段或图像的多元组合，得到与一类别财务信息来源相对应的财务信息字典所关联的财务字段；
模块S3.4：根据财务信息解析模型匹配出的与财务信息来源的分类所对应的财务信息字典得到第一影像所生成来源的类别，生成影像类别信息和影像类别编号，第一影像按照财务信息生成来源的分类设定多个分级或者不设定分级，设定多个分级中，第一分级为创建财务信息的软件类别，第二分级为财务信息的记录类别，第三分级为创建财务信息软件的页面布局差异；不设定分级中，所述软件类别、记录类别、页面布局差异保存在财务信息字典中；
模块S3.5：令财务信息解析模型对类别文本图像信息文档集合进行解析，将匹配筛选得到的第一财务字段信息及第一影像类别信息和第一影像类别编号分别与财务信息标注文档中的第二财务字段信息及第二影像类别信息和第二影像类别编号进行比较，根据得到的误差值调整多元迭代模型的解析参数，持续比较后使得误差值小于设定阈值，得到第二财务信息解析模型，使用第二财务信息解析模型生成财务字段信息及影像类别信息和影像类别编号；
模块S3.6：根据财务信息解析模型对文本图像信息提取模型所提取的文本和/或图像信息匹配筛选出与预设财务信息字典所关联的财务字段及影像类别信息和编号，生成不同的财务记录进行提取；或者，
所述模块S4包括：
模块S4.1：在财务账本中创建一个或多个账本字段，所述账本字段与财务信息字典所关联的财务字段，以及影像类别编号相关联；
模块S4.2：根据账本字段的关联关系，将第一影像中识别解析出的与预设财务信息字典所关联的财务字段的文本及图像信息和影像类别信息记入财务账本内；
模块S4.3：对财务账本中对应同一条财务记录的多个账本字段在同一账本记录编号下进行合并或更新。
与现有技术相比，本发明具有如下的有益效果：
1、通过采用人工智能技术中的神经网络模型识别含财务信息的影像并提取财务信息进行记账，解决了传统人工记账的低效问题，达到了能够快速准确地将大量不同来源所生成的财务信息进行汇总记账的效果。
2、通过分类模型对不同交易来源的财务信息进行分类，标识类别信息和类别编号，根据财务字段进行财务记录关联，自动形成财务账本。
3、本申请能够用于财务信息做进一步分析的基础数据，扩大了基础数据的来源范围。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本申请的系统框架示意图；
图2为智能手机app微信中的交易资金流水记录截图；
图3为智能手机app微信中的交易记录截图；
图4为智能手机app微信中的资产记录截图；
图5为本发明实施例3的流程图；
图6为本发明实施例4的流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例1
在提取财务信息用于记账的方法中，依据以下步骤进行。
步骤1：接收含财务信息的影像；
步骤1.1：所接收的含财务信息的影像可为图片或视频等；
步骤1.2：生成图片或视频等的影像来源一般为对包括但不限于创建了财务信息的软件中的交易记录、资金流水记录、资产负债记录等页面进行截屏或录屏获得；资产记录、交易记录均属于财务记录的一种。
步骤2：使用预设的分类模型对含财务信息的影像按生成财务信息的来源进行分类得到影像类别信息和类别编号；
步骤2.1：分类模型为使用神经网络模型预先对含财务信息的影像训练集进行分类识别训练后获得；
步骤2.2：含财务信息的影像训练集包含多个从生成财务信息的来源截屏或录屏含财务信息的页面所获得的图片或视频等，以及与训练集中每个图片和视频等影像所对应的影像类别标注文档；
步骤2.3：影像类别信息可为分级或不分级的分类，分级有多级，第一级分类为创建了财务信息的软件类别，第二级分类为软件中财务信息的记录类别如可分为交易记录、资金流水记录、资产负债记录等，第二级后的次一级或次几级可根据由创建了财务信息的软件的版本差异、软件运行的系统或终端装置的差异造成同一软件类别和记录类别下的显示财务信息的页面布局有所差异，或者同一软件类别和记录类别下的显示财务信息的页面分为多个页面展示等按不同的情况进行后续不同类别的分级，不分级的影像类别信息则为将前述多级分级的类别信息合并为一级类别信息，前述的所有类别信息都与其对应的类别编号共同保存于影像类别标注文档内；
步骤2.4：分类模型的分类识别训练为用神经网络模型识别影像训练集中的一含财务信息的图片或视频等得到类别信息和类别编号，并跟影像训练集中的与所识别的影像相对应的影像信息标注文档内的类别信息和类别编号进行比较得到误差值，根据该误差值调整神经网络模型的参数，将调整参数后的神经网络模型重复进行前述的分类识别训练，当误差值小于预先设定的阈值时的神经网络模型即为分类识别训练后的分类模型；
步骤2.5:使用分类模型对新接收的含财务信息的影像进行识别后获得影像类别信息和类别编号；
步骤3：根据得到的影像类别编号使用预设的与影像类别编号对应的所属分类的财务信息提取模型对影像中一个或多个区域所关联的财务字段的文本及图像信息进行提取；
步骤3.1：影像类别编号所属分类的财务信息提取模型为使用神经网络模型预先对一类别编号下的含财务信息的影像训练集进行财务信息提取识别训练后获得；
步骤3.2：一类别编号下的影像训练集包含多个从生成财务信息的来源截屏或录屏含财务信息的页面所获得的属于同一影像类别编号的图片或视频等，以及与训练集中每个图片和视频等影像所对应的财务信息标注文档；
步骤3.3：财务信息字段的文本及图像信息为影像一个或多个区域所关联的财务字段中的文本及图像信息，一个或多个区域的位置信息及其所关联的财务字段信息和财务字段中的文本及图像信息共同保存于财务信息标注文档内；
步骤3.4：财务信息提取模型的财务信息提取识别训练为用神经网络模型识别一影像类别编号下的影像训练集中的一含财务信息的图片或视频等得到一个或多个区域的位置信息及其所关联的财务字段信息和财务字段中的文本及图像信息，并跟影像训练集中的与所识别的影像所对应的财务信息标注文档内的位置信息、财务字段信息、文本及图像信息进行比较得到误差值，根据该误差值调整神经网络模型的参数，将调整参数后的神经网络模型重复进行前述的财务信息提取识别训练，当误差值小于预先设定的阈值时的神经网络模型即为财务信息提取识别训练后的与一影像类别编号对应的所属分类的财务信息提取模型；
步骤3.5:根据步骤2获得的影像类别编号使用与影像类别编号对应的所属分类的财务信息提取模型对接收的含财务信息的影像进行识别后获得得到一个或多个区域的位置信息及其所关联的财务字段信息和财务字段中的文本及图像信息，一个或多个区域的财务字段信息可集合成一条或多条财务记录并进行编号；
步骤4：将得到的影像类别信息及影像一个或多个区域所关联的财务字段中的文本及图像信息记入财务账本内；
步骤4.1：财务账本可创建或预设一个或多个账本字段，即是在记账时，在账本中的字段与一个或多个财务字段关联，含财务信息的影像中的一个或多个区域所关联的财务字段及影像类别编号可与财务账本中的一个或多个账本字段相关联，财务字段是每个类别影像的字段；
步骤4.2：根据账本字段的关联关系，将影像一个或多个区域所关联的财务字段中的文本及图像信息和影像类别信息记入财务账本内；
步骤4.3：对财务账本中对应同一条财务记录的多个账本字段在同一账本记录编号下进行合并或更新。
实施例2
实施例2可以视为是实施例1的优选例。实施例2说明的提取财务信息用于记账的系统，利用了实施例1说明的提取财务信息用于记账的方法步骤。
如图1所示，在提取财务信息用于记账的系统，接收影像后，进行影像类别分类，根据类别进行影像信息提取，再关联记账。具体的包括以下模块：
模块S1：使用第一设备接收第一影像；
模块S2：使用预设的分类模型对第一影像按生成来源进行分类，生成影像类别信息和影像类别编号；
模块S3：根据影像类别编号使用预设的与影像类别编号对应的所属分类的财务信息提取模型，对第一影像中一个或多个区域所关联的财务字段的文本和/或图像信息，生成不同的财务记录进行提取；
模块S4：将影像类别信息及第一影像中一个或多个区域所关联的财务字段的文本和/或图像信息记入财务账本内，并根据不同的财务记录给予相应的账本记录编号。
具体地，所述第一影像为图片或视频，影像来源为对财务信息软件中的财务信息页面进行截屏或录屏。
具体地，所述模块S2包括：
模块S2.1：从生成财务信息的来源中截屏或录屏财务信息页面，以及与财务信息页面对应的类别标准文档，形成影像训练集；
模块S2.2：使用神经网络模型对影像训练集进行分类识别训练，得到第一分类模型；
模块S2.3：在分类模型中设定多个分级或者不设定分级，设定多个分级中，第一分级为创建财务信息的软件类别，第二分级为财务信息的记录类别，第三分级为创建财务信息软件的页面布局差异；不设定分级中，所述软件类别、记录类别、页面布局差异保存在类别标准文档中；
模块S2.4：令分类模型对影像训练集进行分类识别，将得到的第一类别信息和第一类别编号分别与类别标准文档中的第二类别信息和第二类别编号进行比较，根据得到的误差值调整神经网络模型的分类参数，持续比较后使得误差值小于设定阈值，得到第二分类模型，使用第二分类模型生成影像类别信息和影像类别编号。
具体地，所述模块S3包括：
模块S3.1：从生成财务信息的来源中截屏或录屏之后依照类别标准文档归类得到的同一类别编号的财务信息页面，以及与财务信息页面对应的财务信息标注文档，形成同一类别编号下的含财务信息的类别影像集合；
模块S3.2：使用神经网络模型对类别影像集合进行提取识别训练，得到与同一类别编号对应的所属分类的财务信息提取模型；
模块S3.3：根据同一类别编号与财务信息提取模型对第一影像中一个或多个区域所关联的财务字段的文本和/或图像信息，生成不同的财务记录进行提取。
具体地，所述模块S4包括：
模块S4.1：在财务账本中创建一个或多个账本字段，所述账本字段与第一影像中一个或多个区域所关联的财务字段，以及影像类别编号相关联；
模块S4.2：根据账本字段的关联关系，将第一影像中一个或多个区域所关联的财务字段中的文本及图像信息和影像类别信息记入财务账本内；
模块S4.3：对财务账本中对应同一条财务记录的多个同一账本记录编号下进行合并或更新。
实施例3
如图5所示，在本实施例中对实施例1中的步骤S3、步骤S4进行了进一步优化，本实施例的具体内容如下：
步骤S1：使用第一设备接收第一影像；
步骤S2：使用预设的分类模型对第一影像按生成来源进行分类，生成影像类别信息和影像类别编号；
步骤S3：使用预设的文本图像信息提取模型对第一影像中所有的文本及图像信息进行提取；
步骤S4：根据影像类别编号使用预设的与影像类别编号对应的所属分类的财务信息解析模型，从已提取的文本图像信息中匹配筛选出与预设财务信息字典所关联的财务字段，生成不同的财务记录进行提取；
步骤S5：将影像类别信息及第一影像中识别解析出的与预设财务信息字典所关联的财务字段的文本和/或图像信息记入财务账本内，并根据不同的财务记录给予相应的账本记录编号。
具体的，所述步骤S3包括：
步骤S3.1：从生成财务信息的来源中截屏或录屏财务信息页面，以及与财务信息页面对应的文本图像信息标注文档，形成影像训练集；
步骤S3.2：使用神经网络模型对影像训练集进行文本图像识别训练，得到第一文本图像信息提取模型；
步骤S3.3：在文本图像信息提取模型中设定文本信息以文字及符号组成的单个字段为单位进行识别，图像信息以单个图标为单位进行识别；
步骤S3.4：令文本图像信息提取模型对影像训练集进行识别，将提取得到的第一文本信息和第一图像信息分别与文本图像信息标注文档中的第二文本信息和第二图像信息进行比较，根据得到的误差值调整神经网络模型的识别参数，持续比较后使得误差值小于设定阈值，得到第二文本图像信息提取模型，使用第二文本图像信息提取模型生成影像文本和/或图像信息。
具体的，所述步骤S4包括：
步骤S4.1：从第二文本图像信息提取模型生成影像文本信息和/或图像信息之后依照类别标准文档归类得到的同一类别编号的文本图像信息文档，以及与文本图像信息文档对应的财务信息标注文档，形成同一类别编号下的含财务信息的类别文本图像信息文档集合；
步骤S4.2：使用多元迭代模型对类别文本图像信息文档集合进行匹配筛选训练，得到与同一类别编号对应的所属分类的第一财务信息解析模型；
步骤S4.3：在财务信息解析模型中预设与类别编号所对应的财务信息字典，财务信息字典设定有一个或多个多元迭代模式的组合，多元迭代模式可为一元至N元的任意个元的组合，其中的每一元代表一个财务字段，将各个多元迭代模式循环遍历文本图像信息文档中所有的字段或图像进行迭代匹配，筛选出与多元迭代模式匹配相一致的字段或图像的多元组合，得到与类别编号所对应的财务信息字典所关联的财务字段；
步骤S4.4：令财务信息解析模型对类别文本图像信息文档集合进行解析，将匹配筛选得到的第一财务字段信息分别与财务信息标注文档中的第二财务字段信息进行比较，根据得到的误差值调整多元迭代模型的解析参数，持续比较后使得误差值小于设定阈值，得到第二财务信息解析模型，使用第二财务信息解析模型生成财务字段信息。
步骤S4.5：根据同一类别编号与对应的所属分类的财务信息解析模型对文本图像信息提取模型所提取的文本和/或图像信息匹配筛选出与预设财务信息字典所关联的财务字段，生成不同的财务记录进行提取。
具体的，所述步骤S5包括：
步骤S5.1：在财务账本中创建一个或多个账本字段，所述账本字段与财务信息字典所关联的财务字段，以及影像类别编号相关联；
步骤S5.2：根据账本字段的关联关系，将第一影像中识别解析出的与预设财务信息字典所关联的财务字段的文本及图像信息和影像类别信息记入财务账本内。
实施例4
如图6所示，本发明的工作流程并非只能按照实施例1的流程进行逐步实现，本实施例是在实施例1的基础上进行了流程调整，并对其中的具体步骤进行了优化，具体如下：
步骤S1：使用第一设备接收第一影像；
步骤S2：使用预设的文本图像信息提取模型对第一影像中所有的文本及图像信息进行提取；
步骤S3：使用预设的财务信息解析模型，从已提取的文本图像信息中匹配筛选出与预设财务信息字典所关联的财务字段，生成不同的财务记录进行提取，同时对第一影像根据所匹配的财务信息字典按影像生成来源进行分类，生成影像类别信息和影像类别编号；
步骤S4：将影像类别信息及第一影像中识别解析出的与预设财务信息字典所关联的财务字段的文本和/或图像信息记入财务账本内，并根据不同的财务记录给予相应的账本记录编号。
具体的，所述步骤S2包括：
步骤S2.1：从生成财务信息的来源中截屏或录屏财务信息页面，以及与财务信息页面对应的文本图像信息标注文档，形成影像训练集；
步骤S2.2：使用神经网络模型对影像训练集进行文本图像识别训练，得到第一文本图像信息提取模型；
步骤S2.3：在文本图像信息提取模型中设定文本信息以文字及符号组成的单个字段为单位进行识别，图像信息以单个图标为单位进行识别；
步骤S2.4：令文本图像信息提取模型对影像训练集进行识别，将提取得到的第一文本信息和第一图像信息分别与文本图像信息标注文档中的第二文本信息和第二图像信息进行比较，根据得到的误差值调整神经网络模型的识别参数，持续比较后使得误差值小于设定阈值，得到第二文本图像信息提取模型，使用第二文本图像信息提取模型生成影像文本和/或图像信息。
具体的，所述步骤S3包括：
步骤S3.1：从第二文本图像信息提取模型生成影像文本和/或图像信息之后得到的文本图像信息文档，以及与文本图像信息文档对应的财务信息标注文档，形成含财务信息的文本图像信息文档集合；
步骤S3.2：使用多元迭代模型对文本图像信息文档集合进行匹配筛选训练，得到第一财务信息解析模型；
步骤S3.3：在财务信息解析模型中预设多个与财务信息来源的分类相对应财务信息字典，每个财务信息字典设定有一个或多个多元迭代模式的组合，多元迭代模式可为一元至N元的任意个元的组合，其中的每一元代表一个财务字段，将各个财务信息字典的多元迭代模式循环遍历文本图像信息文档中所有的字段或图像进行迭代匹配，筛选出与多元迭代模式匹配相一致的字段或图像的多元组合，得到与一类别财务信息来源相对应的财务信息字典所关联的财务字段；
步骤S3.4：根据财务信息解析模型匹配出的与财务信息来源的分类所对应的财务信息字典得到第一影像所生成来源的类别，生成影像类别信息和影像类别编号，第一影像按照财务信息生成来源的分类设定多个分级或者不设定分级，设定多个分级中，第一分级为创建财务信息的软件类别，第二分级为财务信息的记录类别，第三分级为创建财务信息软件的页面布局差异；不设定分级中，所述软件类别、记录类别、页面布局差异保存在财务信息字典中；
步骤S3.5：令财务信息解析模型对类别文本图像信息文档集合进行解析，将匹配筛选得到的第一财务字段信息及第一影像类别信息和第一影像类别编号分别与财务信息标注文档中的第二财务字段信息及第二影像类别信息和第二影像类别编号进行比较，根据得到的误差值调整多元迭代模型的解析参数，持续比较后使得误差值小于设定阈值，得到第二财务信息解析模型，使用第二财务信息解析模型生成财务字段信息及影像类别信息和影像类别编号。
步骤S3.6：根据财务信息解析模型对文本图像信息提取模型所提取的文本和/或图像信息匹配筛选出与预设财务信息字典所关联的财务字段及影像类别信息和编号，生成不同的财务记录进行提取。
具体的，所述步骤S4包括：
步骤S4.1：在财务账本中创建一个或多个账本字段，所述账本字段与财务信息字典所关联的财务字段，以及影像类别编号相关联；
步骤S4.2：根据账本字段的关联关系，将第一影像中识别解析出的与预设财务信息字典所关联的财务字段的文本及图像信息和影像类别信息记入财务账本内。
在本实施例中，可以作为元的财务字段包括：账单、月份、金额、名称、时间等等，例如将金额、名称和时间三个元组成一个多元迭代模式，即对应的财务信息字典，同时财务信息字典中也包含了各个元的位置或者顺序。多元迭代匹配的匹配规则包括但不限于如下几种方式：元的种类、元的内容、元的位置、元的顺序......等等。
实施例5
一种提取财务信息用于记账的系统，包括：
模块S1：使用第一设备接收第一影像。
模块S2：使用预设的分类模型对第一影像按生成来源进行分类，生成影像类别信息和影像类别编号。
模块S3：使用预设的文本图像信息提取模型对第一影像中所有的文本及图像信息进行提取。
根据影像类别编号使用预设的与影像类别编号对应的所属分类的财务信息解析模型，从已提取的文本图像信息中匹配筛选出与预设财务信息字典所关联的财务字段，生成不同的财务记录进行提取。
模块S4：将影像类别信息及第一影像中识别解析出的与预设财务信息字典所关联的财务字段的文本和/或图像信息记入财务账本内，并根据不同的财务记录给予相应的账本记录编号。
实施例6
一种提取财务信息用于记账的系统，包括：
模块S1：使用第一设备接收第一影像。
模块S2：使用预设的文本图像信息提取模型对第一影像中所有的文本及图像信息进行提取。
模块S3：使用预设的财务信息解析模型，从已提取的文本图像信息中匹配筛选出与预设财务信息字典所关联的财务字段，生成不同的财务记录进行提取，同时对第一影像根据所匹配的财务信息字典按影像生成来源进行分类，生成影像类别信息和影像类别编号。
模块S4：将影像类别信息及第一影像中识别解析出的与预设财务信息字典所关联的财务字段的文本和/或图像信息记入财务账本内，并根据不同的财务记录给予相应的账本记录编号。
在上述实施例1至实施例6中，各实施例之间的主要区别如下：
实施例1是一种提取财务信息用于记账的方法，首先对影像进行分类，然后根据不同的分类采用相应的财务信息提取模型进行文本及图像信息提取得到财务信息，然后记入财务账本。
实施例2是实施例1所述方法的系统结构。
实施例3是在实施例1的基础上细化了财务字段的获取方法。
实施例4是在实施例1的基础上进行了步骤顺序的调整，采用先进行文本及图像信息提取，再根据多元迭代匹配结果(匹配度最高者)对影像进行分类，然后记入财务账本。
实施例5是实施例3的系统结构。
实施例6是实施例4的系统结构。
优选例1
如图2所示的影像，该影像为智能手机app微信中的交易资金流水记录截图，截图中包含多个可用于记账的财务信息字段；使用预设的分类模型对含财务信息的影像按生成财务信息的来源进行分类得到影像类别信息和类别编号，分类模型根据生成的影像特征向量进行分类，图例的影像类别信息可被分类为微信-资金流水记录-账单，类别编号可为001-002-001；根据得到的影像类别编号使用预设的与影像类别编号对应的所属分类的财务信息提取模型对影像中一个或多个区域所关联的财务字段的文本及图像信息进行提取，图例影像的分类为微信-资金流水记录-账单，该影像分类可提取的多个区域所关联的财务信息字段的文本和图像，如表一所示；将得到的影像类别信息及影像一个或多个区域所关联的财务字段中的文本及图像信息记入财务账本内，预设多个账本字段与提取的财务字段相关联，图例影像提取的财务字段信息与财务账本的账本字段信息的关联关系如表二所示。
表一资金流水记录表
Figure BDA0002661611580000211
Figure BDA0002661611580000221
表二资金流水记录关联表
Figure BDA0002661611580000222
Figure BDA0002661611580000231
Figure BDA0002661611580000241
优选例2
如图3所示的影像，该影像为智能手机app微信中的交易记录截图，截图中包含多个可用于记账的财务信息字段；使用预设的分类模型对含财务信息的影像按生成财务信息的来源进行分类得到影像类别信息和类别编号，分类模型根据生成的影像特征向量进行分类，图例的影像类别信息可被分类为微信-交易记录-账单详情，类别编号可为001-001-001；根据得到的影像类别编号使用预设的与影像类别编号对应的所属分类的财务信息提取模型对影像中一个或多个区域所关联的财务字段的文本及图像信息进行提取，图例影像的分类为微信-交易记录-账单详情，该影像分类可提取的多个区域所关联的财务信息字段的文本和图像，如表三所示；将得到的影像类别信息及影像一个或多个区域所关联的财务字段中的文本及图像信息记入财务账本内，预设多个账本字段与提取的账本字段相关联，图例影像提取的财务字段信息与财务账本的账本字段信息的关联关系如表四所示。
表三交易记录表
Figure BDA0002661611580000251
表四交易记录关联表
Figure BDA0002661611580000252
优选例3
如图4所示的影像，该影像为智能手机app微信中的资产记录截图，截图中包含多个可用于记账的财务信息字段；使用预设的分类模型对含财务信息的影像按生成财务信息的来源进行分类得到影像类别信息和类别编号，分类模型根据生成的影像特征向量进行分类，图例的影像类别信息可被分类为微信-资产记录-钱包，类别编号可为001-003-001；根据得到的影像类别编号使用预设的与影像类别编号对应的所属分类的财务信息提取模型对影像中一个或多个区域所关联的财务字段的文本及图像信息进行提取，图例影像的分类为微信-资产负债记录-钱包，该影像分类可提取的多个区域所关联的财务信息字段的文本和图像如表五所示；将得到的影像类别信息及影像一个或多个区域所关联的财务字段中的文本及图像信息记入财务账本内，预设多个账本字段与提取的财务字段相关联，图例影像提取的财务字段信息与财务账本的账本字段信息的关联关系如表六所示。
表五资产负债记录表
Figure BDA0002661611580000261
表六资产负债记录关联表
Figure BDA0002661611580000262
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种提取财务信息用于记账的方法，其特征在于，包括：
步骤S1：使用第一设备接收第一影像；
步骤S2：使用预设的分类模型对第一影像按生成来源进行分类，生成影像类别信息和影像类别编号；
步骤S3：根据影像类别编号使用预设的与影像类别编号对应的所属分类的财务信息提取模型，对第一影像中一个或多个区域所关联的财务字段的文本和/或图像信息，生成不同的财务记录进行提取；
步骤S4：将影像类别信息及第一影像中一个或多个区域所关联的财务字段的文本和/或图像信息记入财务账本内，并根据不同的财务记录给予相应的账本记录编号。
2.根据权利要求1所述的提取财务信息用于记账的方法，其特征在于，所述第一影像为图片或视频，影像来源为对财务信息软件中的财务信息页面进行截屏或录屏；
所述步骤S2包括：
步骤S2.1：从生成财务信息的来源中截屏或录屏财务信息页面，以及与财务信息页面对应的类别标准文档，形成影像训练集；
步骤S2.2：使用神经网络模型对影像训练集进行分类识别训练，得到第一分类模型；
步骤S2.3：在分类模型中设定多个分级或者不设定分级，设定多个分级中，第一分级为创建财务信息的软件类别，第二分级为财务信息的记录类别，第三分级为创建财务信息软件的页面布局差异；不设定分级中，所述软件类别、记录类别、页面布局差异保存在类别标准文档中；
步骤S2.4：令分类模型对影像训练集进行分类识别，将得到的第一类别信息和第一类别编号分别与类别标准文档中的第二类别信息和第二类别编号进行比较，根据得到的误差值调整神经网络模型的分类参数，持续比较后使得误差值小于设定阈值，得到第二分类模型，使用第二分类模型生成影像类别信息和影像类别编号；或者，
所述步骤S3包括：
步骤S3.1：从生成财务信息的来源中截屏或录屏之后依照类别标准文档归类得到的同一类别编号的财务信息页面，以及与财务信息页面对应的财务信息标注文档，形成同一类别编号下的含财务信息的类别影像集合；
步骤S3.2：使用神经网络模型对类别影像集合进行提取识别训练，得到与同一类别编号对应的所属分类的财务信息提取模型；
步骤S3.3：根据同一类别编号与财务信息提取模型对第一影像中一个或多个区域所关联的财务字段的文本和/或图像信息，生成不同的财务记录进行提取；或者，
所述步骤S4包括：
步骤S4.1：在财务账本中创建一个或多个账本字段，所述账本字段与第一影像中一个或多个区域所关联的财务字段，以及影像类别编号相关联；
步骤S4.2：根据账本字段的关联关系，将第一影像中一个或多个区域所关联的财务字段中的文本及图像信息和影像类别信息记入财务账本内；
步骤S4.3：对财务账本中对应同一条财务记录的多个账本字段在同一账本记录编号下进行合并或更新。
3.一种提取财务信息用于记账的系统，其特征在于，包括：
模块S1：使用第一设备接收第一影像；
模块S2：使用预设的分类模型对第一影像按生成来源进行分类，生成影像类别信息和影像类别编号；
模块S3：根据影像类别编号使用预设的与影像类别编号对应的所属分类的财务信息提取模型，对第一影像中一个或多个区域所关联的财务字段的文本和/或图像信息，生成不同的财务记录进行提取；
模块S4：将影像类别信息及第一影像中一个或多个区域所关联的财务字段的文本和/或图像信息记入财务账本内，并根据不同的财务记录给予相应的账本记录编号。
4.根据权利要求3所述的提取财务信息用于记账的系统，其特征在于，所述第一影像为图片或视频，影像来源为对财务信息软件中的财务信息页面进行截屏或录屏；
所述模块S2包括：
模块S2.1：从生成财务信息的来源中截屏或录屏财务信息页面，以及与财务信息页面对应的类别标准文档，形成影像训练集；
模块S2.2：使用神经网络模型对影像训练集进行分类识别训练，得到第一分类模型；
模块S2.3：在分类模型中设定多个分级或者不设定分级，设定多个分级中，第一分级为创建财务信息的软件类别，第二分级为财务信息的记录类别，第三分级为创建财务信息软件的页面布局差异；不设定分级中，所述软件类别、记录类别、页面布局差异保存在类别标准文档中；
模块S2.4：令分类模型对影像训练集进行分类识别，将得到的第一类别信息和第一类别编号分别与类别标准文档中的第二类别信息和第二类别编号进行比较，根据得到的误差值调整神经网络模型的分类参数，持续比较后使得误差值小于设定阈值，得到第二分类模型，使用第二分类模型生成影像类别信息和影像类别编号；或者，
所述模块S3包括：
模块S3.1：从生成财务信息的来源中截屏或录屏之后依照类别标准文档归类得到的同一类别编号的财务信息页面，以及与财务信息页面对应的财务信息标注文档，形成同一类别编号下的含财务信息的类别影像集合；
模块S3.2：使用神经网络模型对类别影像集合进行提取识别训练，得到与同一类别编号对应的所属分类的财务信息提取模型；
模块S3.3：根据同一类别编号与财务信息提取模型对第一影像中一个或多个区域所关联的财务字段的文本和/或图像信息，生成不同的财务记录进行提取；或者，
所述模块S4包括：
模块S4.1：在财务账本中创建一个或多个账本字段，所述账本字段与第一影像中一个或多个区域所关联的财务字段，以及影像类别编号相关联；
模块S4.2：根据账本字段的关联关系，将第一影像中一个或多个区域所关联的财务字段中的文本及图像信息和影像类别信息记入财务账本内；
模块S4.3：对财务账本中对应同一条财务记录的多个账本字段在同一账本记录编号下进行合并或更新。
5.根据权利要求1所述的提取财务信息用于记账的方法，其特征在于，步骤S3和步骤S4包括：
步骤S3：使用预设的文本图像信息提取模型对第一影像中所有的文本及图像信息进行提取；
根据影像类别编号使用预设的与影像类别编号对应的所属分类的财务信息解析模型，从已提取的文本图像信息中匹配筛选出与预设财务信息字典所关联的财务字段，生成不同的财务记录进行提取；
步骤S4：将影像类别信息及第一影像中识别解析出的与预设财务信息字典所关联的财务字段的文本和/或图像信息记入财务账本内，并根据不同的财务记录给予相应的账本记录编号。
6.根据权利要求5所述的提取财务信息用于记账的方法，其特征在于，所述步骤S3包括：
步骤S3.1：从生成财务信息的来源中截屏或录屏财务信息页面，以及与财务信息页面对应的文本图像信息标注文档，形成影像训练集；
步骤S3.2：使用神经网络模型对影像训练集进行文本图像识别训练，得到第一文本图像信息提取模型；
步骤S3.3：在文本图像信息提取模型中设定文本信息以文字及符号组成的单个字段为单位进行识别，图像信息以单个图标为单位进行识别；
步骤S3.4：令文本图像信息提取模型对影像训练集进行识别，将提取得到的第一文本信息和第一图像信息分别与文本图像信息标注文档中的第二文本信息和第二图像信息进行比较，根据得到的误差值调整神经网络模型的识别参数，持续比较后使得误差值小于设定阈值，得到第二文本图像信息提取模型，使用第二文本图像信息提取模型生成影像文本和/或图像信息；或者，
所述步骤S3还包括：
步骤S3.5：从第二文本图像信息提取模型生成影像文本信息和/或图像信息之后依照类别标准文档归类得到的同一类别编号的文本图像信息文档，以及与文本图像信息文档对应的财务信息标注文档，形成同一类别编号下的含财务信息的类别文本图像信息文档集合；
步骤S3.6：使用多元迭代模型对类别文本图像信息文档集合进行匹配筛选训练，得到与同一类别编号对应的所属分类的第一财务信息解析模型；
步骤S3.7：在财务信息解析模型中预设与类别编号所对应的财务信息字典，财务信息字典设定有一个或多个多元迭代模式的组合，多元迭代模式可为一元至N元的任意个元的组合，其中的每一元代表一个财务字段，将各个多元迭代模式循环遍历文本图像信息文档中所有的字段或图像进行迭代匹配，筛选出与多元迭代模式匹配相一致的字段或图像的多元组合，得到与类别编号所对应的财务信息字典所关联的财务字段；
步骤S3.8：令财务信息解析模型对类别文本图像信息文档集合进行解析，将匹配筛选得到的第一财务字段信息分别与财务信息标注文档中的第二财务字段信息进行比较，根据得到的误差值调整多元迭代模型的解析参数，持续比较后使得误差值小于设定阈值，得到第二财务信息解析模型，使用第二财务信息解析模型生成财务字段信息。
步骤S3.9：根据同一类别编号与对应的所属分类的财务信息解析模型对文本图像信息提取模型所提取的文本和/或图像信息匹配筛选出与预设财务信息字典所关联的财务字段，生成不同的财务记录进行提取；或者，
所述步骤S4包括：
步骤S4.1：在财务账本中创建一个或多个账本字段，所述账本字段与财务信息字典所关联的财务字段，以及影像类别编号相关联；
步骤S4.2：根据账本字段的关联关系，将第一影像中识别解析出的与预设财务信息字典所关联的财务字段的文本及图像信息和影像类别信息记入财务账本内；
步骤S4.3：对财务账本中对应同一条财务记录的多个账本字段在同一账本记录编号下进行合并或更新。
7.根据权利要求1所述的提取财务信息用于记账的方法，其特征在于，所述步骤S2、步骤S3和步骤S4包括：
步骤S2：使用预设的文本图像信息提取模型对第一影像中所有的文本及图像信息进行提取；
步骤S3：使用预设的财务信息解析模型，从已提取的文本图像信息中匹配筛选出与预设财务信息字典所关联的财务字段，生成不同的财务记录进行提取，同时对第一影像根据所匹配的财务信息字典按影像生成来源进行分类，生成影像类别信息和影像类别编号；
步骤S4：将影像类别信息及第一影像中识别解析出的与预设财务信息字典所关联的财务字段的文本和/或图像信息记入财务账本内，并根据不同的财务记录给予相应的账本记录编号。
8.根据权利要求7所述的提取财务信息用于记账的方法，其特征在于，所述步骤S2包括：
步骤S2.1：从生成财务信息的来源中截屏或录屏财务信息页面，以及与财务信息页面对应的文本图像信息标注文档，形成影像训练集；
步骤S2.2：使用神经网络模型对影像训练集进行文本图像识别训练，得到第一文本图像信息提取模型；
步骤S2.3：在文本图像信息提取模型中设定文本信息以文字及符号组成的单个字段为单位进行识别，图像信息以单个图标为单位进行识别；
步骤S2.4：令文本图像信息提取模型对影像训练集进行识别，将提取得到的第一文本信息和第一图像信息分别与文本图像信息标注文档中的第二文本信息和第二图像信息进行比较，根据得到的误差值调整神经网络模型的识别参数，持续比较后使得误差值小于设定阈值，得到第二文本图像信息提取模型，使用第二文本图像信息提取模型生成影像文本和/或图像信息；或者，
所述步骤S3包括：
步骤S3.1：从第二文本图像信息提取模型生成影像文本和/或图像信息之后得到的文本图像信息文档，以及与文本图像信息文档对应的财务信息标注文档，形成含财务信息的文本图像信息文档集合；
步骤S3.2：使用多元迭代模型对文本图像信息文档集合进行匹配筛选训练，得到第一财务信息解析模型；
步骤S3.3：在财务信息解析模型中预设多个与财务信息来源的分类相对应财务信息字典，每个财务信息字典设定有一个或多个多元迭代模式的组合，多元迭代模式可为一元至N元的任意个元的组合，其中的每一元代表一个财务字段，将各个财务信息字典的多元迭代模式循环遍历文本图像信息文档中所有的字段或图像进行迭代匹配，筛选出与多元迭代模式匹配相一致的字段或图像的多元组合，得到与一类别财务信息来源相对应的财务信息字典所关联的财务字段；
步骤S3.4：根据财务信息解析模型匹配出的与财务信息来源的分类所对应的财务信息字典得到第一影像所生成来源的类别，生成影像类别信息和影像类别编号，第一影像按照财务信息生成来源的分类设定多个分级或者不设定分级，设定多个分级中，第一分级为创建财务信息的软件类别，第二分级为财务信息的记录类别，第三分级为创建财务信息软件的页面布局差异；不设定分级中，所述软件类别、记录类别、页面布局差异保存在财务信息字典中；
步骤S3.5：令财务信息解析模型对类别文本图像信息文档集合进行解析，将匹配筛选得到的第一财务字段信息及第一影像类别信息和第一影像类别编号分别与财务信息标注文档中的第二财务字段信息及第二影像类别信息和第二影像类别编号进行比较，根据得到的误差值调整多元迭代模型的解析参数，持续比较后使得误差值小于设定阈值，得到第二财务信息解析模型，使用第二财务信息解析模型生成财务字段信息及影像类别信息和影像类别编号；
步骤S3.6：根据财务信息解析模型对文本图像信息提取模型所提取的文本和/或图像信息匹配筛选出与预设财务信息字典所关联的财务字段及影像类别信息和编号，生成不同的财务记录进行提取；或者，
所述步骤S4包括：
步骤S4.1：在财务账本中创建一个或多个账本字段，所述账本字段与财务信息字典所关联的财务字段，以及影像类别编号相关联；
步骤S4.2：根据账本字段的关联关系，将第一影像中识别解析出的与预设财务信息字典所关联的财务字段的文本及图像信息和影像类别信息记入财务账本内；
步骤S4.3：对财务账本中对应同一条财务记录的多个账本字段在同一账本记录编号下进行合并或更新。
9.根据权利要求3所述的提取财务信息用于记账的系统，其特征在于，所述模块S3和模块S4包括：
模块S3：使用预设的文本图像信息提取模型对第一影像中所有的文本及图像信息进行提取；
根据影像类别编号使用预设的与影像类别编号对应的所属分类的财务信息解析模型，从已提取的文本图像信息中匹配筛选出与预设财务信息字典所关联的财务字段，生成不同的财务记录进行提取；
模块S4：将影像类别信息及第一影像中识别解析出的与预设财务信息字典所关联的财务字段的文本和/或图像信息记入财务账本内，并根据不同的财务记录给予相应的账本记录编号。
10.根据权利要求3所述的提取财务信息用于记账的系统，其特征在于，所述模块S2、模块S3和模块S4包括：
模块S2：使用预设的文本图像信息提取模型对第一影像中所有的文本及图像信息进行提取；
模块S3：使用预设的财务信息解析模型，从已提取的文本图像信息中匹配筛选出与预设财务信息字典所关联的财务字段，生成不同的财务记录进行提取，同时对第一影像根据所匹配的财务信息字典按影像生成来源进行分类，生成影像类别信息和影像类别编号；
模块S4：将影像类别信息及第一影像中识别解析出的与预设财务信息字典所关联的财务字段的文本和/或图像信息记入财务账本内，并根据不同的财务记录给予相应的账本记录编号。
CN202010906379.8A 2020-06-18 2020-09-01 提取财务信息用于记账的方法和系统 Active CN111986015B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2020105606475 2020-06-18
CN202010560647 2020-06-18

Publications (2)

Publication Number Publication Date
CN111986015A true CN111986015A (zh) 2020-11-24
CN111986015B CN111986015B (zh) 2024-04-30

Family

ID=73448490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010906379.8A Active CN111986015B (zh) 2020-06-18 2020-09-01 提取财务信息用于记账的方法和系统

Country Status (1)

Country Link
CN (1) CN111986015B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511393A (zh) * 2022-01-26 2022-05-17 广州和颂教育科技有限公司 财务数据处理方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170301026A1 (en) * 2016-04-18 2017-10-19 Laurent Bensemana Method and system for building an enhanced investment portfolio
CN107657039A (zh) * 2017-09-28 2018-02-02 努比亚技术有限公司 账单记录方法、移动终端及计算机可读存储介质
CN108830745A (zh) * 2018-06-29 2018-11-16 国网上海市电力公司 基于监控信息的电网连锁故障诊断、预警、评估系统
CN109271977A (zh) * 2018-11-23 2019-01-25 四川长虹电器股份有限公司 票据自动分类训练方法、装置及自动分类方法、装置
CN109583448A (zh) * 2018-10-25 2019-04-05 北京奇虎科技有限公司 一种记账方法、装置、电子设备及介质
CN109636557A (zh) * 2018-12-11 2019-04-16 厦门商集网络科技有限责任公司 一种基于票据识别的智能分类记账方法及设备
CN110020038A (zh) * 2017-08-01 2019-07-16 阿里巴巴集团控股有限公司 网页信息提取方法、装置、系统及电子设备
CN110414927A (zh) * 2019-07-05 2019-11-05 西安网算数据科技有限公司 一种票据处理自动生成凭证的方法及装置
CN110517130A (zh) * 2019-09-04 2019-11-29 厦门商集网络科技有限责任公司 一种智能记账方法及其系统
CN111159417A (zh) * 2020-04-07 2020-05-15 北京泰迪熊移动科技有限公司 文本内容关键信息的提取方法、装置、设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170301026A1 (en) * 2016-04-18 2017-10-19 Laurent Bensemana Method and system for building an enhanced investment portfolio
CN110020038A (zh) * 2017-08-01 2019-07-16 阿里巴巴集团控股有限公司 网页信息提取方法、装置、系统及电子设备
CN107657039A (zh) * 2017-09-28 2018-02-02 努比亚技术有限公司 账单记录方法、移动终端及计算机可读存储介质
CN108830745A (zh) * 2018-06-29 2018-11-16 国网上海市电力公司 基于监控信息的电网连锁故障诊断、预警、评估系统
CN109583448A (zh) * 2018-10-25 2019-04-05 北京奇虎科技有限公司 一种记账方法、装置、电子设备及介质
CN109271977A (zh) * 2018-11-23 2019-01-25 四川长虹电器股份有限公司 票据自动分类训练方法、装置及自动分类方法、装置
CN109636557A (zh) * 2018-12-11 2019-04-16 厦门商集网络科技有限责任公司 一种基于票据识别的智能分类记账方法及设备
CN110414927A (zh) * 2019-07-05 2019-11-05 西安网算数据科技有限公司 一种票据处理自动生成凭证的方法及装置
CN110517130A (zh) * 2019-09-04 2019-11-29 厦门商集网络科技有限责任公司 一种智能记账方法及其系统
CN111159417A (zh) * 2020-04-07 2020-05-15 北京泰迪熊移动科技有限公司 文本内容关键信息的提取方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511393A (zh) * 2022-01-26 2022-05-17 广州和颂教育科技有限公司 财务数据处理方法及系统

Also Published As

Publication number Publication date
CN111986015B (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
Altwaijry et al. Arabic handwriting recognition system using convolutional neural network
US10489682B1 (en) Optical character recognition employing deep learning with machine generated training data
US9626555B2 (en) Content-based document image classification
US8494273B2 (en) Adaptive optical character recognition on a document with distorted characters
US10896357B1 (en) Automatic key/value pair extraction from document images using deep learning
CN112464781B (zh) 基于图神经网络的文档图像关键信息提取及匹配方法
CN111325205B (zh) 文档图像方向识别方法、装置及模型的训练方法、装置
CN111652232A (zh) 票据识别方法及装置、电子设备和计算机可读存储介质
KR20190131631A (ko) 딥러닝과 문자인식으로 구현한 시각주의 모델 기반의 문서 종류 자동 분류 장치 및 방법
Haurilet et al. Spase-multi-label page segmentation for presentation slides
CN114092938B (zh) 图像的识别处理方法、装置、电子设备及存储介质
Bhattacharya et al. Understanding contents of filled-in Bangla form images
CN111986015B (zh) 提取财务信息用于记账的方法和系统
CN112508000A (zh) 一种用于ocr图像识别模型训练数据生成的方法及设备
Koushik et al. Automated marks entry processing in handwritten answer scripts using character recognition techniques
Ahmed et al. A generic method for automatic ground truth generation of camera-captured documents
WO2022222777A1 (zh) 识别文档的方法和装置
Calvo-Zaragoza et al. Document analysis for music scores via machine learning
Anagha et al. An automatic histogram detection and information extraction from document images
Kumar et al. Line based robust script identification for indianlanguages
Bagwe et al. Optical character recognition using deep learning techniques for printed and handwritten documents
Santiago Garcia Country-independent MRTD layout extraction and its applications
Graef et al. A novel hybrid optical character recognition approach for digitizing text in forms
Kurniawan et al. Image processing: capturing student attendance data
Kedlaya et al. An End-to-End System for Text Extraction in Indian Identity Cards

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant