CN113919927A - 一种基于数据处理的审计平台 - Google Patents

Abstract

本发明公开了一种基于数据处理的审计平台，包括审计平台本体，所述审计平台本体包括应用服务模块、数据处理和服务模块以及基础设施模块，所述应用服务模块由登录管理模块、数据查询模块、数据下载模块、算法分析模块、系统监控模块和模型管理模块组成，模型管理模块由算法模型管理模块、算法开发模块和业务模型模块组成，数据处理和服务模块由数据服务模块、预处理模块、数据爬取模块和资源库组成。本发明以爬虫、数据预处理、信息化、模型化和可视化为核心，通过大数据分析、人工智能、知识图谱、文字识别等先进技术，提高爬虫解析服务和智能化科研服务的能力，满足使用需求。

Description

一种基于数据处理的审计平台

技术领域

本发明涉及审计平台技术领域，尤其涉及一种基于数据处理的审计平台。

背景技术

审计平台即是利用联网服务器专用空间构建审计工作一条龙以促进审计资源整合加强信息传递，现有的审计平台，其爬虫解析服务和智能化科研服务能力效果不理想，不能满足使用需求，因此我们提出了一种基于数据处理的审计平台用于解决上述问题。

发明内容

基于背景技术存在的技术问题，本发明提出了一种基于数据处理的审计平台。

本发明提出的一种基于数据处理的审计平台，包括审计平台本体，所述审计平台本体包括应用服务模块、数据处理和服务模块以及基础设施模块，所述应用服务模块由登录管理模块、数据查询模块、数据下载模块、算法分析模块、系统监控模块和模型管理模块组成，模型管理模块由算法模型管理模块、算法开发模块和业务模型模块组成，数据处理和服务模块由数据服务模块、预处理模块、数据爬取模块和资源库组成，基础设施由Web服务器、数据库服务器、爬虫服务器、大数据存储服务器、数据预处理和分析服务器、索引服务模块、负载均衡服务器、校园网络、文献库和互联网组成。

优选地，所述数据服务模块包括索引服务模块、数据授权服务模块、数据查询服务模块、数据下载服务模块、分析服务模块、标签服务模块和数据管控服务模块。

优选地，所述预处理模块包括数据转换模块、数据清洗模块、数据去重模块、数据智能识别模块、数据补全模块、数据关联模块、数据融合模块、数据对比模块、数据标识模块和数据抽取模块。

优选地，所述数据爬取模块包括爬虫网站库、爬虫管理模块、配置管理模块和解析管理模块。

优选地，所述资源库包括财务库、舆情库、丑闻库、上市公司业务库和学术文献库。

优选地，所述财务库包括上市公司基本情况、资产负债表、利润表、现金流量表、所有者权益变动表、比率结构、偿债能力、经营能力、盈力能力、现金流分析、风险水平、公司治理综合信息、十大股东信息、股本结构信息、财务报表审计意见信息、财务报表附注信息，其中财务报表附注信息包括公司营业收入的地区构成和公司营业收入的内容构成，公司营业收入的地区构成用于推导公司是区域性公司还是全国或全球性企业，公司营业收入的内容构成用于推导公司是专业化企业还是多元化企业，其中上市公司的基本情况包括对公司文化、公司战略、公司竞争策略的介绍。

优选地，所述偿债能力包括流动比率、速动比率、现金比率、营运资金与借款比、资产负债率、利息保障倍数、经营活动产生的现金流量净额/流动负债、现金流利息保障倍数、现金流到期债务保障倍数、长期借款与总资产比和有形资产负债率等，其中流动负债包括有息债和无息债的比重结构；所述经营能力包括存货与收入比、存货周转率、营业周期、应付账款周转率、营运资金(资本)周转率、现金及现金等价物周转率、流动资产与收入比和流动资产周转率等。

优选地，所述模型管理模块进行财务舞弊预警分析，分析以下元素：

元素1：高管层面的预警信号，包括信用特征、道德价值观、个人生活方面特征、权力集中程度、人口特征、心理特征、背景特征、社会资本网络、离职率分析、薪酬激励、盈利压力、业绩承诺；

元素2：关系层面的预警信号，包括与金融机构关系、与关联企业关系、与注册会计师关系、与律师关系、与投资者和监管机构的关系；

元素3：行业层面的预警信号，包括行业生命周期、竞争程度、行业地位、技术风险、行业会计处理特点；

元素4：组织结构层面的预警信号，包括组织结构复杂程度、机构分布、董事会结构、董事会专业委员会、董事会权力；

元素5：财务结果和经营层面的预警信号，包括资产、负债、所有者权益、收入、费用、成本及相关财务指标、信用披露指标；

元素6：会计异常的预警信号，包括原始凭证异常、记账凭证异常、账簿异常；

元素7：外部监督，包括媒体监督、分析师跟踪、举报；

具体分析步骤为：

步骤11、基于历史数据、案例，利用人工智能技术深度学习，确定上述元素的权重和有效性；

步骤12、基于现有数据、材料，确定每项元素的异常程度；

步骤13、利用模糊综合评价、回归分析等数学和运筹学方法，计算预测上市公司财务舞弊指数。

优选地，所述模型管理模块进行审计风险识别和防范分析，具体分析步骤为：

步骤21、确定重大错报风险因素集及其子集，包括战略风险、经营流程风险、控制风险、会计风险、财务舞弊风险；

步骤22、确定检查风险因素集及其子集，包括客户关系维度、审计人员维度、审计方案维度、审计证据、审计程序维度、审计方法维度、审计标准维度；

步骤23、确定重大错报风险因素权重集；

步骤24、确定检查风险因素重集，基于财务舞弊和审计失败的历史数据、案例，利用人工智能技术深度学习，确定上述元素的权重和有效性；

步骤25、对重大错报风险、检查风险内涵的各因素指标进行评价或给出明确风险值，基于现有数据、材料，进行专家判断、人工智能深度学习；

步骤26、明确重大错报风险、检查风险单因素风险防范手段，利用人工智能爬取技术进行规律总结；

步骤27、利用模糊综合评价、回归分析等数学和运筹学方法，确定审计风险识别模型，审计风险＝重大错报风险×检查风险，判定结果分为：较高风险；中等风险；较低风险；

步骤28、利用审计失败、财务造假案例进行人工智能模拟、训练学习。

步骤29、基于上述审计风险识别模型的单因素评价和综合评价结果，明确审计风险的单因素防范手段和综合防范措施。

本发明以爬虫、数据预处理、信息化、模型化和可视化为核心，通过大数据分析、人工智能、知识图谱、文字识别等先进技术，提高爬虫解析服务和智能化科研服务的能力，满足使用需求。

附图说明

图1为本发明提出的一种基于数据处理的审计平台的系统框图；

图2为本发明提出的一种基于数据处理的审计平台的应用服务模块的系统框图；

图3为本发明提出的一种基于数据处理的审计平台的数据处理和服务模块的系统框图；

图4为本发明提出的一种基于数据处理的审计平台的数据服务模块的系统框图；

图5为本发明提出的一种基于数据处理的审计平台的预处理模块的系统框图；

图6为本发明提出的一种基于数据处理的审计平台的数据爬取模块的系统框图；

图7为本发明提出的一种基于数据处理的审计平台的基础设施的系统框图。

具体实施方式

下面结合具体实施例对本发明作进一步解说。

实施例

参照图1-7，本实施例提出了一种基于数据处理的审计平台，包括审计平台本体，审计平台本体包括应用服务模块、数据处理和服务模块以及基础设施模块，应用服务模块由登录管理模块、数据查询模块、数据下载模块、算法分析模块、系统监控模块和模型管理模块组成，模型管理模块由算法模型管理模块、算法开发模块和业务模型模块组成，数据处理和服务模块由数据服务模块、预处理模块、数据爬取模块和资源库组成，算法模型管理模块是提供工程化的环境，完成一站式的算法/数据研发，通过把算法集中起来，构成算法模型资源池，和系统其他部分通过接口进行交互，减少算法变更对系统的影响，并通过手段来规范使用算法的方式，把日常使用的算法集中起来构成算法模块，同时规范算法模块的使用方式，方便算法的共享使用，实现基于业务场景的流程配置，支持跨多种异构存储/计算资源平台，实现算法及模型的快速部署和复制，使得算法工程师或者数据开发工程师在构建数据应用的时候从解决实际业务场景出发，组合配置多种类型的算法流程，从而快速实现和沉淀解决业务问题的工作流，依托算法模型管理功能实现跨平台多异构任务的快速部署和上线，提高工作效率，算法开发模块实现算法开发、分享、模型训练服务，通过可视化或者命令行来操作实现算法开发，用户通过调用模型和算法，然后系统将相应的算法转换成对应的计算类型调用底层计算资源平台进行运算和操作，资源库的数据是由原始库的数据经过清洗、转换、关联、比对等数据处理过程后形成的标准数据，在资源库的数据结构设计上，以原始库数据结构为基础，补充必要的数据字段；在数据表设计上，将相同表结构的数据表进行适当的合并，并保留原始库的表名以方便进行溯源；数据加工过程设计是资源库设计中最核心的部分，这部分要进行数据标准、数据元的设计，以及原始数据和标准数据元的关联设计，从而将资源库的数据处理成符合标准的数据，数据服务模块通过提供标准化、模板化的应用服务接口来对外提供数据资源的开放能力，包含面向上层业务应用和面向外部业务系统的服务，所有服务都能注册、发布和使用，主要包括数据授权、数据索引、数据查询、数据订阅、标签服务和数据可视化等数据服务功能，其中数据可视化是通用可视化分析引擎能够借助于图形化分析手段，清晰有效地通过可视化方式表达数据分析逻辑，自助式构建数据治理可视化分析和业务预警可视化分析，满足数据治理分析简洁、高效、灵活及多元化的可视化展示要求，主要展示数据治理全周期运行情况，从宏观层面分析展示数据接入、数据处理、数据管控、资源库、数据应用等的总体概况，数据处理和服务模块利用数据处理系统对接入的数据进行探查、提取、清洗、转换、关联、比对、标识、融合等数据操作，对经过处理后的数据，按照原始库、资源库、主题库、专题库的形式进行组织，形成数据资源池，并以服务的方式为上层提供数据支撑，实现对数据从接入处理到对外服务的全流程监管，基础设施由Web服务器、数据库服务器、爬虫服务器、大数据存储服务器、数据预处理和分析服务器、索引服务模块、负载均衡服务器、校园网络、文献库和互联网组成，爬虫服务器通过爬虫对关心的网站、舆情和非财务数据进行爬取，并对数据进行相关的处理。

本实施例中，数据服务模块包括索引服务模块、数据授权服务模块、数据查询服务模块、数据下载服务模块、分析服务模块、标签服务模块和数据管控服务模块，索引服务模块提供数据资源的位置检索服务，通过统一的索引服务检索接口，根据所请求的要素值通过索引服务可以快速定位到资源的所在中心、所在省市、所在系统、所在库表信息等，数据授权服务模块为用户分配各类系统功能权限和数据资源访问权限，在实际授权过程中，通过动态授权、鉴权管理等验证角色是否拥有访问数据的权限，数据查询服务模块以预设或自定义的数据项为单一查询条件或组合查询条件，通过标准化的查询功能配置和服务接口调用，建立基于条件查询的分类分目查询功能和一键式查询功能，实现按要素分类查询或基于不确定关键字的一键式全网检索，标签服务模块提供动态标签计算和静态标签计算功能，以便能够支持平台沉淀的大量历史数据的标签计算，也支持对实时流入的事件进行标签计算，其中，动态标签计算主要是针对实时流数据进行标签标识，静态标签计算主要是针对已入库的数据进行离线计算，并进行标签识别，还可基于“灾害事故、管理对象、应急环境、救援资源”等应急要素及其已有的标签构建该要素的画像，形成对要素的全方位、多角度、面向各业务场景的刻画与描述，并通过标签管理平台提供的对外服务接口提供标签画像的查询服务；

预处理模块包括数据转换模块、数据清洗模块、数据去重模块、数据智能识别模块、数据补全模块、数据关联模块、数据融合模块、数据对比模块、数据标识模块和数据抽取模块，数据清洗模块是对业务数据中不符合标准规范或者无效的数据进行相关操作，在进行数据整合之前先定义数据的清洗规则，并对符合清洗规则的数据设置数据的错误级别，当进行数据整合过程中遇到符合清洗规则的数据时，系统将把这些业务数据置为问题数据，并根据错误的严重程度进行归类，对出现的问题数据进行标记后存入问题数据库中，经确认后再决定是通过清洗转换后入库，还是直接放弃，抑或其他方式处理，对于清洗前后的数据还需进行一致性检查，以保证清洗结果集的质量，数据去重模块包括结构化去重和非结构化数据去重，结构化数据去重在指定时间窗口内，所有字段如果相同，则合并为一条记录；非结构化数据(二进制文件)去重是在指定时间窗口内，对非结构化数据指定范围计算MD5值(32字节长度)，相同MD5值只保留一个原始文件，数据抽取模块对数据提取，并对原始数据进行规范化处理的过程，主要针对半结构化数据，通过数据提取过程，从这些半结构化数据中提取出盈利能力、偿债能力等相关信息，并将提取的信息以结构化形式进行存储，数据补全模块主要对数据中的缺失字段、空值进行处理填充，如针对有身份证号码信息的字段，但相应的出生年月、性别字段却是空值或缺失，则可以根据身份证号码计算出出生年月、性别进行信息回填，数据关联模块包括数据关联组件，需要完成在不同数据集之间的关联，实现在不同数据集的联动，为数据治理、业务应用的需求提供支撑，根据数据处理流程设计的要求，数据关联组件的功能包括：标准关联、字典关联、半结构化关联、关联回填，数据融合模块包括标准化去噪后的数据需要采取必要的数据融合手段，按照业务的主题库、专题库以及数据应用需要的方式组织，在数据融合的过程中，应该以合理的方式设计数据结构，保障数据应用对数据高效分析查询的同时，尽可能的减少冗余，数据对比模块通过数据比对功能实现对两个数据集中的数据内容、数据格式的比较核查，找出相同的数据或不同的数据，在业务应用场景上主要实现以下数据比对功能，数据标识模块依托标签引擎结合应急业务知识库、标签规则库对数据进行标识，标签规则库提供标签的定义、内容、版本、关联等，通过读取标签规则库的内容，对数据进行映射，通过人工或智能的方式实现对数据打标，以便提升数据的价值密度，并为上层应用提供支撑；

数据爬取模块包括爬虫网站库、爬虫管理模块、配置管理模块和解析管理模块，爬虫网站库用于相关网站库的管理，包括导入、查询和导出，爬虫管理模块用于对爬虫集群进行管理，包括爬虫任务的调度、定时更新、爬虫监控等，主要实现对数据接入任务的管理，支持数据接入任务的创建、查询、删除等功能，并可指定接入任务所使用的抽取方法、转换规则和加载方式，并根据指定类型进行任务的调度执行，配置管理模块用于对爬虫所需的各种配置进行管理，解析管理模块能够根据不同的web网站进行解析管理，包括模板管理、关键词管理等；

资源库包括财务库、舆情库、丑闻库、上市公司业务库和学术文献库，财务库包括上市公司基本情况、资产负债表、利润表、现金流量表、所有者权益变动表、比率结构、偿债能力、经营能力、盈力能力、现金流分析、风险水平、公司治理综合信息、十大股东信息、股本结构信息、财务报表审计意见信息、财务报表附注信息，其中财务报表附注信息包括公司营业收入的地区构成和公司营业收入的内容构成，公司营业收入的地区构成用于推导公司是区域性公司还是全国或全球性企业，公司营业收入的内容构成用于推导公司是专业化企业还是多元化企业，其中上市公司的基本情况包括对公司文化、公司战略、公司竞争策略的介绍，偿债能力包括流动比率、速动比率、现金比率、营运资金与借款比、资产负债率、利息保障倍数、经营活动产生的现金流量净额/流动负债、现金流利息保障倍数、现金流到期债务保障倍数、长期借款与总资产比和有形资产负债率等，其中流动负债包括有息债和无息债的比重结构，经营能力包括存货与收入比、存货周转率、营业周期、应付账款周转率、营运资金(资本)周转率、现金及现金等价物周转率、流动资产与收入比和流动资产周转率等，丑闻库通过特定的关键词和深度学习模型分析出上市公司的丑闻模型。

其中，模型管理模块进行财务舞弊预警分析，分析以下元素：

元素1：高管层面的预警信号，包括信用特征、道德价值观、个人生活方面特征、权力集中程度、人口特征、心理特征、背景特征、社会资本网络、离职率分析、薪酬激励、盈利压力、业绩承诺；

元素2：关系层面的预警信号，包括与金融机构关系、与关联企业关系、与注册会计师关系、与律师关系、与投资者和监管机构的关系；

元素3：行业层面的预警信号，包括行业生命周期、竞争程度、行业地位、技术风险、行业会计处理特点；

元素4：组织结构层面的预警信号，包括组织结构复杂程度、机构分布、董事会结构、董事会专业委员会、董事会权力；

元素5：财务结果和经营层面的预警信号，包括资产、负债、所有者权益、收入、费用、成本及相关财务指标、信用披露指标；

元素6：会计异常的预警信号，包括原始凭证异常、记账凭证异常、账簿异常；

元素7：外部监督，包括媒体监督、分析师跟踪、举报；

具体分析步骤为：

步骤11、基于历史数据、案例，利用人工智能技术深度学习，确定上述元素的权重和有效性；

步骤12、基于现有数据、材料，确定每项元素的异常程度；

步骤13、利用模糊综合评价、回归分析等数学和运筹学方法，计算预测上市公司财务舞弊指数。

其中，模型管理模块进行审计风险识别和防范分析，具体分析步骤为：

步骤21、确定重大错报风险因素集及其子集，包括战略风险、经营流程风险、控制风险、会计风险、财务舞弊风险；

步骤22、确定检查风险因素集及其子集，包括客户关系维度、审计人员维度、审计方案维度、审计证据、审计程序维度、审计方法维度、审计标准维度；

步骤23、确定重大错报风险因素权重集；

步骤24、确定检查风险因素重集，基于财务舞弊和审计失败的历史数据、案例，利用人工智能技术深度学习，确定上述元素的权重和有效性；

步骤25、对重大错报风险、检查风险内涵的各因素指标进行评价或给出明确风险值，基于现有数据、材料，进行专家判断、人工智能深度学习；

步骤26、明确重大错报风险、检查风险单因素风险防范手段，利用人工智能爬取技术进行规律总结；

步骤27、利用模糊综合评价、回归分析等数学和运筹学方法，确定审计风险识别模型，审计风险＝重大错报风险×检查风险，判定结果分为：较高风险；中等风险；较低风险；

步骤28、利用审计失败、财务造假案例进行人工智能模拟、训练学习。

步骤29、基于上述审计风险识别模型的单因素评价和综合评价结果，明确审计风险的单因素防范手段和综合防范措施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种基于数据处理的审计平台，包括审计平台本体，所述审计平台本体包括应用服务模块、数据处理和服务模块以及基础设施模块，其特征在于，所述应用服务模块由登录管理模块、数据查询模块、数据下载模块、算法分析模块、系统监控模块和模型管理模块组成，模型管理模块由算法模型管理模块、算法开发模块和业务模型模块组成，数据处理和服务模块由数据服务模块、预处理模块、数据爬取模块和资源库组成，基础设施由Web服务器、数据库服务器、爬虫服务器、大数据存储服务器、数据预处理和分析服务器、索引服务模块、负载均衡服务器、校园网络、文献库和互联网组成。

2.根据权利要求1所述的一种基于数据处理的审计平台，其特征在于，所述数据服务模块包括索引服务模块、数据授权服务模块、数据查询服务模块、数据下载服务模块、分析服务模块、标签服务模块和数据管控服务模块。

3.根据权利要求1所述的一种基于数据处理的审计平台，其特征在于，所述预处理模块包括数据转换模块、数据清洗模块、数据去重模块、数据智能识别模块、数据补全模块、数据关联模块、数据融合模块、数据对比模块、数据标识模块和数据抽取模块。

4.根据权利要求1所述的一种基于数据处理的审计平台，其特征在于，所述数据爬取模块包括爬虫网站库、爬虫管理模块、配置管理模块和解析管理模块。

5.根据权利要求1所述的一种基于数据处理的审计平台，其特征在于，所述资源库包括财务库、舆情库、丑闻库、上市公司业务库和学术文献库。

6.根据权利要求5所述的一种基于数据处理的审计平台，其特征在于，所述财务库包括上市公司基本情况、资产负债表、利润表、现金流量表、所有者权益变动表、比率结构、偿债能力、经营能力、盈力能力、现金流分析、风险水平、公司治理综合信息、十大股东信息、股本结构信息、财务报表审计意见信息、财务报表附注信息，其中财务报表附注信息包括公司营业收入的地区构成和公司营业收入的内容构成，公司营业收入的地区构成用于推导公司是区域性公司还是全国或全球性企业，公司营业收入的内容构成用于推导公司是专业化企业还是多元化企业，其中上市公司的基本情况包括对公司文化、公司战略、公司竞争策略的介绍。

7.根据权利要求6所述的一种基于数据处理的审计平台，其特征在于，所述偿债能力包括流动比率、速动比率、现金比率、营运资金与借款比、资产负债率、利息保障倍数、经营活动产生的现金流量净额/流动负债、现金流利息保障倍数、现金流到期债务保障倍数、长期借款与总资产比和有形资产负债率等，其中流动负债包括有息债和无息债的比重结构；所述经营能力包括存货与收入比、存货周转率、营业周期、应付账款周转率、营运资金(资本)周转率、现金及现金等价物周转率、流动资产与收入比和流动资产周转率等。

8.根据权利要求7所述的一种基于数据处理的审计平台，其特征在于，所述模型管理模块进行财务舞弊预警分析，分析以下元素：

元素1：高管层面的预警信号，包括信用特征、道德价值观、个人生活方面特征、权力集中程度、人口特征、心理特征、背景特征、社会资本网络、离职率分析、薪酬激励、盈利压力、业绩承诺；

元素2：关系层面的预警信号，包括与金融机构关系、与关联企业关系、与注册会计师关系、与律师关系、与投资者和监管机构的关系；

元素3：行业层面的预警信号，包括行业生命周期、竞争程度、行业地位、技术风险、行业会计处理特点；

元素4：组织结构层面的预警信号，包括组织结构复杂程度、机构分布、董事会结构、董事会专业委员会、董事会权力；

元素5：财务结果和经营层面的预警信号，包括资产、负债、所有者权益、收入、费用、成本及相关财务指标、信用披露指标；

元素6：会计异常的预警信号，包括原始凭证异常、记账凭证异常、账簿异常；

元素7：外部监督，包括媒体监督、分析师跟踪、举报；

具体分析步骤为：

步骤11、基于历史数据、案例，利用人工智能技术深度学习，确定上述元素的权重和有效性；

步骤12、基于现有数据、材料，确定每项元素的异常程度；

步骤13、利用模糊综合评价、回归分析等数学和运筹学方法，计算预测上市公司财务舞弊指数。

9.根据权利要求7所述的一种基于数据处理的审计平台，其特征在于，所述模型管理模块进行审计风险识别和防范分析，具体分析步骤为：

步骤21、确定重大错报风险因素集及其子集，包括战略风险、经营流程风险、控制风险、会计风险、财务舞弊风险；

步骤22、确定检查风险因素集及其子集，包括客户关系维度、审计人员维度、审计方案维度、审计证据、审计程序维度、审计方法维度、审计标准维度；

步骤23、确定重大错报风险因素权重集；

步骤24、确定检查风险因素重集，基于财务舞弊和审计失败的历史数据、案例，利用人工智能技术深度学习，确定上述元素的权重和有效性；

步骤25、对重大错报风险、检查风险内涵的各因素指标进行评价或给出明确风险值，基于现有数据、材料，进行专家判断、人工智能深度学习；

步骤26、明确重大错报风险、检查风险单因素风险防范手段，利用人工智能爬取技术进行规律总结；

步骤27、利用模糊综合评价、回归分析等数学和运筹学方法，确定审计风险识别模型，审计风险＝重大错报风险×检查风险，判定结果分为：较高风险；中等风险；较低风险；

步骤28、利用审计失败、财务造假案例进行人工智能模拟、训练学习。

步骤29、基于上述审计风险识别模型的单因素评价和综合评价结果，明确审计风险的单因素防范手段和综合防范措施。

Images