CN116757561A - 一种基于知识图谱的审计工作质量评估方法与系统 - Google Patents
一种基于知识图谱的审计工作质量评估方法与系统 Download PDFInfo
- Publication number
- CN116757561A CN116757561A CN202311057477.9A CN202311057477A CN116757561A CN 116757561 A CN116757561 A CN 116757561A CN 202311057477 A CN202311057477 A CN 202311057477A CN 116757561 A CN116757561 A CN 116757561A
- Authority
- CN
- China
- Prior art keywords
- audit
- content
- index
- processed
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012550 audit Methods 0.000 title claims abstract description 885
- 238000001303 quality assessment method Methods 0.000 title claims abstract description 93
- 238000013441 quality evaluation Methods 0.000 claims abstract description 99
- 238000011156 evaluation Methods 0.000 claims abstract description 85
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims description 47
- 238000004422 calculation algorithm Methods 0.000 claims description 41
- 238000004364 calculation method Methods 0.000 claims description 38
- 239000011159 matrix material Substances 0.000 claims description 30
- 238000005516 engineering process Methods 0.000 claims description 28
- 238000012360 testing method Methods 0.000 claims description 28
- 238000007726 management method Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 12
- 238000003058 natural language processing Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000003860 storage Methods 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 239000000463 material Substances 0.000 description 32
- 230000008569 process Effects 0.000 description 20
- 238000012552 review Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000011160 research Methods 0.000 description 5
- 238000005065 mining Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000012954 risk control Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明专利申请提供了一种基于知识图谱的审计工作质量评估方法与系统，包括：获取审计内容；基于所述审计内容，利用预先构建的审计质量评估指标体系分解模型对所述审计内容进行指标要素分解，得到所述审计内容对应的指标要素；基于所述审计内容对应的指标要素，利用预先构建的审计质量评估模型对所述审计内容进行质量评估，得到所述审计内容对应的质量评估结果；本发明专利申请通过构建审计质量评估指标体系，将多源异构的审计内容整合为高效的数据结构存储，为审计质量评估模块提供数据支撑；通过对审计内容进行质量评估实现对审计工作提供多维度在线评估能力，有利于提高审计质量和有效性。
Description
技术领域
本发明涉及智能评估审计技术领域，特别涉及一种基于知识图谱的审计工作质量评估方法与系统。
背景技术
目前，随着公司业务的不断延展和深入发展，被审计的业务范围以及数据量日益扩大、数据结构日益复杂，亟需利用新技术与业务融合，敏捷快速的响应公司信息化建设规模不断扩大情况下的审计工作质量管控需求。
审计工作贯穿于审计全过程，在审计的计划阶段，审计人员会根据公司项目的总体情况大致确定审计风险，然后对重要性水平作出初步设定，在此基础上决定审计程序的性质和范围。审计人员在审计实施阶段终结阶段，会根据重要性标准对所审计的公司项目进行分析和评价。而由于在审计过程中缺乏相应的标准，审计人员在审计过程中需要根据具体环境做出恰当的判断，这对于审计人员的素质、经验要求较高，导致审计工作中编写的材料质量参差不齐，由此可见审计工作质量评估在审计工作中的迫切性。
在目前的审计工作质量评估过程中，各种项目资料、佐证材料等一部分是通过打包上传至数字化审计平台实现上传，一部分是通过邮件的形式进行上传。上传方式不统一，且打包上传的效率不高。且在上传后，评审和被审双方还需要对材料反复多次进行确认，才能确认最终版上传材料，十分低效。评审专家在获取到项目资料或佐证材料后，需人工进行拆解，将不同类别的材料分发至不同领域的专家手中进行评审。在人工分发的过程中，可能会出现遗漏，或错发的现象。综合历届的审计工作质量评估结果来看，存在问题包括评估结果的评定主观性强，企业仅能看到最终的评价结果，无法查看评分过程及评分政策依据。目前的评审流程是由总部分发佐证文件等材料至各类专家，评审专家进行专项打分。由于评审全部是人为主观判断，初评的结果可能会存在较大的差异。后面会再进行多轮的讨论、复核以确认最终的评价结果。
发明内容
本发明专利申请提供了一种基于知识图谱的审计工作质量评估方法，包括：
获取审计内容；
基于所述审计内容，利用预先构建的审计质量评估指标体系分解模型对所述审计内容进行指标要素分解，得到所述审计内容对应的指标要素；
基于所述审计内容对应的指标要素，利用预先构建的审计质量评估模型对所述审计内容进行质量评估，得到所述审计内容对应的质量评估结果；
其中，所述审计内容包括：审计记录、审计底稿和审计报告；所述审计质量评估指标体系分解模型是基于审计工作评价指标构建的；所述审计质量评估模型是基于知识图谱技术构建的；所述质量评估结果包括：项目名称、审计记录平均分、审计底稿平均分和审计报告得分。
优选的，所述审计质量评估模型包括如下的执行过程：
基于所述审计内容对应的指标要素，利用自然语言处理技术进行词嵌入处理，得到处理后审计内容；
基于所述处理后的审计内容，利用聚类算法对所述审计内容进行聚类计算，得到聚类计算结果；
基于所述处理后的审计内容，对所述处理后的审计内容进行风险预测，得到所述审计内容对应发生风险审计问题的概率；
基于所述聚类计算结果和所述审计内容对应发生风险审计问题的概率，结合审计工作质量评估规则引擎，得到所述审计内容对应的质量评估结果。
优选的，所述基于所述处理后的审计内容，利用聚类算法对所述审计内容进行聚类计算，得到聚类计算结果，包括：
基于所述处理后的审计内容，利用余弦相似度算法计算所述处理后的审计内容中审计文本之间的相似度；
基于所述处理后的审计内容中审计文本之间的相似度和审计文本的数据数量，利用图聚类算法对所述审计内容进行聚类计算，得到聚类计算结果。
优选的，所述基于所述处理后的审计内容，对所述处理后的审计内容进行风险预测，得到所述审计内容对应发生风险审计问题的概率，包括：
对所述处理后的审计内容中包含的审计问题进行数据识别，得到数据识别结果；
根据所述数据识别结果，采用FP-growth算法构建问题概率映射矩阵；
从所述问题概率映射矩阵中查询目标问题对应的共现问题概率，并将所述目标问题对应的共现问题概率作为所述审计内容对应发生风险审计问题的概率。
优选的，所述审计记录对应的审计工作评价指标包括：审计记录要素是否齐全、审计记录中的审计项目名称与审计通知书中的是否一致、被审核单位是否已签字确认和审计事项与审计事项记录相匹配；
所述审计底稿对应的审计工作评价指标包括：审计事项与审计事项记录相匹配、审计底稿要素是否齐全、审计底稿中的审计项目名称与审计通知书中的是否一致、问题分类是否准确、审计底稿中的审计问题与审计记录是否一致、是否执行“一事一底稿”要求、引用的法规信息是否齐全、政策依据是否与审计问题充分相关、政策依据是否在有效期、审计结论与审计问题分类是否匹配、问题结论与建议与政策依据是否匹配、被审计单位的是否已确认、审计报告要素是否齐全和审计报告中的审计项目名称与审计通知书中的是否一致；
所述审计报告对应的审计工作评价指标包括：审计问题描述是否归集在正确的问题分类下、审计报告中的审计问题与审计底稿中的审计问题一致和相关工作意见和建议与审计发现的主要问题是否匹配。
优选的，所述审计记录要素是否齐全对应的指标要素包括：日期、索引号、审计项目名称、被审计单位、审计事项、审计事项记录和附件名称；
所述审计记录中的审计项目名称与审计通知书中的是否一致对应的指标要素包括：审计记录信息和审计项目名称；
所述被审核单位是否已签字确认对应的指标要素包括：被审计单位核实情况记录和经办人签字；
所述审计事项与审计事项记录相匹配对应的指标要素包括：审计事项和审计事项记录；
所述审计底稿要素是否齐全对应的指标要素包括：日期、索引号、审计项目名称、被审计单位、审计事项、审计内容、附件名称、问题分类、政策依据、审计结论及处理意见，建议、被审计单位核实情况记录和编制人；
所述审计底稿中的审计项目名称与审计通知书中的是否一致对应的指标要素包括：审计记录、审计项目名称、审计通知书和审计项目名称；
所述问题分类是否准确对应的指标要素包括：审计问题和问题分类；
所述审计底稿中的审计问题与审计记录是否一致对应的指标要素包括：审计底稿信息、审计问题和审计记录；
所述审计事项、是否执行“一事一底稿”要求对应的指标要素包括：审计底稿信息、审计问题和审计记录；
所述引用的法规信息是否齐全对应的指标要素包括：名称、文号、发文单位和日期；
所述政策依据是否与审计问题充分相关对应的指标要素包括：审计问题和政策依据；
所述政策依据是否在有效期对应的指标要素包括：政策依据、发文日期和废止日期；
所述审计结论与审计问题分类是否匹配对应的指标要素包括：审计结论及处理意见和审计问题分类；
所述问题结论与建议与政策依据是否匹配对应的指标要素包括：审计结论及处理意见和政策依据；
所述被审计单位的是否已确认对应的指标要素包括：被审计单位核实情况记录和经办人签字；
所述审计报告要素是否齐全对应的指标要素包括：公司基本情况、公司经营管理情况、重大经营事项及风险、审计发现的主要问题、审计发现责任认定、年度内外部审计发现问题整改情况和审计建议；
所述审计报告中的审计项目名称与审计通知书中的是否一致对应的指标要素包括：审计记录、审计项目名称、审计通知书和审计项目名称；
所述审计问题描述是否归集在正确的问题分类下对应的指标要素包括：审计问题和问题分类；
所述审计报告中的审计问题与审计底稿中的审计问题一致对应的指标要素包括：审计底稿、审计内容、审计发现问题明细表和事实表述；
相关工作意见和建议与审计发现的主要问题是否匹配对应的指标要素包括：审计发现问题明细表、事实表述、审计发现问题明细表、审计意见、审计发现问题明细表和报告中定性。
优选的，一种基于知识图谱的审计工作质量评估方法，还包括：
对所述审计质量评估模型进行优化；
所述对所述审计质量评估模型进行优化，包括：
将历史的审计内容作为测试数据；
利用当前的审计质量评估模型对所述测试数据进行模型评估，得到模型评估结果；
根据所述模型评估结果对所述审计质量评估模型中的参数进行调整，得到优化后的审计质量评估模型；
其中，所述模型评估结果包括：测试数据对应的混淆矩阵、测试数据对应的ROC曲线和测试数据对应的AUC值。
基于同一发明构思，本发明专利申请提供了一种基于知识图谱的审计工作质量评估系统，包括：
内容获取模块：用于获取审计内容；
要素分解模块：用于基于所述审计内容，利用预先构建的审计质量评估指标体系分解模型对所述审计内容进行指标要素分解，得到审计内容对应的指标要素；
质量评估模块：用于基于所述审计内容对应的指标要素，利用预先构建的审计质量评估模型对所述审计内容进行质量评估，得到审计内容对应的质量评估结果；
其中，所述内容获取模块中的审计内容包括：审计记录、审计底稿和审计报告；所述要素分解模块中的审计质量评估指标体系分解模型是基于审计工作评价指标构建的；所述质量评估模块中的审计质量评估模型是基于知识图谱技术构建的；所述质量评估结果包括：项目名称、审计记录平均分、审计底稿平均分和审计报告得分。
优选的，所述质量评估模块中的审计质量评估模型包括如下的执行过程：
基于所述审计内容对应的指标要素，利用自然语言处理技术进行词嵌入处理，得到处理后审计内容；
基于所述处理后的审计内容，利用聚类算法对所述审计内容进行聚类计算，得到聚类计算结果；
基于所述处理后的审计内容，对所述处理后的审计内容进行风险预测，得到所述审计内容对应发生风险审计问题的概率；
基于所述聚类计算结果和所述审计内容对应发生风险审计问题的概率，结合审计工作质量评估规则引擎，得到所述审计内容对应的质量评估结果。
优选的，所述质量评估模块中基于所述处理后的审计内容，利用聚类算法对所述审计内容进行聚类计算，得到聚类计算结果，包括：
基于所述处理后的审计内容，利用余弦相似度算法计算所述处理后的审计内容中审计文本之间的相似度；
基于所述处理后的审计内容中审计文本之间的相似度和审计文本的数据数量，利用图聚类算法对所述审计内容进行聚类计算，得到聚类计算结果。
优选的，所述质量评估模块中基于所述处理后的审计内容，对所述处理后的审计内容进行风险预测，得到所述审计内容对应发生风险审计问题的概率，包括：
对所述处理后的审计内容中包含的审计问题进行数据识别，得到数据识别结果；
根据所述数据识别结果，采用FP-growth算法构建问题概率映射矩阵；
从所述问题概率映射矩阵中查询目标问题对应的共现问题概率，并将所述目标问题对应的共现问题概率作为所述审计内容对应发生风险审计问题的概率。
优选的，所述要素分解模块中的审计记录对应的审计工作评价指标包括：审计记录要素是否齐全、审计记录中的审计项目名称与审计通知书中的是否一致、被审核单位是否已签字确认和审计事项与审计事项记录相匹配；
所述审计底稿对应的审计工作评价指标包括：审计事项与审计事项记录相匹配、审计底稿要素是否齐全、审计底稿中的审计项目名称与审计通知书中的是否一致、问题分类是否准确、审计底稿中的审计问题与审计记录是否一致、是否执行“一事一底稿”要求、引用的法规信息是否齐全、政策依据是否与审计问题充分相关、政策依据是否在有效期、审计结论与审计问题分类是否匹配、问题结论与建议与政策依据是否匹配、被审计单位的是否已确认、审计报告要素是否齐全和审计报告中的审计项目名称与审计通知书中的是否一致；
所述审计报告对应的审计工作评价指标包括：审计问题描述是否归集在正确的问题分类下、审计报告中的审计问题与审计底稿中的审计问题一致和相关工作意见和建议与审计发现的主要问题是否匹配。
优选的，所述要素分解模块中的审计记录要素是否齐全对应的指标要素包括：日期、索引号、审计项目名称、被审计单位、审计事项、审计事项记录和附件名称；
所述审计记录中的审计项目名称与审计通知书中的是否一致对应的指标要素包括：审计记录信息和审计项目名称；
所述被审核单位是否已签字确认对应的指标要素包括：被审计单位核实情况记录和经办人签字；
所述审计事项与审计事项记录相匹配对应的指标要素包括：审计事项和审计事项记录；
所述审计底稿要素是否齐全对应的指标要素包括：日期、索引号、审计项目名称、被审计单位、审计事项、审计内容、附件名称、问题分类、政策依据、审计结论及处理意见，建议、被审计单位核实情况记录和编制人；
所述审计底稿中的审计项目名称与审计通知书中的是否一致对应的指标要素包括：审计记录、审计项目名称、审计通知书和审计项目名称；
所述问题分类是否准确对应的指标要素包括：审计问题和问题分类；
所述审计底稿中的审计问题与审计记录是否一致对应的指标要素包括：审计底稿信息、审计问题和审计记录；
所述审计事项、是否执行“一事一底稿”要求对应的指标要素包括：审计底稿信息、审计问题和审计记录；
所述引用的法规信息是否齐全对应的指标要素包括：名称、文号、发文单位和日期；
所述政策依据是否与审计问题充分相关对应的指标要素包括：审计问题和政策依据；
所述政策依据是否在有效期对应的指标要素包括：政策依据、发文日期和废止日期；
所述审计结论与审计问题分类是否匹配对应的指标要素包括：审计结论及处理意见和审计问题分类；
所述问题结论与建议与政策依据是否匹配对应的指标要素包括：审计结论及处理意见和政策依据；
所述被审计单位的是否已确认对应的指标要素包括：被审计单位核实情况记录和经办人签字；
所述审计报告要素是否齐全对应的指标要素包括：公司基本情况、公司经营管理情况、重大经营事项及风险、审计发现的主要问题、审计发现责任认定、年度内外部审计发现问题整改情况和审计建议；
所述审计报告中的审计项目名称与审计通知书中的是否一致对应的指标要素包括：审计记录、审计项目名称、审计通知书和审计项目名称；
所述审计问题描述是否归集在正确的问题分类下对应的指标要素包括：审计问题和问题分类；
所述审计报告中的审计问题与审计底稿中的审计问题一致对应的指标要素包括：审计底稿、审计内容、审计发现问题明细表和事实表述；
相关工作意见和建议与审计发现的主要问题是否匹配对应的指标要素包括：审计发现问题明细表、事实表述、审计发现问题明细表、审计意见、审计发现问题明细表和报告中定性。
优选的，所述一种基于知识图谱的审计工作质量评估系统还包括：
对所述审计质量评估模型进行优化；
所述对所述审计质量评估模型进行优化，包括：
将历史的审计内容作为测试数据；
利用当前的审计质量评估模型对所述测试数据进行模型评估，得到模型评估结果；
根据所述模型评估结果对所述审计质量评估模型中的参数进行调整，得到优化后的审计质量评估模型；
其中，所述模型评估结果包括：测试数据对应的混淆矩阵、测试数据对应的ROC曲线和测试数据对应的AUC值。
与最接近的现有技术相比，本发明具有的有益效果如下：
本发明专利申请提供了一种基于知识图谱的审计工作质量评估方法与系统，包括： 获取审计内容；基于所述审计内容，利用预先构建的审计质量评估指标体系分解模型对所述审计内容进行指标要素分解，得到所述审计内容对应的指标要素；基于所述审计内容对应的指标要素，利用预先构建的审计质量评估模型对所述审计内容进行质量评估，得到所述审计内容对应的质量评估结果；其中，所述审计内容包括：审计记录、审计底稿和审计报告；所述审计质量评估指标体系分解模型是基于审计工作评价指标构建的；所述审计质量评估模型是基于知识图谱技术构建的；所述质量评估结果包括：项目名称、审计记录平均分、审计底稿平均分和审计报告得分；本发明专利申请通过审计质量评估指标体系构建、审计质量评估模块构建两个部分，知识图谱结合审计质量评估指标体系负责将多源异构的审计数据整合为高效的数据结构存储，为审计质量评估模块提供数据支撑，审计质量评估模块对审计工作提供多维度在线评估能力，对审计工作的整体水平进行评价和监控，有助于提高审计质量和有效性。
本发明的其它特征将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明专利申请提供的一种基于知识图谱的审计工作质量评估方法流程示意图；
图2为本发明专利申请提供的一种基于知识图谱的审计工作质量评估方法中质量评估流程执行图；
图3为本发明专利申请提供的一种基于知识图谱的审计工作质量评估方法整体框架示意图；
图4为本发明专利申请提供的一种基于知识图谱的审计工作质量评估系统结构组成示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1
本发明专利申请提供了一种基于知识图谱的审计工作质量评估方法，流程示意图如图1所示，包括：
步骤1：获取审计内容；
步骤2：基于所述审计内容，利用预先构建的审计质量评估指标体系分解模型对所述审计内容进行指标要素分解，得到所述审计内容对应的指标要素；
步骤3：基于所述审计内容对应的指标要素，利用预先构建的审计质量评估模型对所述审计内容进行质量评估，得到所述审计内容对应的质量评估结果；
其中，所述审计内容包括：审计记录、审计底稿和审计报告；所述审计质量评估指标体系分解模型是基于审计工作评价指标构建的；所述审计质量评估模型是基于知识图谱技术构建的；所述质量评估结果包括：项目名称、审计记录平均分、审计底稿平均分和审计报告得分。
具体的，步骤2中所述审计质量评估模型包括如下的执行过程：
基于所述审计内容对应的指标要素，利用自然语言处理技术进行词嵌入处理，得到处理后审计内容；
基于所述处理后的审计内容，利用聚类算法对所述审计内容进行聚类计算，得到聚类计算结果；
基于所述处理后的审计内容，对所述处理后的审计内容进行风险预测，得到所述审计内容对应发生风险审计问题的概率；
基于所述聚类计算结果和所述审计内容对应发生风险审计问题的概率，结合审计工作质量评估规则引擎，得到所述审计内容对应的质量评估结果。
本发明专利申请提供的方法的基本思路是按照“构建审计质量评估指标体系-构建审计工作质量评估模块”路线进行建设，整体流程如下：
1. 首先利用基于知识图谱带来的天然关联检索分析的特点，以及多种语义关系、多维问题挖掘的能力，从相关考核管理办法及审计质量管理需求等维度梳理审计工作质量评价标准，并对评价指标进行要素分解，确定各要素支撑的数据，通过知识图谱对审计工作质量评估指标对应的要素数据进行语义关联，构建审计质量评估指标体系，并设计审计质量评估规则引擎，使其具备对审计工作在质量评估方面进行多维度问题挖掘和能力评估能力。
2. 构建基于自然语言处理技术的审计质量评估模型，使其具备对审计工作过程中的审计记录、审计底稿、审计报告等过程资料的关键要素知识抽取能力，从而构建审计领域知识图谱，在构建的知识图谱基础上，通过基于图聚类及链接预测的多维评估技术，结合审计工作质量评估规则引擎，实现对审计工作的多维度在线评估能力，对审计工作的整体水平进行评价和监控，有助于提高审计质量和有效性。
所述基于所述处理后的审计内容，利用聚类算法对所述审计内容进行聚类计算，得到聚类计算结果，包括：
基于所述处理后的审计内容，利用余弦相似度算法计算所述处理后的审计内容中审计文本之间的相似度；
基于所述处理后的审计内容中审计文本之间的相似度和审计文本的数据数量，利用图聚类算法对所述审计内容进行聚类计算，得到聚类计算结果。
所述基于所述处理后的审计内容，对所述处理后的审计内容进行风险预测，得到所述审计内容对应发生风险审计问题的概率，包括：
对所述处理后的审计内容中包含的审计问题进行数据识别，得到数据识别结果；
根据所述数据识别结果，采用FP-growth算法构建问题概率映射矩阵；
从所述问题概率映射矩阵中查询目标问题对应的共现问题概率，并将所述目标问题对应的共现问题概率作为所述审计内容对应发生风险审计问题的概率。
所述审计记录对应的审计工作评价指标和指标要素，
相关工作意见和建议与审计发现的主要问题是否匹配对应的指标要素包括：审计发现问题明细表、事实表述、审计发现问题明细表、审计意见、审计发现问题明细表和报告中定性。
在对审计内容进行质量评估时，如图2所示，包括：考核管理模块、佐证管理模块、结果管理模块、审计结果评估质量分析、审计问题分析、数据接入、评估接口。具体介绍如下：
考核管理：参照近年来的审计工作质量评估标准来看，评审标准中的范围、标准、权重、审核重点等信息都是逐年发生变化的。在搭建评估体系模型的过程中，各项指标参数都需要灵活配置以满足审核标准的制定。建立评估模型搭建系统，可选择指标类型及相应的指标作为考核依据，并选择相应的分值权重。可对指标类型设置整体的分值权重上限。评估体系模型搭建，一次考评中，可包含多个考评指标。考核管理用于配置审计结果质量评估考核的内容及评分标准。考核内容中的指标项是基于审计结果质量评估指标体系而设定的。考核管理包括三个预设的考核，考核的类别分别是审计记录，审计底稿，及审计报告。审计记录中可配置的指标包括：审计记录要素是否齐全，审计记录中的审计项目名称与审计通知书中的是否一致，被审核单位是否已签字确认，审计事项与审计事项记录是否匹配。审计底稿中可配置的指标包括：审计底稿要素是否齐全，审计事项与审计事项记录相匹配，审计底稿中的审计项目名称与审计通知书中的是否一致，问题分类是否准确，审计底稿中的审计问题与审计记录是否对应，是否执行“一事一底稿”要求，引用的法规信息是否齐全，政策依据是否与审计问题充分相关，政策依据是否在有效期，审计结论与审计问题分类是否匹配，问题结论与建议与政策依据是否匹配，被审计单位的是否已确认。审计报告中可配置的指标包括：审计报告要素是否齐全，审计报告中的审计项目名称与审计通知书中的是否一致，审计问题描述是否归集在正确的问题分类下，审计报告中的审计问题与审计底稿中的审计问题一致，相关工作意见和建议与审计发现的主要问题是否匹配。
佐证管理：在目前的审计工作质量评估过程中，各种项目资料、佐证材料等一部分是通过打包上传至数字化审计平台实现上传，一部分是通过邮件的形式进行上传。上传方式不统一，且打包上传的效率不高。且在上传后，评审和被审双方还需要对材料反复多次进行确认，才能确认最终版上传材料，十分低效。评审专家在获取到项目资料或佐证材料后，需人工进行拆解，将不同类别的材料分发至不同领域的专家手中进行评审。在人工分发的过程中，可能会出现遗漏，或错发的现象。在审计工作质量评估过程中所需要的项目资料、佐证材料等可以全部实现在平台进行上传，可根据不同评估指标一对一上传不同的材料文件等，省去后续人工分发的工作。同时，在上传过程中，可查看由系统推荐的不同年度的类似评估指标的高评分材料，或材料模板，供网省专家进行参考，以便高质量的修改自身的佐证材料等。在上传后可继续对已上传的材料进行反复修改，直至最终确认。佐证管理用于查询及确认审计项目中参与结果评估的材料内容。审计项目数据在归档后会自动被抽取到知识图谱中参与后续的智能评估。在佐证管理页可看到所有数字化审计平台的审计项目名称，审计项目进度，及已同步的文件材料数量，点击“查看详情”可进入详情页。
结果管理：综合历届的审计工作质量评估结果来看，存在问题包括评估结果的评定主观性强，企业仅能看到最终的评价结果，无法查看评分过程及评分依据。目前的评审流程是由总部分发佐证文件等材料至各类专家，评审专家进行专项打分。由于评审全部是人为主观判断，初评的结果可能会存在较大的差异。后面会再进行多轮的讨论、复核以确认最终的评价结果。结果管理的目标是建立评估结果管理系统，在审计工作质量评估工作结束后，可看到质量评估指标，相应的打分结果，和打分依据，包括专家给出的文字说明内容和选择的相关案例等内容。经过智能评估后，评估结果可在结果管理中查看。审计结果以审计项目的维度进行展示，经过综合评估后，会对每个项目出具一个综合评价分数。同步自数字化审计平台的已完结项目，会自动在系统中自动评分流程，并在结果管理中出示评分结果。评分结果包括项目名称，审计记录平均分，及满分分值。审计底稿平均分，及满分分值。审计报告得分。点击查看详情，可进入结果详情页。
审计结果评估质量分析：图聚类是一种极具竞争力的聚类算法，图聚类是一种基于图划分理论的算法。与其他聚类算法相比，图聚类算法有些明显的优势。该方法可识别任意形状的聚类，使其在现实生活中得到广泛的应用。目前，在许多领域都成功地运用了图聚类算法，比如文本挖掘，网页划分，图像分割，视频分割，语音识别等。在审计结果质量评估中，图聚类算法的应用可以帮助审计人员更全面地理解评估材料之间的相互关系，并且更好地发现评估材料中的问题。通过将评估材料以类别为维度进行分类分析，图聚类算法可以帮助审计人员将评估结果分析后，提高审计结果质量的薄弱点。具体而言，图聚类算法可以将相似的评估材料分到同一个聚类中，不同的聚类之间则是互相独立的。通过这种方式，审计人员可以更好地发现评估材料之间的相似性和差异性，并且能够更好地了解评估结果的整体情况。评分结果分析按考核类别分为三组分析内容，包括审计记录，审计底稿，及审计报告。每组统计都包含一个当前组整体的结果分析，及按项目维度分组后的统计分析，内容包括平均分，审计材料数量，审计材料占比，高频出现的失分指标及出现频次。这些功能可以帮助审计人员更深入地了解评估材料之间的关系，并且可以更快地发现评估材料中的问题。通过图聚类算法的应用，审计人员可以更加高效地进行审计结果质量评估，提高审计工作的效率和准确性。图谱以审计项目-审计记录-失分指标的形式进行链接。
数据接入：通过数字化审计平台的智能辅助写作系统，可以高效的将信息录入到系统图数据库中。以便后续的审计结果质量评估技术研究。
评估接口：在数字化审计平台的智能辅助写作系统页面中，在当前某个类型的文件的编辑过程中，也可以进行相关审计文件质量评估相关操作。质量评估的相关测评指标来源于质量评估系统中的相关配置。智能辅助写作系统中审计记录的质量评估。在智能辅助写作系统的审计记录编辑页面右边工具栏中，选择质量评估功能，点击开始评估，将会对当前填写的内容，进行相关的质量评估。基于审计工作质量评价标准，对评价指标进行要素分解，分解成明细因素，构建审计工作质量评估指标体系，并设计审计工作质量评估规则引擎。所述基于所述审计内容对应的指标要素，利用预先构建的审计质量评估模型对所述审计内容进行质量评估，得到所述审计内容对应的质量评估结果之后，还包括：
对所述审计质量评估模型进行优化；
所述对所述审计质量评估模型进行优化，包括：
将历史的审计内容作为测试数据；
利用当前的审计质量评估模型对所述测试数据进行模型评估，得到模型评估结果；
根据所述模型评估结果对所述审计质量评估模型中的参数进行调整，得到优化后的审计质量评估模型；
其中，所述模型评估结果包括：测试数据对应的混淆矩阵、测试数据对应的ROC曲线和测试数据对应的AUC值。本次测试中，目的是验证质量评估功能预测是否正确，即统计所有预测正确的样本，故而选用准确率Accuracy作为测试指标（精准度）评估标准。
训练审计质量评估模型，采用机器学习算法进行模型训练和优化。在测试集上进行模型评估，生成混淆矩阵、ROC曲线和AUC值等评价指标。
根据评价指标对模型进行分析和调整，不断优化审计质量评估模型。
整个流程中，混淆矩阵、ROC曲线和AUC值等评价指标扮演着重要的角色，可以帮助开发人员了解模型的性能表现，优化模型的参数，提高模型的预测准确率和稳定性，从而为实际的审计工作提供可靠的支持。
混淆矩阵也称误差矩阵，是表示精度评价的一种标准格式，用n行n列的矩阵形式来表示。混淆矩阵的每一列代表了预测类别，每一列的总数表示预测为该类别的数据的数目；每一行代表了数据的真实归属类别，每一行的数据总数表示该类别的数据实例的数目。每一列中的数值表示真实数据被预测为该类的数目：例如，第一行第一列中的43表示有43个实际归属第一类的实例被预测为第一类，同理，第一行第二列的2表示有2个实际归属为第一类的实例被错误预测为第二类。
每一项审计结果质量评估指标只有两种结果（得分或不得分），将实际正确的结果和系统分析的结果进行对比可以借鉴机器学习二分类任务的评估结果ROC曲线和AUC值来评估我们的审计质量评估系统结果的可靠性。以分类模型中最简单的二分类为例，对于这种问题，我们的模型最终需要判断样本的结果是0还是1，或者说是negative还是positive。
我们通过样本的采集，能够直接知道真实情况下，哪些数据结果是positive，哪些结果是negative。同时，我们通过用样本数据跑出分类器模型的结果，也可以知道模型认为这些数据哪些是positive，哪些是negative。
因此，我们就能得到这样四个基础指标，它们是最底层指标：TP(True Positive，真阳): 真实为真，预测也为真；FP(False Positive，假阳): 真实为假，预测为真；FN(False Negative，假阴): 真实为真，预测为假；TN(True Negative，真阴): 真实为假，预测也为假。将这四个指标一起呈现在表格中，就能得到如下表1这样一个矩阵，我们称它为混淆矩阵：
表1混淆矩阵
混淆矩阵延伸出的各个评价指标：混淆矩阵里面统计的是个数，有时候面对大量的数据，光凭算个数，很难衡量模型的优劣。因此混淆矩阵在基本的统计结果上又延伸了如下4个指标，它们都是通过混淆矩阵最底层指标加减乘除得到的。
1.准确率Accuracy=（TP+TN）/（TP+FN+FP+TN）
准确率：所有预测正确的样本占所有样本的比例。
2.精确率Precision= TP /（TP+FP）
精确率：预测结果为正例的样本中真实为正例的比例。
3.灵敏度Sensitivity= TP /（TP+FN）
灵敏度：即召回率（Recall），真实为正例的样本中预测结果为正例的比例。
4.特异度Specificity= TN /（FP+TN）
特异度：真实为假例的样本中预测结果为反例的结果。
如图3所示，本发明专利申请提供的一种基于知识图谱的审计工作质量评估方法在应对审计质量评估方面，通过实体与边建立网络，能管理和理解大量信息，对审计工作具有很好的契合。融合知识图谱的技术能有效加快审计工作信息化的进程，在任务繁重、力量不足的情况下，能够解决矛盾，提高审计的准确性和有效性。同时，知识图谱技术也在信息检索、智能问答、智能推荐等应用方面发挥着重要作用。随着知识图谱技术的发展和应用，其将成为科学技术深入审计领域应用的必然趋势，推动审计工作提质增效。本发明专利申请面向数字化审计领域，形成审计领域知识图谱、基于知识图谱的审计工作质量评估模块等研究成果和产品。通过基于知识图谱的审计工作质量评估技术研究，实现对审计工作进行全面的监督，能够快速有效把控审计工作的质量情况。基于研究成果，可针对企业审计工作进行快速的质量评估，为企业后续重点审计方向的选择提供决策能力；通过基于知识图谱的审计工作质量评估技术研究，构建了审计工作质量评估指标体系，并具备对审计工作质量实时多维度在线评估能力，对审计工作的整体水平进行评价和监控，有助于提高审计质量和有效性；通过图聚类、知识图谱推理等技术，实现审计工作数据的分析与挖掘，进而基于多维特征对问题进行评估预测，提升审计工作的风险把控能力。将研究成果在数字化审计平台审计工作进行示范应用，形成基于知识图谱的审计工作质量评估技术及应用成果转化。
质量评估部分首先将图数据库中整理储存的审计项目文件（项目、记录、底稿、报告）相关模板数据，各数据通过word2vec词嵌入技术处理，将模板数据特征向量化处理后储存。在进行关质量评估过程中，将待进行评估的文本数据，通过同样的word2vec模型词嵌入处理，然后通过余弦相似度算法计算出文本向量之间的相似度，通过调整相似度的阈值来确定内容是否合理,对于字数较短的文本,word2vec技术并不能太好的提取其中的特征，此时辅助使用了基于Levenshtein-distance算法对较短文本之间的相似度计算,综合考虑结果，进行质量结果打分。
结果分析部分，一是图聚类的应用，将n个审计项目下的对应的记录、底稿、报告各类文档的质量评估结果，将各类文件各自的每种质量评估项作为特征的各个维度，将标准化处理后的质量评估得分结果作为各个维度的特征值，按照文件类型区分拼接之后，生成每种文档类型对应的特征向量，使用k-means聚类算法对特征向量数据集进行聚类计算,聚类的类别数量由聚类的文档数量决定。二是风险预测，首先将每个项目下的审计问题进行归类统计，使用FP-growth算法对统计结果数据建模进行计算，得出不同的审计项目下各个审计问题对应发生风险审计问题的概率。
实施例2
本发明专利申请还提供了一种基于知识图谱的审计工作质量评估系统，结构组成示意图如图4所示，包括：
内容获取模块：用于获取审计内容；
要素分解模块：用于基于所述审计内容，利用预先构建的审计质量评估指标体系分解模型对所述审计内容进行指标要素分解，得到审计内容对应的指标要素；
质量评估模块：用于基于所述审计内容对应的指标要素，利用预先构建的审计质量评估模型对所述审计内容进行质量评估，得到审计内容对应的质量评估结果；
其中，所述内容获取模块中的审计内容包括：审计记录、审计底稿和审计报告；所述要素分解模块中的审计质量评估指标体系分解模型是基于审计工作评价指标构建的；所述质量评估模块中的审计质量评估模型是基于知识图谱技术构建的；所述质量评估结果包括：项目名称、审计记录平均分、审计底稿平均分和审计报告得分。
所述质量评估模块中的审计质量评估模型包括如下的执行过程：
基于所述审计内容对应的指标要素，利用自然语言处理技术进行词嵌入处理，得到处理后审计内容；
基于所述处理后的审计内容，利用聚类算法对所述审计内容进行聚类计算，得到聚类计算结果；
基于所述处理后的审计内容，对所述处理后的审计内容进行风险预测，得到所述审计内容对应发生风险审计问题的概率；
基于所述聚类计算结果和所述审计内容对应发生风险审计问题的概率，结合审计工作质量评估规则引擎，得到所述审计内容对应的质量评估结果。
所述质量评估模块中基于所述处理后的审计内容，利用聚类算法对所述审计内容进行聚类计算，得到聚类计算结果，包括：
基于所述处理后的审计内容，利用余弦相似度算法计算所述处理后的审计内容中审计文本之间的相似度；
基于所述处理后的审计内容中审计文本之间的相似度和审计文本的数据数量，利用图聚类算法对所述审计内容进行聚类计算，得到聚类计算结果。
所述质量评估模块中基于所述处理后的审计内容，对所述处理后的审计内容进行风险预测，得到所述审计内容对应发生风险审计问题的概率，包括：
对所述处理后的审计内容中包含的审计问题进行数据识别，得到数据识别结果；
根据所述数据识别结果，采用FP-growth算法构建问题概率映射矩阵；
从所述问题概率映射矩阵中查询目标问题对应的共现问题概率，并将所述目标问题对应的共现问题概率作为所述审计内容对应发生风险审计问题的概率。
所述要素分解模块中的审计记录对应的审计工作评价指标包括：审计记录要素是否齐全、审计记录中的审计项目名称与审计通知书中的是否一致、被审核单位是否已签字确认和审计事项与审计事项记录相匹配；
所述审计底稿对应的审计工作评价指标包括：审计事项与审计事项记录相匹配、审计底稿要素是否齐全、审计底稿中的审计项目名称与审计通知书中的是否一致、问题分类是否准确、审计底稿中的审计问题与审计记录是否一致、是否执行“一事一底稿”要求、引用的法规信息是否齐全、政策依据是否与审计问题充分相关、政策依据是否在有效期、审计结论与审计问题分类是否匹配、问题结论与建议与政策依据是否匹配、被审计单位的是否已确认、审计报告要素是否齐全和审计报告中的审计项目名称与审计通知书中的是否一致；
所述审计报告对应的审计工作评价指标包括：审计问题描述是否归集在正确的问题分类下、审计报告中的审计问题与审计底稿中的审计问题一致和相关工作意见和建议与审计发现的主要问题是否匹配。
所述要素分解模块中的审计记录要素是否齐全对应的指标要素包括：日期、索引号、审计项目名称、被审计单位、审计事项、审计事项记录和附件名称；
所述审计记录中的审计项目名称与审计通知书中的是否一致对应的指标要素包括：审计记录信息和审计项目名称；
所述被审核单位是否已签字确认对应的指标要素包括：被审计单位核实情况记录和经办人签字；
所述审计事项与审计事项记录相匹配对应的指标要素包括：审计事项和审计事项记录；
所述审计底稿要素是否齐全对应的指标要素包括：日期、索引号、审计项目名称、被审计单位、审计事项、审计内容、附件名称、问题分类、政策依据、审计结论及处理意见，建议、被审计单位核实情况记录和编制人；
所述审计底稿中的审计项目名称与审计通知书中的是否一致对应的指标要素包括：审计记录、审计项目名称、审计通知书和审计项目名称；
所述问题分类是否准确对应的指标要素包括：审计问题和问题分类；
所述审计底稿中的审计问题与审计记录是否一致对应的指标要素包括：审计底稿信息、审计问题和审计记录；
所述审计事项、是否执行“一事一底稿”要求对应的指标要素包括：审计底稿信息、审计问题和审计记录；
所述引用的法规信息是否齐全对应的指标要素包括：名称、文号、发文单位和日期；
所述政策依据是否与审计问题充分相关对应的指标要素包括：审计问题和政策依据；
所述政策依据是否在有效期对应的指标要素包括：政策依据、发文日期和废止日期；
所述审计结论与审计问题分类是否匹配对应的指标要素包括：审计结论及处理意见和审计问题分类；
所述问题结论与建议与政策依据是否匹配对应的指标要素包括：审计结论及处理意见和政策依据；
所述被审计单位的是否已确认对应的指标要素包括：被审计单位核实情况记录和经办人签字；
所述审计报告要素是否齐全对应的指标要素包括：公司基本情况、公司经营管理情况、重大经营事项及风险、审计发现的主要问题、审计发现责任认定、年度内外部审计发现问题整改情况和审计建议；
所述审计报告中的审计项目名称与审计通知书中的是否一致对应的指标要素包括：审计记录、审计项目名称、审计通知书和审计项目名称；
所述审计问题描述是否归集在正确的问题分类下对应的指标要素包括：审计问题和问题分类；
所述审计报告中的审计问题与审计底稿中的审计问题一致对应的指标要素包括：审计底稿、审计内容、审计发现问题明细表和事实表述；
相关工作意见和建议与审计发现的主要问题是否匹配对应的指标要素包括：审计发现问题明细表、事实表述、审计发现问题明细表、审计意见、审计发现问题明细表和报告中定性。
所述一种基于知识图谱的审计工作质量评估系统还包括：
对所述审计质量评估模型进行优化；
所述对所述审计质量评估模型进行优化，包括：
将历史的审计内容作为测试数据；
利用当前的审计质量评估模型对所述测试数据进行模型评估，得到模型评估结果；
根据所述模型评估结果对所述审计质量评估模型中的参数进行调整，得到优化后的审计质量评估模型；
其中，所述模型评估结果包括：测试数据对应的混淆矩阵、测试数据对应的ROC曲线和测试数据对应的AUC值。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于知识图谱的审计工作质量评估方法，其特征在于，包括：
获取审计内容；
基于所述审计内容，利用预先构建的审计质量评估指标体系分解模型对所述审计内容进行指标要素分解，得到所述审计内容对应的指标要素；
基于所述审计内容对应的指标要素，利用预先构建的审计质量评估模型对所述审计内容进行质量评估，得到所述审计内容对应的质量评估结果；
其中，所述审计内容包括：审计记录、审计底稿和审计报告；所述审计质量评估指标体系分解模型是基于审计工作评价指标构建的；所述审计质量评估模型是基于知识图谱技术构建的；所述质量评估结果包括：项目名称、审计记录平均分、审计底稿平均分和审计报告得分。
2.如权利要求1所述的方法，其特征在于，所述审计质量评估模型包括如下的执行过程：
基于所述审计内容对应的指标要素，利用自然语言处理技术进行词嵌入处理，得到处理后审计内容；
基于所述处理后的审计内容，利用聚类算法对所述审计内容进行聚类计算，得到聚类计算结果；
基于所述处理后的审计内容，对所述处理后的审计内容进行风险预测，得到所述审计内容对应发生风险审计问题的概率；
基于所述聚类计算结果和所述审计内容对应发生风险审计问题的概率，结合审计工作质量评估规则引擎，得到所述审计内容对应的质量评估结果。
3.如权利要求2所述的方法，其特征在于，所述基于所述处理后的审计内容，利用聚类算法对所述审计内容进行聚类计算，得到聚类计算结果，包括：
基于所述处理后的审计内容，利用余弦相似度算法计算所述处理后的审计内容中审计文本之间的相似度；
基于所述处理后的审计内容中审计文本之间的相似度和审计文本的数据数量，利用图聚类算法对所述审计内容进行聚类计算，得到聚类计算结果。
4.如权利要求2所述的方法，其特征在于，所述基于所述处理后的审计内容，对所述处理后的审计内容进行风险预测，得到所述审计内容对应发生风险审计问题的概率，包括：
对所述处理后的审计内容中包含的审计问题进行数据识别，得到数据识别结果；
根据所述数据识别结果，采用FP-growth算法构建问题概率映射矩阵；
从所述问题概率映射矩阵中查询目标问题对应的共现问题概率，并将所述目标问题对应的共现问题概率作为所述审计内容对应发生风险审计问题的概率。
5.如权利要求1所述的方法，其特征在于，所述审计记录对应的审计工作评价指标包括：审计记录要素是否齐全、审计记录中的审计项目名称与审计通知书中的是否一致、被审核单位是否已签字确认和审计事项与审计事项记录相匹配；
所述审计底稿对应的审计工作评价指标包括：审计事项与审计事项记录相匹配、审计底稿要素是否齐全、审计底稿中的审计项目名称与审计通知书中的是否一致、问题分类是否准确、审计底稿中的审计问题与审计记录是否一致、是否执行“一事一底稿”要求、引用的法规信息是否齐全、政策依据是否与审计问题充分相关、政策依据是否在有效期、审计结论与审计问题分类是否匹配、问题结论与建议与政策依据是否匹配、被审计单位的是否已确认、审计报告要素是否齐全和审计报告中的审计项目名称与审计通知书中的是否一致；
所述审计报告对应的审计工作评价指标包括：审计问题描述是否归集在正确的问题分类下、审计报告中的审计问题与审计底稿中的审计问题一致和相关工作意见和建议与审计发现的主要问题是否匹配。
6.如权利要求5所述的方法，其特征在于，所述审计记录要素是否齐全对应的指标要素包括：日期、索引号、审计项目名称、被审计单位、审计事项、审计事项记录和附件名称；
所述审计记录中的审计项目名称与审计通知书中的是否一致对应的指标要素包括：审计记录信息和审计项目名称；
所述被审核单位是否已签字确认对应的指标要素包括：被审计单位核实情况记录和经办人签字；
所述审计事项与审计事项记录相匹配对应的指标要素包括：审计事项和审计事项记录；
所述审计底稿要素是否齐全对应的指标要素包括：日期、索引号、审计项目名称、被审计单位、审计事项、审计内容、附件名称、问题分类、政策依据、审计结论及处理意见，建议、被审计单位核实情况记录和编制人；
所述审计底稿中的审计项目名称与审计通知书中的是否一致对应的指标要素包括：审计记录、审计项目名称、审计通知书和审计项目名称；
所述问题分类是否准确对应的指标要素包括：审计问题和问题分类；
所述审计底稿中的审计问题与审计记录是否一致对应的指标要素包括：审计底稿信息、审计问题和审计记录；
所述审计事项、是否执行“一事一底稿”要求对应的指标要素包括：审计底稿信息、审计问题和审计记录；
所述引用的法规信息是否齐全对应的指标要素包括：名称、文号、发文单位和日期；
所述政策依据是否与审计问题充分相关对应的指标要素包括：审计问题和政策依据；
所述政策依据是否在有效期对应的指标要素包括：政策依据、发文日期和废止日期；
所述审计结论与审计问题分类是否匹配对应的指标要素包括：审计结论及处理意见和审计问题分类；
所述问题结论与建议与政策依据是否匹配对应的指标要素包括：审计结论及处理意见和政策依据；
所述被审计单位的是否已确认对应的指标要素包括：被审计单位核实情况记录和经办人签字；
所述审计报告要素是否齐全对应的指标要素包括：公司基本情况、公司经营管理情况、重大经营事项及风险、审计发现的主要问题、审计发现责任认定、年度内外部审计发现问题整改情况和审计建议；
所述审计报告中的审计项目名称与审计通知书中的是否一致对应的指标要素包括：审计记录、审计项目名称、审计通知书和审计项目名称；
所述审计问题描述是否归集在正确的问题分类下对应的指标要素包括：审计问题和问题分类；
所述审计报告中的审计问题与审计底稿中的审计问题一致对应的指标要素包括：审计底稿、审计内容、审计发现问题明细表和事实表述；
相关工作意见和建议与审计发现的主要问题是否匹配对应的指标要素包括：审计发现问题明细表、事实表述、审计发现问题明细表、审计意见、审计发现问题明细表和报告中定性。
7.如权利要求1所述的方法，其特征在于，还包括：
对所述审计质量评估模型进行优化；
所述对所述审计质量评估模型进行优化，包括：
将历史的审计内容作为测试数据；
利用当前的审计质量评估模型对所述测试数据进行模型评估，得到模型评估结果；
根据所述模型评估结果对所述审计质量评估模型中的参数进行调整，得到优化后的审计质量评估模型；
其中，所述模型评估结果包括：测试数据对应的混淆矩阵、测试数据对应的ROC曲线和测试数据对应的AUC值。
8.一种基于知识图谱的审计工作质量评估系统，其特征在于，包括：
内容获取模块：用于获取审计内容；
要素分解模块：用于基于所述审计内容，利用预先构建的审计质量评估指标体系分解模型对所述审计内容进行指标要素分解，得到审计内容对应的指标要素；
质量评估模块：用于基于所述审计内容对应的指标要素，利用预先构建的审计质量评估模型对所述审计内容进行质量评估，得到审计内容对应的质量评估结果；
其中，所述内容获取模块中的审计内容包括：审计记录、审计底稿和审计报告；所述要素分解模块中的审计质量评估指标体系分解模型是基于审计工作评价指标构建的；所述质量评估模块中的审计质量评估模型是基于知识图谱技术构建的；所述质量评估结果包括：项目名称、审计记录平均分、审计底稿平均分和审计报告得分。
9.如权利要求8所述的系统，其特征在于，所述审计质量评估模块中的审计质量评估模型包括如下的执行过程：
基于所述审计内容对应的指标要素，利用自然语言处理技术进行词嵌入处理，得到处理后审计内容；
基于所述处理后的审计内容，利用聚类算法对所述审计内容进行聚类计算，得到聚类计算结果；
基于所述处理后的审计内容，对所述处理后的审计内容进行风险预测，得到所述审计内容对应发生风险审计问题的概率；
基于所述聚类计算结果和所述审计内容对应发生风险审计问题的概率，结合审计工作质量评估规则引擎，得到所述审计内容对应的质量评估结果。
10.如权利要求9所述的系统，其特征在于，所述基于所述处理后的审计内容，对所述处理后的审计内容进行风险预测，得到所述审计内容对应发生风险审计问题的概率，包括：
所述基于所述处理后的审计内容，对所述处理后的审计内容进行风险预测，得到审计内容对应发生风险审计问题的概率，包括：
基于所述处理后的审计内容，对所述处理后的审计后的审计内容中包含的审计问题进数据识别，得到数据识别结果；
采用FP-growth算法对所述数据识别结果构建问题概率映射矩阵；
从所述问题概率映射矩阵中查询目标问题对应的共现问题概率，并将所述目标问题对应的共现问题概率作为所述审计内容对应发生风险审计问题的概率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311057477.9A CN116757561A (zh) | 2023-08-22 | 2023-08-22 | 一种基于知识图谱的审计工作质量评估方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311057477.9A CN116757561A (zh) | 2023-08-22 | 2023-08-22 | 一种基于知识图谱的审计工作质量评估方法与系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116757561A true CN116757561A (zh) | 2023-09-15 |
Family
ID=87950132
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311057477.9A Pending CN116757561A (zh) | 2023-08-22 | 2023-08-22 | 一种基于知识图谱的审计工作质量评估方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116757561A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110334212A (zh) * | 2019-07-01 | 2019-10-15 | 南京审计大学 | 一种基于机器学习的领域性审计知识图谱构建方法 |
| US20210224588A1 (en) * | 2020-01-20 | 2021-07-22 | Accenture Global Solutions Limited | Recruitment process graph based unsupervised anomaly detection |
| CN115471307A (zh) * | 2022-10-09 | 2022-12-13 | 国家电网有限公司 | 基于知识图谱的审计评估信息生成方法、装置和电子设备 |
| CN115578063A (zh) * | 2022-10-10 | 2023-01-06 | 国家电网有限公司 | 基于知识图谱的审计报告生成方法及相关设备 |
-
2023
- 2023-08-22 CN CN202311057477.9A patent/CN116757561A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110334212A (zh) * | 2019-07-01 | 2019-10-15 | 南京审计大学 | 一种基于机器学习的领域性审计知识图谱构建方法 |
| US20210224588A1 (en) * | 2020-01-20 | 2021-07-22 | Accenture Global Solutions Limited | Recruitment process graph based unsupervised anomaly detection |
| CN115471307A (zh) * | 2022-10-09 | 2022-12-13 | 国家电网有限公司 | 基于知识图谱的审计评估信息生成方法、装置和电子设备 |
| CN115578063A (zh) * | 2022-10-10 | 2023-01-06 | 国家电网有限公司 | 基于知识图谱的审计报告生成方法及相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102026304B1 (ko) | Esg 기반의 기업 평가 수행 장치 및 이의 작동 방법 | |
| KR20190110084A (ko) | Esg 기반의 기업 평가 수행 장치 및 이의 작동 방법 | |
| CN115794803B (zh) | 一种基于大数据ai技术的工程审计问题监测方法与系统 | |
| US20220327398A1 (en) | Technology maturity judgment method and system based on science and technology data | |
| US20090019083A1 (en) | System and method for adaptive decision making analysis and assessment | |
| CN110544035A (zh) | 一种内控检测方法、系统和计算机可读存储介质 | |
| CN113537807A (zh) | 一种企业智慧风控方法及设备 | |
| CN110310012B (zh) | 数据分析方法、装置、设备及计算机可读存储介质 | |
| CN116775879A (zh) | 大语言模型的微调训练方法、合同风险评审方法及系统 | |
| CN110175726B (zh) | 一种基于迁移性分析的跨项目缺陷预测方法 | |
| CN113628024A (zh) | 基于大数据平台系统的财务数据智能稽核系统及方法 | |
| CN110597796B (zh) | 基于全生命周期的大数据实时建模方法及系统 | |
| RU2624546C1 (ru) | Способ автоматической оценки квалификации и компетенции сотрудников | |
| BRZOZOWSKA et al. | DATA ENGINEERING IN CRISP-DM PROCESS PRODUCTION DATA–CASE STUDY | |
| CN116757561A (zh) | 一种基于知识图谱的审计工作质量评估方法与系统 | |
| CN112506930B (zh) | 一种基于机器学习技术的数据洞察系统 | |
| CN114638499A (zh) | 一种基于犹豫模糊四阶段dea的公共文化效能评估方法 | |
| KR100700376B1 (ko) | 실시간 서지데이터베이스 평가 방법 | |
| CN108182513B (zh) | 一种简历评估方法及装置 | |
| CN111930815A (zh) | 一种基于行业属性和经营属性构建企业画像的方法及系统 | |
| AU2020201689A1 (en) | Cognitive forecasting | |
| CN113836313B (zh) | 一种基于图谱的审计信息识别方法与系统 | |
| Lehto et al. | Analyzing Business Process Changes Using Influence Analysis. | |
| Chen | Application research of improved Apriori algorithm in teaching evaluation of mobile platform for elderly education | |
| Neely | A Proposed Framework for the Analysis of Source Data in a Data Warehouse. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |