CN114462376A - 基于rpa和ai的庭审笔录生成方法、装置、设备及介质 - Google Patents

Abstract

本申请提出一种基于RPA和AI的庭审笔录生成方法、装置、设备及介质，应用于RPA机器人，该方法包括：S1、确定待制作法庭审理笔录的目标案件；S2、在目标案件的开庭审理过程中，提取庭审人员的关键对话信息，该关键对话信息包括目标案件当事人的答辩信息；S3、生成包含有案件基础信息和关键对话信息的法庭审理笔录，其中，案件基础信息包括当事人信息、案件内容和诉讼请求信息，法庭审理笔录用于反映目标案件在开庭审理过程中的审理情况。通过采用上述技术方案，解决了人工生成庭审笔录效率低下和失误率较高的问题。

Description

基于RPA和AI的庭审笔录生成方法、装置、设备及介质

技术领域

本申请涉及流程自动化技术领域，尤其涉及一种基于RPA和AI的庭审笔录生成方法、装置、设备及介质。

背景技术

机器人流程自动化(Robotic Process Automation)简称RPA，是通过特定的“机器人软件”，模拟人在计算机上的操作，按规则自动执行流程任务。

人工智能(Artificial Intelligence，AI)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门技术科学。

RPA具有独特的优势：低代码、非侵入。低代码是说，RPA不需要很高的IT水平就能操作，不懂编程的业务人员也能开发流程；非侵入是说，RPA可以模拟人的操作，不用软件系统开放接口。但是传统的RPA具有一定的局限性：只能基于固定的规则，并且应用场景受限。随着AI技术的不断发展，RPA与AI深度融合克服了传统RPA的局限，RPA+AI＝Hand work+Head work，正在极大的改变劳动力的价值。

在法院案件的处理过程中，法庭审理笔录(简称“庭审笔录”)是法院裁判案件不可缺少的书面材料，其是由法院庭审记录员制作的同步反映全部审判活动真实情况的文字记载。相关技术中，在案件开庭审理之前，庭审记录员要翻阅案件的案件材料，提前熟悉案情，明确当事人的情况及案件的重点。在开庭审理过程中，庭审记录员需要实时记录当事人的原话，集中精力做到耳到、眼到、脑到和手到，思想一刻也不能松懈。但是，由于庭审信息较多且复杂程度较高，人工生成庭审笔录不仅效率低下，而且失误率也较高。

发明内容

本申请实施例提供一种基于RPA和AI的庭审笔录生成方法、装置、设备及介质，以解决人工生成庭审笔录效率低下和失误率较高的问题，技术方案如下：

第一方面，本申请实施例提供了一种基于RPA和AI的庭审笔录生成方法，包括：

S1、确定待制作法庭审理笔录的目标案件；

S2、在目标案件的开庭审理过程中，提取庭审人员的关键对话信息，该关键对话信息包括目标案件当事人的答辩信息；

S3、生成包含有案件基础信息和关键对话信息的法庭审理笔录，其中，案件基础信息包括当事人信息、案件内容和诉讼请求信息，法庭审理笔录用于反映目标案件在开庭审理过程中的审理情况。

可选的，本申请实施例提供的方法还包括：

S4、在目标案件开庭审理之前，登录法院案件的电子卷宗系统；

S5、在电子卷宗系统中，获取目标案件的起诉书文件，该起诉书文件中包括当事人信息、案件内容和诉讼请求信息；

S6、从起诉书文件中提取案件基础信息。

可选的，步骤S4具体包括：

S41、在目标案件开庭审理之前，调用动态辅助功能MSAA接口，对电子卷宗系统的用户登录界面的元素进行识别；

S42、从识别得到的各元素中确定用于登录电子卷宗系统的登录控件；

S43、根据登录控件的内容输入对应的登录信息，以登录电子卷宗系统，其中，登录信息包括登录账号和登录密码。

可选的，步骤S41具体包括：

在目标案件开庭审理之前，通过界面自动化UIA代理，获得MSAA服务，以调用对应的MSAA接口对电子卷宗系统的用户登录界面进行识别，得到用户登录界面的元素。

可选的，步骤S6具体包括：

S61、基于光学字符识别OCR组件，将起诉书文件转化为半结构化文本；

S62、基于自然语言处理NLP服务，从半结构化文本中提取第一预设字段对应的属性值，并将提取到的属性值作为案件基础信息。

可选的，步骤S2具体包括：

S21、在目标案件的开庭审理过程中，对各个庭审人员的语音信息进行解析，并将语音信息转换为文本信息；

S22、基于自然语言处理NLP服务，从文本信息中提取第二预设字段对应的文本信息，并将提取到的文本信息作为关键对话信息。

可选的，步骤S3具体包括：

S31、对庭审笔录模板中的各预设字段进行识别；

S32、在目标案件开庭审理之前，将案件基础信息按照对应的预设字段写入庭审笔录模板中；

S33、在目标案件开庭审理过程中，将关键对话信息按照对应的预设字段写入所述庭审笔录模板中，以生成法庭审理笔录。

可选的，步骤S33具体包括：

在目标案件的开庭审理过程中，判断庭审笔录模板中是否存在与关键对话信息对应的内容，如果不存在与关键对话信息对应的内容，则将关键对话信息按照对应的预设字段写入庭审笔录模板中；

如果存在与关键对话信息对应的内容，则判断关键对话信息与其在庭审笔录模板中对应的内容是否一致，如果不一致，则将庭审笔录模板中与关键对话信息对应的内容替换为所述关键对话信息。

第二方面，本申请实施例提供了一种基于RPA和AI的庭审笔录生成的装置，包括：

目标案件确定模块，被配置为确定待制作法庭审理笔录的目标案件；

关键对话信息提取模块，被配置为在目标案件的开庭审理过程中，提取庭审人员的关键对话信息，该关键对话信息包括目标案件当事人的答辩信息；

法庭审理笔录生成模块，被配置为生成包含有案件基础信息和关键对话信息的法庭审理笔录，其中，案件基础信息包括当事人信息、案件内容和诉讼请求信息，法庭审理笔录用于反映所述目标案件在开庭审理过程中的审理情况。

可选的，本申请实施例提供的装置还包括：

电子卷宗系统登录模块，被配置为在目标案件开庭审理之前，登录法院案件的电子卷宗系统；

起诉书文件获取模块，被配置为在电子卷宗系统中，获取目标案件的起诉书文件，该起诉书文件中包括当事人信息、案件内容和诉讼请求信息；

案件基础信息提取模块，被配置为从起诉书文件中提取案件基础信息。

可选的，电子卷宗系统登录模块，包括：

登录界面元素识别单元，被配置为在目标案件开庭审理之前，调用动态辅助功能MSAA接口，对电子卷宗系统的用户登录界面的元素进行识别；

登录控件确定单元，被配置为从识别得到的各元素中确定用于登录电子卷宗系统的登录控件；

登录单元，被配置为根据登录控件的内容输入对应的登录信息，以登录电子卷宗系统，其中，登录信息包括登录账号和登录密码。

可选的，登录界面元素识别单元，具体被配置为：

在目标案件开庭审理之前，通过界面自动化UIA代理，获得MSAA服务，以调用对应的MSAA接口对电子卷宗系统的用户登录界面进行识别，得到所述用户登录界面的元素。

可选的，案件基础信息提取模块，具体被配置为：

基于光学字符识别OCR组件，将起诉书文件转化为半结构化文本；

基于自然语言处理NLP服务，从半结构化文本中提取第一预设字段对应的属性值，并将提取到的属性值作为案件基础信息。

可选的，关键对话信息提取模块，具体被配置为：

在目标案件的开庭审理过程中，对各个庭审人员的语音信息进行解析，并将语音信息转换为文本信息；

基于自然语言处理NLP服务，从文本信息中提取第二预设字段对应的文本信息，并将提取到的文本信息作为关键对话信息。

可选的，法庭审理笔录生成模块，包括：

预设字段识别单元，被配置为对庭审笔录模板中的各预设字段进行识别；

案件基础信息写入单元，被配置为在目标案件开庭审理之前，将案件基础信息按照对应的预设字段写入庭审笔录模板中；

关键对话信息写入单元，被配置为在目标案件的开庭审理过程中，将关键对话信息按照对应的预设字段写入庭审笔录模板中，以生成法庭审理笔录。

可选的，关键对话信息写入单元，具体被配置为：

在目标案件的开庭审理过程中，判断庭审笔录模板中是否存在与所述关键对话信息对应的内容，如果不存在与关键对话信息对应的内容，则将关键对话信息按照对应的预设字段写入庭审笔录模板中；

如果存在与关键对话信息对应的内容，则判断关键对话信息与其在庭审笔录模板中对应的内容是否一致，如果不一致，则将庭审笔录模板中与关键对话信息对应的内容替换为所述关键对话信息。

第三方面，本申请实施例提供了一种用于生成庭审笔录的设备，该设备包括：存储器和处理器。其中，该存储器和该处理器通过内部连接通路互相通信，该存储器用于存储指令，该处理器用于执行该存储器存储的指令，并且当该处理器执行该存储器存储的指令时，使得该处理器执行上述各方面任一种实施方式中的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储计算机程序，当计算机程序在计算机上运行时，上述各方面任一种实施方式中的方法被执行。

本申请实施例中，对于待制作法庭审理笔录的目标案件，在该目标案件的开庭审理过程中，RPA机器人可提取庭审人员的关键对话信息，并可生成包含有案件基础信息和关键对话信息的法庭审理笔录，该法庭审理笔录可以反映目标案件在开庭审理过程中的审理情况。通过采用上述技术方案，可以快速、准确且灵活地自动记录庭审实况，减轻了法院庭审记录员的事务工作压力，并有效提高了庭审笔录的准确性。同时，法官在庭审过程中也无需时刻关注庭审记录员的笔录进展，法官的注意力可以更加集中，从而可使得庭审节奏更加紧凑，进而有效提升案件的庭审效率。

上述技术方案中的优点或有益效果至少包括：

1、通过采用RPA与AI相结合的技术，对案件基础信息进行识别和抽取，提高了识别的效率和准确率。相对于相关技术中，工作人员在法院开庭之前手动录入案件基础信息的方式，本申请实施例提供的信息识别和抽取方式，避免了工作人员机械、重复性的劳动，有效节省了法院工作人员的时间，提高了法院案件的处理效率。

2、在目标案件的开庭审理过程中，RPA机器人通过结合ASR和NLP技术，可以快速、准确且灵活地自动记录庭审实况，减轻了庭审记录员的事务工作压力，并有效提高了庭审笔录的准确性。

上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本申请进一步的方面、实施方式和特征将会是容易明白的。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请公开的一些实施方式，而不应将其视为是对本申请范围的限制。

图1a为本申请实施例的一种基于RPA和AI的庭审笔录生成方法的流程图；

图1b为本申请实施例一提供的一种关键对话信息提取的原理图；

图2a为本申请实施例二提供的一种基于RPA和AI的庭审笔录生成方法的流程图；

图2b为本申请实施例二提供的MSAA架构的结构框图；

图2c为本申请实施例二提供的UIA架构的结构框图；

图2d为本申请实施例二提供的一种信息抽取的效果截图；

图2e为本申请实施例二提供的在UiBot Creator平台上搭建的流程图；

图3为本申请实施例三提供的一种基于RPA和AI的庭审笔录生成装置的结构框图；

图4为申请实施例四提供的一种用于生成庭审笔录的设备的结构框图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。

在本申请的描述中，术语“法庭审理笔录”是法院裁判案件不可缺少的书面材料，其反映的是案件审理的整个过程。在“法庭审理笔录”中包含有案件的基础信息和开庭审理过程中庭审人员的关键对话信息。其中，案件基础信息包括案件的当事人信息、案件内容和诉讼请求信息。当事人信息包括原告和被告的姓名、身份证号、性别、住址和联系电话等，如果原告或被告是公司主体，则当事人信息包括公司名称、法定代表人名字、公司地址和联系电话等。案件内容包括案件编号和案由等。诉讼请求信息包括：要求对方还款，应还的本金和利息，以及要求对方承担诉讼费等信息。

在本申请的描述中，术语“电子卷宗系统”，是法院内部用于存储和管理案件资料的业务操作系统，该系统中录入有已受理的多个案件的相关文件，例如起诉书文件、开庭公告和庭前送达文书等。本申请实施例中，该“电子卷宗系统”支持C/S(Client/Server，客户机/服务器)结构和B/S(Browser/Server，浏览器/服务器)结构。其中，C/S结构是通过将任务合理分配到Client(客户机)端和Server(服务器)端，降低了系统的通讯开销。B/S结构是随着英特网技术的兴起，对C/S结构的一种变化或者改进的结构。在这种结构下，用户界面完全通过浏览器实现，浏览器是客户端最主要的应用软件。这种模式统一了客户端，将系统功能实现的核心部分集中到服务器上，简化了系统的开发、维护和使用。

在本申请的描述中，术语“起诉书文件”指原告为维护自身的权益，认为自己的合法权益受到侵害或者与他人发生争议时，依据事实和法律，向人民法院提起诉讼，请求依法裁判的诉讼文书，其中包含有案件的当事人信息、案件内容和诉讼请求等信息。

在本申请的描述中，术语“MSAA”指动态辅助功能(Microsoft ActiveAccessibility)接口，是一个用于用户界面可访问性的应用程序编程接口(ApplicationProgramming Interface，API)，MSAA旨在帮助辅助技术产品与应用程序(或操作系统)的标准用户界面(User Interface，UI)或自定义用户界面的元素进行交互，以及访问、标识或者操作应用程序的UI元素。

在本申请的描述中，“UIA”指界面自动化(Microsoft UI Automation)，是一个应用程序编程接口，它允许访问、标识和操作另一个应用程序的用户界面元素。UIA基于MSAA，UIA中兼容了MSAA的接口，MSAA接口跟UIA接口之间通过UIA代理完成转换。

在本申请的描述中，术语“庭审笔录模板”中包含案件基础信息和对话信息对应的预设字段，例如原告姓名、被告姓名和案由等，该“庭审笔录模板”中还包含预设字段对应的属性值，即待写入的案件基础信息和关键对话信息的具体内容。

在本申请的描述中，术语“OCR”是指光学字符识别(Optical CharacterRecognition)，具体是指电子设备检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程；即，针对印刷体字符，采用光学的方式将纸质文档中的文字转换成为黑白点阵的图像文件，并通过识别软件将图像中的文字转换成文本格式，供文字处理软件进一步编辑加工的技术。

在本申请的描述中，术语“半结构化文本”指可以通过灵活的键值来调整获取相应信息，其数据的格式不固定，如JSON(JavaScript Object Notation，一种轻量级的数据交换格式)，同一键值下存储的信息可能是数值型的，可能是文本型的，也可能是字典或者列表。

在本申请的描述中，术语“结构化文本”是指能够用数据或统一的结构加以表示的信息，是高度组织和整齐格式化的数据。它是可以放入表格和电子表格中的数据类型。

在本申请的描述中，术语“NLP”指自然语言处理(Natural LanguageProcessing)，具体是研究人与计算机交互的语言问题的一门学科。本申请实施例中，将其应用于案件关键信息和开庭过程中庭审人员的关键对话信息的抽取过程中。

在本申请的描述中，术语“ASR”是指自动语音识别技术(Automatic SpeechRecognition)，是一种将人的语音转换为文本的技术。

参照下面的描述和附图，将清楚本申请的实施例的这些和其他方面。在这些描述和附图中，具体公开了本申请的实施例中的一些特定实施方式，来表示实施本申请的实施例的原理的一些方式，但是应当理解，本申请的实施例的范围不受此限制。相反，本申请的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

以下结合附图对本申请实施例的基于RPA和AI的庭审笔录生成方法、装置、设备及介质进行详细介绍。

实施例一

图1a为本申请实施例的一种基于RPA(Robotic Process Automation，机器人流程自动化)和AI(Artificial Intelligence，人工智能)的庭审笔录生成方法的流程图，该方法可应用于案件开庭审理过程中法庭审理笔录的制作场景下。本实施例的技术方案是通过RPA机器人来执行的，该RPA机器人可搭载在UiBot Creator平台上，该UiBot Creator平台是一款专业强大的机器人生产工具，为机器人提供良好载体。本实施例中，可以设置RPA机器人每天定时启动来查询待制作法庭审理笔录的目标案件，并在该目标案件的开庭审理过程中提取庭审人员的关键对话信息，以形成符合规范要求的庭审笔录，达到提高案件的处理效率和法院工作人员的工作效率的效果。如图1a所示，本实施例提供的方法包括：

S110、确定待制作法庭审理笔录的目标案件。

本实施例中，RPA机器人需在法院开庭审理案件之前，确定待制作法庭审理笔录的目标案件。

示例性的，RPA机器人可从法院案件的排期结果表中得到待开庭审理的案件，并将这些待开庭审理的案件确定为待制作法庭审理笔录的目标案件。其中，法庭案件的排期结果表是指法院受理案件后，根据实际情况及相关法律规定安排案件审理的具体时间表。

示例性的，RPA机器人也可登录电子卷宗系统，从电子卷宗系统的案件列表中，确定待制作法庭审理笔录的目标案件。

S120、在目标案件的开庭审理过程中，提取庭审人员的关键对话信息。

其中，庭审人员包括法官、庭审记录员、原告、被告、律师和证人等。不同人的坐席上布置有定向音频采集装置，该装置可以准确识别语音来源。相对于相关技术中所有人共用一个或多个音频采集装置的方式，本实施例中，不同的人分别使用独有的定向音频采集装置来录入语音信息的方式，避免了语音信息中杂音的干扰，提高了语音信息的质量，有助于后续对庭审人员的关键对话信息的提取。

需要说明的是，在目标案件的开庭审理过程中，庭审记录员会登录法院审判系统，以通过该法院审判系统实时记录和存储各庭审人员的语音信息。其中，该法院审判系统与定向音频采集装置存在通信连接，定向音频采集装置采集到音频信息后，会将该音频信息发送给法院审判系统，法院审判系统会对接收到的音频信息进行解析处理。

具体的，法院审判系统在接收到不同人员的音频信息后，可基于ASR技术对各个庭审人员的语音信息进行解析，并将语音信息转换为文本信息。或者，RPA机器人也可通过调用AI平台的ASR技术，对法院审判系统接收到的各个庭审人员的语音信息进行解析，并将语音信息转换为文本信息。其中，文本信息中通常包含有目标案件的案件信息和当事人的答辩信息。其中，案件信息包括案件内容、诉讼请求等。

具体的，通过采用ASR技术，可以实时区分不同角色输出的文本信息，比如，审判长询问：“原审被告人，你叫什么名字？”，被告人回答：“我叫张三”。此时，在庭审记录员的屏幕上，将实时展现不同角色所说的每一句话。此外，对于不同角色输出的文本信息，基于ASR技术，还可对得到的文本信息进行分词处理，从而可为后续RPA机器人进行关键文本信息的抽取提供基础。

图1b为本申请实施例一提供的一种关键对话信息提取的原理图。如图1b所示，通过采用ASR技术，在将语音信息转换为文本信息后，在该文本信息中，除了包含有各庭审人员对话过程中目标案件的案件信息之外，还可得到发言人的发言之前的静音时长、语速信息和情绪信息等。这些信息可为后续法官对该案件的裁决提供参考资料。

本实施例中，在将各庭审人员的语音信息转换为文本信息之后，RPA机器人可从该文本信息中提取出关键文本信息进行作为庭审人员的关键对话信息。具体的，如图1b所示，RPA机器人可基于NLP服务，从文本信息中提取第二预设字段对应的文本信息，并将提取到的文本信息作为关键对话信息写入庭审笔录中。其中，第二预设字段可以包括当事人姓名、身份证号码、家庭住址和答辩信息等。

本实施例中，具有NLP服务的AI平台为UiBot Mage平台，该UiBot Mage平台是一款主要为RPA机器人开发者提供AI能力支持的工具型产品。该平台与RPA机器人搭载的UiBotCreator平台均依赖于UiBot平台上，UiBot平台是流程自动化专家，是一款面向多类需求、为业务全流程提供智能机器人服务的平台。其中，AI平台可以部署在本地，也可以部署在云服务器中。

具体的，可通过一个同时登录RPA平台以及AI平台的目标账号，即UiBot帐号，使得RPA机器人所搭载的平台与AI平台相结合。在使用该目标账号同时登录了RPA机器人所搭载的平台以及AI平台后，RPA机器人所搭载的平台即与AI平台建立了通信连接，也即RPA机器人可以直接调用已发布的NLP组件对关键文本信息进行提取，并将提取到的文本信息作为关键对话信息。

本实施例中，在目标案件的开庭审理过程中，RPA机器人通过结合ASR和NLP技术，可以快速、准确且灵活地自动记录庭审实况，减轻了庭审记录员的事务工作压力。同时，法官在庭审过程中也无需时刻关注庭审记录员的笔录进展，从而在庭审过程中注意力可更加集中。通过采用本实施例的技术方案，可使得庭审节奏更加紧凑，有效提升了案件的庭审效率。

S130、生成包含有案件基础信息和关键对话信息的法庭审理笔录。

本实施例中，法庭审理笔录是法院裁判案件不可缺少的书面材料，其反映的是案件审理的整个过程。在法庭审理笔录中通常需要包含有案件的基础信息和开庭审理过程中庭审人员的关键对话信息。法庭审理笔录的制作存在对应的庭审笔录模板，该模板中包含有预设字段和待填写的该预设字段的属性值。本实施例中，对于获取到的案件基础信息和开庭审理过程中提取到的关键对话信息，RPA机器人将其按照对应的预设字段写入庭审笔录模板中，即可完成法庭审理笔录的制作。

其中，案件基础信息包括案件的当事人信息、案件内容和诉讼请求信息。其中，当事人信息包括原告和被告的姓名、身份证号、性别、住址和联系电话等，如果当事人是公司主体，则当事人信息包括公司名称、法定代表人名字、公司地址和联系电话等。案件内容包括案件编号和案由等。诉讼请求信息包括：要求对方还款，应还的本金和利息，以及要求对方承担诉讼费等信息。

本实施例中，案件基础信息可在目标案件开庭审理之前录入庭审笔录模板中，以供法官、庭审记录员提前了解待开庭审理的案件的基本情况。或者也可以在案件开庭审理后，将开庭审理过程中未录入的一些案件基础信息录入庭审笔录模板，以完善法庭审理笔录，从而形成规范化的法庭审理笔录。

本实施例提供的技术方案，对于待制作法庭审理笔录的目标案件，在该目标案件的开庭审理过程中，RPA机器人可提取庭审人员的关键对话信息，并可生成包含有案件基础信息和关键对话信息的法庭审理笔录，该法庭审理笔录可以反映目标案件在开庭审理过程中的审理情况。通过采用上述技术方案，可以快速、准确且灵活地自动记录庭审实况，减轻了法院庭审记录员的事务工作压力，并有效提高了庭审笔录的准确性。同时，法官在庭审过程中也无需时刻关注庭审记录员的笔录进展，法官的注意力可以更加集中，从而可使得庭审节奏更加紧凑，进而有效提升案件的庭审效率。

实施例二

图2a为本申请实施例二提供的一种基于RPA和AI的庭审笔录生成方法的流程图，本实施例在上述实施例的基础上，对案件基础信息的获取过程以及法庭审理笔录的具体生成过程进行了细化，如图2a所示，本实施例提供的方法包括：

S210、在目标案件开庭审理之前，登录法院案件的电子卷宗系统。

具体的，RPA机器人可打开浏览器，并通过对页面的Html(Hyper Text MarkupLanguage，超文本标记语言)标签进行识别，得到当前网页的链接标识。基于该链接标识，RPA机器人可输入法院案件电子卷宗系统的地址链接，从而打开电子卷宗系统的用户登录界面。

在打开电子卷宗系统的用户登录界面后，如果RPA机器人可直接获取到MSAA服务，即可直接调用MSAA接口，对电子卷宗系统的用户登录界面的元素进行识别，并从识别得到的各元素中确定用于登录该电子卷宗系统的登录控件。RPA机器人根据登录控件的内容输入对应的登录信息，以登录该电子卷宗系统，其中，登录信息包括登录账号和登录密码。

其中，MSAA接口，是一个用于用户界面可访问性的应用程序编程接口，旨在帮助辅助技术产品与应用程序(或操作系统)的标准用户界面或自定义用户界面元素进行交互，以及访问、标识和操作应用程序的UI元素。具体的，图2b为本申请实施例二提供的MSAA架构的结构框图。如图2b所示，MSAA通过组件对象模型(COM)或分布式组件对象模型(DCOM)来实现，其中，COM用来负责操作系统与应用之间的沟通，是MSAA的核心接口，DCOM是COM的进一步扩展，通过COM或DCOM可获得动态辅助功能服务(MSAA Server)，即RPA机器人可以对应用程序上的UI元素进行操作。

需要说明的是，对于某些RPA机器人无法直接调用MSAA接口的应用程序，RPA机器人可通过界面自动化代理(UIA代理)，获得MSAA服务，从而可以调用对应的MSAA接口对电子卷宗系统的用户登录界面进行识别，得到电子卷宗系统的用户登录界面的元素。本实施例这样设置，在RPA机器人对应用程序的用户界面元素的识别过程中，可提高RPA机器人对于不同类型应用程序的接口访问的兼容性。

具体的，图2c为本申请实施例二提供的UIA架构的结构框图，如图2c所示，UIA结构是基于MSAA结构实现的，在UIA架构中兼容了MSAA的接口，即其中兼容了动态辅助功能服务(MSAA Server)，MSAA接口跟UIA接口之间通过界面自动化代理(UIA代理)完成转换，通过UIA代理，RPA机器人可间接获得动态辅助功能服务，从而能够使用MSAA动态辅助功能服务来访问基于UIA开发的应用程序的UI。

S220、在电子卷宗系统中，获取目标案件的起诉书文件。

本实施例中，RPA机器人可按照案号在电子卷宗系统中搜索到待制作开庭笔录的目标案件的起诉书文件，该起诉书文件中包含有当事人信息、案件内容和诉讼请求信息等案件基础信息。

S230、从起诉书文件中提取案件基础信息。

本实施例中，RPA机器人在获取到目标案件的起诉书文件之后，可对起诉书文件的内容进行识别，从而得到目标案件的案件基础信息。其中，如果获取到的起诉状文书是以可编辑的半结构化文本，或者以非结构化文本的形式存在，则RPA机器人可直接从半结构化文本或非结构化文本中提取出目标案件的关键信息。但如果获取到的起诉状文书是以图片或者影印文件等非结构化图片的形式存在，则RPA机器人在对起诉状文书的内容进行识别时，可结合AI技术中的OCR能力，先将非结构化图片转化为可复制粘贴的半结构化文本，然后再从半结构化文本中提取出目标案件的关键信息。具体的，RPA机器人所搭载的平台与AI平台建立了通信连接后，RPA机器人可以直接调用已发布的OCR组件对起诉书文件的内容进行识别，得到起诉书文件对应的半结构化文本。

在得到半结构化文本之后，RPA机器人可基于自然语言处理NLP服务，从半结构化文本中提取第一预设字段对应的属性值，并将提取到的属性值作为案件基础信息。其中，第一预设字段包括案号、案由、被告人、性别和身份证号等。

本实施例中，采用了RPA与AI相结合的技术对案件基础信息进行识别和抽取，提高了识别的效率和准确率。相对于相关技术中，工作人员在法院开庭之前手动录入案件基础信息的方式，本实施例提供的信息识别和抽取方式，避免了法院工作人员机械、重复性的劳动，有效节省了法院工作人员的时间，提高了法院案件的处理效率。

具体的，图2d为本申请实施例二提供的一种信息抽取的效果截图。如图2d所示，对于是图片格式的起诉书文件，RPA机器人可通过调用AI平台的OCR组件，可将图片内容转换为可编辑的半结构化文本。接着，RPA机器人可利用AI平台的NLP服务将半结构化文本转化为结构化信息，即按照预设字段的字段名，抽取出各预设字段对应的属性值，例如，RPA机器人可从半结构化文本中抽取出“案由”这一字段名对应的字段值：“交通肇事罪”，并抽取出“被告”这一字段名对应的字段值：“董XX”，以及“性别”这一字段名对应的字段值：“男”等，直到抽出所有预设字段对应的属性值，这些属性值可作为案件基础信息，写入庭审笔录模板中。

S240、在目标案件开庭审理之前，将案件基础信息按照对应的预设字段写入庭审笔录模板中。

具体的，图2e为本申请实施例二提供的在UiBot Creator平台上搭建的流程图。对于目标案件开庭审理之前，在庭审笔录模板中自动录入案件基础信息的操作，可通过在UiBot Creator平台搭建的如图2e所示的流程图来实现。在UiBot Creator平台的流程视图界面，流程设计人员通过拖拉拽等方式，可搭建流程整体架构。如图2e所示，该流程架构中包括流程初始化、登录电子卷宗系统、获取起诉书文件、识别起诉书文件、识别信息写入Excel表格、判断是否还有需要识别的起诉书、展示表格写入结果，以及写入庭审笔录模板等核心流程块。其中，每个流程块的内容相当于RPA机器人的执行指令，RPA机器人在执行任务的过程中，将按照该指令完成对应的流程操作，从而实现庭审前案件基础信息的智能识别、自动采集和自动录入，有效节省了法院工作人员的时间，提高了庭审笔录制作的处理效率和准确率，使得法院工作更加智能化、自动化。

S250、在目标案件的开庭审理过程中，对各个庭审人员的语音信息进行解析，并将语音信息转换为文本信息。

S260、基于NLP服务，从文本信息中提取第二预设字段对应的文本信息，并将提取到的文本信息作为关键对话信息。

S270、对庭审笔录模板中的各预设字段进行识别。

S280、在目标案件开庭审理过程中，将关键对话信息按照对应的预设字段写入庭审笔录模板中，以生成法庭审理笔录。

本实施例中，由于目标案件开庭审理之前，RPA机器人已将案件基础信息录入庭审笔录模板，如果已录入的案件基础信息与开庭审理过程中提取到的关键对话信息存在重复或不一致之处，则以开庭审理过程中得到的关键对话信息为准。

具体的，在目标案件开庭审理过程中，RPA机器人在将提取到的关键对话信息录入庭审笔录模板之前，可判断该庭审笔录模板中是否存在与关键对话信息对应的内容，即判断关键对话信息在庭审笔录模板中的对应预设字段是否存在属性值，如果不存在对应的属性值，即庭审笔录模板中不存在关键对话信息对应的内容，则说明开庭审理之前RPA机器人录入的案件基础信息与开庭审理过程中提取到的关键对话信息没有重复的内容，此时，RPA机器人可将提取到的关键对话信息按照对应的预设字段写入庭审笔录模板中。

如果RPA机器人识别出庭审笔录模板存在与关键对话信息对应的内容，则判断关键对话信息与其在庭审笔录模板中对应的内容是否一致，如果不一致，则说明开庭审理之前已录入的案件基础信息与关键对话信息存在差异，例如，已录入的案件基础信息中被告人名字是“张三”，而关键对话信息中，被告人名字是“张某某”，二者不一致，此时，RPA机器人可将庭审笔录模板中与关键对话信息对应的内容替换为关键对话信息。

进一步的，在开庭审理结束后，对于庭审笔录模板中已录入的所有信息，法院工作人员只需修改和删除少量信息，便可根据系统内置各类案件笔录模板，快速生成标准化庭审笔录，从而有效提升庭审的质量和效率。

本实施例中，在目标案件开庭审理之前，通过采用RPA与AI相结合的技术对案件基础信息进行识别和抽取，提高了识别的效率和准确率。相对于相关技术中，工作人员在法院开庭之前手动录入案件基础信息的方式，本实施例提供的信息识别和抽取方式，避免了法院工作人员机械、重复性的劳动，有效节省了法院工作人员的时间，提高了法院案件的处理效率。

实施例三

图3为本申请实施例三提供的一种基于RPA和AI的庭审笔录生成装置的结构框图，该装置可通过软件和/或硬件的方式来实现。如图3所示，该装置包括：目标案件确定模块310、关键对话信息提取模块320和法庭审理笔录生成模块330，其中，

目标案件确定模块310，被配置为确定待制作法庭审理笔录的目标案件；

关键对话信息提取模块320，被配置为在目标案件的开庭审理过程中，提取庭审人员的关键对话信息，该关键对话信息包括目标案件当事人的答辩信息；

法庭审理笔录生成模块330，被配置为生成包含有案件基础信息和关键对话信息的法庭审理笔录，其中，案件基础信息包括当事人信息、案件内容和诉讼请求信息，法庭审理笔录用于反映目标案件在开庭审理过程中的审理情况。

可选的，本申请实施例提供的装置还包括：

电子卷宗系统登录模块，被配置为在目标案件开庭审理之前，登录法院案件的电子卷宗系统；

起诉书文件获取模块，被配置为在电子卷宗系统中，获取目标案件的起诉书文件，该起诉书文件中包括当事人信息、案件内容和诉讼请求信息；

案件基础信息提取模块，被配置为从起诉书文件中提取案件基础信息。

可选的，电子卷宗系统登录模块，包括：

登录界面元素识别单元，被配置为在目标案件开庭审理之前，调用动态辅助功能MSAA接口，对电子卷宗系统的用户登录界面的元素进行识别；

登录控件确定单元，被配置为从识别得到的各元素中确定用于登录电子卷宗系统的登录控件；

登录单元，被配置为根据登录控件的内容输入对应的登录信息，以登录电子卷宗系统，其中，登录信息包括登录账号和登录密码。

可选的，登录界面元素识别单元，具体被配置为：

在目标案件开庭审理之前，通过界面自动化UIA代理，获得MSAA服务，以调用对应的MSAA接口对电子卷宗系统的用户登录界面进行识别，得到所述用户登录界面的元素。

可选的，案件基础信息提取模块，具体被配置为：

基于光学字符识别OCR组件，将起诉书文件转化为半结构化文本；

基于自然语言处理NLP服务，从半结构化文本中提取第一预设字段对应的属性值，并将提取到的属性值作为案件基础信息。

可选的，关键对话信息提取模块，具体被配置为：

在目标案件的开庭审理过程中，对各个庭审人员的语音信息进行解析，并将语音信息转换为文本信息；

基于自然语言处理NLP服务，从文本信息中提取第二预设字段对应的文本信息，并将提取到的文本信息作为关键对话信息。

可选的，法庭审理笔录生成模块，包括：

预设字段识别单元，被配置为对庭审笔录模板中的各预设字段进行识别；

案件基础信息写入单元，被配置为在目标案件开庭审理之前，将案件基础信息按照对应的预设字段写入庭审笔录模板中；

关键对话信息写入单元，被配置为在目标案件的开庭审理过程中，将关键对话信息按照对应的预设字段写入庭审笔录模板中，以生成法庭审理笔录。

可选的，关键对话信息写入单元，具体被配置为：

在目标案件的开庭审理过程中，判断庭审笔录模板中是否存在与所述关键对话信息对应的内容，如果不存在与关键对话信息对应的内容，则将关键对话信息按照对应的预设字段写入庭审笔录模板中；

如果存在与关键对话信息对应的内容，则判断关键对话信息与其在庭审笔录模板中对应的内容是否一致，如果不一致，则将庭审笔录模板中与关键对话信息对应的内容替换为所述关键对话信息。

本申请实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。

实施例四

图4为申请实施例四提供的一种用于生成庭审笔录的设备的结构框图。如图4所示，该设备包括：存储器910和处理器920，存储器910内存储有可在处理器920上运行的计算机程序。处理器920执行该计算机程序时实现上述实施例中的基于RPA和AI的庭审笔录生成方法。存储器910和处理器920的数量可以为一个或多个。

该设备还包括：

通信接口930，用于与外界设备进行通信，进行数据交互传输。

如果存储器910、处理器920和通信接口930独立实现，则存储器910、处理器920和通信接口930可以通过总线相互连接并完成相互间的通信。该总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器910、处理器920及通信接口930集成在一块芯片上，则存储器910、处理器920及通信接口930可以通过内部接口完成相互间的通信。

本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现本申请实施例中提供的方法。

本申请实施例还提供了一种芯片，该芯片包括，包括处理器，用于从存储器中调用并运行存储器中存储的指令，使得安装有芯片的通信设备执行本申请实施例提供的方法。

本申请实施例还提供了一种芯片，包括：输入接口、输出接口、处理器和存储器，输入接口、输出接口、处理器以及存储器之间通过内部连接通路相连，处理器用于执行存储器中的代码，当代码被执行时，处理器用于执行申请实施例提供的方法。

应理解的是，上述处理器可以是中央处理器(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(digital signal processing，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(fieldprogrammablegate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是，处理器可以是支持进阶精简指令集机器(advanced RISC machines，ARM)架构的处理器。

进一步地，可选的，上述存储器可以包括只读存储器和随机存取存储器，还可以包括非易失性随机存取存储器。该存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以包括只读存储器(read-onlymemory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以包括随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用。例如，静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic random access memory，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data date SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhancedSDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。

应理解的是，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。上述实施例方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。上述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (15)

1.一种基于机器人流程自动化RPA和人工智能AI的庭审笔录生成方法，应用于RPA机器人，其特征在于，包括：

S1、确定待制作法庭审理笔录的目标案件；

S2、在所述目标案件的开庭审理过程中，提取庭审人员的关键对话信息，所述关键对话信息包括目标案件当事人的答辩信息；

S3、生成包含有案件基础信息和所述关键对话信息的法庭审理笔录，其中，所述案件基础信息包括当事人信息、案件内容和诉讼请求信息，所述法庭审理笔录用于反映所述目标案件在开庭审理过程中的审理情况。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

S4、在所述目标案件开庭审理之前，登录法院案件的电子卷宗系统；

S5、在所述电子卷宗系统中，获取所述目标案件的起诉书文件，所述起诉书文件中包括当事人信息、案件内容和诉讼请求信息；

S6、从所述起诉书文件中提取案件基础信息。

3.根据权利要求2所述的方法，其特征在于，所述步骤S4具体包括：

S41、在所述目标案件开庭审理之前，调用动态辅助功能MSAA接口，对电子卷宗系统的用户登录界面的元素进行识别；

S42、从识别得到的各元素中确定用于登录所述电子卷宗系统的登录控件；

S43、根据所述登录控件的内容输入对应的登录信息，以登录所述电子卷宗系统，其中，所述登录信息包括登录账号和登录密码。

4.根据权利要求3所述的方法，其特征在于，所述步骤S41具体包括：

在所述目标案件开庭审理之前，通过界面自动化UIA代理，获得MSAA服务，以调用对应的MSAA接口对电子卷宗系统的用户登录界面进行识别，得到所述用户登录界面的元素。

5.根据权利要求2-4任一所述的方法，其特征在于，所述步骤S6具体包括：

S61、基于光学字符识别OCR组件，将所述起诉书文件转化为半结构化文本；

S62、基于自然语言处理NLP服务，从所述半结构化文本中提取第一预设字段对应的属性值，并将提取到的属性值作为案件基础信息。

6.根据权利要求1所述的方法，其特征在于，所述步骤S2具体包括：

S21、在所述目标案件的开庭审理过程中，对各个庭审人员的语音信息进行解析，并将所述语音信息转换为文本信息；

S22、基于自然语言处理NLP服务，从所述文本信息中提取第二预设字段对应的文本信息，并将提取到的文本信息作为关键对话信息。

7.根据权利要求1或2或6所述的方法，其特征在于，所述步骤S3具体包括：

S31、对庭审笔录模板中的各预设字段进行识别；

S32、在所述目标案件开庭审理之前，将案件基础信息按照对应的预设字段写入所述庭审笔录模板中；

S33、在所述目标案件的开庭审理过程中，将所述关键对话信息按照对应的预设字段写入所述庭审笔录模板中，以生成法庭审理笔录。

8.根据权利要求7所述的方法，其特征在于，所述步骤S33具体包括：

在所述目标案件的开庭审理过程中，判断所述庭审笔录模板中是否存在与所述关键对话信息对应的内容，如果不存在与所述关键对话信息对应的内容，则将所述关键对话信息按照对应的预设字段写入所述庭审笔录模板中；

如果存在与所述关键对话信息对应的内容，则判断所述关键对话信息与其在所述庭审笔录模板中对应的内容是否一致，如果不一致，则将所述庭审笔录模板中与所述关键对话信息对应的内容替换为所述关键对话信息。

9.一种基于RPA和AI的庭审笔录生成的装置，其特征在于，包括：

目标案件确定模块，被配置为确定待制作法庭审理笔录的目标案件；

关键对话信息提取模块，被配置为在所述目标案件的开庭审理过程中，提取庭审人员的关键对话信息，所述关键对话信息包括目标案件当事人的答辩信息；

法庭审理笔录生成模块，被配置为生成包含有案件基础信息和所述关键对话信息的法庭审理笔录，其中，所述案件基础信息包括当事人信息、案件内容和诉讼请求信息，所述法庭审理笔录用于反映所述目标案件在开庭审理过程中的审理情况。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

电子卷宗系统登录模块，被配置为在所述目标案件开庭审理之前，登录法院案件的电子卷宗系统；

起诉书文件获取模块，被配置为在所述电子卷宗系统中，获取所述目标案件的起诉书文件，所述起诉书文件中包括当事人信息、案件内容和诉讼请求信息；

案件基础信息提取模块，被配置为从所述起诉书文件中提取案件基础信息。

11.根据权利要求10所述的装置，其特征在于，所述电子卷宗系统登录模块，包括：

登录界面元素识别单元，被配置为在所述目标案件开庭审理之前，调用动态辅助功能MSAA接口，对电子卷宗系统的用户登录界面的元素进行识别；

登录控件确定单元，被配置为从识别得到的各元素中确定用于登录所述电子卷宗系统的登录控件；

登录单元，被配置为根据所述登录控件的内容输入对应的登录信息，以登录所述电子卷宗系统，其中，所述登录信息包括登录账号和登录密码。

12.根据权利要求11所述的装置，其特征在于，所述登录界面元素识别单元，具体被配置为：

在所述目标案件开庭审理之前，通过界面自动化UIA代理，获得MSAA服务，以调用对应的MSAA接口对电子卷宗系统的用户登录界面进行识别，得到所述用户登录界面的元素。

13.根据权利要求10-12任一所述的装置，其特征在于，所述案件基础信息提取模块，具体被配置为：

基于光学字符识别OCR组件，将所述起诉书文件转化为半结构化文本；

基于自然语言处理NLP服务，从所述半结构化文本中提取第一预设字段对应的属性值，并将提取到的属性值作为案件基础信息。

14.一种用于生成庭审笔录的设备，其特征在于，包括：处理器和存储器，所述存储器中存储指令，所述指令由处理器加载并执行，以实现如权利要求1至8任一项所述的方法。

15.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的方法。

Images