CN117524441A - 一种手术质量的检测方法、装置 - Google Patents

Abstract

本申请公开了一种手术质量的检测方法，包括：获取待检测手术质量的手术视频数据，基于手术视频数据，获取手术流程中至少一个手术进程的时序信息、以及进程信息，时序信息至少包括用于表征手术进程在手术流程中的时间信息，进程信息至少包括手术进程在手术流程中所属的设定粒度环节信息，将所获取手术进程的时序信息以及进程信息与该待检测手术的手术标准化流程数据中标准进程的时序信息以及进程信息进行匹配，根据匹配结果，检测进程的时序是否符合标准。本申请实现了手术流程标准性检测。

Description

一种手术质量的检测方法、装置

技术领域

本发明涉及智能医疗领域，特别地，涉及一种手术质量的检测方法。

背景技术

手术是外科治疗的常用手段之一，手术质量检测具有重要的意义，主要体现在以下几个方面：

1. 提高手术质量：通过手术质量检测，可确保手术过程中的每一步都按照规范的操作进行，避免了手术失误，从而提高了手术的质量和安全性。

2. 减少并发症：通过手术质量检测，使得所有的手术步骤都经过严格的规划和执行，可以减少手术并发症的发生，从而降低了手术风险。

3. 提高效率：通过手术质量检测，使得所有的手术步骤都按照计划进行，助于提高手术效率，避免了不必要的等待和浪费。

现有的手术质量检测，主要关注的是手术过程中发生的异常事件，并未充分关注每一手术流程。实际上，不合规的手术流程往往会导致手术效果不佳，甚至引发术后并发症，严重影响治疗效果和康复。

发明内容

本发明提供了一种手术质量的检测方法，以对手术过程中的每一手术流程进行检测。

本申请第一方面提供一种手术质量的检测方法，该方法包括：

获取待检测手术质量的手术视频数据，

基于手术视频数据，获取手术流程中至少一个手术进程的时序信息、以及进程信息，其中，时序信息至少包括用于表征手术进程在手术流程中的时间信息，进程信息至少包括手术进程在手术流程中所属的设定粒度环节信息，

将所获取手术进程的时序信息以及进程信息与该待检测手术的手术标准化流程数据中标准进程的时序信息以及进程信息进行匹配，根据匹配结果，检测手术流程是否符合标准，

其中，

手术标准化流程数据包括：待检测手术质量的各标准手术流程所包含的标准进程的时序信息、以及进程信息。

较佳地，所述待检测手术质量为手术实施过程中手术质量的检测；

较佳地，所述获取待检测手术质量的手术视频数据，包括：

实时获取手术实施过程中当前时刻的手术视频数据，作为当前手术视频数据；

较佳地，所述基于手术视频数据，获取手术流程中至少一个手术进程的时序信息、以及进程信息，包括：

基于当前手术视频数据，确定当前时刻手术进程所属的手术流程中的设定粒度环节、以及用于表征当前手术进程相对于手术起始时刻的相对时间信息，得到当前手术进程的进程信息以及时序信息；

较佳地，所述将所获取手术进程的时序信息以及进程信息与该待检测手术的手术标准化流程数据中标准进程的时序信息以及进程信息进行匹配，包括：

将所确定的当前手术进程之前的手术进程作为历史手术进程，

将历史手术进程与当前手术进程组成当前手术进程序列，将当前手术进程序列与手术标准化流程数据中标准进程进行匹配，根据匹配结果，检测当前手术进程是否符合标准。

较佳地，所述基于当前手术视频数据，确定当前时刻手术进程所属的手术流程中的设定粒度环节、以及用于表征当前手术进程相对于手术起始时刻的相对时间信息，得到当前手术进程的时序信息以及进程信息，包括：

利用训练后的第一人工智能模型，对当前手术视频数据进行手术进程识别，得到进程信息，并记录当前时刻的时间信息，作为当前手术进程的时序信息；

较佳地，所述将历史手术进程与当前手术进程组成当前手术进程序列，将当前手术进程序列与手术标准化流程数据中标准进程进行匹配，根据匹配结果，检测当前手术进程序列是否符合标准，包括：

在手术标准化流程数据中选取所有以当前手术进程为终结的前向进程序列作为标准进程序列候选，将历史手术进程与当前手术进程组成当前手术进程序列，并逐一与标准进程序列候选进行匹配，

如果序列匹配成功，则判定当前手术进程的时序符合标准，否则，判定当前手术进程的时序不符合标准，并根据序列匹配结果，确定缺失的进程。

较佳地，所述获取待检测手术质量的手术视频数据，包括：

在手术实施过程结束后，将手术实施过程中所获取的手术视频数据作为待检测手术质量的手术视频数据；

较佳地，所述基于手术视频数据，获取手术流程中至少一个手术进程的时序信息、以及进程信息，包括：

将在手术实施过程所得到的手术视频数据输入至训练后的第二人工智能模型，得到各手术进程的进程信息，并将所输入视频帧的采集时间记录为时序信息，以作为待评估数据，

或者，

将在手术实施过程所得到的各手术进程的时序信息、以及进程信息，作为待评估数据；

较佳地，所述将所获取手术进程的时序信息以及进程信息与该待检测手术的手术标准化流程数据中标准进程的时序信息以及进程信息进行匹配，根据匹配结果，检测手术流程是否符合标准，包括：

将待评估数据中所有手术进程的时序信息以及进程信息与标准进程的时序信息以及进程信息进行匹配，根据匹配结果，检测待评估数据的手术流程是否符合标准。

较佳地，所述将待评估数据中所有手术进程的时序信息与标准进程的时序信息进行时序信息匹配，根据匹配结果，检测待评估数据中各手术进程的时序是否符合标准，包括：

将待评估数据中所有手术进程所形成的进程序列与标准进程所形成的进程序列进行匹配，根据匹配结果确定缺失的进程、多余的进程、以及不符合标准的进程顺序。

较佳地，所述人工智能模型包括：

特征提取模型，用于提取每一视频帧特征，得到每一视频帧的特征向量，

时序建模模型，用于基于当前视频帧的当前特征向量和历史序列特征向量，识别当前视频帧所处的手术进程，得到进程信息。

较佳地，该方法进一步包括：

基于手术视频数据，获取手术进程的进程数据，其中，进程数据至少包括用于表征手术进程中手术要素信息，

将所获取进程的进程数据与所匹配的标准进程的进程数据进行进程数据比对，根据比对结果，检测进程中手术要素是否符合标准；

较佳地，所述手术标准化流程数据根据用户输入的搜索条件、手术质量检测模式中的至少之一从用于存储手术标准化流程数据的手术流程标准库中获得，

其中，

手术流程标准库以如下方式建立：

对于任一手术，

采集该手术针对不同手术类型、不同手术方法、不同手术计划、不同手术阶段至少之一的手术属性的标准手术视频数据，

基于标准手术视频数据，确定该标准手术视频数据所包括的各标准进程的进程信息和时序信息，并获取各标准进程的进程数据，

将所确定的进程信息和时序信息以及所获取的进程数据作为手术标准化流程数据进行存储，并存储手术标准化流程数据所对应的手术属性信息。

较佳地，所述将所获取手术进程的进程数据与所匹配的标准进程的进程数据进行进程数据比对，包括：

将当前手术进程的进程数据与所匹配的标准进程的进程数据进行进程数据比对，根据比对结果，检测当前进程中手术要素是否符合标准；

对于待评估数据中符合标准的每一手术进程或者不符合标准进程顺序的手术进程，将该手术进程的进程数据，与，与该手术进程对应的标准进程的进程数据进行比对；

较佳地，所述人工智能模型包括：

特征提取模型，用于提取每一视频帧特征，得到每一视频帧的特征向量，

时序建模模型，用于基于当前视频帧的当前特征向量和历史序列特征向量，识别当前视频帧所处的手术进程，得到进程信息，手术要素识别模型，用于基于特征向量，识别视频帧中的手术要素，得到进程数据。

较佳地，所述手术要素识别模型包括如下识别模型中的至少之一：

手术阶段识别模型，用于识别手术阶段信息，

手术器械识别模型，用于识别手术器械及其轨迹，

手术动作识别模型，用于识别手术动作信息，

手术场景识别模型，用于识别手术视野中的体内场景、体外场景、器官和解剖结构中的至少之一，

病灶识别模型，用于识别病灶的类别、位置、状态中的至少之一，

较佳地，所述获取手术进程的进程数据，进一步包括：

根据设定的手术质量检测模式，将各识别模型的识别结果中可拼接的识别结果进行拼接，将拼接的识别结果作为与该手术质量检测模式对应的进程数据。

较佳地，所述根据设定的手术质量检测模式，将各识别模型的识别结果中可拼接的识别结果进行拼接，包括：

在设定的手术质量检测模式为第一手术质量检测模式的情形下，则将各识别模型所识别的同一手术进程的每一视频帧的识别结果作为该手术进程第一手术质量检测模式的进程数据，

在设定的手术质量检测模式为第二手术质量检测模式的情形下，则将各识别模型所识别的同一手术进程的同一视频帧的识别结果进行拼接，得到各视频帧的识别结果，作为该手术进程第二手术质量检测模式的进程数据，

在设定的手术质量检测模式为第三手术质量检测模式的情形下，则将同一手术进程的各视频帧的同一识别模型的识别结果进行拼接，得到该手术进程所有视频帧各识别模型的识别结果，作为该手术进程第三手术质量检测模式的进程数据，

在设定的手术质量检测模式为第四手术质量检测模式的情形下，则将各识别模型所识别的同一手术进程的同一视频帧的识别结果进行拼接、且将同一手术进程的各视频帧的同一识别模型的识别结果进行拼接，得到该手术进程的识别结果，作为该手术进程第四手术质量检测模式的进程数据；

所述将所获取进程的进程数据与所匹配的标准进程的进程数据进行进程数据比对，包括：

根据所选择的手术质量检测模式，获取该手术质量检测模式对应的标准进程的进程数据，并将所获取进程的该手术质量检测模式的进程数据与该手术质量检测模式对应的标准进程的进程数据进行比对。

较佳地，所述将所获取手术进程的进程数据与所匹配的标准进程的进程数据进行比对，根据比对结果，检测手术进程中手术要素是否符合标准，包括：

对于任一所获取手术进程，

在设定的手术质量检测模式为第一手术质量检测模式的情形下，

对于该手术进程的进程数据中每一视频帧的每一识别模型的识别结果，将该视频帧的该识别模型的识别结果与标准进程的进程数据进行比对，根据比对结果，检测该视频帧的该识别结果所表征的手术要素是否符合标准；

或者，

对于该手术进程的进程数据中每一识别模型的识别结果，将该识别模型的识别结果与标准进程的进程数据进行比对，根据比对结果，检测该识别结果所表征的手术要素是否符合标准；将该手术进程的数据中该识别结果所持续的时长与标准进程的进程数据中所比对手术要素所持续的时长进行比较，根据比较结果，检测该识别结果所表征的手术要素的持续时长是否符合标准，

并且，对于该手术进程的进程数据中每一视频帧的识别结果，将该视频帧的识别结果与标准进程的进程数据进行匹配，根据匹配结果，检测该识别结果所表征的手术要素是否符合标准；将该手术进程的进程数据中该识别结果的时序信息，与，标准进程的进程数据中所匹配的手术要素的时序信息进行比较，根据比较结果，检测该识别结果所表征的手术要素的时序信息是否符合标准，

将该手术进程的进程数据中对于每一识别模型的识别结果所判定的符合标准手术要素、并且对于每一视频帧的识别结果所判定的符合标准的手术要素，判定为符合标准；

在设定的手术质量检测模式为第二手术质量检测模式的情形下，对于该手术进程的进程数据中每一视频帧的识别结果，将该视频帧的识别结果与标准进程的进程数据进行匹配，根据匹配结果，检测该识别结果所表征的手术要素是否符合标准；将该手术进程的进程数据中该识别结果的时序信息，与，标准进程的进程数据中所匹配手术要素的时序信息进行比较，根据比较结果，检测该识别结果所表征的手术要素的时序信息是否符合标准；

在设定的手术质量检测模式为第三手术质量检测模式的情形下，对于该手术进程的进程数据中每一识别模型的识别结果，将该识别模型的识别结果与标准进程的进程数据进行比对，根据比对结果，检测该识别结果所表征的手术要素是否符合标准；将该手术进程的进程数据中该识别结果所持续的时长与标准进程的进程数据中所比对手术要素所持续的时长进行比较，根据比较结果，检测该识别结果所表征的手术要素的时序信息是否符合标准；

在设定的手术质量检测模式为第四手术质量检测模式的情形下，将该手术进程的进程数据中用于表征手术要素的特征向量与标准进程的进程数据中的特征向量进行比对，根据比对结果，检测该手术进程的中手术要素是否符合标准。

较佳地，在设定的手术质量检测模式为第一手术质量检测模式的情形下：

所述根据比对结果，检测该视频帧的该识别结果所表征的手术要素是否符合标准，包括：

如果识别结果所表征的手术要素信息与所比对手术要素信息之间的距离小于设定的第一距离阈值，则判定该视频帧的该识别结果所表征的手术要素符合标准；

所述根据比对结果，检测该识别结果所表征的手术要素是否符合标准，包括：

如果识别结果所表征的手术要素信息与所比对手术要素信息之间的距离小于设定的第二距离阈值，则判定该识别结果所表征的手术要素符合标准；

所述根据比较结果，检测该识别结果所表征的手术要素的持续时长是否符合标准，包括：

如果识别结果所表征的手术要素的持续时长与所比较手术要素所持续的时长之间的时长差值小于设定的第一时长阈值，则判定手术要素信息的持续时长符合标准；

较佳地，所述根据匹配结果，检测该识别结果所表征的手术要素是否符合标准，包括：

如果匹配成功，则判定该识别结果所表征的手术要素符合标准；

较佳地，所述根据比较结果，检测该识别结果所表征的手术要素的时序信息是否符合标准，包括：

如果时序信息相同，则判定该识别结果所表征的手术要素的时序信息符合标准；

在设定的手术质量检测模式为第二手术质量检测模式的情形下：

较佳地，所述根据匹配结果，检测该识别结果所表征的手术要素是否符合标准，包括：

如果匹配成功，则判定该识别结果所表征的手术要素符合标准；

较佳地，所述根据比较结果，检测该识别结果所表征的手术要素的时序信息是否符合标准，包括：

如果时序信息相同，则判定该识别结果所表征的手术要素的时序信息符合标准；

在设定的手术质量检测模式为第三手术质量检测模式的情形下：

较佳地，所述根据比对结果，检测该识别结果所表征的手术要素是否符合标准，包括：

如果识别结果所表征的手术要素信息与所比对手术要素信息之间的距离小于设定的第三距离阈值，则判定该识别结果所表征的手术要素符合标准；

较佳地，所述根据比较结果，检测该识别结果所表征的手术要素的时序信息是否符合标准，包括：

如果识别结果所表征的手术要素所持续的时长与所比较手术要素所持续的时长之间的时长差值小于设定的第二时长阈值，则判定手术要素信息的持续时长符合标准；

在设定的手术质量检测模式为第四手术质量检测模式的情形下：

较佳地，所述根据比对结果，检测该手术进程的中手术要素是否符合标准，包括：

如果两特征向量之间的距离小于设定的第四距离阈值，则判定该手术进程的中手术要素符合标准。

较佳地，该方法进一步包括：

在设定的手术质量检测模式为第一手术质量检测模式的情形下，在完成所有视频帧的所有识别模型的识别结果的比对之后，判断该手术进程的中符合标准的识别结果的数量是否大于设定的第一数量阈值，如果是，则判定该手术进程的符合标准，否则，根据不符合标准的识别结果进行分析；

在设定的手术质量检测模式为第二手术质量检测模式的情形下，在完成所有视频帧的识别结果的比对之后，判断该手术进程的中符合标准的识别结果的数量是否大于设定的第二数量阈值，如果是，则判定该手术进程的符合标准，否则，根据不符合标准的识别结果进行分析；

在设定的手术质量检测模式为第三手术质量检测模式的情形下，在完成所有视频帧的识别结果的比对之后，判断该手术进程的中符合标准的识别结果的数量是否大于设定的第三数量阈值，如果是，则判定该手术进程符合标准，否则，根据不符合标准的识别结果进行分析。

较佳地，所述根据不符合标准的识别结果进行分析，包括：

在设定的手术质量检测模式为第一手术质量检测模式的情形下，若该手术进程的进程数据中同一视频帧中不符合标准的识别结果数量大于设定的第二数量阈值，则判定该视频帧手术要素及其时序信息不符合标准；若该手术进程的进程数据的同一识别模型的识别结果中，不符合标准的数量大于设的定第三数量阈值，则判定该识别模型的识别结果所表征的手术要素及其持续时长不符合标准，并根据不符合标准的识别结果所在视频帧确定时间点；

在设定的手术质量检测模式为第二手术质量检测模式的情形下，若该手术进程的进程数据中同一视频帧中不符合标准的识别结果数量大于设定的第二数量阈值，则判定该视频帧手术要素及其时序信息不符合标准，

在设定的手术质量检测模式为第三手术质量检测模式的情形下，若该手术进程的进程数据的同一识别模型的识别结果中，不符合标准的数量大于设定的第三数量阈值，则判定该识别模型的识别结果所表征的手术要素及其持续时长不符合标准。

较佳地，所述将所获取手术进程的进程数据与所匹配的标准进程的进程数据进行比对，包括：

将各识别模型基于单帧所识别的识别结果与标准进程的进程数据中的手术要素进行比对，以逐帧地检测静态的手术要素，

将各识别模型基于多帧所识别的识别结果与标准进程的进程数据中的手术要素进行比对，以检测动态的手术要素。

本申请第二方面提供一种手术质量的检测装置，该装置包括：

视频获取模块，用于获取待检测手术质量的手术视频数据，

进程获取模块，用于基于手术视频数据，获取手术流程中至少一个手术进程的时序信息、以及进程信息，其中，时序信息至少包括用于表征手术进程在手术流程中的时间信息，进程信息至少包括手术进程在手术流程中所属的设定粒度环节信息，

手术流程检测模块，用于将所获取手术进程的时序信息以及进程信息与该待检测手术的手术标准化流程数据中标准进程的时序信息以及进程信息进行匹配，根据匹配结果，检测手术流程是否符合标准，

其中，

手术标准化流程数据包括：待检测手术质量的各标准手术流程所包含的标准进程的时序信息、以及进程信息。

本申请实施例提供的手术质量的检测方法，通过手术视频数据，获取手术流程中至少一个手术进程的时序信息、以及进程信息，通过手术进程的时序信息以及进程信息与标准进程的时序信息以及进程信息进行匹配比对，实现了对由手术进程所组成手术流程检测，进一步地，通过将手术进程的进程数据与标准进程的进程数据进行比对，实现了对手术进程中的手术要素的检测，提高了手术质量检测的细腻度和全面性。

附图说明

图1为本申请实施例手术质量的检测方法的一种流程示意图。

图2为第一人工智能模型的一种示意图。

图3 为第一人工智能模型的另一种示意图。

图4 为不同进程数据的一种示意图。

图5a为本申请实施例手术质量检测的方法一种流程示意图。

图5b为本申请实施例不同手术检测模式的进程数据比对的一种示意图。

图6为本申请实施例手术质量的检测装置的一种示意图。

图7为本申请实施例手术质量的检测装置的另一种示意图。

具体实施方式

为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。

参见图1所示，图1为本申请实施例手术质量的检测方法的一种流程示意图。该方法包括：

步骤11，获取待检测手术质量的手术视频数据，

在本实施例中，手术视频数据可以为手术实施过程中实时采集的当前手术视频数据，以用于对手术实施过程中进行手术质量的实时检测，也可以是历史手术视频数据，以便手术实施过程结束后用于对手术质量的评估。

作为一个示例，在手术实施过程中，实时获取手术实施过程中当前时刻的手术视频数据，作为当前手术视频数据；在手术结束后进行评估时，将手术实施过程中所获取的手术视频数据作为待检测手术质量的手术视频数据。

步骤12，基于手术视频数据，获取手术流程中至少一个手术进程的时序信息、以及进程信息，

其中，

手术进程为手术流程中设定的粒度环节，通常由至少一个手术要素组成，所应理解的是，粒度环节的设定可根据检测所需的细腻度来确定。手术要素包括且不限于手术事件、手术操作动作等元素。为行文的方便，手术进程简称为进程。

时序信息至少包括用于表征进程在手术流程中的时间信息，该时间信息可以是进程相对于手术起始时刻的相对时间信息，也可以是进程之间的时序关系，例如，各进程按照时间先后所形成的进程序列，

进程信息至少包括进程在手术流程中所属的设定粒度环节信息，例如，解剖、缝合、病灶切除、止血等；

在手术实施过程中，基于当前手术视频数据，确定当前时刻进程所属的手术流程中的设定粒度环节、以及用于表征当前进程相对于手术起始时刻的相对时间信息，得到当前进程的进程信息以及时序信息，作为一个示例，利用训练后的第一人工智能模型，从当前手术视频数据，获取当前进程的时序信息、以及进程信息，以用于手术质量的实时检测；

在手术结束后进行评估时，利用训练后的第二人工智能模型，从历史手术视频数据获取各进程的时序信息、以及进程信息，或者，将在手术实施过程所得到的各进程的时序信息、以及进程信息，作为待评估数据，以用于手术结束后对手术质量的评估。

进一步地，还可基于手术视频数据，获取进程的进程数据，以对手术环节中的手术要素进行检测，其中，进程数据至少包括用于表征进程中手术要素信息，

作为一个示例，可根据不同的手术质量检测模式，可以获取不同的进程数据。

步骤13，将所获取进程的时序信息以及进程信息与该待检测手术的手术标准化流程数据中标准进程的时序信息以及进程信息进行匹配，根据匹配结果，检测手术流程是否符合标准，

当进行手术质量的实时检测时，将所确定的当前进程之前的进程作为历史进程，将历史进程与当前进程组成当前进程序列，将当前进程序列与手术标准化流程数据中标准进程进行匹配，根据匹配结果，检测当前进程是否符合标准。

作为一种示例，将从所有标准前向进程序列中选取以当前进程为终结的标准前向进程序列候选，将该前向进程序列与标准前向进程序列候选，进行序列匹配，

如果序列匹配成功，则判定当前进程的时序符合标准，否则，判定当前进程的时序不符合标准，并根据序列匹配结果，确定缺失的进程；

当进行历史手术的手术质量评估时，将待评估数据中所有进程所形成的进程序列与标准进程所形成的进程序列进行匹配，根据匹配结果确定缺失的进程、多余的进程、以及不符合标准的进程顺序。

可选地，为进一步检测符合标准流程的进程中具体的手术要素的质量，该检测方法进一步包括：

步骤14，将所获取进程的进程数据与所匹配的标准进程的进程数据进行进程数据比对，根据比对结果，检测进程中手术要素是否符合标准。

其中，

手术标准化流程数据包括：各标准进程的时序信息、进程信息、以及各标准进程的进程数据。

作为一种示例，手术标准化流程数据中进程数据随着手术质量检测模式的不同，并且，进程数据比对方式随着手术质量检测模式的不同而不同。

作为一种示例，手术标准化流程数据可根据用户输入的搜索条件、手术质量检测模式中的至少之一从用于存储手术标准化流程数据的手术流程标准库中获得，

其中，手术流程标准库以如下方式建立：

对于任一手术，

采集该手术针对不同手术类型、不同手术方法、不同手术计划、不同手术阶段至少之一的手术属性的标准手术视频数据，这样，即使具有同一手术功能的手术，也对应有不同的标准手术视频数据；

基于标准手术视频数据，确定该标准手术视频数据所包括的各标准进程的进程信息、以及各标准进程的时序信息，并获取各标准进程的进程数据，

将所确定的时序信息、进程信息以及所获取的进程数据作为手术标准化流程数据进行存储，并存储手术标准化流程数据所对应的手术属性信息。

所应理解的是，上述第一人工智能模型、第二人工智能模型可以具有相同的模型结构，也可以具有不同的模型结构，此外，可以具有相同的模型参数，也可具有不同的模型参数。

所应理解的是，上述人工智能模型使用样本训练集数据对模型进行训练，调整模型参数，提高模型的准确率和泛化能力。其中，样本训练集均可收集大量的手术视频样本数据，并进行标注。将训练好的模型部署到视频监控系统进行集成，可实现实时监测。

本申请实施例通过进程的时序信息以及进程信息匹配、进程数据的比对，不仅可以实现手术实施过程中的实时手术质量检测，以在手术过程中实时地发现并纠正不合规的操作或流程，为手术实施过程持续高质量地进行提供保障，也可实现手术实施结束后全方位的复盘评估。

为便于理解本申请实施例，以下以手术实施过程中手术质量的实时检测、手术实施完成后手术质量的评估为例来进行说明。所应理解的是，手术质量的实时检测、手术质量的评估可以是两个独立的过程。

鉴于本申请实施例以手术标准化流程数据为基础进行比对，考虑到手术的多样性，故而，建立手术流程标准库，以便进行手术标准化流程数据管理。

按照不同的手术类型、手术方法、手术计划、手术阶段中的至少之一手术属性，建立各手术的手术标准化流程数据，每一手术的手术标准化流程数据包括至少一个标准进程，每个标准进程至少包括：用于表征该标准进程的手术要素信息的进程数据、以及用于表征该标准进程在标准化流程中的时间信息的时序信息、用于表征该标准进程在标准化流程中所属的设定粒度环节信息；将所建立的各手术的手术标准化流程数据以数据库方式进行存储和管理，并向用户提供查询、搜索等功能。

作为一种示例，

手术类型可以按照学科分类，包括：普通外科手术、骨科手术、泌尿系统手术、胸科手术、心血管手术、脑神经手术、妇产科手术、眼科手术、耳鼻喉科手术及整形外科手术等。由于科学的不断发展，分工更精细，手术种类也更多而专门化，如普通外科中又分出头颈部、腹部、肿瘤、烧伤和器官移植等手术；整形外科手术也分为以功能为主的整形手术和以美容为主的整容手术，甚至以鼻、眼、乳腺等器官划分专一的手术。

手术类型还可以按照病情急缓分类，包括：择期手术、限期手术、急症手术。

手术类型又可以按照手术次数分类，包括：一期手术、分期手术。

手术类型再可以按照手术目的分类，包括：诊断性手术、根治性手术、姑息性手术。

手术类型另可以按照污染情况的分类，包括：无菌手术、污染手术、感染手术。

手术类型也可以按照手术难度等级分类，包括：一级手术、二级手术、三级手术、四级手术。

手术方法包括：手术指征（手术适应症、手术禁忌症）、手术体位、无菌术、灭菌术、抗菌术中的至少之一。

手术计划包括：术式选择、手术步骤、应变措施、补充说明，其中，术式选择系指同一疾病的不同手术方式，手术步骤系指同一类型手术因病人条件不同所采用的不同操作步骤，应变措施系指针对可能发生的情况所制定的应变措施，补充说明系指特殊的术前后处理、对麻醉方法的建议等。

手术阶段包括：术前、术中、术后中的至少之一。

标准进程系指手术流程中的由若干手术要素组成的设定粒度环节，每个手术阶段由若干标准进程组成，各标准进程的时长不尽相同，取决于手术环节的需要。

进程数据包括且不限于：麻醉数据、手术器械数据、基本手术操控数据、病灶数据、生命体征数据、禁忌数据中的至少之一，其中，禁忌数据包括且不限于不允许的操控、不允许的生命体征状态、不允许的药物等。

其中，

麻醉数据包括麻醉的类别和/或麻醉阶段，

手术器械数据包括手术器械本身、和/或手术器械轨迹数据，手术器械包括且不限于手术刀、手术剪、手术镊、手术钳、缝合针、牵开器、吻合器、内窥镜等，

基本手术操控数据包括且不限于显露、解剖、止血、结扎、缝合、引流等手术操作特征数据，

病灶数据包括且不限于手术前病灶数据、以及手术后病灶数据，例如，病灶部位和/或分类，

生命体征数据包括且不限于用于监测患者生命体征的数据，例如，血压、心率、氧饱和度等生命体征特征数据，用于辅助患者维持生命体征的辅助设备的特征数据，例如，呼吸机、体外循环设备等辅助设备类型以及参数数据。

标准进程之间的时序信息可以采用进程序列来描述；

所应理解的是，上述数据的形式包括且不限于图像、语音、文本等。

以下以子宫切除手术为例，说明构建该手术的手术标准化流程数据的示例。构建方法包括：

1、采集不同手术类型、不同手术方法、不同手术计划、不同手术阶段的子宫切除标准手术视频数据，每一标准手术视频数据包括术前、术中、术后阶段中的至少之一，视频数据可包括图像、文本、音频等信息。

2、对标准手术视频数据进行去噪、色彩增强等图像处理，以提高图像质量。

3、从标准手术视频流中，获取该标准手术视频流所包括的各标准进程的进程信息以及其时序信息和进程数据。

参见图2所示，图2为人工智能手术进程识别模型的一种示意图，人工智能手术进程识别模型包括：

特征提取模型，用于提取每一视频帧特征，得到每一视频帧的特征向量，用于表征该视频帧的视觉特征。作为一种示例，特征提取模型为具有高效率的卷积神经网络(Convolutional Neural Networks, CNN)，如Resnet和EfficientNet等卷积神经网络。在获取视频帧的特征向量后，将视频帧对应的采集时刻作为该特征向量的时间信息。

时序建模模型，用于基于当前视频帧的当前特征向量和历史序列特征向量，识别当前视频帧所处的进程，以得到进程信息。

时序建模模型通过整合当前特征向量和历史序列的特征向量，对当前视频帧所处的进程进行识别。例如，通过将当前特征向量和一定长度历史序列的特征向量，按照时间顺序组成一段特征向量序列，并输入到具有时序建模能力的深度学习模型中，具有时序建模能力的深度学习模型能够对序列输入数据进行建模，并学习序列之间的相互关系，如循环神经网络（RNN）、时序卷积模型（TCN）和Transformer模型，这样，具有时序建模能力的深度学习模型接收按照时间顺序排列的特征向量序列作为输入信息，输出为融合了历史时序信息的当前特征向量。将具有时序建模能力的深度学习模型输出的当前特征向量输入分类模型，识别得到当前特征向量对应的进程，得到进程信息。在获取当前特征向量所处的进程后，可将当前特征向量对应的视频帧时间信息例如采集时间作为时序信息。进一步地，将进程信息及其时序信息组成信息对，这样，便可得到各进程的进程信息和时间信息。

可选地，人工智能模型还包括手术要素识别模型，用于基于特征向量，识别视频帧中的手术要素，得到进程数据。

其中，手术要素识别模型包括以下识别模型中的至少之一：

手术阶段识别模型，用于识别手术阶段信息；

手术器械识别模型，用于识别手术器械及其轨迹；

手术动作识别模型，用于识别手术动作信息，

手术场景识别模型，用于识别手术视野中的体内场景、体外场景、器官和解剖结构中的至少之一，

病灶识别模型，用于识别病灶的类别、位置、状态中的至少之一，

所应理解的是，上述识别模型可基于视频数据中的图像数据进行识别，也可基于视频数据中的音频例如语音或文本等进行识别，还可以是图像数据、和音频、文本的结合来进行识别；此外，上述识别模型不仅可识别子宫切除手术视频流，也可识别其它手术视频流，也就是说，可用于识别所有手术的视频流；并且，第一人工智能模型所包括的各识别模型可根据所需手术要素进行删除或增加，例如，对于手术过程中无需生命体征维持设备参与的情形，则可无需生命体征维持识别模型，对于具有手术机器人参与的情形，则还可包括手术机器人识别模型，用于识别机器人的位置、类型、操控等手术要素信息。

参见图3所示，图3为第一人工智能模型的另一种示意图，鉴于不同的学科分类对应不同的手术方案，故而，不同的学科分类对应有不同的识别模型，例如，人工智能模型包括且不限于：普通外科手术识别模型、泌尿系手术识别模型、骨科手术识别模型、胸科手术识别模型、心血管手术识别模型、脑神经手术识别模型、妇产科手术识别模型、眼科手术识别模型、耳鼻喉科手术识别模型、整形外科手术识别模型等。

此外，各手术识别模型还可包括子模型，以用于根据该学科分类中其它分类来进行识别，例如，耳鼻喉科手术识别模型可以包括：用于识别耳部手术的耳手术识别子模型，用于识别鼻部手术的鼻手术识别子模型，用于识别喉部手术的喉部识别子模型；又例如，眼科手术识别模型可以包括：用于识别白内障手术的识别子模型，用于识别近视手术的识别子模型，用于识别眼底手术的识别子模型。

各手术识别模型以及手术识别子模型均可包括如图2所示的特征提取模型、时序建模模型、手术要素识别模型，并且，各手术识别模型可根据其所需手术要素的特征数据来选择相应的模型。

作为一种示例，确定视频数据的时序信息可如下方式：基于视频帧的特征向量，根据同一进程的视频数据，统计该进程的持续时长、该进程的起始时间信息和终止时间信息。根据各进程的起始时间信息和终止时间信息，确定各进程之间的时序关系，从而得到各进程的时序信息。

作为一种示例，对于同一进程的视频帧的手术要素识别模型中各识别模型的识别结果，可将各识别模型的识别结果中可拼接的识别结果从不同维度进行拼接，得到不同维度的进程数据，以提供不同手术质量检测模式对应的进程数据。

同一进程的各视频帧数据逐帧输入至各识别模型后，可得到每一视频帧各识别模型的识别结果，将各视频帧各识别模型的识别结果作为该进程的进程数据。参见表1所示，表1为一进程的进程数据。

将同一进程的同一视频帧的各识别模型的识别结果进行拼接，得到该视频帧的识别结果，如此，便可得到各视频帧的识别结果，将各视频帧的识别结果作为该进程的进程数据。参见表2所示，表2为一进程的进程数据。

或者，将同一进程的各视频帧的同一识别模型的识别结果进行拼接，得到所有视频帧各识别模型的识别结果，即该进程的所有视频各识别模型的识别结果，作为该进程的进程数据。参见表3所示。

或者，将同一进程的各视频帧的各识别模型的识别结果均进行拼接和融合，作为该进程的进程数据。参见表4所示。

为便于理解进程数据，参见图4所示，图4为不同进程数据的一种示意图。图中，横坐标表示时间或视频帧的时间信息，纵坐标表示识别结果所表征的手术要素，可以特征向量的方式描述。

图4的a中，每个粗实线框表示一个进程的进程数据，粗实线框中的每一网格表示一视频帧的一识别模型的识别结果；

图4的b中，粗实线框中的每一图案矩形表示一视频帧的所有识别模型的识别结果，该进程数据表征了各视频帧所包含的手术要素、以及手术要素之间的时序关系，即手术要素的时序信息；

图4的c中，粗实线框中的每一图案矩形表示一识别模型对该进程视频流识别结果，该进程数据表征了各手术要素在该进程视频流中的分布，也表征了各手术要素在该进程中的持续时长；

图4的d中，粗实线表示一个进程的进程数据，其为该进程所有视频帧所有识别模型的识别结果，该识别结果表征了该进程所对应的手术要素。

上述不同形式的进程数据均可保存于标准库，以便提供不同手术质量检测模式的比对数据，为便于描述，图a的进程数据形式所对应的手术质量检测模式称为第一手术质量检测模式，图b的进程数据形式所对应的手术质量检测模式称为第二手术质量检测模式，图c的进程数据形式所对应的手术质量检测模式称为第三手术质量检测模式，图d的进程数据形式所对应的手术质量检测模式称为第四手术质量检测模式。

从进程数据的丰富性可见，图a的进程数据最为丰富，图d的进程数据最为简洁，图b、c的进程数据介于图a和图d之间，故而，图a的进程数据所对应的手术质量检测模式最细腻，图d的进程数据所对应的手术质量检测模式最粗矿，图b、c的进程数据形式所对应的手术质量检测模式在最细腻和最粗矿的检测模式之间。

手术标准化流程数据可以存储于本地，也可以存储于网络侧。

鉴于手术本身不断的进步和优化改良、人工智能模型性能不断的提高，对于各手术的手术标准化流程数据可进行更新。

为便于学习观摩，手术流程标准库还可存储构建手术标准化流程数据时所使用的视频数据。

参见图5a所示，图5a为本申请实施例手术质量检测的方法一种流程示意图。该方法包括：

步骤51，在手术实施之前，从手术流程标准库中获取符合期望的手术标准化流程数据，

作为一种示例，响应于用户的输入操作，该输入操作包括，用于搜索设定搜索条件的手术标准化流程数据，从手术流程标准库中搜索符合搜索条件的手术标准化流程数据，

在该步骤中，用户可设定各个搜索条件，例如，按照不同的分类方式设定手术类型搜索条件，按照不同的手术方法设定手术方法搜索条件，按照不同的手术计划设定搜索条件，按照不同手术阶段设定搜索条件，还可按照所需要的特殊要求设定搜索条件等等；当所搜索到的手术标准化流程数据不唯一时，可从中进行筛选，

输入操作还可包括用于选择手术质量检测模式，当响应于该输入操作时，从手术流程标准库中获取与手术质量检测模式对应的进程数据。

步骤52，在手术实施过程中，获取当前手术视频数据，

鉴于术前准备对手术质量也有一定的影响，视频数据至少从术前准备为起始点进行实时采集，

步骤53，对当前视频数据进行去噪、色彩增强等图像处理，以提高图像质量。

步骤54、获取当前视频数据所处的当前进程，并根据手术质量检测模式，获取与手术质量检测模式对应的当前进程数据。

作为一种示例，将当前视频数据输入训练后的人工智能手术进程识别模型，得到当前视频帧所处的当前进程的进程信息及其时序信息、以及当前视频帧各识别模型的识别结果，根据手术质量检测模式，拼接当前进程各视频帧各识别模型的识别结果，得到当前进程数据。

作为另一种示例，获取当前视频数据的时序信息可采用如下方式：根据同一进程的视频数据，统计该进程的持续时长、该进程的起始时间信息和终止时间信息。根据各进程的起始时间信息和终止时间信息，确定各进程之间的时序关系，从而得到各进程的时序信息。

步骤55，将所获取的当前进程、以及当前进程的进程数据与手术标准化流程数据进行匹配和比对，并根据匹配和比对结果，判断当前进程是否符合标准，当当前进程不符合标准时，输出提示信息，以便让用户及时意识到发生了不规范的操作。

作为一种示例，

将当前所获取进程与当前进程所组成的当前前向进程序列，与，以手术标准化流程数据中匹配成功的进程为终结的标准前向进程序列，进行序列匹配，其中，序列匹配的序列长度可根据需要设定，

如果序列匹配成功，则将当前进程数据与该匹配成功的标准进程的进程数据进行比对，如果比对成功，说明当前进程符合手术标准，否则，判定当前进程的时序不符合标准，并根据序列匹配结果，确定缺失的进程，

如果序列匹配不成功，则将当前进程数据与手术标准化流程数据中匹配成功的进程的标准进程的进程数据进行比对，如果比对成功，说明当前进程手术要素规范，但手术流程不标准，输出提示信息，否则，说明当前进程存在不标准因素，输出提示信息。

参见表5所示，表5为序列匹配、进程数据匹配的组合及其结论。

例如，手术标准化流程数据中标准进程序列为ABCGDEFGA，当前进程的进程信息为G，该进程与当前所获取进程组成的进程序列为CG，则在手术标准化流程数据中进程中匹配到两次G进程，通过序列匹配，可准确地检测当前进程的时序关系，从而检测手术的流程质量。

若当前所获取的进程形成的进程序列达到设定的进程序列长度阈值时，则直接进行序列匹配和进程数据比对，这样，既有利于快速定位当前进程在手术标准化流程数据中的进程，又有利于提高当前进程标准化检测。

序列匹配成功的条件可以包括：以当前进程为终结的当前前向进程序列，与，以手术标准化流程数据中匹配成功的进程为终结的标准前向进程序列相同；或者，以当前进程为终结的当前前向进程序列中去除小于设定数量阈值的非标准进程后，与标准前向进程序列相同，例如，标准前向进程序列为CG，当前前向进程序列为C**G，其中，**表示两个非标准进程，去除该两非标准进程后当前前向进程序列为CG，则判定当前前向进程序列与标准前向进程序列匹配成功；

参见图5b所示，图5b为不同手术检测模式的进程数据比对的一种示意图。在本实施例中，进程数据比对和检测可以如下方式进行：

对于第一手术质量检测模式，对于当前进程数据中每一视频帧的每一识别模型的识别结果：

方式之一，将当前进程的进程数据中该视频帧的该识别模型的识别结果与标准进程的进程数据进行比对，如果识别结果所表征的手术要素信息与所比对手术要素信息之间的距离小于设定的第一距离阈值，则判定该视频帧的该识别结果所表征的手术要素符合手术标准，否则，判定该该视频帧的识别结果所表征的手术要素不符合手术标准。

在完成当前进程每一视频帧的每一识别模型的识别结果的比对之后，判断当前进程中符合手术标准的识别结果的数量是否大于设定的第一数量阈值，如果是，则判定当前进程的进程数据比对成功，当前进程符合手术标准，否则，根据不符合手术标准的识别结果的分布情况，进行相应的提示，例如，若当前进程数据中同一视频帧中不符合手术标准的识别结果数量大于设定的第二数量阈值，则说明在该视频帧的识别结果所表征的手术要素及其时序关系不符合标准，若当前进程数据的同一识别模型的识别结果中，不符合手术标准的数量大于设的定第三数量阈值，则说明该识别模型的识别结果所表征的手术要素及其持续时长不符合标准，并且，可根据不符合手术标准的识别结果所在视频帧确定时间点。

方式之二，对于当前进程的进程数据中每一识别模型的识别结果，将该识别模型的识别结果与标准进程的进程数据进行比对，以检测两者的手术要素是否相同，如果识别结果所表征的手术要素信息与所比对手术要素信息之间的距离小于设定的第二距离阈值，则说明两者的手术要素相同；将当前进程数据中该识别结果所持续的时长与标准进程的进程数据中所比对手术要素所持续的时长进行比较，以检测两者的手术要素的持续时长是否相同，如果两者的时长的差值小于设定的第一时长阈值，则说明两手术要素信息的持续时长相同，参见表7所示，表7中给出了一识别结果的判定结论。

对于当前进程的进程数据中每一视频帧的识别结果，将该视频帧的识别结果与标准进程的进程数据进行匹配，以检测该识别结果所表征的手术要素是否符合标准，如果匹配成功，则说明符合标准；将当前进程数据中该识别结果与当前进程数据中其它识别结果所形成的时序关系，与，标准进程的进程数据中匹配成功的识别结果的时序关系进行比较，其中，时序关系可采用序列表示，以检测该识别结果所表征的手术要素的时序是否正确，如果时序关系相同，也就是说，先后顺序相同，则说明该手术要素信息符合标准，参见表6所示，表6中给出了一识别结果的判定结论。

将该进程的进程数据中对于每一识别模型的识别结果所判定的符合标准手术要素、并且对于每一视频帧的识别结果所判定的符合标准的手术要素，判定为符合标准。

进一步地，在完成当前进程的进程数据中每一识别模型的识别结果的比对之后，判断当前进程中符合手术标准的识别结果的数量是否大于设定的第三数量阈值，如果是，则判定当前进程的进程数据比对成功，当前进程符合手术标准，否则，根据比对情况，进行相应的提示；

在完成当前进程的进程数据中每一视频帧的识别结果的比对之后，判断当前进程中符合手术标准的识别结果的数量是否大于设定的第二数量阈值，如果是，则判定当前进程的进程数据比对成功，当前进程符合手术标准，否则，根据比对情况，进行相应的提示。

对于第二手术质量检测模式，对于当前进程数据中每一视频帧的识别结果，将该视频帧的识别结果与标准进程的进程数据进行匹配，以检测该手术要素是否属于标准手术要素，如果匹配成功，则说明该手术要素符合标准；将当前进程数据中该识别结果与当前进程数据中其它识别结果所形成的时序关系，与，标准进程的进程数据中匹配成功的标准识别结果的时序关系进行比较，其中，时序关系可采用序列表示，以检测该手术要素的时序是否正确，如果时序关系相同，也就是说，先后顺序相同，则说明该手术要素信息符合标准，参见表6所示，表6中给出了一识别结果的判定结论。

在完成当前进程数据中每一视频帧的识别结果的比对之后，判断当前进程中符合手术标准的识别结果的数量是否大于设定的第二数量阈值，如果是，则判定当前进程的进程数据比对成功，当前进程符合手术标准，否则，根据比对情况，进行相应的提示。

对于第三手术质量检测模式，对于当前进程数据中每一识别模型的识别结果，将该识别模型的识别结果与标准进程的进程数据进行比对，以检测两者的手术要素是否相同，如果两者之间的距离小于设定的第三距离阈值，则说明两者的手术要素相同；将当前进程数据中该识别结果所持续的时长与标准进程的进程数据中该识别模型的识别结果所持续的时长进行比较，以检测两者的手术要素的持续时长是否相同，如果两持续时长的差值小于设定的第二时长阈值，则说明两手术要素信息的持续时长相同，参见表7所示，表7中给出了一识别结果的判定结论。

在完成当前进程数据中每一识别模型的识别结果的比对之后，判断当前进程中符合手术标准的识别结果的数量是否大于设定的第三数量阈值，如果是，则判定当前进程的进程数据比对成功，当前进程符合手术标准，否则，根据比对情况，进行相应的提示。

对于第四手术质量检测模式，将当前进程数据中的特征向量与标准进程的进程数据中的特征向量进行比对，以检测两者的手术要素是否相同，如果两特征向量之间的距离小于设定的第四距离阈值，则说明两者的手术要素相同，判定当前进程手术要素符合标准。作为另一种示例，当各识别模型的识别结果不能拼接时，将各识别模型基于单帧所识别的识别结果与标准进程的进程数据中的手术要素进行比对，以逐帧地检测静态的手术要素，将各识别模型基于多帧所识别的识别结果与标准进程的进程数据中的手术要素进行比对，以检测动态的手术要素。

以手术要素模型包括手术器械识别模型、手术动作识别模型、手术场景识别模型、病灶识别模型为例。

手术器械识别模型输出的器械类型识别结果可用于检测手续器械使用合理性，比如当前识别的进程为缝合进程，则使用的器械应为针线、持针器等缝合器械，而不应该出现单极、双极等不相关手术器械。对于手术器械合理性检测，可逐帧进行检测，该检测为静态手术要素检测。

手术器械识别模型输出的器械轨迹识别结果可用于检测器械轨迹平顺性、熟练度。在检测过程中，根据当前识别的进程内的视频帧1~n，将手术器械识别模型得到的器械的位置坐标连接起来，可形成器械的运动轨迹，并结合时间信息可获得器械轨迹的速度、加速度等运动信息，检测器械轨迹的平顺性、熟练度，该检测为动态手术要素检测。用于检测的输入信息是视频帧1~n，也可以是固定的时间帧长度T1的视频帧。

手术动作识别模型输出的操作类型识别结果用于检测手术动作的合理性，比如当前识别的进程为缝合进程，则手术动作应为缝合动作，而不应该出现解剖、切除等不相关手术动作。对于手术动作合理性检测，可逐帧进行检测，该检测为静态手术要素检测。

手术动作识别模型输出的手术动作轨迹可用于检测手术工作的平顺性、熟练度。在检测过程中，根据当前识别的进程内的视频帧1~n，将手术动作识别模型得到的动作坐标连接起来，可形成手术动作的运动轨迹，结合时间信息可获得手术动作轨迹的速度、加速度等运动信息，检测手术动作轨迹的平顺性、熟练度，该检测为动态手术要素检测。此时，用于检测的输入信息是视频帧1~n，也可以是固定的时间帧长度T2。

病灶识别模型可用于检测手术对象即病灶是否正确，比如当前手术为息肉切除手术，则手术器械、手术动作都应该息肉附近，否则为手术对象错误。对于手术对象正确性检测，可逐帧进行，该检测为静态手术要素检测。

手术场景识别模型可用于检测手术场景的合理性，比如当前手术为肝脏胆囊切除，则识别的手术场景不应该是甲状腺、子宫等不相关手术场景。对于手术场景合理性检测，可逐帧进行，该检测为静态手术要素检测。

手术场景识别模型还可用于检测手术视野是否清晰。手术视野常会因为沾血、沾水和起雾等因素，影响了手术视野的清晰性。手术视野清晰度检测，可逐帧进程。并可记录持续时间，当手术视野持续一段时间不清晰、未得到及时清洗时，应输出警告信息。

步骤56，在手术实施过程结束后，为便于通过复盘手术过程以提高手术技能，将手术实施过程所获取的所有进程数据作为待评估数据，与手术标准化流程数据进行匹配和对比，输出整个手术过程的标准性评价报告，包括不符合规范流程的手术操作及其发生次数、持续时间等信息。

在该步骤中，为提高标准性评价报告的准确性，也可将所采集的整个手术过程的视频数据作为待评估数据，输入至训练后的第二人工智能模型，得到各进程之间的时序关系、以及各进程的进程数据。此外，可选择与手术实施过程中所选择的手术质量检测模式不同的检测模式。

将由各进程之间的时序关系所生成的进程序列与手术标准化流程数据中的标准进程序列进行比对，根据比对结果确定缺失的进程、多余的进程、以及不符合标准的进程顺序。例如，标准进程序列为ABCGDEFGAI，待评估进程序列为AHCGDFEGA，通过比对可确定，待评估进程序列中，H为多余的进程，缺失了I进程，FE进程顺序不符合标准。

对于符合标准的每一待评估进程或者不符合标准进程顺序的待评估进程，将该进程的进程数据，与，与该进程对应的标准进程的进程数据进行比对，根据比对结果确定该进程的手术要素及其时序、持续时长的评估结果。比对方式与步骤55中的比对方式相同。

本申请实施例在手术实施过程中可实时地发现不符合标准的手术要素，大大提高了手术的质量和安全性，在手术复盘过程中，可给出详尽的评估报告，有利于促进手术质量的提高。参见图6所示，图6为本申请实施例手术质量的检测装置的一种示意图，该装置包括：

视频获取模块，用于获取待检测手术质量的手术视频数据，

进程获取模块，用于基于手术视频数据，获取手术流程中至少一个进程的时序信息、以及进程信息，

手术流程检测模块，用于将所获取进程的时序信息以及进程信息与该待检测手术的手术标准化流程数据中标准进程的时序信息以及进程信息进行匹配，根据匹配结果，检测手术流程是否符合标准，

该装置还包括：

手术要素检测模块，用于将所获取进程的进程数据与所匹配的标准进程的进程数据进行进程数据比对，根据比对结果，检测进程中手术要素是否符合标准。

其中，进程获取模块包括：

特征提取模块，用于提取每一视频帧特征，得到每一视频帧的特征向量，

进程识别模块，用于根据视频帧特征向量与该视频帧相邻帧特征向量的帧间差异，识别视频帧所处的进程，得到进程信息，并根据该进程与历史进程之间的时间关系，确定所识别进程的时序信息，

手术要素识别模块，用于基于特征向量，识别视频帧中的手术要素，得到进程数据。

作为一种示例，进程获取模块为人工智能模块，特征提取模块为特征提取模型，进程识别模块包括时序建模模型、以及时序信息确定子模块，手术要素识别模块为手术要素识别模型，这些模型均为深度学习模型。

参见图7所示，图7为本申请实施例手术质量的检测装置的另一种示意图，该装置包括：存储器和处理器，所述存储器存储有计算机程序，所述处理器被配置执行所述计算机程序以实现本申请实施例所述手术质量的检测方法的步骤。

存储器可以包括随机存取存储器（Random Access Memory，RAM），也可以包括非易失性存储器（Non-Volatile Memory，NVM），例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（Digital SignalProcessing，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本发明实施例还提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例所述手术质量的检测方法的步骤。

对于装置/网络侧设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (14)

1.一种手术质量的检测方法，其特征在于，该方法包括：

获取待检测手术质量的手术视频数据，

基于手术视频数据，获取手术流程中至少一个手术进程的时序信息、以及进程信息，其中，时序信息至少包括用于表征手术进程在手术流程中的时间信息，进程信息至少包括手术进程在手术流程中所属的设定粒度环节信息，

将所获取手术进程的时序信息以及进程信息与该待检测手术的手术标准化流程数据中标准进程的时序信息以及进程信息进行匹配，根据匹配结果，检测手术流程是否符合标准，

其中，

手术标准化流程数据包括：待检测手术质量的各标准手术流程所包含的标准进程的时序信息、以及进程信息。

2.如权利要求1所述的方法，其特征在于，所述待检测手术质量为手术实施过程中手术质量的检测；

所述获取待检测手术质量的手术视频数据，包括：

实时获取手术实施过程中当前时刻的手术视频数据，作为当前手术视频数据；

所述基于手术视频数据，获取手术流程中至少一个手术进程的时序信息、以及进程信息，包括：

基于当前手术视频数据，确定当前时刻手术进程所属的手术流程中的设定粒度环节、以及用于表征当前手术进程相对于手术起始时刻的相对时间信息，得到当前手术进程的进程信息以及时序信息；

所述将所获取手术进程的时序信息以及进程信息与该待检测手术的手术标准化流程数据中标准进程的时序信息以及进程信息进行匹配，包括：

将所确定的当前手术进程之前的手术进程作为历史手术进程，

将历史手术进程与当前手术进程组成当前手术进程序列，将当前手术进程序列与手术标准化流程数据中标准进程进行匹配，根据匹配结果，检测当前手术进程是否符合标准。

3.如权利要求2所述的方法，其特征在于，所述基于当前手术视频数据，确定当前时刻手术进程所属的手术流程中的设定粒度环节、以及用于表征当前手术进程相对于手术起始时刻的相对时间信息，得到当前手术进程的时序信息以及进程信息，包括：

利用训练后的第一人工智能模型，对当前手术视频数据进行手术进程识别，得到进程信息，并记录当前时刻的时间信息，作为当前手术进程的时序信息；

所述将历史手术进程与当前手术进程组成当前手术进程序列，将当前手术进程序列与手术标准化流程数据中标准进程进行匹配，根据匹配结果，检测当前手术进程序列是否符合标准，包括：

在手术标准化流程数据中选取所有以当前手术进程为终结的前向进程序列作为标准进程序列候选，将历史手术进程与当前手术进程组成当前手术进程序列，并逐一与标准进程序列候选进行匹配，

如果序列匹配成功，则判定当前手术进程的时序符合标准，否则，判定当前手术进程的时序不符合标准，并根据序列匹配结果，确定缺失的进程。

4.如权利要求1所述的方法，其特征在于，所述获取待检测手术质量的手术视频数据，包括：

在手术实施过程结束后，将手术实施过程中所获取的手术视频数据作为待检测手术质量的手术视频数据；

所述基于手术视频数据，获取手术流程中至少一个手术进程的时序信息、以及进程信息，包括：

将在手术实施过程所得到的手术视频数据输入至训练后的第二人工智能模型，得到各手术进程的进程信息，并将所输入视频帧的采集时间记录为时序信息，以作为待评估数据，

或者，

将在手术实施过程所得到的各手术进程的时序信息、以及进程信息，作为待评估数据；

所述将所获取手术进程的时序信息以及进程信息与该待检测手术的手术标准化流程数据中标准进程的时序信息以及进程信息进行匹配，根据匹配结果，检测手术流程是否符合标准，包括：

将待评估数据中所有手术进程的时序信息以及进程信息与标准进程的时序信息以及进程信息进行匹配，根据匹配结果，检测待评估数据的手术流程是否符合标准。

5.如权利要求4所述的方法，其特征在于，所述将待评估数据中所有手术进程的时序信息与标准进程的时序信息进行时序信息匹配，根据匹配结果，检测待评估数据中各手术进程的时序是否符合标准，包括：

将待评估数据中所有手术进程所形成的进程序列与标准进程所形成的进程序列进行匹配，根据匹配结果确定缺失的进程、多余的进程、以及不符合标准的进程顺序。

6.如权利要求1至5任一所述的方法，其特征在于，该方法进一步包括：

基于手术视频数据，获取手术进程的进程数据，其中，进程数据至少包括用于表征手术进程中手术要素信息，

将所获取进程的进程数据与所匹配的标准进程的进程数据进行进程数据比对，根据比对结果，检测进程中手术要素是否符合标准；

所述手术标准化流程数据根据用户输入的搜索条件、手术质量检测模式中的至少之一从用于存储手术标准化流程数据的手术流程标准库中获得。

7.如权利要求6所述的方法，其特征在于，所述将所获取手术进程的进程数据与所匹配的标准进程的进程数据进行进程数据比对，包括：

将当前手术进程的进程数据与所匹配的标准进程的进程数据进行进程数据比对，根据比对结果，检测当前进程中手术要素是否符合标准；

对于待评估数据中符合标准的每一手术进程或者不符合标准进程顺序的手术进程，将该手术进程的进程数据，与，与该手术进程对应的标准进程的进程数据进行比对；

所述获取手术进程的进程数据，进一步包括：

根据设定的手术质量检测模式，将各识别模型的识别结果中可拼接的识别结果进行拼接，将拼接的识别结果作为与该手术质量检测模式对应的进程数据。

8.如权利要求7所述的方法，其特征在于，所述根据设定的手术质量检测模式，将各识别模型的识别结果中可拼接的识别结果进行拼接，包括：

在设定的手术质量检测模式为第一手术质量检测模式的情形下，则将各识别模型所识别的同一手术进程的每一视频帧的识别结果作为该手术进程第一手术质量检测模式的进程数据，

在设定的手术质量检测模式为第二手术质量检测模式的情形下，则将各识别模型所识别的同一手术进程的同一视频帧的识别结果进行拼接，得到各视频帧的识别结果，作为该手术进程第二手术质量检测模式的进程数据，

在设定的手术质量检测模式为第三手术质量检测模式的情形下，则将同一手术进程的各视频帧的同一识别模型的识别结果进行拼接，得到该手术进程所有视频帧各识别模型的识别结果，作为该手术进程第三手术质量检测模式的进程数据，

在设定的手术质量检测模式为第四手术质量检测模式的情形下，则将各识别模型所识别的同一手术进程的同一视频帧的识别结果进行拼接、且将同一手术进程的各视频帧的同一识别模型的识别结果进行拼接，得到该手术进程的识别结果，作为该手术进程第四手术质量检测模式的进程数据；

所述将所获取进程的进程数据与所匹配的标准进程的进程数据进行进程数据比对，包括：

根据所选择的手术质量检测模式，获取该手术质量检测模式对应的标准进程的进程数据，并将所获取进程的该手术质量检测模式的进程数据与该手术质量检测模式对应的标准进程的进程数据进行比对。

9.如权利要求8所述的方法，其特征在于，所述将所获取手术进程的进程数据与所匹配的标准进程的进程数据进行比对，根据比对结果，检测手术进程中手术要素是否符合标准，包括：

对于任一所获取手术进程，

在设定的手术质量检测模式为第一手术质量检测模式的情形下，

对于该手术进程的进程数据中每一视频帧的每一识别模型的识别结果，将该视频帧的该识别模型的识别结果与标准进程的进程数据进行比对，根据比对结果，检测该视频帧的该识别结果所表征的手术要素是否符合标准；

或者，

对于该手术进程的进程数据中每一识别模型的识别结果，将该识别模型的识别结果与标准进程的进程数据进行比对，根据比对结果，检测该识别结果所表征的手术要素是否符合标准；将该手术进程的数据中该识别结果所持续的时长与标准进程的进程数据中所比对手术要素所持续的时长进行比较，根据比较结果，检测该识别结果所表征的手术要素的持续时长是否符合标准，

并且，对于该手术进程的进程数据中每一视频帧的识别结果，将该视频帧的识别结果与标准进程的进程数据进行匹配，根据匹配结果，检测该识别结果所表征的手术要素是否符合标准；将该手术进程的进程数据中该识别结果的时序信息，与，标准进程的进程数据中所匹配的手术要素的时序信息进行比较，根据比较结果，检测该识别结果所表征的手术要素的时序信息是否符合标准，

将该手术进程的进程数据中对于每一识别模型的识别结果所判定的符合标准手术要素、并且对于每一视频帧的识别结果所判定的符合标准的手术要素，判定为符合标准；

在设定的手术质量检测模式为第二手术质量检测模式的情形下，对于该手术进程的进程数据中每一视频帧的识别结果，将该视频帧的识别结果与标准进程的进程数据进行匹配，根据匹配结果，检测该识别结果所表征的手术要素是否符合标准；将该手术进程的进程数据中该识别结果的时序信息，与，标准进程的进程数据中所匹配手术要素的时序信息进行比较，根据比较结果，检测该识别结果所表征的手术要素的时序信息是否符合标准；

在设定的手术质量检测模式为第三手术质量检测模式的情形下，对于该手术进程的进程数据中每一识别模型的识别结果，将该识别模型的识别结果与标准进程的进程数据进行比对，根据比对结果，检测该识别结果所表征的手术要素是否符合标准；将该手术进程的进程数据中该识别结果所持续的时长与标准进程的进程数据中所比对手术要素所持续的时长进行比较，根据比较结果，检测该识别结果所表征的手术要素的时序信息是否符合标准；

在设定的手术质量检测模式为第四手术质量检测模式的情形下，将该手术进程的进程数据中用于表征手术要素的特征向量与标准进程的进程数据中的特征向量进行比对，根据比对结果，检测该手术进程的中手术要素是否符合标准。

10.如权利要求9所述的方法，其特征在于，在设定的手术质量检测模式为第一手术质量检测模式的情形下：

所述根据比对结果，检测该视频帧的该识别结果所表征的手术要素是否符合标准，包括：

如果识别结果所表征的手术要素信息与所比对手术要素信息之间的距离小于设定的第一距离阈值，则判定该视频帧的该识别结果所表征的手术要素符合标准；

所述根据比对结果，检测该识别结果所表征的手术要素是否符合标准，包括：

如果识别结果所表征的手术要素信息与所比对手术要素信息之间的距离小于设定的第二距离阈值，则判定该识别结果所表征的手术要素符合标准；

所述根据比较结果，检测该识别结果所表征的手术要素的持续时长是否符合标准，包括：

如果识别结果所表征的手术要素的持续时长与所比较手术要素所持续的时长之间的时长差值小于设定的第一时长阈值，则判定手术要素信息的持续时长符合标准；

所述根据匹配结果，检测该识别结果所表征的手术要素是否符合标准，包括：

如果匹配成功，则判定该识别结果所表征的手术要素符合标准；

所述根据比较结果，检测该识别结果所表征的手术要素的时序信息是否符合标准，包括：

如果时序信息相同，则判定该识别结果所表征的手术要素的时序信息符合标准；

在设定的手术质量检测模式为第二手术质量检测模式的情形下：

所述根据匹配结果，检测该识别结果所表征的手术要素是否符合标准，包括：

如果匹配成功，则判定该识别结果所表征的手术要素符合标准；

所述根据比较结果，检测该识别结果所表征的手术要素的时序信息是否符合标准，包括：

如果时序信息相同，则判定该识别结果所表征的手术要素的时序信息符合标准；

在设定的手术质量检测模式为第三手术质量检测模式的情形下：

所述根据比对结果，检测该识别结果所表征的手术要素是否符合标准，包括：

如果识别结果所表征的手术要素信息与所比对手术要素信息之间的距离小于设定的第三距离阈值，则判定该识别结果所表征的手术要素符合标准；

所述根据比较结果，检测该识别结果所表征的手术要素的时序信息是否符合标准，包括：

如果识别结果所表征的手术要素所持续的时长与所比较手术要素所持续的时长之间的时长差值小于设定的第二时长阈值，则判定手术要素信息的持续时长符合标准；

在设定的手术质量检测模式为第四手术质量检测模式的情形下：

所述根据比对结果，检测该手术进程的中手术要素是否符合标准，包括：

如果两特征向量之间的距离小于设定的第四距离阈值，则判定该手术进程的中手术要素符合标准。

11.如权利要求10所述的方法，其特征在于，该方法进一步包括：

在设定的手术质量检测模式为第一手术质量检测模式的情形下，在完成所有视频帧的所有识别模型的识别结果的比对之后，判断该手术进程的中符合标准的识别结果的数量是否大于设定的第一数量阈值，如果是，则判定该手术进程的符合标准，否则，根据不符合标准的识别结果进行分析；

在设定的手术质量检测模式为第二手术质量检测模式的情形下，在完成所有视频帧的识别结果的比对之后，判断该手术进程的中符合标准的识别结果的数量是否大于设定的第二数量阈值，如果是，则判定该手术进程的符合标准，否则，根据不符合标准的识别结果进行分析；

在设定的手术质量检测模式为第三手术质量检测模式的情形下，在完成所有视频帧的识别结果的比对之后，判断该手术进程的中符合标准的识别结果的数量是否大于设定的第三数量阈值，如果是，则判定该手术进程符合标准，否则，根据不符合标准的识别结果进行分析。

12.如权利要求11所述的方法，其特征在于，所述根据不符合标准的识别结果进行分析，包括：

在设定的手术质量检测模式为第一手术质量检测模式的情形下，若该手术进程的进程数据中同一视频帧中不符合标准的识别结果数量大于设定的第二数量阈值，则判定该视频帧手术要素及其时序信息不符合标准；若该手术进程的进程数据的同一识别模型的识别结果中，不符合标准的数量大于设的定第三数量阈值，则判定该识别模型的识别结果所表征的手术要素及其持续时长不符合标准，并根据不符合标准的识别结果所在视频帧确定时间点；

在设定的手术质量检测模式为第二手术质量检测模式的情形下，若该手术进程的进程数据中同一视频帧中不符合标准的识别结果数量大于设定的第二数量阈值，则判定该视频帧手术要素及其时序信息不符合标准，

在设定的手术质量检测模式为第三手术质量检测模式的情形下，若该手术进程的进程数据的同一识别模型的识别结果中，不符合标准的数量大于设定的第三数量阈值，则判定该识别模型的识别结果所表征的手术要素及其持续时长不符合标准。

13.如权利要求8所述的方法，其特征在于，所述将所获取手术进程的进程数据与所匹配的标准进程的进程数据进行比对，包括：

将各识别模型基于单帧所识别的识别结果与标准进程的进程数据中的手术要素进行比对，以逐帧地检测静态的手术要素，

将各识别模型基于多帧所识别的识别结果与标准进程的进程数据中的手术要素进行比对，以检测动态的手术要素。

14.一种手术质量的检测装置，其特征在于，该装置包括：

视频获取模块，用于获取待检测手术质量的手术视频数据，

进程获取模块，用于基于手术视频数据，获取手术流程中至少一个手术进程的时序信息、以及进程信息，其中，时序信息至少包括用于表征手术进程在手术流程中的时间信息，进程信息至少包括手术进程在手术流程中所属的设定粒度环节信息，

手术流程检测模块，用于将所获取手术进程的时序信息以及进程信息与该待检测手术的手术标准化流程数据中标准进程的时序信息以及进程信息进行匹配，根据匹配结果，检测手术流程是否符合标准，

其中，

手术标准化流程数据包括：待检测手术质量的各标准手术流程所包含的标准进程的时序信息、以及进程信息。