CN113288452B - 手术质量检测方法及装置 - Google Patents

手术质量检测方法及装置 Download PDF

Info

Publication number
CN113288452B
CN113288452B CN202110443748.9A CN202110443748A CN113288452B CN 113288452 B CN113288452 B CN 113288452B CN 202110443748 A CN202110443748 A CN 202110443748A CN 113288452 B CN113288452 B CN 113288452B
Authority
CN
China
Prior art keywords
evaluation
quality
function
path
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110443748.9A
Other languages
English (en)
Other versions
CN113288452A (zh
Inventor
蒋婷婷
李子禹
刘道畅
李琦玥
王亦洲
苗儒林
陕飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN202110443748.9A priority Critical patent/CN113288452B/zh
Publication of CN113288452A publication Critical patent/CN113288452A/zh
Application granted granted Critical
Publication of CN113288452B publication Critical patent/CN113288452B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4848—Monitoring or testing the effects of treatment, e.g. of medication
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出一种手术质量检测方法及装置，该方法包括：获取记录待检测手术过程的视频数据；基于视频数据，针对待检测手术的至少两种评价路径，分别提取与各评价路径相关的特征数据；基于特征数据和预设的评价函数，分别确定各评价路径在待检测手术过程不同时刻的质量评估值，及基于特征数据和预设的权重函数，分别确定各评价路径的各质量评估值对应的权重系数；根据各评价路径的所有质量评估值及对应的权重系数，确定待检测手术过程的质量检测结果。本申请基于多条评价路径，对手术质量进行自动化检测，提高了手术质量检测的效率、可重复性及全面性。

Description

手术质量检测方法及装置
技术领域
本申请属于计算机视觉与医学工程的交叉技术领域，具体涉及一种手术质量检测方法及装置。
背景技术
随着医学技术的不断发展和进步，全球范围内每年实施的手术量很庞大，且近年来这一数字一直在快速增长，而手术质量是影响患者术后生存率及术后并发症发生率等诸多预后情况的重要因素，所以手术质量评价在对临床医生(尤其是外科医生)的培训和质控环节中都不可或缺的，所以，如何客观、高效地检测手术质量对于提高医疗质量和公共健康水平是一个十分重要的课题。
现有技术中，对手术质量的检测大多依赖于高年资外科医生的直接观察，或者是制定特殊标准人工地对手术中的关键点进行逐项打分，例如OSATS(Objective StructuredAssessment of Technical Skill，客观结构化临床技能评估)方法，但是这些人工检测的方式通常具有以下的局限性：1)检测者具有主观偏差；2)检测结果可重复性差；3)人力成本消耗巨大。
发明内容
本申请提出一种手术质量检测方法及装置，基于多条评价路径，对手术质量进行自动化检测，提高了手术质量检测的效率、可重复性及全面性。
本申请第一方面实施例提出了一种手术质量检测方法，所述方法包括：
获取记录待检测手术过程的视频数据；
基于所述视频数据，针对所述待检测手术的至少两种评价路径，分别提取与各所述评价路径相关的特征数据；
基于所述特征数据和预设的评价函数，分别确定各评价路径在所述待检测手术过程不同时刻的质量评估值，及基于所述特征数据和预设的权重函数，分别确定各评价路径的各质量评估值对应的权重系数；
根据各评价路径的所有质量评估值及对应的权重系数，确定所述待检测手术过程的质量检测结果。
可选地，所述基于所述特征数据和预设的评价函数，分别确定各评价路径在所述待检测手术过程不同时刻的质量评估值，包括：
基于预设的与各评价路径对应的嵌入函数，对各评价路径的各特征数据进行特征嵌入；
将特征嵌入结果输入各评价路径的评价函数，分别计算各评价路径的各特征数据在待检测手术过程不同时刻的质量评估值，并形成各评价路径的评估值序列。
可选地，所述基于所述特征数据和预设的权重函数，分别确定各评价路径的各质量评估值对应的权重系数，包括：
对所有评价路径的特征数据进行特征融合；
将特征融合结果输入各评价路径的权重函数，分别计算各评价路径的各质量评估值对应的权重系数，并形成各评价路径的权重序列。
可选地，所述根据各评价路径的所有质量评估值及对应的权重系数，确定所述待检测手术过程的质量检测结果，包括：
根据各评价路径的权重序列，对相应的评估值序列进行加权平均，计算整个所述待检测手术过程各评价路径对应的子质量检测结果；
根据预设的总权重系数对所有所述子质量检测结果进行加权平均，计算整个所述待检测手术过程的质量检测结果。
可选地，所述预设的评价函数为回归函数，所述方法还包括：
通过回归损失函数对所述回归函数进行模型训练；或者，
所述预设的评价函数为分类函数，所述方法还包括：
通过分类损失函数对所述分类函数进行模型训练。
可选地，所述方法还包括：
基于历史数据，采用如下的自监督对比损失函数对所述回归函数或所述分类函进行辅助模型训练：
Figure BDA0003035988580000021
其中，
Figure BDA0003035988580000022
表示自监督对比损失函数模型，
Figure BDA0003035988580000023
表示时间帧i附近的一个邻域，
Figure BDA0003035988580000024
表示与评价路径m相关的在时间i处的特征嵌入结果，
Figure BDA0003035988580000025
表示与评价路径m 相关的在时间i-1处的特征嵌入结果，
Figure BDA0003035988580000031
表示与评价路径m相关的在时间j处的特征嵌入结果，σm表示与评价路径m相关的预测函数，L表示所述视频数据的时间帧数。
可选地，各评价路径的特征数据均具有统一的格式，所述统一的格式均为
Figure BDA0003035988580000032
的特征矩阵，其中，L为所述视频数据的时间帧数，D为各评价路径的特征维度大小。
可选地，所述视频数据通过置于被手术对象内部的内置摄像装置或置于被手术对象外部的外置摄像装置摄制而成。
可选地，所述评价路径包括手术事件分布、手术器械使用情况及手术视野质量。
可选地，与所述手术事件分布相关的特征数据包括各时刻下的手术阶段、正常手术事件及不良事件；
与所述手术器械使用情况相关的特征数据包括各时刻下的手术器械的种类及手术器械的空间位置分布；
与所述手术视野质量相关的特征数据包括各时刻下的视野清晰度和图像颜色。
本申请第二方面的实施例提供了一种手术质量检测装置，所述装置包括：
数据获取模块，用于获取记录待检测手术过程的视频数据；
特征提取模块，用于基于所述视频数据，针对所述待检测手术的至少两种评价路径，分别提取与各所述评价路径相关的特征数据；
第一计算模块，用于基于所述特征数据和预设的评价函数，分别确定各评价路径在所述待检测手术过程不同时刻的质量评估值，及基于所述特征数据和预设的权重函数，分别确定各评价路径的各质量评估值对应的权重系数；
第二计算模块，用于根据各评价路径的所有质量评估值及对应的权重系数，确定所述待检测手术过程的质量检测结果。
本申请实施例中提供的技术方案，至少具有如下技术效果或优点：
本申请实施例提出的手术质量检测方法，基于记录手术过程的视频数据，从该些视频数据中提取至少两种评价路径相关的特征数据，通过这些特征数据，先分别确定各特征数据在不同时间帧下的质量评估值及对应的权重系数，然后根据这些质量评估值及对应的权重系数，计算所有评价路径的质量检测结果，从而实现对手术过程质量的检测，相对于单一路径检测，使得对手术实施过程的检测更加客观、全面及准确，且全自动的手术质量检测过程可重复性较强，效率较高。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。
在附图中：
图1示出了本申请实施例提供的手术质量检测方法流程图；
图2a示出了质量较好的手术中手术事件分布的示意图；
图2b示出了质量较差的手术中手术事件分布的示意图；
图3a示出了质量较好的手术中器械运动轨迹的示意图；
图3b示出了质量较差的手术中器械运动轨迹的示意图；
图4示出了本申请实施例提供的手术质量检测装置的模块化示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施方式。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
为了解决上述技术问题，有研究者在外科医生的手部或者手术器械上绑定一些运动传感器，以捕捉手术过程中医生操作的数据，用于手术质量的自动化检测。但是，这种方式依赖于额外的传感器设备，会在临床环境的部署中出现困难，并且可能妨碍医生的操作。而与此同时，腹腔镜与手术机器人等视觉增强型外科设备近年来在临床实践中不断得以应用，这类设备内置的摄像装置拍摄了大量的手术视频，客观详细地记录了手术的全部过程，可成为自动化手术质量检测的资料。鉴于此，本实施例提出来一种基于这些视频数据的手术质量检测方法及装置。
下面结合附图来描述根据本申请实施例提出的一种手术质量检测方法及装置。
本申请实施例提供了一种手术质量检测方法，该方法可应用于手术质量检测装置，以实现对手术(通常为外科手术)实施过程的质量进行检测。其中，手术质量检测装置可以是具有数据处理计算功能及能够与其它设备进行网络通信的处理器设备，例如计算机、微处理器等，本实施例对其具体结构和材料不做具体限定，只要能够执行该方法对手术实施过程的质量进行检测即可。
如图1所示，本实施例提供的手术质量检测方法，可以包括以下处理步骤。
步骤S1，获取记录待检测手术过程的视频数据。
其中，视频数据可以是原始的图像，手术质量检测装置可以先对其进行数字化处理，再进行下述特征数据的提取及质量检测结果的计算。当然，视频数据也可以是处理好的信号数字，手术质量检测装置获取该数据后可直接进行下述特征数据的提取及质量检测结果的计算，本实施例对此不作具体限定。
在本实施例中，视频数据可以通过置于被手术对象内部的内置摄像装置或置于被手术对象外部的外置摄像装置摄制而成。其中，内置摄像装置可以为腹腔镜或手术机器人等视觉增强型外科设备的摄像装置，外置摄像装置可以为独立安装在手术室，并能够设置手术实时过程的摄像装置。本实施例中，视频数据的获取借鉴现有的视觉增强型外科设备，未增加新设备，不会对临床环境的部署造成困难，更不会妨碍医生的操作，可进一步提高手术质量检测结果的可靠性。
步骤S2，基于视频数据，针对待检测手术的至少两种评价路径，分别提取与各评价路径相关的特征数据。
其中，评价路径可以理解为用于对手术实施过程的质量进行检测的技术手段。具体地，该评价路径可以但不限于包括手术事件分布、手术器械使用情况及手术视野质量等。
该手术事件包括正常手术事件(如麻醉血、组织切割、缝合等)和不良事件 (如出血)。手术事件分布可以理解为按照手术实施的时间，在手术实施的各个阶段所发生的事件序列，根据具体实施的手术类型，理论上手术实施的各个阶段应该遵循特定流程顺序。通常情况下，质量较好的手术一般具有线性排布的手术事件以及较少的不良事件，如图2a所示(图中黑色圆点为正常手术事件)。而质量较差的手术一般具有循环反复的手术事件以及较多的不良事件，如图2b所示图中黑色圆点表示正常手术事件，灰色圆点表示不良事件)。所以，从手术事件分布这一路径出发，可以检测手术实施过程的流程规范程度以及操作者对手术过程的理解程度等。
相应地，与手术事件分布相关的特征数据可以包括但不限于各时刻下的手术阶段、时间及不良事件，例如，可以是各种类别手术事件的发生概率等。
该手术器械使用情况可以理解为对应手术实施的各阶段，是否采用相应的手术器械，以及手术器械的操作使用是否正确、流畅等。通常情况下，质量较好的手术一般具有平滑集中的器械运动轨迹，如图3a所示(图中
Figure BDA0003035988580000062
表示器械运动轨迹，虚线圆圈表示手术区域)，质量较差的手术一般具有抖动散乱的器械运动轨迹，如图3b所示(图中
Figure BDA0003035988580000063
表示器械运动轨迹，虚线圆圈表示手术区域)。所以，从手术器械使用情况这一路径出发，可以检测手术的操作熟练程度以及器械使用流畅程度等。
相应地，与手术器械使用情况相关的特征数据可以与手术器械的使用或运动相关，包括但不限于各时刻下的手术器械的种类及手术器械的空间位置分布，例如，可以是使用的手术器械的运动轨迹等。
该手术视野质量可以理解为做手术实施过程中，操作者能够看到的手术部位的视野的质量，包括视野是否清晰，视野的颜色是否为预期(或者说正确实施手术应该有)的颜色值。通常情况下，质量较好的手术一般具有清晰可见的手术视野，质量较差的手术一般具有模糊不清的手术视野(这里拍摄的视野本身是清晰的，即，不考虑设备原因造成的视野不清晰，视野模糊是由于手术过程操作不当造成的)。所以，从手术视野质量这一路径出发可以间接评价整体手术质量。
相应地，与手术视野质量相关的特征数据可以包括但不限于各时刻下的视野清晰度和图像颜色(若出现出血事件，则视野的图像颜色则较红)分布等。
本实施例采取上述至少两种评价路径提取相关的特征数据，以实现至少按照两种评价路径对手术实施过程进行质量检测，相对于单一路径检测，使得对手术实施过程的检测更加客观全面及准确。
于本实施例一具体实施方式中，各评价路径的特征数据可以均具有统一的格式，以便于进行下面的数据处理及计算。该统一的格式均为
Figure BDA0003035988580000061
的特征矩阵，其中，L为视频数据的时间帧数，D为各评价路径的特征维度大小。
例如，对于手术事件分布评价路径，其相关的特征数据X1，可表示为统一特征格式
Figure BDA0003035988580000071
其中D1为手术事件分布评价路径的特征维度大小。
对于手术器械使用情况评价路径，其相关的特征数据X2，可表示为统一特征格式
Figure BDA0003035988580000072
其中D2为手术器械使用情况评价路径的特征维度大小。
对于手术视野质量评价路径相关的特征数据X3，可表示为统一特征格式
Figure BDA0003035988580000073
其中D3为手术视野质量评价路径的特征维度大小。
步骤S3，基于特征数据和预设的评价函数，分别确定各评价路径在待检测手术过程不同时刻的质量评估值，及基于特征数据和预设的权重函数，分别确定各评价路径的各质量评估值对应的权重系数。
其中，每个评价路径可对应一个评价函数和一个权重函数，且各评价路径对应的评价函数可以相同，也可以不同，本领域技术人员可根据具体情况进行选择，本实施例不作具体限定。同理，各评价路径对应的权重函数可以相同，也可以不同，本领域技术人员可根据具体情况进行选择，本实施例不作具体限定。
于本实施例另一具体实施方式中，上述基于特征数据和预设的评价函数，分别确定各评价路径在待检测手术过程不同时刻的质量评估值的过程，可以包括以下处理：基于预设的与各评价路径对应的嵌入函数，对各评价路径的各特征数据进行特征嵌入；将特征嵌入结果输入各评价路径的评价函数，分别计算各评价路径的各特征数据在待检测手术过程不同时刻的质量评估值，并形成各评价路径的评估值序列。
在本实施例中，各评价路径具有对应的嵌入函数和评价函数，例如评价路径m，可以先分别对评价路径m相关的特征Xm进行特征嵌入，以将数据转换(可以但不限于降维)为固定大小的特征表示(矢量)，以便于处理和计算(如求距离)。即，对Xm进行特征嵌入可得到
Figure BDA0003035988580000074
Figure BDA0003035988580000075
其中φm为路径m的嵌入函数。然后，将
Figure BDA0003035988580000076
输入到评价路径m对应的评价函数λm中，得到特征Xm在待检测手术过程不同时刻的质量评估值，并形成以时间为序的评估值序列Sm，可表示为
Figure BDA0003035988580000077
该序列表示了每一时间帧的质量评估值。
其中，质量评估值可以是具体的分值(如，95，80，60，50等)，也可以是分级的类别(如，A、A甲、B乙、丙等)。相应地，若质量评估值为具体的分值，则该评估值序列可以具有
Figure BDA0003035988580000078
的形式(L为视频数据的时间帧数)。若质量评估值为分级的类别，则该评估值序列可以具有
Figure BDA0003035988580000081
的形式，C为质量分级类别的数目(L 为视频数据的时间帧数)，该序列表示了每一时间帧的质量分数或分级。
需要说明的是，上述嵌入函数φm可以为现有的任意能够将Xm转换为固定大小的特征表示(矢量)的函数，本实施例对其不做具体限定。上述评价函数λm也可以为现有的任意能够用于评价节点(本实施例在应用时可以为各特征数据)重要性的函数，本实施例对其也不做具体限定。
于本实施例另一具体实施方式中，上述基于特征数据和预设的权重函数，分别确定各评价路径的各质量评估值对应的权重系数的过程，具体可以包括以下处理：对所有评价路径的特征数据进行特征融合；将特征融合结果输入各评价路径的权重函数，分别计算各评价路径的各质量评估值对应的权重系数，并形成各评价路径的权重序列。
在本实施例中，各评价路径具有对应的权重函数，在进行计算各评价路径的各质量评估值对应的权重系数时，将所有评价路径的特征数据进行特征融合，对于该检测模型(本检测方法)建立不同路径之间的依赖和交互关系，从而使得本实施例的检测方法可以对手术实施过程的质量进行更加客观、全面的检测。
在本实施例中，为了使得各权重之和等于1，以便于计算，还可以引入softmax 函数。例如，对于上述评价路径m，可以将融合后的特征输入其对应的权重函数ωm以及一个softmax函数中，得到与评价路径m相关的特征数据的各质量评估值对应的权重系数，并形成评价路径m的权重序列Wm，Wm＝softmax(ωm(ψ(X1,X2,X3)))。其中，ωm表示路径m的权重函数，该质量权重序列可以具有
Figure BDA0003035988580000082
的形式，表示了每一时间帧的质量评估值对应的质量权重。
需要说明的是，上述权重函数ωm可以为现有的任意能够用于体现各元素在整体中所占的重要性的函数，本实施例对其不做具体限定。上述softmax函数也可以为现有的任意能够使得各权重之和等于1的函数，本实施例对其也不做具体限定。
步骤S4，根据各评价路径的所有质量评估值及对应的权重系数，确定待检测手术过程的质量检测结果。
具体地，该步骤S4可以包括以下处理：根据各评价路径的权重序列，对相应的评估值序列进行加权平均，计算整个待检测手术过程各评价路径对应的子质量检测结果；根据预设的总权重系数对所有子质量检测结果进行加权平均，计算整个待检测手术过程的质量检测结果。
具体地，可以根据下述公式(1)计算各评价路径对应的子质量检测结果：
Figure BDA0003035988580000091
其中，qm表示评价路径m对应的子质量检测结果，i表示第i个视频时间帧，Sm,i表示评价路径m的评估值序列在时间i处的数值，Wm,i表示评价路径m的权重序列在时间i处的数值。
然后，可以根据下述公式(2)或(3)计算整个待检测手术过程的质量检测结果：
Figure BDA0003035988580000092
Figure BDA0003035988580000093
在上述公式(2)和(3)中，qall表示多个评价路径结合的整体质量检测结果， em表示评价路径m的总权重系数，qm表示评价路径m对应的子质量检测结果。当上述评估值序列基于质量分值表示时，可根据上述公式(2)计算整个待检测手术过程的质量检测结果；当上述评估值序列基于分级的类别表示时，可根据上述公式(3)计算整个待检测手术过程的质量检测结果
需要说明的是，该预设的总权重系数em可人工根据经验设置，也可以通过机器学习计算获得，本实施例对其不作具体限定。
于本实施例另一具体实施方式中，为确定该手术质量检测方法的可行性和准确性，本实施例还对该检测方法进行模型训练。相应地，上述预设的评价函数可以为回归函数，则该检测方法还可以包括以下处理：通过回归损失函数对回归函数进行模型训练；或者，预设的评价函数为分类函数，方法还包括：通过分类损失函数对分类函数进行模型训练。其中，当质量评估值为具体的分值时，通过回归损失函数对回归函数进行模型训练；质量评估值为分级的类别时，通过分类函数对回归函数进行模型训练。
进一步地，还可以通过损失函数对该检测方法进行辅助模型训练，使得该检测方法可以获得更加准确的检测结果。相应地，该检测还可以包括以下处理：基于历史数据，采用如下的自监督对比损失函数对回归函数或分类函进行辅助模型训练：
Figure BDA0003035988580000101
其中，
Figure BDA0003035988580000102
表示自监督对比损失函数模型，
Figure BDA0003035988580000103
表示时间帧i附近的一个邻域，
Figure BDA0003035988580000104
表示与评价路径m相关的在时间i处的特征嵌入结果，
Figure BDA0003035988580000105
表示与评价路径m 相关的在时间i-1处的特征嵌入结果，
Figure BDA0003035988580000106
表示与评价路径m相关的在时间j处的特征嵌入结果，σm表示与评价路径m相关的预测函数，L表示视频数据的时间帧数。
综上，本实施例提出的手术质量检测方法，基于记录手术过程的视频数据，从该些视频数据中提取至少两种评价路径相关的特征数据，通过这些特征数据，先分别确定各特征数据在不同时间帧下的质量评估值及对应的权重系数，然后根据这些质量评估值及对应的权重系数，计算所有评价路径的质量检测结果，从而实现对手术过程质量的检测，相对于单一路径检测，使得对手术实施过程的检测更加客观、全面及准确，且全自动的手术质量检测过程可重复性较强，效率较高。
基于上述手术质量检测方法相同的思想，本实施例还提供一种手术质量检测装置，如图4所示，该装置包括：数据获取模块、特征提取模块、第一计算模块及第二计算模块，其中：
数据获取模块，用于获取记录待检测手术过程的视频数据；
特征提取模块，用于基于视频数据，针对待检测手术的至少两种评价路径，分别提取与各评价路径相关的特征数据；
第一计算模块，用于基于特征数据和预设的评价函数，分别确定各评价路径在待检测手术过程不同时刻的质量评估值，及基于特征数据和预设的权重函数，分别确定各评价路径的各质量评估值对应的权重系数；
第二计算模块，用于根据各评价路径的所有质量评估值及对应的权重系数，确定待检测手术过程的质量检测结果。
本实施例提供的手术质量检测装置，能够执行上述手术质量检测方法，可以实现上述手术质量检测方法可以实现的有益效果，在此不再赘述。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种手术质量检测方法，其特征在于，所述方法包括：
获取记录待检测手术过程的视频数据；
基于所述视频数据，针对所述待检测手术的至少两种评价路径，分别提取与各所述评价路径相关的特征数据；
基于所述特征数据和预设的评价函数，分别确定各评价路径在所述待检测手术过程不同时刻的质量评估值，及基于所述特征数据和预设的权重函数，分别确定各评价路径的各质量评估值对应的权重系数；
根据各评价路径的所有质量评估值及对应的权重系数，确定所述待检测手术过程的质量检测结果；
其中，所述基于所述特征数据和预设的评价函数，分别确定各评价路径在所述待检测手术过程不同时刻的质量评估值，包括：
基于预设的与各评价路径对应的嵌入函数，对各评价路径的各特征数据进行特征嵌入；
将特征嵌入结果输入各评价路径的评价函数，分别计算各评价路径的各特征数据在待检测手术过程不同时刻的质量评估值，并形成各评价路径的评估值序列；
其中，所述基于所述特征数据和预设的权重函数，分别确定各评价路径的各质量评估值对应的权重系数，包括：
对所有评价路径的特征数据进行特征融合；
将特征融合结果输入各评价路径的权重函数，分别计算各评价路径的各质量评估值对应的权重系数，并形成各评价路径的权重序列；
其中，所述根据各评价路径的所有质量评估值及对应的权重系数，确定所述待检测手术过程的质量检测结果，包括：
根据各评价路径的权重序列，对相应的评估值序列进行加权平均，计算整个所述待检测手术过程各评价路径对应的子质量检测结果；
根据预设的总权重系数对所有所述子质量检测结果进行加权平均，计算整个所述待检测手术过程的质量检测结果。
2.根据权利要求1所述的方法，其特征在于，所述预设的评价函数为回归函数，所述方法还包括：
通过回归损失函数对所述回归函数进行模型训练；或者，
所述预设的评价函数为分类函数，所述方法还包括：
通过分类损失函数对所述分类函数进行模型训练。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
基于历史数据，采用如下的自监督对比损失函数对所述回归函数或所述分类函进行辅助模型训练：
Figure FDA0003729796680000021
其中，
Figure FDA0003729796680000022
表示自监督对比损失函数模型，
Figure FDA0003729796680000023
表示时间帧i附近的一个邻域，
Figure FDA0003729796680000024
表示与评价路径m相关的在时间i处的特征嵌入结果，
Figure FDA0003729796680000025
表示与评价路径m相关的在时间i-1处的特征嵌入结果，
Figure FDA0003729796680000026
表示与评价路径m相关的在时间j处的特征嵌入结果，σm表示与评价路径m相关的预测函数，L表示所述视频数据的时间帧数。
4.根据权利要求1所述的方法，其特征在于，各评价路径的特征数据均具有统一的格式，所述统一的格式均为
Figure FDA0003729796680000027
的特征矩阵，其中，L为所述视频数据的时间帧数，D为各评价路径的特征维度大小。
5.根据权利要求1所述的方法，其特征在于，所述视频数据通过置于被手术对象内部的内置摄像装置或置于被手术对象外部的外置摄像装置摄制而成。
6.根据权利要求1所述的方法，其特征在于，所述评价路径包括手术事件分布、手术器械使用情况及手术视野质量。
7.根据权利要求6所述的方法，其特征在于，与所述手术事件分布相关的特征数据包括各时刻下的手术阶段、正常手术事件及不良事件；
与所述手术器械使用情况相关的特征数据包括各时刻下的手术器械的种类及手术器械的空间位置分布；
与所述手术视野质量相关的特征数据包括各时刻下的视野清晰度和图像颜色。
8.一种手术质量检测装置，其特征在于，所述装置包括：
数据获取模块，用于获取记录待检测手术过程的视频数据；
特征提取模块，用于基于所述视频数据，针对所述待检测手术的至少两种评价路径，分别提取与各所述评价路径相关的特征数据；
第一计算模块，用于基于所述特征数据和预设的评价函数，分别确定各评价路径在所述待检测手术过程不同时刻的质量评估值，及基于所述特征数据和预设的权重函数，分别确定各评价路径的各质量评估值对应的权重系数；
第二计算模块，用于根据各评价路径的所有质量评估值及对应的权重系数，确定所述待检测手术过程的质量检测结果；
所第一计算模块，具体用于：
基于预设的与各评价路径对应的嵌入函数，对各评价路径的各特征数据进行特征嵌入；
将特征嵌入结果输入各评价路径的评价函数，分别计算各评价路径的各特征数据在待检测手术过程不同时刻的质量评估值，并形成各评价路径的评估值序列；
所第一计算模块，进一步用于：
对所有评价路径的特征数据进行特征融合；
将特征融合结果输入各评价路径的权重函数，分别计算各评价路径的各质量评估值对应的权重系数，并形成各评价路径的权重序列；
所第二计算模块，具体用于：
根据各评价路径的权重序列，对相应的评估值序列进行加权平均，计算整个所述待检测手术过程各评价路径对应的子质量检测结果；
根据预设的总权重系数对所有所述子质量检测结果进行加权平均，计算整个所述待检测手术过程的质量检测结果。
CN202110443748.9A 2021-04-23 2021-04-23 手术质量检测方法及装置 Active CN113288452B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110443748.9A CN113288452B (zh) 2021-04-23 2021-04-23 手术质量检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110443748.9A CN113288452B (zh) 2021-04-23 2021-04-23 手术质量检测方法及装置

Publications (2)

Publication Number Publication Date
CN113288452A CN113288452A (zh) 2021-08-24
CN113288452B true CN113288452B (zh) 2022-10-04

Family

ID=77321653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110443748.9A Active CN113288452B (zh) 2021-04-23 2021-04-23 手术质量检测方法及装置

Country Status (1)

Country Link
CN (1) CN113288452B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113662664B (zh) * 2021-09-29 2022-08-16 哈尔滨工业大学 一种基于仪器追踪的外科手术质量客观自动化评估方法
CN114565881B (zh) * 2022-04-28 2022-07-12 成都与睿创新科技有限公司 一种分辨体腔内外不同场景的方法及系统
CN116936059B (zh) * 2023-09-15 2023-12-15 四川省肿瘤医院 术前多学科讨论智能审核系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934125A (zh) * 2019-02-26 2019-06-25 中国科学院重庆绿色智能技术研究院 一种半监督手术视频流程识别方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2159717A3 (en) * 2006-03-30 2010-03-17 Sony France S.A. Hybrid audio-visual categorization system and method
FR2920086A1 (fr) * 2007-08-24 2009-02-27 Univ Grenoble 1 Systeme et procede d'analyse pour une operation chirurgicale par endoscopie
CN101540048B (zh) * 2009-04-21 2010-08-11 北京航空航天大学 一种基于支持向量机的图像质量评价方法
US9424656B2 (en) * 2014-05-12 2016-08-23 University Of Rochester Computer vision based method and system for evaluating and grading surgical procedures
CN104658001B (zh) * 2015-03-10 2017-04-19 浙江科技学院 一种无参考非对称失真立体图像客观质量评价方法
EP3136289A1 (en) * 2015-08-28 2017-03-01 Thomson Licensing Method and device for classifying an object of an image and corresponding computer program product and computer-readable medium
US20170132785A1 (en) * 2015-11-09 2017-05-11 Xerox Corporation Method and system for evaluating the quality of a surgical procedure from in-vivo video
CN105844096B (zh) * 2016-03-19 2018-10-23 上海大学 基于图像处理技术的手功能评价方法
CN108113750B (zh) * 2017-12-18 2020-08-18 中国科学院深圳先进技术研究院 柔性手术器械跟踪方法、装置、设备及存储介质
CN108596902B (zh) * 2018-05-04 2020-09-08 北京大学 基于选通卷积神经网络的多任务全参考图像质量评价方法
CN109754391B (zh) * 2018-12-18 2021-10-22 北京爱奇艺科技有限公司 一种图像质量评价方法、装置及电子设备
US20200258616A1 (en) * 2019-02-07 2020-08-13 The Regents Of The University Of Michigan Automated identification and grading of intraoperative quality
CN110309762A (zh) * 2019-06-26 2019-10-08 扆亮海 一种基于航空遥感的林业健康评价系统
CN110363763B (zh) * 2019-07-23 2022-03-15 上饶师范学院 图像质量评价方法、装置、电子设备及可读存储介质
CN110749599A (zh) * 2019-09-29 2020-02-04 四川捷祥医疗器械有限公司 一种手术烟雾的分析方法、装置及存储介质
CN110909631B (zh) * 2019-11-07 2022-11-18 黑龙江大学 一种手指静脉图像roi提取和增强方法
CN111428032B (zh) * 2020-03-20 2024-03-29 北京小米松果电子有限公司 内容质量评价方法及装置、电子设备、存储介质
CN112001565A (zh) * 2020-09-08 2020-11-27 清华大学合肥公共安全研究院 基于Softmax回归模型的地震灾害损失预测与评估的方法及系统
CN112288010B (zh) * 2020-10-30 2022-05-13 黑龙江大学 基于网络学习的指静脉图像质量评价方法
CN112561878A (zh) * 2020-12-15 2021-03-26 黑龙江大学 基于加权融合的手指静脉图像质量评价方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934125A (zh) * 2019-02-26 2019-06-25 中国科学院重庆绿色智能技术研究院 一种半监督手术视频流程识别方法

Also Published As

Publication number Publication date
CN113288452A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN113288452B (zh) 手术质量检测方法及装置
JP3838954B2 (ja) 医療映像処理システム及び処理方法
US7729524B2 (en) Assessment of radiographic systems and operators using task-based phantom
CN110378232B (zh) 改进的ssd双网络的考场考生位置快速检测方法
JP2005288176A (ja) 角膜形状解析システム
CN106132266A (zh) 图像处理装置、图像处理方法以及图像处理程序
WO2023134097A1 (zh) 基于残差网络结构的子宫肌瘤目标图像获取方法
CN109117890A (zh) 一种图像分类方法、装置和存储介质
JP2017167624A (ja) 画像処理装置、画像処理方法、およびプログラム
CN117522861B (zh) 用于动物肩袖损伤的智能监测系统及方法
CN112862778A (zh) 扫描影像检测方法、电子设备和计算机可读介质
CN117152152B (zh) 检测试剂盒的生产管理系统及方法
US7965882B2 (en) Image display apparatus and computer-readable image display program storage medium
CN114998986A (zh) 基于计算机视觉的引体向上动作规范智能识别方法及系统
CN118037656A (zh) 基于人工智能的儿童先天性气管狭窄自动诊断方法
CN106204523A (zh) 一种图像质量度量方法及装置
JP4691732B1 (ja) 組織抽出システム
CN112690815A (zh) 基于肺部图像报告辅助诊断病变等级的系统和方法
CN116919639A (zh) 一种可视清洗方法、系统及其可视清洗器
CN115965617A (zh) 一种基于集成学习的消化道内镜检查辅助系统
US11967102B2 (en) Key points detection using multiple image modalities
TWI746249B (zh) 心胸比估算方法及心胸比估算系統
CN111210404A (zh) 晶状体分割难度分类方法及装置
CN112798628B (zh) 利用oct成像检测工业内部缺陷的可行性验证方法
CN105326527B (zh) 一种控制融合超声图像中的参考图像显示的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant