CN113823419B - 操作过程记录方法、装置、介质和计算设备 - Google Patents

操作过程记录方法、装置、介质和计算设备 Download PDF

Info

Publication number
CN113823419B
CN113823419B CN202111389571.5A CN202111389571A CN113823419B CN 113823419 B CN113823419 B CN 113823419B CN 202111389571 A CN202111389571 A CN 202111389571A CN 113823419 B CN113823419 B CN 113823419B
Authority
CN
China
Prior art keywords
target
image
data
video
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111389571.5A
Other languages
English (en)
Other versions
CN113823419A (zh
Inventor
王智宇
杨红
夏雪
白杨
盛铎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Xuanwei Digital Medical Technology Co ltd
First Affiliated Hospital of Zhengzhou University
Original Assignee
Xuanwei Beijing Biotechnology Co ltd
First Affiliated Hospital of Zhengzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuanwei Beijing Biotechnology Co ltd, First Affiliated Hospital of Zhengzhou University filed Critical Xuanwei Beijing Biotechnology Co ltd
Priority to CN202111389571.5A priority Critical patent/CN113823419B/zh
Publication of CN113823419A publication Critical patent/CN113823419A/zh
Application granted granted Critical
Publication of CN113823419B publication Critical patent/CN113823419B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Bioethics (AREA)
  • Image Analysis (AREA)

Abstract

本发明的实施方式提供了一种操作过程记录方法、装置、介质和计算设备。该方法包括：从采集到的操作视频获取多个操作子视频，并确定各个操作子视频分别对应的操作类型；对识别出的各个操作子视频中每一帧图像包含的目标进行标注，得到识别出的目标的标注信息；将所述每一帧图像以及所述每一帧图像对应的视频时间、所述操作类型和所述标注信息共同进行存储，得到操作过程记录信息。本发明能够得到基于操作视频的操作过程记录，在观看具有操作过程记录的手术过程的操作视频时，可以更加清晰的知晓在手术的各个步骤需要使用的手术器械以及会出现的操作场景和病变等，提高了内镜粘膜下剥离术视频的应用率，提升了内镜粘膜下剥离术的培训效率。

Description

操作过程记录方法、装置、介质和计算设备
技术领域
本发明的实施方式涉及人工智能技术领域，更具体地，本发明的实施方式涉及一种操作过程记录方法、装置、介质和计算设备。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
目前，利用内镜粘膜下剥离术（Endoscopic submucosal dissection，ESD）对肿瘤进行切除是对消化道表浅肿瘤较为有效的治疗方式。由于内镜粘膜下剥离术的实现过程较为复杂，导致了内镜粘膜下剥离术的培训工作开展的并不平衡，因此，为了提高内镜粘膜下剥离术在实际治疗中的应用，亟需提升内镜粘膜下剥离术的培训效率。
发明内容
在本上下文中，本发明的实施方式期望提供一种操作过程记录方法、装置、介质和计算设备。
在本发明实施方式的第一方面中，提供了一种操作过程记录方法，包括：
从采集到的操作视频获取多个操作子视频，并确定各个操作子视频分别对应的操作类型；
对识别出的各个操作子视频中每一帧图像包含的目标进行标注，得到识别出的目标的标注信息；
将所述每一帧图像以及所述每一帧图像对应的视频时间、所述操作类型和所述标注信息共同进行存储，得到操作过程记录信息。
在本实施方式的一个实施例中，确定各个操作子视频分别对应的操作类型之后，所述方法还包括：
基于所述操作类型，确定各个操作子视频分别对应的数据类型，所述数据类型为离散数据类型或连续数据类型；
从所述离散数据类型对应的操作子视频中获取与预设时间间隔对应的图像帧；
基于获取的所述图像帧，对所述离散数据类型对应的操作子视频进行更新。
在本实施方式的一个实施例中，从采集到的操作视频获取多个操作子视频，并确定各个操作子视频分别对应的操作类型，包括：
从采集到的操作视频中确定多个待识别目标初次被识别到的多个时间点，其中，一个待识别目标对应一个时间点；
基于所述多个时间点，将所述操作视频分割为多个操作子视频；
基于所述多个待识别目标，确定各个操作子视频分别对应的操作类型。
在本实施方式的一个实施例中，从采集到的操作视频中确定多个待识别目标初次被识别到的多个时间点，包括：
在播放采集到的操作视频的过程中，接收输入的多个按键指令；
确定所述多个按键指令在所述操作视频中分别对应的多个时间点，其中，一个按键指令对应一个时间点；
基于各个时间点的时间顺序，确定各个时间点分别对应的多个待识别目标。
在本实施方式的一个实施例中，从采集到的操作视频中确定多个待识别目标初次被识别到的多个时间点，包括：
在播放采集到的操作视频的过程中，识别所述操作视频中包含的多个待识别目标；
分别确定多个待识别目标在所述操作视频中初次被识别的时间点。
在本实施方式的一个实施例中，对识别出的各个操作子视频中每一帧图像包含的目标进行标注，得到识别出的目标的标注信息，包括：
对所述各个操作子视频中的每一帧图像进行目标识别，得到所述每一帧图像中的感兴趣区域，所述感兴趣区域中包含识别得到的目标；
对各个所述感兴趣区域中包含的目标进行标注，得到所述目标对应的目标识别信息以及用于标识所述目标所在位置的包围框数据；
将所述目标识别信息和所述包围框数据共同确定为所述目标的标注信息。
在本实施方式的一个实施例中，对各个所述感兴趣区域中包含的目标进行标注，得到所述目标对应的目标识别信息以及用于标识所述目标所在位置的包围框数据之后，所述方法还包括：
基于所述包围框数据在所述感兴趣区域中的位置，获取所述包围框数据在所述感兴趣区域中的第一顶点数据，所述第一顶点数据包含第一顶点横向数据和第一顶点纵向数据；
利用预设的拟合方程对所述第一顶点横向数据进行计算，得到拟合高度；
对所述拟合高度与所述第一顶点纵向数据进行对比，得到距离差值；
从预设概率键值对中确定与所述距离差值对应的距离概率；
当所述距离概率大于预设概率阈值，确定所述距离概率对应的包围框数据为合格数据。
在本实施方式的一个实施例中，所述方法还包括：
获取预先存储的操作图像，所述操作图像中包含预先识别的包围框；
基于所述包围框在所述操作图像中的位置，获取所述包围框在所述操作图像中的第二顶点数据，所述第二顶点数据包含第二顶点横向数据和第二顶点纵向数据；
基于所述第二顶点数据生成左侧向量和右侧向量；
对所述左侧向量和右侧向量进行计算，得到跨中线向量；
对所述跨中线向量进行计算，得到横向数据和纵向数据；
对所述横向数据和所述纵向数据进行拟合计算，得到拟合方程。
在本实施方式的一个实施例中，所述方法还包括：
利用所述拟合方程对所述横向数据进行计算，得到拟合纵向数据；
对所述拟合纵向数据与所述第二顶点纵向数据进行对比，得到误差距离向量；
对所述误差距离向量进行概率计算，得到概率向量；
基于所述误差距离向量和所述概率向量生成概率键值对。
在本实施方式的一个实施例中，对各个所述感兴趣区域中包含的目标进行标注，得到所述目标对应的目标识别信息以及用于标识所述目标所在位置的包围框数据，包括：
对各个所述感兴趣区域中包含的目标的类型进行识别，得到所述目标对应的目标类型，所述目标类型包括但不限于操作器具类型和操作目标类型中的一种；
当所述目标类型为所述操作器具类型时，对包含所述操作器具类型对应的第一目标的感兴趣区域进行计算，得到所述感兴趣区域中包含的所述第一目标的位置信息；
基于多种预设操作器具的第一预设掩码图像对包含所述第一目标的感兴趣区域进行计算，得到所述第一目标对应的操作器具信息；
基于所述位置信息和所述操作器具信息对所述感兴趣区域中包含的所述第一目标进行标注，得到所述第一目标对应的目标识别信息以及用于标识所述第一目标所在位置的包围框数据。
在本实施方式的一个实施例中，当所述目标类型为所述操作目标类型时，所述方法还包括：
基于预设操作目标的第二预设掩码图像对包含所述操作目标类型对应的第二目标的感兴趣区域进行计算，得到所述第二目标对应的操作目标信息以及包含所述第二目标的操作目标掩码图像；
基于所述操作目标信息和所述操作目标掩码图像对所述感兴趣区域中包含的所述第二目标进行标注，得到所述第二目标对应的目标识别信息以及用于标识所述第二目标所在位置的包围框数据。
在本实施方式的一个实施例中，当所述目标类型为所述操作器具类型时，对包含所述操作器具类型对应的第一目标的感兴趣区域进行计算，得到所述感兴趣区域中包含的所述第一目标的位置信息，包括：
对包含所述操作器具类型对应的第一目标的感兴趣区域进行计算，得到所述感兴趣区域对应的变化区域掩码图像；
对所述变化区域掩码图像进行取反，得到未变化区域掩码图像；
对所述感兴趣区域和所述未变化区域掩码图像进行和运算，得到所述感兴趣区域中包含的所述第一目标的位置信息。
在本实施方式的一个实施例中，基于多种预设操作器具的第一预设掩码图像对包含所述第一目标的感兴趣区域进行计算，得到所述第一目标对应的操作器具信息，包括：
对包含所述第一目标的感兴趣区域进行颜色通道转换，得到所述感兴趣区域对应的第一颜色空间图像；
基于多种预设操作器具的第一预设掩码图像对所述第一颜色空间图像进行和运算，得到待识别图像；
基于所述多种预设操作器具的多种颜色，对所述待识别图像进行计算，得到所述待识别图像的像素和；
将大于预设面积阈值的像素和对应的预设操作器具确定为所述第一目标对应的操作器具，并将所述预设操作器具的操作器具信息确定为所述第一目标的操作器具信息。
在本实施方式的一个实施例中，基于所述位置信息和所述操作器具信息对所述感兴趣区域中包含的所述第一目标进行标注，得到所述第一目标对应的目标识别信息以及用于标识所述第一目标所在位置的包围框数据，包括：
在所述感兴趣区域中确定所述第一目标的位置信息对应的包围框数据，所述包围框数据用于标识所述感兴趣区域中的所述第一目标所在位置；
基于所述操作器具信息和所述包围框数据对所述感兴趣区域中包含的所述第一目标进行标注，得到所述感兴趣区域中的所述第一目标对应的目标识别信息以及所述包围框数据。
在本实施方式的一个实施例中，基于预设操作目标的第二预设掩码图像对包含所述操作目标类型对应的第二目标的感兴趣区域进行计算，得到所述第二目标对应的操作目标信息以及包含所述第二目标的操作目标掩码图像，包括：
对包含所述操作目标类型对应的第二目标的感兴趣区域进行计算，得到所述感兴趣区域对应的第二颜色空间图像；
基于所述预设操作目标的第二预设掩码图像对所述第二颜色空间图像进行和运算，得到所述第二目标对应的操作目标信息以及包含所述第二目标的操作目标掩码图像。
在本实施方式的一个实施例中，基于所述操作目标信息和所述操作目标掩码图像对所述感兴趣区域中包含的所述第二目标进行标注，得到所述第二目标对应的目标识别信息以及用于标识所述第二目标所在位置的包围框数据，包括：
对所述操作目标掩码图像进行灰度计算，得到操作目标灰度图像；
对所述操作目标灰度图像进行二值化计算，得到操作目标二值化图像；
对所述操作目标二值化图像进行腐蚀计算，得到操作目标腐蚀图像；
基于所述操作目标信息和所述操作目标腐蚀图像对所述感兴趣区域中包含的所述第二目标进行标注，得到所述第二目标对应的目标识别信息以及用于标识所述第二目标所在位置的包围框数据。
在本发明实施方式的第二方面中，提供了一种操作过程记录装置，包括：
获取单元，用于从采集到的操作视频获取多个操作子视频，并确定各个操作子视频分别对应的操作类型；
标注单元，用于对识别出的各个操作子视频中每一帧图像包含的目标进行标注，得到识别出的目标的标注信息；
存储单元，用于将所述每一帧图像以及所述每一帧图像对应的视频时间、所述操作类型和所述标注信息共同进行存储，得到操作过程记录信息。
在本发明实施方式的第三方面中，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序在被处理器执行时能够实现第一方面中任一项所述的方法。
在本发明实施方式的第四方面中，提供了一种计算设备，包括第三方面所述的存储介质。
根据本发明实施方式的操作过程记录方法、装置、介质和计算设备，能够从在手术过程中拍摄的操作视频中获取到多个操作子视频，确定出各个操作子视频对应的操作类型，并且可以对每个操作子视频中的每一帧图像中的目标进行识别和标注，得到目标的标注信息，最后可以将操作视频中的每一帧图像、每一帧图像对应的视频时间、操作类型以及标注信息共同进行存储，以得到最终的基于操作视频的操作过程记录，从而在观看具有操作过程记录的手术过程的操作视频时，可以更加清晰的知晓在手术的各个步骤需要使用的手术器械以及会出现的操作场景和病变等，提高了内镜粘膜下剥离术视频的应用率，提升了内镜粘膜下剥离术的培训效率。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1为本发明一实施例提供的操作过程记录方法的流程示意图；
图2为本发明另一实施例提供的操作过程记录方法的流程示意图；
图3为本发明另一实施例提供的操作过程记录方法的流程示意图；
图4a为本发明实施例中的包含操作器具的操作子视频中的单帧图像；
图4b为根据本发明的实施方式对单帧图像计算得到的变化区域掩码图像；
图4c为根据本发明的实施方式对变化区域掩码图像执行取反操作得到的未变化区域掩码图像；
图5a为根据本发明的实施方式对单帧图像执行颜色通道转换任务得到的第一颜色空间图像；
图5b为根据本发明的实施方式对第一颜色空间图像执行颜色排查任务得到的待识别图像；
图5c为根据本发明的实施方式对待识别图像执行识别任务得到的结果示意图；
图6a为本发明实施例中的包含操作目标的操作子视频中的单帧图像；
图6b为根据本发明的实施方式对单帧图像计算得到的包含操作目标的操作目标掩码图像；
图6c为根据本发明的实施方式对操作目标掩码图像执行识别任务得到的结果示意图；
图7为本发明实施例中构建拟合方程的曲线拟合示意图；
图8为根据本发明的实施方式基于拟合方程执行概率向量计算任务得到的结果示意图；
图9为本发明一实施例提供的操作过程记录装置的结构示意图；
图10示意性地示出了本发明实施例的一种介质的结构示意图；
图11示意性地示出了本发明实施例的一种计算设备的结构示意图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件（包括固件、驻留软件、微代码等），或者硬件和软件结合的形式。
根据本发明的实施方式，提出了一种操作过程记录方法、装置、介质和计算设备。
在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
示例性方法
下面参考图1，图1为本发明一实施例提供的操作过程记录方法的流程示意图。需要注意的是，本发明的实施方式可以应用于适用的任何场景。
图1所示的本发明一实施例提供的操作过程记录方法的流程，包括：
步骤S101，从采集到的操作视频获取多个操作子视频，并确定各个操作子视频分别对应的操作类型；
步骤S102，对识别出的各个操作子视频中每一帧图像包含的目标进行标注，得到识别出的目标的标注信息；
步骤S103，将所述每一帧图像以及所述每一帧图像对应的视频时间、所述操作类型和所述标注信息共同进行存储，得到操作过程记录信息。
本申请中提出的操作过程记录方法所针对的是基于以机器学习尤其是深度学习为代表的人工智能所构建的操作过程记录模型，包括但不限于手术过程、内窥镜检查过程中采集到的操作视频中包含的多种目标和/或多操作阶段的识别等各个适用不同应用场景的操作过程记录模型，例如可以用于对腹腔镜手术过程中采集到的操作视频中多个手术阶段中包含手术器械、病变区域等信息的识别和记录等。
本发明能够从在手术过程中拍摄的操作视频中获取到多个操作子视频，确定出各个操作子视频对应的操作类型，并且可以对每个操作子视频中的每一帧图像中的目标进行识别和标注，得到目标的标注信息，最后可以将操作视频中的每一帧图像、每一帧图像对应的视频时间、操作类型以及标注信息共同进行存储，以得到最终的基于操作视频的操作过程记录，从而在观看具有操作过程记录的手术过程的操作视频时，可以更加清晰的知晓在手术的各个步骤需要使用的手术器械以及会出现的操作场景和病变等，提高了内镜粘膜下剥离术视频的应用率，提升了内镜粘膜下剥离术的培训效率。
下面结合附图说明如何提高内镜粘膜下剥离术视频的应用率，以及提升内镜粘膜下剥离术的培训效率：
本发明实施例可以应用于手术操作过程，例如内镜粘膜下剥离术（EndoscopicSubmucosal Dissection，ESD）等，可以在手术操作过程中采集到全部手术操作过程的操作视频，并且可以对采集到的操作视频中的内容进行标注，标注的内容可以为手术的不同阶段信息、手术器械信息和位置信息、病变信息和位置信息等，最终得到在操作视频中标注了多种标注信息的操作过程记录信息。
本发明实施例中，操作视频可以为在手术过程中利用图像采集设备（如摄像机、内窥镜等）采集到的视频，操作视频中可以包含患者的体内环境、手术器械、病变区域等信息，整个操作视频可以包含手术的全部过程或手术的部分过程，因此，为了更加准确的对操作视频进行标注，可以将操作视频分为多个操作子视频，每个操作子视频都可以对应不同的操作类型；由于手术过程中可以包含多个不同的手术阶段，因此可以根据不同的手术阶段将操作视频分为多个操作子视频；由于不同的手术阶段执行的具体操作方式是不同的，因此，可以确定出各个手术阶段的操作子视频对应的操作类型。
举例来说，内镜粘膜下剥离手术的过程可以分为以下多个手术阶段：确定病变范围和深度阶段、标记阶段、粘膜下注射阶段、切开阶段、粘膜下剥离阶段、创面处理阶段以及标本处理阶段等，不同的手术阶段可以执行不同的操作，从而可以实现不同的目的，且不同的手术阶段可以对应不同的操作类型，例如，确定病变范围和深度阶段的操作类型可以为病变位置确定类型，标记阶段的操作类型可以为标记类型，粘膜下注射阶段的操作类型可以为粘膜下注射类型，切开阶段的操作类型可以为切开类型，粘膜下剥离阶段的操作类型可以为粘膜下剥离类型，创面处理阶段的操作类型可以为创面处理类型，以及标本处理阶段的操作类型可以为标本处理类型，可见，对于不同的手术过程，可以根据该手术操作过程中的不同阶段确定出不同的操作类型，并且可以将确定出的任意一个手术阶段的操作类型与该手术阶段的操作子视频进行对应，从而确定出每个操作子视频分别对应的操作类型。
更进一步，可以通过自动或人工辅助的方式将操作视频分为多个操作子视频，由于不同的手术阶段执行操作不同，因此，不同的手术阶段对应的操作子视频中出现的手术器械和/或体内环境会有不同，手术器械可以包括但不限于透明帽、三角刀、钩状刀、注水刀、和谐夹、Flex刀（套圈器）、dual刀、IT刀、黄金刀、止血钳、啄木鸟刀、止血夹、病理钳以及注水针等，体内环境中可以出现正常的组织和/或病变区域，可以从全部的操作视频中将各个手术阶段出现的特有的目标进行识别，并确定各个手术阶段初次出现特有的目标的时间点，最终可以基于确定的多个时间点将操作视频分为多个操作子视频，以及可以根据各个操作子视频中出现的特有的目标确定出当前操作子视频对应的手术阶段，从而确定出各个操作子视频分别对应的手术阶段的操作类型。其中，对操作视频中的特有的目标进行识别的方式可以是全自动识别，也可以通过人工的方式识别，在播放采集到的操作视频的过程中，工作人员可以在观察到特定的目标时，确定该特定的目标对应的手术阶段开始，与此同时可以按下该手术阶段对应的按键，从而可以根据接收到的按键指令确定出当前按键指令对应的操作视频中的时间点，以及当前按键指令对应的手术阶段的标识，从而基于接收到的按键指令实现对操作视频中包含的特定的目标的识别以及各个手术阶段的开始和结束的时间点的确定。
本发明实施例中，对操作子视频进行标注通常是对操作子视频的每一帧图像中出现的手术器械和/或病变区域等目标进行目标信息以及目标所在位置的标注，标注出的该目标的目标信息以及目标所在位置都可以作为该目标的标注信息，之后，可以将每一帧图像对应的视频时间、每一帧图像所在操作子视频对应的操作类型以及标注出的标注信息共同进行存储，最终得到操作视频对应的完整的操作过程记录信息。
请参阅图2，图2为本发明另一实施例提供的操作过程记录方法的流程示意图，图2所示的本发明另一实施例提供的操作过程记录方法的流程包括：
步骤S201，从采集到的操作视频中确定多个待识别目标初次被识别到的多个时间点，其中，一个待识别目标对应一个时间点；
步骤S202，基于所述多个时间点，将所述操作视频分割为多个操作子视频；
步骤S203，基于所述多个待识别目标，确定各个操作子视频分别对应的操作类型。
实施上述的步骤S201~步骤S203，可以将采集到的操作视频按照不同时间段内出现的不同目标分割为多个操作子视频，并基于各个操作子视频中包含的待识别目标确定出各个操作子视频对应的操作类型，从而提升了确定操作子视频对应的操作的准确性。
本发明实施例中，操作视频中确定的多个待识别目标可以为病变、多种手术器械（即不同的手术阶段可以出现不同的手术器械）等，多个待识别目标通常在操作视频中出现在不同的时间段内，且任意一个待识别目标都可以出现在一个手术阶段或多个手术阶段，因此，可以从操作视频中确定出每个待识别目标初次出现的时间点，即可以认为当前待识别目标的初次出现意味着手术过程进入了与该待识别目标对应的新的手术阶段，进而可以基于获取到的多个时间点将操作视频分为多个操作子视频，还可以根据操作子视频中初次出现的待识别目标，确定出该待识别目标对应的当前手术阶段，以及可以将确定出的当前手术阶段对应的操作类型确定为该操作子视频对应的操作类型。
作为一种可选的实施方式，步骤S201从采集到的操作视频中确定多个待识别目标初次被识别到的多个时间点的方式具体可以包括以下步骤：
在播放采集到的操作视频的过程中，接收输入的多个按键指令；
确定所述多个按键指令在所述操作视频中分别对应的多个时间点，其中，一个按键指令对应一个时间点；
基于各个时间点的时间顺序，确定各个时间点分别对应的多个待识别目标。
其中，实施这种实施方式，可以接收到人工输入的按键指令，并确定出各个按键指令对应的多个时间点，最终可以识别出操作视频中在各个时间点处对应的待识别目标，从而基于人工的方式提升了确定待识别目标的准确性。
本发明实施例中，按键指令可以为观看操作视频的工作人员输入的指令，即工作人员可以在观看操作视频的过程中看到手术过程进入下一个手术阶段时，按压下一个手术阶段对应的按键，以输入按键指令，全部的操作视频中包含手术过程的多个手术阶段，因此可以接收到工作人员输入的多个按键指令。由于不同的手术阶段之间存在先后顺序，因此输入的按键指令也存在先后顺序，基于按键指令确定的多个时间点之间也存在先后顺序，可以基于各个时间点的先后顺序确定出在当前时间点初次出现的待识别目标，从而可以准确的基于待识别目标的出现顺序确定该待识别目标对应的手术阶段。
举例来说，工作人员可以观看采集到的内镜粘膜下剥离手术的操作视频，当观察到病变时，可以按下确定病变范围和深度阶段对应的按键0，以输入包含标识为0的第一个按键指令，可以根据第一个按键指令确定出标识0对应的操作类型为病变位置确定类型，以及第一个按键指令在操作视频中对应的第一时间点t0，即确定病变范围和深度阶段在操作视频中的开始时间t0_bgn为第一时间点t0；
当观察到标记时，可以按下标记阶段对应的按键1，以输入包含标识为1的第二个按键指令，可以根据第二个按键指令确定出标识1对应的操作类型为标记类型，以及第二个按键指令在操作视频中对应的第二时间点t1，即确定病变范围和深度阶段在操作视频中的开始时间t0_bgn为第一时间点t0，以及结束时间t0_end为第二时间点t1，以及标记阶段在操作视频中的开始时间t1_bgn也为第二时间点t1；
当观察到在进行粘膜下注射时，可以按下粘膜下注射阶段对应的按键2，以输入包含标识为2的第三个按键指令，可以根据第三个按键指令确定出标识2对应的操作类型为粘膜下注射类型，以及第三个按键指令在操作视频中对应的第三时间点t2，即标记阶段在操作视频中的开始时间t1_bgn为第二时间点t1，以及结束时间t1_end为第三时间点t2，以及粘膜下注射阶段在操作视频中的开始时间t2_bgn也为第三时间点t2；
当观察到切开时，可以按下切开阶段对应的按键3，以输入包含标识为3的第四个按键指令，可以根据第四个按键指令确定出标识3对应的操作类型为切开类型，以及第四个按键指令在操作视频中对应的第四时间点t3，即粘膜下注射阶段在操作视频中的开始时间t2_bgn为第三时间点t2，以及结束时间t2_end为第四时间点t3，以及切开阶段在操作视频中的开始时间t3_bgn也为第四时间点t3；
当观察到在粘膜下剥离时，可以按下粘膜下剥离阶段对应的按键4，以输入包含标识为4的第五个按键指令，可以根据第五个按键指令确定出标识4对应的操作类型为粘膜下剥离类型，以及第五个按键指令在操作视频中对应的第五时间点t4，即切开阶段在操作视频中的开始时间t3_bgn为第四时间点t3，以及结束时间t3_end为第五时间点t4，以及粘膜下剥离阶段在操作视频中的开始时间t4_bgn也为第五时间点t4；
当观察到创面处理时，可以按下创面处理阶段对应的按键5，以输入包含标识为5的第六个按键指令，可以根据第六个按键指令确定出标识5对应的操作类型为创面处理类型，以及第六个按键指令在操作视频中对应的第六时间点t5，即粘膜下剥离阶段在操作视频中的开始时间t4_bgn为第五时间点t4，以及结束时间t4_end为第六时间点t5，以及创面处理阶段在操作视频中的开始时间t5_bgn也为第六时间点t5；
当观察到标本处理时，可以按下标本处理阶段对应的按键6，以输入包含标识为6的第七个按键指令，可以根据第七个按键指令确定出标识6对应的操作类型为标本处理类型，以及第七个按键指令在操作视频中对应的第七时间点t6，即创面处理阶段在操作视频中的开始时间t5_bgn为第六时间点t5，以及结束时间t5_end为第七时间点t6，以及标本处理阶段在操作视频中的开始时间t6_bgn也为第七时间点t6，当标本处理阶段为手术过程中最后一个手术阶段时，可以将操作视频的最后的时间点确定为标本处理阶段在操作视频中的结束时间t6_end。
可选的，步骤S201从采集到的操作视频中确定多个待识别目标初次被识别到的多个时间点的方式具体还可以包括以下步骤：
在播放采集到的操作视频的过程中，识别所述操作视频中包含的多个待识别目标；
分别确定多个待识别目标在所述操作视频中初次被识别的时间点。
其中，实施这种实施方式，可以对操作视频中出现的多个待识别进行识别，并确定各个待识别目标初次被识别到的时间点，从而可以实现全自动智能化的对操作视频中包含的待识别目标以及各个待识别目标初次被识别的时间点进行确定，提升了确定待识别目标初次被识别的时间点的智能性。
本发明实施例中，可以识别出操作视频中出现的多个待识别目标，识别出的多个待识别目标可以为手术器械类型的目标，也可以为病变类型的目标，对此，本发明实施例不做限定。还可以获取到各个待识别目标初次被识别到的时间点，以基于获取到的各个不同的待识别目标的时间点将操作视频分为多个操作子视频。
步骤S204，基于所述操作类型，确定各个操作子视频分别对应的数据类型，所述数据类型为离散数据类型或连续数据类型；
步骤S205，从所述离散数据类型对应的操作子视频中获取与预设时间间隔对应的图像帧；
步骤S206，基于获取的所述图像帧，对所述离散数据类型对应的操作子视频进行更新。
实施上述的步骤S204~步骤S206，可以根据各个操作子视频的操作类型确定出各个操作子视频对应的数据类型为离散数据类型或连续数据类型，并对离散数据类型对应的操作子视频中的图像帧进行更新，从而简化了操作子视频中的内容，降低了操作子视频的存储空间。
本发明实施例中，可以将操作子视频按照重要程度确定对应的数据类型，操作子视频的数据类型可以为离散数据类型或连续数据类型，如果操作子视频的重要程度较低时，可以将该操作子视频的数据类型确定为离散数据类型，如果操作子视频的重要程度较高时，可以将该操作子视频的数据类型确定为连续数据类型，操作子视频的重要程度可以预先设置，即可以预先确定操作视频中可能包含的多个操作阶段的操作子视频，进而可以通过工作人员输入各个操作阶段的重要程度对应的数值，之后在确定出操作视频包含的多个操作子视频时，确定出各个操作子视频的重要程度对应的数据，并对各个操作子视频的重要程度对应的数值进行判断，将数值低于预设阈值的操作子视频的数据类型确定为离散数据类型，将数值不低于预设阈值的操作子视频的数据类型确定为连续数据类型；重要程度较低的操作子视频通常不需要对每一帧图像中的目标进行标注，因此可以从离散数据类型的操作子视频中选取部分图像帧进行目标的标注，具体可以为：获取预设时间间隔（例如5秒、10秒等），基于预设时间间隔从离散数据类型的操作子视频中选取多帧图像帧，并通过获取到的多帧图像帧对该离散数据类型对应的操作子视频进行更新，以使该离散数据类型对应的操作子视频中仅包含获取到的多帧图像帧，从而降低了操作子视频占用的存储空间，同时也可以提升对离散数据类型的操作子视频中包含的目标的标注效率。
步骤S207，对识别出的各个操作子视频中每一帧图像包含的目标进行标注，得到识别出的目标的标注信息；
步骤S208，将所述每一帧图像以及所述每一帧图像对应的视频时间、所述操作类型和所述标注信息共同进行存储，得到操作过程记录信息。
请参阅图3，图3为本发明另一实施例提供的操作过程记录方法的流程示意图，图3所示的本发明另一实施例提供的操作过程记录方法的流程包括：
步骤S301，从采集到的操作视频获取多个操作子视频，并确定各个操作子视频分别对应的操作类型；
步骤S302，对所述各个操作子视频中的每一帧图像进行目标识别，得到所述每一帧图像中的感兴趣区域，所述感兴趣区域中包含识别得到的目标；
本发明实施例中，感兴趣区域（Region of Interest，ROI）可以为预测得到的包含识别出的目标的区域，感兴趣区域中包含的识别出的目标的数量可以为一个或多个，可以对各个操作子视频中的每一帧图像的感兴趣区域都进行预测，可以通过卡尔曼滤波和MOOSE算法对操作子视频中的任意一帧图像进行预测，从而得到该图像中的感兴趣区域。此外，可以通过跟踪算法（例如CSRT算法、KCF算法、BOOSTING提升算法、MIL多实例在线学习算法、TLD单目标长时间跟踪算法、MedianFlow中值流跟踪算法以及MOSSE算法等）对操作子视频中每一帧图像中得到的感兴趣区域进行追踪，以实现对操作子视频中出现的目标进行追踪。
步骤S303，对各个所述感兴趣区域中包含的目标进行标注，得到所述目标对应的目标识别信息以及用于标识所述目标所在位置的包围框数据；
作为一种可选的实施方式，步骤S303对各个所述感兴趣区域中包含的目标进行标注，得到所述目标对应的目标识别信息以及用于标识所述目标所在位置的包围框数据的方式具体可以包含以下步骤：
对各个所述感兴趣区域中包含的目标的类型进行识别，得到所述目标对应的目标类型，所述目标类型包括但不限于操作器具类型和操作目标类型中的一种；
当所述目标类型为所述操作器具类型时，对包含所述操作器具类型对应的第一目标的感兴趣区域进行计算，得到所述感兴趣区域中包含的所述第一目标的位置信息；
基于多种预设操作器具的第一预设掩码图像对包含所述第一目标的感兴趣区域进行计算，得到所述第一目标对应的操作器具信息；
基于所述位置信息和所述操作器具信息对所述感兴趣区域中包含的所述第一目标进行标注，得到所述第一目标对应的目标识别信息以及用于标识所述第一目标所在位置的包围框数据。
其中，实施这种实施方式，可以对操作器具类型和操作目标类型的目标进行确定，且当目标为操作器具类型时，还可以以多种预设操作器具的预设掩码图像为依据，从当前的操作子视频中确定出操作器具类型的目标的目标识别信息以及该目标所在位置的包围框数据，提升了对操作器具类型的目标识别的准确性。
本发明实施例中，感兴趣区域中包含的目标对应的目标类型可以为操作器具类型或操作目标类型，操作器具类型的目标可以为透明帽、三角刀、钩状刀、注水刀、和谐夹、Flex刀（套圈器）、dual刀、IT刀、黄金刀、止血钳、啄木鸟刀、止血夹、病理钳以及注水针等，操作目标类型的目标可以为病变的组织或器官等，对此，本发明实施例不做限定。基于感兴趣区域中包含不同目标类型的目标，需要通过不同的方式对该目标进行标识。
本发明实施例中，当所述目标类型为所述操作器具类型时，对包含所述操作器具类型对应的第一目标的感兴趣区域进行计算，得到所述感兴趣区域中包含的所述第一目标的位置信息的方式具体可以包含以下步骤：
对包含所述操作器具类型对应的第一目标的感兴趣区域进行计算，得到所述感兴趣区域对应的变化区域掩码图像；
对所述变化区域掩码图像进行取反，得到未变化区域掩码图像；
对所述感兴趣区域和所述未变化区域掩码图像进行和运算，得到所述感兴趣区域中包含的所述第一目标的位置信息。
其中，实施这种实施方式，可以对包含操作器具类型的目标的感兴趣区域进行取反以及和运算等操作，最终得到操作器具类型的目标在感兴趣区域中的位置信息，从而准确地确定出操作器具类型的目标在当前感兴趣区域中的位置。
本发明实施例中，感兴趣区域中包含的操作器具类型对应的目标可以确定为第一目标，可以对包含第一目标的感兴趣区域进行计算，得到该感性区域对应的变化区域掩码图像，可以利用KNN前景识别算法对感兴趣区域进行计算，得到感兴趣区域对应的变化区域掩码图像，变化区域图像掩码可以为操作子视频的感兴趣区域中发生移动的区域的掩码图像；以及可以对变化区域掩码图像进行取反操作，得到未变化区域掩码图像，未变化区域掩码图像为可以操作子视频的感兴趣区域中未发生移动或移动幅度较小的区域的掩码图像，由于操作器具类型的目标在采集到的操作视频中通常在一段连续的时间内（例如0.5秒以上、1秒）不会随着图像采集设备的移动而移动，因此，从感兴趣区域中计算得到的未发生移动或移动幅度较小的区域的掩码图像可以认为是操作器具类型的目标的掩码图像，因此，对感兴趣区域和未变化区域掩码图像进行和运算，可以确定出第一目标在感兴趣区域中具体的位置信息，第一目标的位置信息中可以包括但不限于第一目标在感兴趣区域中所在区域的位置坐标以及第一目标的面积等信息。
请一并参阅图4a、图4b以及图4c，图4a为本发明实施例中的包含操作器具的操作子视频中的单帧图像，其中，操作子视频中可能包括手术操作器具、体内环境、视频边框以及控制台提示区域等，由于视频边框以及控制台提示区域等通常为无效信息，因此可以从操作子视频中识别出仅包含手术操作器具和体内环境的单帧图像，并基于获取到的单帧图像识别操作器具类型的第一目标，可见，得到的单帧图像可以从操作子视频中预测得到的感兴趣区域；对图4a进行计算可以得到图4b，图4b为根据本发明的实施方式对单帧图像计算得到的变化区域掩码图像；以及，还可以对图4b进行取反得到图4c，图4c为根据本发明的实施方式对变化区域掩码图像执行取反操作得到的未变化区域掩码图像，基于图4c的未变化区域掩码图像与感兴趣区域进行和运算，可以确定出第一目标在感兴趣区域中具体的位置信息。
本发明实施例中，基于多种预设操作器具的第一预设掩码图像对包含所述第一目标的感兴趣区域进行计算，得到所述第一目标对应的操作器具信息的方式具体可以包含以下步骤：
对包含所述第一目标的感兴趣区域进行颜色通道转换，得到所述感兴趣区域对应的第一颜色空间图像；
基于多种预设操作器具的第一预设掩码图像对所述第一颜色空间图像进行和运算，得到待识别图像；
基于所述多种预设操作器具的多种颜色，对所述待识别图像进行计算，得到所述待识别图像的像素和；
将大于预设面积阈值的像素和对应的预设操作器具确定为所述第一目标对应的操作器具，并将所述预设操作器具的操作器具信息确定为所述第一目标的操作器具信息。
其中，实施这种实施方式，可以对包含操作器具类型的目标的感兴趣区域进行颜色通道转换，并对转换后的第一颜色空间图像与预设操作器具的第一预设掩码图像进行和运算，从而基于计算结果确定出操作器具类型的目标对应的具体操作器具的信息，提高了操作器具类型的目标确定出的操作器具信息的准确性。
本发明实施例中，可以在识别出第一目标的位置信息的基础上，对包含第一目标的感兴趣区域进行颜色通道转换的可以为将感兴趣区域的RBG或BGR颜色通道转为HSV颜色空间，以得到感兴趣区域对应的第一颜色空间图像，HSV颜色空间能够提升对感兴趣区域中第一目标的操作器具信息的识别效率。以及，多种预设操作器具可以为手术操作过程中需要使用的多种操作器具，可以预先获取到多种预设操作器具的颜色对应的第一掩码图像，从而可以从多种预设操作器具中识别出当前感兴趣区域中的第一目标的操作器具信息；此外，可以基于第一预设掩码图像对第一颜色空间图像进行和运算，得到待识别图像，之后可以基于多种预设操作器具的不同颜色对待识别图像进行二值化处理，得到待识别图像的像素和，并且将大于预设面积阈值的像素和对应的预设操作器具确定为第一目标对应的操作器具，即该预设操作器具可以被认为是第一目标的操作器具，以及将获取到的该预设操作器具的操作器具信息确定为第一目标的操作器具信息。
请一并参阅图5a、图5b以及图5c，图5a为根据本发明的实施方式对单帧图像执行颜色通道转换任务得到的第一颜色空间图像；以及，可以基于多种预设操作器具的的第一预设掩码图像对第一颜色空间图像进行和运算，得到如图5b所示的待识别图像，图5b为根据本发明的实施方式对第一颜色空间图像执行颜色排查任务得到的待识别图像；以及，可以基于多种预设操作器具的不同颜色对待识别图像进行二值化处理，得到待识别图像的像素和，并且将大于预设面积阈值的像素和对应的预设操作器具确定为第一目标对应的操作器具，以及可以将获取到的该预设操作器具的操作器具信息确定为第一目标的操作器具信息，图5c为根据本发明的实施方式对待识别图像执行识别任务得到的结果示意图，图5c中方形包围框中标识的可以为识别出的操作器具类型的第一目标，方形包围框所在位置可以为第一目标在感兴趣区域中的位置，以及方形包围框中的第一目标可以被标识为识别出的操作器具的操作器具信息。
本发明实施例中，基于所述位置信息和所述操作器具信息对所述感兴趣区域中包含的所述第一目标进行标注，得到所述第一目标对应的目标识别信息以及用于标识所述第一目标所在位置的包围框数据的方式具体可以包含以下步骤：
在所述感兴趣区域中确定所述第一目标的位置信息对应的包围框数据，所述包围框数据用于标识所述感兴趣区域中的所述第一目标所在位置；
基于所述操作器具信息和所述包围框数据对所述感兴趣区域中包含的所述第一目标进行标注，得到所述感兴趣区域中的所述第一目标对应的目标识别信息以及所述包围框数据。
其中，实施这种实施方式，可以基于确定出的操作器具类型的目标的位置信息以及操作器具信息，在感兴趣区域内对操作器具类型的目标进行标注，以使感兴趣区域内的目标与该目标对应的位置信息和操作器具信息进行关联，增加了感兴趣区域内的目标包含的信息量。
本发明实施例中，包围框可以为矩形包围框、圆形包围框等，对包围框的形式本发明实施例不做限定。为了使包围框可以准确的对第一目标进行标识，可以基于确定的第一目标对应的位置信息确定第一目标对应的包围框数据，包围框数据可以根据包围框形式的不同进行调整，例如，当包围框为矩形包围框时，可以根据第一目标对应的位置信息确定出矩形包围框在感兴趣区域中的起始点坐标以及矩形包围框的长和宽，从而可以基于起始点坐标以及长和宽确定出感兴趣区域中的矩形包围框的位置，因此，矩形包围框的起始点坐标以及长和宽可以为包围框数据；当包围框为圆形包围框时，可以根据第一目标对应的位置信息确定出圆形包围框在感兴趣区域中的中心点坐标以及圆形包围框的半径，从而可以基于中心点坐标以及半径确定出感兴趣区域中的圆形包围框的位置，因此，圆形包围框的中心点坐标以及半径可以为包围框数据。
可选的，当所述目标类型为所述操作目标类型时，还可以包括以下步骤：
基于预设操作目标的第二预设掩码图像对包含所述操作目标类型对应的第二目标的感兴趣区域进行计算，得到所述第二目标对应的操作目标信息以及包含所述第二目标的操作目标掩码图像；
基于所述操作目标信息和所述操作目标掩码图像对所述感兴趣区域中包含的所述第二目标进行标注，得到所述第二目标对应的目标识别信息以及用于标识所述第二目标所在位置的包围框数据。
其中，实施这种实施方式，可以基于预设操作目标的第二预设掩码图像对包含操作目标类型的目标的感兴趣区域进行计算，确定出感兴趣区域中操作目标类型的目标所在位置以及该目标的目标识别信息等，提升了在感兴趣区域中确定出目标所在位置以及目标识别信息的准确性。
本发明实施例中，感兴趣区域中包含的预设操作目标可以设置为第二目标，以及预设操作目标可以为手术操作过程中可能出现的一种或多种病变，可以预先获取可能出现的一种或多种病变的状态信息（例如颜色、大小等信息），可以根据病变的颜色确定出预设操作目标的第二预设掩码图像，并且可以基于得到的第二预设掩码图像对包含第二目标的感兴趣区域进行计算，得到第二目标对应的操作目标信息以及包含第二目标的操作目标掩码图像。
本发明实施例中，基于预设操作目标的第二预设掩码图像对包含所述操作目标类型对应的第二目标的感兴趣区域进行计算，得到所述第二目标对应的操作目标信息以及包含所述第二目标的操作目标掩码图像的方式具体可以包含以下步骤：
对包含所述操作目标类型对应的第二目标的感兴趣区域进行计算，得到所述感兴趣区域对应的第二颜色空间图像；
基于所述预设操作目标的第二预设掩码图像对所述第二颜色空间图像进行和运算，得到所述第二目标对应的操作目标信息以及包含所述第二目标的操作目标掩码图像。
其中，实施这种实施方式，可以对包含操作目标类型的目标的感兴趣区域进行计算，得到该目标对应的操作目标掩码图像，以使通过操作目标掩码图像可以更加准确的确定出操作目标。
本发明实施例中，对包含第二目标的感兴趣区域进行颜色通道转换的方式可以为将感兴趣区域的RBG或BGR颜色通道转为HSV颜色空间，以得到感兴趣区域对应的第二颜色空间图像，HSV颜色空间能够提升对感兴趣区域中第二目标的操作目标信息的识别效率；以及，可以基于第二预设掩码图像对第二颜色空间图像进行和运算，得到第二目标对应的操作目标信息以及包含第二目标的操作目标掩码图像。
本发明实施例中，基于所述操作目标信息和所述操作目标掩码图像对所述感兴趣区域中包含的所述第二目标进行标注，得到所述第二目标对应的目标识别信息以及用于标识所述第二目标所在位置的包围框数据的方式具体可以包含以下步骤：
对所述操作目标掩码图像进行灰度计算，得到操作目标灰度图像；
对所述操作目标灰度图像进行二值化计算，得到操作目标二值化图像；
对所述操作目标二值化图像进行腐蚀计算，得到操作目标腐蚀图像；
基于所述操作目标信息和所述操作目标腐蚀图像对所述感兴趣区域中包含的所述第二目标进行标注，得到所述第二目标对应的目标识别信息以及用于标识所述第二目标所在位置的包围框数据。
其中，实施这种实施方式，可以对操作目标掩码图像进行灰度计算、二值化计算以及腐蚀计算，得到操作目标腐蚀图像，并基于操作目标腐蚀图像和获取到的操作目标信息对感兴趣区域中的目标进行标注，以使感兴趣区域内的目标与该目标所在位置的包围框信息和目标识别信息进行关联，增加了感兴趣区域内的目标包含的信息量。
本发明实施例中，对操作目标灰度图像进行二值化处理具体可以为对操作目标灰度图像进行中值滤波二值化处理，得到操作目标二值化图像。
请一并参阅图6a、图6b以及图6c，图6a为本发明实施例中的包含操作目标的操作子视频中的单帧图像，其中，操作子视频中可能包括手术操作器具、体内环境（可以包含病变区域）、视频边框以及控制台提示区域等，由于视频边框以及控制台提示区域等通常为无效信息，因此可以从操作子视频中识别出仅包含手术操作器具和体内环境（可以包含病变区域）的单帧图像，并基于获取到的单帧图像识别操作目标类型的第二目标，可见，得到的单帧图像可以从操作子视频中预测得到的感兴趣区域；对图6a的进行颜色通道转换以及和操作可以得到图6b，图6b为根据本发明的实施方式对单帧图像计算得到的包含操作目标的操作目标掩码图像；以及，对操作目标掩码图像进行灰度化、中值滤波二值化处理以及腐蚀操作可以得到图6c，图6c为根据本发明的实施方式对操作目标掩码图像执行识别任务得到的结果示意图，图6c中通过不规则形状的包围框标记的可以为操作目标类型的第二目标。
步骤S304，基于所述包围框数据在所述感兴趣区域中的位置，获取所述包围框数据在所述感兴趣区域中的第一顶点数据，所述第一顶点数据包含第一顶点横向数据和第一顶点纵向数据；
步骤S305，利用预设的拟合方程对所述第一顶点横向数据进行计算，得到拟合高度；
步骤S306，对所述拟合高度与所述第一顶点纵向数据进行对比，得到距离差值；
步骤S307，从预设概率键值对中确定与所述距离差值对应的距离概率；
步骤S308，当所述距离概率大于预设概率阈值，确定所述距离概率对应的包围框数据为合格数据。
实施上述的步骤S304~步骤S308，可以基于获取到的包围框的第一顶点数据确定出第一顶点横向数据和第一顶点纵向数据，并通过预设的拟合方程对第一顶点横向数据进行计算，得到拟合高度，以及可以基于拟合搞的和第一顶点纵向数据计算得到距离差值，还可以基于距离差值从预设概率键值对中确定出距离概率，最后可以根据距离概率判断出包围框数据是否为合格数据，提高了距离概率计算的准确性，进而也提高了合格的包围框数据判断的准确性。
本发明实施例中，拟合方程的构建方式可以包括以下步骤：获取预先存储的操作图像，所述操作图像中包含预先识别的包围框；基于所述包围框在所述操作图像中的位置，获取所述包围框在所述操作图像中的第二顶点数据，所述第二顶点数据包含第二顶点横向数据和第二顶点纵向数据；基于所述第二顶点数据生成左侧向量和右侧向量；对所述左侧向量和右侧向量进行计算，得到跨中线向量；对所述跨中线向量进行计算，得到横向数据和纵向数据；对所述横向数据和所述纵向数据进行拟合计算，得到拟合方程，实施这种实施方式，可以对预先存储的操作图像进行计算，构建出操作图像对应的通用的拟合方程，提高了拟合方程的准确性。
其中，拟合方程可以基于预先存储的历史手术操作过程的操作图像计算得到，操作图像中可以包含预先识别的包围框，还可以获取包围框在操作图像中的位置和大小，可以基于操作图像的横向的边长的中点确定操作图像的中心线，并且可以在获取到操作图像中的包围框的中心点位于中心线左侧时，可以认为包围框是从操作图像的左侧出现的，因此可以将中心点位于操作图像中心线左侧的包围框的右上角顶点数据确定为当前包围框的第二顶点数据q(w，qy)；还可以在获取到操作图像中的包围框的中心点位于中心线右侧时，可以认为包围框是从操作图像的右侧出现的，因此可以将中心点位于操作图像中心线右侧的包围框的左上角顶点数据确定为当前包围框的第二顶点数据p(x，py)，第二顶点数据中可以由第二顶点横向数据和第二顶点纵向数据组成，还可以基于第二顶点数据生成左侧向量psn和右侧向量qsn；其中，左侧向量psn和右侧向量qsn分别为：
psn=[p1，p2，…，pk] ，k∈[1，n]
qsn=[q1，q2，…，qk] ，k∈[1，n]
对左侧向量psn和右侧向量qsn进行计算，可以得到跨中线向量pqs：
pqsn=[ps，qs]=[ p1，p2，…，pk，q1，q2，…，qk] ，k∈[1，n]
对跨中线向量pqs进行计算，可以得到横向数据xs和纵向数据ys：
xsn=[x1，x2，…，xk，w1，w2，…，wk] ，k∈[1，n]
ysn=[ py1，py2，…，pyk，qy1，qy2，…，qyk] ，k∈[1，n]
还可以基于最小二乘法对横向数据xs和纵向数据ys进行N阶拟合计算，得到拟合方程f(x)：
f(x)= w1 xn+ w2 xn-1+…+wnx+C
请一并参阅图7，图7为本发明实施例中构建拟合方程的曲线拟合示意图，其中，深色柱形表示确定的操作图像中的包围框的第二顶点数据p或q，基于得到的第二顶点数据可以进行N阶拟合得到拟合方程f(x)。
本发明实施例中，概率键值对的生成方式可以包含以下步骤：利用所述拟合方程对所述横向数据进行计算，得到拟合纵向数据；对所述拟合纵向数据与所述第二顶点纵向数据进行对比，得到误差距离向量；对所述误差距离向量进行概率计算，得到概率向量；基于所述误差距离向量和所述概率向量生成概率键值对，实施这种实施方式，可以利用构建的拟合方程对预先存储的操作图像中的包围框数据进行计算，生成包含误差距离向量和概率向量的概率键值对，提高了概率键值对的准确性。
本发明实施例中，可以将获取到的包围框的第二顶点数据中的横向数据xs输入拟合方程f(x)中进行计算，得到拟合纵向数据y’sn，并将拟合纵向数据与纵向数据ys进行对比，得到误差距离向量ds；为了简化概率向量的计算复杂度，可以将误差距离向量ds处于预设的相同范围内的数据进行合并得到新的误差距离向量d’s=[d1，d2，…，dn]，简化了概率向量的计算数量，可以统计每个误差距离向量d’s在所有误差距离向量中出现的概率Pi：
Figure 368725DEST_PATH_IMAGE001
组成新的概率向量Psn=[P1，P2，…，Pk] ，k∈[1，n]；以及可以基于误差距离向量d’s和概率向量Psn构建概率键值对dP，其中，误差距离向量d’s可以为概率键值对中的键（Key），与误差距离向量d’s对应的概率向量Psn可以为与键对应的值（Value）。
请一并参阅图8，图8为根据本发明的实施方式基于拟合方程执行概率向量计算任务得到的结果示意图，其中，“d1，d2，…，dk”可以表示计算得到的误差距离向量，“p1，p2，…，pk”可以表示与“d1，d2，…，dk”的误差距离向量对应的概率向量，即图8本质表示的为误差距离向量d’s和概率向量Psn构建概率键值对dP。
因此，本发明实施例中可以基于预先计算得到的拟合方程和概率键值对确定识别出的包围框数据是否合格，具体为：可以获取到包围框数据中的包围框中心点数据，并判断中心点数据位于感兴趣区域的位置，当中心点数据位于感兴趣区域的左侧时，可以认为包围框中的目标是从感兴趣区域的左侧进入的，因此可以将包围框数据中的包围框右侧顶点数据确定为第一顶点数据；当中心点数据位于感兴趣区域的右侧时，可以认为包围框中的目标是从感兴趣区域的右侧进入的，因此可以将包围框数据中的包围框左侧顶点数据确定为第一顶点数据；且第一顶点数据由第一顶点横向数据和第一顶点纵向数据组成；可以将第一顶点横向数据输入至拟合方程中进行计算，得到拟合高度，并且可以将拟合高度与第一顶点纵向数据进行对比，得到距离差值；此时，可以从预先构建的预设概率键值对中索引到与该距离差值对应的距离概率，当该距离概率大于预设概率阈值时，可以认为该包围框数据为合格数据，即可以认为该包围框数据对应的包围框中可能标识有需要识别的目标；当该距离概率不大于预设概率阈值时，可以认为该包围框数据为不合格数据，即可以认为该包围框数据对应的包围框中可能未标识有需要识别的目标。
作为一种可选的实施方式，步骤306对所述拟合高度与所述第一顶点纵向数据进行对比，得到距离差值的方式可以为：基于拟合高度和第一顶点横向数据确定出拟合点的坐标，并且可以基于拟合点的坐标和第一顶点数据计算得到拟合点与第一顶点中间的欧氏距离，该欧式距离可以认为是得到的距离差值；
之后，可以对计算得到的距离差值进行判断，如果距离差值大于预设距离阈值，则可以确定包围框数据为不合格数据（即该包围框不为识别到的连续的包围框）；反之，则可以确定包围框数据为合格数据（即该包围框为识别到的连续的包围框），可见，上述方式可以丰富距离差值计算的方式，也丰富了合格的包围框数据的判断方式。
步骤S309，将所述目标识别信息和所述包围框数据共同确定为所述目标的标注信息；
实施上述的步骤S302、步骤S303以及步骤S309，可以对各个操作子视频中的每一帧图像进行目标识别，得到每一帧图像中包含识别到的目标的感兴趣区域，并从感兴趣区域中得到包含该目标所在位置的包围框数据和该目标的目标识别信息的标注信息，提高了得到的标注信息的全面性。
步骤S310，将所述每一帧图像以及所述每一帧图像对应的视频时间、所述操作类型和所述标注信息共同进行存储，得到操作过程记录信息。
本发明能够提高内镜粘膜下剥离术视频的应用率，以及提升内镜粘膜下剥离术的培训效率。此外，本发明还可以提升确定操作子视频对应的操作的准确性。此外，本发明还可以基于人工的方式提升确定待识别目标的准确性。此外，本发明还可以提升确定待识别目标初次被识别的时间点的智能性。此外，本发明还可以简化操作子视频中的内容，并降低操作子视频的存储空间。此外，本发明还可以提升对操作器具类型的目标识别的准确性。此外，本发明还可以准确地确定出操作器具类型的目标在当前感兴趣区域中的位置。此外，本发明还可以提高操作器具类型的目标确定出的操作器具信息的准确性。此外，本发明还可以使感兴趣区域内的目标与该目标对应的位置信息和操作器具信息进行关联，增加了感兴趣区域内的目标包含的信息量。此外，本发明还可以提升在感兴趣区域中确定出目标所在位置以及目标识别信息的准确性。此外，本发明还可以使通过操作目标掩码图像可以更加准确的确定出操作目标。此外，本发明还可以使感兴趣区域内的目标与该目标所在位置的包围框信息和目标识别信息进行关联，增加了感兴趣区域内的目标包含的信息量。此外，本发明还可以提高距离概率计算的准确性，进而也提高了合格的包围框数据判断的准确性。此外，本发明还可以提高拟合方程的准确性。此外，本发明还可以提高概率键值对的准确性。此外，本发明还可以提高得到的标注信息的全面性。
示例性装置
在介绍了本发明示例性实施方式的方法之后，接下来，参考图9对本发明示例性实施方式的一种操作过程记录装置进行说明，该装置包括：
获取单元901，用于从采集到的操作视频获取多个操作子视频，并确定各个操作子视频分别对应的操作类型；
标注单元902，用于对识别出获取单元901获取的各个操作子视频中每一帧图像包含的目标进行标注，得到识别出的目标的标注信息；
存储单元903，用于将所述每一帧图像以及所述每一帧图像对应的视频时间、获取单元901获取的所述操作类型和标注单元902得到的所述标注信息共同进行存储，得到操作过程记录信息。
作为一种可选的实施方式，获取单元901还可以用于：
确定各个操作子视频分别对应的操作类型之后，基于所述操作类型，确定各个操作子视频分别对应的数据类型，所述数据类型为离散数据类型或连续数据类型；
从所述离散数据类型对应的操作子视频中获取与预设时间间隔对应的图像帧；
基于获取的所述图像帧，对所述离散数据类型对应的操作子视频进行更新。
其中，实施这种实施方式，可以根据各个操作子视频的操作类型确定出各个操作子视频对应的数据类型为离散数据类型或连续数据类型，并对离散数据类型对应的操作子视频中的图像帧进行更新，从而简化了操作子视频中的内容，降低了操作子视频的存储空间。
作为一种可选的实施方式，获取单元901从采集到的操作视频获取多个操作子视频，并确定各个操作子视频分别对应的操作类型的方式具体为：
从采集到的操作视频中确定多个待识别目标初次被识别到的多个时间点，其中，一个待识别目标对应一个时间点；
基于所述多个时间点，将所述操作视频分割为多个操作子视频；
基于所述多个待识别目标，确定各个操作子视频分别对应的操作类型。
其中，实施这种实施方式，可以将采集到的操作视频按照不同时间段内出现的不同目标分割为多个操作子视频，并基于各个操作子视频中包含的待识别目标确定出各个操作子视频对应的操作类型，从而提升了确定操作子视频对应的操作的准确性。
作为一种可选的实施方式，获取单元901从采集到的操作视频中确定多个待识别目标初次被识别到的多个时间点的方式具体为：
在播放采集到的操作视频的过程中，接收输入的多个按键指令；
确定所述多个按键指令在所述操作视频中分别对应的多个时间点，其中，一个按键指令对应一个时间点；
基于各个时间点的时间顺序，确定各个时间点分别对应的多个待识别目标。
其中，实施这种实施方式，可以接收到人工输入的按键指令，并确定出各个按键指令对应的多个时间点，最终可以识别出操作视频中在各个时间点处对应的待识别目标，从而基于人工的方式提升了确定待识别目标的准确性。
作为一种可选的实施方式，获取单元901从采集到的操作视频中确定多个待识别目标初次被识别到的多个时间点的方式具体还可以为：
在播放采集到的操作视频的过程中，识别所述操作视频中包含的多个待识别目标；
分别确定多个待识别目标在所述操作视频中初次被识别的时间点。
其中，实施这种实施方式，可以对操作视频中出现的多个待识别进行识别，并确定各个待识别目标初次被识别到的时间点，从而可以实现全自动智能化的对操作视频中包含的待识别目标以及各个待识别目标初次被识别的时间点进行确定，提升了确定待识别目标初次被识别的时间点的智能性。
作为一种可选的实施方式，标注单元902对识别出的各个操作子视频中每一帧图像包含的目标进行标注，得到识别出的目标的标注信息的方式具体可以为：
对所述各个操作子视频中的每一帧图像进行目标识别，得到所述每一帧图像中的感兴趣区域，所述感兴趣区域中包含识别得到的目标；
对各个所述感兴趣区域中包含的目标进行标注，得到所述目标对应的目标识别信息以及用于标识所述目标所在位置的包围框数据；
将所述目标识别信息和所述包围框数据共同确定为所述目标的标注信息。
其中，实施这种实施方式，可以对各个操作子视频中的每一帧图像进行目标识别，得到每一帧图像中包含识别到的目标的感兴趣区域，并从感兴趣区域中得到包含该目标所在位置的包围框数据和该目标的目标识别信息的标注信息，提高了得到的标注信息的全面性。
作为一种可选的实施方式，标注单元902还可以用于：
对各个所述感兴趣区域中包含的目标进行标注，得到所述目标对应的目标识别信息以及用于标识所述目标所在位置的包围框数据之后，基于所述包围框数据在所述感兴趣区域中的位置，获取所述包围框数据在所述感兴趣区域中的第一顶点数据，所述第一顶点数据包含第一顶点横向数据和第一顶点纵向数据；
利用预设的拟合方程对所述第一顶点横向数据进行计算，得到拟合高度；
对所述拟合高度与所述第一顶点纵向数据进行对比，得到距离差值；
从预设概率键值对中确定与所述距离差值对应的距离概率；
当所述距离概率大于预设概率阈值，确定所述距离概率对应的包围框数据为合格数据。
其中，实施这种实施方式，可以基于获取到的包围框的第一顶点数据确定出第一顶点横向数据和第一顶点纵向数据，并通过预设的拟合方程对第一顶点横向数据进行计算，得到拟合高度，以及可以基于拟合搞的和第一顶点纵向数据计算得到距离差值，还可以基于距离差值从预设概率键值对中确定出距离概率，最后可以根据距离概率判断出包围框数据是否为合格数据，提高了距离概率计算的准确性，进而也提高了合格的包围框数据判断的准确性。
作为一种可选的实施方式，标注单元902还可以用于：
获取预先存储的操作图像，所述操作图像中包含预先识别的包围框；
基于所述包围框在所述操作图像中的位置，获取所述包围框在所述操作图像中的第二顶点数据，所述第二顶点数据包含第二顶点横向数据和第二顶点纵向数据；
基于所述第二顶点数据生成左侧向量和右侧向量；
对所述左侧向量和右侧向量进行计算，得到跨中线向量；
对所述跨中线向量进行计算，得到横向数据和纵向数据；
对所述横向数据和所述纵向数据进行拟合计算，得到拟合方程。
其中，实施这种实施方式，可以对预先存储的操作图像进行计算，构建出操作图像对应的通用的拟合方程，提高了拟合方程的准确性。
作为一种可选的实施方式，标注单元902还可以用于：
利用所述拟合方程对所述横向数据进行计算，得到拟合纵向数据；
对所述拟合纵向数据与所述第二顶点纵向数据进行对比，得到误差距离向量；
对所述误差距离向量进行概率计算，得到概率向量；
基于所述误差距离向量和所述概率向量生成概率键值对。
其中，实施这种实施方式，可以利用构建的拟合方程对预先存储的操作图像中的包围框数据进行计算，生成包含误差距离向量和概率向量的概率键值对，提高了概率键值对的准确性。
作为一种可选的实施方式，标注单元902对各个所述感兴趣区域中包含的目标进行标注，得到所述目标对应的目标识别信息以及用于标识所述目标所在位置的包围框数据的方式具体可以为：
对各个所述感兴趣区域中包含的目标的类型进行识别，得到所述目标对应的目标类型，所述目标类型包括但不限于操作器具类型和操作目标类型中的一种；
当所述目标类型为所述操作器具类型时，对包含所述操作器具类型对应的第一目标的感兴趣区域进行计算，得到所述感兴趣区域中包含的所述第一目标的位置信息；
基于多种预设操作器具的第一预设掩码图像对包含所述第一目标的感兴趣区域进行计算，得到所述第一目标对应的操作器具信息；
基于所述位置信息和所述操作器具信息对所述感兴趣区域中包含的所述第一目标进行标注，得到所述第一目标对应的目标识别信息以及用于标识所述第一目标所在位置的包围框数据。
其中，实施这种实施方式，可以对操作器具类型和操作目标类型的目标进行确定，且当目标为操作器具类型时，还可以以多种预设操作器具的预设掩码图像为依据，从当前的操作子视频中确定出操作器具类型的目标的目标识别信息以及该目标所在位置的包围框数据，提升了对操作器具类型的目标识别的准确性。
作为一种可选的实施方式，标注单元902还可以用于：
当所述目标类型为所述操作目标类型时，基于预设操作目标的第二预设掩码图像对包含所述操作目标类型对应的第二目标的感兴趣区域进行计算，得到所述第二目标对应的操作目标信息以及包含所述第二目标的操作目标掩码图像；
基于所述操作目标信息和所述操作目标掩码图像对所述感兴趣区域中包含的所述第二目标进行标注，得到所述第二目标对应的目标识别信息以及用于标识所述第二目标所在位置的包围框数据。
其中，实施这种实施方式，可以基于预设操作目标的第二预设掩码图像对包含操作目标类型的目标的感兴趣区域进行计算，确定出感兴趣区域中操作目标类型的目标所在位置以及该目标的目标识别信息等，提升了在感兴趣区域中确定出目标所在位置以及目标识别信息的准确性。
作为一种可选的实施方式，标注单元902当所述目标类型为所述操作器具类型时，对包含所述操作器具类型对应的第一目标的感兴趣区域进行计算，得到所述感兴趣区域中包含的所述第一目标的位置信息的方式具体可以为：
对包含所述操作器具类型对应的第一目标的感兴趣区域进行计算，得到所述感兴趣区域对应的变化区域掩码图像；
对所述变化区域掩码图像进行取反，得到未变化区域掩码图像；
对所述感兴趣区域和所述未变化区域掩码图像进行和运算，得到所述感兴趣区域中包含的所述第一目标的位置信息。
其中，实施这种实施方式，可以对包含操作器具类型的目标的感兴趣区域进行取反以及和运算等操作，最终得到操作器具类型的目标在感兴趣区域中的位置信息，从而准确地确定出操作器具类型的目标在当前感兴趣区域中的位置。
作为一种可选的实施方式，标注单元902基于多种预设操作器具的第一预设掩码图像对包含所述第一目标的感兴趣区域进行计算，得到所述第一目标对应的操作器具信息的方式具体可以为：
对包含所述第一目标的感兴趣区域进行颜色通道转换，得到所述感兴趣区域对应的第一颜色空间图像；
基于多种预设操作器具的第一预设掩码图像对所述第一颜色空间图像进行和运算，得到待识别图像；
基于所述多种预设操作器具的多种颜色，对所述待识别图像进行计算，得到所述待识别图像的像素和；
将大于预设面积阈值的像素和对应的预设操作器具确定为所述第一目标对应的操作器具，并将所述预设操作器具的操作器具信息确定为所述第一目标的操作器具信息。
其中，实施这种实施方式，可以对包含操作器具类型的目标的感兴趣区域进行颜色通道转换，并对转换后的第一颜色空间图像与预设操作器具的第一预设掩码图像进行和运算，从而基于计算结果确定出操作器具类型的目标对应的具体操作器具的信息，提高了操作器具类型的目标确定出的操作器具信息的准确性。
作为一种可选的实施方式，标注单元902基于所述位置信息和所述操作器具信息对所述感兴趣区域中包含的所述第一目标进行标注，得到所述第一目标对应的目标识别信息以及用于标识所述第一目标所在位置的包围框数据的方式具体可以为：
在所述感兴趣区域中确定所述第一目标的位置信息对应的包围框数据，所述包围框数据用于标识所述感兴趣区域中的所述第一目标所在位置；
基于所述操作器具信息和所述包围框数据对所述感兴趣区域中包含的所述第一目标进行标注，得到所述感兴趣区域中的所述第一目标对应的目标识别信息以及所述包围框数据。
其中，实施这种实施方式，可以基于确定出的操作器具类型的目标的位置信息以及操作器具信息，在感兴趣区域内对操作器具类型的目标进行标注，以使感兴趣区域内的目标与该目标对应的位置信息和操作器具信息进行关联，增加了感兴趣区域内的目标包含的信息量。
作为一种可选的实施方式，标注单元902基于预设操作目标的第二预设掩码图像对包含所述操作目标类型对应的第二目标的感兴趣区域进行计算，得到所述第二目标对应的操作目标信息以及包含所述第二目标的操作目标掩码图像的方式具体可以为：
对包含所述操作目标类型对应的第二目标的感兴趣区域进行计算，得到所述感兴趣区域对应的第二颜色空间图像；
基于所述预设操作目标的第二预设掩码图像对所述第二颜色空间图像进行和运算，得到所述第二目标对应的操作目标信息以及包含所述第二目标的操作目标掩码图像。
其中，实施这种实施方式，可以对包含操作目标类型的目标的感兴趣区域进行计算，得到该目标对应的操作目标掩码图像，以使通过操作目标掩码图像可以更加准确的确定出操作目标。
作为一种可选的实施方式，标注单元902基于所述操作目标信息和所述操作目标掩码图像对所述感兴趣区域中包含的所述第二目标进行标注，得到所述第二目标对应的目标识别信息以及用于标识所述第二目标所在位置的包围框数据的方式具体可以为：
对所述操作目标掩码图像进行灰度计算，得到操作目标灰度图像；
对所述操作目标灰度图像进行二值化计算，得到操作目标二值化图像；
对所述操作目标二值化图像进行腐蚀计算，得到操作目标腐蚀图像；
基于所述操作目标信息和所述操作目标腐蚀图像对所述感兴趣区域中包含的所述第二目标进行标注，得到所述第二目标对应的目标识别信息以及用于标识所述第二目标所在位置的包围框数据。
其中，实施这种实施方式，可以对操作目标掩码图像进行灰度计算、二值化计算以及腐蚀计算，得到操作目标腐蚀图像，并基于操作目标腐蚀图像和获取到的操作目标信息对感兴趣区域中的目标进行标注，以使感兴趣区域内的目标与该目标所在位置的包围框信息和目标识别信息进行关联，增加了感兴趣区域内的目标包含的信息量。
示例性介质
在介绍了本发明示例性实施方式的方法和装置之后，接下来，参考图10对本发明示例性实施方式的计算机可读存储介质进行说明，请参考图10，其示出的计算机可读存储介质为光盘100，其上存储有计算机程序（即程序产品），所述计算机程序在被处理器运行时，会实现上述方法实施方式中所记载的各步骤，例如，从采集到的操作视频获取多个操作子视频，并确定各个操作子视频分别对应的操作类型；对识别出的各个操作子视频中每一帧图像包含的目标进行标注，得到识别出的目标的标注信息；将所述每一帧图像以及所述每一帧图像对应的视频时间、所述操作类型和所述标注信息共同进行存储，得到操作过程记录信息；各步骤的具体实现方式在此不再重复说明。
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
示例性计算设备
在介绍了本发明示例性实施方式的方法、介质和装置之后，接下来，参考图11对本发明示例性实施方式的用于操作过程记录的计算设备。
图11示出了适于用来实现本发明实施方式的示例性计算设备110的框图，该计算设备110可以是计算机系统或服务器。图11显示的计算设备110仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图11所示，计算设备110的组件可以包括但不限于：一个或者多个处理器或者处理单元1101，系统存储器1102，连接不同系统组件（包括系统存储器1102和处理单元1101）的总线1103。
计算设备110典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算设备110访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器1102可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器（RAM）11021和/或高速缓存存储器11022。计算设备110可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，ROM11023可以用于读写不可移动的、非易失性磁介质（图11中未显示，通常称为“硬盘驱动器”）。尽管未在图11中示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如CD-ROM，DVD-ROM或者其它光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线1103相连。系统存储器1102中可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组（至少一个）程序模块11024的程序/实用工具11025，可以存储在例如系统存储器1102中，且这样的程序模块11024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块11024通常执行本发明所描述的实施例中的功能和/或方法。
计算设备110也可以与一个或多个外部设备1104（如键盘、指向设备、显示器等）通信。这种通信可以通过输入/输出（I/O）接口605进行。并且，计算设备110还可以通过网络适配器1106与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图11所示，网络适配器1106通过总线1103与计算设备110的其它模块（如处理单元1101等）通信。应当明白，尽管图11中未示出，可以结合计算设备110使用其它硬件和/或软件模块。
处理单元1101通过运行存储在系统存储器1102中的程序，从而执行各种功能应用以及数据处理，例如，从采集到的操作视频获取多个操作子视频，并确定各个操作子视频分别对应的操作类型；对识别出的各个操作子视频中每一帧图像包含的目标进行标注，得到识别出的目标的标注信息；将所述每一帧图像以及所述每一帧图像对应的视频时间、所述操作类型和所述标注信息共同进行存储，得到操作过程记录信息。各步骤的具体实现方式在此不再重复说明。应当注意，尽管在上文详细描述中提及了操作过程记录装置的若干单元/模块或子单元/子模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

Claims (17)

1.一种操作过程记录方法，包括：
从采集到的操作视频获取多个操作子视频，并确定各个操作子视频分别对应的操作类型；
对识别出的各个操作子视频中每一帧图像包含的目标进行标注，得到识别出的目标的标注信息；
将所述每一帧图像以及所述每一帧图像对应的视频时间、所述操作类型和所述标注信息共同进行存储，得到操作过程记录信息；
其中，所述对识别出的各个操作子视频中每一帧图像包含的目标进行标注，得到识别出的目标的标注信息，包括：
对所述各个操作子视频中的每一帧图像进行目标识别，得到所述每一帧图像中的感兴趣区域，所述感兴趣区域中包含识别得到的目标；
对各个所述感兴趣区域中包含的目标进行标注，得到所述目标对应的目标识别信息以及用于标识所述目标所在位置的包围框数据；
将所述目标识别信息和所述包围框数据共同确定为所述目标的标注信息；
其中，所述对各个所述感兴趣区域中包含的目标进行标注，得到所述目标对应的目标识别信息以及用于标识所述目标所在位置的包围框数据之后，还包括：
基于所述包围框数据在所述感兴趣区域中的位置，获取所述包围框数据在所述感兴趣区域中的第一顶点数据，所述第一顶点数据包含第一顶点横向数据和第一顶点纵向数据；
利用预设的拟合方程对所述第一顶点横向数据进行计算，得到拟合高度；
对所述拟合高度与所述第一顶点纵向数据进行对比，得到距离差值；
从预设概率键值对中确定与所述距离差值对应的距离概率；
当所述距离概率大于预设概率阈值，确定所述距离概率对应的包围框数据为合格数据。
2.根据权利要求1所述的操作过程记录方法，确定各个操作子视频分别对应的操作类型之后，所述方法还包括：
基于所述操作类型，确定各个操作子视频分别对应的数据类型，所述数据类型为离散数据类型或连续数据类型；
从所述离散数据类型对应的操作子视频中获取与预设时间间隔对应的图像帧；
基于获取的所述图像帧，对所述离散数据类型对应的操作子视频进行更新。
3.根据权利要求2所述的操作过程记录方法，从采集到的操作视频获取多个操作子视频，并确定各个操作子视频分别对应的操作类型，包括：
从采集到的操作视频中确定多个待识别目标初次被识别到的多个时间点，其中，一个待识别目标对应一个时间点；
基于所述多个时间点，将所述操作视频分割为多个操作子视频；
基于所述多个待识别目标，确定各个操作子视频分别对应的操作类型。
4.根据权利要求3所述的操作过程记录方法，从采集到的操作视频中确定多个待识别目标初次被识别到的多个时间点，包括：
在播放采集到的操作视频的过程中，接收输入的多个按键指令；
确定所述多个按键指令在所述操作视频中分别对应的多个时间点，其中，一个按键指令对应一个时间点；
基于各个时间点的时间顺序，确定各个时间点分别对应的多个待识别目标。
5.根据权利要求3所述的操作过程记录方法，从采集到的操作视频中确定多个待识别目标初次被识别到的多个时间点，包括：
在播放采集到的操作视频的过程中，识别所述操作视频中包含的多个待识别目标；
分别确定多个待识别目标在所述操作视频中初次被识别的时间点。
6.根据权利要求1所述的操作过程记录方法，所述方法还包括：
获取预先存储的操作图像，所述操作图像中包含预先识别的包围框；
基于所述包围框在所述操作图像中的位置，获取所述包围框在所述操作图像中的第二顶点数据，所述第二顶点数据包含第二顶点横向数据和第二顶点纵向数据；
基于所述第二顶点数据生成左侧向量和右侧向量；
对所述左侧向量和右侧向量进行计算，得到跨中线向量；
对所述跨中线向量进行计算，得到横向数据和纵向数据；
对所述横向数据和所述纵向数据进行拟合计算，得到拟合方程。
7.根据权利要求6所述的操作过程记录方法，所述方法还包括：
利用所述拟合方程对所述横向数据进行计算，得到拟合纵向数据；
对所述拟合纵向数据与所述第二顶点纵向数据进行对比，得到误差距离向量；
对所述误差距离向量进行概率计算，得到概率向量；
基于所述误差距离向量和所述概率向量生成概率键值对。
8.根据权利要求1~7任一项所述的操作过程记录方法，对各个所述感兴趣区域中包含的目标进行标注，得到所述目标对应的目标识别信息以及用于标识所述目标所在位置的包围框数据，包括：
对各个所述感兴趣区域中包含的目标的类型进行识别，得到所述目标对应的目标类型，所述目标类型包括但不限于操作器具类型和操作目标类型中的一种；
当所述目标类型为所述操作器具类型时，对包含所述操作器具类型对应的第一目标的感兴趣区域进行计算，得到所述感兴趣区域中包含的所述第一目标的位置信息；
基于多种预设操作器具的第一预设掩码图像对包含所述第一目标的感兴趣区域进行计算，得到所述第一目标对应的操作器具信息；
基于所述位置信息和所述操作器具信息对所述感兴趣区域中包含的所述第一目标进行标注，得到所述第一目标对应的目标识别信息以及用于标识所述第一目标所在位置的包围框数据。
9.根据权利要求8所述的操作过程记录方法，当所述目标类型为所述操作目标类型时，所述方法还包括：
基于预设操作目标的第二预设掩码图像对包含所述操作目标类型对应的第二目标的感兴趣区域进行计算，得到所述第二目标对应的操作目标信息以及包含所述第二目标的操作目标掩码图像；
基于所述操作目标信息和所述操作目标掩码图像对所述感兴趣区域中包含的所述第二目标进行标注，得到所述第二目标对应的目标识别信息以及用于标识所述第二目标所在位置的包围框数据。
10.根据权利要求8所述的操作过程记录方法，当所述目标类型为所述操作器具类型时，对包含所述操作器具类型对应的第一目标的感兴趣区域进行计算，得到所述感兴趣区域中包含的所述第一目标的位置信息，包括：
对包含所述操作器具类型对应的第一目标的感兴趣区域进行计算，得到所述感兴趣区域对应的变化区域掩码图像；
对所述变化区域掩码图像进行取反，得到未变化区域掩码图像；
对所述感兴趣区域和所述未变化区域掩码图像进行和运算，得到所述感兴趣区域中包含的所述第一目标的位置信息。
11.根据权利要求9所述的操作过程记录方法，基于多种预设操作器具的第一预设掩码图像对包含所述第一目标的感兴趣区域进行计算，得到所述第一目标对应的操作器具信息，包括：
对包含所述第一目标的感兴趣区域进行颜色通道转换，得到所述感兴趣区域对应的第一颜色空间图像；
基于多种预设操作器具的第一预设掩码图像对所述第一颜色空间图像进行和运算，得到待识别图像；
基于所述多种预设操作器具的多种颜色，对所述待识别图像进行计算，得到所述待识别图像的像素和；
将大于预设面积阈值的像素和对应的预设操作器具确定为所述第一目标对应的操作器具，并将所述预设操作器具的操作器具信息确定为所述第一目标的操作器具信息。
12.根据权利要求11所述的操作过程记录方法，基于所述位置信息和所述操作器具信息对所述感兴趣区域中包含的所述第一目标进行标注，得到所述第一目标对应的目标识别信息以及用于标识所述第一目标所在位置的包围框数据，包括：
在所述感兴趣区域中确定所述第一目标的位置信息对应的包围框数据，所述包围框数据用于标识所述感兴趣区域中的所述第一目标所在位置；
基于所述操作器具信息和所述包围框数据对所述感兴趣区域中包含的所述第一目标进行标注，得到所述感兴趣区域中的所述第一目标对应的目标识别信息以及所述包围框数据。
13.根据权利要求9所述的操作过程记录方法，基于预设操作目标的第二预设掩码图像对包含所述操作目标类型对应的第二目标的感兴趣区域进行计算，得到所述第二目标对应的操作目标信息以及包含所述第二目标的操作目标掩码图像，包括：
对包含所述操作目标类型对应的第二目标的感兴趣区域进行计算，得到所述感兴趣区域对应的第二颜色空间图像；
基于所述预设操作目标的第二预设掩码图像对所述第二颜色空间图像进行和运算，得到所述第二目标对应的操作目标信息以及包含所述第二目标的操作目标掩码图像。
14.根据权利要求13所述的操作过程记录方法，基于所述操作目标信息和所述操作目标掩码图像对所述感兴趣区域中包含的所述第二目标进行标注，得到所述第二目标对应的目标识别信息以及用于标识所述第二目标所在位置的包围框数据，包括：
对所述操作目标掩码图像进行灰度计算，得到操作目标灰度图像；
对所述操作目标灰度图像进行二值化计算，得到操作目标二值化图像；
对所述操作目标二值化图像进行腐蚀计算，得到操作目标腐蚀图像；
基于所述操作目标信息和所述操作目标腐蚀图像对所述感兴趣区域中包含的所述第二目标进行标注，得到所述第二目标对应的目标识别信息以及用于标识所述第二目标所在位置的包围框数据。
15.一种操作过程记录装置，包括：
获取单元，用于从采集到的操作视频获取多个操作子视频，并确定各个操作子视频分别对应的操作类型；
标注单元，用于对识别出的各个操作子视频中每一帧图像包含的目标进行标注，得到识别出的目标的标注信息；
存储单元，用于将所述每一帧图像以及所述每一帧图像对应的视频时间、所述操作类型和所述标注信息共同进行存储，得到操作过程记录信息；
其中，所述标注单元对识别出的各个操作子视频中每一帧图像包含的目标进行标注，得到识别出的目标的标注信息的方式具体为：对所述各个操作子视频中的每一帧图像进行目标识别，得到所述每一帧图像中的感兴趣区域，所述感兴趣区域中包含识别得到的目标；对各个所述感兴趣区域中包含的目标进行标注，得到所述目标对应的目标识别信息以及用于标识所述目标所在位置的包围框数据；将所述目标识别信息和所述包围框数据共同确定为所述目标的标注信息；
其中，所述标注单元还用于：
在对各个所述感兴趣区域中包含的目标进行标注，得到所述目标对应的目标识别信息以及用于标识所述目标所在位置的包围框数据之后，基于所述包围框数据在所述感兴趣区域中的位置，获取所述包围框数据在所述感兴趣区域中的第一顶点数据，所述第一顶点数据包含第一顶点横向数据和第一顶点纵向数据；
利用预设的拟合方程对所述第一顶点横向数据进行计算，得到拟合高度；
对所述拟合高度与所述第一顶点纵向数据进行对比，得到距离差值；
从预设概率键值对中确定与所述距离差值对应的距离概率；
当所述距离概率大于预设概率阈值，确定所述距离概率对应的包围框数据为合格数据。
16.一种存储有程序的存储介质，其中，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1~14中的任一项所述的方法。
17.一种计算设备，包括如权利要求16所述的存储介质。
CN202111389571.5A 2021-11-23 2021-11-23 操作过程记录方法、装置、介质和计算设备 Active CN113823419B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111389571.5A CN113823419B (zh) 2021-11-23 2021-11-23 操作过程记录方法、装置、介质和计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111389571.5A CN113823419B (zh) 2021-11-23 2021-11-23 操作过程记录方法、装置、介质和计算设备

Publications (2)

Publication Number Publication Date
CN113823419A CN113823419A (zh) 2021-12-21
CN113823419B true CN113823419B (zh) 2022-04-05

Family

ID=78918065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111389571.5A Active CN113823419B (zh) 2021-11-23 2021-11-23 操作过程记录方法、装置、介质和计算设备

Country Status (1)

Country Link
CN (1) CN113823419B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115331787A (zh) * 2022-10-11 2022-11-11 武汉楚精灵医疗科技有限公司 医学图像处理方法、装置及其相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101999136A (zh) * 2008-04-10 2011-03-30 捷讯研究有限公司 对富媒体服务中的离散内容进行渐进传送和同步的方法和系统
CN110110660A (zh) * 2019-05-07 2019-08-09 广东工业大学 手部操作行为的分析方法、装置及设备
CN111192356A (zh) * 2019-12-30 2020-05-22 上海联影智能医疗科技有限公司 感兴趣区域的显示方法、装置、设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10521555B2 (en) * 2017-03-16 2019-12-31 Vigilias LLC Video-analysis tagging of healthcare services video record

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101999136A (zh) * 2008-04-10 2011-03-30 捷讯研究有限公司 对富媒体服务中的离散内容进行渐进传送和同步的方法和系统
CN110110660A (zh) * 2019-05-07 2019-08-09 广东工业大学 手部操作行为的分析方法、装置及设备
CN111192356A (zh) * 2019-12-30 2020-05-22 上海联影智能医疗科技有限公司 感兴趣区域的显示方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN113823419A (zh) 2021-12-21

Similar Documents

Publication Publication Date Title
Chen et al. SLAM-based dense surface reconstruction in monocular minimally invasive surgery and its application to augmented reality
Bodenstedt et al. Comparative evaluation of instrument segmentation and tracking methods in minimally invasive surgery
KR20180105876A (ko) 색상과 형태를 동시에 고려한 실시간 영상 추적 방법 및 이를 위한 장치
US20110282151A1 (en) Image-based localization method and system
US8811676B2 (en) Image processing apparatus, image processing method, and computer readable recording device
CN112734776B (zh) 一种微创手术器械定位方法和系统
EP2931161A1 (en) Markerless tracking of robotic surgical tools
JP4434705B2 (ja) 画像解析方法
US10083278B2 (en) Method and system for displaying a timing signal for surgical instrument insertion in surgical procedures
CN113240718A (zh) 多目标识别及跟踪方法、系统、介质和计算设备
CN111814768B (zh) 基于ai复合模型的图像识别方法、装置、介质和设备
Bawa et al. The saras endoscopic surgeon action detection (esad) dataset: Challenges and methods
CN105303550A (zh) 图像处理装置及图像处理方法
CN113823419B (zh) 操作过程记录方法、装置、介质和计算设备
Penza et al. Long term safety area tracking (LT-SAT) with online failure detection and recovery for robotic minimally invasive surgery
CN109241898B (zh) 腔镜视像的目标定位方法和系统、存储介质
Salazar-Colores et al. Desmoking laparoscopy surgery images using an image-to-image translation guided by an embedded dark channel
CN113887545A (zh) 一种基于目标检测模型的腹腔镜手术器械识别方法及装置
CN110866873A (zh) 内腔镜图像的高光消除方法及装置
Chen et al. Hand–eye calibration using a target registration error model
US20230290461A1 (en) Method and device for generating clinical record data
CN113902983B (zh) 基于目标检测模型的腹腔镜手术组织器官识别方法及装置
CN113345046B (zh) 操作设备的移动轨迹记录方法、装置、介质和计算设备
Alvarez et al. Real-time camera motion tracking in planar view scenarios
US11900615B2 (en) Tracking device, endoscope system, and tracking method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240514

Address after: Room 109 and 113, 1st floor, Building 4, No. 220 Huashan Road, Zhongyuan District, Zhengzhou City, Henan Province, 450006

Patentee after: Henan Xuanwei Digital Medical Technology Co.,Ltd.

Country or region after: China

Patentee after: THE FIRST AFFILIATED HOSPITAL OF ZHENGZHOU University

Address before: 100006 office room 787, 7 / F, block 2, xindong'an office building, 138 Wangfujing Street, Dongcheng District, Beijing

Patentee before: Xuanwei (Beijing) Biotechnology Co.,Ltd.

Country or region before: China

Patentee before: THE FIRST AFFILIATED HOSPITAL OF ZHENGZHOU University