CN107405079B - 用于解剖区域的视频图像的内容管理的方法和系统 - Google Patents

用于解剖区域的视频图像的内容管理的方法和系统 Download PDF

Info

Publication number
CN107405079B
CN107405079B CN201680013217.3A CN201680013217A CN107405079B CN 107405079 B CN107405079 B CN 107405079B CN 201680013217 A CN201680013217 A CN 201680013217A CN 107405079 B CN107405079 B CN 107405079B
Authority
CN
China
Prior art keywords
video image
tissue
content
video
surgical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680013217.3A
Other languages
English (en)
Other versions
CN107405079A (zh
Inventor
刘明昌
C-R·乔
K-K·A·黄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107405079A publication Critical patent/CN107405079A/zh
Application granted granted Critical
Publication of CN107405079B publication Critical patent/CN107405079B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Bioethics (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Endoscopes (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本文公开了用于解剖区域的视频图像的内容管理的方法和系统的各个方面。根据本公开的实施例，方法可在通信地耦合到图像捕获设备的内容处理设备中实现。方法包括识别解剖区域的视频图像中的一个或多个非组织区域。视频图像由图像捕获设备生成。其后，为所识别的一个或多个非组织区域确定一个或多个内容标识符。另外，所确定的一个或多个内容标识符中的每一个内容标识符与对应的非组织区域相关联，该对应的非组织区域与所识别的一个或多个非组织区域对应。

Description

用于解剖区域的视频图像的内容管理的方法和系统
对相关申请的交叉引用/通过引用结合
本申请要求于2015年3月2日提交的美国临时专利申请序列No.62/126,758的优先权，其全部内容通过引用并入本文。
技术领域
本公开的各种实施例涉及内容管理。更具体而言，本公开的各种实施例涉及解剖区域的视频图像的内容管理。
背景技术
随着医学领域中的最新进展，现在可以通过使用微创技术来执行各种外科手术过程和诊断过程。这种微创技术需要在患者皮肤上开个小切口。通过这样的小切口，内窥镜和/或腹腔镜手术工具可以穿过患者的皮肤插入体腔。内窥镜和/或腹腔镜工具中的至少一个包括用于捕获体腔的视频图像的内置相机。相机可以使医师能够导航内窥镜和/或腹腔镜手术工具通过体腔，以到达要对其执行外科手术过程或诊断过程的解剖区域。其它内窥镜和/或腹腔镜工具可以对解剖区域的组织执行外科手术。
一般而言，当执行这种外科手术过程或诊断过程时，外科手术图像被记录。外科手术图像可以包括复杂的外科手术场景，具有各种正在进行的活动，诸如外科手术器械的移动和/或纱布移入和移出视图。在某些情况下，在复杂的外科手术场景构图中和正在进行的活动期间的不可预测的情况(诸如组织出现、组织运动、组织变形、突然出血和/或烟雾出现)不仅会影响传感器图像质量，而且还会影响外科手术过程或诊断过程效率。因此，需要理解在外科手术过程或诊断过程期间捕获的外科手术图像，用于外科手术过程或诊断过程期间的外科手术导航辅助以及外科手术图像的内容管理。
通过将所描述的系统与本公开的一些方面进行比较，如本申请的其余部分中所阐述的并且参考附图，常规和传统方法的进一步的限制和缺点将对本领域技术人员变得显而易见。
发明内容
一种用于解剖区域的视频图像的内容管理的方法和系统基本上如附图中的至少一个所示和/或结合附图中的至少一个所述，并在权利要求中更全面地阐述。
根据对本公开的以下详细描述的综述连同附图可以理解本公开的这些和其它特征及优点，在附图中相同的标号始终指代相同的部件。
附图说明
图1是图示根据本公开的实施例的网络环境的框图。
图2是图示根据本公开的实施例的示例性内容管理服务器的框图。
图3是图示根据本公开的实施例的示例性用户终端的框图。
图4图示了根据本公开的实施例的、可以呈现在用户终端上的用户界面(UI)的示例性场景。
图5是图示根据本公开的实施例的用于解剖区域的视频图像的内容管理的示例性方法的流程图。
图6是图示根据本公开的实施例的用于内容检索的第一示例性方法的第一示例性流程图。
图7是图示根据本公开的实施例的用于内容检索的第二示例性方法的第二示例性流程图。
具体实施方式
下面描述的实现可以在所公开的用于解剖区域的视频图像的内容管理的方法和系统中找到。本公开的示例性方面可以包括在内容处理设备中可实现的方法，该内容处理设备通信地耦合到图像捕获设备。该方法可以包括识别解剖区域的视频图像中的一个或多个非组织区域。视频图像可以由图像捕获设备生成。其后，可以为所识别的一个或多个非组织区域确定一个或多个内容标识符。另外，所确定的一个或多个内容标识符中的每一个可以与所识别的一个或多个非组织区域的对应非组织区域相关联。
根据实施例，一个或多个非组织区域可以包括但不限于烟/雾区域、外科手术器械区域、外科手术纱布区域或血液区域。根据实施例，基于与对应的非组织区域相关联的每一个所确定的内容标识符，为视频图像中的每一个所识别的非组织区域生成索引。
根据实施例，可以接收包括一个或多个搜索项的查询。一个或多个搜索项可以与第一内容标识符相关联。根据实施例，可以通过使用自然语言处理技术或文本处理技术来基于一个或多个搜索项确定第一内容标识符。其后，可以基于第一内容标识符从视频图像检索一个或多个视频图像部分。所检索的一个或多个视频图像部分可以包括来自所识别的非组织区域的至少第一非组织区域。第一非组织区域可以与第一内容标识符对应。根据实施例，可以显示所检索的一个或多个视频部分。根据实施例，可以在所显示的一个或多个视频图像部分内遮蔽或突出显示第一非组织区域。根据实施例，可以经由画中画界面或画上画界面来显示所检索的一个或多个视频图像部分。
根据实施例，显示与视频图像对应的时间戳，该视频图像包括来自所检索的一个或多个视频图像部分的第一视频图像部分。第一视频图像部分可以与视频图像中的事件的发生对应。事件的示例可以包括但不限于视频图像内第一非组织区域的初始出现、视频图像内第一非组织区域的最终出现、第一非组织区域与组织区域的接近、第一非组织区域与一个或多个非组织区域中的另一个非组织区域的另一个接近。根据实施例，除了与第一内容标识符相关联，一个或多个搜索项还可以与发生的事件相关联。
根据实施例，可以基于以下来执行机器学习：所识别的一个或多个非组织区域、所确定的一个或多个内容标识符以及所确定的一个或多个内容标识符中与非组织区域对应的每一个内容标识符的关联。
图1是图示根据本公开的实施例的网络环境的框图。参考图1，示出了网络环境100。网络环境100可以包括外科手术设备102、内容管理服务器104、视频数据库106、用户终端108和通信网络110。外科手术设备102可以经由通信网络110与内容管理服务器104、视频数据库106和用户终端108通信地耦合。
外科手术设备102可以包括合适的逻辑、电路系统、接口和/或代码，其可被配置成执行与患者的一个或多个解剖区域相关联的一个或多个外科手术过程和/或诊断分析。外科手术设备102的示例可以包括但不限于微创外科手术/诊断设备、微切(minimallyincisive)外科手术/诊断设备和/或内窥镜/腹腔镜外科手术/诊断设备。
根据实施例，外科手术设备102还可以包括图像捕获设备(图1中未示出)，以捕获患者的解剖区域的视频图像。可替代地，外科设备102可以经由通信网络110通信地耦合到图像捕获设备。图像捕获设备的示例可以包括但不限于内窥镜/腹腔镜相机、医学共振成像(medical resonance imaging,MRI)设备、计算机断层摄影(CT)扫描设备、微创医学成像设备和/或微切医学成像设备。
内容管理服务器104可以包括可以向一个或多个订阅的电子设备(诸如用户终端108和/或外科手术设备102)提供解剖内容管理服务的一个或多个服务器。根据实施例，一个或多个服务器可以通过使用本领域技术人员众所周知的若干技术被实现为多个基于云的资源。另外，一个或多个服务器可以与单个或多个服务提供商相关联。一个或多个服务器的示例可以包括但不限于ApacheTM HTTP服务器、
Figure BDA0001395997290000041
互联网信息服务(IIS)、
Figure BDA0001395997290000042
应用服务器、Sun JavaTM系统Web服务器和/或文件服务器。
本领域普通技术人员可以理解的是，本公开的范围不限于内容管理服务器104和外科手术设备102作为单独实体的实现。根据实施例，在不背离本公开的范围的情况下，内容管理服务器104的功能可以由外科手术设备102实现。
视频数据库106可以存储对一个或多个患者的一个或多个解剖区域执行的外科手术过程或诊断过程的视频图像的储存库。根据实施例，视频数据库106可以通信地耦合到内容管理服务器104。视频数据库106可以经由内容管理服务器104接收可以由图像捕获设备捕获的视频图像。根据实施例，视频数据库106可以通过使用本领域已知的各种数据库技术来实现。视频数据库106的示例可以包括但不限于
Figure BDA0001395997290000051
Figure BDA0001395997290000052
等。根据实施例，内容管理服务器104可以基于一个或多个协议连接到视频数据库106。这种一个或多个协议的示例可以包括但不限于开放数据库连接
Figure BDA0001395997290000053
协议和Java数据库连接
Figure BDA0001395997290000054
协议。
本领域普通技术人员将理解的是，本公开的范围不限于内容管理服务器104和视频数据库106作为单独实体的实现。根据实施例，在不背离本公开的范围的情况下，视频数据库106的功能可以由内容管理服务器104实现。
用户终端108可以包括合适的逻辑、电路系统、接口和/或代码，其可以被配置成向用户(诸如医师)呈现用于内容管理的用户界面(UI)。用户终端108的示例可以包括但不限于智能电话、相机、平板电脑、膝上型计算机、可穿戴电子设备、电视机、互联网协议电视机(IPTV)和/或个人数字助理(PDA)设备。
本领域普通技术人员可以理解的是，本公开的范围不限于用户终端108和内容管理服务器104作为单独实体的实现。根据实施例，在不背离本公开的精神的情况下，内容管理服务器104的功能可以由用户终端108实现。例如，内容管理服务器104可以被实现为在用户终端108上运行和/或安装在用户终端108上的应用程序。
本领域技术人员还可以理解的是，根据实施例，用户终端108可以与外科手术设备102集成。可替代地，用户终端108可以通信地耦合到外科手术设备102，并且用户终端108的用户(诸如医师)可以经由用户终端108的UI控制外科手术设备102。
通信网络110可以包括介质，外科手术设备102和/或用户终端108可以通过该介质与一个或多个服务器(诸如内容管理服务器104)通信。通信网络110的示例可以包括但不限于互联网、云网络、无线保真(Wi-Fi)网络、无线局域网(WLAN)、局域网(LAN)、普通老式电话服务(POTS)和/或城域网(MAN)。网络环境100中的各种设备可以被配置成根据各种有线和无线通信协议连接到通信网络108。这种有线和无线通信协议的示例可以包括但不限于传输控制协议和互联网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)、文件传输协议(FTP)、ZigBee、EDGE、红外(IR)、IEEE 802.11、802.16、蜂窝通信协议和/或蓝牙(BT)通信协议。
在操作中，内容管理服务器104可以被配置成识别解剖区域的每一个视频图像中的一个或多个非组织区域。可以基于本领域中已知的一种或多种对象识别算法来执行每一个视频图像中的一个或多个非组织区域的识别。
内容管理服务器104还可以被配置成确定用于视频图像中所识别的一个或多个非组织区域的一个或多个内容标识符。其后，内容管理服务器104可以将所确定的一个或多个内容标识符中的每一个内容标识符与所识别的一个或多个非组织区域中的对应的非组织区域相关联。根据实施例，一个或多个非组织区域可以包括但不限于烟/雾区域、外科手术器械区域、外科手术纱布区域或血液区域。根据实施例，内容管理服务器104可以被配置成基于与对应的非组织区域相关联的每一个所确定的内容标识符来为视频图像中的每一个所识别的非组织区域生成索引。视频图像中加索引的一个或多个非组织区域可以存储在视频数据库106中，用于以后检索。
根据实施例，内容管理服务器104可以被配置成从用户终端108接收查询。查询可以包括一个或多个搜索项。一个或多个搜索项可以与第一内容标识符相关联。根据实施例，内容管理服务器104可以被配置成通过使用自然语言处理技术或文本处理技术来基于一个或多个搜索项确定第一内容标识符。
其后，内容管理服务器104可以基于第一内容标识符从视频图像检索一个或多个视频图像部分。所检索的一个或多个视频图像部分可以至少包括与第一内容标识符对应的第一非组织区域。根据实施例，内容管理服务器104可以被配置成经由用户终端108的UI在用于医师的用户终端处显示所检索的一个或多个视频部分。根据实施例，内容管理服务器104可以遮蔽或突出显示所显示的一个或多个视频图像部分内的第一非组织区域。根据实施例，可以经由画中画界面或画上画界面来显示所检索的一个或多个视频图像部分。
根据实施例，内容管理服务器104可以被配置成显示与来自一个或多个视频图像的期望的视频图像对应的时间戳。这种视频图像可以包括来自所检索的一个或多个视频图像部分的第一视频图像部分。第一视频图像部分可以与视频图像中的事件的发生对应。事件的示例可以包括但不限于视频图像内第一非组织区域的初始出现、视频图像内第一非组织区域的最终出现、第一非组织区域与组织区域的接近、第一非组织区域与一个或多个非组织区域中的另一个非组织区域的另一个接近。根据实施例，除了与第一内容标识符的关联，一个或多个搜索项也可以与发生的事件相关联。第一内容标识符和一个或多个搜索项与发生的事件的这种相关联可以提供一种或多种外科手术导航辅助，诸如出血定位(以识别血迹的位置和来源)、排烟和镜片清洁触发(在外科手术区域中出现烟和/或雾的情况下提高可视性)、外科手术工具警告(以确定外科手术工具距组织区域的接近距离)和/或纱布和/或外科手术工具跟踪(以自动检查纱布和/或外科手术工具从解剖区域的清除)。
根据实施例，内容管理服务器104还可以被配置成基于以下来执行机器学习：所识别的一个或多个非组织区域、所确定的一个或多个内容标识符以及所确定的一个或多个内容标识符中的每一个内容标识符与对应非组织区域的关联。基于由内容管理服务器104执行的机器学习，内容管理服务器104可以被配置成将一个或多个内容标识符中的每一个内容标识符与一个或多个解剖区域的新视频图像中的对应的非组织区域相关联。
图2是图示根据本公开的实施例的示例性内容管理服务器的框图。结合图1的元件来解释图2。参考图2，示出了内容管理服务器104。内容管理服务器104可以包括一个或多个处理器(诸如处理器202)、一个或多个收发器(诸如收发器204)、存储器206以及内容管理单元208。内容管理单元208可以包括外科手术现场分析器210、数据库连接器212、UI管理器214、自然语言解析器216以及机器学习引擎218。根据实施例，内容管理服务器104可以经由收发器204通过通信网络110通信地耦合到视频数据库106。可替代地，内容管理服务器104可以包括视频数据库106。例如，可以在存储器206内实现视频数据库106。
处理器202可以通信地耦合到收发器204、存储器206和内容管理单元208。收发器204可以被配置成经由通信网络110与外科手术设备102和用户终端108通信。
处理器202可以包括合适的逻辑、电路系统、接口和/或代码，其可以被配置成执行存储在存储器206中的指令集。处理器202可以基于本领域中已知的多种处理器技术来实现。处理器202的示例可以是基于X86的处理器、精简指令集计算(RISC)处理器、专用集成电路(ASIC)处理器、复杂指令集计算(CISC)处理器和/或其它处理器。
收发器204可以包括合适的逻辑、电路系统、接口和/或代码，其可以被配置成经由通信网络110与用户终端108和/或外科手术设备102通信(如图1所示)。收发器204可以实现已知技术，以支持内容管理服务器104与通信网络110的有线或无线通信。收发器204可以包括但不限于天线、射频(RF)收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编码器-解码器(CODEC)芯片集、订户识别模块(SIM)卡和/或本地缓冲器。
收发器204可以经由无线通信与网络(诸如互联网、内联网和/或无线网络(诸如蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))通信。无线通信可以使用多种通信标准、协议和技术中的任何一种，所述多种通信标准、协议和技术诸如全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(诸如IEEE 802.11a、IEEE 802.11b、IEEE802.11g和/或IEEE802.11n)、互联网协议语音(VoIP)、Wi-MAX、用于电子邮件、即时消息和/或短消息服务(SMS)的协议。
存储器206可以包括合适的逻辑、电路系统和/或接口，其可以被配置成存储具有可由处理器202执行的至少一个代码段的机器代码和/或计算机程序。根据实施例，存储器206还可以被配置成存储由图像捕获设备捕获的视频图像。存储器206可以存储与视频图像中的一个或多个非组织区域相关联的一个或多个内容标识符。一个或多个内容标识符可以基于对一个或多个视频图像的分析来确定。可替代地，一个或多个内容标识符可以被预先确定并预先存储在存储器206中。存储器206的实现的示例可以包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器(HDD)和/或安全数字(SD)卡。
内容管理单元208可以包括合适的逻辑、电路系统、接口和/或代码，其可以被配置成执行解剖内容管理。解剖内容可以包括由图像捕获设备捕获的视频图像。根据实施例，内容管理单元208可以是处理器202的一部分。可替代地，内容管理单元208可以被实现为内容管理服务器104中的单独的处理器或电路系统。根据实施例，内容管理单元208和处理器202可以被实现为执行内容管理单元208和处理器202的功能的集成的处理器或处理器群集。根据实施例，内容管理单元208可以被实现为存储在存储器206中的计算机程序代码，当其被处理器202执行时，可以执行内容管理单元208的功能。
外科手术现场分析器210可以包括合适的逻辑、电路系统、接口和/或代码，其可以被配置成执行一个或多个图像处理操作以分析由图像捕获设备捕获的视频图像。根据实施例，视频图像可以包括患者的解剖区域，通过使用外科手术设备102对该解剖区域执行外科手术过程或诊断过程。基于对视频图像的分析，外科手术现场分析器210可以识别每一个视频图像中的一个或多个非组织区域。根据实施例，一个或多个非组织区域可以包括但不限于烟/雾区域、外科手术器械区域、外科手术纱布区域或血液区域。根据实施例，外科手术现场分析器210可以为每一个视频图像中所识别的一个或多个非组织区域确定一个或多个内容标识符。可替代地，一个或多个内容标识符可以预先存储在存储器206中。在这种情况下，一个或多个内容标识符不需要由外科手术现场分析器210确定。另外，根据实施例，外科手术现场分析器210可以将一个或多个内容标识符中的每一个内容标识符与每一个视频图像中所识别的一个或多个非组织区域中的对应的非组织区域相关联。
数据库连接器212可以包括合适的逻辑、电路系统、接口和/或代码，其可以被配置成向内容管理单元208提供对视频数据库106的访问和连接。根据实施例，数据库连接器212可以在内容管理单元208与视频数据库106之间建立数据库会话。用于建立数据库会话的一个或多个通信协议的示例可以包括但不限于开放数据库连接(ODBC)协议和Java数据库连接(JDBC)协议。
根据实施例，数据库连接器212可以包括索引引擎(图2中未示出)，其可以被配置成对视频数据库106中已分析的视频图像进行索引。基于指派给相应的非组织区域的内容标识符，对视频图像的这种索引可以启用对非组织区域的视频图像的高效搜索和检索。本领域普通技术人员可以理解的是，本公开的范围不限于数据库连接器212实现索引引擎的功能。根据实施例，索引引擎可以是外科手术现场分析器210的一部分。根据实施例，索引引擎可以被实现为内容管理单元208内的独立模块。索引引擎可以被配置成基于与每一个对应的非组织区域相关联的一个或多个内容标识符来为视频图像中所识别的一个或多个非组织区域中的每一个生成索引。加索引的视频图像可以存储在视频数据库106中，用于以后检索。
UI管理器214可以包括合适的逻辑、电路系统、接口和/或代码，其可以被配置成管理呈现在用户终端108上的UI。根据实施例，UI管理器214可以向用户终端108的用户(诸如医师)提供搜索界面。搜索界面可以经由用户终端108的UI在用户终端108的显示设备上呈现给用户。用户可以通过搜索界面提供包括一个或多个搜索项的查询。基于一个或多个搜索项，UI管理器214可以从存储在视频数据库106中的加索引的视频图像检索一个或多个视频图像部分。根据实施例，UI管理器214可以生成包括所检索的一个或多个视频图像部分的结果界面。UI管理器214可以经由用户终端108的UI在用户终端108的显示设备上呈现结果界面。
自然语言解析器216可以包括合适的逻辑、电路系统、接口和/或代码，其可以被配置成分析(通过搜索界面)从用户终端108的用户接收的一个或多个搜索项。根据实施例，自然语言解析器216可以通过使用一种或多种自然语言处理技术和/或文本处理技术来分析一个或多个搜索项。自然语言解析器216可以执行与搜索项中的一个对应的第一内容标识符与预先存储在存储器206和/或视频数据库106中的一个或多个内容标识符的语义关联。一种或多种自然语言处理和/或文本处理技术的示例可以包括但不限于朴素贝叶斯分类、人工神经网络、支持向量机(SVM)、多项逻辑回归或具有最大似然估计(MLE)的高斯混合模型(GMM)。基于对一个或多个搜索项的分析，自然语言解析器216可以确定与一个或多个搜索项对应的第一内容标识符。根据实施例，第一内容标识符可以与一个或多个内容标识符中的至少一个内容标识符对应。
机器学习引擎218可以包括合适的逻辑、电路系统和/或接口，其可以被配置成实现人工智能，以从存储在存储器206和/或视频数据库106中的数据学习。机器学习引擎218还可以被配置成从存储器206和/或视频数据库106检索数据。这种数据可以对应于一个或多个内容标识符与一个或多个视频图像中的一个或多个对应的非组织区域的关联的历史数据。机器学习引擎218可以被配置成分析历史数据并从历史数据中辨别一个或多个模式。根据实施例，基于所辨别的模式，机器学习引擎218可以被配置成生成一个或多个规则，并将生成的一个或多个规则存储在存储器206和/或视频数据库106中。根据实施例，外科手术现场分析器210可以被配置成基于一个或多个规则来检索一个或多个规则并分析新的视频图像。例如，外科手术现场分析器210可以采用一个或多个规则来将一个或多个内容标识符中的每一个内容标识符与新视频图像中的对应的非组织区域相关联。机器学习引擎218可以基于一种或多种方法(诸如人工神经网络(ANN)、归纳逻辑编程方法、支持向量机(SVM)、关联规则学习方法、决策树学习方法和/或贝叶斯网络)来实现。虽然如此，本公开可以不这样限制，并且可以利用任何合适的学习方法而不限制本公开的范围。
在操作中，医师可以通过使用外科手术设备102和一个或多个外科手术器械对患者的解剖区域执行外科手术过程或诊断过程。一个或多个外科手术器械的示例可以包括但不限于内窥镜导管、外科手术钳、外科手术切口器械和/或外科手术纱布。外科手术过程或诊断过程的示例可以包括但不限于微创外科手术/诊断过程，微切外科手术/诊断过程、腹腔镜外科手术和/或内窥镜外科手术。根据实施例，外科手术过程或诊断过程可以是自动化的并由外科手术机器人执行，而不需要来自医师的任何监督或指导。根据实施例，外科手术过程或诊断过程可以是半自动化的并由外科手术机器人执行，具有来自医师的一个或多个输入信号和/或命令。根据实施例，图像捕获设备(图1中未示出)可以通信地耦合到外科手术设备102(或包括在外科手术设备102内)。图像捕获设备可以捕获解剖区域的一个或多个视频图像，而外科手术过程或诊断过程对解剖区域执行。其后，外科手术设备102(或图像捕获设备本身)可以经由通信网络110将捕获的一个或多个视频图像传输到内容管理服务器104。
内容管理服务器104中的收发器204可以被配置成经由通信网络110从外科手术设备102接收解剖区域的一个或多个视频图像。数据库连接器212可以被配置成建立与视频数据库106的会话，并将接收到的一个或多个视频图像存储在视频数据库106中。另外，一个或多个视频图像也可以存储在存储器206中。
外科手术现场分析器210可以被配置成分析一个或多个视频图像。根据实施例，当从外科手术设备102接收到预定数量的视频图像时，一个或多个视频图像可以以批模式被分析(离线处理)。根据实施例，在接收到每一个新的视频图像时，一个或多个视频图像可以被实时地分析(在线处理)。外科手术现场分析器210可以从存储器206和/或视频数据库106检索一个或多个视频图像，以分析一个或多个视频图像。其后，外科手术现场分析器210可以被配置成识别每一个视频图像中的一个或多个非组织区域。一个或多个非组织区域的示例包括但不限于烟/雾区域、外科手术器械区域、外科手术纱布区域或血液区域。
根据实施例，外科手术现场分析器210可以被配置成确定用于所识别的一个或多个非组织区域的一个或多个内容标识符。根据实施例，一个或多个内容标识符可以由医师预先确定并预先存储在存储器206和/或视频数据库106中。在这种情况下，外科手术现场分析器210不需要确定一个或多个内容标识符。外科手术现场分析器210可以从存储器206和/或视频数据库106检索一个或多个内容标识符。
其后，外科手术现场分析器210可以将一个或多个内容标识符中的每一个内容标识符与所识别的一个或多个非组织区域中对应的非组织区域相关联。根据实施例，索引引擎(图2中未示出)可以被配置成基于与每一个对应的非组织区域相关联的一个或多个内容标识符来为视频图像中所识别的一个或多个非组织区域中的每一个非组织区域生成索引。根据实施例，加索引的视频图像可以存储在视频数据库106中，用于以后检索。
根据实施例，当视频图像被实时地分析时(以在线处理模式)，外科手术现场分析器210还可以被配置成向图像捕获设备提供与所捕获的视频图像相关联的反馈。例如，外科手术现场分析器210可以实时地对视频图像中的一个或多个非组织区域进行遮蔽。其后，外科手术现场分析器210可以经由收发器204向图像捕获设备传输与被遮蔽的一个或多个非组织区域相关联的信息。图像捕获设备可以基于与被遮蔽的一个或多个非组织区域相关联的信息来执行图像捕获设备的自动曝光和/或自动对焦设置的实时调节。
根据实施例，外科手术现场分析器210还可以被配置成在视频图像的实时或在线分析期间为图像捕获设备确定最佳相机参数。相机参数的示例可以包括但不限于自动曝光、自动对焦、自动白平衡和/或自动照明控制。根据实施例，外科手术现场分析器210可以为视频图像中的具体场景确定最佳相机参数。例如，具有超过一定数量的血液区域或烟雾区域的视频图像可能需要调节相机参数。因此，外科手术现场分析器210可以确定用于这种视频图像场景的最佳相机参数。外科手术现场分析器210可以经由收发器204将所确定的最佳相机参数传输到图像捕获设备。图像捕获设备可以根据从外科手术现场分析器210接收的最佳相机参数来执行其相机参数的实时调节。
根据实施例，外科手术现场分析器210还可以被配置成基于视频图像的分析来增强视频图像的图像质量。例如，外科手术现场分析器210可以在视频图像中的一个或多个非组织区域的识别期间检测视频图像中的一个或多个烟雾区域。外科手术现场分析器210可以对这种烟雾区域执行一个或多个图像增强操作，以增强视频图像的图像质量。
UI管理器214可以被配置成在用户终端108的显示设备上呈现搜索界面。通过搜索界面，用户(诸如医师)可以提供查询以搜索用户感兴趣的视频图像部分。可以从患者的解剖区域的一个或多个视频图像中选择视频图像部分。查询可以包括与第一内容标识符相关联的一个或多个搜索项。UI管理器214可以经由收发器204从用户终端108接收查询。其后，自然语言解析器216可以被配置成通过使用一种或多种自然语言处理和/或文本处理技术来分析一个或多个搜索项。基于对一个或多个搜索项的分析，自然语言解析器216可以确定第一内容标识符。
根据实施例，自然语言解析器216结合处理器202可以将所确定的第一内容标识符与存储在视频数据库106中的一个或多个内容标识符进行比较。自然语言解析器216结合处理器202还可以确定所确定的第一内容标识符与一个或多个内容标识符中的每一个内容标识符之间的相似性得分。相似性得分可以基于第一内容标识符关于一个或多个内容标识符的语义分析来确定。自然语言解析器216可以基于超过阈值的相似性得分来从一个或多个内容标识符选择内容标识符。例如，自然语言解析器216可以基于相似性得分从一个或多个内容标识符选择第一内容标识符的同义词。其后，自然语言解析器216可以基于从一个或多个内容标识符选择的内容标识符来更新第一内容标识符。
根据实施例，UI管理器214可以访问视频数据库106，以从加索引并存储在视频数据库106中的一个或多个视频图像检索一个或多个视频图像部分。所检索的一个或多个视频图像部分可以包括来自在一个或多个视频图像中所识别的一个或多个非组织区域的第一非组织区域。外科手术现场分析器210可以将第一非组织区域与第一内容标识符相关联并标记。
UI管理器214可以生成结果界面来显示与第一内容标识符相关联的一个或多个视频图像部分。UI管理器214可以通过用户终端108的UI向用户呈现结果界面。根据实施例，UI管理器214可以遮蔽或突出显示在结果界面内显示的一个或多个视频图像部分中的第一非组织区域。根据实施例，UI管理器214可以将结果界面内的第一非组织区域显示为画中画界面或画上画界面。已经在图4中解释了结果界面的示例。
根据实施例，除了与第一内容标识符相关联，时间戳也可以与一个或多个视频图像中的事件的发生相关联。事件的示例可以包括但不限于一个或多个视频图像内第一非组织区域的初始出现、一个或多个视频图像内第一非组织区域的最终出现、第一非组织区域与组织区域的接近、和/或第一非组织区域与一个或多个非组织区域中的另一个非组织区域的另一个接近。根据实施例，外科手术现场分析器210可以被配置成确定与一个或多个视频图像的期望的视频图像对应的时间戳。期望的视频图像可以包括所检索的一个或多个视频图像部分中的第一视频图像部分。
第一视频图像部分可以与指定事件的发生对应。根据实施例，时间戳可以由外科手术现场分析器210预先确定并预先存储在存储器206和/或视频数据库106中。在这种情况下，当分析了一个或多个视频图像时，外科手术现场分析器210可以识别一个或多个视频图像中与某个事件对应的视频图像部分的集合。其后，外科手术现场分析器210可以确定与包括所识别的视频图像部分集合中的至少一个视频图像部分的这种视频图像相关联的相应的时间戳。
根据实施例，索引引擎可以被配置成基于与这种视频图像相关联的相应的时间戳来对视频数据库106中的一个或多个视频图像进行索引。因此，在这种情况下，不需要在从用户接收到查询时确定期望的视频图像的时间戳。相反，UI管理器214可以被配置成基于查询中的一个或多个搜索项从存储器206和/或视频数据库106检索期望的视频图像的时间戳。根据实施例，UI管理器214可以被配置成在结果界面内显示期望的视频图像的时间戳。其后，当用户终端108的用户提供输入以导航到与时间戳对应的期望的视频图像时，UI管理器214可以在结果界面内显示第一视频图像部分。
根据实施例，机器学习引擎218可以被配置成从存储器206和/或视频数据库106检索历史数据。历史数据可以包括可以与由外科手术现场分析器210分析的一个或多个先前视频图像对应的元数据。
根据实施例，外科手术现场分析器210可以在分析相应的视频图像之后生成与视频图像相关联的元数据。外科手术现场分析器210还可以被配置成将元数据存储在存储器206和/或视频数据库106中。视频图像的元数据可以包括与视频图像中所识别的一个或多个非组织区域相关的信息。与一个或多个非组织区域相关的信息的示例可以包括但不限于非组织区域的形状、非组织区域的颜色、非组织区域的纹理、非组织区域的一个或多个特征或特点和/或与非组织区域相关联的连接性。根据实施例，视频图像的元数据还可以包括与为视频图像中的一个或多个非组织区域确定的一个或多个内容标识符相关的信息。与一个或多个内容标识符相关的信息的示例可以包括但不限于一个或多个内容标识符的列表和/或与每一个内容标识符相关联的关键词的列表。根据实施例，视频图像的元数据还可以包括与以下相关的信息：一个或多个内容标识符中的每一个内容标识符与视频图像中的对应的非组织区域的关联。
基于一个或多个先前视频图像的元数据，机器学习引擎218可以利用机器学习技术来辨别一个或多个模式。其后，根据实施例，基于所辨别的模式，机器学习引擎218可以被配置成生成与视频图像相关的一个或多个事实并将生成的一个或多个事实存储在存储器206和/或视频数据库106中。机器学习引擎218基于预先存储在存储器206和/或视频数据库106中的一个或多个规则生成一个或多个事实。一个或多个规则的示例可以包括但不限于模糊逻辑规则、有限状态自动机(FSM)规则、支持向量机(SVM)规则和/或人工神经网络(ANN)规则。根据实施例，外科手术现场分析器210可以被配置成检索一个或多个规则并基于一个或多个规则来分析新的视频图像。例如，外科手术现场分析器210可以采用一个或多个规则来将一个或多个内容标识符中的每一个内容标识符与新视频图像中的对应非组织区域相关联。
图3是图示根据本公开的实施例的示例性用户终端的框图。结合图1的元件来解释图3。参考图3，示出了用户终端108。用户终端108可以包括一个或多个处理器(诸如处理器302)、一个或多个收发器(诸如收发器304)、存储器306、客户端界面单元308以及显示设备314。客户端界面单元308可以包括UI管理器310和显示适配器312。
处理器302可以通信地耦合到收发器304、存储器306、客户端界面单元308和显示设备314。收发器304可以被配置成经由通信网络110与内容管理服务器104通信。
处理器302可以包括合适的逻辑、电路系统、接口和/或代码，其可以被配置成执行存储在存储器306中的指令集。处理器302可以基于本领域中已知的多种处理器技术来实现。处理器302的示例可以是基于X86的处理器、精简指令集计算(RISC)处理器、专用集成电路(ASIC)处理器、复杂指令集计算(CISC)处理器和/或其它处理器。
收发器304可以包括合适的逻辑、电路系统、接口和/或代码，其可以被配置成经由通信网络110与内容管理服务器104通信。收发器304可以实现已知技术以支持用户终端108与通信网络110的有线或无线通信。收发器304可以包括但不限于天线、射频(RF)收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编码器-解码器(CODEC)芯片集、订户识别模块(SIM)卡和/或本地缓冲器。
收发器304可以经由无线通信与网络(诸如互联网、内联网和/或无线网络(诸如蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))通信。无线通信可以使用多种通信标准、协议和技术中的任何一种，多种通信标准、协议和技术诸如全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(诸如IEEE 802.11a、IEEE 802.11b、IEEE 802.11g和/或IEEE 802.11n)，互联网协议语音(VoIP)、Wi-MAX、用于电子邮件、即时消息和/或短消息服务(SMS)的协议。
存储器306可以包括合适的逻辑、电路系统和/或接口，其可以被配置成存储具有可由处理器302执行的至少一个代码段的机器代码和/或计算机程序。存储器的实现的示例306可以包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器(HDD)和/或安全数字(SD)卡。
客户端界面单元308可以包括合适的逻辑、电路系统、接口和/或代码，其可以被配置成执行在用户终端108上呈现的一个或多个UI的渲染和管理。根据实施例，客户端界面单元308可以是处理器302的一部分。可替代地，客户端界面单元308可以被实现为用户终端108中的单独的处理器或电路系统。例如，客户端界面单元308可以被实现为通信地耦合到处理器302的专用图形处理器或芯片集。根据实施例，客户端界面单元308和处理器302可以被实现为执行客户端界面单元308和处理器302的功能的集成的处理器或处理器群集.根据实施例，客户端界面单元308可以被实现为存储在存储器306中的计算机程序代码，当其被处理器302执行时可以执行客户端界面单元308的功能。
UI管理器310可以包括合适的逻辑、电路系统、接口和/或代码，其可以被配置成管理用户终端108的UI。UI管理器310可以被配置成接收并处理经由用户终端108的输入设备(图3中未示出)通过用户终端108的UI接收的用户输入。输入设备可以通信地耦合到用户终端108(或被包括在用户终端108内)。输入设备的示例可以包括但不限于键盘、鼠标、操纵杆、轨迹板、启用语音的输入设备、启用触摸的输入设备和/或启用手势的输入设备。
根据实施例，UI管理器310还可以被配置成经由收发器304与内容管理服务器104的UI管理器214进行通信。这种通信可以便于接收与搜索界面对应的信息。其后，UI管理器310可以通过用户终端108的UI呈现搜索界面。UI管理器310还可以被配置成经由输入设备通过UI从用户接收输入。例如，用户可以通过搜索界面中的搜索栏输入一个或多个搜索项。UI管理器310可以经由收发器304向内容管理服务器104的UI管理器214传输用户输入，诸如一个或多个搜索项。根据实施例，UI管理器310还可以被配置成经由收发器304从内容管理服务器104的UI管理器214接收可能与结果界面对应的信息。其后，UI管理器310可以通过用户终端108的UI向用户呈现结果界面。
显示适配器312可以包括合适的逻辑、电路系统、接口和/或代码，其可以被配置成将UI管理器310与显示设备314对接。根据实施例，显示适配器312可以基于显示设备314的显示配置执行用户终端108的UI的渲染和显示特性的调节。可以用来执行显示调节的一种或多种技术的示例可以包括但不限于图像增强、图像稳定、对比度调节、亮度调节、分辨率调节和/或倾斜/旋转调节。
显示设备314可以包括合适的逻辑、电路系统、接口和/或代码，其可以被配置成渲染用户终端108的UI。根据实施例，显示设备314可以被实现为用户终端108的一部分。根据实施例，显示设备314可以通信地耦合到用户终端108。显示设备314可以通过若干已知的技术实现，所述技术诸如但不限于基于阴极射线管(CRT)的显示器、液晶显示器(LCD)、基于发光二极管(LED)的显示器、有机LED显示器技术以及视网膜显示技术。根据实施例，显示设备314可以能够从用户接收输入。在这种情况下，显示设备314可以是使得用户能够提供输入的触摸屏。触摸屏可以与电阻式触摸屏、电容式触摸屏或热触摸屏中的至少一种对应。根据实施例，显示设备314可以通过虚拟小键盘、触控笔、基于手势的输入和/或基于触摸的输入来接收输入。在这种情况下，输入设备可以集成在显示设备314内。根据实施例，用户终端108可以包括除基于触摸屏的显示设备314之外的辅助输入设备。
在操作中，用户终端108的收发器304可以经由通信网络110从内容管理服务器104的UI管理器214接收可以与搜索界面对应的信息。其后，根据实施例，用户终端108的UI管理器310可以通过用户终端108的UI向用户呈现搜索界面。根据实施例，搜索界面可以包括可以提示用户输入搜索查询的搜索栏。用户可以通过经UI在搜索栏中输入一个或多个搜索项来提供搜索查询。根据实施例，搜索界面可以向用户建议搜索项列表。例如，搜索界面可以提供经常被查询的搜索项的列表。另外，搜索界面可以向用户提供自动完成功能。例如，当用户输入搜索查询的一个或多个搜索项时，搜索界面可以自动完成或填写搜索查询。根据实施例，UI管理器310还可以被配置成接收经由用户终端108的输入设备(未在图3中示出)通过用户终端108的UI由用户提供的搜索查询。根据实施例，搜索查询中的一个或多个搜索项可以是第一内容标识符。根据实施例，UI管理器310还可以被配置成经由收发器304将可以包括一个或多个搜索项的接收到的搜索查询传输到内容管理服务器104的UI管理器214。
根据实施例，UI管理器310还可以被配置成经由收发器304从内容管理服务器104的UI管理器214接收可以与结果界面对应的信息。另外，UI管理器310可以被配置成经由用户终端108的UI在用户终端108上向用户呈现结果界面。根据实施例，结果界面可以包括一个或多个视频图像部分，该一个或多个视频图像部分是由内容管理服务器104基于第一内容标识符从一个或多个视频图像检索的。一个或多个视频图像部分可以包括与第一内容标识符相关联的第一非组织区域。根据实施例，第一非组织区域可以在结果界面中显示的一个或多个视频图像部分内被遮蔽或突出显示。结果界面可以经由画中画界面或画上画界面显示可以包括第一非组织区域的一个或多个视频图像部分。
根据实施例，除了与第一内容标识符的关联，一个或多个搜索项还可以与一个或多个视频图像中事件的发生相关联。在这种情况下，结果界面可以显示与一个或多个视频图像的包括一个或多个视频图像部分中的第一视频图像部分的期望的视频图像对应的时间戳。根据实施例，第一视频图像部分可以与一个或多个视频图像中事件的发生对应。事件的示例可以包括但不限于视频图像内第一非组织区域的初始出现、视频图像内第一非组织区域的最终出现、第一非组织区域与组织区域的接近和/或第一非组织区域与一个或多个非组织区域中的另一个非组织区域的另一个接近。根据实施例，当用户提供导航到时间戳的输入时，UI管理器310可以通过用户终端108的UI显示可以包括第一视频图像部分的期望的视频图像。
根据实施例，结果界面还可以包括与搜索界面相关联的搜索栏。根据实施例，结果界面还可以包括搜索历史部分，该搜索历史部分可以显示先前由用户提供的搜索查询的列表。在这种情况下，可以以类似于搜索界面的方式使用结果界面，以对一个或多个视频图像执行进一步的搜索或精炼先前的搜索。已经在图4中解释了结果界面的示例。
根据实施例，结果界面还可以被配置成使得用户能够查看一个或多个视频图像。例如，结果界面可以向用户提供查看由用户选择的视频图像的一个或多个部分或者一个或多个视频图像整体的选项。根据实施例，结果界面可以遮蔽或突出显示一个或多个视频图像中的每一个非组织区域，同时将一个或多个视频图像显示给用户。另外，当那个非组织区域出现在向用户显示的一个或多个视频图像中时，结果界面还可以同时显示与每一个这种非组织区域相关联的对应内容标识符。对应的内容标识符可以以一种或多种格式(诸如气泡标志和/或动态标签)显示。虽然如此，本公开可以没有这样的限制，并且也可以在不偏离本公开的范围的情况下实现其它格式来显示内容标识符。
根据实施例，在用户通过结果界面观看一个或多个视频图像的同时，结果界面还可以被配置成使得用户能够对一个或多个视频图像执行一个或多个图像/视频编辑操作。这种图像/视频编辑操作的示例可以包括但不限于在视频图像部分上的复制-粘贴、剪切-粘贴、删除、裁剪、缩放、平移、重新缩放和/或执行对比度、亮度或颜色增强。根据实施例，用户终端108的UI管理器310可以经由收发器204向内容管理服务器104的UI管理器214传输与由用户执行的一个或多个图像/视频编辑操作相关联的信息。内容管理服务器104的UI管理器214可以相应地更新存储在视频数据库106中的视频图像。
根据实施例，在用户通过结果界面查看一个或多个视频图像时，结果界面还可以被配置成使得用户能够执行一个或多个视频图像的标记。例如，如果用户观察到当前错误的内容标识符与非组织区域相关联，那么结果界面可以使得用户能够利用正确的内容标识符来标记视频图像中正在显示给用户的非组织区域。另外，结果界面可以使得用户能够将视频图像中的内容管理服务器104无法识别的区域识别为非组织区域。用户可以利用适当的内容标识符来标记这种非组织区域。用户还可以识别视频图像中可能被错误地识别为非组织区域的区域，尽管它们可能与视频图像中的其它伪像或组织区域对应。此外，结果界面可以使得用户能够在视频图像的一个或多个部分处添加注解和注释。根据实施例，用户终端108的UI管理器310可以经由收发器204向内容管理服务器104的UI管理器214传输与被标记的一个或多个视频图像相关联的信息。内容管理服务器104的UI管理器214可以相应地更新存储在视频数据库106中的视频图像。另外，内容管理服务器104的索引引擎可以基于用户的标记更新视频数据库106中的视频图像的索引，以反映内容标识符与非组织区域之间的关联的改变。
图4图示了根据本公开的实施例的可以在用户终端108上呈现的UI的示例性场景。已经结合图1的元件描述图4。参考图4，示出了可以向用户终端108的用户呈现的UI 400。UI400可以包括搜索界面402和结果界面406。根据实施例，搜索界面402可以被配置成从用户终端108的用户接收包括一个或多个搜索项的搜索查询。搜索界面402可以包括搜索栏和提交按钮，以接收搜索查询。根据实施例，结果界面406可以被配置成基于搜索查询中的一个或多个搜索项来显示从一个或多个视频图像检索的一个或多个视频图像部分。
例如，结果界面406显示包括患者的解剖区域408的透视横截面图的快照的视频图像部分。当对解剖区域408执行外科手术过程或诊断过程时，可以捕获快照。如快照中所示，外科手术过程或诊断过程可以通过使用一种或多种外科器械(诸如外科手术钳410和内窥镜外科手术器械412)来执行。如图4所示，当通过使用内窥镜外科手术器械412执行外科手术过程或诊断过程时，解剖区域408的表面可以通过使用外科手术钳410来保持。虽然在图4中仅示出了两个外科手术器械，但是在不偏离本公开的范围的情况下，一个或多个其它外科手术器械也可以被用来执行外科手术过程或诊断过程。根据实施例，快照还示出了一个或多个视频图像部分内的第一非组织区域，诸如血液区域414a和414b。根据实施例，第一非组织区域可以与第一内容标识符相关联，该第一内容标识符可以与一个或多个内容标识符的至少一个内容标识符对应，而第一内容标识符可以与搜索查询的一个或多个搜索项相关联。
在操作中，用户(诸如医师、医科学生和/或医科专业人员)可以通过经搜索界面402输入一个或多个搜索项来输入搜索查询。例如，用户可以在搜索界面402的搜索栏中输入搜索项“带血迹的骨架(frame)”并且点击或按下搜索界面402的提交按钮(诸如“GO”按钮)。用户终端108可以向内容管理服务器104传输由用户输入的搜索查询，用于从一个或多个视频图像检索相关的视频图像部分。其后，用户终端108可以基于所传输的搜索查询从内容管理服务器104接收相关的视频图像部分。根据实施例，结果界面406可以被配置成显示可以由用户终端108接收的一个或多个视频图像部分。搜索查询中的一个或多个搜索项可以与第一内容标识符相关联。例如，搜索项“血迹”可以与预先存储的内容标识符“血液区域”相关联。一个或多个视频图像部分可以基于第一内容标识符来检索。另外，一个或多个视频图像部分可以包括第一非组织区域，诸如与第一内容标识符相关联的血液区域。因此，在上述情况下，所检索的一个或多个视频图像部分可以包括血液区域，诸如血液区域414a和414b。根据实施例，第一非组织区域(诸如血液区域414a和414b)可以在结果界面406内被遮蔽或突出显示。根据实施例，第一非组织区域可以显示在结果界面406内放大且高分辨率的子界面中。根据实施例，结果界面406可以经由画中画界面或画上面界面显示第一非组织区域，诸如血液区域414a和414b。
根据实施例，除了与第一内容标识符相关联，一个或多个搜索项还可以与一个或多个视频图像中事件的发生相关联。例如，搜索查询“血迹”可以与一个或多个视频图像中血液区域的初始出现的事件相关联。因此，用户可以在外科手术过程或诊断过程中搜索与血液区域的初始出现对应的期望的视频图像。虽然图4中未示出，但是在这种情况下，结果界面406可以向用户显示这种期望的视频图像的时间戳。期望的视频图像可以包括一个或多个视频图像部分中的第一视频图像部分。一个或多个视频图像部分当中的第一视频图像部分与事件的发生对应，在这种情况下该事件是血液区域的初始出现。根据实施例，时间戳可以指示期望的视频图像相对于一个或多个视频图像的相对位置。结果界面406可以用导航到期望的视频图像的选项来提示用户。如果用户提供指示到期望的视频图像的导航请求的输入，那么结果界面406可以向用户呈现该期望的视频图像。本领域普通技术人员可以理解的是，UI 400被提供用于示例性目的并且不应当被解释为限制本公开的范围。
本公开的各种实施例可以涵盖许多优点。在外科手术过程或诊断过程期间，内容管理服务器104可以向用户(诸如外科医生、医师、执业医生或医科学生)提供外科手术导航辅助。在一种情况下，外科手术导航辅助可以包括出血定位，以在外科手术过程或诊断过程期间识别出血的位置和来源。在另一种情况下，外科手术导航辅助可以包括在外科手术区域中出现烟雾和/或雾气的情况下可见度降低时的排烟和镜头清洁触发。在另一种情况下，外科手术导航辅助可以包括当检测到外科手术工具与组织区域的临界接近距离时的外科手术工具警告。在另一种情况下，外科手术导航辅助可以包括纱布和/或外科手术工具跟踪，以在外科手术过程或诊断过程接近完成时自动检查纱布和/或外科手术工具从解剖区域的清除。
内容管理服务器104还可以使得用户能够搜索特定事件在一个或多个视频图像中的发生。在示例性场景中，用户可能对搜索外科手术过程或诊断过程中特定事件的开始或结束感兴趣。特定事件的示例可以包括但不限于出血的开始、烟/雾的出现和/或外科手术器械与非组织区域或组织区域的接近。
内容管理服务器104还可以使得用户能够直接导航到一个或多个视频图像中与搜索到的事件对应的相关部分。基于内容标识符和预定义事件自由搜索大量视频图像的能力对于用户(诸如医师、医科学生和其他医科专业人员)来说会是有用的。自由搜索大量视频图像的这种能力对于让用户传授外科手术训练、准备医疗案例表、分析过程错误以及对外科手术过程或诊断过程执行外科评估会是有益的。内容管理服务器104还可以通过使用机器学习引擎218在机器人外科手术中提供帮助。
图5是图示根据本公开的实施例的、用于解剖区域的视频图像的内容管理的示例方法的流程图。参考图5，示出了流程图500。流程图500是结合图1和2来描述的。方法从步骤502开始并进行到步骤504。
在步骤504处，可以在患者的解剖区域的一个或多个视频图像中识别一个或多个非组织区域。根据实施例，当对患者的解剖区域执行外科手术过程或诊断过程时，可以由图像捕获设备(图1中未示出)捕获一个或多个视频图像。根据实施例，一个或多个视频图像可以存储在视频数据库106中。根据实施例，内容管理服务器104的外科手术现场分析器210可以被配置成基于对一个或多个视频图像的分析来识别一个或多个非组织区域。
在步骤506处，可以为所识别的一个或多个非组织区域确定一个或多个内容标识符。根据实施例，外科手术现场分析器210可以被配置成确定一个或多个内容标识符。可替代地，一个或多个内容标识符可以是预先确定的并预先存储在内容管理服务器104的存储器206和/或视频数据库106中。在这种情况下，一个或多个内容标识符不需要由外科手术现场分析器210识别。相反，一个或多个内容标识符可以从存储器206或视频数据库106检索。
在步骤508处，一个或多个内容标识符中的每一个内容标识符可以与一个或多个非组织区域当中的对应非组织区域相关联。根据实施例，外科手术现场分析器210可以被配置成将一个或多个内容标识符中的每一个内容标识符与一个或多个视频图像中的对应非组织区域相关联。
在步骤510处，可以基于与对应的非组织区域相关联的内容标识符为所识别的一个或多个非组织区域中的每一个非组织区域生成索引。根据实施例，内容管理服务器104的索引引擎(图2中未示出)可以被配置成生成索引。根据实施例，索引引擎可以基于为一个或多个非组织区域中的每一个非组织区域生成的索引来对存储在视频数据库106中的每一个视频图像进行索引。
在步骤512处，可以基于所识别的一个或多个非组织区域、所确定的一个或多个内容标识符以及每一个内容标识符与对应的非组织区域的关联来执行机器学习。根据实施例，机器学习引擎218可以被配置成执行机器学习。基于机器学习，机器学习引擎218可以制定一个或多个规则或更新一个或多个先前制定的规则。根据实施例，外科手术现场分析器210可以使用一个或多个规则来分析一个或多个新的视频图像，并将每一个内容标识符与一个或多个新视频图像中的对应非组织区域相关联。控制传递到结束步骤514。
图6是图示根据本公开的实施例的用于内容检索的第二示例性方法的示例性流程图。参考图6，示出了流程图600。流程图600是结合图1和2来描述的。方法在步骤602开始并进行到步骤604。
在步骤604处，可以从用户终端108接收查询。根据实施例，内容管理服务器104的UI管理器214可以被配置成经由收发器204接收查询。根据实施例，查询可以包括与第一内容标识符相关联的一个或多个搜索项。
在步骤606处，可以通过使用一种或多种自然语言处理和/或文本处理技术基于一个或多个搜索项来确定第一内容标识符。根据实施例，内容管理服务器104的自然语言解析器216可以被配置成确定第一内容标识符。
在步骤608处，可以基于第一内容标识符从一个或多个视频图像检索一个或多个视频图像部分。根据实施例，内容管理服务器104的UI管理器214可以被配置成从视频数据库106检索一个或多个视频图像部分。根据实施例，所检索的一个或多个视频图像部分可以包括与第一内容标识符相关联的第一非组织区域。
在步骤610处，显示所检索的一个或多个视频图像部分。根据实施例，UI管理器214可以被配置成通过用户终端108的UI向用户显示所检索的一个或多个视频图像部分。根据实施例，当向用户显示一个或多个视频图像部分时，第一非组织区域可以在一个或多个视频图像部分内被遮蔽或突出显示。控制传递到结束步骤612。
图7是图示根据本公开的实施例的用于内容检索的第三示例性方法的示例性流程图。参考图7，示出了流程图700。流程图700是结合图1和2来描述的。方法在步骤702开始并进行到步骤704。
在步骤704处，可以发送包括一个或多个搜索项的查询。根据实施例，用户终端108的UI管理器310可以被配置成通过用户终端108的UI从用户接收查询。其后，UI管理器310可以被配置成经由收发器304向内容管理服务器104发送查询。根据实施例，一个或多个搜索项可以与第一内容标识符相关联。
在步骤706处，可以接收一个或多个视频图像部分。根据实施例，UI管理器310可以被配置成经由收发器304从内容管理服务器104接收一个或多个视频图像部分。根据实施例，内容管理服务器104可以基于第一内容标识符从加索引并存储在视频数据库106中的一个或多个视频图像检索一个或多个视频图像部分。根据实施例，一个或多个视频图像部分可以包括可以与第一内容标识符相关联的第一非组织区域。
在步骤708处，可以显示一个或多个视频图像部分。根据实施例，UI管理器310可以被配置成经由用户终端108的UI在用户终端108的显示设备314上显示一个或多个视频图像部分。根据实施例，第一非组织区域可以在所显示的一个或多个视频图像部分内被遮蔽或突出显示。根据实施例，第一非组织区域可以显示在画中画界面或画上画界面中。控制传递到结束步骤710。
根据本公开的实施例，公开了一种用于内容管理的系统。该系统可以包括内容管理服务器104。内容管理服务器104可以被配置成识别解剖区域的视频图像中的一个或多个非组织区域。视频图像可以由图像捕获设备生成，该图像捕获设备可以经由通信网络110通信地耦合到内容管理服务器104。内容管理服务器104还可以被配置成为所识别的一个或多个内容标识符确定一个或多个非组织区域。此外，内容管理服务器104可以被配置成将所确定的一个或多个内容标识符中的每一个内容标识符与所识别的一个或多个非组织区域当中的对应非组织区域相关联。
本公开的各种实施例可以提供其上存储有机器代码和/或计算机程序的非暂态计算机或机器可读介质和/或存储介质，该机器代码和/或计算机程序具有可由机器和/或计算机执行的用于解剖区域的视频图像的内容管理的至少一个代码段。内容管理服务器104中的至少一个代码段可以使得机器和/或计算机执行包括识别解剖区域的视频图像中的一个或多个非组织区域的步骤。视频图像可以由图像捕获设备生成，该图像捕获设备可以经由通信网络110通信地耦合到内容管理服务器104。根据实施例，可以为所识别的一个或多个非组织区域确定一个或多个内容标识符。另外，所确定的一个或多个内容标识符中的每一个内容标识符可以与所识别的一个或多个非组织区域的对应非组织区域相关联。
本公开可以用硬件或者硬件和软件的组合来实现。本公开可以以集中式的方式(在至少一个计算机系统中)或以分布式的方式(其中不同的元件可以跨若干互连的计算机系统分布)实现。适于执行本文所述的方法的计算机系统或其它装置都可以是适合的。硬件和软件的组合可以是具有计算机程序的通用计算机系统，当该计算机程序被加载和执行时，可以控制计算机系统使得其执行本文所述的方法。本公开可以用包括还执行其它功能的集成电路的一部分的硬件来实现。
本公开还可以嵌入在计算机程序产品中，该计算机程序产品包括使得能够实现本文所述的方法的所有特征，并且当该计算机程序产品被加载到计算机系统中时能够执行这些方法。在此背景下，计算机程序指任何语言、代码或符号形式的指令集的任何表示，所述指令集旨在使得具有信息处理能力的系统直接地或者在以下的一者或两者之后执行特定的功能：a)转换成另一种语言、代码或符号；b)以不同材料形式复制。
虽然已参考某些实施例对本公开进行了描述，但是本领域技术人员将理解的是，在不背离本公开的范围的情况下，可以进行各种改变并且可以被等价物替换。此外，在不背离其范围的情况下，可进行许多修改以使特定的情形或材料适于本公开的教导。因此，本公开不是旨在限于所公开的特定实施例，而是本公开将包括在所附权利要求的范围内的所有实施例。

Claims (13)

1.一种用于解剖区域的视频图像的内容管理的系统，所述系统包括：
内容处理设备中的一个或多个电路，所述一个或多个电路通信地耦合到图像捕获设备，所述一个或多个电路被配置成：
识别解剖区域的视频图像中的一个或多个非组织区域，其中所述视频图像由所述图像捕获设备生成；
实时地遮蔽包括在所述视频图像中的所述一个或多个非组织区域，并向所述图像捕获设备传输与被遮蔽的所述一个或多个非组织区域相关联的信息，以供所述图像捕获设备基于与被遮蔽的所述一个或多个非组织区域相关联的信息来执行所述图像捕获设备的自动曝光和/或自动对焦设置的实时调节；
为所识别的一个或多个非组织区域确定一个或多个内容标识符，其中，所述一个或多个内容标识符基于对所述视频图像的分析来确定；
将所确定的一个或多个内容标识符中的每一个内容标识符与所识别的一个或多个非组织区域中的对应的非组织区域相关联；
接收包括一个或多个搜索项的查询；以及
基于所述一个或多个搜索项，检索包括与和搜索项相关联的第一内容标识符对应的非组织区域的一个或多个视频图像部分，或者检索在其非组织区域中发生与搜索项对应的预定义事件的一个或多个视频图像部分，以提供外科手术导航辅助，
其中，使用自然语言处理或文本处理技术来确定与所述一个或多个搜索项相关联的所述第一内容标识符。
2.如权利要求1所述的系统，其中所识别的一个或多个非组织区域包括以下中的一个或多个：烟/雾区域、外科手术器械区域、外科手术纱布区域或血液区域。
3.如权利要求1所述的系统，其中所述一个或多个电路还被配置成基于所述确定的一个或多个内容标识符中与所述对应的非组织区域相关联的每一个内容标识符为所述视频图像中的所识别的一个或多个非组织区域中的每一个非组织区域生成索引。
4.如权利要求1所述的系统，其中所述一个或多个电路还被配置成显示所检索的一个或多个视频图像部分。
5.如权利要求4所述的系统，其中所述一个或多个电路还被配置成在所显示的一个或多个视频图像部分内遮蔽/突出显示包括在所显示的一个或多个视频图像部分中的非组织区域。
6.如权利要求4所述的系统，其中所检索的一个或多个视频图像部分经由画中画界面或画上画界面显示。
7.如权利要求1所述的系统，其中所述一个或多个电路还被配置成显示与包括在所检索的一个或多个视频图像部分中的视频图像对应的时间戳。
8.如权利要求1所述的系统，其中所述预定义事件包括以下中的一个：非组织区域在视频图像内的初始出现、非组织区域在视频图像内的最终出现、非组织区域与组织区域的接近和/或非组织区域与所述一个或多个非组织区域中的另一个非组织区域的另一个接近。
9.如权利要求1所述的系统，其中所述一个或多个电路还被配置成基于以下来执行机器学习：所识别的一个或多个非组织区域、所述确定的一个或多个内容标识符以及所述确定的一个或多个内容标识符中的每一个内容标识符与所述对应的非组织区域的所述相关联。
10.一种用于解剖区域的视频图像的内容管理的方法，所述方法包括：
在通信地耦合到图像捕获设备的内容处理设备中：
识别解剖区域的视频图像中的一个或多个非组织区域，其中所述视频图像由所述图像捕获设备生成；
实时地遮蔽包括在所述视频图像中的所述一个或多个非组织区域，并向所述图像捕获设备传输与被遮蔽的所述一个或多个非组织区域相关联的信息，以供所述图像捕获设备基于与被遮蔽的所述一个或多个非组织区域相关联的信息来执行所述图像捕获设备的自动曝光和/或自动对焦设置的实时调节；
为所识别的一个或多个非组织区域确定一个或多个内容标识符，其中，所述一个或多个内容标识符基于对所述视频图像的分析来确定；
将所确定的所述一个或多个内容标识符中的每一个内容标识符与所识别的一个或多个非组织区域中的对应的非组织区域相关联；
接收包括一个或多个搜索项的查询；以及
基于所述一个或多个搜索项，检索包括与和搜索项相关联的第一内容标识符对应的非组织区域的一个或多个视频图像部分，或者检索在其非组织区域中发生与搜索项对应的预定义事件的一个或多个视频图像部分，以提供外科手术导航辅助，
其中，使用自然语言处理或文本处理技术来确定与所述一个或多个搜索项相关联的所述第一内容标识符。
11.如权利要求10所述的方法，其中所识别的一个或多个非组织区域包括以下中的一个或多个：烟/雾区域、外科手术器械区域、外科手术纱布区域或血液区域。
12.如权利要求10所述的方法，还包括显示所检索的一个或多个视频图像部分。
13.一种其上存储有程序的非暂态计算机可读存储介质，所述程序具有可由计算机执行的至少一个代码段，从而使得计算机执行如权利要求10至12中任意一个所述的方法。
CN201680013217.3A 2015-03-02 2016-02-17 用于解剖区域的视频图像的内容管理的方法和系统 Active CN107405079B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562126758P 2015-03-02 2015-03-02
US62/126,758 2015-03-02
US14/816,250 US20160259888A1 (en) 2015-03-02 2015-08-03 Method and system for content management of video images of anatomical regions
US14/816,250 2015-08-03
PCT/US2016/018193 WO2016140795A1 (en) 2015-03-02 2016-02-17 Method and system for content management of video images of anatomical regions

Publications (2)

Publication Number Publication Date
CN107405079A CN107405079A (zh) 2017-11-28
CN107405079B true CN107405079B (zh) 2021-05-07

Family

ID=56848999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680013217.3A Active CN107405079B (zh) 2015-03-02 2016-02-17 用于解剖区域的视频图像的内容管理的方法和系统

Country Status (6)

Country Link
US (1) US20160259888A1 (zh)
EP (1) EP3250114A4 (zh)
JP (1) JP2018517950A (zh)
KR (2) KR102203565B1 (zh)
CN (1) CN107405079B (zh)
WO (1) WO2016140795A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106973073A (zh) * 2016-01-13 2017-07-21 杭州海康威视系统技术有限公司 多媒体数据的传输方法及设备
DE102016121668A1 (de) * 2016-11-11 2018-05-17 Karl Storz Se & Co. Kg Automatische Identifizierung medizinisch relevanter Videoelemente
WO2018163644A1 (ja) * 2017-03-07 2018-09-13 ソニー株式会社 情報処理装置、支援システム及び情報処理方法
US10579878B1 (en) 2017-06-28 2020-03-03 Verily Life Sciences Llc Method for comparing videos of surgical techniques
EP3649918B1 (en) * 2017-07-03 2023-08-02 FUJIFILM Corporation Medical image processing device, endoscope device, diagnostic support device, medical service support device and report generation support device
US10878966B2 (en) * 2017-08-13 2020-12-29 Theator inc. System and method for analysis and presentation of surgical procedure videos
US11615879B2 (en) 2017-09-08 2023-03-28 The General Hospital Corporation System and method for automated labeling and annotating unstructured medical datasets
US11025691B1 (en) 2017-11-22 2021-06-01 Amazon Technologies, Inc. Consuming fragments of time-associated data streams
US10878028B1 (en) * 2017-11-22 2020-12-29 Amazon Technologies, Inc. Replicating and indexing fragments of time-associated data streams
US10944804B1 (en) 2017-11-22 2021-03-09 Amazon Technologies, Inc. Fragmentation of time-associated data streams
US10764347B1 (en) 2017-11-22 2020-09-01 Amazon Technologies, Inc. Framework for time-associated data stream storage, processing, and replication
JP7219227B2 (ja) * 2017-11-30 2023-02-07 テルモ株式会社 支援システム、支援方法、および支援プログラム
US20210015432A1 (en) * 2018-03-20 2021-01-21 Sony Corporation Surgery support system, information processing apparatus, and program
EP3826525A4 (en) * 2018-07-25 2022-04-20 The Trustees of The University of Pennsylvania METHODS, SYSTEMS AND COMPUTER-READABLE MEDIUM FOR GENERATION AND DELIVERY OF ARTIFICIAL INTELLIGENCE SUPPORTED SURGICAL GUIDANCE
US11116587B2 (en) 2018-08-13 2021-09-14 Theator inc. Timeline overlay on surgical video
EP3621021A1 (en) * 2018-09-07 2020-03-11 Delta Electronics, Inc. Data search method and data search system thereof
US11065079B2 (en) 2019-02-21 2021-07-20 Theator inc. Image-based system for estimating surgical contact force
KR102572006B1 (ko) * 2019-02-21 2023-08-31 시어터 인코포레이티드 수술 비디오의 분석을 위한 시스템 및 방법
JP7152375B2 (ja) * 2019-09-25 2022-10-12 富士フイルム株式会社 放射線画像処理装置、方法およびプログラム
JP7152377B2 (ja) 2019-09-27 2022-10-12 富士フイルム株式会社 放射線画像処理装置、方法およびプログラム
US11625834B2 (en) * 2019-11-08 2023-04-11 Sony Group Corporation Surgical scene assessment based on computer vision
KR102386496B1 (ko) * 2020-01-09 2022-04-14 주식회사 엠티이지 도구 인식 기반의 수술 동영상 간 유사도 비교 장치 및 방법
CN113496475B (zh) * 2020-03-19 2024-04-09 杭州海康慧影科技有限公司 内窥镜摄像系统中的成像方法、装置及计算机设备
US11348682B2 (en) 2020-04-05 2022-05-31 Theator, Inc. Automated assessment of surgical competency from video analyses
KR102321157B1 (ko) * 2020-04-10 2021-11-04 (주)휴톰 수술 후 수술과정 분석 방법 및 시스템
US20230177082A1 (en) * 2021-12-06 2023-06-08 Genesis Medtech (USA) Inc. Intelligent surgery video management and retrieval system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008276340A (ja) * 2007-04-26 2008-11-13 Hitachi Ltd 検索装置
JP2011036371A (ja) * 2009-08-10 2011-02-24 Tohoku Otas Kk 医療画像記録装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0692120B1 (en) * 1993-03-31 2002-10-09 Luma Corporation Managing information in an endoscopy system
US6614988B1 (en) * 1997-03-28 2003-09-02 Sharp Laboratories Of America, Inc. Natural language labeling of video using multiple words
US6829606B2 (en) * 2002-02-14 2004-12-07 Infoglide Software Corporation Similarity search engine for use with relational databases
US8220020B2 (en) * 2003-09-30 2012-07-10 Sharp Laboratories Of America, Inc. Systems and methods for enhanced display and navigation of streaming video
US8438163B1 (en) * 2010-12-07 2013-05-07 Google Inc. Automatic learning of logos for visual recognition
KR102201603B1 (ko) * 2012-07-25 2021-01-12 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술 시스템의 효율적인 쌍방향 출혈 검출 방법 및 시스템
JP2014081729A (ja) 2012-10-15 2014-05-08 Canon Inc 情報処理装置、情報処理システム、制御方法、およびプログラム
KR20150091053A (ko) * 2012-11-30 2015-08-07 톰슨 라이센싱 비디오 검색을 위한 방법 및 장치
US10692591B2 (en) * 2013-02-01 2020-06-23 B-Line Medical, Llc Apparatus, method and computer readable medium for tracking data and events
JP6448767B2 (ja) * 2014-04-24 2019-01-09 ナント・ホールデイングス・アイ・ピー・エル・エル・シー 画像物体認識におけるロバスト特徴特定
US9805472B2 (en) * 2015-02-18 2017-10-31 Sony Corporation System and method for smoke detection during anatomical surgery
US9905000B2 (en) * 2015-02-19 2018-02-27 Sony Corporation Method and system for surgical tool localization during anatomical surgery
US9767554B2 (en) * 2015-02-19 2017-09-19 Sony Corporation Method and system for detection of surgical gauze during anatomical surgery

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008276340A (ja) * 2007-04-26 2008-11-13 Hitachi Ltd 検索装置
JP2011036371A (ja) * 2009-08-10 2011-02-24 Tohoku Otas Kk 医療画像記録装置

Also Published As

Publication number Publication date
KR20190104463A (ko) 2019-09-09
KR102265104B1 (ko) 2021-06-15
EP3250114A4 (en) 2018-08-08
EP3250114A1 (en) 2017-12-06
JP2018517950A (ja) 2018-07-05
WO2016140795A1 (en) 2016-09-09
US20160259888A1 (en) 2016-09-08
KR20170110128A (ko) 2017-10-10
KR102203565B1 (ko) 2021-01-14
CN107405079A (zh) 2017-11-28

Similar Documents

Publication Publication Date Title
CN107405079B (zh) 用于解剖区域的视频图像的内容管理的方法和系统
KR102014385B1 (ko) 수술영상 학습 및 학습 기반 수술동작 인식 방법 및 장치
US9805472B2 (en) System and method for smoke detection during anatomical surgery
US11455788B2 (en) Method and apparatus for positioning description statement in image, electronic device, and storage medium
US20220180521A1 (en) Image processing method and apparatus, and electronic device, storage medium and computer program
US8891841B2 (en) Mobile dermatology collection and analysis system
KR101926123B1 (ko) 수술영상 분할방법 및 장치
US20200129042A1 (en) Information processing apparatus, control method, and program
US11921278B2 (en) Image status determining method an apparatus, device, system, and computer storage medium
CN113177928B (zh) 一种图像识别方法、装置、电子设备及存储介质
CN112075927B (zh) 脑卒中的病因分类方法及装置
US20200170485A1 (en) Information processing apparatus, control method, and program
EP3945459A1 (en) Devices, systems, and methods for labeling objects of interest during a medical procedure
CN112836058A (zh) 医疗知识图谱建立方法及装置、医疗知识图谱查询方法及装置
WO2023045645A1 (zh) 语音交互方法、电子设备及计算机可读存储介质
CN112784700B (zh) 人脸图像显示的方法、装置及存储介质
CN115444553B (zh) 进针点投影方法、装置、设备和存储介质
US20230045686A1 (en) Fusion of spatial and temporal context for location determination for visualization systems
EP4223250A1 (en) Surgical microscope system and system, method and computer program for a microscope of a surgical microscope system
KR20240021624A (ko) 어노테이션을 포함하는 영상 획득 방법 및 디바이스
CN113192606A (zh) 医疗数据处理方法及装置、电子设备和存储介质
CN111292842A (zh) 一种智能导诊实现方法
CN117333871A (zh) 注释方法、装置、设备以及存储介质
KR20240020296A (ko) 라벨링을 통한 영상 처리 방법, 디바이스 및 기록매체
CN115546240A (zh) 电子设备及器官轮廓获取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant