CN115103648A - 器械跟踪机器 - Google Patents

器械跟踪机器 Download PDF

Info

Publication number
CN115103648A
CN115103648A CN202180014215.7A CN202180014215A CN115103648A CN 115103648 A CN115103648 A CN 115103648A CN 202180014215 A CN202180014215 A CN 202180014215A CN 115103648 A CN115103648 A CN 115103648A
Authority
CN
China
Prior art keywords
image
instrument
procedure
instruments
depicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180014215.7A
Other languages
English (en)
Inventor
M·库马尔
S·D·简蒂卡
S·塞提斯
K·J·米勒
S·谢尔夫
C·P·卡罗尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stryker Corp
Original Assignee
Gauss Surgical Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gauss Surgical Inc filed Critical Gauss Surgical Inc
Publication of CN115103648A publication Critical patent/CN115103648A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A61B2090/0803—Counting the number of times an instrument is used
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363—Use of fiducial points
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Paper (AREA)
  • Looms (AREA)
  • User Interface Of Digital Computer (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

机器访问在规程发起之前捕获的第一图像，其中第一图像描绘器械的集合，以及在规程发起之后捕获的第二图像，其中第二图像描绘第一图像中描绘的器械的集合的真子集。根据第一图像和第二图像，机器可以确定在第一图像中描绘的器械的集合当中的器械未在第二图像中的器械的集合的真子集中描绘，然后引起通知的呈现，该通知指示在第二图像中未描绘的器械丢失了。可替代地或附加地，机器可以确定器械的集合当中的器械是否在规程中使用，然后引起通知的呈现，该通知指示器械是否在规程中被使用。

Description

器械跟踪机器
相关申请数据
本申请要求于2020年1月31日提交的美国临时专利申请No.62/968,538的权益，其内容通过引用整体并入本文。
技术领域
本文公开的主题一般而言涉及促进监视器械(例如，手术器械或其它工具)的专用机器的技术领域，包括此类专用机器的软件配置的计算机化变体以及对此类变体的改进，以及涉及与其它促进监视器械的专用机器相比，此类专用机器得到改进的技术。
背景技术
器械的集合(例如，外科手术工具的集合)可以布置在运输工具(例如，托盘或推车)上并被带到要执行(例如，对患者)的规程(例如，医疗规程，例如外科手术规程)的执行者(例如，外科医生)。并非所有器械都会在规程过程中使用(例如，30％-80％的手术器械未使用)，并且跟踪使用了哪些器械因此保证灭菌的时间、精力和成本以及哪些仪器没有使用会有所帮助。无论在规程期间使用还是未使用，在规程之后所有器械存在并被计数都会是有益的。例如，在医疗过程中跟踪手术器械可以限制或降低此类器械无意中留在患者体内的风险。
附图说明
一些实施例在附图中以示例而非限制的方式示出。
图1是图示根据一些示例实施例的适于操作器械跟踪机器的网络环境的网络图。
图2是图示根据一些示例实施例的适合用作器械跟踪机器的设备的组件的框图。
图3和4是图示根据一些示例实施例的设备在执行跟踪器械的方法中的操作的流程图。
图5和6是图示根据一些示例实施例的设备在执行跟踪器械的另一种方法中的操作的流程图。
图7是图示根据一些示例实施例的描绘器械的图像的屏幕截图，其中由app配置的设备已经添加了指示器械的边界框。
图8-10是图示根据一些示例实施例的描绘器械的图像的屏幕截图，并且其中由app配置的设备对于每个图像已经单独地和按器械类型添加了器械的计数。
图11是图示根据一些示例实施例的机器的组件的框图，该机器能够从机器可读介质读取指令并执行本文讨论的任何一种或多种方法。
具体实施方式
示例方法(例如，算法)促进器械或其它监视器械的检测、分类、识别和跟踪，并且示例系统(例如，由专用软件配置的专用机器)被配置为促进器械或其它监视器械的检测、分类、识别和跟踪。示例仅代表可能的变化。除非另有明确说明，结构(例如，结构组件，诸如模块)是可选的并且可以组合或细分，并且操作(例如，在过程、算法或其它功能中)可以按顺序变化或组合或细分。在以下描述中，出于解释的目的，阐述了许多具体细节以提供对各种示例实施例的透彻理解。但是，对于本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下实践本主题。
器械的精确和准确检测、分类和识别在提供器械库存的成本效益管理、提供健康和安全(例如，对于接受医疗规程的患者)或两方面都会是有价值的目标。器械使用信息可以帮助医院管理更新，例如，器械托盘仅包含可能使用的外科手术器械(例如，用于特定规程、由特定外科医生或两者兼有)。为此目的，机器(例如，配置有合适的软件(诸如合适的应用)的设备)被配置为用作器械跟踪机器并基于在规程(例如，医疗规程)发起之前和之后捕获的图像对于一个或多个器械执行器械检测、器械分类、器械识别、安装跟踪或任何合适的组合。如本文所使用的，“器械检测”是指检测在图像内的位置处描绘了具有未指定类型和未指定身份的器械；“器械分类”是指识别、辨别或以其它方式获得检测到的器械的类型；“器械识别”是指识别、辨别或以其它方式获得特定个体器械的身份，特别是与其它同类器械的身份形成对比。
根据本文讨论的示例系统和方法中的一个或多个进行配置，机器可以用作器械分类器，该器械分类器被配置为确定在图像中描绘的每个器械的类型(例如，剪刀或镊子)(例如，用于计数每种类型的器械的实例)，被配置为识别特定的个体对象的对象标识符(例如，连同检测、分类或两者一起)(诸如特定器械(例如，先前图像中先前描绘的相同剪刀或先前图像中先前描绘的相同镊子))，或两者兼有。对于外科手术器械，器械类型的示例包括抓握器(例如，镊子)、夹具(例如，封堵器)、针头驱动器(例如，持针器)、牵开器、牵引器、切割器、窥镜、吸头、密封装置、内窥镜、探头和卡尺。
是否实现为便携式(例如，移动)手持设备(例如，由app配置的智能电话)、便携式推车安装或背包安装设备、固定机器(例如，内置于医院手术室内，诸如内置于墙壁或天花板内)或其任何合适的组合，机器因而可以区分不同类型的器械、器械的不同个体实例，或两者兼有。在涉及大量外科手术器械的示例情况下，机器(例如，用作器械分类器)可以充当识别工具，以通过实时扫描它们来快速找到几个器械的对应类型。
在库存管理重要的示例情况下，机器可以提供器械跟踪功能。例如，许多医院的手术室常常面临在外科手术规程之后防止任何外科手术器械残留在患者体内的挑战，遗憾的是，这对于医院来说是个普遍的问题。为了应对这一挑战并避免此类事故，可以部署机器(例如，用作对象识别器)以在规程启动之前和之后(例如，在发起规程之前和完成规程之后)单独或按类型识别和计数手术器械，以确定在闭合患者之前是否考虑了规程开始时出现的所有器械。
根据本文所讨论的系统和方法的一些示例实施例，适当配置的机器访问在规程发起之前捕获的第一图像，其中第一图像描绘可以用在规程中的器械的集合。机器还访问在规程发起之后(例如，在规程中途、就在规程完成之前或在规程完成之后)捕获的第二图像，其中第二图像描绘第一图像中描绘的器械的集合的真子集。从这些图像中，机器确定第一图像中描绘的器械的集合当中的器械未在第二图像中的器械的集合的真子集中描绘。然后机器引起通知的呈现，该通知指示第一图像中描绘但第二图像中未描绘的器械从器械的集合中丢失。
根据本文所讨论的系统和方法的某些示例实施例，适当配置的机器访问在规程发起之前捕获的第一图像，并且第一图像描绘可以用在规程中的器械的集合。机器还访问在规程发起之后(例如，在规程中途、就在规程完成之前或在规程完成之后)捕获的第二图像，并且第二图像描绘第一图像中描绘的器械的集合的真子集。从这些图像中，机器基于第一和第二图像确定在规程期间(例如，作为执行规程的一部分)使用或未使用第一图像中描绘的器械的集合中的器械。然后机器引起通知的呈现，该通知指示器械在规程期间被使用或未被使用。
图1是图示根据一些示例实施例的适于操作器械跟踪机器的网络环境100的网络图。网络环境100包括数据库115以及设备130和150(例如，作为器械跟踪机器的示例)，所有设备都经由网络190彼此通信耦合。数据库115可以形成云118的全部或一部分(例如，被配置为用作单个服务器的地理分布的多个机器的集合)，其可以形成基于网络的系统105(例如，基于云的服务器系统，被配置为向设备130和150提供一种或多种基于网络的服务)的所有或者一部分。数据库115以及设备130和150可以全部或部分地在专用(例如，专门)计算机系统中实现，如下面关于图11所描述的。
图1中还示出了用户132和152。用户132和152中的一个或两个可以是人类用户(例如，人，诸如护士或外科医生)、机器用户(例如，由软件程序被配置为与设备130或150交互的计算机)，或其任何合适的组合(例如，由机器辅助的人或由人监督的机器)。用户132与设备130相关联并且可以是设备130的用户。例如，设备130可以是属于用户132的台式计算机、车载计算机、家庭媒体系统(例如，家庭影院系统或其它家庭娱乐系统)、平板计算机、导航设备、便携式媒体设备、智能电话或可穿戴设备(例如，智能手表、智能眼镜、智能服装或智能首饰)。同样，用户152与设备10相关联并且可以是设备150的用户。作为示例，设备150可以是属于用户152的台式计算机、车载计算机、家庭媒体系统(例如，家庭影院系统或其它家庭娱乐系统)、平板计算机、导航设备、便携式媒体设备、智能电话或可穿戴设备(例如，智能手表、智能眼镜、智能服装或智能首饰)。
图1中所示的任何系统或机器(例如，数据库和设备)可以是、包括或以其它方式以特定目的(例如，专门或其它非常规和非通用的)计算机实现，其已被修改为执行本文描述的用于系统或机器的一个或多个种功能(例如，由专用软件(诸如专用应用的一个或多个软件模块，操作系统、固件、中间件或其它软件程序)配置或编程)。例如，下面关于图11讨论了能够实现本文描述的任何一种或多种方法的专用计算机系统，因而这种专用计算机可以是用于执行本文讨论的任何一种或多种方法的装手段。在这种专用计算机的技术领域内，已经通过本文讨论的结构特别修改(例如，由专用软件配置)以执行本文讨论的功能的专用计算机与缺乏本文讨论的结构或无法执行本文讨论的功能的其它专用计算机相比在技术上有所改进。因而，根据本文讨论的系统和方法配置的专用机器提供了对类似专用机器的技术的改进。
如本文所使用的，“数据库”是一种数据存储资源，并且可以存储以各种方式中的任何一种结构化的数据，例如，作为文本文件、表格、电子表格、关系数据库(例如，对象关系数据库)、三元存储库、分层数据存储库、文档数据库、图形数据库、键-值对或它们的任何合适的组合。而且，图1中所示的系统或机器中的任何两个或更多个可以组合成单个系统或机器，并且本文针对任何单个系统或机器描述的功能可以在多个系统或机器之间细分。
网络190可以是使得能够在系统、机器、数据库和设备之间(例如，在机器110和设备130之间)进行通信的任何网络。因而，网络190可以是有线网络、无线网络(例如，移动或蜂窝网络)或其任何合适的组合。网络190可以包括构成私有网络、公共网络(例如，互联网)或其任何合适组合的一个或多个部分。因而，网络190可以包括一个或多个部分，这些部分结合了局域网(LAN)、广域网(WAN)、互联网、移动电话网络(例如，蜂窝网络)、有线电话网络(例如，普通老式电话服务(POTS)网络)、无线数据网络(例如，WiFi网络或WiMax网络)或其任何合适的组合。网络190的任何一个或多个部分可以经由传输介质传送信息。如本文所使用的，“传输介质”是指能够传送(例如，传输)指令以供机器(例如，由这种机器的一个或多个处理器)执行的任何无形(例如，暂时)介质，并包括数字或模拟通信信号或其它无形介质，以促进这种软件的通信。
图2是图示根据一些示例实施例的被配置为用作器械跟踪机器的设备130的组件的框图。设备130被示为包括图像访问器210、器械辨别器220、通知器230、相机240和深度传感器250，所有这些都被配置为彼此通信(例如，经由总线、共享存储器或开关)。图像访问器210可以是或包括访问模块或用于访问一个或多个图像的类似合适的软件代码。器械辨别器220可以是或包括辨别模块或用于辨别器械(例如，按类型或作为特定个体实例)的类似合适的软件代码。通知器230可以是或包括通知模块或类似合适的软件代码，用于生成通知并导致其呈现(例如，在设备130的显示屏上，经由设备130的音频扬声器，或两者)。
相机240可以是或包括被配置为捕获一个或多个图像(例如，数码照片)的图像捕获组件，并且捕获的图像可以包括或可以可视化光学数据(例如，RGB数据或另一个颜色空间中的光学数据)、红外线数据、紫外线数据、超声数据、雷达数据，或其任何合适的组合。根据各种示例实施例，相机240可以在手持电话的背面、包括显示屏的所安装设备的正面、安装并瞄准外科手术托盘的一个或多个相机的集合、擦洗技术人员的桌子处(例如，在手术室中)，或在装配工作站(例如，在器械供应商的装配室中)，或其任何合适的组合。相机或设备130的集合可以由app 200配置为融合来自多个相机的数据，这些相机对托盘、表面或/桌子进行成像(例如，立体地)。在一些情况下，设备130由app 200配置为在处理之前访问在运动期间捕获的多个图像(例如，经由图像拼接)，应用运动结构(structure-from-motion)算法或两者，以支持或增强器械检测、器械分类、器械识别或它们的任何合适的组合，如本文别处所讨论的。
深度传感器250可以是或包括红外传感器、雷达传感器、超声传感器、光学传感器、飞行时间相机、结构光扫描仪或其任何合适的组合。因而，深度传感器250可以被配置为生成与深度传感器250的范围内(例如，在视场范围内或在检测场内)的一个或多个对象(例如，器械)对应的深度数据(例如，表示到其的距离)。
如图2中所示，图像访问器210、器械辨别器220、通知器230或其任何合适的组合可以形成设备130上存储(例如，安装)并且在其上可执行的app 200(例如，移动app)的全部或部分(例如，响应于或以其它方式作为经由网络190从设备130接收的数据的结果)。此外，一个或多个处理器299(例如，硬件处理器、数字处理器或其任何合适的组合)可以被包括(例如，临时或永久地)在app 200、轮胎图像访问器210、器械辨别器220、通知器230或其任何合适的组合中。
本文描述的组件(例如，模块)中的任何一个或多个可以单独使用硬件(例如，处理器299中的一个或多个)或硬件和软件的组合来实现。例如，本文描述的任何组件可以物理地包括处理器299中的一个或多个的布置(例如，处理器299的子集或处理器299中的子集)，其被配置为执行本文针对该组件描述的操作。作为另一个示例，本文描述的任何组件可以包括配置处理器299中的一个或多个的布置以执行本文针对该组件描述的操作的软件、硬件或两者。因而，本文描述的不同组件可以包括和配置处理器299在不同时间点的不同布置或处理器299在不同时间点的单个布置。本文描述的每个组件(例如，模块)是用于执行本文针对那个组件描述的操作的手段的示例。而且，本文描述的任何两个或更多个组件可以组合成单个组件，并且本文针对单个组件描述的功能可以在多个组件当中细分。此外，根据各种示例实施例，本文描述为在单个系统或机器(例如，单个设备)内实现的组件可以分布在多个系统或机器(例如，多个设备)上。
图3和4是图示根据一些示例实施例的设备130在执行跟踪器械的方法300中的操作的流程图。方法300中的操作可以由设备130执行，使用上面关于图2描述的组件(例如，模块)，使用一个或多个处理器(例如，微处理器或其它硬件处理器)，或者使用其任何合适的组合。如图3中所示，方法300包括操作310、320、330和340。
在操作310中，图像访问器210访问(例如，接收、检索、读取或以其它方式获得)在规程发起之前捕获的第一图像。第一图像描绘可用于在执行规程时使用的器械的集合(例如，器械的参考集合)。例如，第一图像可以由设备130的相机240捕获(例如，通过拍摄其中已经布置了外科手术器械的集合以准备由外科医生执行的外科手术规程的外科手术托盘的数码照片)。在一些示例实施例中，第一图像由图像访问器210经由网络190从数据库115访问。也可以在第一图像中描绘一个或多个基准标记，并且此类基准标记可以是提高将在操作330中执行的器械分类、器械识别或两者的有效性的基础。
在操作320中，图像访问器210访问在规程发起之后(例如，在规程的中途、就在规程完成之前或在规程完成之后)捕获的第二图像。第二图像描绘第一图像中描绘的器械的集合的真子集(例如，一部分)。例如，第二图像可以由设备130的相机240捕获(例如，通过拍摄其中在发起外科手术规程之后和外科医生闭合对其执行外科手术规程的患者之前已经布置了第一图像中描绘的器械的集合的一部分的外科手术托盘的数码照片)。在一些示例实施例中，第二图像由图像访问器210经由网络190从数据库115访问。也可以在第二图像中描绘一个或多个基准标记，并且此类基准标记可以是提高将在操作330中执行的器械分类、器械识别或两者的有效性的基础。
在操作330中，器械辨别器220确定第一图像中描绘的器械的集合当中的器械未在第二图像中的器械的集合的真子集中描绘。根据一些示例实施例，器械辨别器220执行器械分类以确定特定类型器械的非特定实例从第二图像中丢失(例如，七个镊子中的一个丢失，因为在第一图像中中描绘了七个镊子，而第二图像中只描绘了六个镊子)。根据某些示例实施例，器械辨别器220执行器械识别以确定特定个体器械从第二图像中丢失(例如，特定剪刀被描绘在第一图像中但没有描绘在第二图像中)。在混合示例实施例中，器械辨别器220执行器械识别和器械分类两者。在进一步的示例实施例中，诸如当离散器械的计数不能以最小阈值置信度值进行时，器械辨别器220执行聚合的器械检测和聚合的器械分类以确定具有共享类型的器械的聚合(例如，夹子的堆)在体积、面积、高度或其它尺寸指标上从第一图像到第二图像已经改变(例如，减少)。
为了执行器械分类，器械辨别器220可以是或包括人工智能模块(例如，被训练为实现一个或多个计算机视觉算法的人工智能机器学习模块)，其形式是被训练为例如使用实时计算机视觉技术检测和分类图像中描绘的器械(例如，描绘布置在器械托盘内的外科手术器械的图像)的器械分类器。器械分类器可以是或包括深度卷积神经网络，诸如具有几个卷积层的深度卷积神经网络。深度卷积神经网络的顶部可以具有激活层(例如，Softmax激活层)，并且可以具有N个输出以预测N种不同类型(例如，类别)器械的概率。因而，器械分类器可以选择与最高概率对应的器械类型作为所描绘器械的预测类型。
在一些示例实施例中，器械辨别器220中的器械分类器是基于具有多个卷积层的分类训练模型而被训练的(例如，通过训练器机器)，其中所述卷积层具有增加的过滤器尺寸。例如，可以有4个卷积层，其过滤器尺寸从8增加到32，以经校正的学习单元作为它们的激活函数，其后可以是批处理规范层、池化层或两者。因而，全连接层可以包括表示训练集中14种类型(例如，类别)器械的14个节点，以及Softmax激活。分类训练模型可以使用自适应学习率优化算法(例如，Adam)，并且可以使用分类交叉熵作为损失函数。
根据某些示例实施例，训练集可以包含(例如，排他性地或非排他性地)描绘器械的参考集的参考图像，并且可以为特定的规程、外科医生、医院、器械供应商、地理区域或其任何合适的组合定制这样的参考集。而且，训练集可以包括在各种照明条件下捕获的参考图像、具有对应三维数据(例如，深度数据或所描绘器械的模型)的参考图像、参考运输工具(例如，参考托盘，其可以是空的或装有器械)的参考图像、背景物品(例如，毛巾、窗帘、地板表面或桌子表面)的参考图像，或其任何合适的组合。
为了执行器械识别，器械辨别器220可以是或包括对象识别器形式的人工智能模块，该对象识别器被训练为定位和识别给定图像内的感兴趣对象(例如，通过在定位的器械周围绘制边界框并分析边界框内的内容)。例如，对象识别器可以是或包括单次检测器(SSD)以inception-V2作为特征提取器。但是，神经网络体系架构的其它变体以及适合检测、分类或识别对象的其它类型的神经网络可以是合适的，以平衡准确性和推理时间之间的权衡。示例训练数据集可以包括N(例如，N＝10)种不同类型(例如，类别)的器械和几百到几千个图像(例如，227个图像或5000个图像)。对象识别器可以使用Pascal VOC度量来评估边界框度量。
在某些示例实施例中，器械辨别器220中的对象识别器是使用大型合成数据集来训练的(例如，以避免由于使用太小的数据集所带来的问题)。示例训练过程由训练机器(例如，控制渲染器机器或充当渲染器机器)物理模拟三维(3D)场景以及模拟已知相机的参数开始。然后，训练器机器在场景中随机放置3D物体(例如，将3D器械随机放置在3D托盘上)，并基于诸如物体遮挡、光照、阴影之类的各种因素对场景进行渲染。然后训练器机器人工捕获场景中被渲染的3D对象的图像。系统随机改变(例如，经由域随机化)3D对象的位置、朝向或姿势、照明、相机位置以及这个模拟中3D对象的数量，以自动生成图像的大型且多样化的合成数据集。训练器机器可以在模拟期间自动生成适当的对应数据标签(例如，边界框和分割掩码)，从而降低标注成本。
根据一些示例实施例，训练器机器以如下方式训练器械辨别器220中的对象识别器。首先，训练器机器使用描绘外科手术器械的图像的合成的生成的数据集来预训练对象识别器(例如，训练由对象识别器实现的对象识别模型)。在使用这个合成数据集进行预训练之后，训练器机器基于描绘特定类型外科手术器械的小型真实(例如，非合成)图像数据集修改(例如，通过进一步训练)对象识别器。小型真实数据集可能是人工策展的。在某些示例实施例中，训练器机器的合适替代物执行对象识别器的训练。
步骤1：为了生成合成的外科手术器械数据集，训练器机器可以启动或以其它方式调用一个或多个渲染应用(例如，
Figure BDA0003794309130000111
或Unreal Gaming
Figure BDA0003794309130000112
)。为了渲染合成图像，训练器机器可以访问以下示例输入：
1.不同外科手术器械的3D模型(例如，计算机辅助设计(CAD)模型)，
2.外科手术器械的表面纹理信息，
3.用于定义照明的参数的范围(例如，以模拟医院手术室)，诸如亮度范围或光谱成分变化的范围，
4.相对于要放置外科手术器械的外科手术托盘的可能的相机位置的范围(例如，方位角、仰角、平移、倾斜等)以从特定角度捕获图像，以及
5.要渲染的器械的数量和种类。
在某些示例实施例中，训练器机器将随机数量的虚拟外科手术器械人工放置在具有任意朝向和位置的虚拟外科手术托盘上。然后训练器机器生成表现出不同遮挡量的合成图像，从无遮挡到严重遮挡。在这个模拟期间，合成数据集中的遮挡量可以是定制的参数。
步骤2：训练器机器将步骤1中生成的合成手术器械数据集作为训练数据集来训练对象识别器。
步骤3：训练器机器访问(例如，从数据库115)描绘自然放置在真实外科手术托盘上的真实外科手术器械的现实图像的小数据集。现实图像的数据集有助于弥合使用合成的图像和使用真实图像之间的差异(例如，仅使用大量合成的图像训练对象识别器与仅使用少量真实图像训练对象识别器之间的差异)。
在一些实施方式中，用于器械的运输工具上(例如，在外科手术托盘上)或器械本身上的一个或多个基准标记可以被用于帮助器械检测、器械分类、器械识别或其任何合适的组合。例如，在运输工具是专用骨科托盘的情况下，器械辨别器220可以访问描绘没有任何器械的空骨科托盘的模板图像(例如，掩模图像)，然后从第一图像中减去模板图像以获得第一差异图像(例如，第一分割图像)，该图像在规程的发起之前更清楚地描绘各个器械。类似地，器械辨别器220可以从第二图像中减去模板图像以获得第二差异图像(例如，第二分割图像)，该图像更清楚地描绘在规程发起之后(例如，在规程结束或其附近)的各个器械。第一和第二差异图像可以由器械辨别器220准备以准备操作340或器械检测、器械分类、器械识别或其任何合适组合的替代实施方式，在这个意义上，整形外科托盘充当第一图像、第二图像或两者中的基准标记。
在某些示例实施例中，组合多个独立的分类器(例如，深度学习分类器、差异图像分类器或其任何合适的组合)的输出以在执行器械分类、器械识别或两者时提高关于器械的给定运输工具(例如，托盘)的准确度、精度或两者。具体而言，独立的算法可以确定并输出对应的概率，该概率指示(1)托盘是完整的还是不完整的，(2)托盘的多个预定模板区域当中的每个预定模板区域被填充还是未填充，以及(3)什么是托盘上检测到的每个对象的分类(例如，是否是器械，如果是，那么是什么类型的器械)。这三个独立算法的联合可以更好地表示托盘是否确实完整，如果是，那么可能缺少哪个器械。
在操作340中，通知器230导致呈现(例如，视觉、听觉或两者)通知，该通知指示未在第二图像中描绘的器械从器械的集合中丢失。通知的呈现可以采取显示弹出窗口、播放警报声音、向另外的设备(例如，护士或外科医生的智能电话)发送消息、触发与被视为丢失的器械对应的预定过程(例如，器械查找过程或患者检查过程)或其任何合适的组合的示例形式。
根据各种示例实施例，所呈现的通知指示特定器械是否丢失。可替代地或附加地，所呈现的通知可以指示用于在第一图像中描绘的器械的集合的运输工具(例如，托盘或推车)是完整的还是不完整的(例如，与器械的参考集合相比，诸如器械的标准外科手术托盘、器械的闭合托盘或器械的矫形托盘)。可替代地或附加地，所呈现的通知可以包括标准化的报告，该报告列出第一图像中描绘的器械的集合中的每个器械，以及该器械是否被使用的对应指示符(例如，标记或标志)，器械何时被拿起(例如，作为时间戳)，器械何时被归还(例如，归还到擦洗技术人员或运输工具)，器械在患者体内的停留时间，器械是否曾经出现或仍被保留，或其任何合适的组合。在一些示例实施例中，所呈现的通知包括丢失器械的总计数、丢失器械的列表(例如，按类型表示、表示为特定的个体器械，或两者)，或其任何合适的组合。
此外，用户反馈特征可以由app 200实现，使得用户132被提示确认或纠正所呈现的存在或不存在工具的总计数，并且用户132的响应被用作标签以进一步训练和改进器械辨别器220中的一个或多个人工智能模块。在一些示例实施例中，app 200可以与更多的用户交互操作并且提示用户132确认(例如，手动地、视觉地或两者)包含在所呈现的通知中的信息的一些或全部。
如图4中所示，除了先前针对方法300描述的操作中的任何一个或多个，方法300还可以包括操作410、412、422、430、431、434、435、436和437中的一个或多个。
操作410可以作为操作310的一部分(例如，前导任务、子例程或一部分)来执行，其中图像访问器210访问第一图像。在操作410中，第一图像是参考图像，其描绘与规程对应(例如，通过为规程指定)、与规程的执行者(例如，外科医生)对应(例如，通过由执行者指定)的器械的集合(例如，器械的标准化集合)，或与两者对应，并且基于(例如，响应于)其与规程、与规程的执行者或与两者的对应关系来访问参考图像。
在替代示例实施例中，操作412可以作为操作310的一部分被执行。在操作412中，通过作为捕获帧序列(例如，视频的第一帧的第一序列)的一部分捕获第一图像来访问第一图像。例如，图像访问器210可以访问来自相机240的视频数据，同时设备130在器械的集合上方移动(例如，经过保持器械的集合的外科手术托盘)并记录视频帧的序列，其中这是第一图像。在此类示例实施例中，app 200可以包括并执行被配置为从包括第一图像的视频帧的序列推断深度数据的立体算法(例如，运动结构算法)，并且这个深度数据可以是在操作330中确定器械丢失的基础或其它因素。
类似地，在某些示例实施例中，操作422可以作为操作320的一部分被执行，其中图像访问器210访问第二图像。在操作422中，通过捕获第二图像作为捕获帧序列(例如，视频的第二帧的第二序列)的一部分来访问第二图像。例如，图像访问器210可以访问来自相机240的视频数据，同时设备130在器械的集合的一部分上移动(例如，经过持有器械的集合的一部分的外科手术托盘)并记录视频帧的序列，其中它是第二图像。在此类示例实施例中，app 200可以包括并执行被配置为从包括第二图像的视频帧的序列推断深度数据的立体算法，并且这个深度数据可以是在操作330中确定器械丢失的基础或其它因素。
如图4中所示，操作430和431可以作为操作330的一部分被执行，其中器械辨别器220确定第一图像中描绘的器械的集合当中的器械没有在第二图像中的器械的集合的真子集中被描绘。
在操作430中，器械辨别器220(例如，光学地，有或没有来自深度数据的补充支持)在第一图像中辨别出器械的形状。例如，如上所述，器械辨别器220可以是或包括器械分类器、对象识别器或两者的组合，并且器械辨别器220可以相应地被训练为通过它的形状检测(例如，识别)和分类器械，如第一图像中所描绘的。
在操作431中，器械辨别器220尝试但未能(例如，光学地，有或没有来自深度数据的补充支持)在第二图像中辨别出器械的形状。例如，如上所述，器械辨别器220可以是或包括器械分类器、对象识别器或两者的组合，并且器械辨别器220可以相应地被训练以检测(例如，识别)和分类器械通过它的形状，如第二图像中所描绘的。但是，因为器械未在第二图像中描绘，所以器械辨别器220未能检测或分类该器械。
如图4中所示，操作434和435可以作为操作330的一部分被执行，其中器械辨别器220确定第一图像中描绘的器械的集合中的器械没有在第二图像中的器械的集合的真子集中被描绘。
在操作434中，器械辨别器220访问器械的参考模型。参考模型可以是三维的并且可以从数据库115访问。例如，如果操作430已经被执行，那么器械辨别器220可以基于(例如，响应于)在操作430中通过其形状识别器械来访问器械的参考模型。
在操作435中，器械辨别器220尝试但未能在第二图像中辨别出(例如，在光学上，有或没有来自深度数据的补充支持)器械的参考模型的多个轮廓中的每一个(例如，如在操作434中访问的)。例如，器械辨别器220可以从参考模型生成轮廓的集合，并将该轮廓的集合中的每个轮廓与器械的集合的真子集中的器械的形状进行比较，如第二图像中所描绘的。但是，因为第二图像中未描绘该器械，所以器械辨别器220未能在第二图像中辨别出器械的参考模型的任何轮廓。
如图4中所示，操作436和437可以作为操作330的一部分被执行，其中器械辨别器220确定第一图像中描绘的器械的集合中的器械没有在第二图像中的器械的集合的真子集中被描绘。
在操作436中，器械辨别器220访问深度数据，该深度数据表示第二图像中描绘的器械的集合的真子集的当前形状。例如，深度数据可以由设备130的深度传感器250捕获，并且器械识别器220可以访问来自深度传感器250的深度数据。
在操作437中，器械辨别器220将器械的参考形状与器械的集合的真子集的每个当前形状进行比较。如上所述，当前形状可以由在操作436中访问的深度数据表示。如果先前已执行操作434以访问表示器械的参考形状的参考模型，那么可以在操作437中执行的比较中使用相同的参考形状。在其它示例实施例中，操作437包括访问或以其它方式获得器械的参考形状(例如，以与上面针对操作434描述类似的方式)。
图5和6是图示根据一些示例实施例的设备130在执行跟踪器械的方法500中的操作的流程图。方法500中的操作可以由设备130执行，使用上面关于图2描述的组件(例如，模块)，使用一个或多个处理器(例如，微处理器或其它硬件处理器)，或者使用其任何合适的组合。如图5中所示，方法500包括操作510、520、530和540。
在操作510中，图像访问器210访问(例如，接收、检索、读取或以其它方式获得)在规程发起之前捕获的第一图像。第一图像描绘可用于在执行规程时使用的器械的集合。例如，第一图像可以由设备130的相机240捕获(例如，例如，通过拍摄其中已经布置了外科手术器械的集合以准备由外科医生执行的外科手术规程的外科手术托盘的数码照片)。在一些示例实施例中，第一图像由图像访问器210经由网络190从数据库115访问。也可以在第一图像中描绘一个或多个基准标记，并且此类基准标记可以是提高将在操作530中执行的器械分类、器械识别或两者的有效性的基础。在各种示例实施例中，操作510与方法300中的操作310类似地执行，如上所述。
在操作520中，图像访问器210访问在规程发起之后捕获的第二图像。第二图像描绘第一图像中描绘的器械的集合的子集。该子集可以是器械的集合的真子集(例如，一部分)或与器械的整个集合一致的子集。即，第二图像中可以没有缺少器械。例如，第二图像可以由设备130的相机240捕获(例如，通过拍摄其中在发起外科手术规程之后和外科医生闭合对其执行外科手术规程的患者之前已经布置了第一图像中描绘的器械的集合的一部分的外科手术托盘的数码照片)。在一些示例实施例中，第二图像由图像访问器210经由网络190从数据库115访问。也可以在第二图像中描绘一个或多个基准标记，并且此类基准标记可以是提高将在操作530中执行的器械识别的有效性的基础。
在操作530中，器械辨别器220基于第一和第二图像确定在第一图像中描绘的器械的集合中的器械在规程中是被使用还是未使用。根据一些示例实施例，器械辨别器220执行器械识别以确定特定的个体器械存在于两个图像中但表现出一个或多个光学可检测的使用指示。此类指示包括例如从第一图像中的运输工具(例如，外科手术托盘)内的第一位置移动到第二图像中的运输工具内的第二位置，外观从第一图像中不存在生物负载(例如，患者流体(诸如血液)的一个或多个斑点)到第二图像中存在生物负载的改变，或其任何合适的组合。由器械辨别器220在执行器械识别(例如，经由对象识别器)中使用的算法的示例细节和训练器械辨别器220(例如，对象识别器)的示例细节在上面讨论(例如，关于方法300中的操作330)。例如，一个或多个基准标记可以以类似于上述方式的方式在第一图像、第二图像或两者中使用。
在操作540中，通知器230导致呈现(例如，视觉的、听觉的或两者)通知，该通知指示器械在规程中被使用还是未被使用。通知的呈现可以采用以下示例形式：显示弹出窗口、播放警告声音、向另外的设备(例如，护士、外科医生、护理人员或库存管理者的智能电话)发送消息、触发与为器械确定的使用或未使用状态对应的预定过程(例如，使用过的器械计数过程、未使用的器械计数过程，或器械消毒过程)，或其任何合适的组合。
此外，在某些示例性实施例中，可以在没有操作520和540中的一个或两个的情况下执行操作510和530，使得第一图像中描绘的器械被直接分类、识别或两者兼有，具有通知的结果呈现，该通知指示被分类、识别或两者兼有的器械的计数；器械的类型、器械的名称、器械的参考图像，或其任何合适的组合。此类示例实施例在新的擦洗技术人员或新的外科医生不能回忆或不知道器械叫什么的情况下可以是有帮助的。为了通过机器快速分类或识别器械，新的擦洗技术人员或新的外科医生可以在设备130的相机240前面保持器械，并且app200可以使用计算机视觉和深度学习(例如，通过执行器械分类、器械识别或两者，如上面关于操作330所描述的)以获得答案，该答案可以被提供指示对答案的置信度水平的似然分数。这些示例实施例中的一些位于安装的供应链环境中，其中相机(例如，相机240)被定位成对桌子成像，器械托盘装配者将器械放置在桌子上，并且设备(例如，如本文所述，设备130)扫描器械并对被扫描的器械执行自动分类、识别或两者。
此外，在各种示例实施例中，可以在没有操作520和540之一或两者的情况下执行操作310和530，从而基于本文讨论的系统和方法通过用自动核对表替换一个或多个高度手动的过程(例如，当器械被手动添加到新托盘时，手动标记标准化电子核对表)。在此类示例实施例中，托盘装配者可以抓取器械，对器械进行成像(例如，使用多种模态中的一种或多种)，并且设备(例如，设备130)在装配表上自动核对该器械(例如，列出要添加到新托盘的器械)。
此外，在一些示例实施例中，重复执行操作510和530，使得生成视觉记录以跟踪例如每个器械是否或何时从托盘中被移除，每个被移除的器械是否或何时返回到托盘，以及每个被移除的器械是否看起来被使用过。可以提供这种视觉记录的全部或部分(例如，由设备130提供给数据库115)以包括在电子病历中(例如，与经历该规程的患者对应)。
而且，本文讨论的器械的自动分类或识别可以延伸到托盘上的器械之外，以便为在医院手术室中发现的任何其它消耗品提供类似的益处，并且也向前延伸至其它设置。例如，药物推车中的药物可以以类似于本文针对托盘上的器械描述的方式被跟踪(例如，以确保在外科手术期间不会滥用或丢失受控物质，诸如阿片类药物)。因而，在一些示例实施例中，药物可以由app(例如，app 200)配置的设备(例如，设备130)扫描，并且当麻醉师使用每种药物时，设备可以导致呈现指示药物推车的可视记录的全部或部分的通知。视觉记录可以指示每种药物(例如，每种受控物质)是如何被施用或以其它方式使用的，以及施用或其它用途的对应时间戳。
如图6中所示，除了先前针对方法500描述的任何一个或多个操作之外，方法500还可以包括操作630、632和634中的一个或多个。操作630、632和634中的一个或多个可以作为操作630的一部分被执行，其中器械辨别器220基于第一和第二图像确定在第一图像中描绘的器械在规程中是被使用还是未被使用。
在操作630中，作为确定器械是否被使用的一部分，器械辨别器220确定器械是否从第一图像中描绘的运输工具内的第一位置移动到在第二图像中描绘的运输工具内的第二位置。
在操作632中，作为确定器械是否被使用的一部分，器械辨别器220识别(例如，光学地)在第一图像中描述的器械上不存在生物负载(例如，来自患者的血迹或其它体液的斑点)。
在操作634中，作为确定器械是否被使用的一部分，器械辨别器220识别(例如，光学地)在同一器械上生物负载的存在(例如，来自患者的一个或多个血迹或另一种体液的斑点)，如第二图像中所描绘的。
根据各种示例实施例，本文描述的方法中的一种或多种可以促进器械(例如，外科手术器械)的跟踪。而且，本文描述的方法中的一种或多种可以促进按类型对器械进行检测和量化、对各个器械进行检测和跟踪，或两者兼有。因此，与现有系统和方法的能力相比，本文描述的方法中的一种或多种可以促进器械库存的更精确和准确管理以及相关联的维护成本(例如，灭菌规程)，以及降低(例如，接受医疗规程的患者的)健康和安全风险。
图7是图示根据一些示例实施例的描绘器械的图像的屏幕截图，并且其中由app200配置的设备130已经添加了指示器械的边界框。
图8-10是图示根据一些示例实施例的描绘器械的图像的屏幕截图，并且其中由app 200配置的设备130对于每个图像已经单独地和按器械的类型添加了器械的计数数量。
如图7-10中所示，app 200可以将设备130配置为使用相机240实时地扫描其环境，同时连续运行器械辨别器220(例如，运行对象识别器)，使得，当相机240捕获到任何器械时，app 200显示器械周围的边界框，连同它们的类型(例如，类名)以及图像中识别出的总器械的计数(例如，在当前显示的视频帧中)。
根据本文讨论的技术，app 200可以配置任何合适的设备(例如，设备130)以使用器械辨别算法(例如，在器械辨别器220中实施，如上所述)。app 200可以向用户132提供调用用于app 200、用于设备130或用于两者的多种操作模式中的任何一种的能力。作为示例，此类操作模式可以包括手术室全特征模式(例如，启用所有特征的全模式)、手术室部分特征模式(例如，禁用或卸载计算密集型特征的灯光模式)、供应链模式、外科手术后质量控制模式、骨科销售模式，或其任何合适的组合。
用于器械分类或图像识别的上述算法中的任何一种或多种可以独立地应用于不同上下文中的不同用例。此外，这些算法中的任何一种或多种可以应用于器械的部分(例如，剪刀的尖端、器械的手柄或器械的支点)并相应地执行部分分类、部分识别或两者，其方式类似于本文针对器械分类、器械识别或两者描述的那些。因此，器械辨别器220的各种示例可以包括在器械部分上训练的附加人工智能模块(例如，用一个或多个深度学习网络)，并且附加人工智能模块可以被用于支持(例如，确认、验证或修改)由在整个器械、整个托盘或两者上的主要人工智能模块进行的分类、识别或两者。
当综合考虑这些效果时，本文描述的方法中的一种或多种可以消除对否则将涉及器械跟踪的某些努力或资源的需要。可以通过使用(例如，依赖)实现本文描述的方法中的一种或多种的专用机器来减少用户在跟踪器械中花费的努力。由一个或多个系统或机器(例如，在网络环境100内)使用的计算资源可以类似地减少(例如，与缺乏本文讨论的结构或不能执行本文讨论的功能的系统或机器相比)。此类计算资源的示例包括处理器周期、网络流量、计算容量、主存储器使用、图形渲染容量、图形存储器使用、数据存储容量、功耗和冷却容量。
图11是图示根据一些示例实施例的机器1100的组件的框图，其能够从机器可读介质1122(例如，非暂态机器可读介质、机器可读存储介质、计算机可读存储介质，或其任何合适的组合)读取指令1124并整体或部分地执行本文讨论的方法中的任何一种或多种。具体而言，图11以计算机系统(例如，计算机)的示例形式示出了机器1100，其中用于使机器1100整体或部分地执行本文讨论的方法中的任何一种或多种的指令1124(例如，软件、程序、应用、小应用、app，或其它可执行代码)可以被整体或部分地执行。
在替代实施例中，机器1100作为独立设备操作或者可以通信地耦合(例如，联网)到其它机器。在联网的部署中，机器1100可以在服务器-客户端网络环境中以服务器机器或客户端机器的容量操作，或者作为分布式(例如，对等)网络环境中的对等机器操作。机器1100可以是服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、蜂窝电话、智能电话、机顶盒(STB)、个人数字助理(PDA)、web器具、网络路由器、网络交换机、网桥，或能够顺序地或以其它方式执行指定那个机器要采取的动作的指令1124的机器。另外，虽然仅图示了单个机器，但术语“机器”也应被理解为包括单独或联合执行指令1124以执行本文讨论的方法中的任何一种或多种的全部或部分的任何机器集合。
机器1100包括处理器1102(例如，一个或多个中央处理单元(CPU)、一个或多个图形处理单元(GPU)、一个或多个数字信号处理器(DSP)、一个或多个专用集成电路(ASIC)、一个或多个射频集成电路(RFIC)，或其任何合适的组合)、主存储器1104和静态存储器1106，它们被配置为经由总线1108彼此通信。处理器1102包含固态数字微电路(例如，电子的、光学的或两者兼有)，这些微电路可由指令1124中的一些或全部临时或永久配置，使得处理器1102可被配置为整体或部分地执行本文描述的方法中的任何一种或多种。例如，处理器1102的一个或多个微电路的集合可以可配置为执行本文描述的一个或多个模块(例如，软件模块)。在一些示例实施例中，处理器1102是多核CPU(例如，双核CPU、四核CPU、8核CPU或128核CPU)，其中多个核中的每一个都表现为能够整体或部分地执行本文讨论的方法中的任何一种或多种的单独处理器。虽然本文描述的有益效果可以由具有至少处理器1102的机器1100提供，但是这些相同的有益效果可以由不包含处理器的不同种类的机器(例如，纯机械系统、纯液压系统，或混合机械-液压系统)提供，如果这种无处理器机器被配置为执行本文描述的方法中的一种或多种的话。
机器1100还可以包括图形显示器1110(例如，等离子体显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪、阴极射线管(CRT)，或能够显示图形或视频的任何其它显示器)。机器1100还可以包括字母数字输入设备1112(例如，键盘或小键盘)、指针输入设备1114(例如，鼠标、触摸板、触摸屏、轨迹球、操纵杆、触控笔、运动传感器、眼睛跟踪设备、数据手套或其它指点器械)、数据存储装置1116、音频生成设备1118(例如，声卡、放大器、扬声器、耳机插孔，或其任何合适的组合)，以及网络接口设备1120。
数据存储装置1116(例如，数据存储设备)包括机器可读介质1122(例如，有形的和非暂态的机器可读存储介质)，其上存储有实施本文描述的方法或功能中的任何一种或多种的指令1124。指令1124还可以在被机器1100执行之前或期间完全或至少部分地驻留在主存储器1104内、静态存储器1106内、处理器1102内(例如，在处理器的高速缓存存储器内)，或其任何合适的组合。因而，主存储器1104、静态存储器1106和处理器1102可以被认为是机器可读介质(例如，有形的和非暂态的机器可读介质)。指令1124可以经由网络接口设备1120在网络190上被传输或接收。例如，网络接口设备1120可以使用任何一种或多种传输协议(例如，超文本传输协议(HTTP))。
在一些示例实施例中，机器1100可以是便携式计算设备(例如，智能电话、平板计算机或可穿戴设备)并且可以具有一个或多个附加输入组件1130(例如，传感器或量规)。此类输入组件1130的示例包括图像输入组件(例如，一个或多个相机)、音频输入组件(例如，一个或多个麦克风)、方向输入组件(例如，指南针)、位置输入组件(例如，全球定位系统(GPS)接收器)、朝向组件(例如，陀螺仪)、运动检测组件(例如，一个或多个加速度计)、高度检测组件(例如，高度计)、温度输入组件(例如，温度计)和气体检测组件(例如，气体传感器)。由这些输入组件1130中的任何一个或多个搜集的输入数据可由本文描述的任何模块访问和使用(例如，具有适当的隐私通知和保护，诸如选择加入同意或选择退出同意，根据用户偏好、适用法规或其任何合适的组合来实现)。
如本文所使用的，术语“存储器”是指能够临时或永久存储数据的机器可读介质，并且可以被认为包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪存存储器和高速缓存存储器。虽然机器可读介质1122在示例实施例中被示为单个介质，但术语“机器可读介质”应当被理解为包括能够存储指令的单个介质或多个介质(例如，集中式或分布式数据库，或相关联的高速缓存和服务器)。术语“机器可读介质”还应被认为包括能够携带(例如，存储或传送)指令1124以供机器1100执行的任何介质或多种介质的组合，使得指令1124在由机器1100的一个或多个处理器(例如，处理器1102)执行时使机器1100整体或部分地执行本文描述的方法中的任何一种或多种。因而，“机器可读介质”是指单个存储装置或设备，以及包括多个存储装置或设备的基于云的存储系统或存储网络。因而，术语“机器可读介质”应被理解为包括但不限于以固态存储器芯片、光盘、磁盘或其任何合适的组合的示例形式的一个或多个有形和非暂态的数据储存库(例如，数据卷)。
如本文所使用的，“非暂态”机器可读介质具体地排除传播信号本身。根据各种示例实施例，用于由机器1100执行的指令1124可以经由载体介质(例如，机器可读载体介质)来传送。这种载体介质的示例包括非暂态载体介质(例如，非暂态机器可读存储介质，诸如可从一个地方物理移动到另一个地方的固态存储器)和暂态载体介质(例如，传送指令1124的载波或其它传播信号)。
某些示例实施例在本文中被描述为包括模块。模块可以构成软件模块(例如，存储或以其它方式实施在机器可读介质或传输介质中的代码)、硬件模块或其任何合适的组合。“硬件模块”是能够执行某些操作并且可以以某种物理方式配置或布置的有形(例如，非暂态)物理组件(例如，一个或多个处理器的集合)。在各种示例实施例中，一个或多个计算机系统或其一个或多个硬件模块可以由软件(例如，应用或其部分)配置为硬件模块，该硬件模块进行操作以执行本文针对那个模块描述的操作。
在一些示例实施例中，硬件模块可以机械地、电子地、液压地来实现，或者其任何合适的组合。例如，硬件模块可以包括永久被配置为执行某些操作的专用电路系统或逻辑。硬件模块可以是或包括专用处理器，诸如现场可编程门阵列(FPGA)或ASIC。硬件模块还可以包括由软件临时配置为执行某些操作的可编程逻辑或电路系统。作为示例，硬件模块可以包括涵盖在CPU或其它可编程处理器内的软件。将认识到的是，以机械方式、液压方式、在专用和永久配置的电路系统中或在临时配置的电路系统(例如，由软件配置)中实现硬件模块的决定可以由成本和时间考虑来驱动。
因而，短语“硬件模块”应当被理解为涵盖可以被物理构造、永久配置(例如，硬连线)或临时配置(例如，编程)为以某种方式操作或执行本文描述的某些操作的有形实体。此外，如本文所使用的，短语“硬件实现的模块”是指硬件模块。考虑到硬件模块被临时配置(例如，被编程)的示例实施例，每个硬件模块不需要在任何一个时间实例被配置或实例化。例如，在硬件模块包括通过软件被配置为专用处理器的CPU的情况下，CPU可以在不同时间被配置为分别不同的专用处理器(例如，各自包括在不同的硬件模块中)。软件(例如，软件模块)可以相应地配置一个或多个处理器，例如，以在一个时间实例变成或以其它方式构成特定硬件模块，并在不同的时间实例变成或以其它方式构成不同的硬件模块。
硬件模块可以向其它硬件模块提供信息以及从其它硬件模块接收信息。因而，所描述的硬件模块可以被认为是通信耦合的。在同时存在多个硬件模块的情况下，可以通过硬件模块中的两个或更多个之间的信号传输(例如，通过电路和总线)来实现通信。在其中多个硬件模块在不同时间被配置或实例化的实施例中，这些硬件模块之间的通信可以例如通过在多个硬件模块可以访问的存储器结构中存储和检索信息来实现。例如，一个硬件模块可以执行操作并将该操作的输出存储在它通信耦合到的存储器(例如，存储器设备)中。然后，另一个硬件模块可以在稍后时间访问存储器以检索和处理所存储的输出。硬件模块还可以发起与输入或输出设备的通信，并且可以对资源(例如，来自计算资源的信息的集合)进行操作。
本文描述的示例方法的各种操作可以至少部分地由一个或多个处理器执行，这些处理器被临时配置(例如，通过软件)或永久配置为执行相关操作。无论是临时配置还是永久配置，此类处理器都可以构成处理器实现的模块，这些模块操作以执行本文描述的一个或多个操作或功能。如本文所使用的，“处理器实现的模块”是指其中硬件包括一个或多个处理器的硬件模块。因而，本文描述的操作可以至少部分地由处理器实现、硬件实现或两者兼有，因为处理器是硬件的示例，并且本文讨论的方法中的任何一种或多种内至少一些操作可以由一个或多个处理器实现的模块、硬件实现的模块或其任何合适的组合来执行。
而且，此类一个或多个处理器可以在“云计算”环境中或作为服务(例如，在“软件即服务”(SaaS)实施方式中)执行操作。例如，本文讨论的方法中的任何一种或多种内的至少一些操作可以由一组计算机(例如，作为包括处理器的机器的示例)执行，这些操作可经由网络(例如，互联网)并经由一个或多个适当接口(例如，应用程序接口(API))访问。某些操作的执行可以分布在一个或多个处理器之间，无论是仅驻留在单个机器内还是部署在多个机器上。在一些示例实施例中，一个或多个处理器或硬件模块(例如，处理器实现的模块)可以位于单个地理位置(例如，在家庭环境、办公室环境或服务器场内)。在其它示例实施例中，一个或多个处理器或硬件模块可以分布在多个地理位置。
在整个本说明书中，多个实例可以实现被描述为单个实例的组件、操作或结构。虽然一种或多种方法的各个操作被图示和描述为分离的操作，但是可以并发地执行各个操作中的一个或多个，并且没有什么要求以所示的次序执行这些操作。在示例配置中呈现为分离组件和功能的结构及其功能可以被实现为具有组合功能的组合结构或组件。类似地，呈现为单个组件的结构和功能性可以被实现为单独的组件和功能。这些和其它变化、修改、添加和改进落入本文主题的范围内。
本文讨论的主题的一些部分可以根据算法或对存储为存储器(例如，计算机存储器或其它机器存储器)内的位或二进制数字信号的数据的操作的符号表示来呈现。此类算法或符号表示是数据处理领域的普通技术人员用来将他们的工作的实质传达给本领域的其他技术人员的技术的示例。如本文所使用的，“算法”是导致期望结果的自洽操作序列或类似处理。在这个上下文中，算法和操作涉及物理量的物理操纵。通常但并非必需，此类量可以采取能够被机器存储、访问、传送、组合、比较或以其它方式操纵的电、磁或光信号的形式。有时，主要出于常用的原因，使用诸如“数据”、“内容”、“位”、“值”、“元素”、“符号”、“字符”、“项”、“数字”、“数值”等词来指代此类信号是方便的。但是，这些词仅仅是方便的标签并且应当与适当的物理量相关联。
除非另有明确说明，否则本文使用诸如“访问”、“处理”、“选择”、“计算”、“计算”、“确定”、“生成”、“呈现”、“显示”等词的讨论是指可由机器(例如，计算机)执行的动作或过程，该机器(例如，计算机)操纵或变换在一个或多个存储器(例如，易失性存储器、非易失性存储器，或其任何合适的组合)、寄存器或接收、存储、传输或显示信息的其它机器组件内被表示为物理(例如，电、磁或光学)量的数据。此外，除非另有明确说明，否则本文使用术语“一个”或“一种”，如专利文献中常见的，以包括一个或多于一个实例。最后，如本文所使用的，连词“或”是指非排他性的“或”，除非另有明确说明。
以下列举的描述描述本文讨论的方法、机器可读介质和系统(例如，机器、设备或其它装置)的各种示例。
第一示例提供了一种方法，包括：
由机器的一个或多个处理器访问第一图像，该第一图像在规程发起之前捕获运输工具上的器械的参考集合；
从第一图像并由机器的一个或多个处理器识别与器械的参考集合对应的第一器械数据；
由机器的一个或多个处理器访问第二图像，该第二图像在规程发起之后捕获运输工具上的器械；
从第二图像并由机器的一个或多个处理器识别与规程发起之后运输工具上的器械对应的第二器械数据；
由机器的一个或多个处理器将第一器械数据与第二器械数据进行比较；以及
基于比较并由机器的一个或多个处理器引起通知的呈现，该通知指示在规程发起之前运输工具上的器械在规程发起之后在运输工具上不存在。
第二示例提供根据第一示例的方法，还包括：
访问器械的参考图像；
基于参考图像识别第一图像中的器械，第一器械数据指示第一图像中识别出的器械；以及
基于参考图像识别第二图像中的器械，第二器械数据指示第二图像中识别出的器械。
第三示例提供根据第一示例或第二示例的方法，还包括：
光学地辨别第一图像中的器械的形状以获得第一器械数据；以及
光学地辨别第二图像中的器械的形状以获得第二器械数据。
第四示例提供根据第一至第三示例中的任一个示例的方法，其中第一和第二图像与规程的类型或规程的执行者中的至少一个对应。
第五示例提供根据第一至第四示例中的任一个示例的方法，其中第一器械数据包括第一器械计数，并且第二器械数据包括第二器械计数。
第六示例提供根据第五示例的方法，其中将第一器械数据与第二器械数据进行比较包括将第一器械计数与第二器械计数进行比较；并且其中通知指示丢失器械的总计数或具有共享类型的丢失器械的总计数中的至少一个。
第七示例提供根据第一至第六示例中任一个示例的方法，其中规程包括由医生对患者执行的外科手术规程；第一图像在医生开始对患者进行外科手术规程之前捕获运输工具上的器械的参考集合；并且第二图像在医生对患者进行的外科手术规程完成之后捕获运输工具上的器械。
第八示例提供了一种系统(例如，计算机系统)，包括：
一个或多个处理器；以及
存储器，存储指令，指令在由一个或多个处理器中的至少一个处理器执行时使系统执行包括以下的操作：
访问第一图像，该第一图像在规程发起之前捕获运输工具上的器械的参考集合；
从第一图像识别与器械的参考集合对应的第一器械数据；
访问第二图像，该第二图像在规程发起之后捕获运输工具上的器械；
从第二图像识别与规程发起之后运输工具上的器械对应的第二器械数据；
将第一器械数据与第二器械数据进行比较；以及
基于比较，引起通知的呈现，该通知指示在规程发起之前运输工具上的器械在规程发起之后在运输工具上不存在。
第九示例提供根据第八示例的系统，其中操作还包括：
光学地辨别第一图像中的器械的形状以获得第一器械数据；以及
光学地辨别第二图像中的器械的形状以获得第二器械数据。
第十示例提供了一种机器可读介质(例如，非暂态机器可读存储介质)，包括指令，指令在由机器的一个或多个处理器执行时使机器执行包括：
访问第一图像，该第一图像在规程发起之前捕获运输工具上的器械的参考集合；
从第一图像识别与器械的参考集合对应的第一器械数据；
访问第二图像，该第二图像在规程发起之后捕获运输工具上的器械；
从第二图像识别与规程发起之后运输工具上的器械对应的第二器械数据；
将第一器械数据与第二器械数据进行比较；以及
基于比较，引起通知的呈现，该通知指示在规程发起之前运输工具上的器械在规程发起之后在运输工具上不存在。
第十一示例提供了一种方法，包括：
由机器的一个或多个处理器访问在规程发起之前捕获并描绘可用于在规程中使用的器械的集合的第一图像；
由机器的一个或多个处理器访问在规程发起之后捕获并描绘第一图像中描绘的器械的集合的真子集的第二图像；
由机器的一个或多个处理器确定第一图像中描绘的器械的集合当中的器械未在第二图像中的器械的集合的真子集当中被描绘；以及
由机器的一个或多个处理器引起通知的呈现，该通知指示未在第二图像中描绘的器械从器械的集合中丢失。
第十二示例提供根据第十一示例的方法，其中：
访问描绘器械的集合的第一图像包括访问描绘器械的参考集合的参考图像。
第十三示例提供根据第十二示例的方法，其中：
参考图像与规程或规程的执行者中的至少一个对应；以及
对参考图像的访问是基于规程或规程的执行者中的至少一个。
第十四示例提供根据第十二示例或第十三示例的方法，其中：
器械的参考集合与规程或规程的执行者中的至少一个对应；以及
对描绘器械的参考集合的参考图像的访问是基于规程或规程的执行者中的至少一个。
第十五示例提供根据第十一至第十四示例中的任一个示例的方法，其中：
确定第一图像中描绘的器械的集合当中的器械未在第二图像中描绘包括：
在第一图像中光学地辨别出器械的形状；以及
未能在第二图像中光学地辨别出器械的形状。
第十六示例提供根据第十一至第十五示例中的任一个示例的方法，其中：
确定第一图像中描绘的器械的集合当中的器械未在第二图像中描绘包括：
访问器械的参考模型；以及
未能在第二图像中光学地辨别出器械的参考模型的多个轮廓中的每个轮廓。
第十七示例提供根据第十一至第十六示例中的任一个示例的方法，其中：
确定第一图像中描绘的器械的集合当中的器械未在第二图像中描绘包括：
访问参考模型，该参考模型表示在第一图像中描绘的器械的参考形状；
访问深度数据，该深度数据表示在第二图像中描绘的器械的集合的真子集的当前形状；以及
将器械的参考形状与器械的集合的真子集的每个当前形状进行比较。
第十八示例提供根据第十一至第十七示例中的任一个示例的方法，其中：
通过在规程之前捕获第一帧的第一序列并从捕获的第一序列中至少选择第一图像来执行对第一图像的访问；以及
通过在规程之后捕获第二帧的第二序列并从捕获的第二序列中至少选择第二图像来执行对第二图像的访问。
第十九示例提供了一种方法，包括：
由机器的一个或多个处理器访问在规程发起之前捕获并描绘可用于在规程中使用的器械的集合的第一图像；
由机器的一个或多个处理器访问在规程发起之后捕获并描绘第一图像中描绘的器械的集合的子集的第二图像；
由机器的一个或多个处理器基于第一和第二图像确定在第一图像中描绘的器械的集合中的器械在规程中被使用还是未被使用；以及
由机器的一个或多个处理器引起通知的呈现，该通知指示器械在规程中被使用或未被使用。
第二十示例提供根据第十九示例的方法，其中：
器械的集合的子集是器械的集合的真子集。
第二十一示例提供根据第十九示例或第二十示例的方法，其中：
确定器械在规程中被使用还是未被使用包括确定器械是否从第一图像中描绘的运输工具内的第一位置移动到第二图像中描绘的运输工具内的第二位置。
第二十二示例提供根据第十九示例至第二十一示例中任一个示例的方法，其中：
确定器械在规程中被使用还是未被使用包括：
光学地辨别第一图像中描绘的器械上不存在血液；以及
光学地辨别第二图像中描绘的器械上存在血液。
第二十三示例提供了一种机器可读介质(例如，非暂态机器可读存储介质)，包括指令，指令在由机器的一个或多个处理器执行时使机器执行包括以下的操作：
访问在规程发起之前捕获并描绘可用于在规程中使用的器械的集合的第一图像；
访问在规程发起之后捕获并描绘第一图像中描绘的器械的集合的子集的第二图像；
确定在第一图像中描绘的器械的集合当中的器械未在第二图像中的器械的集合的真子集中描绘；以及
引起通知的呈现，该通知指示未在第二图像中描绘的器械从器械的集合中丢失。
第二十四示例提供了根据第二十三示例的机器可读介质，其中：
确定第一图像中描绘的器械的集合中的器械未在第二图像中描绘包括：
在第一图像中光学地辨别出器械的形状；以及
在第二图像中未能光学地识别出器械的形状。
第二十五示例提供了一种机器可读介质(例如，非暂态机器可读存储介质)，包括指令，指令在由机器的一个或多个处理器执行时使机器执行包括以下的操作：
访问在规程发起之前捕获并描绘可用于在规程中使用的器械的集合的第一图像；
访问在规程发起之后捕获并描绘第一图像中描绘的器械的集合的子集的第二图像；
基于第一和第二图像确定在第一图像中描绘的器械的集合当中的器械在规程中被使用还是未被使用；以及
引起通知的呈现，该通知指示器械在规程中被使用还是未被使用。
第二十六示例提供根据第二十五示例的机器可读介质，其中：
确定器械在规程中被使用还是未被使用包括确定器械是否从第一图像中描绘的运输工具内的第一位置移动到第二图像中描绘的运输工具内的第二位置。
第二十七示例提供了一种系统，包括：
一个或多个处理器；以及
存储器，存储指令，指令在由一个或多个处理器中的至少一个处理器执行时使系统执行包括以下的操作：
访问在规程发起之前捕获并描绘可用于在规程中使用的第一图像；
访问在规程发起后捕获并描绘第一图像中描绘的器械的集合的真子集的第二图像；
确定在第一图像中描绘的器械的集合当中的器械未在第二图像中的器械的集合的真子集中描绘；以及
引起通知的呈现，该通知指示未在第二图像中描绘的器械从器械的集合中丢失。
第二十八示例提供根据第二十七示例的系统，其中：
确定在第一图像中描绘的器械的集合当中的器械未在第二图像中描绘包括：
访问参考模型，该参考模型表示在第一图像中描绘的器械的参考形状；
访问深度数据，该深度数据表示在第二图像中描绘的器械的集合的真子集的当前形状；以及
将器械的参考形状与器械的集合的真子集的每个当前形状进行比较。
第二十九示例提供了一种系统，包括：
一个或多个处理器；以及
存储器，其存储指令，在由一个或多个处理器中的至少一个处理器执行时使系统执行包括以下的操作：
访问在规程发起之前捕获并描绘了可用于在规程中使用的器械的集合的第一图像；
访问在规程发起之后捕获并描绘第一图像中描绘的器械的器械的子集的第二图像；
基于第一和第二图像确定在第一图像中描绘的器械中的器械在规程中被使用还是未被使用；以及
引起通知的呈现，该通知指示器械在规程中被使用还是未被使用。
第三十示例提供根据第二十九示例的系统，其中：
确定器械在规程中被使用还是未被使用包括：
光学地辨别在第一图像中描绘的器械上不存在血液；以及
光学地辨别在第二图像中描绘的器械上存在血液。
第三十一示例提供了携带机器可读指令的载体介质，指令用于控制机器执行在前述示例中的任一个示例中执行的操作(例如，方法操作)。

Claims (30)

1.一种方法，包括：
由机器的一个或多个处理器访问第一图像，所述第一图像在规程发起之前捕获运输工具上的器械的参考集合；
从第一图像并由机器的所述一个或多个处理器识别与器械的参考集合对应的第一器械数据；
由机器的所述一个或多个处理器访问第二图像，所述第二图像在规程发起之后捕获运输工具上的器械；
从第二图像并由机器的所述一个或多个处理器识别与规程发起之后运输工具上的器械对应的第二器械数据；
由机器的所述一个或多个处理器将第一器械数据与第二器械数据进行比较；以及
基于比较并由机器的所述一个或多个处理器引起通知的呈现，所述通知指示在规程发起之前运输工具上的器械在规程发起之后在运输工具上不存在。
2.如权利要求1所述的方法，还包括：
访问器械的参考图像；
基于参考图像识别第一图像中的器械，第一器械数据指示第一图像中识别出的器械；以及
基于参考图像识别第二图像中的器械，第二器械数据指示第二图像中识别出的器械。
3.如权利要求1所述的方法，还包括：
光学地辨别第一图像中的器械的形状以获得第一器械数据；以及
光学地辨别第二图像中的器械的形状以获得第二器械数据。
4.如权利要求1所述的方法，其中第一图像和第二图像与规程的类型或规程的执行者中的至少一个对应。
5.如权利要求1所述的方法，其中第一器械数据包括第一器械计数，并且第二器械数据包括第二器械计数。
6.如权利要求5所述的方法，其中将第一器械数据与第二器械数据进行比较包括将第一器械计数与第二器械计数进行比较；并且其中通知指示丢失器械的总计数或具有共享类型的丢失器械的总计数中的至少一个。
7.如权利要求1所述的方法，其中规程包括由医生对患者执行的外科手术规程；第一图像在医生开始对患者进行外科手术规程之前捕获运输工具上的器械的参考集合；并且第二图像在医生对患者进行的外科手术规程完成之后捕获运输工具上的器械。
8.一种系统，包括：
一个或多个处理器；以及
存储器，存储指令，指令在由所述一个或多个处理器中的至少一个处理器执行时使系统执行包括以下的操作：
访问第一图像，所述第一图像在规程发起之前捕获运输工具上的器械的参考集合；
从第一图像识别与器械的参考集合对应的第一器械数据；
访问第二图像，所述第二图像在规程发起之后捕获运输工具上的器械；
从第二图像识别与在规程发起之后运输工具上的器械对应的第二器械数据；
将第一器械数据与第二器械数据进行比较；以及
基于比较，引起通知的呈现，所述通知指示在规程发起之前运输工具上的器械在规程发起之后在运输工具上不存在。
9.如权利要求8所述的系统，其中操作还包括：
光学地辨别第一图像中的器械的形状以获得第一器械数据；以及
光学地辨别第二图像中的器械的形状以获得第二器械数据。
10.一种有形的机器可读存储介质，包括指令，指令在由机器的一个或多个处理器执行时使机器执行包括以下的操作：
访问第一图像，所述第一图像在规程发起之前捕获运输工具上的器械的参考集合；
从第一图像识别与器械的参考集合对应的第一器械数据；
访问第二图像，所述第二图像在规程发起之后捕获运输工具上的器械；
从第二图像识别与在规程发起之后运输工具上的器械对应的第二器械数据；
将第一器械数据与第二器械数据进行比较；以及
基于比较，引起通知的呈现，所述通知指示在规程发起之前运输工具上的器械在规程发起之后在运输工具上不存在。
11.一种方法，包括：
由机器的一个或多个处理器访问在规程发起之前捕获的第一图像，所述第一图像描绘能够在规程中使用的器械的集合；
由机器的所述一个或多个处理器访问在规程发起之后捕获的第二图像，所述第二图像描绘在第一图像中描绘的器械的集合的真子集；
由机器的所述一个或多个处理器确定第一图像中描绘的器械的集合当中的器械未在第二图像中的器械的集合的真子集当中被描绘；以及
由机器的所述一个或多个处理器引起通知的呈现，所述通知指示未在第二图像中描绘的器械从器械的集合中丢失。
12.如权利要求11所述的方法，其中：
访问描绘器械的集合的第一图像包括访问描绘器械的参考集合的参考图像。
13.如权利要求12所述的方法，其中：
参考图像与规程或规程的执行者中的至少一个对应；以及
对参考图像的访问是基于规程或规程的执行者中的至少一个。
14.如权利要求12所述的方法，其中：
器械的参考集合与规程或规程的执行者中的至少一个对应；以及
对描绘器械的参考集合的参考图像的访问是基于规程或规程的执行者中的至少一个。
15.如权利要求11所述的方法，其中：
确定第一图像中描绘的器械的集合当中的器械未在第二图像中描绘包括：
在第一图像中光学地辨别出器械的形状；以及
未能在第二图像中光学地辨别出所述器械的形状。
16.如权利要求11所述的方法，其中：
确定第一图像中描绘的器械的集合当中的器械未在第二图像中描绘包括：
访问器械的参考模型；以及
未能在第二图像中光学地辨别出器械的参考模型的多个轮廓中的每个轮廓。
17.如权利要求11所述的方法，其中：
确定第一图像中描绘的器械的集合当中的器械未在第二图像中描绘包括：
访问参考模型，所述参考模型表示在第一图像中描绘的器械的参考形状；
访问深度数据，所述深度数据表示在第二图像中描绘的器械的集合的真子集的当前形状；以及
将器械的参考形状与器械的集合的真子集的每个当前形状进行比较。
18.如权利要求11所述的方法，其中：
通过在规程之前捕获第一帧的第一序列并从捕获的第一序列中至少选择第一图像来执行对第一图像的访问；以及
通过在规程之后捕获第二帧的第二序列并从捕获的第二序列中至少选择第二图像来执行对第二图像的访问。
19.一种方法，包括：
由机器的一个或多个处理器访问在规程发起之前捕获的第一图像，所述第一图像描绘能够在规程中使用的器械的集合；
由机器的所述一个或多个处理器访问在规程发起之后捕获的第二图像，所述第二图像描绘在第一图像中描绘的器械的集合的子集；
由机器的所述一个或多个处理器基于第一图像和第二图像确定在第一图像中描绘的器械的集合中的器械在规程中被使用还是未被使用；以及
由机器的所述一个或多个处理器引起通知的呈现，所述通知指示器械在规程中被使用或未被使用。
20.如权利要求19所述的方法，其中：
器械的集合的子集是器械的集合的真子集。
21.如权利要求19所述的方法，其中：
确定器械在规程中被使用还是未被使用包括确定器械是否从第一图像中描绘的运输工具内的第一位置移动到第二图像中描绘的运输工具内的第二位置。
22.如权利要求19所述的方法，其中：
确定器械在规程中被使用还是未被使用包括：
光学地辨别第一图像中描绘的器械上不存在血液；以及
光学地辨别第二图像中描绘的器械上存在血液。
23.一种有形机器可读存储介质，包括指令，指令在由机器的一个或多个处理器执行时使机器执行包括以下的操作：
访问在规程发起之前捕获的第一图像，所述第一图像描绘能够在规程中使用的器械的集合；
访问在规程发起之后捕获的第二图像，所述第二图像描绘在第一图像中描绘的器械的集合的真子集；
确定在第一图像中描绘的器械的集合当中的器械未在第二图像中的器械的集合的真子集中描绘；以及
引起通知的呈现，所述通知指示未在第二图像中描绘的器械从器械的集合中丢失。
24.如权利要求23所述的有形机器可读存储介质，其中：
确定在第一图像中描绘的器械的集合中的器械未在第二图像中描绘包括：
在第一图像中光学地辨别出器械的形状；以及
在第二图像中未能光学地识别出所述器械的形状。
25.一种有形机器可读存储介质，包括指令，指令在由机器的一个或多个处理器执行时使机器执行包括以下的操作：
访问在规程发起之前捕获的第一图像，所述第一图像描绘能够在规程中使用的器械的集合；
访问在规程发起之后捕获的第二图像，所述第二图像描绘在第一图像中描绘的器械的集合的子集；
基于第一图像和第二图像确定在第一图像中描绘的器械的集合当中的器械在规程中被使用还是未被使用；以及
引起通知的呈现，所述通知指示器械在规程中被使用还是未被使用。
26.如权利要求25所述的有形机器可读存储介质，其中：
确定器械在规程中被使用还是未被使用包括确定器械是否从第一图像中描绘的运输工具内的第一位置移动到第二图像中描绘的运输工具内的第二位置。
27.一种系统，包括：
一个或多个处理器；以及
存储器，存储指令，指令在由一个或多个处理器中的至少一个处理器执行时使系统执行包括以下的操作：
访问在规程发起之前捕获的第一图像，所述第一图像描绘能够在规程中使用的器械的集合；
访问在规程发起之后捕获的第二图像，所述第二图像描绘在第一图像中描绘的器械的集合的真子集；
确定在第一图像中描绘的器械的集合当中的器械未在第二图像中的器械的集合的真子集中描绘；以及
引起通知的呈现，所述通知指示未在第二图像中描绘的器械从器械的集合中丢失。
28.如权利要求27所述的系统，其中：
确定在第一图像中描绘的器械的集合当中的器械未在第二图像中描绘包括：
访问参考模型，所述参考模型表示在第一图像中描绘的器械的参考形状；
访问深度数据，所述深度数据表示在第二图像中描绘的器械的集合的真子集的当前形状；以及
将器械的参考形状与器械的集合的真子集的每个当前形状进行比较。
29.一种系统，包括：
一个或多个处理器；以及
存储器，存储指令，在由所述一个或多个处理器中的至少一个处理器执行时使系统执行包括以下的操作：
访问在规程发起之前捕获的第一图像，所述第一图像描绘能够在规程中使用的器械的集合；
访问在规程发起之后捕获的第二图像，所述第二图像描绘在第一图像中描绘的器械的集合的子集；
基于第一和第二图像确定在第一图像中描绘的器械的集合中的器械在规程中被使用还是未被使用；以及
引起通知的呈现，所述通知指示器械在规程中被使用还是未被使用。
30.如权利要求29所述的系统，其中：
确定器械在规程中被使用还是未被使用包括：
光学地辨别在第一图像中描绘的器械上不存在血液；以及
光学地辨别在第二图像中描绘的器械上存在血液。
CN202180014215.7A 2020-01-31 2021-01-26 器械跟踪机器 Pending CN115103648A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062968538P 2020-01-31 2020-01-31
US62/968,538 2020-01-31
PCT/US2021/015070 WO2021154717A1 (en) 2020-01-31 2021-01-26 Instrument tracking machine

Publications (1)

Publication Number Publication Date
CN115103648A true CN115103648A (zh) 2022-09-23

Family

ID=77079180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180014215.7A Pending CN115103648A (zh) 2020-01-31 2021-01-26 器械跟踪机器

Country Status (7)

Country Link
US (1) US20210236227A1 (zh)
EP (1) EP4096550A4 (zh)
JP (1) JP2023513060A (zh)
CN (1) CN115103648A (zh)
AU (1) AU2021214923A1 (zh)
CA (1) CA3169587A1 (zh)
WO (1) WO2021154717A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10789710B2 (en) 2015-05-15 2020-09-29 Gauss Surgical, Inc. Methods and systems for characterizing fluids from a patient
US20220164576A1 (en) * 2020-11-25 2022-05-26 Metal Industries Research & Development Centre Surgical instrument inventory system and surgical instrument inventory method
KR20230152149A (ko) * 2021-03-15 2023-11-02 오알텔리전스 인코포레이티드 수술용 트레이와 그 위에 포함된 아이템의 동적 식별을 위한 시스템 및 방법
US11783938B2 (en) * 2021-07-22 2023-10-10 Cilag Gmbh International Integrated hub systems control interfaces and connections
US20230162364A1 (en) * 2021-11-19 2023-05-25 Verily Life Sciences Llc Segmentation generation for image-related functions
DE102022106281A1 (de) 2022-03-17 2023-09-21 Aesculap Ag Instrumententracking und -inspektion zur automatischen Identifikation medizinischer/chirurgischer Gegenstände
EP4441757A1 (en) * 2022-11-02 2024-10-09 Cilag GmbH International Systems, methods, and apparatus for providing a medical product assistant to recognize, identify, and/or support a medical product
CN116473692B (zh) * 2023-04-17 2024-06-14 中山大学附属第六医院 基于人工智能图像识别的手术室器械敷料点数方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040031626A1 (en) * 1994-08-05 2004-02-19 Morris Sharon L. Automatic surgical sponge counter and blood loss determination system
US20070125392A1 (en) * 2005-12-01 2007-06-07 Sdgi Holdings, Inc. Systems and methods of accounting for surgical instruments and disposables
US20130113929A1 (en) * 2011-11-08 2013-05-09 Mary Maitland DeLAND Systems and methods for surgical procedure safety
US20160180195A1 (en) * 2013-09-06 2016-06-23 Toyota Jidosha Kabushiki Kaisha Augmenting Layer-Based Object Detection With Deep Convolutional Neural Networks
WO2017011646A1 (en) * 2015-07-14 2017-01-19 Smith & Nephew, Inc. Instrumentation identification and re-ordering system
WO2017173465A1 (en) * 2016-04-02 2017-10-05 Flex Operating Room, Llc Surgical tray efficiency system and related methods
US20180204323A1 (en) * 2017-01-16 2018-07-19 The Aga Khan University Detection of surgical instruments on surgical tray
CN110506274A (zh) * 2017-09-14 2019-11-26 谷歌有限责任公司 图像中的对象检测和表示

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040031626A1 (en) * 1994-08-05 2004-02-19 Morris Sharon L. Automatic surgical sponge counter and blood loss determination system
US20070125392A1 (en) * 2005-12-01 2007-06-07 Sdgi Holdings, Inc. Systems and methods of accounting for surgical instruments and disposables
US20130113929A1 (en) * 2011-11-08 2013-05-09 Mary Maitland DeLAND Systems and methods for surgical procedure safety
US20160180195A1 (en) * 2013-09-06 2016-06-23 Toyota Jidosha Kabushiki Kaisha Augmenting Layer-Based Object Detection With Deep Convolutional Neural Networks
WO2017011646A1 (en) * 2015-07-14 2017-01-19 Smith & Nephew, Inc. Instrumentation identification and re-ordering system
WO2017173465A1 (en) * 2016-04-02 2017-10-05 Flex Operating Room, Llc Surgical tray efficiency system and related methods
US20180204323A1 (en) * 2017-01-16 2018-07-19 The Aga Khan University Detection of surgical instruments on surgical tray
CN110506274A (zh) * 2017-09-14 2019-11-26 谷歌有限责任公司 图像中的对象检测和表示

Also Published As

Publication number Publication date
WO2021154717A1 (en) 2021-08-05
JP2023513060A (ja) 2023-03-30
CA3169587A1 (en) 2021-08-05
US20210236227A1 (en) 2021-08-05
AU2021214923A2 (en) 2022-11-17
EP4096550A1 (en) 2022-12-07
EP4096550A4 (en) 2024-02-21
AU2021214923A1 (en) 2022-09-01

Similar Documents

Publication Publication Date Title
US20210236227A1 (en) Instrument tracking machine
US11109941B2 (en) Tracking surgical items with prediction of duplicate imaging of items
Bajwa et al. G1020: A benchmark retinal fundus image dataset for computer-aided glaucoma detection
Reiter et al. Appearance learning for 3d tracking of robotic surgical tools
US20150173843A1 (en) Tracking medical devices
CN112784672B (zh) 基于计算机视觉的手术场景评估
JP2016506260A (ja) ロボット手術器具のマーカーレス追跡
CA3110581C (en) System and method for evaluating the performance of a user in capturing an image of an anatomical region
CN113782159B (zh) 医学图像标记点匹配方法、装置、电子设备及存储介质
AU2022238786B2 (en) Systems and methods for dynamic identification of a surgical tray and the items contained thereon
JP2020502717A (ja) 撮像データを使用するインプラント識別の方法及びそのためのシステム
EP3074844B1 (en) Estimating gaze from un-calibrated eye measurement points
CN115700759A (zh) 医学图像显示方法、医学图像处理方法和图像显示系统
JP2022136068A (ja) 情報表示装置、情報表示システム、情報表示プログラム、学習方法及びデータ構造
WO2019152184A2 (en) Apparatus and method for object recognition
CN115243610A (zh) 激光散斑力反馈估计
WO2023098806A1 (zh) 手术等级确定方法、装置、系统、设备及介质
JP7328489B2 (ja) 眼科画像処理装置、および眼科撮影装置
CN112331312A (zh) 标注质量确定方法、装置、设备及介质
US11068716B2 (en) Information processing method and information processing system
WO2024072689A1 (en) Systems and methods for determining a force applied to an anatomical object within a subject based on a deformable three-dimensional model
WO2024200865A1 (en) Generation of artificial intra-operative sensor data
CN114565719A (zh) 图像数据处理方法、图像平台、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240909

Address after: U.S.A.

Applicant after: STRYKER Corp.

Country or region after: U.S.A.

Address before: California, USA

Applicant before: GAUSS SURGICAL

Country or region before: U.S.A.

TA01 Transfer of patent application right