CN113873960A - 用于对象跟踪的照明系统和方法 - Google Patents
用于对象跟踪的照明系统和方法 Download PDFInfo
- Publication number
- CN113873960A CN113873960A CN202080036467.5A CN202080036467A CN113873960A CN 113873960 A CN113873960 A CN 113873960A CN 202080036467 A CN202080036467 A CN 202080036467A CN 113873960 A CN113873960 A CN 113873960A
- Authority
- CN
- China
- Prior art keywords
- objects
- controller
- image data
- surgical field
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000008569 process Effects 0.000 claims abstract description 23
- 238000004891 communication Methods 0.000 claims abstract description 21
- 238000012544 monitoring process Methods 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 4
- 238000011282 treatment Methods 0.000 claims description 4
- 239000007943 implant Substances 0.000 claims description 2
- 230000001186 cumulative effect Effects 0.000 claims 3
- 230000000712 assembly Effects 0.000 description 16
- 238000000429 assembly Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 14
- 238000001514 detection method Methods 0.000 description 9
- 238000010191 image analysis Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000010287 polarization Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000002513 implantation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012913 prioritisation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000012620 biological material Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000005520 electrodynamics Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 229910052754 neon Inorganic materials 0.000 description 1
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004801 process automation Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000003826 tablet Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/90—Identification means for patients or instruments, e.g. tags
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Computer Security & Cryptography (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Robotics (AREA)
- Circuit Arrangement For Electric Light Sources In General (AREA)
- Image Analysis (AREA)
Abstract
一种用于监测和照亮手术区的照明系统包括至少一个光组件,所述至少一个光组件包括被配置成将光发射选择性地引导到所述手术区的一部分中的至少一个照明源。至少一个成像器被配置成在所述手术区的视场中捕获图像数据。控制器与所述光组件和所述成像器通信。所述控制器被配置成处理在所述视场中捕获的图像数据并且基于对象库标识在所述图像数据中检测到的多个对象。跟踪所述多个对象中的每一者的位置并且存储所述对象中的每一者的所述位置。
Description
技术领域
本公开大体上涉及一种照明和成像系统,且更具体地说,涉及一种基于视觉的照明、对象检测和跟踪系统。
背景技术
由于可能要在有限时间内服务于各种手术和患者,因此外科手术设定可能是复杂的。此类复杂性可能会导致标识和患者处理中的错误。因此,用以准确标识患者和访问患者记录的有效方法可能是有利的。本公开提供一种改进型系统以有助于限制医疗室和相关活动的复杂性。
发明内容
在本发明的一个方面,公开了一种用于监测和照亮手术区的照明系统。所述系统包括至少一个光组件,其包括被配置成将光发射选择性地引导到所述手术区的一部分中的至少一个照明源。至少一个成像器被配置成在所述手术区的视场中捕获图像数据。控制器与所述光组件和所述成像器通信。所述控制器被配置成处理在所述视场中捕获的图像数据并且基于对象库标识在所述图像数据中检测到的多个对象,跟踪所述多个对象中的每一者的位置,并且存储所述对象中的每一者的所述位置。
在本发明的另一方面中,公开了一种用于监测和照亮手术区的照明系统。所述系统包括:至少一个光组件,其包括被配置成将光发射选择性地引导到所述手术区的一部分中的照明源;以及至少一个成像器,其被配置成在所述手术区的视场中捕获图像数据。控制器与所述光组件和所述成像器通信。所述控制器被配置成处理在所述视场中捕获的图像数据,并且基于对象库标识在所述图像数据中检测到的多个对象且访问所述多个对象的对象信息。所述控制器进一步被配置成在一段时间内完成对所述多个对象中的每一者的平衡确定(balance determination)。所述平衡确定标识所述对象中的每一者的处置、存储或植入位置。
在本发明的又另一方面中,公开了一种被配置成照亮手术区的照明设备。所述设备包括:至少一个光组件,其包括被配置成将光发射选择性地引导到所述手术区的一部分中的至少一个照明源;以及至少一个成像器,其被配置成在所述手术区的视场中捕获图像数据。控制器与所述光组件和所述成像器通信。所述控制器被配置成处理在所述视场中捕获的图像数据。所述控制器进一步被配置成基于对象库标识在所述图像数据中检测到的多个对象且访问所述多个对象的对象信息。对象数据将所述多个对象标识为预先批准用于所述手术区的相关联对象。所述控制器进一步被配置成将已标识对象与在所述对象信息中标识的所述相关联对象进行比较,并且基于所述比较,标识所述库中未被预先批准的非预期对象。
通过研究所附说明书、权利要求书和附图,所属领域的技术人员将进一步理解和了解本发明装置的这些和其它特征、优势和目标。
附图说明
以下是对附图中的图式的描述。附图不一定按比例绘制,并且出于清楚和简洁的目的,附图的某些特征和某些视图可以按比例放大或以示意图示出。
在附图中,
图1是包括照明系统的医疗室的示意图;
图2是展示实施以用于通过照明系统标识对象的对象库的框图;
图3是展示用于照明系统的控制方法的流程图;
图4是展示由照明系统应用于优先化手术区的照明的活动和跟踪技术的说明图;并且
图5是展示根据本公开的照明系统的框图。
具体实施方式
出于本文描述目的,术语“上”、“下”、“右”、“左”、“后”、“前”、“竖直”、“水平”和其派生词将与本发明在图1中的定向有关。除非另有说明,否则术语“前”应指更靠近显示镜预期观察者的元件的表面,且术语“后”应指远离显示镜的预期观察者的元件的表面。然而,应理解,除了明确指定相反的方向之外,本发明可以采用各种替代定向。还应理解,附图中所示并且在下文说明书中描述的具体装置和过程仅仅是所附权利要求书中限定的本发明概念的示范性实施例。因此,除非权利要求书另外明确陈述,否则与本文中公开的实施例有关的具体尺寸和其它物理特性不应被视为限制性的。
术语“包含”、“包括”或其任何其它变化意图涵盖非排它的包含物,使得包括一系列要素的过程、方法、制品或设备不仅包含那些要素,还可包含并未明确地列出的或并非此类过程、方法、制品或设备固有的其它要素。带有“包括……”的要素并不妨碍包括所述要素的过程、方法、制品或设备中存在额外的相同要素。
大体上参考图1-2,本公开提供一种被配置成跟踪手术环境的活动的照明系统10,所述照明系统实施于所述手术环境中。在各种实例中,照明系统10可以包括控制器12和可在医疗室14中用于选择性地照亮位置或手术区16的各种附件。因此,照明系统10可以包括一个或多个光组件18,所述一个或多个光组件可以包含一个或多个光源20。另外,系统10实施至少一个成像器22或扫描装置以捕获包括手术区16的视场24中的图像数据或跟踪数据。在一些实施方案中,系统10可以包括被配置成跟踪整个手术区16的活动的多个成像器22。以此方式,系统10可以被配置成检测和跟踪多个视场内的活动,所述视场可以由控制器12中的一个或多个拼接在一起或以其它方式组合跟踪以监测人员、物品、附件和可在成像器22的图像数据中捕获的任何对象的活动。
在手术中,系统10的控制器12可以被配置成扫描手术区16以标识多个对象26中的每一者,所述多个对象中的每一者可以对应于医疗器具26a(例如,工具、附件、库存物品等)、医疗设备或装置26b、人员26c(例如,医生、护士、工作人员等)和可在图像数据中检测到的任何其它对象26。一旦检测到对象26,系统10就可以基于在一个或多个成像器22的视场24内检测到的对象26的位置来跟踪手术区16内的物品。为了跟踪对象26在多个成像器22之间的位置,系统10可以被配置成标识对象26在网格或坐标系28中的位置。因此,成像器22中的每一者可以被校准和编程以标识每一已标识对象26在坐标系28内的位置,并且登记对象26以在多个视场24之间进行跟踪,使得可以随时间跟踪并记录对象26的位置。以此方式,系统10可以提供库存和人员跟踪,可以实施这些以提高效率、减少浪费和记录活动。另外,在跟踪此类活动时,系统10可以控制光组件18以确保当对象移动通过手术区16时,指定照亮的对象26中的一个或多个持续且有效地被照亮。
为了标识人员26c,系统10可以被配置成捕获和处理与患者有关的标识信息、手术或可由用户在医疗室14中进行的任务。标识信息可以对应于生物特征信息,所述生物特征信息可以由系统10的控制器12处理以经由一种或多种标识方法(例如,面部识别、虹膜识别、指纹识别等)来确定患者的身份。因此,系统10的成像器22中的每一者可以用作扫描设备,所述扫描设备被配置成捕获手术区16中的标识信息(例如,生物特征、标识号、编码标识符等)。以此方式,系统10可以提供对手术区16中的一个或多个人员26c的检测和跟踪。
如先前所论述,一旦对象26被系统10标识,就可以在坐标系28内经由图像数据跟踪和推断对象26的位置和相关活动。在其中系统10被配置成跟踪多个对象26的实例中,对象26的跟踪信息在本文中可以被称为逻辑数据,其可以包含相对于坐标系28的绝对位置、相对位置(例如,相对于位于手术区16中的人员或感兴趣对象30)以及存在或库存信息。基于逻辑数据,可以随时间在视场24中跟踪对象26中的每一者,使得可以通过系统10跟踪并分析对象26的位置或运动的改变。
关于对象26的库存或跟踪,系统10可以被配置成跟踪对象26并且完成对在图像数据中检测到的对象26中的每一者的平衡确定或说明。例如,控制器12可以被配置成从存储器、数据库和/或远程服务器访问对象数据或信息以确定检测到的对象26中的每一者的指定存储、植入和/或处置信息。因此,当系统10跟踪对象26时,控制器12可以跟踪对象26的位置并完成说明或平衡确定,所述说明或平衡确定可以标识将对象26引入手术区以及跟踪对象在处置、存储或植入位置中的中间和最终位置。基于对象26的所标识位置,控制器12可以将所述位置与在对象数据或信息中标识的指定位置进行比较。如果一个或多个对象未放置在指定位置中或引入的对象无法说明,则控制器12可以标识指示一个或多个对象未定位在与对象相关联的指定位置中的不平衡或说明错误。以此方式,控制器12可以跟踪对象26并且针对错误放置或未说明的对象26提供警报。
当在手术区16中检测到并跟踪到对象26的位置时,系统10可以用以提供许多有益操作。例如,系统10可以被配置成控制和调整照明,以确保向目标区30a、关键对象30b和/或所跟踪人员30c提供均匀照明,所述目标区、关键对象和/或被跟踪人员中的每一者可以在手术区16内移动。另外,系统10可以被配置成跟踪对象的存在、位置和运动以跟踪或分析作业流程。例如,如参考图4进一步所论述,系统10可以被配置成跟踪每一人员26c在手术区16中的位置。一旦被捕获,系统可以利用人员26c的运动以警告过量运动并标识手术区16中发生的低效率从而提供用于过程改进的复杂作业流程跟踪。另外,系统10可以被配置成标识并解决光组件18的限制,所述限制可以与无法同时照亮感兴趣对象30或多个对象26(例如,自动照亮多个目标或对象)相关联。因此,本公开提供系统和方法,其可以被配置成跟踪和优化复杂作业流程、标识对象26的运动模式、实时地跟踪和照亮在手术区16中移动的对象26以及各种形式的动态照明操作。因此,本公开提供一种多功能照明系统10,其可以按比例调整以适应各种应用且可以实施以提供各种操作特征。
仍参考图1和2,系统10可以被配置成基于计算机视觉算法和相关联的对象库32处理图像数据以标识对象。因此,可以由系统10标识的对象中的每一者可以登记在对象库32中。另外,系统10可以被配置成将在对象库32中标识的对象26区分为各种类别。例如,所授权、所准许或所预期物品(例如,手术区16中常用的物品)可以由系统10标识。此类对象26可以不同于其它对象,这是因为所述对象根据所跟踪库存被引入手术区16中,或者被预先批准用于与系统10的特定程序活动、手术室或手术区或环境有关的手术区16中。此类对象26可以根据与手术区16的预定关联被称为相关联对象32a。因此,系统10可以被配置成标识并跟踪各种对象26且对所述对象26进行分类。然而,并非所有可以被标识的对象26都可以被授权或标识以用于手术区16中。
在一些实施方案中,系统10可以被配置成检测可能未包含在相关联对象32a的列表中的未授权或不相关的对象26。此类物品在本文中可以被称为非预期对象32b,并且可以是经由对系统10的图像数据的处理而可标识但基于所跟踪库存或与手术区16相关联的对象26而不可预期的那些对象。此类非预期对象32b或未授权物品的实例可以包含食品、未登记工具、个人物品、不合格的服装或个人配饰(例如,衣物、珠宝等)、未授权人员,或可以由在系统10的一个或多个控制器12上操作的一种或多种计算机视觉算法标识的任何其它对象。参考图5提供了对系统10和一个或多个控制器12的操作的进一步详细论述。
在一些实施方案中,系统10可以被配置成将例如聚光的窄发射光投射到手术区16中,从而强调或以其它方式照亮对象26中的一个或多个。可以调整形成聚光的发射光的比例(例如,通过透镜或孔径改变形式或比例),以放大或聚焦由光源20照亮的表面或对象26。在一些情况下,可以基于图像数据中表示的对应光的外观来调整聚光或光束的比例。因此,系统10可以被配置成照亮对象26,并且调整入射光的比例或图案以照亮对象26,同时截断延伸超出对象26边界的光。以此方式,系统10可以基于在图像数据中标识的位置投射聚光以照亮对象26,并且调整光源20的比例或照明图案以延伸到如在图像数据中标识的对象的边界。这种自动照明操作可以在视觉上强调对象26中的一个或多个。
例如,响应于如本文中所论述的标识非预期对象32b或任何检测到的对象26,控制器12可以被配置成引导来自光源20的发射光44中的一个或多个以照亮其中检测到对象的一个或多个视场24中的位置。另外,系统10可以被配置成跟踪对象在图像数据中的位置的改变,并且控制光组件18的定位组件以在对象26在手术区16中移动时跟踪并照亮所述对象。在一些情况下,对象26可以是关键对象30b、被跟踪人员30c、非预期对象32b、未标识对象或可以在图像数据中标识的各种对象或区域。另外,光源20可以被配置成以具有第一颜色的第一发射光和具有第二颜色的第二发射光照亮手术区16中的对象26。在此配置中,系统10可以被配置成以第一颜色照亮第一对象或目标区域并且以第二颜色照亮第二对象。
除了相关联对象32a和非预期对象32b之外,系统10可以进一步被配置成检测、跟踪和/或记录未标识对象34。此类对象可以是在图像数据中检测到的但不与对象库32中定义的对象相关联的对象。响应于对未标识对象34的检测,系统10可以组合方式记录一个或多个特性特征(例如,线、文本、编码信息)或可见特征,使得未标识对象可以与录入检测的图像数据一起记录在存储器或数据库中。尽管对此类未标识对象34的标识可能不会立即由系统10的计算机视觉算法确定,但相关联的特性特征的位置可以由系统10跟踪和记录。另外,未标识对象34的由系统10记录的图像数据和特性特征可以用作训练数据以扩展对象库32。以此方式,系统10可以被配置成通过改进对象库32来随时间推移改进其操作效力和性能。对所述对象库32的此类添加可以由系统10的所有者私下维护,或可以上载到中心数据库以改进本文所论述的系统10的每一安装的操作。
现在参考图1,如图所示,照明系统10是多个光组件18。光组件18中的每一者可以经由并入于固定外壳中的铰接光源20和/或连接到如本文中所论述万向臂或铰接臂的光源来实施。照明系统10可以包含成像器22中的一个或多个,其被描绘成将光照引导到目标区30a、关键对象30b和/或被跟踪人员30c等。成像器22可以定位在光组件18(例如,在手柄或主体中)、台36中或与它们耦合,和/或在医疗室14周围。成像器22可以是电荷耦合装置(CCD)成像器、互补型金属氧化物半导体(CMOS)成像器、其它类型的成像器和/或其组合。根据各种实例,成像器22可以包含一个或多个透镜以准直和/或聚焦患者、台36或医疗室14的其它特征反射的光。
台36可以至少部分地限定手术区16。尽管结合医疗室14描述,但是应当理解,本公开的照明系统10可以用于多种环境。例如,照明系统10可以用于汽车维修区域、医生办公室、牙科、摄影工作室、制造场所,以及动态照明解决方案可能有利的其它区域。
光组件18可以采取各种构造。光组件可包含一个或多个光源20。在第一实例中,光组件18可以是模块化的,并且被互连并支撑在轨道系统上。例如,光组件18可具有圆形、卵形、椭圆形、三角形、正方形、矩形、五边形或更高阶多边形形状。应理解,不同的光组件18可以不同的形式提供,并且照明系统10可以包含各种光组件18。
在各种实施方案中,光源20可以被配置成在整个手术区16中发射各种波长的光。例如,光源20可以包含一系列发射器(例如,发光二极管等),其可以由系统10控制以发射各种波长的光,所述波长可以介于红外光与紫外光之间且包含可见光谱的波长。在一些实施例中,从光源发射的光可以作为红外光(例如,近红外光、红外光和/或远红外光)发射。在其它实施例中,可以发射可见光以照亮手术区16。因此,可以灵活地应用照明组件18以提供包含手术区16内的均匀照明的各种照明操作。另外,本文中所论述的系统可以为机器视觉的各种应用提供支持,包含对象检测、识别、跟踪、库存和各种其它视觉相关应用。可以由本文中所论述的照明组件和系统实施的照明方法和相关系统的详细实例在第10,240,751B2号美国专利、“照明系统和方法(SYSTEMS AND METHODS OF ILLUMINATION)”中提供,所述美国专利的公开内容以全文引用的方式并入本文中。
在一些实施方案中,系统10可以控制和调整从光源发射的光以增强由成像器22捕获的图像数据。例如,照明组件的控制器12可以调整从光源20输出的发射光以包含各种波长的光,这可以使对象26的类型突出或以改进的强度或细节出现在图像数据中。因此,照明系统10可以被配置成随时间调整发射到手术区的光的波长,以便使对象26或流体、生物材料等相对于其光反射性质受到强调。因此,系统10可以利用照明的变化来有助于标识图像数据中的对象26。以此方式,可以灵活地应用照明系统10以提供各种照明操作和对所述对象26的检测。
在各种实例中,光组件18可以从一个或多个定位组件40定位或悬挂,所述定位组件可以通过控制一个或多个致动器42来调整光源20的投射方向。因此,定位组件可以被配置成独立地或以任何组合旋转和/或平移。如图所示,系统10可以包括第一定位机构和第二定位机构。一般来说,如本文中所论述的定位组件40可以被配置成控制从光源20发射的一个或多个照明发射光44的方向。如本文中进一步所展示和进一步所论述的,光源20以及定位组件40中的每一者可以与控制器12通信,所述控制器可以被配置成控制一个或多个照明发射光44的方向以照亮目标区30a、关键对象30b和/或被跟踪人员30c。
在各种实施例中,一个或多个定位组件40可以包括一个或多个万向臂,所述万向臂可以响应于一个或多个致动器42a和42b的移动(例如,旋转致动)而被操纵或调整。在此配置中,控制器12可以被配置成控制致动器42a和42b中的每一者,以操纵照明组件18的定向。以此方式,定位组件40可以控制照明组件18围绕第一轴线48a和第二轴线48b的旋转。对致动器42a、42b的此类操纵可以使得控制器12能够引导光源20,以选择性地照亮手术区16或医疗室14的各种部分。
如本文中所论述,定位组件40和致动器42a和42b可以对应于一个或多个电机(例如,伺服电机、步进电机等)。因此,定位组件40中的每一者(例如,致动器42)可以被配置成使照明模块旋转360度或者在照明组件18或可以支撑照明组件18的其它支撑结构的边界约束内旋转。控制器12可以控制照明组件18的电机或致动器42以引导光源20的照明发射光44瞄准医疗室14中的所需位置。为了准确地将照明模块46引导到所需位置,控制器12可以被校准以控制照明模块46的位置以瞄准医疗室14的坐标系28中的位置。由于定位组件40和致动器42的操作可能会随时间发生变化,因此这种系统的校准可能需要以校准更新或补偿的形式进行维护。
现参考图1和3,在一些实施例中,照明系统10可以处理图像数据以检测对象26并控制照明组件18的照明。成像器22可以被配置成将图像数据中继到照明系统10的控制器12。控制器12可包含存储器和处理器。存储器可存储由处理器控制的计算机可执行命令(例如,例程)。根据各种实例,存储器可包含光控制例程和/或图像分析例程。图像分析例程被配置成处理来自成像器22的数据。例如,图像分析例程可以被配置成标识手术区16的阴影和光度、来自导向系统的光、感兴趣点(例如,台36周围的用户)的位置和/或来自用户的手势。另外,控制器12可以被配置成应用多个对象检测算法中的一者,包含但不限于经由机器学习训练的检测模型或各种预训练检测模型,所述预训练检测模型可以被实施以标识在库32中限定的对象26。可以被实施以用于标识对象的预训练模型的实例可以包含但不限于以下各项:LeNet、AlexNet、ZF Net、GoogleNet、VGGNet、ResNet等。一旦图像分析例程已处理来自成像器22的数据,则光控制例程就可以控制定位组件40的操作方式。例如,光控制例程可以被配置成移动、操纵、激活或以其它方式影响光组件18以在目标区30a、关键对象30b和/或被跟踪人员30c的位置处发射光。
尽管成像器22被论述为并入照明组件18中的每一者上,但系统10可以被配置成捕获来自医疗室14中的任何位置的图像数据。为了处理和协调来自成像器22中的每一者的图像数据和照明组件18的操作,控制器12中的每一者可以与中央控制器50通信并经由所述中央控制器受到控制。在此类实施例中,中央控制器50可以被配置成处理来自一个或多个成像器22的图像数据,并且传送用于多个照明组件中的每一者和定位组件40的致动器42的控制信号。因此,在不脱离本公开的精神的情况下,系统10可在多种有益的实施例中实施。
尽管具体参考控制器12和中央控制器50进行了论述,但本文中所论述的系统和设备的许多各种操作可以基于一个或多个计算机控制装置来进行操作,所述计算机控制装置在本文中通常可被称为控制器12。应理解,如所描述的术语“控制器”可以指各种处理模块(例如,处理器、微处理器、集成电路等),所述处理模块可以与一个或多个存储器装置、数据库、服务器等通信,以便控制本文中所描述的各种操作。参考图5进一步详细提供了关于控制器12和本文中所论述的系统的操作的进一步描述。
在一些实施例中,系统10可以额外地处理图像数据以标识一个或多个障碍物52,所述一个或多个障碍物可能会干扰从光源20发射的光照射到目标区30a、关键对象30b和/或被跟踪人员30c上。可以响应于检测到从照明组件18发射的一个或多个脉冲红外发射光来标识障碍物52。例如,可以校准中央控制器50以通过参考坐标系28处理图像数据来将近似点位置标识为其上红外发射光与障碍物52相交的位置。以此方式,中央控制器50可以检测障碍物52相对于坐标系28的位置,使得可以在图像数据中计算和监测光的替代轨迹,以成功地照亮目标区30a、关键对象30b和/或被跟踪人员30c。
参考图3,展示了用于控制系统10的方法60的流程图。在操作中,方法60可以响应于控制器12从成像器22接收图像数据62而开始。另外,控制器12还可以接收编程信息64,所述编程信息可以标识与系统10的特定程序活动、手术室或手术区或环境相关联的对象库32的相关联对象32a。一旦接收到图像数据,控制器就可以开始处理图像数据62,并且基于如本文中所论述的一个或多个对象识别算法而标识在手术区16中检测到的对象26(66)。如先前所论述,在手术区16中检测到的对象26可以被分类为相关联对象32a、非预期对象32b和未标识对象34(68)。另外,对象26可以被分类为与目标区30a、关键对象30b和/或被跟踪人员30c相关联,所述目标区、关键对象和/或被跟踪人员中的每一者可以被优先化以经由照明算法进行照明和/或出于各种目的而被跟踪和分析。因此,可随时间推移对在手术区16中检测到的对象26进行分类和跟踪,并且将所述对象记录到存储器或数据库中以提供关于在手术区16中完成的活动的信息(70)。
如先前所论述,可以组合方式基于一个或多个特性特征(例如,线、文本、编码信息)或可见特征来跟踪未标识对象34。以此方式,未标识对象34可以连同录入步骤70中的检测的图像数据一起记录在存储器或数据库中。另外,系统10的对象识别或计算机视觉算法可以利用针对未标识对象34捕获的图像数据62和运动数据作为训练数据来扩展对象库32。以此方式,系统10可以被配置成通过改进对象库32来随时间推移改进其操作效力和性能。对所述对象库32的此类添加可以由系统10的所有者私下维护,或可以上载到中心数据库以改进本文所论述的系统10的每一安装的操作。
一旦在图像数据62中检测到对象26,系统10就可以继续监测对象26的位置和运动(72)。一旦被标识,控制器就可以进一步将对象26中的每一者的位置和运动数据录入并记录在存储器或数据库中(74)。运动和位置跟踪可以用于库存和人员跟踪,其可以被实施以提高效率、减少浪费和记录活动。另外,在跟踪此类活动时,系统10可以控制光组件18以确保被指定用于照亮的对象26中的一个或多个持续且有效地被照亮,如参考步骤76-80所论述的。
在已标识对象26的情况下,系统10可以进一步跟踪对象26的位置且优先化目标区30a、关键对象30b和/或被跟踪人员30c的照明(76)。在确定对象26的位置和优先级的情况下,系统10的控制器12可以控制定位组件40的致动器42以引导照明组件18照亮对象26(78)。在照亮对象26时,控制器12可以继续监测图像数据,以通过减少不一致性、减少阴影和标识从照明组件18到对象26的不受阻挡的路径以限制障碍物的干扰来确定并改进照明组件的照明性能(80)。基于检测到的不一致性、阴影和障碍物,方法60可以通过基于图像数据而优化每一照明组件的照明控制算法来继续优化手术区16的照明,所述图像数据还可以用于跟踪目标区30a、关键对象30b和/或被跟踪人员30c的运动(82)。另外,方法60可以更新照明算法的照明控制系数或用于识别对象的相关联训练模型,以优化系统10的照明和检测性能(84)。
参考图4,示出了照明系统10的示例性手术区90的正视图,其展示了照明例程和对象跟踪操作。如图所示,图4展示了定位在手术区16内的多个人员26c。如先前所论述,照明系统10可以被配置成提供目标区30a的一致照明,在此情况下,所述目标区包含呈患者92形式的关键对象30b。在此配置中,照明组件18的控制器可以优先化目标区30a的照明,并且可以进一步优先化目标区30a内的患者92或指定部分或关键对象30b的照明。如本文中所论述的优先化指示将要照明的目标区30a和/或对象26的相对重要性或重要性次序。基于对象26和/或目标区30a之间的优先化,系统10的控制器12可以选择性地控制照明组件18,并且最佳地应用照明资源(例如,发射光44的数目和范围)以选择哪些目标区30a和/或对象26要以优先化次序照亮手术区16的所标识方面。以此方式,系统10可以监测手术区16的用于照明的目标区和对象26,并且可以基于可用的照明资源(例如,照明组件18的照明的数量、位置和范围)来优先化照明。
在一些实施方案中,用于照明的目标区30a可以包含视线或焦点区94,其可以被定义为手术区16中的人员26c的凝视方向96。例如,可以基于人员26c的位置和人员26c的头部的定向100来确定外科医生98或其它被跟踪人员30c的凝视方向96。头的定向100或角度可以由图像数据中的一个或多个特征(例如,眼睛、眉毛、鼻子等)标识为相对于人员26c的位置的角度方向或凝视方向96。因此,照明系统10可以跟踪凝视方向96,并且瞄准照明资源以沿凝视方向96照亮人员26c或外科医生98的预定接近度内的区。类似地,照明系统10可以跟踪凝视方向96,并且照射手术区16的包含凝视方向96与目标区30a或对象26之间的交点102的一部分。以此方式,系统10的控制器12可以优先化目标区30a内的人员26c的凝视方向96,以进一步优先化手术区16的照明。
如先前所论述,在一些情况下,系统10还可以被配置成跟踪手术区16内的人员26c(例如,被跟踪人员30c)的运动。如图4所示,系统10的控制器12可以被配置成跟踪并录入路径104、交点或站立位置106以及被跟踪人员30c行进的距离。以此方式,系统10可以被配置成基于在图像数据中标识的人员26c的位置的改变来录入被跟踪人员30c的移动统计数据。在一些情况下,照明系统10可以利用所标识位置来照亮路径104,作为手术区16的照明方案的一部分。然而,系统10可以进一步利用运动统计数据来标识手术区16中移动最多的对象26,以便标记人员26c的过度或重复移动。在一些情况下,系统10可以标识被跟踪人员30c相对于对象26或人员26c(例如,外科医生98、组长等)的协调移动,以建议对象26或人员26c的优化位置以限制不必要的移动。因此,系统10可以提供许多跟踪和分析操作以标识需要改进的区域或自动建议对象26的转移位置以限制手术区16中的运动。
参考图5,示出了照明系统10的框图。如本文所讨论的,照明系统10可包含一个或多个成像器22,所述一个或多个成像器被配置成捕获来自医疗室14和/或来自手术区16的图像数据。成像器22可以被配置成将视觉信息中继到照明系统10的控制器12。控制器12可以包含存储器120和处理器122。存储器120可以存储由处理器122控制的计算机可执行命令(例如,例程)。根据各种实例,存储器120可以包含光控制例程和/或图像分析例程。在示例性实施例中,存储器120可以包含控制方法60。
一旦图像分析例程已处理来自成像器22的图像数据,控制器12就可以将一个或多个控制指令传送到电机或致动器控制器124。响应于控制信号,致动器控制器124可以控制致动器42或定位组件40以移动、操纵或以其它方式调整光组件18的定向。以此方式,控制器12可以引导照明组件18发射照明发射光44和/或将视场24引导到所需位置,所述所需位置可以对应于如本文中所论述的各个对象或目标区域的位置。系统10可以另外包括一个或多个电源126。电源126可以为照明组件18的各个部件以及致动器42或定位组件40提供一个或多个电源或镇流器。
如本文中所论述,控制器12和/或中央控制器50可以包括一个或多个处理器122。处理器122可以是微处理器、微控制器、数字信号处理器、微计算机、中央处理单元、现场可编程门阵列、可编程逻辑装置、状态机、逻辑电路系统、模拟电路系统、数字电路系统和/或基于操作指令(例如,一个或多个应用程序、实用程序、操作系统和/或其它指令)来操控(模拟和/或数字)信号的任何装置。存储器120可以是单个存储器装置或位于芯片上或位于芯片外的多个存储器装置。此类存储器装置可以是只读存储器、随机存取存储器、易失性存储器、非易失性存储器、静态存储器、动态存储器、快闪存储器和/或存储数字信息的任何装置。因此,本文中所论述的处理和控制步骤中的每一者可以由本文中所论述的处理器或处理单元中的一个或多个基于可以在存储器120中存取的一个或多个例程、算法、过程等来完成。
在一些实施例中,系统10可以进一步包括可以与处理器122通信的一个或多个通信电路128。通信电路128可以被配置成将数据和控制信息传送到显示器或用户界面130以用于操作系统10。界面130可以包括一个或多个输入或操作元件,其被配置成控制系统10并传送数据。通信电路128可以进一步与额外照明组件18通信,所述额外照明组件可以作为照明组件的阵列以组合方式操作。通信电路128可以被配置成经由各种通信协议通信。例如,通信协议可以对应于过程自动化协议、工业系统协议、车辆协议总线、消费者通信协议等。附加协议可以包含MODBUS、PROFIBUS、CAN总线、DATA HIGHWAY、DeviceNet、数字多路复用(DMX512)或各种形式的通信标准。
在各种实施例中,系统10可包括多种额外电路、外围装置,和/或附件,其可并入到系统10中以提供各种功能。例如,在一些实施例中,系统10可以包括被配置成与移动装置134通信的无线收发器132。在此类实施例中,无线收发器132可以类似于通信电路128操作,并且将用于操作系统10的数据和控制信息传送到移动装置134的显示器或用户界面。无线收发器132可以经由一种或多种无线协议(例如,Wi-Fi(802.11a、b、g、n等)、和等)与移动装置134通信。在此类实施例中,移动装置134可以对应于智能电话、平板计算机、个人数据助理(PDA)、膝上型计算机等。
如本文中所论述,系统10可以包括一个或多个服务器或远程数据库136或与其通信。远程数据库136可以对应于患者数据库,所述患者数据库可以包括被配置成认证患者92的身份的标识信息。系统10的控制器12可以经由通信电路128和/或无线收发器132与远程数据库136通信。在此配置中,一旦捕获扫描或图像数据,控制器12就可以被配置成经由远程数据库136可用的标识模板或处理资源标识对象中的一个或多个。
在各种实施例中,光源20可以被配置成产生一种旋向的非偏振和/或偏振光,包含但不限于某些液晶显示器(LCD)、激光二极管、发光二极管(LED)、白炽光源、气体放电灯(例如,氙气、氖气、汞)、卤素光源和/或有机发光二极管(OLED)。在光源20的偏振光实例中,光源20被配置成发射第一旋向偏振光。根据各种实例,第一旋向偏振光可具有圆偏振和/或椭圆偏振。在电动力学中,圆偏振光是一种偏振状态,在所述状态下,在每个点处,光波的电场具有恒定量值,但其方向在垂直于所述波的方向的平面中以稳定速率随时间旋转。
如所讨论的,光组件18可包含光源20中的一个或多个。在包含多个光源20的实例中,光源20可以布置成阵列。例如,光源20的阵列可包含从约1x2到约100x100的阵列以及其间的所有变化。这样,包含光源20的阵列的光组件18可以被称为像素化光组件18。任何光组件18的光源20可以是固定的或单独铰接的。光源20全部可以是铰接的,一部分可以是铰接的,或者没有一个可以是铰接的。光源20可以机电方式(例如,由电机)和/或手动方式(例如,由用户)铰接。在静态或固定光源20的实例中,可以分配光源20以聚焦于各种预定点上(例如,患者92身上,和/或台36上)。
本领域的技术人员以及制作或使用本公开的技术人员将想到对本公开的修改。因此,应理解,在附图中示出且在上文描述的实施例仅用于说明的目的,且并非旨在限制本公开的范围,本公开的范围由根据包含等同原则的专利法的原理解释的所附权利要求定义。
本领域一般技术人员应理解,所描述的公开内容和其它部件的构造不限于任何具体材料。除非在本文中另外描述,否则本文中所公开的公开内容的其它示例性实施例可以由多种材料形成。
出于本公开的目的,术语“耦合(coupled)”(以其所有形式:couple、coupling、coupled等)通常意味着两个(电的或机械的)部件彼此直接或间接接合。此类接合在本质上可以是静止的或在本质上可移动的。此类接合可使用两个(电气或机械)部件和彼此或与两个部件一体地形成为单个整体的任何额外的中间构件实现。除非另外说明,否则此类接合本质上可以是永久性的,或本质上可移除或可释放。
还值得注意的是,如在示例性实施例中示出的本公开的元件的构造和布置仅仅是说明性的。尽管已在本公开中详细地描述了本创新的仅仅几个实施例,但查阅本公开的所属领域的技术人员将容易了解,在不实质性地脱离所述主题的新颖教示和优点的情况下,可能有许多修改(例如,各种元件的大小、尺寸、结构、形状和比例、参数值、安装布置、材料的使用、色彩、定向等的变化)。例如,示出为一体地形成的元件可以由多个部分构造而成,或示出为多个部分的元件可以一体地形成,可以颠倒或以其它方式改变界面的操作,可以改变结构的长度或宽度和/或系统10的构件或连接器或其它元件,可以改变在元件之间提供的调整位置的性质或数字。应注意,系统10的元件和/或组件可以由提供足够强度或耐久性的广泛多种材料中的任一种构成,并且可以呈各种各样的颜色、纹理和组合中的任一个。因此,所有这些修改预期包含在本发明创新的范围内。可以在不脱离本创新的精神的情况下在所要和其它示范性实施例的设计、操作条件和布置方面进行其它替代、修改、改变和省略。
应理解,任何所描述的过程或所描述过程内的步骤可以与公开的其它过程或步骤组合以形成在本公开的范围内的结构。本文所公开的示范性结构和工艺是出于说明性目的,而不应被解释为限制性的。
还应理解,在不脱离本公开的概念的情况下,可以对上述结构和方法做出变化和修改,且另外应理解,此类概念预期由以下权利要求涵盖,除非这些权利要求的措辞明确说明并非如此。此外,下文所阐述的权利要求书并入到此具体实施方式中并且构成此具体实施方式的部分。
如本文所使用的术语“约”意指量、尺寸、配方、参数和其它数量和特征不是准确的且无需为准确的,但可以是近似的和/或按需要更大或更小,反映公差、换算系数、舍入、测量误差等和本领域的技术人员已知的其它因素。当术语“约”用于描述范围的值或端点时,本公开应理解为包含参考的具体值或端点。无论说明书中的范围的数值或端点是否引用“约”,范围的数值或端点预期包含两个实施例:一个由“约”修饰,一个不由“约”修饰。将进一步理解,无论与另一个端点相关还是与另一个端点不相关,每一个范围的端点都是有意义的。
本文使用的术语“基本上(substantial/substantially)”以及其变型预期指示所描述特征等于或大致等于值或描述。例如,“基本上平面”表面预期表示平面的或大致平面的表面。此外,“基本上”预期表示两个值相等或大致相等。在一些实施例中,“基本上”可以表示彼此的约10%内的值,例如,在彼此的约5%内,或在彼此的约2%内。
Claims (20)
1.一种用于监测和照亮手术区的照明系统,所述系统包括:
至少一个光组件,其包括被配置成将光发射选择性地引导到所述手术区的一部分中的至少一个照明源;
至少一个成像器,其被配置成在所述手术区的视场中捕获图像数据;
控制器,其与所述光组件和所述成像器通信,其中所述控制器被配置成:
处理在所述视场中捕获的图像数据;
基于对象库标识在所述图像数据中检测到的多个对象;
跟踪所述多个对象中的每一者的位置;并且
存储所述对象中的每一者的所述位置。
2.根据权利要求1所述的系统,其中所述控制器进一步被配置成:
确定所述手术区中的多个人员的身份。
3.根据权利要求2所述的系统,其中所述控制器进一步被配置成:
基于所述多个人员中的每一者的所述身份而确定所述多个人员是否为被授权人员。
4.根据权利要求1至3中任一项所述的系统,其中所述控制器进一步被配置成:跟踪所述手术区中的所述对象中的一个或多个行进的距离。
5.根据权利要求4所述的系统,其中基于一个或多个对象的累积运动而跟踪距离,所述累积运动基于在所述手术区中标识的所述对象中的所述一个或多个的累积运动。
6.根据权利要求5所述的系统,其中所述控制器进一步被配置成基于所述累积运动的程度而标识高运动量对象。
7.根据权利要求1至6中任一项所述的系统,其中所述控制器进一步被配置成:跟踪在所述图像数据中标识的所述多个对象中的两个或更多个被跟踪对象的相对运动。
8.根据权利要求1至7中任一项所述的系统,其中所述控制器进一步被配置成:
在所述图像数据中标识至少一个人员的视线,并且控制所述至少一个照明组件以在距所述至少一个人员的预定距离处照亮所述视线的一部分。
9.根据权利要求8所述的系统,其中基于所述手术区中的所述人员的位置和所述人员的头的定向在所述图像数据中标识所述视线。
10.根据权利要求1至9中任一项所述的系统,其中所述控制器进一步被配置成:
标识至少一个人员的视线与所述多个对象中的至少一个额外对象或在所述图像数据中标识的区域之间的交点。
11.根据权利要求10所述的系统,其中所述控制器进一步被配置成:
控制所述照明组件以照亮所述视线与所述至少一个额外对象之间的所述交点。
12.根据权利要求1至11中任一项所述的系统,其中所述控制器进一步被配置成:访问标识预先批准用于所述手术区的相关联对象的对象信息。
13.根据权利要求12所述的系统,其中所述控制器进一步被配置成:
将已标识对象与预先批准的对象进行比较;并且
基于所述比较,标识所述库中未被预先批准的非预期对象。
14.根据权利要求1至13中任一项所述的系统,其中所述控制器进一步被配置成:检测所述图像数据中的不包含在所述对象库中的未标识对象。
15.根据权利要求14所述的系统,其中所述控制器进一步被配置成:
响应于检测到所述未标识对象,录入包含所述未标识对象的代表性特性的教示图像数据,其中所述控制器被配置成处理所述教示图像数据和所述未标识对象的属性身份。
16.一种用于监测和照亮手术区的照明系统,其包括:
至少一个光组件,其包括被配置成将光发射选择性地引导到所述手术区的一部分中的照明源;
至少一个成像器,其被配置成在所述手术区的视场中捕获图像数据;
控制器,其与所述光组件和所述成像器通信,其中所述控制器被配置成:
处理在所述视场中捕获的图像数据;
基于对象库标识在所述图像数据中检测到的多个对象且访问所述多个对象的对象信息;并且
在一段时间内完成对所述多个对象中的每一者的平衡确定,其中所述平衡确定标识所述对象中的每一者的处置、存储或植入位置。
17.根据权利要求16所述的系统,其中所述平衡确定将在所述图像数据中标识的所述对象与在所述对象信息中标识的指定位置进行比较,并且所述控制器进一步被配置成:
基于所述平衡确定标识不平衡,其中所述不平衡包括所述对象中的一者未定位在与所述对象相关联的所述指定位置中的指示。
18.一种被配置成照亮手术区的照明设备,所述设备包括:
至少一个光组件,其包括被配置成将至少一个光发射选择性地引导到所述手术区的一部分中的至少一个照明源;
至少一个成像器,其被配置成在所述手术区的视场中捕获图像数据;
控制器,其与所述光组件和所述成像器通信,其中所述控制器被配置成:
处理在所述视场中捕获的图像数据;
基于对象库标识在所述图像数据中检测到的多个对象且访问所述多个对象的对象信息,其中对象数据将所述多个对象标识为预先批准用于所述手术区的相关联对象;
将已标识对象与在所述对象信息中标识的所述相关联对象进行比较;
基于所述比较,标识所述库中未基于所述对象数据被标识为预批准的非预期对象;并且
响应于所述非预期对象的所述标识,利用所述至少一个光发射照亮所述非预期对象。
19.根据权利要求18所述的系统,其中所述至少一个照明源包括被配置成以具有第一颜色的第一发射光和具有第二颜色的第二发射光照亮所述手术区中的对象的多个照明源,其中所述第一发射光投射到所述手术区中且照亮目标区域,并且所述第二发射光被引导到所述非预期对象且照亮所述非预期对象。
20.根据权利要求18至19中任一项所述的系统,其中所述控制器进一步被配置成:
检测所述图像数据中的不包含在所述对象库中的未标识对象。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962863905P | 2019-06-20 | 2019-06-20 | |
US62/863,905 | 2019-06-20 | ||
PCT/IB2020/055811 WO2020255083A1 (en) | 2019-06-20 | 2020-06-19 | Illumination system and method for object tracking |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113873960A true CN113873960A (zh) | 2021-12-31 |
Family
ID=74037404
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080036467.5A Pending CN113873960A (zh) | 2019-06-20 | 2020-06-19 | 用于对象跟踪的照明系统和方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US11890146B2 (zh) |
EP (1) | EP3968888A4 (zh) |
JP (1) | JP7286815B2 (zh) |
KR (1) | KR20220022475A (zh) |
CN (1) | CN113873960A (zh) |
CA (1) | CA3139881A1 (zh) |
WO (1) | WO2020255083A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113506214B (zh) * | 2021-05-24 | 2023-07-21 | 南京莱斯信息技术股份有限公司 | 一种多路视频图像拼接方法 |
US20220384011A1 (en) * | 2021-05-28 | 2022-12-01 | Cilag GmbH Internation | Efficiency of motion monitoring and analysis for a surgical procedure |
DE102021120443A1 (de) | 2021-08-05 | 2023-02-09 | Clinomic GmbH | Verfahren zur erfassung von wenigstens einem medizinischen verbrauchsmittel |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6496595B1 (en) * | 2000-05-19 | 2002-12-17 | Nextgenid, Ltd. | Distributed biometric access control apparatus and method |
US20130113929A1 (en) * | 2011-11-08 | 2013-05-09 | Mary Maitland DeLAND | Systems and methods for surgical procedure safety |
CN104145276A (zh) * | 2012-01-17 | 2014-11-12 | 厉动公司 | 用于通过光学成像进行的对象检测和表征的增强对比度 |
CN104582622A (zh) * | 2012-04-16 | 2015-04-29 | 儿童国家医疗中心 | 用于外科和介入医疗程序中的跟踪和控制的双模立体成像系统 |
US20190038362A1 (en) * | 2017-08-02 | 2019-02-07 | Medtech S.A. | Surgical field camera system |
US20190060026A1 (en) * | 2017-08-31 | 2019-02-28 | Gentex Corporation | Illumination systems |
US20190117809A1 (en) * | 2016-03-08 | 2019-04-25 | Antisep - Tech Ltd. | Method and system for monitoring activity of an individual |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61226031A (ja) | 1985-03-30 | 1986-10-07 | 山田医療照明株式会社 | 医療用無影照明装置 |
US5347431A (en) | 1991-12-20 | 1994-09-13 | Blackwell Ray A | Lighting system and camera for operating room |
US6079862A (en) | 1996-02-22 | 2000-06-27 | Matsushita Electric Works, Ltd. | Automatic tracking lighting equipment, lighting controller and tracking apparatus |
US20020036617A1 (en) | 1998-08-21 | 2002-03-28 | Timothy R. Pryor | Novel man machine interfaces and applications |
EP1148860A4 (en) | 1998-12-17 | 2002-10-09 | Getinge Castle Inc | LIGHTING SYSTEM FOR SURGICAL FACILITIES |
AU2597501A (en) | 1999-12-23 | 2001-07-03 | Hill-Rom Services, Inc. | Surgical theater system |
JP2002324403A (ja) * | 2001-04-25 | 2002-11-08 | Dainippon Screen Mfg Co Ltd | 視野照明装置 |
ES2225668T3 (es) | 2002-03-01 | 2005-03-16 | Brainlab Ag | Lampara para sala de operadciones, que incluye un sistema de camaras para referenciacion tridimensional. |
US9955551B2 (en) | 2002-07-12 | 2018-04-24 | Yechezkal Evan Spero | Detector controlled illuminating system |
DE10323091A1 (de) | 2003-05-16 | 2004-12-02 | Carl Zeiss | OP-Feldbeleuchtungsvorrichtung |
WO2013111134A1 (en) | 2012-01-24 | 2013-08-01 | Yechezkal Evan Spero | Detector controlled illuminating system |
US8905585B2 (en) | 2004-05-13 | 2014-12-09 | Or21, Llc | Operating room/intervention room |
US7706683B2 (en) | 2005-05-31 | 2010-04-27 | Brainlab Ag | Self adjusting operation lamp system |
US20080117569A1 (en) | 2006-11-20 | 2008-05-22 | Jia-Shunn Lee | Power-supplying device |
EP2191783B1 (en) * | 2008-01-09 | 2016-08-03 | Stryker European Holdings I, LLC | System for stereotactic computer assisted surgery based on three-dimensional visualization |
US8315434B2 (en) * | 2009-01-06 | 2012-11-20 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Absolute tracking in a sub-pixel range |
IL199657A0 (en) * | 2009-07-02 | 2011-08-01 | Carmel Haifa University Economic Corp Ltd | Face representation systems for privacy aware applications and methods useful in conjunction therewith |
DE102009037316A1 (de) | 2009-08-14 | 2011-02-17 | Karl Storz Gmbh & Co. Kg | Steuerung und Verfahren zum Betreiben einer Operationsleuchte |
JP5650568B2 (ja) * | 2011-03-18 | 2015-01-07 | 株式会社モリタ製作所 | 医療用診療装置 |
US9629523B2 (en) | 2012-06-27 | 2017-04-25 | Camplex, Inc. | Binocular viewing assembly for a surgical visualization system |
US10757369B1 (en) * | 2012-10-08 | 2020-08-25 | Supratik Mukhopadhyay | Computer implemented system and method for high performance visual tracking |
EP2912405B1 (en) | 2012-10-29 | 2017-10-18 | 7D Surgical Inc. | Integrated illumination and optical surface topology detection system and methods of use thereof |
WO2014208761A1 (ja) * | 2013-06-28 | 2014-12-31 | 株式会社Jvcケンウッド | 診断支援装置及び診断支援方法 |
WO2015074078A1 (en) | 2013-11-18 | 2015-05-21 | Pelican Imaging Corporation | Estimating depth from projected texture using camera arrays |
US10432922B2 (en) | 2014-03-19 | 2019-10-01 | Intuitive Surgical Operations, Inc. | Medical devices, systems, and methods using eye gaze tracking for stereo viewer |
KR101650620B1 (ko) | 2014-06-24 | 2016-08-24 | 경북대학교 산학협력단 | 레이저 수술 유도 장치 및 방법, 이를 수행하기 위한 기록 매체 |
US10419655B2 (en) * | 2015-04-27 | 2019-09-17 | Snap-Aid Patents Ltd. | Estimating and using relative head pose and camera field-of-view |
US10240751B2 (en) | 2016-03-24 | 2019-03-26 | TurningMode, LLC | Systems and methods of illumination |
US10194990B2 (en) * | 2016-04-27 | 2019-02-05 | Arthrology Consulting, Llc | Method for augmenting a surgical field with virtual guidance content |
US10767822B2 (en) | 2016-06-24 | 2020-09-08 | Brian Munari | Automatic light control for illumination of a feature of interest |
KR101904498B1 (ko) | 2016-11-22 | 2018-10-17 | 동서대학교산학협력단 | 다수 개의 근적외선 영상센서가 구비된 스캐너 및 이를 통해 촬영한 다수 개의 시간에 따른 2차원 생체영상을 시간에 따른 당뇨성 상처 확인용 3차원 생체영상으로 변환하는 방법 |
US10277842B1 (en) | 2016-11-29 | 2019-04-30 | X Development Llc | Dynamic range for depth sensing |
US10885396B2 (en) * | 2017-05-24 | 2021-01-05 | Amazon Technologies, Inc. | Generating composite images using audio/video recording and communication devices |
DE102017006529A1 (de) * | 2017-07-11 | 2019-01-17 | Drägerwerk AG & Co. KGaA | Verfahren, Vorrichtung und Computerprogramm zur Erfassung von optischen Bilddaten einer Patientenumgebung und zur Erkennung einer Patientenüberprüfung |
CN107799171A (zh) | 2017-10-31 | 2018-03-13 | 广东美的安川服务机器人有限公司 | 信息处理方法、装置及系统、存储介质、设备和服务器 |
US10517158B2 (en) | 2018-02-09 | 2019-12-24 | Gentex Corporation | Systems and methods for detection and illumination of regions of interest |
-
2020
- 2020-06-19 EP EP20826504.1A patent/EP3968888A4/en active Pending
- 2020-06-19 KR KR1020217036964A patent/KR20220022475A/ko unknown
- 2020-06-19 CA CA3139881A patent/CA3139881A1/en active Pending
- 2020-06-19 CN CN202080036467.5A patent/CN113873960A/zh active Pending
- 2020-06-19 US US16/906,417 patent/US11890146B2/en active Active
- 2020-06-19 JP JP2021575046A patent/JP7286815B2/ja active Active
- 2020-06-19 WO PCT/IB2020/055811 patent/WO2020255083A1/en unknown
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6496595B1 (en) * | 2000-05-19 | 2002-12-17 | Nextgenid, Ltd. | Distributed biometric access control apparatus and method |
US20130113929A1 (en) * | 2011-11-08 | 2013-05-09 | Mary Maitland DeLAND | Systems and methods for surgical procedure safety |
CN104145276A (zh) * | 2012-01-17 | 2014-11-12 | 厉动公司 | 用于通过光学成像进行的对象检测和表征的增强对比度 |
CN104582622A (zh) * | 2012-04-16 | 2015-04-29 | 儿童国家医疗中心 | 用于外科和介入医疗程序中的跟踪和控制的双模立体成像系统 |
US20190117809A1 (en) * | 2016-03-08 | 2019-04-25 | Antisep - Tech Ltd. | Method and system for monitoring activity of an individual |
US20190038362A1 (en) * | 2017-08-02 | 2019-02-07 | Medtech S.A. | Surgical field camera system |
US20190060026A1 (en) * | 2017-08-31 | 2019-02-28 | Gentex Corporation | Illumination systems |
Also Published As
Publication number | Publication date |
---|---|
WO2020255083A1 (en) | 2020-12-24 |
JP7286815B2 (ja) | 2023-06-05 |
KR20220022475A (ko) | 2022-02-25 |
EP3968888A4 (en) | 2022-10-12 |
EP3968888A1 (en) | 2022-03-23 |
US11890146B2 (en) | 2024-02-06 |
CA3139881A1 (en) | 2020-12-24 |
JP2022537314A (ja) | 2022-08-25 |
US20200397528A1 (en) | 2020-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11890146B2 (en) | Illumination system and method for object tracking | |
US11517393B2 (en) | Systems and methods for detection and illumination of regions of interest | |
CN111919514B (zh) | 基于图像控制的自适应照明阵列 | |
US10828124B2 (en) | Illumination systems | |
US7564368B2 (en) | Semantic light | |
JP7326492B2 (ja) | ウェアラブル医療機器 | |
US11538570B2 (en) | Authentication and informational displays with adaptive lighting array | |
US11100323B2 (en) | Detection of a pose of an eye | |
EP3906753B1 (en) | Control for adaptive lighting array | |
WO2020141476A1 (en) | Control apparatus and methods for adaptive lighting array | |
Schregle et al. | Design of an Automated Robotic System for Object Tracking and Targeted Lighting | |
Premarathna et al. | Development of a Prototype Automated Self-Adjusting Arm with a Light for an Operation Theatre |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |