CN111297308A - 操作视频镜的系统和方法 - Google Patents

操作视频镜的系统和方法 Download PDF

Info

Publication number
CN111297308A
CN111297308A CN201911274477.8A CN201911274477A CN111297308A CN 111297308 A CN111297308 A CN 111297308A CN 201911274477 A CN201911274477 A CN 201911274477A CN 111297308 A CN111297308 A CN 111297308A
Authority
CN
China
Prior art keywords
amount
gpu resources
primary mirror
level
mirror
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911274477.8A
Other languages
English (en)
Inventor
D·利茨
E·黑尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Karl Storz Imaging Inc
Original Assignee
Karl Storz Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Karl Storz Imaging Inc filed Critical Karl Storz Imaging Inc
Publication of CN111297308A publication Critical patent/CN111297308A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/509—Offload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Stored Programmes (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供了操作视频镜的系统和方法。一种使用虚拟照相机控制单元(CCU)服务器的图形处理单元(GPU)资源来操作视频镜的方法包括：确定可用GPU资源量；提供主镜以连接至网络，该主镜包括在从需要最小GPU资源量的最小水平到需要最大GPU资源量的最大水平的范围内能够调整的主镜设置；将主镜设置配置为主镜第一水平；基于主镜第一水平来确定第一期望GPU资源量；以及将第一期望GPU资源量与可用GPU资源量进行比较。

Description

操作视频镜的系统和方法
技术领域
本发明一般涉及医疗装置的领域，更具体地涉及视频医疗镜及其控制器的领域。
背景技术
诸如内窥镜等的视频医疗镜通常与相关控制器(本文中称为照相机控制单元(CCU))一起被设置在手术室或检查室中。视频医疗镜通常具有插入到控制器中的线缆，以将来自镜的视频数据和按钮接口数据发送至控制器并接收来自控制器的命令。控制器处理来自镜的视频数据以采用各种方式来过滤、增强和分析视频图像。CCU通常被承载在由医疗技术人员推进手术室并进行设置的机架上，其中这些医疗技术人员将视频医疗镜连接至CCU并将其配置用于特定过程。这一过程增加了手术准备的延误和复杂性，并进一步提高了必须清洗和灭菌才能安全操作的医疗设备的数量。
CCU系统的升级和发展进程也具有复杂性。现有的CCU系统是基于FPGA、CPU的复杂发展流程和图像处理发展而创建的，从而产生冗长且有风险的发展时间。基于CCU单元的图形处理单元(GPU)也可以提供等效功能。在引入新的视频技术(诸如像2K或4K视频标准那样的高清视频等)的情况下，将这些系统扩展到更高性能的系统变得困难。另外，这些系统实际上有很大一部分的时间是空闲的。
发明内容
本发明的目的是改进对于医院或诊所型环境内的视频医疗镜的管理和控制。本发明的另一目的是改进视频医疗镜的设置速度和成本。本发明的另一目的是更高效地利用处理能力来进行视频医疗镜成像。此外，本发明的目的是实现发展的改进，以快速且容易地部署视频医疗镜图像处理。
一种使用连接至网络的虚拟照相机控制单元服务器即虚拟CCU服务器的图形处理单元资源即GPU资源来操作视频镜的方法，包括：确定可用GPU资源量；提供主镜以连接至所述网络，所述主镜包括能够在从需要最小GPU资源量的最小水平到需要最大GPU资源量的最大水平的范围内调整的主镜设置；将所述主镜设置配置为主镜第一水平；基于所述主镜第一水平来确定第一期望GPU资源量；以及将所述第一期望GPU资源量与所述可用GPU资源量进行比较。
在其它特征中，本发明的方法还包括在所述第一期望GPU资源量小于或等于所述可用GPU资源量的情况下从所述可用GPU资源量中分配所述第一期望GPU资源量，并使用所述主镜第一水平来操作所述主镜。
在另外的其它特征中，方法还包括在所述第一期望GPU资源量大于所述可用GPU资源量的情况下将所述主镜设置从所述主镜第一水平调整为低于所述主镜第一水平的主镜第二水平。
在另外的其它特征中，所述主镜包括多个主镜设置，各主镜设置能够在从最小水平到最大水平的范围内调整，所述方法还包括基于用户输入按重要性的顺序来对所述多个主镜设置进行优先级排序。所述方法还包括基于所述优先级排序来选择所述多个主镜设置中的第一主镜设置，并将所述第一主镜设置从所述主镜第一水平调整为低于所述主镜第一水平的主镜第二水平。
在其它特征中，方法还包括在所述第一期望GPU资源量大于所述可用GPU资源量的情况下提示增加所述可用GPU资源量。
在另外的其它特征中，所述方法还包括确定锁定GPU资源量，其中所述可用GPU资源量不包括所述锁定GPU资源量。所述方法还包括在所述第一期望GPU资源量大于所述可用GPU资源量的情况下提示用户以解锁所述锁定GPU资源量的第一部分。所述方法还包括基于所述可用GPU资源量和所述第一期望GPU资源量之间的差来确定所述第一部分。
在另外的其它特征中，方法还包括：提供辅镜以连接至所述网络，所述辅镜包括能够在从需要最小GPU资源量的最小水平到需要最大GPU资源量的最大水平的范围内调整的辅镜设置；将所述辅镜设置配置为辅镜第一水平；基于所述辅镜第一水平来确定第二期望GPU资源量；基于所述第一期望GPU资源量和所述第二期望GPU资源量来确定总期望GPU资源量；以及将所述总期望GPU资源量与所述可用GPU资源量进行比较。
在其它特征中，方法还包括在所述第一期望GPU资源量小于或等于所述可用GPU资源量的情况下从所述可用GPU资源量中分配所述第一期望GPU资源量，并使用所述主镜第一水平来操作所述主镜。
在另外的其它特征中，方法还包括在所述总期望GPU资源量小于或等于所述可用GPU资源量的情况下从所述可用GPU资源量中分配所述第二期望GPU资源量，并使用所述辅镜第一水平来操作所述辅镜。
在其它特征中，方法还包括在所述总期望GPU资源量大于所述可用GPU资源量的情况下将所述辅镜设置从所述辅镜第一水平调整为低于所述辅镜第一水平的辅镜第二水平。
在其它特征中，所述辅镜包括多个辅镜设置，各辅镜设置能够在从最小水平到最大水平的范围内调整，所述方法还包括基于用户输入按重要性的顺序来对所述多个辅镜设置进行优先级排序。所述方法还包括基于所述优先级排序来选择所述多个辅镜设置中的第一辅镜设置，并将所述第一辅镜设置从所述辅镜第一水平调整为低于所述辅镜第一水平的辅镜第二水平。
在另外的其它特征中，方法还包括在所述总期望GPU资源量大于所述可用GPU资源量的情况下提示增加所述可用GPU资源量。
在另外的其它特征中，所述方法还包括确定锁定GPU资源量，所述可用GPU资源量不包括所述锁定GPU资源量。所述方法还包括在所述总期望GPU资源量大于所述可用GPU资源量的情况下提示用户以解锁所述锁定GPU资源量的第一部分。所述方法还包括基于所述可用GPU资源量和所述总期望GPU资源量之间的差来确定所述第一部分。
用于使用连接至网络的虚拟照相机控制单元服务器即虚拟CCU服务器的图形处理单元资源即GPU资源来操作视频镜的系统包括：分配管理器、主镜、特征模块和负荷平衡模块。分配管理器确定可用GPU资源量。主镜包括主镜设置，该主镜设置能够在从需要最小GPU资源量的最小水平到需要最大GPU资源量的最大水平的范围内调整。特征模块将主镜设置配置为主镜第一水平。负荷平衡模块基于主镜第一水平来确定第一期望GPU资源量，并将第一期望GPU资源量与可用GPU资源量进行比较。
在其它特征中，所述分配管理器在所述第一期望GPU资源量小于或等于所述可用GPU资源量的情况下从所述可用GPU资源量中分配所述第一期望GPU资源量。
在另外的其它特征中，所述特征模块在所述第一期望GPU资源量大于所述可用GPU资源量的情况下将所述主镜设置从所述主镜第一水平调整为低于所述主镜第一水平的主镜第二水平。
在另外的其它特征中，所述主镜包括多个主镜设置，各主镜设置能够在从最小水平到最大水平的范围内调整，所述系统还包括优先级排序模块，该优先级排序模块基于用户输入按重要性的顺序来对所述多个主镜设置进行优先级排序。所述特征模块基于所述优先级排序来选择所述多个主镜设置中的第一主镜设置、并将所述第一主镜设置从所述主镜第一水平调整为低于所述主镜第一水平的主镜第二水平。所述负荷平衡模块在所述第一期望GPU资源量大于所述可用GPU资源量的情况下提示增加所述可用GPU资源量。
为了实现这些目标，本发明提供了系统、装置、方法和程序产品，用于在不需要本地照相机控制单元(CCU)而通过虚拟CCU服务器在网络中提供虚拟CCU的情况下操作视频医疗镜装置，其中网络连接至镜以及与镜一起位于房间内的显示器/用户接口。为服务器提供多个GPU，其中这些GPU被分配给虚拟CCU的实例化。GPU的数量可以基于虚拟CCU的预期处理需求或基于实际处理工作负荷来适配。可以提供适配器以供传统镜的连接，该适配器在镜侧具有传统镜的控制和视频传输协议、以及用于相对于服务器来回传输视频和控制数据的光网络接口。通过集中处理并且仅根据具体任务的需要分配处理能力，减少了将传统塔移入和移出手术室以及所需的任何灭菌操作的物理设置时间。此外，改进的CCU软件的开发和部署在开发和部署的成本和速度上都得到了改进。
本发明的实现也可以体现为软件或固件，存储在合适的介质中，并且可执行以进行本文中的方法的各种版本。根据以下对结合附图一起考虑的优选实施例的说明，本发明的这些和其它特征将显而易见。
附图说明
图1是根据本发明的示例实施例的、在医院内连接的医疗装置的系统的框图。
图2是虚拟CCU服务器软件架构的框图。
图3是同一服务器的硬件架构的框图。
图4是用于初始化和操作虚拟CCU的处理的软件流程图。
图5是根据另一实施例的用于向虚拟CCU分配GPU的处理的流程图。
图6是用于向虚拟CCU分配GPU的另一可选处理的流程图。
图7是用于将传统视频医疗镜连接至网络和虚拟CCU服务器的装置接口模块的硬件框图。
图8是用于控制并向虚拟CCU分配GPU的系统的示例性实施例的流程图。
图9是用于控制并向虚拟CCU分配GPU的系统的示例性实施例的流程图。
图10是虚拟CCU服务器软件架构的框图。
具体实施方式
提供了系统、装置、方法和程序产品，用于在不需要本地照相机控制单元(CCU)而是通过虚拟CCU服务器在光网络中提供虚拟CCU的情况下操作视频医疗镜装置，其中光网络连接至镜以及与镜一起位于房间内的显示器/用户接口。为服务器提供GPU资源，其中这些GPU资源包括被分配给虚拟CCU的实例化的多个GPU。这避免了每次需要CCU设备时将该设备移入手术室或检查室中。这还能更有高效地利用资源，因为与提供更多数量的移动CCU机架以具有足够的、在医院或诊所的任何区域中可能需要可用的各种型号和功能的机架相比，虚拟CCU服务器可以仅配置有足以同时运行可能需要的虚拟CCU的处理能力。被分配给虚拟CCU的GPU的数量可以根据虚拟CCU的预期处理需求或基于实际处理工作负荷来适配。可以提供适配器以供传统镜连接，该适配器在镜侧具有传统镜的控制和视频传输协议、以及用于相对于服务器来回传输视频和控制数据的光网络接口。
以下说明仅仅是示例性的，而绝不旨在限制本发明、其应用或使用。为清楚起见，在附图中将使用相同的附图标记来标识相同的元件。如本文中所使用的短语“A、B和C中至少之一”应被解释为意味着使用非排他性逻辑或的逻辑(A或B或C)。应当理解，方法中的步骤可以按不同的顺序执行，而不改变本发明的原理。
如本文中所使用的，术语“模块”是指专用集成电路(ASIC)、现场可编程门阵列(FPGA)、电子电路、用于执行一个或多个软件或固件程序的处理器(共享、专用或组)和存储器、组合逻辑电路或用于提供所描述的功能的其它合适组件。
图1是根据示例实施例的采用医疗照相机系统的医院或诊所环境中的医疗照相机系统的系统框图。在该版本中，医疗照相机系统包括对个诸如视频医疗镜100(以下为镜100)等的多个视频医疗成像装置，各视频医疗成像装置具有相关联的显示器/用户接口(UI)200，该相关联的显示器/UI 200可以包括一个或多个视频显示器以及诸如鼠标、键盘、按钮盘和操纵杆等的用户接口装置。如所描绘的，镜100和显示器/UI 200可以在检查室或手术室5中操作。多个镜100和显示器/UI 200可以在多个检查室或手术室5中通过网络连接至虚拟照相机控制单元(CCU)服务器70，该CCU服务器70包括用于从中央位置，而不是手术室中存在的通常安装在机架中的CCU装置，提供操作员接口和控制以及图像处理功能。虚拟CCU服务器70通常位于医院服务器室。虽然虚拟CCU服务器70可以位于进行这些过程的医院或诊所的外部，但它通常将位于建筑物内或至少位于同一场所或设施，举例而言，诸如位于基于较大医疗综合体的数据中心。虽然附图示出每个房间5存在一个镜100，但这并不是限制性的，如果网络连接允许，则可以在单个房间5中同时使用多个视频医疗镜100。因此，根据需要，各镜100可以连接至虚拟CCU服务器70的GPU资源。
各镜100通信耦接至其相应的网络接口110中的调制器，其中网络接口110可以与镜集成在一起或者位于外部适配器中，调制器至少对来自各自相应的镜100的控制数据和视频数据进行调制，以在网络上传输到虚拟CCU服务器70。网络接口110中的解调器通常仅从虚拟CCU服务器接收网络业务。一个或多个显示器/UI 200与相应的镜100相关联。代替通过线缆将镜100连接至与显示器连接的本地CCU的现有技术布置，本系统提供了虚拟CCU服务器70，该虚拟CCU服务器70通过相应的网络接口中的光调制器在网络上通信连接至视频医疗镜100和显示器/UI 200。
本发明可以体现为诸如所描述的示例系统等的系统，或者体现为用于通过网络向多个视频医疗镜装置提供虚拟CCU的服务器。本发明还可以体现为有形、非暂时性程序代码，其可操作用于控制虚拟CCU服务器以与其它装置协作进行其功能。虚拟CCU服务器70被编程和构造为针对各镜100提供虚拟CCU 72，虚拟CCU 72包括与本地CCU中所提供的GPU类似的、执行程序代码的一个或多个GPU 90。也就是说，虚拟CCU 72可操作地从镜100接收原始图像数据(例如以序列化帧数据的形式)、经由图像或视频处理来操作视频数据的视觉特性、对经操作的视频数据进行编码、并且处理控制数据，以通过光网络将编码后的经操作的视频数据输出到相应的相关联的视频显示器并将处理后的控制数据输出到相应的视频医疗镜，从而控制相应的视频医疗镜的操作方面。
一个或多个GPU 90优选由服务器控制器和分配管理器75动态地分配或指派给相应的虚拟CCU 72。如以下进一步所述，这种分配通常是根据针对所需过程的镜100的连接和配置进行的。
现在将针对图2～4来描述虚拟CCU服务器70。图2是虚拟CCU服务器软件架构的框图。图3是同一服务器的硬件架构的框图。图4是用于初始化和操作虚拟CCU的处理的软件流程图。GPU服务器硬件和软件的一般设计在本领域中是已知的，因此本文中将不会描述诸如操作系统、内部芯片组和电源等的常见元件，以避免混淆硬件和软件的相关部分。
参考图2，虚拟CCU服务器70包括分配管理器75，该分配管理器75包括可以由虚拟CCU服务器70内的单独专用服务器CPU处理器执行、或者可以由CPU/GPU服务器装置的CPU部分执行的服务器管理器软件。虚拟CCU服务器70还包括诸如硬盘驱动器或闪存驱动器等的非易失性存储器76，以用于保持虚拟CCU的初始化代码和初始化设置。虚拟CCU代码通常以引导图像或包含可执行文件的二进制图像的形式存储，但可以是文件和数据库信息的混合，诸如对虚拟CCU服务器上的GPU核初始化以作为虚拟CCU 72执行所必需的配置设置。短语“二进制图像”描述了诸如用于配置(例如，引导或初始化)虚拟CCU 72的文件或文件组等的二进制数据，而不是用于图片图像的意义。这种初始化代码或信息将被称为初始化数据。
在所描绘的版本中，非易失性存储器76保持受控初始化数据77的集合和非受控初始化数据78的集合。集合中的每个二进制图像或其它初始化数据可以用于使适于与特定视频医疗镜模型一起使用以进行特定过程的虚拟CCU72实例化。术语“受控”是指应用于某种视频医疗镜软件的监管控制。各种医疗过程需要使电子系统及相关软件和固件受到FDA或其它监管机构监管，并因此受到严格控制。例如，能够进行自发荧光、荧光成像(FI)和/或光动力诊断(PDD)过程的内窥镜荧光成像系统目前被归类为FDA第III类医疗装置，其受上市前批准(PMA)发布和批准进程的制约。由于第III类装置的风险状况，第III类装置被“锁定”，使得在未经进一步FDA批准的情况下不允许改变系统硬件、诸如现场可编程门阵列(FPGA)装置等的可编程硬件、或软件。
在一些情况下，用以进行特定图像处理技术的算法受到严格控制，而硬件平台本身不受制于相同规则和测试。由于对受控二进制文件的任何更新都需要监管批准(这可能需要6至12个月才能获得)，因此不需要受控软件的过程通常单独存储，并且可以在未经监管批准的情况下进行软件和固件更新。受控初始化数据77保持用以对受制于PMA控制的虚拟CCU配置进行实例化的二进制图像或其它文件和数据。非受控初始化数据78保持用以对不受PMA控制(即，无需第III类上市前批准)的各种虚拟CCU配置进行实例化的二进制图像或其它文件和数据。虽然示出这些类型的初始化数据，但某些系统可能只存储一种类型的数据，并且存储处理可能不会区分所存储的二进制图像的监管类型。通常，这种差异在虚拟CCU的初始化阶段是相关的，其中初始化过程必须进行验证以确认受控图像是否与已批准用于此类操作的图像相匹配。
在虚拟CCU服务器70上，多个虚拟CCU 72可以在任何特定时间实例化且有效，直到服务器上所提供的处理能力的极限。虚拟CCU 72包括运行在所分配的硬件上以进行CCU功能的软件和/或固件的运行副本或实例化。针对图4进一步描述了初始化处理。当然，非易失性存储器76将保持其它数据，诸如服务器操作系统和分配管理器75的软件等。
现在参考图3，示出示例虚拟CCU服务器的硬件框图。虽然针对虚拟CCU服务器70示出这种特别的设计，但是根据本文的技术，许多现代CPU/GPU服务器设计也是针对虚拟CCU服务器而言合适的硬件平台。例如，虚拟CCU服务器70可以是单刀片式服务器或包括集成高速总线和系统RAM的更大集成平台。分配管理器75可以运行在与其它CPU/GPU卡一起安装在较大服务器上的单独CPU卡上，或者可以运行在CPU/GPU卡或其它类似模块中的一个或多个CPU上。多个网络接口35将虚拟CCU服务器70连接至医院或诊所网络，其中视频医疗镜100和显示器/UI 200连接至该医院或诊所网络以使系统完整。在该版本中，诸如PCIe(快速外围组件互连)总线等的系统总线32将网络接口连接至服务器中的各种CPU和GPU卡。非易失性存储器76也通过高速总线连接，其中该高速总线可以是相同的总线或其它合适的总线。分配管理器75被编程为分配GPU 90和CPU功能，无论是在专用CPU核36中还是作为在CPU核36上运行的虚拟机。被指派为用作特定虚拟CCU 72的GPU核的数量可以变化(如图1所示)，并且可以基于特定镜配置所需的图像处理功能预先确定，或者基于特定虚拟CCU 72的实时处理负荷动态地分配。
系统总线32将光接口连接至通常安装在服务器外壳中的处理器卡或模块上的一个或多个处理装置。虽然示出一个处理模块34，但这并不是限制性的，并且典型的CPU/GPU服务器可以包含许多这样的卡，诸如16或20个卡。网络接口35可以与单个处理模块34集成。特定的网络协议并不是限制性的，并且例如可以是承载PCIe的
Figure BDA0002315157280000101
连接或者承载远程直接存储器访问(RDMA)信令以增强将数据链接至期望GPU的速度和延时的光以太网或高速以太网。
通常，单个CPU核36将负责控制相应虚拟CCU 72的用户接口逻辑和图形处理。这种CPU核也可以是多任务或多线程，或者包括虚拟机(VM)技术，以用作多于一个虚拟CCU的控制器。CPU核36指导GPU 90针对所连接的各个镜100进行CCU图像处理任务的任务派遣。
通常，GPU 90与同其关联(组合)的CPU核36位于同一半导体装置上以使其相应的虚拟CCU实例化，但是这并不是限制性的，GPU 90可以与关联的CPU核36位于不同的半导体装置上。GPU 90优选具有GPU到GPU互连(诸如使相邻的GPU核组互连的Nvidia
Figure BDA0002315157280000111
)，从而允许顺序执行图像处理技术，而不必通过系统存储器或本地总线对线程间或进程间消息传送进行中继。这样的片上互连总线可以将各GPU核连接至四个相邻的GPU核，但是仅仅连接至至少两个相邻GPU核是有益的，并且可以在本发明的一些实施例中实现以允许顺序执行图形处理功能，而无需在GPU之间的本地总线上传递图形数据。RAM 38通过高速本地总线或存储器总线连接。
许多其它互连布置可用于GPU-RAM互连。例如，各GPU可以具有片上RAM或专用本地RAM。CPU核36和GPU 90优选具有统一存储器，从而允许这两者针对处理模块34上存在的RAM的至少一部分进行RAM 38访问。分配管理器75可以包括通过存储器总线连接的专用RAM。在一些实施例中，虚拟CCU服务器70可以包括通信连接至网络接口35中的光调制器/解调器以及多个GPU的光总线。这样的布置允许系统总线内的更高带宽以及更低的整体延时。
可以理解，在系统运行中，可以为多个虚拟CCU各自指派能够访问共享图形处理或RAM 38的两个或多个GPU 90，其中CPU核36被指派用作用于协调两个或多个GPU 90之间的任务的虚拟CCU控制器。被指派给至少一个虚拟CCU的相应的两个或多个GPU 90可以是较大处理器装置的单个GPU处理器核，或者一起安装在处理模块34上的单个GPU装置。虽然不同处理模块上的GPU核可以在具有高速系统总线的一些CPU/GPU服务器架构中进行协作从而允许对不同卡或模块上的处理器进行分组，但是在本发明的大多数版本中，被指派给特定虚拟CCU的所有GPU 90将位于同一处理模块34上。
图4是用于初始化和操作虚拟CCU的处理的软件流程图，该处理可以在诸如图3所描绘的硬件或其它合适的CPU/GPU硬件上执行。一般地，该处理通过网络向多个视频医疗镜装置提供虚拟CCU，各视频医疗镜装置具有相关联的一个或多个视频显示器。该处理在块402处开始，其中镜100连接至虚拟CCU服务器所在的网络，该镜位于手术室或检查室，而服务器驻留在网络上某处的服务器室或数据中心。在块404处，虚拟CCU服务器以持续方式对这些连接进行响应，包括检测网络上的多个视频医疗镜各自的连接并且如流程图中所示地进行响应的处理。视频医疗镜通常位于与虚拟CCU服务器不同的房间，而多个镜可以在同一手术室或检查室中连接。
对于所连接的各视频医疗镜，在块406处，处理从操作员接收用于识别镜的期望CCU配置的选择。在一些版本中，特定镜可能仅具有单个可能配置，或者服务器可被预编程为限制特定镜可用的配置，从而跳过在块404处显示配置接口并且跳过406以在块408处开始预定配置。自动地或基于期望CCU配置，在块408处，处理包括选择用于针对各视频医疗镜的相应虚拟CCU进行初始化的相应配置数据集。数据通常是包含CPU核36和多个GPU 90的可执行代码的二进制图像，以对虚拟CCU(72)进行实例化和操作。然而，这并不是限制性的，并且作为替代，数据可以仅包括用于配置CPU核36和GPU 90存储器中已经存在的代码的配置参数。
接着，基于配置数据，在块410处，处理指派用于各相应虚拟CCU中的两个或更多个GPU核的相应集合。GPU核的数量和选择可以包含在诸如二进制图像等的配置数据中，或者可以由虚拟CCU服务器基于虚拟CCU所要进行的各种图像处理技术的预期处理负荷来确定。在块412处，处理基于虚拟CCU的相应配置数据集来对虚拟CCU进行初始化，并将这些虚拟CCU链接至其相应的视频医疗镜和显示器/UI，从而将来自相应视频医疗镜的视频数据流和控制数据传递至其相应虚拟CCU。这通常涉及指定CPU核(即，图3中的36)用作虚拟CCU控制器来引导GPU核和数据流并在示出处理后的视频的显示器/UI 200处呈现接口。在块414处，各虚拟CCU进行操作，以接收来自视频医疗镜的视频数据流和控制数据，用分配的GPU核处理视频图像，并通过网络将处理后的图像传输回显示器。
一般地，如块416处所示，服务器操作虚拟CCU以经由图像或视频处理来操作视频数据的视觉特性，从而对经操作的视频数据进行编码、并处理来自视频医疗镜按钮和来自与显示器相关联的UI(这两者在手术室或检查室中)的控制数据以对命令进行响应，诸如改变视频显示模式或改变视频医疗镜的操作模式。为了改变镜的模式，虚拟CCU将处理后的控制数据输出到相应的视频医疗镜，以控制相应的视频医疗镜的操作方面。
虚拟CCU继续操作并对命令进行响应，直到在块418处，操作员通过UI接口关闭虚拟CCU或断开相应的视频医疗镜为止。在块420处，服务器分配管理器可以在虚拟CCU停用时移除该虚拟CCU并对CPU核和GPU核解除分配，或者在某些情况下，服务器分配管理器可以维持特定虚拟CCU的配置，而仅仅将其断开链接从而不接收数据，并为同一手术室的另一不同的CCU进行实例化以支持另一不同的视频医疗镜。
虽然处理被描绘为一个循环来描述功能，但其通常是事件驱动或中断驱动型处理，其中新的事件(诸如在其它网络连接处的新视频医疗镜和显示器/UI的连接)会导致不同的处理线程以并行地对新的虚拟CCU进行实例化。
在一些实施例中，基于相应期望CCU配置的最大预期处理负荷来进行对GPU核的集合的指派。在一些其它实施例中，如图5的流程图所示，处理可以包括：在块502处在虚拟CCU服务器上运行虚拟CCU的同时，在块504处从可操作地改变虚拟CCU的操作模式的视频医疗镜或其相关联的UI接收相应控制输入、以及在块506处作为响应而指派用于第一虚拟CCU的附加GPU核。如果模式改变需要较少的GPU，则处理也可以对GPU核解除分配。
在一些其它实施例中，如图6的流程图所描绘的，被分配给特定虚拟CCU的GPU的数量可以基于处理负荷来调整。在该处理中，在块602处，当虚拟CCU实例化并在虚拟CCU上运行时，处理包括在块604处监视运行中的相应虚拟CCU的处理负荷水平，并基于相应处理负荷水平来指派附加GPU核用于相应虚拟CCU中或对GPU核解除分配。这可以通过提供指定处理负荷度量的阈值来完成，其中这些阈值在被超过时将导致所分配的GPU的数量上升或下降(块606)。度量可以是相对于对帧进行的图形算法的数量的视频图像帧处理时间，从而测量一个或多个GPU的空闲时间或所进行的诸如浮点运算等的数学运算的数量。可以使用其它合适的度量。
图7是用于将传统镜100连接至网络和虚拟CCU服务器的装置接口模块的硬件框图。所描绘的装置接口模块700允许不具有内置的光网络接口并使用视频数据和控制信号数据的传统格式的传统视频医疗镜与本文描述的虚拟CCU系统一起操作。在镜100和装置接口模块700之间示出可选的线缆704，该线缆704被示出为可选的，这是因为装置接口模块700可以以刚性方式直接连接至镜，从而允许作为单个单元进行处理，或者可以用线缆704连接，从而允许以镜100的通常方式使用镜100。装置接口模块700包括用于从传统镜100接收图像数据并将数据转换为虚拟CCU服务器所使用的格式的图像信号接口。控制信号接口对控制信令(诸如用以将镜置于如荧光成像模式的特定模式的信号)进行同样的操作。这可能涉及将模拟信号转换为数字形式、或将数字信号转译为其他格式。这还可能涉及通过光网络接口对信号进行多路复用以供一起传输。
通常，传统镜的电源也通过线缆连接进行供电，因此在装置接口模块中也设置了镜电源，如所描绘地由外部电源、或者在光网络格式也支持导电电源线的情况下由网络插座710的电力进行供电。在使用线缆的情况下，网络接口可以与显示器/UI 200的类似接口集成，从而允许装置接口模块700将镜100和显示器/UI 200连接至网络。在这种情况下，装置接口700将通常进行多路复用或打开多个端口，以为显示器/UI 200和镜100这两者提供数据链路。可以理解，使用装置接口模块700的视频医疗镜可以如具有集成网络接口的视频医疗镜那样与相同的虚拟CCU服务器同时使用。
现在参考图8～10，流程图和框图示出根据本发明的用于虚拟CCU 72实例化的GPU90的虚拟CCU服务器70资源管理。如图10所示，除分配管理器75之外，虚拟CCU服务器70还可以包括各种模块，例如包括优先级排序模块902、特征模块904和负荷平衡模块906。虚拟CCU服务器70可以包括用以进行与图8和图9的流程图相关联的任务的附加的或较少的模块。
针对图8，在步骤802处，分配管理器75可以正在监视虚拟CCU服务器70的资源，包括GPU 90的可用性(可用GPU资源)和网络接口110的可用性。例如，虚拟CCU服务器70内可能存在10个GPU 90，并且可能正在使用5个GPU90。同样，医院或诊所内可能存在5个网络接口110，并且可能正在使用2个网络接口110。分配管理器75可以基于有多少GPU 90或者GPU 90的哪些部分可用于处理图像数据来确定可用GPU资源量。例如，一些GPU可能被锁定、被解锁、正在使用、或者甚至是损坏的。
在步骤804处，分配管理器75判断是否期望虚拟CCU 72实例化。例如，主镜100’可以通过第一房间5’中的第一网络接口110’附接，并发送对第一实例化的请求。可选地，操作员可以登录虚拟CCU服务器70并请求第一实例化。如果不期望实例化，则系统返回到步骤802以监视资源并等待对虚拟CCU实例化的请求。
在步骤806处，分配管理器75接收开始新实例化的请求，并判断实例化是否可用。例如，医院或诊所可被分配预定数量的同时的虚拟CCU实例化。在一种情况下，也许对于三个手术室或检查室，可以分配三个同时的实例化。如果分配了三个同时的实例化、并且正在使用三个实例化，则分配管理器75可以判断为没有可用的实例化，并且进入步骤808。然而，如果实例化可用，则分配管理器75可以继续至步骤810。
根据主镜100’的附接或操作员所提供的信息，分配管理器75可以在步骤810处确定实例化类型。例如，操作员可以选择过程或连接特定类型的主镜100’，其中该主镜100’向分配管理器75指示实例化类型。实例化类型可以指示实例化类型所需的最小GPU 90的量。在步骤812处，分配管理器75可以将最小GPU量与来自步骤802的可用GPU量进行比较，以判断可用GPU资源是否足以使主镜100’能够用于实例化类型。如果没有足够的GPU资源可用，则虚拟CCU服务器70进入步骤814。然而，如果有足够的GPU资源可用，则虚拟CCU服务器70进入步骤816。
虚拟CCU服务器70可以在步骤816处针对与主镜100’相关联的特征生成可调设置的列表，并基于用户输入来确定期望什么水平的设置。例如，主镜100’可以包括可用特征，诸如视频的可调分辨率、图像数据的后处理、叠加视频流、以及配置各种帧频等。用户可以从可用特征的列表中选择设置的第一水平，各第一水平在从最小水平到最大水平的范围内。例如，主镜100’可以包括特征的多个主镜设置，其中特征诸如分辨率、帧频、颜色空间、颜色校正、成像模式(单模或多模)、二维至三维切换、以及本次提交时的其它已知特征等。最初，主镜设置可被设置为最小水平。
当操作员调整特征的设置(例如，各特征被调整为主镜第一水平)时，分配管理器75可以在步骤818处判断是否有足够的资源可用于在所选择的水平处操作镜100。例如，用户可以将主镜设置调整为主镜第一水平：4k分辨率、60帧/秒、BT2020颜色空间、同时白光和红外光(荧光成像)成像模式、以及3D可视化。这些可能是主镜设置的最大水平。操作员还可以通过迭代处理来调整设置的水平。一旦主镜设置已被设置为主镜第一水平，则可以确定支持具有这些设置的主镜100’的操作所需的第一期望GPU资源量。分配管理器75可以将第一期望GPU资源量与可用GPU资源量进行比较。
如果在主镜设置调整为第一水平之后、足够的第一期望GPU资源量大于可用GPU资源量，则分配管理器75进入步骤820。可选地，虚拟CCU服务器70可以提示用户以将一个或多个主镜设置调低到比第一水平低的水平。然而，如果有足够的GPU资源可用，则分配管理器75进入步骤822。在步骤822处，分配管理器75开始虚拟CCU实例化，并返回到步骤802以监视资源和虚拟CCU实例化。
当在步骤812处没有足够资源可用时，虚拟CCU服务器70可以分析GPU90以在步骤814处判断是否有任何GPU 90可用。例如，虚拟CCU服务器70可以设置有二十个GPU 90。然而，一些GPU 90可能不可供使用。分配管理器75可以确定可供虚拟CCU 72使用的GPU 90的量。在一些示例中，GPU 90的第一部分可以是解锁GPU 90A，并且GPU 90的第二部分可以是锁定GPU 90B。解锁GPU 90A可以由分配管理器75分配用于虚拟CCU实例化，因此可被视为可用GPU资源量。锁定GPU 90B可能不会被分配管理器75分配，因此可能不会被视为可用GPU资源量。
解锁GPU 90A与锁定GPU 90B的数量可能取决于与医院或诊所的服务协议。例如，协议可以包括可供基于第一订阅或支付率使用的解锁GPU 90A的数量。一些或全部锁定GPU90B可被解锁，并且变得可供基于第二订阅或支付率来使用。锁定GPU 90B可以在紧急情况期间或者在诸如CPU或GPU故障等的硬件故障的情况下解锁。因此，硬件可以标准化，从而降低系统的复杂性和成本。每家医院或诊所可以利用相同的系统，但是具有不同的可用GPU资源水平。
锁定GPU 90B可以远程地或通过手动服务例如经由硬件、软件或固件升级来解锁。如果没有GPU 90B可用于解锁，则可以在步骤824处进行硬件升级。如果GPU 90B可用于解锁，则分配管理器75可以在步骤826处提示用户解锁其它GPU 90B。如果期望解锁其它GPU90B，则分配管理器75进入步骤816。一旦解锁，先前锁定的GPU 90B就变成解锁GPU 90A，并且是GPU可用资源的一部分。如果不期望解锁附加GPU 90B，则服务器控制器返回到步骤802以监视资源和虚拟CCU实例化。
当在步骤818中没有足够的GPU资源可用时，与步骤814类似，分配管理器75可以再次分析GPU 90以在步骤820处判断是否有任何附加GPU 90可用。如果GPU 90B不可用于解锁，则可以在步骤828处进行硬件升级。如果GPU90B可用于解锁，则分配管理器75可以在步骤830处提示操作员解锁附加GPU90B。如果附加GPU 90B被解锁，则分配管理器75进入步骤822。如果不期望解锁附加GPU，则服务器控制器返回到步骤802以监视资源和虚拟CCU实例化。
在其它特征中，虚拟CCU服务器70可以对实例化进行优先级排序，以如图9、特别是步骤832所示地平衡GPU 90上的处理负荷。图10还示出用于基于可用资源对虚拟CCU实例化和镜特征中至少之一进行优先级排序的虚拟CCU服务器70的示例性特征。例如，第一实例化可以在步骤822处开始，其中主镜100’具有基于操作员输入900而设置在第一水平的多个主镜设置。第一实例化可以是心脏搭桥手术，鉴于过程的严重性，这种心脏搭桥手术可被指派高优先级状况(可以由优先级排序模块902确定)。第一实例化可以包括具有诸如以下的多个特征的主镜100’：两个8k分辨率图像传感器、由两个图像传感器分别捕获的反射白光图像流和荧光图像流的同时捕获、以及白光反射成像所用的HDR(高动态范围)后处理。
用户可以按重要性的顺序对多个特征进行优先级排序。例如，分辨率可以比HDR处理更重要，因此可以优先对分辨率的设置以维持在主镜第一水平，同时可以调整HDR设置。可选地，特征模块904可以基于实例化类型或主镜100’来对特征进行优先级排序。此外，如前所述，多个主镜设置可以包括可接受操作的最小设置和最大设置。例如，图像传感器可以能够输出8k分辨率的图像流，但是从480p、720p、1080p和4k分辨率中选择的降低的分辨率对于最小设置来说是可接受的。白光图像流和荧光发射图像流的同时显示可以是最大设置，但一次一个图像流对于最小设置来说可以是可接受的。同样，帧频可以增加或降低。
参考回图9，当在步骤804中期望第二实例化并且附接了辅镜100”时，分配管理器75可以在步骤832中进行负荷平衡。假设在步骤806中第二实例化可用，则分配管理器75可以确定第二实例化的期望实例化类型。与主镜100’类似，第二实例化将基于被设置为辅镜第一水平的多个辅镜设置来生成第二期望GPU资源量。例如，第二实例化可以是减肥手术，并且包括产生1080p分辨率视频流的辅镜100”(只有白光成像，并且没有HDR处理)。考虑到过程的性质不太严重，第二实例化可能具有比第一实例化低的优先级。另外，这些特征可以基于操作员输入900(包括各自的最小需求和最大需求)按重要性的顺序进行优先级排序。
假设在步骤812处没有足够的GPU资源可用于第二实例化，并且在步骤814处没有附加GPU 90可用或者在步骤826处没有附加GPU 90可被解锁，则分配管理器75可以保留其它选项。在步骤832处，分配管理器75可以比较主镜设置和第一类型以及辅镜设置和第二实例化，以判断GPU资源是否可以重新平衡或分配，从而使得能够考虑到解锁GPU 90A的总可用GPU资源而同时实现第一实例化和第二实例化这两者。例如，如果不期望或不可能在步骤826和830中解锁附加GPU 90B、或者在步骤824和828中无法进行硬件升级(从图8看出)，则分配管理器75可能建议减少第一实例化中使用的设置，以释放GPU资源用于第二实例化。根据实例化的优先级排序，分配管理器75可以向第一实例化的操作员提示期望第二实例化。然后，第一实例化的操作员可以允许或拒绝重新分配当前被分配给第一实例化的GPU资源，以开始第二实例化。操作员可以选择降低主镜设置的水平，以释放GPU资源。可选地，特征模块904可以针对可被调整为释放GPU资源的主镜设置提供优先级排序。
尽管针对步骤832讨论了两个同时实例化，但可以以各种方式对具有相关特征的多于两个的实例化进行优先级排序，以实现自动镜设置水平降低或向一个或多个操作员建议镜设置水平降低。在一些示例中，手术室管理器可以监视来自各种操作员输入900的请求，并对实例化和/或镜设置进行授权或优先级排序。另外，在紧急情况下，例如在重大灾难或诸如CPU或GPU故障等的硬件故障期间，锁定的GPU 90B可被解锁。
尽管已经描述了这种GPU和其它处理器或控制器的组合，但应当显而易见，可以指定其它可编程逻辑器件、数字信号处理器、微控制器或其它数字逻辑电路来在虚拟CCU服务器上进行所有所需功能。所有这些变化可以进行相同的功能并且落在本发明的范围内。
如本文所使用的，术语“包括”、“包含”、“承载”、“具有”、“含有”和“涉及”等应被理解为是开放式的，即意味着包括但不限于。为了修饰权利要求元素而在权利要求中使用诸如“第一”、“第二”、“第三”等的序数词本身并不意味着任何优先级、优先序或一个权利要求元素相对于另一权利要求元素的顺序、或进行方法的动作的时间顺序。相反，除非另有具体说明，否则这种序数词仅用作用以将具有特定名称的一个权利要求元素与具有相同名称(如果没有序数词的话)的另一元素进行区分的标记。
以上已经相当广泛地概述了本发明的特征和技术优势，以便更好地理解以下对本发明的详细描述。本领域技术人员应当理解，所公开的概念和具体实施例可以容易地用作修饰或设计用于实现本发明的相同目的的其它结构的基础。本领域技术人员也应当认识到，这种等效结构不偏离所附权利要求书中所阐述的本发明的范围。
尽管已经详细描述了本发明及其优点，但应当理解，在不偏离所附权利要求书所限定的本发明的范围的情况下，可以在本文中进行各种改变、替换和变更。本文所描述的特征的组合不应被解释为限制性的，并且本文中的特征可用于根据本发明的任何工作组合或子组合中。因此，根据美国专利法和任何相关外国专利法，这种描述应被解释成为本文中的特征的任何工作组合或某一子组合提供书面支持。
此外，本申请的范围不限于说明书中所描述的处理、机器、制造、物质组成、手段、方法和步骤的特定实施例。本领域普通技术人员根据本发明的公开可以容易理解，根据本发明可以利用现有的或后面要开发的、用于进行与本文所描述的相应实施例基本上相同的功能或实现基本上相同的结果的处理、机器、制造、物质组成、手段、方法或步骤。因此，所附权利要求旨在在其范围内包括这样的处理、机器、制造、物质组成、手段、方法或步骤。

Claims (25)

1.一种使用连接至网络的虚拟照相机控制单元服务器即虚拟CCU服务器的图形处理单元资源即GPU资源来操作视频镜的方法，包括：
确定可用GPU资源量；
提供主镜以连接至所述网络，所述主镜包括能够在从需要最小GPU资源量的最小水平到需要最大GPU资源量的最大水平的范围内调整的主镜设置；
将所述主镜设置配置为主镜第一水平；
基于所述主镜第一水平来确定第一期望GPU资源量；以及
将所述第一期望GPU资源量与所述可用GPU资源量进行比较。
2.根据权利要求1所述的方法，还包括：在所述第一期望GPU资源量小于或等于所述可用GPU资源量的情况下从所述可用GPU资源量中分配所述第一期望GPU资源量，并使用所述主镜第一水平来操作所述主镜。
3.根据权利要求1所述的方法，还包括在所述第一期望GPU资源量大于所述可用GPU资源量的情况下将所述主镜设置从所述主镜第一水平调整为低于所述主镜第一水平的主镜第二水平。
4.根据权利要求1所述的方法，其中，所述主镜包括多个主镜设置，各主镜设置能够在从最小水平到最大水平的范围内调整，所述方法还包括基于用户输入按重要性的顺序来对所述多个主镜设置进行优先级排序。
5.根据权利要求4所述的方法，还包括：基于所述优先级排序来选择所述多个主镜设置中的第一主镜设置，并将所述第一主镜设置从所述主镜第一水平调整为低于所述主镜第一水平的主镜第二水平。
6.根据权利要求1所述的方法，还包括在所述第一期望GPU资源量大于所述可用GPU资源量的情况下提示增加所述可用GPU资源量。
7.根据权利要求1所述的方法，还包括确定锁定GPU资源量，其中所述可用GPU资源量不包括所述锁定GPU资源量。
8.根据权利要求7所述的方法，还包括在所述第一期望GPU资源量大于所述可用GPU资源量的情况下提示用户以解锁所述锁定GPU资源量的第一部分。
9.根据权利要求8所述的方法，还包括基于所述可用GPU资源量和所述第一期望GPU资源量之间的差来确定所述第一部分。
10.根据权利要求1所述的方法，其中，还包括：
提供辅镜以连接至所述网络，所述辅镜包括能够在从需要最小GPU资源量的最小水平到需要最大GPU资源量的最大水平的范围内调整的辅镜设置；
将所述辅镜设置配置为辅镜第一水平；
基于所述辅镜第一水平来确定第二期望GPU资源量；
基于所述第一期望GPU资源量和所述第二期望GPU资源量来确定总期望GPU资源量；以及
将所述总期望GPU资源量与所述可用GPU资源量进行比较。
11.根据权利要求10所述的方法，还包括：在所述第一期望GPU资源量小于或等于所述可用GPU资源量的情况下从所述可用GPU资源量中分配所述第一期望GPU资源量，并使用所述主镜第一水平来操作所述主镜。
12.根据权利要求11所述的方法，还包括：在所述总期望GPU资源量小于或等于所述可用GPU资源量的情况下从所述可用GPU资源量中分配所述第二期望GPU资源量，并使用所述辅镜第一水平来操作所述辅镜。
13.根据权利要求11所述的方法，还包括在所述总期望GPU资源量大于所述可用GPU资源量的情况下将所述辅镜设置从所述辅镜第一水平调整为低于所述辅镜第一水平的辅镜第二水平。
14.根据权利要求11所述的方法，其中，所述辅镜包括多个辅镜设置，各辅镜设置能够在从最小水平到最大水平的范围内调整，所述方法还包括基于用户输入按重要性的顺序来对所述多个辅镜设置进行优先级排序。
15.根据权利要求14所述的方法，还包括：基于所述优先级排序来选择所述多个辅镜设置中的第一辅镜设置，并将所述第一辅镜设置从所述辅镜第一水平调整为低于所述辅镜第一水平的辅镜第二水平。
16.根据权利要求10所述的方法，还包括在所述总期望GPU资源量大于所述可用GPU资源量的情况下提示增加所述可用GPU资源量。
17.根据权利要求10所述的方法，还包括确定锁定GPU资源量，所述可用GPU资源量不包括所述锁定GPU资源量。
18.根据权利要求17所述的方法，还包括在所述总期望GPU资源量大于所述可用GPU资源量的情况下提示用户以解锁所述锁定GPU资源量的第一部分。
19.根据权利要求18所述的方法，还包括基于所述可用GPU资源量和所述总期望GPU资源量之间的差来确定所述第一部分。
20.一种用于使用连接至网络的虚拟照相机控制单元服务器即虚拟CCU服务器的图形处理单元资源即GPU资源来操作视频镜的系统，包括：
分配管理器，用于确定可用GPU资源量；
主镜，其包括主镜设置，所述主镜设置能够在从需要最小GPU资源量的最小水平到需要最大GPU资源量的最大水平的范围内调整；
特征模块，用于将所述主镜设置配置为主镜第一水平；以及
负荷平衡模块，用于基于所述主镜第一水平来确定第一期望GPU资源量、并将所述第一期望GPU资源量与所述可用GPU资源量进行比较。
21.根据权利要求20所述的系统，其中，所述分配管理器用于在所述第一期望GPU资源量小于或等于所述可用GPU资源量的情况下从所述可用GPU资源量中分配所述第一期望GPU资源量。
22.根据权利要求20所述的系统，其中，所述特征模块用于在所述第一期望GPU资源量大于所述可用GPU资源量的情况下将所述主镜设置从所述主镜第一水平调整为低于所述主镜第一水平的主镜第二水平。
23.根据权利要求20所述的系统，其中，所述主镜包括多个主镜设置，各主镜设置能够在从最小水平到最大水平的范围内调整，所述系统还包括优先级排序模块，该优先级排序模块基于用户输入按重要性的顺序来对所述多个主镜设置进行优先级排序。
24.根据权利要求23所述的系统，其中，所述特征模块基于所述优先级排序来选择所述多个主镜设置中的第一主镜设置、并将所述第一主镜设置从所述主镜第一水平调整为低于所述主镜第一水平的主镜第二水平。
25.根据权利要求20所述的系统，其中，所述负荷平衡模块用于在所述第一期望GPU资源量大于所述可用GPU资源量的情况下提示增加所述可用GPU资源量。
CN201911274477.8A 2018-12-12 2019-12-12 操作视频镜的系统和方法 Pending CN111297308A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/217,686 2018-12-12
US16/217,686 US10868950B2 (en) 2018-12-12 2018-12-12 Systems and methods for operating video medical scopes using a virtual camera control unit

Publications (1)

Publication Number Publication Date
CN111297308A true CN111297308A (zh) 2020-06-19

Family

ID=68916264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911274477.8A Pending CN111297308A (zh) 2018-12-12 2019-12-12 操作视频镜的系统和方法

Country Status (3)

Country Link
US (2) US10868950B2 (zh)
EP (1) EP3666164A1 (zh)
CN (1) CN111297308A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080165789A1 (en) * 2006-12-29 2008-07-10 Prodea Systems, Inc. Billing, Alarm, Statistics and Log Information Handling in Multi-Services Gateway Device at User Premises
CN101257621A (zh) * 2008-01-04 2008-09-03 深圳市蓝韵实业有限公司 一种内镜手术网络监控系统
US20140089626A1 (en) * 2012-09-27 2014-03-27 Travis T. Schluessler Techniques for dynamic physical memory partitioning
US20140268541A1 (en) * 2013-03-13 2014-09-18 General Electric Company System for mobile device cradle and tube gripper of non-destructive testing inspection device
US20170185289A1 (en) * 2015-12-28 2017-06-29 Samsung Electronics Co., Ltd Electronic device having flexible display and method for operating the electronic device
US20170287104A1 (en) * 2016-04-04 2017-10-05 Omni Al, Inc. Dynamic memory allocation in a behavioral recognition system
CN107408197A (zh) * 2015-03-11 2017-11-28 西门子公司 基于解卷积网络的细胞图像和视频的分类的系统和方法
US20180253880A1 (en) * 2016-07-05 2018-09-06 Ubitus Inc. Overlaying multi-source media in vram
WO2018159338A1 (ja) * 2017-02-28 2018-09-07 ソニー株式会社 医療用支持アームシステムおよび制御装置
WO2018203473A1 (en) * 2017-05-01 2018-11-08 Sony Corporation Medical image processing apparatus, medical image processing method and endoscope system

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2510687B2 (ja) * 1987-08-13 1996-06-26 日本電信電話株式会社 高速欠陥検出方法および装置
US6262749B1 (en) 1997-12-31 2001-07-17 Acuson Corporation Ultrasonic system and method for data transfer, storage and/or processing
DE10349649B3 (de) * 2003-10-17 2005-05-19 Karl Storz Gmbh & Co. Kg Verfahren und Vorrichtung zum Erzeugen eines mit Bearbeitungsvermerken versehenen Bildes in einem sterilen Arbeitsbereich einer medizinischen Einrichtung
US7119810B2 (en) 2003-12-05 2006-10-10 Siemens Medical Solutions Usa, Inc. Graphics processing unit for simulation or medical diagnostic imaging
US20070282165A1 (en) 2006-05-31 2007-12-06 Karl Storz Endovision Optically coupled endoscope with microchip
KR101132524B1 (ko) 2007-11-09 2012-05-18 삼성메디슨 주식회사 Ｇｐｕ을 구비하는 초음파 영상 시스템
US8633975B2 (en) 2008-01-16 2014-01-21 Karl Storz Imaging, Inc. Network based endoscopic surgical system
US8266333B1 (en) 2009-05-29 2012-09-11 Z Microsystems, Inc. System and method for parallel image processing and routing
US8803892B2 (en) 2010-06-10 2014-08-12 Otoy, Inc. Allocation of GPU resources across multiple clients
US8789047B2 (en) * 2012-01-26 2014-07-22 Empire Technology Development Llc Allowing world switches between virtual machines via hypervisor world switch security setting
US10150028B2 (en) * 2012-06-04 2018-12-11 Sony Interactive Entertainment Inc. Managing controller pairing in a multiplayer game
IL221863A (en) * 2012-09-10 2014-01-30 Elbit Systems Ltd Digital video photography system when analyzing and displaying
US10440241B2 (en) * 2014-04-24 2019-10-08 Sony Corporation Image processing apparatus, image processing method, and surgical system
EP3155758A4 (en) 2014-06-10 2018-04-11 Sightline Innovation Inc. System and method for network based application development and implementation
US10157481B2 (en) * 2014-09-23 2018-12-18 Samsung Electronics Co., Ltd. Apparatus for processing medical image and method of processing medical image thereof
WO2016047989A1 (en) * 2014-09-23 2016-03-31 Samsung Electronics Co., Ltd. Apparatus for processing medical image and method of processing medical image thereof
US10639104B1 (en) * 2014-11-07 2020-05-05 Verily Life Sciences Llc Surgery guidance system

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080165789A1 (en) * 2006-12-29 2008-07-10 Prodea Systems, Inc. Billing, Alarm, Statistics and Log Information Handling in Multi-Services Gateway Device at User Premises
US20160226920A1 (en) * 2006-12-29 2016-08-04 Prodea Systems, Inc. Multi-services gateway device at user premises
CN101257621A (zh) * 2008-01-04 2008-09-03 深圳市蓝韵实业有限公司 一种内镜手术网络监控系统
US20140089626A1 (en) * 2012-09-27 2014-03-27 Travis T. Schluessler Techniques for dynamic physical memory partitioning
US20140268541A1 (en) * 2013-03-13 2014-09-18 General Electric Company System for mobile device cradle and tube gripper of non-destructive testing inspection device
CN107408197A (zh) * 2015-03-11 2017-11-28 西门子公司 基于解卷积网络的细胞图像和视频的分类的系统和方法
US20170185289A1 (en) * 2015-12-28 2017-06-29 Samsung Electronics Co., Ltd Electronic device having flexible display and method for operating the electronic device
US20170287104A1 (en) * 2016-04-04 2017-10-05 Omni Al, Inc. Dynamic memory allocation in a behavioral recognition system
US20180253880A1 (en) * 2016-07-05 2018-09-06 Ubitus Inc. Overlaying multi-source media in vram
WO2018159338A1 (ja) * 2017-02-28 2018-09-07 ソニー株式会社 医療用支持アームシステムおよび制御装置
WO2018203473A1 (en) * 2017-05-01 2018-11-08 Sony Corporation Medical image processing apparatus, medical image processing method and endoscope system

Also Published As

Publication number Publication date
US10868950B2 (en) 2020-12-15
US20210120166A1 (en) 2021-04-22
US20200195834A1 (en) 2020-06-18
US11394864B2 (en) 2022-07-19
EP3666164A1 (en) 2020-06-17

Similar Documents

Publication Publication Date Title
CN109891513B (zh) 为医疗应用分配计算资源的系统和方法
CN105518620B (zh) 一种网卡配置方法及资源管理中心
WO2020261180A1 (en) Sharing multimedia physical functions in a virtualized environment on a processing unit
US9378534B2 (en) Image stream pipeline controller for deploying image primitives to a computation fabric
CN103365720B (zh) 用于多线程环境下动态调整全局堆分配的方法和系统
US8266621B2 (en) Information processing method, information processing apparatus, and server
CN110573054B (zh) 医学图像处理设备、医学图像处理方法以及内诊镜系统
CN105579954A (zh) 平台非易失性存储区管理和平台配置
CN104471510A (zh) 用于图像采集和处理的统一跨设备控制的抽象相机管道
WO2023113926A1 (en) Technologies for hardware microservices accelerated in xpu
US11394864B2 (en) Systems and methods for operating video medical scopes using a virtual camera control unit
EP2354956A1 (en) Method for controlling network controller, program, and information processing apparatus
US10275907B2 (en) Method and system of managed image reconstruction in medical imaging
US8446418B2 (en) Image processing apparatus and image processing method
US10162647B2 (en) Information apparatus
CN117130571A (zh) 基于多核异构系统的显示方法、设备、芯片、存储介质
KR20090018457A (ko) 피엘씨 원격 관리 시스템 및 방법
US10548460B2 (en) Signal processing apparatus and medical observation system
EP4202678A1 (en) Remote storage for hardware microservices hosted on xpus and soc-xpu platforms
US20160232038A1 (en) Application-level dispatcher control of application-level pseudo threads and operating system threads
US11665108B2 (en) QoS manager for system on a chip communications
DE102015207570A1 (de) Ressourcen-Optimierer für Software-Ökosysteme
US11467880B2 (en) Method for accessing shared resources of a computer platform, associated computer program and computer platform
KR20200053879A (ko) 이기종 카메라 동시 제어를 위한 분산촬영장치 및 그 제어방법, 이에 사용되는 카메라 제어 클라이언트
US9467661B2 (en) Method of operating camera, camera, and surveillance system having the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination