CN109348220A - 用于优化视频流的方法和系统 - Google Patents

用于优化视频流的方法和系统 Download PDF

Info

Publication number
CN109348220A
CN109348220A CN201811328542.6A CN201811328542A CN109348220A CN 109348220 A CN109348220 A CN 109348220A CN 201811328542 A CN201811328542 A CN 201811328542A CN 109348220 A CN109348220 A CN 109348220A
Authority
CN
China
Prior art keywords
video
visual field
frame
image
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811328542.6A
Other languages
English (en)
Other versions
CN109348220B (zh
Inventor
B·E·米勒
J·周
G·帕雅乌拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN109348220A publication Critical patent/CN109348220A/zh
Application granted granted Critical
Publication of CN109348220B publication Critical patent/CN109348220B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请公开用于优化视频流的方法和系统。一种用于执行外科手术的方法，其包括响应于接收到与在图像捕获装置的视场中执行过程的系统的状态变化相关联的输入，调整视频编码器的编码配置，其中该系统的状态变化预期对在视场中的图像数据内容有影响。

Description

用于优化视频流的方法和系统
本申请是国际申请日为2013年08月14日、进入国家阶段日为2015年02月13日的名称为“用于优化视频流的方法和系统”的中国专利申请201380043166.5(PCT/US2013/054862)的分案申请。
本申请要求2012年8月15日提交的美国临时申请No.61/683493的权益，其全部内容通过引用并入本文。
技术领域
本公开总体涉及处理视频数据。更具体地，本公开的各个方面涉及在微创外科手术过程期间处理在远程部位处(例如远程外科手术部位处)捕获的视频数据的方法和系统。
背景技术
微创外科手术技术通常试图执行各种外科手术过程，并将对健康组织的损伤减到最小。微创外科手术器械(包括，例如，手动或遥控机器人控制的)可以在各种操作中使用，并且可以具有各种配置。许多这种器械包括，但不限于，安装在长轴的远端处的外科末端执行器，其经配置(例如，腹腔镜地或胸腔镜地)被插入通过开口(例如，体壁切口、自然孔口等)以到达患者体内的远程外科手术部位。在某些器械中，铰接腕机构被安装到器械的轴的远端，以支撑末端执行器并且根据轴的纵向轴线改变末端执行器的取向(例如，俯仰和/或偏转)。
这种外科手术器械的末端执行器可以经配置执行各种功能，包括在开放式外科手术过程中常规地执行的任何各种外科手术过程。示例包括，但不限于，密封、切割、烧灼、烧蚀、缝合、装订等。为控制末端执行器的动作，力或转矩能够从外科手术器械的近端并且沿着器械的轴向下传送到末端执行器。
在遥控机器人外科手术系统中，外科医生在外科医生侧控制台处操纵各种输入装置(有时在本文中称为主输入)以在远程外科手术部位处控制一个或更多个相应的远程控制的外科手术器械。在外科医生侧控制台处的输入被传递到与远程控制的外科手术器械接合的患者侧推车，其中进行外科手术器械的相应的遥控/遥控机器人操纵，以在远程外科手术部位处对患者执行外科手术和/或其他过程。
当例如经由遥控机器人控制的外科手术系统或其他微创外科手术器械远程地执行微创外科手术过程(例如，常规的手动腹腔镜或内窥镜过程)时，视频显示器(例如，监测器)能够用于显示经由内窥镜摄像机在外科手术部位处捕获的图像。在机器人外科手术系统中，例如，内窥镜摄像机可以被安装在患者侧推车处并经由在外科医生侧控制台处的输入来操纵。
希望在外科手术部位处捕获的视频图像以相对规律性并且以在视频图像的捕获和视频图像的显示之间的极小延迟或无延迟(例如，以尽可能高的帧速率)到达视频显示器。然而，也希望在视频显示器处提供相对高保真的视频图像。以这种方式，视频处理和显示系统可以显示外科手术部位的高保真不间断的“实时”视频，并且因此将外科手术部位的相对清晰和准确的视频图像提供给外科医生。
如果在外科手术部位处捕获的视频图像不以相对规律性和极小延迟到达视频系统，则视频显示器可能不显示外科手术部位的基本不间断的实时视频。例如，当数据网络被依赖用于将在外科手术部位处捕获的视频图像传递到视频显示器时，到达的视频图像的规律性可能受通常与数据网络(诸如，例如，网络拥塞和/或网络节点故障)相关联的状况的影响。如果预定的延迟超过大多数或所有的数据时延(例如，基于网络的时延)，则维持在外科手术部位处的视频图像的捕获和在视频显示器处的视频图像的显示之间的预定的延迟可减少或消除由网络状况引起的中断。然而，在其中期望低延迟或无延迟的应用中(例如，诸如在外科手术应用中)，长到足以减少或消除大多数或所有的中断的预定的延迟可能超过这种应用所期望考虑的延迟。
此外，如果外科手术部位和显示器之间的视频图像的传递是带宽受限的，如通常当这种传递通过共享介质(诸如数据网络)进行的情况下，则视频图像可能需要编码/压缩，以减少用于传递视频图像的视频流的平均的数据速率。然而，已知的视频编码/解码标准(其使用减少用于传递视频流的数据量的技术)(诸如，例如，国际电信联盟(ITU)电信标准化部门(ITU-T)建议/标准H.264(也称为国际标准化组织/国际电工委员会(ISO/IEC))、运动图像专家组第4版(MPEG-4))高级视频编码(AVC)标准(或ISO/IEC MPEG-4 AVC标准))，在某些情况下可能无法提供足够高保真的视频图像。例如，对于捕获的连续视频图像的相对较大的差异(例如，由于在部位处发生的大的动作或其他变化)，由视频编码/解码标准所使用的数据简化技术可产生相对低的保真度图像。当连续的视频图像之间的差异不可预测时，这会更成问题。
存在提供一种视频处理系统和方法的需要，其提供相对低的延迟(用于其中期望基本实时显示的应用)，以及在部位处捕获的并且用于在视频显示器处显示而传递的图像的高保真度。还存在提供一种微创外科手术系统的需要(诸如，例如，遥控机器人外科手术系统)，其在外科医生侧控制台显示器处以低延迟显现外科手术部位的基本不间断的高保真视频图像。
发明内容
本公开解决了一个或多个上述问题且/或例证了一个或多个上述期望的特征。其他特征和/或优点可以根据下面的说明中变得显而易见。
根据至少一个示例性实施例，本公开考虑一种用于处理视频的方法，其包括响应于接收到与执行过程的系统的状态变化(诸如执行外科手术过程的外科手术系统的状态变化)相关联的输入，调整视频编码器的编码配置。该方法可以进一步包括在状态变化之后基于调整的编码配置对捕获的外科手术的图像数据进行编码。
根据至少另一个示例性实施例，本公开考虑一种外科手术系统，其包括内窥镜图像捕获装置以及视频处理器，其用于产生视频编码配置数据以对图像数据进行编码，其中处理器经配置以接收与外科手术系统的状态变化相关联的输入以及基于输入输出调整的视频编码配置数据。
另外的目的和优点将在下面的描述中部分被阐述，并且根据描述一部分将是显而易见的，或可以通过本公开和/或权利要求的实践中而得知。这些目的和优点中的至少一些可以由在所附的权利要求书中特别指出的元件和组合来实现和获得。
应当理解，如所公开的或要求保护的，前述总体描述和以下的具体实施方式都仅是示例性和解释性的，而不限制本发明。权利要求应当有权达到其范围的整个广度，包括等同物。
附图说明
单独或结合附图，本公开根据下面的具体实施方式能够被理解。附图被包括以提供本公开的进一步理解，并且被并入本说明书并构成本说明书的一部分。被并入本说明书并构成本说明书的一部分的附图示出了本公开的一个或更多个实施例，并且与说明书一起用于解释某些原理和操作。在附图中，
图1是根据本公开的至少一个示例性实施例的机器人外科手术系统的示例性实施例的图解视图；
图2是根据本公开的至少一个示例性实施例的机器人外科手术系统的摄像机臂的一部分的透视图；
图3是根据本公开的至少一个示例性实施例的视频编码系统的功能块图；
图4是根据本公开的至少一个示例性实施例的用于例示视频处理技术的潜在的操作的表格；
图5是根据本公开的另一个示例性实施例的用于例示视频处理技术的潜在的操作的表格；
图6是根据本公开的至少一个示例性实施例的示出用于处理视频的方法的流程图；
图7是根据本公开的另一个示例性实施例的示出用于处理视频的方法的流程图；
图8是根据本公开的又一个示例性实施例的示出用于处理视频的方法的流程图；并且
图9根据本公开的至少一个示例性实施例示意性地示出视频处理系统。
具体实施方式
本说明书和附图示出了示例性实施例，并且不应该被视为限制，权利要求限定本公开的范围，包括等同物。各种机械、组成、结构、电气和操作上的改变(包括等同物)可以在不脱离本说明书和权利要求书的范围的情况下做出。在一些情况下，公知的结构和技术没有被详细示出或描述，以免模糊本公开。在两个或更多个附图中的相同的数字标号代表相同或相似的元件。此外，只要切实可行，参考一个实施例，可以详细描述的元件和它们的关联的方面可以被包括在其中它们没有具体示出或描述的其他实施例中。例如，如果元件参考一个实施例详细描述而不参考第二实施例描述，该元件仍可被要求为包括在第二实施例中。此外，本文的描绘仅用于说明性的目的并且不一定反映系统或电外科手术器械的实际的形状、大小或尺寸。
应当指出，如在本说明书和所附权利要求书中所使用的，单数形式的“一种/个(a/an)”和“该”以及任何词的任何单数使用包括复数对象，除非明确地并且不含糊地限于一个对象。如本文所用，术语“包括”及其语法变体旨在为非限制性的，使得在列表中的项目的叙述不排除其他能够被取代或添加到所列项目的类似的项目。
根据各种示例性实施例，本公开考虑这样的方法和系统，即处理用于其中在部位处捕获视频数据的视频应用的实时视频数据，以及具体地，用于微创外科手术系统(诸如，例如，遥控机器人或遥控外科手术系统)的实时视频数据。因此，各种示例性实施例涉及这样的方法和系统，即用于在视频显示器处提供在部位处由例如内窥镜摄像机捕获的视频图像的相对不间断、高保真以及“实时”视频流。例如，各种示例性实施例可提供一种视频显示器，其具有足够高的图像帧速率以提供相对不间断的视频，例如，每秒大于15帧，以及自相应的图像被捕获以基本上瞬时出现的时间的足够低的延迟，诸如，例如，小于1.5秒。
根据各种示例性实施例，对应于外科手术系统的总体使用的各种状态变化能够被监测并被依赖作为足够早的指示，即图像捕获装置的视场内的外科手术部位处可能的变化被预期，其可以影响在视场中的图像内容数据。通过监测外科手术系统内发生的各种操作命令或其他状态变化，并依赖于各种功能的知识和它们对那些操作命令/状态变化的外科手术部位的可能的影响，根据各种示例性实施例的视频处理方法和系统能够提前配置编码器，以有源方式而不是无源方式优化正被捕获的视频图像的编码。
虽然示例性实施例和下面的描述主要集中于(诸如，例如，经由机器人外科手术系统)生成用于执行微创外科手术过程的视频图像的实时视频流，但是示例性实施例的原理并不局限于此，并且可应用在其他的视频处理应用中，诸如，例如，旨在以实时传输(stream)并显示任何视频数据的视频生成以及旨在从远程存储位置传输的非实时视频数据(例如，先前记录和存储的数据)的视频生成。在各种示例性实施例中，本公开可发现在各种领域的应用，其中来自远程部位的视频图像被捕获，并且其中可能提前知道可以执行影响视场中的图像数据内容的功能的系统可以改变状态，例如，其中可以提前知道，物质和/或其他部件将离开或进入视场。因此，作为这种状态变化的结果，对视场中的图像数据内容的影响能够提前预测，使得视频编码参数能够被主动地而非反动地调整。非外科手术应用的一个非限制性示例可以包括捕获图像并且显示在例如石油和/或天然气工业的管道内捕获的图像，其中发生远程监测过程，并且在其中能够提前知道某个动作将会发生，该动作将影响正被使用的图像捕获装置的视场和得到的图像数据内容。另外，本公开可以适用于各种其他应用，其中可能预测到可影响视频流的通信网络的网络状况。
此外，本领域技术人员将理解，本公开的各种示例性实施例可以被应用到视频流应用，以用于传输以二维和三维显示的格式的视频图像，而不脱离本公开的范围。
参考图1，机器人外科手术系统100的示例性实施例的图解视图被描绘。外科手术系统100包括患者侧推车105、外科医生控制台110以及电子装置/控制台115。应该注意的是，在图1中的系统部件没有以任何特定的布置被示出并且能够根据需要被布置，其中患者侧推车105相对于患者被设置，以便对患者进行手术。机器人外科手术系统(例如系统100)的一个非限制性、示例性实施例是由加利福尼亚州森尼韦尔的直觉外科公司(IntuitiveSurgical,Inc.of Sunnyvale,California)商品化的daSi(型号IS3000)。
机器人外科手术系统100被用于通过与各种外科手术器械接合并且对其控制来执行微创机器人外科手术。患者侧推车105包括各种臂(有时被称为患者侧操纵器)120，用于保持、定位和操纵的各种外科手术器械和/或相关联的工具。如图1所示，患者侧推车105的臂120经配置与一个或多个远程控制的外科手术器械125(其可以包括，例如，末端执行器(未详细示出))接合并且对其控制。内窥镜摄像机126还可以被安装在患者侧推车105处以在外科手术部位处捕获图像。
外科医生控制台110通过各种输入装置从外科医生接收输入，各种输入装置包括但不限于，一个或多个主夹具输入机构130的夹具输入杠杆(未示出)和脚踏板135。外科医生控制台110用作主控制器，通过其在患者侧推车105处的臂120、外科手术器械125和内窥镜摄像机126充当从动装置以实现任何期望的动作并且相应地执行期望的外科手术过程。然而，外科手术系统100不限于在外科医生控制台110处接收输入，并且输入可以在能够适当地在患者侧推车105处实现(一个或多个)器械的操纵的任何装置处被接收。例如，作为从用户(例如外科医生)接收到的输入的结果，在患者侧推车105处的器械可以通过外科医生控制台110与其他外科手术器械支持装置结合或者完全通过另一种外科手术支持装置在患者侧推车105处被操纵。
外科医生控制台110可以进一步包括电子数据处理系统，其包括处理器，其可以经配置接收和处理来自外科医生控制台110或来自任何其他外科手术器械支持装置的输入，并且基于这种输入在患者侧推车105处控制一个或多个外科手术器械的操纵。然而，这种电子数据处理系统的元件可以提供在外科手术系统100内的别处。
可以包括例如处理器和/或其他功能单元(例如，电外科能量递送单元和/或其他外科通量递送单元)的辅助电子装置/控制推车115从患者侧推车105和外科医生控制台110接收各种控制信号并且向患者侧推车105和医生控制台110发送各种控制信号。电子装置/控制推车115还能够传送(例如，来自在患者侧推车105处的内窥镜摄像机126的)光和过程图像用于显示，诸如，例如，在外科医生控制台110处的显示器140和/或在与电子装置/控制推车115相关联的显示器145上。本领域技术人员通常熟悉远程控制的外科手术系统的这种电子装置/控制推车。
在各种示例性实施例中，患者侧推车105被定位邻近于患者，并且根据例如外科医生控制台110远程控制的(一个或多个)外科手术器械和/或内窥镜摄像机经由各种主输入装置(诸如，例如，主夹具输入机构130的手持式夹具输入杠杆、脚踏板135和/或摄像机控制机构(未标示))接收来自外科医生控制台110的输入。脚踏板135可被用于提供命令信号以递送远程控制的外科手术器械的通量(诸如，例如，电烙能量)，其可用于执行某些过程(诸如，例如，组织密封和/或切割)。主夹具输入机构130的手持式夹具输入杠杆可被用于发送信号以控制远程控制的外科手术器械的移动(包括例如滚动、平移、俯仰/偏转移动)，以及一些末端执行器的夹持/切割移动。
一个或更多个摄像机控制机构可以被用于将信号发送到嵌在臂120中的一个处的内窥镜摄像机操纵器(“ECM”)，以及发送到内窥镜摄像机，以控制与捕获和处理外科手术部位的视频图像有关的各个方面，诸如摄像机相对于外科手术部位的位置/取向、摄像机镜头的变焦、摄像机镜头的焦点等。通过非限制性示例的方式，一个或更多个脚踏板135可以被指定作为摄像机控制机构。因此，按压指定的脚踏板135能够转换系统进入摄像机控制模式，其中，例如，该摄像机可以基于该转换、未来输入(“跟随摄像机”模式)和/或基于另一器械的移动(“跟随器械”模式)被定位/定向或以其他方式调整。通常，本领域技术人员熟悉这种遥控机器人外科手术系统的使用，以在外科医生控制台处提供来自外科医生的输入，从而最终实现(一个或更多个)外科手术器械以及与患者侧推车接合的内窥镜摄像机的操作。
图2示出根据本教导的一个示例性实施例的摄像机臂200的一部分的侧视图，其中说明性的内窥镜摄像机205安装在臂200上。在该示例性实施例中，摄像机臂200包括装配部分210和操纵器部分ECM 215。ECM 215包括偏转动作致动器220、俯仰动作致动器225，以及输入/输出动作(例如，平移)致动器230，所有这些都能够通过例如主输入夹具机构(例如，主夹具输入机构130)控制。内窥镜摄像机205被安装在托架组件235上并且内窥镜套管240被安装在摄像机套管架245上。ECM 215将内窥镜摄像机205围绕动作250的远程中心移动并通过该远程中心。根据示例性实施例的摄像机臂可包括比图2所示的那些元件更多或更少的元件。例如，在不脱离本教导的精神的情况下，根据本教导的摄像机臂可以包括更多、更少或者没有图2中所述的动作致动器。此外，本教导不限于机器人外科手术系统，并且因此，根据本教导的内窥镜摄像机可以不被如图2所示的那样被附接至摄像机臂，而可以是手动插入和操纵的器械。
在如参考图1和图2所描述的机器人外科手术系统的操作中，外科手术过程可包括在患者的身体内制造一个或更多个切口。这种切口有时被称为“端口”，该术语还可以指在该切口内使用的一件设备。在一些外科手术过程中，若干器械和/或摄像机端口可以被用于提供对外科手术部位的访问和成像。
图3示出根据本公开的视频处理系统的一个示例性实施例的功能块图300。块305代表根据本公开的视频捕获装置(诸如，例如，图2的内窥镜摄像机205)。视频捕获装置305捕获例如外科手术部位的视场的图像内容数据。块310代表视频编码器，用于以一种或更多种编码格式(诸如，例如，ITU-T建议/标准H.264(也称为ISO/IEC MPEG-4 AVC))对由视频捕获装置305捕获的视频图像进行编码。
块315代表状态监测器，其用于监测可导致视场的图像内容变化的状况，以及因此由视频捕获装置305捕获的图像。视场的图像内容变化可以由一种或更多种状况导致，诸如，例如，视场内的对象的移动(包括，例如，外科手术器械动作)、视频捕获装置的移动、视频捕获装置的配置(例如，放大/缩小)、在视场中的液体、气体或其他物质/材料的引入和/或去除。在各种示例性实施例中，可导致视场的图像内容变化的特定状况的检测和在特定状况下可导致的视场的图像内容的相应的变化和/或强度变化之间的定时(timing)能够基于具体状况并且通过依赖于与外科手术系统的整体控制相关联的输入被预期和/或预测。
块320代表网络监测器，其用于监测可影响数据速率的网络状况，编码的视频帧可以以该数据速率通过相应的网络传送到目的地。块325代表逻辑上耦合以基于状况(例如，状态变化和/或网络状况变化)配置视频编码器310的所谓的视频质量改进(VQI)处理器，所述状况可以影响视频捕获装置305的视场的图像内容，以及因此影响编码的视频图像的质量。
根据该示例性实施例，VQI处理器325接收来自状态监测器315和/或网络监测器320的信息，以确定用于视频编码器310的最佳配置，从而对由视频捕获装置305捕获的视频图像(即，视场的图像内容)进行编码。具体地，状态监测器315和网络监测器320相对于可以对由视频捕获装置305捕获的视场的图像内容具有未来影响的变化提供信息到VQI处理器325。VQI处理器325使用此信息来更新与未来视频图像的编码相关联的配置参数，以便例如，预期变化以对未来视频图像更好地编码，从而保持所捕获的视频图像的高保真，“实时”显示。
通过非限制性示例的方式，在远程控制的外科手术应用中的对象的移动能够包括，例如，在形成视场的外科手术部位处的一个或更多个外科手术元件的移动，诸如，例如，激活外科手术元件以执行特定功能(例如，激活切割刀片以执行切割过程)。在正被成像的外科手术部位处的移动还能够包括，例如，身体部分的移动(例如，跳动的心脏、脉动的静脉等)、与例如血液、吸气、冲洗、来自烧灼组织的烟气相关联的液体和/或气体的引入和/或去除、协助成像的荧光染料或其他物质的引入等。这些运动/动作能够引起视场的图像内容的变化，这可以被预期到，正如将在下面详细地解释的。因此，它们能够触发VQI处理器325以配置视频编码器310，从而最小化对视场的图像内容的运动/动作的预测的影响。
例如，对于某些远程控制的外科手术操作，在特定外科手术元件或外科手术过程能够被移动和/或操作之前，可需要外科医生提供一个或多个输入命令。对于切割过程，例如，可需要由外科医生侧控制台处的命令产生的第一输入信号以指示执行过程的准备就绪，这可以包括在嵌在机器人臂(诸如图1的臂120中的一个)的外科手术器械125的末端执行器处的切割刀片的激活。例如，通过按压脚踏板(诸如图1的脚踏板135中的一个)，第一输入信号可被触发。响应于第一输入信号，电子装置/控制推车(诸如电子装置/控制台115)可以经配置以将切割元件的状态转换到“待命状态”。一旦处于“待命状态”，电子装置/控制台可以经配置以在将切割元件的状态转换为操作状态之前(例如，导致切割元件的致动)等待第二输入信号，第二输入信号可例如通过脚踏板的第二次按压被触发。
在另一个示例中，可提供以“跟随”状态放置ECM的外科医生侧控制台处的输入命令，使得外科医生主动地控制臂，其中摄像机被安装在臂上并且因此摄像机能够移动到外科医生例如使用主夹具输入机构135中的一个控制它移动的地方。这种命令能够监测作为指示即将到来的较大的摄像机动作(例如，相对于不以“跟随”状态并且以静态配置记录图像简单地设置的摄像机)的状态变化，以及因此能够在将来发生的正被成像的视场中的图像内容的相对动态且大的变化。此外，特定的状态变化或状态变化的组合的知识能够提供相对于视场的当前图像内容的一定程度的变化。基于上述关于视场的图像内容中的即将到来的变化的信息，VQI处理器325能够配置视频编码器310，以最小化对视场的图像内容中的即将到来的变化的预测的影响。
上述示例仅是说明性的，并且本领域技术人员将理解，能够提前监测和知道与对正被成像的视场和视场中的图像内容的预期影响相关联的外科手术系统的许多其他操作命令。本公开的范围因此能够应用于几乎任何监测的状态变化，其中期望产生导致被捕获的视场的图像内容的变化的预期的功能或系统操作。
因此，在本公开的示例性实施例中，使用说明性的前述实施例，块315能够通过监测各种输入(例如，脚踏板135的一次或更多次按压)来监测机器人外科手术系统的状态，并提供切割元件的状态到VQI处理器325，如将在下面参考图4进一步详细说明的，VQI处理器325可以使用此信息来更新与未来的视频图像的编码相关联的配置参数，以便例如，在预期能够由切割元件的操作导致的视场的图像内容的变化下，更好地对未来视频图像进行编码，以保持所捕获的视频图像的高保真、“实时”显示。
如嵌在块330内的如上图3中所述的块305、310、315、320和325，其在示例性实施例中可以嵌入患者侧推车和/或电子装置/控制台(诸如，例如，图1的患者侧推车105和/或电子装置/控制台115)，用于执行远程控制的外科手术过程。如在嵌在块330中的在图3中描绘的部件通过通信链路340被逻辑上耦合到通信网络335，并且因此，在块330内示出的至少一些功能块可以逻辑上耦合到通信网络335，并且因此可以通过通信网络335从块330外部的元件接收数据且/或提供数据至块330外部的元件。
注意，尽管如嵌在块330内的以上块305、310、315、320和325在图3中示出，但是本公开的示例性实施例并不局限于此，并且本领域技术人员将理解，在不脱离本公开的范围的情况下，这些块的一个或更多个可以独立于彼此和/或独立于患者侧推车和/或电子装置/控制台而体现。本领域技术人员还应当理解，在不脱离本公开的范围的情况下，如在这些功能块中的一个内或者在一个装置内发生的所描述的功能可以以分布方式通过多个功能块和/或多个装置执行。此外，本领域技术人员还将理解，示例性实施例可包括附加的功能块，诸如，例如，用于传送编码的视频图像并且接收控制信息的通信接口，其在此为了简明起见被省略。
通信网络335逻辑上耦合至功能块345，其在一个示例性实施例中可以通过通信链路350嵌入外科医生控制台(诸如，例如，图1的外科医生控制台110)中。外科医生控制台345被示为包括块355，其代表用于执行远程控制的外科手术的在外科医生控制台345处可操纵的输入装置。外科医生控制台345还包括块360，其代表显示器(诸如图1的外科医生控制台110的显示器140)，用于显示最终从由视频捕获装置305捕获的图像接收到的外科手术部位的视频图像。外科医生控制台345可包括为简明起见而未示出的附加的功能块。例如，外科医生控制台345可以包括用于对从患者侧推车330接收到的编码的视频图像进行解码的功能块、用于存储解码的视频图像的功能块以及用于提供解码的图像到显示器360的功能块，诸如在2012年5月14日提交的美国临时申请No.61/646597以及2013年5月10日提交的美国申请No.13/891838中描述的那些功能块，二者的名称都为用于视频处理的方法和系统(METHOD AND SYSTEM FOR VIDEOPROCESSING)，其全部内容通过引用并入在此。这些功能块在此为了简明起见而被省略。
因此，在患者侧推车以及电子装置/控制台330和外科医生控制台345之间的数据通信(包括例如，由视频编码器310编码的编码后的图像和来自外科手术输入装置355的外科手术控制信号)可以通过包括通信链路340和350以及通信网络335的通信路径来实现。
在本公开的各种示例性实施例中，通信链路325和335可以包括有线链路、无线链路，或它们的组合。有线链路可以包括金属、玻璃、空气、空间，或作为传输介质的某些其他材料，并且在其中的通信可通过通信协议(诸如，例如，互联网协议(IP)、以太网或本领域技术人员所熟悉的其他通信格式，或它们的组合)来实现。通信网络335可包括路由器、计算机系统，或能够在逻辑上互连多个装置的任何其他元件，并且可以体现为局部区域网络(LAN)、内联网、广域网(WAN)、载波网络、互联网，或一些其他类型的通信网络，或者它们的组合。因此，在不脱离本公开的范围的情况下，患者侧推车和/或电子装置/控制台330可位于邻近外科医生控制台345或距其几百英里处。
视频捕获装置305可以包括用于捕获视频图像并提供这种视频图像到视频编码器310的电路和/或其他部件。视频编码器310可包括用于对从视频捕获装置305接收到的视频图像编码并且用于通过通信网络320将编码的视频图像传送到显示器360的电路和/或其他部件。例如，但不作为限制，视频捕获装置305可以包括内窥镜摄像机(诸如图2的内窥镜摄像机205)。内窥镜摄像机205能够利用本领域技术人员已知的各种成像捕获系统，包括但不限于，例如，数字图像传感器(例如，CCD或CMOS)、实时磁共振成像(MRI)捕获系统(未示出)、超声捕获系统(未示出)，或可以提供实时图像到远程位置的任何其他类型的实时成像捕获技术。
在本公开的各种示例性实施例(诸如在图3中所示的示例性实施例)中，视频捕获装置305捕获外科手术部位的视频图像，并将该视频图像提供到视频编码器310。视频编码器310基于由VQI处理器325设定的配置对所接收的视频图像进行编码，如前面所指出的，VQI处理器325基于从状态监测器315和网络监测器320的视场的至少一个接收到的信息设定这种配置。编码的视频图像通过通信网络335被传送用于在显示器360(其可以位于外科医生控制台345处，或者能够从其分离)上显示，近似如它们被捕获(例如，“实时”)。在这种情况下，期望最小化通过例如通信网络335的网络状况所引起的通信时延的任何负面影响，并且保持在视频捕获装置305处视频图像的捕获和视频图像在显示器360处的显示之间的低延迟。还期望提供对于被捕获的那些图像且对于该图像具有高保真的图像，以便以具有最小波动或其他噪声的出现的相对平滑、连续的方式在显示器360处显示。
图4是根据本公开的各种示例性实施例的用于例示由VQI处理器(诸如，例如，图3的VQI处理器325)执行的VQI算法的潜在的操作的表格。具体地，图4示出基于预期影响如由例如图3的状态监测器315监测的视场的图像内容的状态变化的编码器(诸如，例如，图3的视频编码器310)的配置。为了说明各种示例性实施例的操作原理，图4基于恒定的带宽(即，恒定的网络状况)。
A列提供从网络监测器(诸如图3的网络监测器320)至分配给本公开的示例性实施例的预期最大带宽的VQI处理器的输入，用于将编码的视频图像从例如视频编码器310传送到图3的显示器360。出于描述图4的目的，如上面所指出的，图4涉及基于影响视场的图像内容的状态变化的编码器的配置，A列沿行1-5保持不变(例如，在说明性示例中每秒1兆字节(Mbps))。
在本公开的各种示例性实施例中，视频图像可通过视频编码器310根据H.264视频压缩标准进行编码。在H.264编码中，如本领域技术人员所熟知的那样，H.264编码器执行预测、变换和编码过程以产生编码的视频图像的压缩的H.264比特流。具体地，H.264编码器产生不同类型的帧，其中一些帧包括复制相关联的图像(所谓的内编码帧或i帧)所需的信息，而另一些帧仅包括在一个帧和一个或多个连续帧(所谓的预测帧或p帧，或双向预测帧或b帧)之间的变化。为简明起见，假定H.264编码器仅产生i帧和p帧，但本领域技术人员将理解，本公开并不局限于此，并且根据本公开的H.264编码器还能够产生b帧。
如本领域技术人员还熟悉的，H.264编码器可经配置以修改i帧和p帧产生的速率(每秒的帧数(fps))、产生多少数据(每秒的比特(bps))以及总fps(即每秒产生的所有帧的总和)。H.264视频解码器执行解码的互补过程、反变换以及重建H.264比特流，以产生所显示的视频图像。
如上面所指出的，图4是用于描述VQI算法的操作的表格。B列和C列分别提供i帧和p帧的示例性大小，其可以根据上面提及的H.264视频压缩标准被产生以编码并且传送编码的视频图像。然而，本领域技术人员将认识到，根据本公开的各种示例性实施例可以依赖于其他编码/解码算法，或者可以依赖于H.264标准的不同的实施方式(例如，H.264标准和本公开不限于仅产生i帧和p帧，并且本公开的示例性实施例还可以产生b帧)。
另外，为了简明起见，在图4的整体描述中，并且具体地在B列和C列中，已经假定所有i帧都大小相同并且所有p帧都大小相同。然而，本领域技术人员将理解，这些帧的大小可以取决于例如由相应的视频捕获装置(诸如图3的视频捕获装置305)捕获的视频图像的特性以及连续的视频图像之间差异的量而变化。在表格4中还假定p帧是i帧的大小的一半。然而，本领域技术人员还将理解，在不脱离本公开的范围的情况下，编码配置的i帧对p帧的比率可以从一个实施方式到另一个实施方式变化，并且甚至可以在单个实施方式中变化。
D列提供了从状态监测器的视场到VQI处理器的相应的视频捕获装置(VCD)的视场的图像内容的预期变化程度的输入。在D列，级别1指示VCD的视场的图像内容的小的变化的期望并且级别9指示VCD的视场的图像内容的大的变化的期望。
视场的图像内容的预期变化程度可以由例如图3的状态监测器315提供到VQI处理器，并且可以基于来自在外科医生控制台处的用户/外科医生(诸如，例如，图3的输入装置345)的一个或更多个输入。在输入装置345处收到要求能够导致在图3的VCD 305的视场的图像内容的变化的操作的输入时，状态监测器315能够预期接收到的输入可导致的变化程度。视场的图像内容的变化程度可以基于可改变视场的图像内容的一个或多个事件。在不脱离本公开的范围的情况下，这种事件能够包括，但不限于，VCD的配置(例如，放大/缩小和/或使摄像机处于“跟随”)、VCD的视场内的一个或更多个外科手术器械(例如，末端执行器)的操作、到外科手术部位的液体、气体或其他物质/材料的引入和/或去除、以及在视场中的对象(例如，身体部分和/或外科手术装置)的移动。
根据本公开的各种示例性实施例，VQI处理器可以基于VCD 305的视场的图像内容的预期变化动态地配置捕获的视频图像的编码。根据底层系统内的一个或多个输入将被预期对视场的图像内容具有影响的知识，在各种示例性实施例中，使预测视场的图像内容的变化变得可能。
例如，在机器人控制的外科手术的背景内，来自远程外科医生控制台(诸如图3的外科医生控制台345)的输入可以在这种输入导致视场的图像内容的变化之前由图3的状态监测器315来检测。具体地，如上相对于图3所解释的，对于某些远程控制的外科手术操作，在特定外科手术元件能够被激活和/或移动之前，可需要外科医生提供多个输入命令，这允许预期通过特定的外科手术元件的移动产生的视场的图像内容的变化。VCD(诸如图1的内窥镜摄像机126)可以经配置以“跟随”模式操作，其中外科医生能够操作摄像机以跟随主夹具输入中的一个的动作，或者在其他示例性实施例中以自动“跟随”特定的外科手术器械(诸如，例如，切割外科手术元件和/或夹持外科手术元件)的移动。
当特定的外科手术器械和/或摄像机在外科医生控制台处被主动地控制和/或基于在外科医生控制台处的输入被自动地控制，该系统能够提前知道，如相对于图3所解释的，能够预期影响视场的图像内容的移动和/或其他功能。另外，能够依赖于关于特定外科手术元件和它们的动作和/或功能以及其对视场的图像内容的相应的影响的知识，预期其对视场的可变的影响。例如，外科手术器械的有钳口的末端执行器的夹持动作可以比例如引入和/或去除视场中的液体、气体或其他物质/材料更小地改变视场的图像内容(例如，以较慢的速率)。类似地，这种夹持动作可以比处于跟随的内窥镜摄像机的动作对视场的图像内容具有较小的变化，例如，以将视场从身体的一个位置移动到另一个位置。
在从状态监测器315接收关于导致对视场的图像内容的预期影响的这种状态变化的信息时，VQI处理器325可以配置视频编码器310，以在视场的图像内容的期望变化发生之前产生视场的图像内容的图像的高保真编码帧。例如，VQI处理器325可配置视频编码器310，以增加i帧速率，从而增加捕获的视频图像的编码质量。编码质量的优先增加可避免视场的图像内容的预期变化将以其他方式导致的质量的降低。然而，如前面所提到的，i帧速率的增加自动增加通过网络传送编码的视频图像的比特率。当各个示例性实施例中分配的带宽被限制时，目标比特率必须基于可用带宽被维持。因此，视频传送的总的帧速率(帧/秒)必须降低，以便补偿增加的i帧速率。在这种情况下，根据各种示例性实施例，p帧速率可以降低，以补偿增加的i帧速率。注意，fps的降低也是有限的，因为过低的fps可能增加延迟，并且因此，破坏应用的实时性。
E列和F列提供基于根据本公开的各种示例性实施例的VCD的视场的图像内容的预期变化程度的i帧对p帧的比率。
为了简明起见，以10个为一组的图形(GOP)已被选择以说明i帧对p帧的比率(GOP一般表示多少图形/图像可以通过依赖于一个i帧被提供)。然而，本公开的各个示例性实施例并不局限于此，并且可以依赖于不同的GOP。
如所示的，如果存在预期的VCD的视场的图像内容的小的变化程度，则i帧对p帧的比率处于其最低(1/9)，因为较少的i帧必须提供所捕获的视频图像的高保真的实时复制。另一方面，如果预期VCD的视场的图像内容的大的变化程度，则i帧对p帧的比率处于其最高(9/1)，因为较多的i帧必须提供所捕获的视频图像的高保真的实时复制。
如前面提到的，然而，由于可用的有限的带宽，i帧对p帧的比率的增加将需要减少能够提供的帧的总数量，这可能增加延迟并且破坏应用的实时性。例如，图4示出的是，在相对低的i帧对p帧比率，如表格的行1所示，9fps的i帧速率和81fps的p帧速率可以实现，这产生总共90fps，并维持所使用的带宽在最大带宽1Mbps(参见J列，使用的带宽变为0.99Mbps)之下。另一方面，如果预期VCD的视场的图像内容的显著变化程度，如表格的行5所示，45fps的i帧速率和只有5fps的p帧速率可需要维持高的保真度。然而，这种配置产生50fps以维持所使用的带宽在最大带宽1Mbps(参见J列，使用的带宽变为0.95Mbps)之下。
本公开的上述相对于图4的数字/值都是说明性和非限制性的，并且本领域技术人员理解，本公开的示例性实施例可以支持在此未示出的其他数字/值。例如，对于微创外科手术过程，15fps的速率可以提供足够的保真度而20-30fps的速率或更高的速率可提供最佳的保真度。对于其他的应用，然而，在不脱离本公开的范围的情况下，可以期望与上面所指出的用于微创外科手术过程的那些不同的fps速率。
因此，根据本公开的各种示例性实施例，监测可以预测影响VCD的视场的图像内容的状况，并且因此编码器经配置对通过视频捕获装置捕获的视频图像进行编码。具体地，在发生视场的图像内容的变化之前，在预期由于监测和检测的整个系统的状态变化而引起的视场的图像内容的期望变化的情况下，编码器能够经配置对通过VCD捕获的视频图像进行编码。因此，在保真度降低事件发生之前，高保真编码可以在预期这种事件时实现，这可以避免通常与反动地配置视频编码器相关联的低保真度图像周期(即，在保真度降低事件发生后)。
图5是根据本公开的各种示例性实施例的用于例示由VQI处理器(诸如，例如，图3的VQI处理器325)执行的VQI算法的潜在的操作的表格。具体地，图5示出编码器(诸如，例如，图3的视频编码器310)的配置，所述配置基于预期影响视场中捕获的图像内容并且传送到如由例如图3的网络监测器320监测的显示器的网络状况的变化。图5根据本公开的各种示例性实施例基于视场的恒定图像内容(在这种情况下，相应的VCD(诸如图3的VCD 305)的视场的图像内容的小的变化)。
A列提供从网络监测器至VQI处理器的分配给本公开的示例性实施例的预期最大带宽的输入，用于将编码的视频图像从例如视频编码器310传送到图3的显示器360。然而，对比图4阐述的示例性状况，其中A列保持不变，图5示出在导致跨过通信网络335的可变带宽的不同的网络状况下的VQI算法的操作。
如在图4中，B列和C列分别提供i帧和p帧的示例性大小，其可以根据例如H.264视频压缩标准被产生以编码并且传送编码的视频图像。因此，在此这些列不被描述。
对于D列，如在图4中，其提供来自状态监测器的视场的相应的VCD的视场的图像内容的预期变化程度的输入。然而，如上面所指出的，图5示出在不同的网络状况下的VQI算法的示例性操作。因此，为具体说明独立于其他状态变化的不同的网络状况的影响，在图5中，D列贯穿行1-5保持不变。
本领域技术人员将理解，图5示出来自状态监测器315的不变的状态状况，为了简明起见，VCD变化程度为示例性监测的状态状况，以提供对如下的理解，即各种示例性实施例如何实施VQI算法以便适应网络状况的变化(例如，如由网络监测器320所监测的)。
E列和F列基于VCD的视场的图像内容的预期变化程度提供i帧对p帧的比率。因为，如上所指出的，图5涉及在不同的网络状况下的VQI算法的操作，而不涉及影响VCD的视场的图像内容的状态变化(例如，诸如外科手术元件的操作)，D列沿行1-5保持不变。因此，由于E列和F列取决于D列所阐述的值，E列和F列也贯穿行1-5仍保持不变。
图5的G列、H列和I列示出根据本公开的各种示例性实施例的编码器的配置。当网络的预期最大带宽减小时，根据本公开的VQI处理器的示例性实施例调整i帧和p帧速率，如G列和H列所示，以维持期望的i帧对p帧比率。结果，总的帧速率下降，如I列所示。例如，图5示出，当预期的最大速率为1Mbps时，如表格的行1所示，每秒9帧(fps)的i帧速率和81fps的p帧速率可以实现，这产生总共90fps，并维持所使用的带宽在最大带宽1Mbps(参见J列，使用的带宽变为.099Mbps)之下。随着预期的最大带宽减小，如图所示，例如，表格的行5，i帧速率和p帧速率都降低，并且因此，总fps降低到40fps，以维持所使用的带宽在最大带宽0.5Mbps(参见J列，使用的带宽变为0.44Mbps)之下。
因此，根据本公开的各种示例性实施例，可以预测影响可用于传送编码的视频图像的最大带宽的一个或更多个状况被监测，并且编码器经配置以基于该状况对通过视频捕获装置捕获的视频图像进行编码。具体地，在预期可用的最大带宽的期望变化的情况下并且在发生可用的最大带宽的变化之前，编码器可经配置对通过视频捕获装置捕获的视频图像进行编码。因此，在保真度降低网络状况事件发生之前，高保真度、“实时”编码可以在预期这种事件时实现，这可以避免通常与反动地配置视频编码器相关联的低保真度图像周期(即，在保真度降低事件发生后)。
在图4和图5中阐述并在其各自的描述中使用的数字/值是预示的示例，其已被选择仅用于协助对本公开的示例性实施例的某些操作原理的理解。本领域技术人员理解，这些数字/值不是限制性的并且本公开的示例性实施例可以支持在此未示出的其他数字/值。
虽然图4示出了根据本公开的各种实施例的鉴于VCD的视场的图像内容的预期变化的VQI算法，并且图5示出了根据本公开的各种实施例的鉴于用于传送编码的视频图像可用的预期带宽的预期变化的VQI算法，但是本公开并不局限于此。本领域技术人员将理解，在不脱离本公开的范围的情况下，VQI算法可以基于预测的影响视场的图像内容和相应的捕获的图像的状态变化以及网络状况(例如，带宽)变化两者的结合来配置视频图像的编码。
图6是根据本公开的至少一个示例性实施例的示出用于处理视频的方法的流程图。在步骤605处，该方法包括接收例如由视频捕获装置(诸如，例如，图3的视频捕获装置305)捕获的例如外科手术部位的视频图像。在步骤610处，该方法包括接收能够影响视频捕获装置的视场的图像内容的状态变化的指示。如以上参考图3和图4详细地解释的，能够影响视场的图像内容的状态变化可以由以一个或多个系统状况(诸如，例如，外科手术元件的移动、图像捕获装置的移动、视频捕获装置的配置(例如，放大/缩小)和/或在外科手术部位的液体、气体或其他物质/材料的施加/移除)触发，并且视场的图像内容的变化程度可以基于具体状况来预期。进一步地，如上面所解释的，该系统状况能够通过在外科医生侧控制台处接收到的各种输入命令和/或在外科医生控制台处提供的输入命令或可操作状态变化之后发生的自动功能而改变。
在步骤615处，该方法包括基于在步骤610处由接收到的指示所指示的状态变化对视场的图像内容的预测影响选择性地调整用于编码捕获的视频图像的编码配置。编码配置的变化可包括调整要编码的未来图像中的至少一个的分辨率，或调整用于产生/传送编码的视频图像到接收系统(诸如，例如，图3的显示器360)的图像帧产生/传送速率。在步骤620处，该方法包括基于所调整的编码配置对捕获的视频图像进行编码。
因此，根据本公开的各种示例性实施例，视频图像编码器可经配置，例如，经由VQI，以基于监测状况对视频捕获装置的视场的预期影响来对视频图像进行编码。因此，在发生保真度降低事件之前，高保真度编码可以在预期这种事件时实现，这可避免通常与反动地配置视频编码器相关联的低保真度的图像周期(即，在保真度降低事件发生之后并且响应于保真度降低事件发生)。图7是根据本公开的另一个示例性实施例的示出用于处理视频的方法的流程图。在步骤705处，该方法包括接收由视频捕获装置(诸如，例如，图3的视频捕获装置305)捕获的在例如外科手术部位处的视频图像。在步骤710处，该方法包括接收能够影响视频捕获装置的视场的图像内容的状态变化的指示。如以上相对于图6(并且进一步相对于图3和图4)所指出的，能够影响视场的图像内容的状态变化可以由以一个或更多个系统状况(诸如，例如，外科手术元件的移动、图像捕获装置(例如，内窥镜摄像机205)的移动、视频捕获装置的配置(例如，放大/缩小)和/或在外科手术部位处的液体、气体或其他物质/材料的施加/移除)导致，并且视场的图像内容的变化程度可以基于具体状况来预期。
在步骤715处，该方法包括接收能够影响传送编码的视频图像到接收系统(诸如，例如，图3的显示器360)的网络状况的变化的指示。网络状况的变化可以由例如网络(诸如，例如，图3的通信网络335)的拥塞导致，该网络用于将编码的视频图像传递到接收系统。网络状况可通过网络例如确定丢失的数据包或测量数据包延迟来确定。
在步骤720处，该方法包括基于由接收到的指示所指示的变化对视场的图像内容的预测影响和网络状况对传递编码的视频图像到其目的地的预期影响选择性地调整用于编码捕获的视频图像的编码配置。编码配置的变化可包括调整要编码的未来图像中的至少一个的分辨率，或调整用于产生/传送编码的视频图像到接收系统(诸如，例如，图3的显示器360)的图像帧产生/传送速率。在步骤725处，该方法包括基于所调整的编码配置对捕获的视频图像进行编码。
因此，根据本公开的各种示例性实施例，视频图像编码器可经配置，例如，经由VQI，以基于监测的状态状况对视频捕获装置的视场的图像内容的预期影响和/或用于传送编码的视频图像到目的地的网络状况来对视频图像进行编码。因此，各种示例性实施例进一步允许机器人外科手术系统的监测状态和/或网络状况不仅预测预期影响视场的图像内容的状况的发生，而且预测对视场的图像内容的预期影响的性质(例如，程度)(例如，相比于由吸气、冲洗和/或烧灼过程引起的大的流体运动的有钳口的末端执行器的预期移动；或相比于处于“跟随”状态的内窥镜摄像机从一个位置移动到另一个位置的有钳口的末端执行器的移动)。
图8是根据本公开的又一个示例性实施例的示出用于处理视频的方法的流程图。在步骤805处，安装在图3的患者侧推车330处的视频捕获装置(诸如，例如，内窥镜摄像机或其他视频捕获装置)启动捕获远程外科手术部位的视频图像，并且基于预定的编码配置，将所捕获的视频图像传输到远程显示器，诸如到图3的外科医生控制台345的显示器360。视频图像通过通信网络(诸如图3的通信网络335)从在远程外科手术部位处的摄像机传送到显示器。
在步骤810处，该方法包括监测在底层系统的视频捕获和编码系统元件处的状况，其可以影响视频捕获和编码系统的视频捕获装置的视场的图像内容以及因此影响视频捕获和编码系统的视频捕获装置的捕获的图像。如参考图3和图4详细地解释的，在远程控制的外科手术系统中，例如，视场内的机器人臂和/或外科手术器械的移动、摄像机变焦/速度、或到视场内的外科手术部位的物质(诸如液体或气体)的施加/移除可以影响用于执行远程控制的外科手术的捕获外科手术部位的视频的视频捕获装置的视场的图像内容，并且视场的图像内容的变化程度可以基于具体状况来预期。
在步骤815处，该方法包括确定预测的影响视场的图像内容的状态变化是否已经发生。如果状态变化已经发生，则在步骤820处，该方法包括确定状态变化对视场的图像内容的预期影响是否超过预定阈值。预定阈值依赖于具体的状态变化，并且可以基于，例如，捕获视场的图像内容的视频捕获装置的移动、视场的调整(例如，放大/缩小)、视场内的器械的移动，或者可期望引起视场的图像内容的变化的任何其他动作。
例如，在本公开的各种示例性实施例中，诸如激活(例如，按压)脚踏板的输入例如可以指示到摄像机控制模式的变换，并且用于调整摄像机的位置/取向的进一步的输入可以被预测以引起当前视场的具体变化。预测的变化可以根据视场下的输入和/或当前状况基于摄像机的期望速度(例如，正经历或期望在视场内经历的其他移动)。因此，可测量的值(诸如摄像机的调整的速度)可以与预定的摄像机速度阈值相比较，以确定对于编码参数的调整的需要和程度。
应该指出的是，在不脱离本公开的范围的情况下，确定对视场的图像内容的预期变化程度以及编码参数的相关联的变化可以(基于来自用户的输入)发生在远程部位处或在外科医生控制台(从外科医生控制台提供至远程部位)处。例如，在各种示例性实施例中，在外科医生控制台处接收到用于调整摄像机的位置/取向的输入时，在外科医生控制台处的处理单元可以基于由输入导致的摄像机的预期速度预测当前视场和在其中的图像内容的变化，并且可以确定对于编码参数的调整的需要和程度。处理单元可以进一步确定编码参数的相应调整，并向患者侧推车提供配置编码解码器(CODEC)的编码参数。
如果状态变化的预期影响超过预定阈值，则在步骤825处，编码配置参数被调整以最小化预期影响。该调整可以包括，例如，在不脱离本公开的范围的情况下，根据预定的分布或基于根据预期影响的功能与预期影响成比例地增加i帧速率。例如，而不是作为限制，当使用图像捕获装置的速度作为状态变化的测量时，编码配置参数(诸如i帧速率)的变化可以与超过预定阈值的图像捕获装置的速度成比例。
如果状态变化的预期影响没有超过预定的阈值，则在步骤830处，编码配置参数可以保持不变或处于预定的默认配置状态。如果其他状况(诸如可用带宽)是有利的，则状态变化仍然可导致配置参数被调整，以便例如最小化状态变化的任何影响。这种调整可以包括，例如，在预定的时间量(例如，5秒)将i帧速率增加预定量(例如，每秒一个附加的i帧)，或者可以包括预定的默认配置状态的更新。
在步骤840处，该方法还能够包括监测视频捕获装置和远程显示器之间的网络的网络状况。可以监测的网络状况包括，例如，用于传送编码的视频图像和/或数据包丢失率的可用带宽。在步骤845处，该方法包括确定网络状况是否发生变化，例如可用带宽减少，或数据包丢失的百分比增加。在步骤850处，如果网络状况已经改变(例如，可用带宽降低)，则编码配置参数被调整以通过例如降低传送数据速率(即，比特率)、降低i-帧速率和/或降低被传送到接收系统的帧的总体帧速率来克服网络状况变化的影响。在步骤855处，该方法包括提供任何调整的编码配置参数到视频编码器(诸如，例如，图3的视频编码器310)。
因此，根据本公开的各种示例性实施例，视频图像编码器可经配置以基于监测的状况对视频捕获装置的视场的预期影响和用于将编码的视频图像传送到目的地的网络的状况来对视频图像进行编码。因此，在发生保真度降低事件之前，高保真度编码可以在预期这种事件时实现，这可避免通常与反动地配置视频编码器相关联的低保真度的图像周期(即，在保真度降低事件发生之后)。
图9根据本公开示出视频处理系统的示例性实施例。视频处理系统900是VQI处理器325的示例，虽然本领域技术人员将认识到，根据本公开的VQI处理器可以被不同地配置。视频处理器900包括通信接口901和处理系统903。处理系统903被链接到通信接口901。处理系统903包括处理电路和存储软件905的存储系统904。视频处理器900可以包括其他公知的部件，诸如电力系统、电池，和/或为了清楚起见而未示出的外壳。
通信接口901至少包括与视频处理系统900外部的装置接合的通信电路，并且可以包括用于有线和/或无线通信的电路。此外，通信接口901可以经配置以与用于实施由本公开的各种示例性实施例执行的至少一些特征的其他系统和/或元件通信，诸如如上所述的图3的状态监测器315、图3的网络监测器320以及图3的视频编码器310。通信接口901还可以包括存储器装置、软件、处理电路，或一些其他的通信装置，或实现在本公开中所引用的通信的类型。
处理系统903可以包括微处理器和检索和执行来自存储系统904的软件905的其他电路。存储系统904包括磁盘驱动器、闪存驱动器、数据存储电路，或一些其他存储器设备。处理系统903通常安装在还可支持存储系统904和/或通信接口901的部分的电路板上。
软件905包括计算机程序、固件，或一些其他形式的机器可读处理指令，以实现例如算法，诸如本公开所描述的VQI算法。软件905可以包括操作系统、实用程序、驱动程序、网络接口、应用程序或一些其他类型的软件。当由处理系统903执行时，软件905指导处理系统903来操作如本文所述的用于VQI处理器325的视频处理器900。
本公开的各个示例性实施例都能够在计算硬件(计算装置)和/或软件(诸如(在非限制性示例中)能够存储、检索、处理和/或输出数据和/或与其他计算机通信的任何计算机)中实现。所产生的结果能够在计算硬件的显示器上显示。包括影响根据本公开的各种示例性实施例的各种响应和信号处理的算法的一个或更多个程序/软件能够通过电子装置/控制台115的处理器或与电子装置/控制台115结合的处理器来实现，诸如上面所讨论的电外科手术处理单元，并且一个或更多个程序/软件可以被记录在包括计算机可读记录介质和/或存储介质的计算机可读介质上。计算机可读记录介质的示例包括磁记录设备、光盘、磁光盘和/或半导体存储器(例如，RAM、ROM等)。磁记录设备的示例包括硬盘装置(HDD)、软盘(FD)和磁带(MT)。光盘的示例包括DVD(数字多功能盘)、DVD-RAM、CD-ROM(只读存储器光盘)和CD-R(可记录)/RW。
如上所述，根据各种示例性实施例的方法和系统能够结合外科手术器械使用，外科手术器械具有经配置以通过经由在器械的近端的传送机构致动的部件执行多种外科手术过程的末端执行器。进一步地，根据本实施例的各个方面，能够提供所述特征、功能和/或操作的任何组合。
根据各种示例性实施例的方法和系统已经在编码/解码和根据H.264编码/解码协议传送图像的背景内解释。然而，本领域技术人员可以理解，本公开并不局限于此，并且在不脱离本公开的范围的情况下，本公开的一些或全部元件能够在一个或更多个其他编码/解码协议的背景内使用。
对于本领域技术人员来说，根据本说明书的考虑和本公开的实践以及随附的权利要求书，本发明的其他实施例将是显而易见的。在由权利要求书(包括其等同物)指示的范围的情况下，说明书和实施例旨在被认为是仅示例性的。

Claims (10)

1.一种处理由图像捕获装置捕获的图像数据的视频的方法，所述方法包括：
响应于接收到与在所述图像捕获装置的视场中执行过程的系统的状态变化相关联的输入，调整视频编码器的编码配置，其中所述系统的所述状态变化预期对所述视场中的图像数据内容有影响。
2.根据权利要求1所述的方法，其中：
调整所述编码配置包括增加用于编码所述图像数据的至少一个图像帧的图像编码分辨率。
3.根据权利要求2所述的方法，其中：
调整所述编码配置进一步包括减小用于编码所述图像数据的图像编码速率。
4.根据权利要求1所述的方法，其进一步包括：
基于所述调整的编码配置编码所述图像数据包括以i帧速率产生帧内帧即i帧并且以p帧速率产生预测的帧间帧即p帧；以及
其中所述调整所述编码配置包括调整所述i帧速率和/或所述p帧速率。
5.根据权利要求4所述的方法，其进一步包括：
以预定的传送数据速率将所产生的i帧和p帧传送到视频解码器，其中：
所述p帧速率的所述调整是基于所述i帧速率和所述预定的传送数据速率的所述调整。
6.根据权利要求1所述的方法，其中：
与所述状态变化相关联的所述输入包括与控制所述图像捕获装置的移动相关联的输入、与控制所述图像捕获装置的视场的调整相关联的输入、以及与控制所述图像捕获装置的所述视场内的元件的移动相关联的输入中的至少一个；以及
调整所述编码配置是基于当前捕获的图像内容数据和受所述状态变化影响的预期的捕获的图像内容数据之间预测的差别。
7.根据权利要求1所述的方法，其进一步包括：
响应于接收到指示可用于传送编码图像的带宽的变化的输入，调整所述编码配置。
8.根据权利要求1所述的方法，其中与所述系统的所述状态变化相关联的所述输入包括与在遥控外科手术系统的外科医生控制台处的控制命令输入相关联的输入。
9.根据权利要求1所述的方法，其进一步包括基于所述调整的编码配置对由所述图像捕获装置捕获的图像内容数据进行编码。
10.一种外科手术系统，其包括：
内窥镜图像捕获装置；和
视频处理器，其用于产生视频编码配置数据以对图像数据进行编码，所述视频处理器经配置以：
接收与所述外科手术系统的状态变化相关联的输入；以及
基于所述输入，输出调整的视频编码配置数据。
CN201811328542.6A 2012-08-15 2013-08-14 用于优化视频流的方法和系统 Active CN109348220B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261683493P 2012-08-15 2012-08-15
US61/683,493 2012-08-15
CN201380043166.5A CN104584068B (zh) 2012-08-15 2013-08-14 用于优化视频流的方法和系统
PCT/US2013/054862 WO2014028573A1 (en) 2012-08-15 2013-08-14 Methods and systems for optimizing video streaming

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380043166.5A Division CN104584068B (zh) 2012-08-15 2013-08-14 用于优化视频流的方法和系统

Publications (2)

Publication Number Publication Date
CN109348220A true CN109348220A (zh) 2019-02-15
CN109348220B CN109348220B (zh) 2023-06-06

Family

ID=50100509

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811328542.6A Active CN109348220B (zh) 2012-08-15 2013-08-14 用于优化视频流的方法和系统
CN201380043166.5A Active CN104584068B (zh) 2012-08-15 2013-08-14 用于优化视频流的方法和系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201380043166.5A Active CN104584068B (zh) 2012-08-15 2013-08-14 用于优化视频流的方法和系统

Country Status (6)

Country Link
US (2) US10806325B2 (zh)
EP (3) EP3624045B1 (zh)
JP (5) JP6265994B2 (zh)
KR (3) KR102365946B1 (zh)
CN (2) CN109348220B (zh)
WO (1) WO2014028573A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117221177A (zh) * 2023-11-08 2023-12-12 湖南省华芯医疗器械有限公司 图像传输延迟监测方法及系统

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102365946B1 (ko) 2012-08-15 2022-02-23 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 비디오 스트리밍을 최적화하기 위한 방법 및 시스템
WO2015135057A1 (en) * 2014-03-14 2015-09-17 Synaptive Medical (Barbados) Inc. Intelligent positioning system and methods therefore
DE102013108228A1 (de) * 2013-07-31 2015-02-05 MAQUET GmbH Assistenzeinrichtung zur bildgebenden Unterstützung eines Operateurs während eines chirurgischen Eingriffs
DE102014016843A1 (de) * 2014-11-13 2016-05-19 Kuka Roboter Gmbh System mit einem medizinischen Instrument und ein Aufnahmemittel
EP3029936A1 (en) * 2014-12-05 2016-06-08 Axis AB Method and device for real-time encoding
WO2017205467A1 (en) * 2016-05-26 2017-11-30 Covidien Lp Cannula assemblies for use with robotic surgical systems
WO2018089823A2 (en) * 2016-11-11 2018-05-17 Intuitive Surgical Operations, Inc. Teleoperated surgical system with scan based positioning
JP6858593B2 (ja) * 2017-03-02 2021-04-14 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、および制御方法
WO2018175583A1 (en) * 2017-03-21 2018-09-27 Stryker Corporation Methods and systems to automate surgical interventions
JP6975004B2 (ja) * 2017-10-03 2021-12-01 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、および医療用観察システム
EP3579553B1 (en) * 2018-06-05 2020-05-20 Axis AB A method, controller, and system for encoding a sequence of video frames
JP7325173B2 (ja) * 2018-10-06 2023-08-14 シスメックス株式会社 手術支援ロボットの遠隔支援方法、および遠隔支援システム
GB2585691B (en) * 2019-07-11 2024-03-20 Cmr Surgical Ltd Anonymising robotic data
JP2023507063A (ja) * 2019-12-19 2023-02-21 ソニーグループ株式会社 手術中に画像取込装置を制御するための方法、装置、およびシステム
DE102021100124A1 (de) * 2021-01-07 2022-07-07 Schölly Fiberoptic GmbH Verfahren zum Übertragen eines Rohbilddatenstromes eines Bildsensors
KR20240102817A (ko) * 2022-12-26 2024-07-03 광운대학교 산학협력단 원격 의료시스템을 위한 동영상 압축 전송 방법 및 장치
CN115811610B (zh) * 2023-01-13 2023-05-05 安徽医科大学 一种适用于无线内窥镜的图传方法及系统
CN117281616B (zh) * 2023-11-09 2024-02-06 武汉真彩智造科技有限公司 一种基于混合现实的手术控制方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007036650A (ja) * 2005-07-27 2007-02-08 Keio Gijuku マルチメディア通信装置
US20100157037A1 (en) * 2008-12-22 2010-06-24 Hoya Corporation Endoscope system with scanning function
US20100283857A1 (en) * 2009-05-05 2010-11-11 Honeywell International Inc. Event based dynamic change in video quality parameters of network cameras
US20110193949A1 (en) * 2008-11-21 2011-08-11 Vasudev Nambakam Wireless operating room communication system including video output device and video display

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5217453A (en) 1991-03-18 1993-06-08 Wilk Peter J Automated surgical system and apparatus
JPH0896522A (ja) 1994-09-20 1996-04-12 Sony Corp データエンコーダ
US6111870A (en) 1996-11-07 2000-08-29 Interdigital Technology Corporation Method and apparatus for compressing and transmitting high speed data
JP3592025B2 (ja) * 1997-03-11 2004-11-24 キヤノン株式会社 撮影画像記録装置
US6026097A (en) * 1997-03-13 2000-02-15 8 X 8, Inc. Data processor having controlled scalable input data source and method thereof
US6843793B2 (en) * 1998-02-24 2005-01-18 Endovia Medical, Inc. Surgical instrument
US10973397B2 (en) * 1999-03-01 2021-04-13 West View Research, Llc Computerized information collection and processing apparatus
KR100367000B1 (ko) 1999-06-29 2003-01-06 한국전자통신연구원 멀티미디어 처리용 가속 기능 및 입출력 기능을 갖는 피씨용 멀티채널 오디오/음성 및 데이터 코덱장치
US6709387B1 (en) 2000-05-15 2004-03-23 Given Imaging Ltd. System and method for controlling in vivo camera capture and display rate
JP3815665B2 (ja) * 2000-12-27 2006-08-30 Ｋｄｄｉ株式会社 可変ビットレート動画像符号化装置および記録媒体
US6873655B2 (en) 2001-01-09 2005-03-29 Thomson Licensing A.A. Codec system and method for spatially scalable video data
JP4194771B2 (ja) * 2001-06-29 2008-12-10 オリンパス株式会社 加熱治療装置
US7319720B2 (en) * 2002-01-28 2008-01-15 Microsoft Corporation Stereoscopic video
DE10219528A1 (de) * 2002-05-02 2003-11-13 Philips Intellectual Property Schnelles Kernresonanz-Bildgebungsverfahren mit Gradienten-Echos
AU2003280512A1 (en) * 2002-07-01 2004-01-19 E G Technology Inc. Efficient compression and transport of video over a network
JP3944440B2 (ja) 2002-09-27 2007-07-11 三菱電機株式会社 動画像伝送システム、救急医療用伝送システム及び動画像伝送装置
JP2005073218A (ja) * 2003-08-07 2005-03-17 Matsushita Electric Ind Co Ltd 画像処理装置
JP4503987B2 (ja) * 2003-11-12 2010-07-14 オリンパス株式会社 カプセル型内視鏡
EP1769399B1 (en) * 2004-06-07 2020-03-18 Sling Media L.L.C. Personal media broadcasting system
US7984179B1 (en) 2004-06-29 2011-07-19 Sextant Navigation, Inc. Adaptive media transport management for continuous media stream over LAN/WAN environment
JP4768250B2 (ja) * 2004-10-28 2011-09-07 シャープ株式会社 送信装置、受信装置、送受信装置、送信方法及び伝送システム
US8934533B2 (en) * 2004-11-12 2015-01-13 Pelco, Inc. Method and apparatus for controlling a video surveillance display
JP4727221B2 (ja) * 2004-12-21 2011-07-20 ルネサスエレクトロニクス株式会社 映像信号処理装置及び映像信号処理方法
US7894531B1 (en) * 2005-02-15 2011-02-22 Grandeye Ltd. Method of compression for wide angle digital video
WO2007033379A2 (en) * 2005-09-14 2007-03-22 Neoguide Systems, Inc. Methods and apparatus for performing transluminal and other procedures
US8079950B2 (en) 2005-09-29 2011-12-20 Intuitive Surgical Operations, Inc. Autofocus and/or autoscaling in telesurgery
US8373748B2 (en) * 2005-12-14 2013-02-12 Stryker Corporation Automatic endoscope recognition and selection of image processing and display settings
JP2009539131A (ja) 2006-05-31 2009-11-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 表示パラメータの制御
US20080117968A1 (en) * 2006-11-22 2008-05-22 Capso Vision, Inc. Movement detection and construction of an "actual reality" image
EP2155333A4 (en) 2007-06-08 2013-07-31 Cynosure Inc COAXIAL LASER LIPOLYSIS SUCTION SYSTEM
US8057394B2 (en) * 2007-06-30 2011-11-15 St. Jude Medical, Atrial Fibrillation Division, Inc. Ultrasound image processing to render three-dimensional images from two-dimensional images
WO2009136969A2 (en) * 2008-01-22 2009-11-12 Carnegie Mellon University Apparatuses, systems, and methods for apparatus operation and remote sensing
JP5154961B2 (ja) 2008-01-29 2013-02-27 テルモ株式会社 手術システム
US8808164B2 (en) * 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
US8291855B2 (en) * 2009-01-16 2012-10-23 Hoerl Jr Jeffrey Joseph Mobile robot printer for large image reproduction
JP2010199656A (ja) * 2009-02-23 2010-09-09 Panasonic Corp 動画撮像装置
US10178406B2 (en) * 2009-11-06 2019-01-08 Qualcomm Incorporated Control of video encoding based on one or more video capture parameters
WO2012033200A1 (ja) 2010-09-10 2012-03-15 オリンパスメディカルシステムズ株式会社 撮像装置
JP5496852B2 (ja) * 2010-10-26 2014-05-21 富士フイルム株式会社 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び電子内視鏡システムの作動方法
US9445058B2 (en) 2012-05-14 2016-09-13 Intuitive Surgical Operations, Inc Method for video processing using a buffer
KR102365946B1 (ko) 2012-08-15 2022-02-23 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 비디오 스트리밍을 최적화하기 위한 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007036650A (ja) * 2005-07-27 2007-02-08 Keio Gijuku マルチメディア通信装置
US20110193949A1 (en) * 2008-11-21 2011-08-11 Vasudev Nambakam Wireless operating room communication system including video output device and video display
US20100157037A1 (en) * 2008-12-22 2010-06-24 Hoya Corporation Endoscope system with scanning function
US20100283857A1 (en) * 2009-05-05 2010-11-11 Honeywell International Inc. Event based dynamic change in video quality parameters of network cameras

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117221177A (zh) * 2023-11-08 2023-12-12 湖南省华芯医疗器械有限公司 图像传输延迟监测方法及系统
CN117221177B (zh) * 2023-11-08 2024-01-09 湖南省华芯医疗器械有限公司 图像传输延迟监测方法及系统

Also Published As

Publication number Publication date
JP6567030B2 (ja) 2019-08-28
EP2885765B1 (en) 2019-12-18
EP3624045B1 (en) 2024-01-10
EP4284001A2 (en) 2023-11-29
CN104584068A (zh) 2015-04-29
JP2019208262A (ja) 2019-12-05
EP4284001A3 (en) 2024-01-17
JP2021072644A (ja) 2021-05-06
JP7114760B2 (ja) 2022-08-08
JP2015532040A (ja) 2015-11-05
JP2022136244A (ja) 2022-09-15
WO2014028573A1 (en) 2014-02-20
JP6265994B2 (ja) 2018-01-24
KR102319400B1 (ko) 2021-11-01
JP7379609B2 (ja) 2023-11-14
KR102365946B1 (ko) 2022-02-23
EP3624045A1 (en) 2020-03-18
CN104584068B (zh) 2018-12-14
JP6833926B2 (ja) 2021-02-24
US10806325B2 (en) 2020-10-20
KR20210057209A (ko) 2021-05-20
US20140051921A1 (en) 2014-02-20
US11889975B2 (en) 2024-02-06
JP2018042293A (ja) 2018-03-15
EP2885765A1 (en) 2015-06-24
EP2885765A4 (en) 2016-02-24
CN109348220B (zh) 2023-06-06
KR102252078B1 (ko) 2021-05-17
KR20150043324A (ko) 2015-04-22
KR20210133316A (ko) 2021-11-05
US20210007577A1 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
CN104584068B (zh) 用于优化视频流的方法和系统
US11818509B2 (en) Method for video processing using a buffer
US9192447B2 (en) Surgical robot system and method of controlling the same
CN109964487B (zh) 管理装置和管理方法
WO2018088026A1 (ja) 送信装置、送信方法およびコンテンツ配信システム
WO2019003954A1 (ja) 通信システムおよび送信装置
JP2021193762A (ja) 受信装置、および受信方法、並びに、画像処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant