CN112384123A - 医学观察系统、医学观察设备和医学观察设备的驱动方法 - Google Patents

医学观察系统、医学观察设备和医学观察设备的驱动方法 Download PDF

Info

Publication number
CN112384123A
CN112384123A CN201980043946.7A CN201980043946A CN112384123A CN 112384123 A CN112384123 A CN 112384123A CN 201980043946 A CN201980043946 A CN 201980043946A CN 112384123 A CN112384123 A CN 112384123A
Authority
CN
China
Prior art keywords
affected part
movement
section
image
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201980043946.7A
Other languages
English (en)
Inventor
松井健
桑山哲朗
藤田五郎
吉田浩
深泽宇纪
前田史贞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112384123A publication Critical patent/CN112384123A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/018Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor for receiving instruments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3137Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for examination of the interior of blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90Identification means for patients or instruments, e.g. tags
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00571Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for achieving a particular surgical effect
    • A61B2018/0063Sealing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00982Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body combined with or comprising means for visual or photographic inspections inside the body, e.g. endoscopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)
  • Surgical Instruments (AREA)

Abstract

一种医学观察系统(3),设置有:成像单元(303),捕获患部的图像;检测单元(311),基于已经由成像单元连续捕获的患部的图像来提取保持在患部附近的治疗工具的移动,并且基于提取的结果来检测患部的移动;以及控制单元(301),根据患部的移动的检测结果来控制与患部的观察相关的处理。

Description

医学观察系统、医学观察设备和医学观察设备的驱动方法
技术领域
本公开涉及一种医学观察系统、一种医学观察设备和一种医学观察设备的驱动方法。
背景技术
近年来,由于外科技术和外科器械的进步,经常进行外科手术(所谓的显微外科手术),用于在用诸如外科显微镜或内窥镜等医学观察设备观察患部的同时进行各种治疗。此外,这样的医学观察设备不限于能够光学观察患部的设备,并且提出了使得由成像设备(相机)等捕获的患部的图像在诸如监视器等显示设备上显示为电子图像的设备。这种技术的发展使得能够观察到大量的对象。例如,PTL 1公开了一种能够观察血流的技术的示例。
[引用列表]
[专利文献]
[PTL 1]
JP 2017-170064A
发明内容
[技术问题]
在用医学观察设备观察患部的同时进行手术的情况下,脉动等可能导致患部作为观察对象表现出诸如振动等移动,而不管是否存在介入治疗。作为具体示例,在血管或其附近将作为诸如动脉瘤观察等观察对象的情况下,可以设想患部由于脉动而振动的情况。在这种情况下,例如,患部表现出的移动(例如,振动)可能使得难以准确观察患部。作为具体示例,在夹闭动脉瘤后观察到血流的情况下,由脉动等引起的动脉瘤振动可能使得难以准确观察动脉瘤。
考虑到这一点,本公开提出了一种技术,该技术使得即使在患部可以移动而不管是否存在介入治疗的情况下,也能够以更优选的方式实现对患部的观察。
[问题的解决方案]
本公开提供了一种医学观察系统,包括:成像部,被配置为捕获患部的图像;检测部,被配置为基于已经由成像部连续捕获的患部的图像来提取保持在患部附近的治疗工具的移动,并且基于提取的结果来检测患部的移动;以及控制部,被配置为根据患部的移动的检测结果来控制与患部的观察相关的处理。
另外,本公开提供了一种医学观察设备,包括:检测部,被配置为基于已经由成像部连续捕获的患部的图像来提取保持在患部附近的治疗工具的移动,并且基于提取的结果来检测患部的移动;以及控制部,被配置为根据患部的移动的检测结果来控制与患部的观察相关的处理。
此外,本公开提供了一种医学观察设备的驱动方法,包括由计算机执行的以下步骤:基于已经由成像部连续捕获的患部的图像来提取保持在患部附近的治疗工具的移动,并且基于提取的结果来检测患部的移动;并且根据患部的移动的检测结果来控制与患部的观察相关的处理。
[发明的有利效果]
如上所述,根据本公开,提供了一种技术,该技术使得即使在患部可以移动而不管是否存在介入治疗的情况下,也能够以更优选的方式实现对患部的观察。
应当注意,上述有利效果不一定是限制性的,除了上述有利效果之外或者代替上述有利效果,可以产生本说明书中描述的任何有利效果或者可以从本说明书中理解的其他有利效果。
附图说明
[图1]是示出可以应用根据本公开的技术的包括手术视频显微镜设备的系统的配置示例的示图;
[图2]是用于说明过程示例的说明图;
[图3]是用于说明患部伴随脉动移动的情况的示例的说明图;
[图4]是用于说明根据本公开实施例的医学观察系统的配置示例的说明图;
[图5]是用于说明根据实施例的医学观察系统的技术特征的基本概念的说明图;
[图6]是示出根据实施例的医学观察系统的功能配置的示例的框图;
[图7]是示出根据实施例的医学观察系统的一系列处理的流程的示例的流程图;
[图8是]用于说明根据示例1的控制示例的说明图;
[图9]是用于说明根据示例2的控制示例的说明图;
[图10]是用于说明根据示例2的控制的另一示例的说明图;
[图11]是用于说明根据示例3的控制示例的说明图;
[图12]是示出构成根据本公开实施例的医学观察系统的信息处理设备的硬件配置的配置示例的功能框图;
[图13]是示出根据本公开实施例的应用的内窥镜手术系统的示意性配置的示例的示图;
[图14]是示出图13所示的摄像头和CCU的功能配置的示例的框图。
具体实施方式
在下文中,将参考附图详细描述本公开的优选实施例。在本说明书和附图中,基本上具有相同功能配置的部件将由相同的附图标记表示,并且将省略其重复描述。
将按以下顺序给出描述。
1.医学观察系统的配置示例
2.使用医学观察系统进行的观察检查
3.技术特征
3.1系统的配置示例
3.2基本概念
3.3功能配置
3.4处理
3.5示例
4.硬件配置的示例
5.应用
6.结论
<<1.医学观察系统的配置示例>>
首先,作为可以应用根据本公开实施例的技术的医学观察系统的示意性配置的示例,将参考图1描述包括所谓的手术视频显微镜设备的系统的示例。
例如,图1是示出可以应用根据本公开的技术的包括手术视频显微镜设备的系统的配置的示例的示图,并且该系统示意性地表示如何使用手术视频显微镜设备进行手术。具体地,图1示出了作为操作者(用户)820的医生如何使用诸如手术刀、镊子或钳子等外科器械821对在手术台830上的(患者)840的要手术的对象进行手术。应当注意,在下面的描述中,过程用作各种医学处理的集合术语,例如,由作为用户820的医生对作为要被操作的对象840的患者执行的外科手术和测试。此外,尽管图1所示的示例示出了如何执行作为过程示例的手术,但是使用手术视频显微镜设备810的过程不限于手术,并且可以是各种其他类型的过程。
手术视频显微镜设备810设置在手术台830旁边。手术视频显微镜设备810包括作为基底的基部811、从基部811延伸的臂部812、以及作为末端单元连接到臂部812的末端的成像单元815。臂部812具有多个关节部813a、813b和813c、通过关节部813a和813b连接的多个连杆814a和814b、以及设置在臂部812的末端的成像单元815。虽然在图1所示的示例中,为了简单起见,臂部812具有三个关节部813a至813c和两个连杆814a和814b,但是实际上,考虑到臂部812和成像单元815的姿势的位置和自由度,可以适当地设置关节部813a至813c和连杆814a和814b的数量和形状、关节部813a至813c的驱动轴的方向等,以实现期望的自由度。
关节部813a至813c具有将连杆814a和814b彼此可旋转地连接的功能,并且通过驱动关节部813a至813c的旋转,控制臂部812的驱动。在以下描述中,手术视频显微镜设备810的每个部件的位置是指在为驱动控制定义的空间中的位置(坐标),并且每个部件的姿态是指在为驱动控制定义的空间中相对于任意轴的取向(角度)。另外,在以下描述中,臂部812的驱动(或执行驱动控制)是指驱动(或执行驱动控制)关节部813a至813c,并通过驱动(或执行驱动控制)关节部813a至813c来改变(或控制改变)臂部812的每个部件的位置和姿态。
成像单元815作为末端单元连接到臂部812的末端。成像单元815是获取成像对象的图像的单元,并且例如是能够捕获移动图像或静止图像的相机等。如图1所示,臂部812和成像单元815的姿势和位置由手术视频显微镜设备810控制,使得设置在臂部812的末端的成像单元815对840上要操作的对象的手术部位的情况进行成像。作为末端单元连接到臂部812的末端的成像单元815的配置没有特别限制,例如,成像单元815被配置为获取成像对象的放大图像的显微镜。此外,成像单元815可以被配置为可附接到臂部812和可从臂部812拆卸。根据这样的配置,例如,根据用途,成像单元815可以作为末端单元适当地连接到臂部812的末端。例如,应用了根据先前描述的实施例的分路光学系统的成像设备可以用作成像单元815。换言之,在本申请中,成像单元815或包括成像单元815的手术视频显微镜设备810可以对应于“医学观察设备”的示例。此外,虽然本描述集中于成像单元815用作末端单元的情况,但是要连接到臂部812的末端的末端单元不必限于成像单元815。
此外,诸如监视器或显示器等显示设备850安装在与用户820相对的位置。在显示设备850的显示屏上显示由成像单元815捕获的手术部位的图像,作为电子图像。用户820在观看在显示设备850的显示屏上显示的手术部位的电子图像的同时执行各种治疗。
根据上述配置,可以在用手术视频显微镜设备810对手术部位成像的同时进行手术。
虽然上面已经描述了手术视频显微镜设备的示例,但是对应于手术视频显微镜设备的部分可以被配置为所谓的光学显微镜设备。在这种情况下,光学显微镜单元只需要作为末端单元连接到臂部812的末端。此外,显微镜单元可以包括成像设备。
这参考图1推断出了对根据本公开实施例的医学观察系统被配置为包括显微镜单元的显微镜成像系统的情况的示例的描述,作为医学观察系统的示意性配置的示例。
<<2.使用医学观察系统进行的观察检查>>
接下来,当假设使用医学观察系统观察患者体内的患部(例如,诸如动脉瘤等观察对象)的情况时,下面将使用具体示例来描述在执行观察时可能出现的技术问题。
例如,图2是用于说明过程的示例的说明图,并且示出了未破裂的脑动脉瘤夹闭手术的示例的概述。在未破裂的脑动脉瘤夹闭手术中,为了防止由于动脉瘤(例如,脑动脉瘤)破裂引起的混乱(disorder)的发生,使用钛夹等夹闭血管的一部分,以抑制血液流入动脉瘤(换言之,动脉瘤被闭塞)。例如,图2所示的示例表示通过使用夹子M111夹闭而闭塞在血管M101的一部分中出现的动脉瘤的情况。在图2中,上图表示夹闭之前的状态,下图表示夹闭期间的状态。另外,在图2中,附图标记M103表示动脉瘤的顶部(dome)。此外,附图标记M105表示动脉瘤的颈部。换言之,在图2所示的示例中,通过将夹子M111施加到动脉瘤的颈部M105,防止了流经血管M101的血液流入动脉瘤。
在上述夹闭手术中,可以在夹闭后通过穿刺等使动脉瘤塌陷并使血液凝结形成血栓,来采取防止动脉瘤破裂的措施。例如,为了通过使血液凝结形成血栓来防止动脉瘤破裂,重要的是,抑制血液流入动脉瘤或使血流最小化,使得血流速率下降到导致血液凝结并诱发血栓形成的水平。
另一方面,在应用上述夹闭手术的情况下,脉动可能导致血管等的患部(例如,动脉瘤)表现出诸如振动等移动,并且使得难以进行精确观察。例如,图3是用于说明患部伴随脉动移动的情况的示例的说明图。图3所示的示例表示通过以与图2所示的示例类似的方式将夹子M111应用到动脉瘤的颈部M105来闭塞动脉瘤的情况的示例。在这种情况下,血管M101可能由于脉动而振动,并且例如,振动可能随着动脉瘤的移动(顶部M103的移动)或施加到动脉瘤的夹子M111的移动而变得明显。
此外,在动脉瘤由于脉动等而振动的情况下,振动可能导致血液流入动脉瘤的状态改变,并导致尽管流入动脉瘤的血液通过夹闭而闭塞,但动脉瘤仍未被闭塞的观察结果(换言之,进行假阳性观察)。在这种情况下,例如,可以采取诸如额外施加夹子的措施,这可能增加时间或成本。例如,手术持续时间的增加可能会增加患者的负担。此外,由于振动等而难以观察到患部的状态的情况可能导致医生负担的增加。
此外,为了确认通过上述夹闭手术动脉瘤的闭塞,例如,可以应用使用荧光物质的方法,例如,ICG。具体地,在该方法中,通过静脉注射将诸如ICG等荧光物质注射到血液中,并且通过照射激发荧光物质的波长的光和光谱检测激发光,确认存在或不存在血液向动脉瘤的流入。当使用ICG作为荧光物质时,通过例如照射波长在800nm附近的近红外光并使用滤光器等光谱检测波长在830nm附近的激发光来进行上述确认。
另一方面,一旦荧光物质(例如,ICG)被注射到血液中,需要时间来排出(洗掉)荧光物质(例如,ICG)。因此,例如,当通过夹子对动脉瘤的闭塞不充分并且血液流入动脉瘤时,即使通过用另外的夹子等再次闭塞动脉瘤来阻止血液流入动脉瘤,由于已经与血液一起流入动脉瘤的荧光物质(例如,ICG)产生荧光,所以可能难以确定是否已经充分闭塞。
此外,观察血流的方法的其他示例包括称为LSCI(激光散斑对比成像)的方法。在LSCI,通过用激光照射血液中的分散物质(例如,红细胞)并观察分散光来检测血液流动的存在或不存在。由于这样的特征,即使在LSCI中,由于脉动等引起的患部的移动,也可能难以观察到患部。另外,在LSCI中,由于在通过照射近红外光来获取图像的情况下难以获得可见光图像,例如,即使将夹子应用于患部,也可能难以确认夹子的位置。
考虑到上述情况,本公开提出了一种技术,该技术使得即使在例如患部由于脉动等的影响而移动的情况下,也能够以更优选的方式实现对患部的观察,而不管是否存在介入治疗。
<<3.技术特征>>
在下文中,将描述根据本公开实施例的医学观察系统的技术特征。
<3.1系统配置示例>
首先,将描述根据本公开的实施例的医学观察系统的配置的示例。例如,图4是用于说明根据本公开的实施例的医学观察系统的配置的示例的说明图,并且示出了应用LSCI时的系统配置的示例。换言之,在图4中示出的示例具有这样的配置,即假设当对作为观察对象的动脉瘤进行上述夹闭手术时,通过照射红外光或可见光来观察患部(动脉瘤)的情况。应当注意,在以下描述中,了方便起见,图4所示的医学观察系统也被称为“医学观察系统2”。
在图4所示的示例中,医学观察系统2包括控制单元201、成像单元203、传感器驱动器205、输入部207和输出部209。输入部207是关于医学观察系统2的输入接口。用户可以经由输入部7向医学观察系统2输入各种信息和各种指令。另外,输出部209对应于图1所示的示例中的显示设备850。
例如,成像单元203包括成像光学系统211、分路光学系统213、成像元件215和217、RGB激光器219、IR(例如,近红外光束)激光器223和振动传感器227。
RGB激光器219和IR激光器223中的每一个对应于用于用预定波长的光照射患部的光源设备。
RGB激光器219是发射可见光的光源,并且例如,尽管RGB激光器219由红色(波长约为650nm)、绿色(波长约为530nm)和蓝色(波长约为450nm)的相应激光器构成,但RGB激光器219可以替代地是LED光源,并且可以被配置为通过用激光器和LED或用激光器激发荧光物质来产生白色。例如,当获取患部的明场图像时,这种配置用作光源。具体地,经由传输线缆221传输从RGB激光器219发射的可见光,该传输线缆221被配置为能够使用光纤等来引导光,并且照射患部。因此,稍后描述的成像光学系统211会聚患部的明场图像。
IR激光器223是发射红外光(IR光)的光源,并且当例如进行荧光观察时用作光源。具体地,经由传输电缆225传输从IR激光器223发射的红外光,该传输电缆225被配置为能够使用光纤等引导光,并照射患部。因此,通过红外光的照射而激发已经注射到血液等中的荧光物质(例如,ICG),并且通过稍后将描述的成像光学系统211会聚从荧光物质发射的激发光。
成像光学系统211示意性地表示用于获取观察对象的患部的图像的光学系统。例如,成像光学系统211可以对应于内窥镜或显微镜。成像光学系统211经由稍后描述的分路光学系统213将入射光聚焦在后续级中定位的成像元件215和217中的任何一个上。因此,观察对象的患部的图像将由成像元件215和217捕获。成像光学系统211可以被配置为包括多个光学系统,例如,透镜。
分路光学系统213将入射光中的一部分波长带的光与其他波长带的光分离,并将每束分开的光聚焦在成像元件215和217之间的不同成像元件上。作为具体示例,分路光学系统213被配置为包括二向色滤光器等,并且通过透射一部分波长带的光并反射其他波长带的光来将入射光中的一部分波长带的光与其他波长带的光分离。例如,在图4所示的示例中,通过分路光学系统213透射的光被引导至成像元件215,而由分路光学系统213反射的光被引导至成像元件217。在下面的描述中,为了方便起见,假设属于可见光波长区域的光被引导至成像元件215,而具有比可见光更长波长的光(例如,属于近红外波长区域的光)(例如由ICG发射的红外光和荧光)被引导至成像元件217。然而,分路光学系统213的配置不必限于上述示例,只要入射光可以被分成多个光束。换言之,分路光学系统213的配置可以根据作为观察对象的光的波长和观察方法、成像单元203的配置等被认为适当地修改。
成像元件215是设置在分路光学系统213之后的级中的并且属于已经被分路光学系统213分离的可见光波长区域的光聚焦在其上的成像元件。作为成像元件215,例如,可以应用具有RGB滤色器的成像元件,例如,CCD或CMOS。
成像元件217是设置在分路光学系统213之后的级中的并且具有比由分路光学系统213分离的可见光更长波长的光(例如,属于近红外波长区域的光)聚焦在其上的成像元件。作为成像元件217,可以应用具有更高灵敏度的成像元件。作为具体的示例,可以应用未设置滤色器等的成像元件217,例如,CCD或CMOS。
振动传感器227是检测成像单元203的移动(例如,振动)的传感器。例如,振动传感器227可以包括加速度传感器或角速度传感器,并且检测成像单元203的壳体的移动(例如,作用在壳体上的加速度或角速度)。振动传感器227将成像单元203的移动的检测结果通知给传感器驱动器205。
振动传感器229是检测患者的预定部位M107的移动(换言之,患者的移动)的传感器。作为具体示例,当脑动脉瘤是观察对象时,振动传感器229安装在患者的头部等的一部分上,使得头部的移动可以被检测为部位M107的移动。振动传感器229将患者的预定部位M107的移动的检测结果通知给传感器驱动器205。
传感器驱动器205控制各种传感器的操作,并根据来自传感器的各种状态的检测结果获取信息。作为具体示例,传感器驱动器205控制振动传感器227的操作,并根据来自振动传感器229的成像单元203的移动(例如,振动)的检测结果获取信息。另外,作为另一示例,传感器驱动器205控制振动传感器227的操作,并根据来自振动传感器229的成像单元203的移动(例如,振动)的检测结果获取信息。传感器驱动器205可以基于控制单元201的控制来执行对各种传感器的操作的控制以及从传感器获取信息。此外,传感器驱动器205可以将从各种传感器获取的信息输出到控制单元201。
控制单元201可以根据观察对象和观察方法来控制诸如RGB激光器219和IR激光器223等各种光源的操作。此外,控制单元201可以控制与通过成像元件215和217中的至少任何一个捕获图像相关的操作。在这种情况下,控制单元201可以控制图像的成像条件(例如,快门速度、光圈和增益)。另外,控制单元201可以根据成像元件215和217中的至少任何一个的成像结果获取图像,并将该图像呈现给输出部209。此外,在这种情况下,控制单元201可以对获取的图像执行预定的图像处理。此外,控制单元201可以根据各种状态的检测结果来控制各个部分的操作。作为具体示例,控制单元201可以从传感器驱动器205根据通过振动传感器227检测的成像单元203的移动的检测结果来获取信息,并基于该信息执行所谓的相机抖动补偿。在这种情况下,控制单元201可以根据成像单元203的移动(换言之,模糊)通过从根据成像元件215和217的成像结果的图像中切出一部分来补偿成像单元203的模糊。另外,控制单元201可以根据经由输入部207输入的用户指令来执行上述各种处理。
应当注意,参考图4描述的示例仅仅是示例,并不一定限制根据本公开实施例的医学观察系统的配置。换言之,可以根据观察对象和观察方法认为适当地修改配置的一部分,而不偏离稍后将描述的根据本实施例的医学观察系统的基本概念。
这推断出了参考图4对根据本公开的实施例的医学观察系统的配置的示例的描述。
<3.2基本概念>
接下来,将描述根据本公开实施例的医学观察系统的技术特征的基本概念。
如前所述,在应用上述夹闭手术的情况下,血管等的患部(例如,动脉瘤)所表现出的移动(例如,振动)可能使得难以精确观察。考虑到这一点,根据本实施例的医学观察系统能够通过基于由成像单元(例如,内窥镜设备或显微镜设备)等捕获的图像来检测患部的移动,并使用检测结果来执行各种处理,从而实现更优选模式的观察。作为具体示例,可以通过根据患部(例如,动脉瘤)的移动来控制成像元件的成像条件(例如,快门速度),来生成使医生能够更容易做出准确确定的图像。另外,作为另一示例,在患部的移动很大的情况下,可以发出警告,以通知医生难以做出准确确定的情况。稍后将详细描述使用患部的移动的检测结果的处理的示例。
另外,根据本实施例的医学观察系统使用保持在患部附近的治疗工具(例如,夹子)的移动的检测结果来检测患部的移动。具体地,根据本实施例的医学观察系统通过从由成像单元等连续捕获的图像中提取治疗工具的特征部分来提取治疗工具(例如,夹子)的移动,并且基于治疗工具的移动的提取结果来检测患部的移动。
例如,图5是用于说明根据本实施例的医学观察系统的技术特征的基本概念的说明图,并且表示通过从连续捕获的图像中提取治疗工具的移动来检测患部的移动的情况的示例。在图5所示的示例中,通过以类似于参考图2描述的示例的方式将夹子M111应用到动脉瘤的颈部M105,防止流过血管M101的血液流入动脉瘤。在这种情况下,以类似于参考图3描述的示例的方式,血管M101由于脉动而振动,并且该振动变得明显,例如,作为动脉瘤的移动(顶部M103的移动)或施加到动脉瘤的夹子M111的移动。在这种情况下,当动脉瘤的顶部M103由于血管M101等的脉动而振动时,施加到动脉瘤的颈部M105的夹子M111也随着动脉瘤的振动而振动。考虑到这一点,根据本实施例的医学观察系统提取夹子M111的移动,并且使用夹子M111的移动的提取结果来检测动脉瘤的移动(例如,振动)。
作为具体示例,在图5所示的示例中,发光部M113设置在夹子M111的一部分中,并且根据本实施例的医学观察系统通过从连续捕获的图像中提取发光部M113来提取夹子M111的移动。此外,基于夹子M111的移动的提取结果,医学观察系统检测施加了夹子M111的动脉瘤的顶部M103(换言之,患部)的移动。由于这种配置,例如,即使当根据患部的观察环境或患部的观察方法难以直接观察患部时,也可以检测患部的移动,并且可以执行根据检测结果的处理。
应当注意,图5所示的示例仅仅是一个示例,并且只要能够提取治疗工具(例如,夹子M111)的移动,并且能够基于该移动的提取结果来检测患部的移动,其配置和方法不受特别限制。例如,作为对象的治疗工具的移动的提取不限于如上所述的提取发光体的方法,并且可以通过从连续捕获的图像中提取治疗工具中具有预定特征(例如,形状或颜色)的部分,来提取治疗工具的移动。作为具体示例,通过在治疗工具的至少一部分中提供不同于观察对象的颜色部分,可以提取捕获图像中的颜色部分,作为对应于治疗工具的部分。另外,作为另一示例,通过在治疗工具的至少一部分中设置具有特征形状的部分,可以提取在捕获的图像中已经从其提取形状的部分,作为对应于治疗工具的部分。
此外,将成为用于从图像中提取治疗工具的索引的部分(例如,上述发光体)可以被配置为可附接到治疗工具和可从治疗工具拆卸。采用这样的配置使得例如在完成治疗(例如,夹闭)之后,能够仅分离作为索引的部分。
此外,根据设想的观察环境或观察方法,用于提取治疗工具的移动的配置或方法可以被认为合适地修改。作为具体的示例,当设想使用由近红外光(例如,ICG)激发的荧光物质进行荧光观察时,可以使用治疗工具(例如,夹子),其中,其至少一部分由近红外光激发并发光的材料构成。另外,作为另一示例,可以使用其至少一部分涂覆有由近红外光激发并发光的涂料的治疗工具(例如,夹子)。因此,即使在难以获取明场图像的情况下,也可以从获取的图像中提取治疗工具的移动,并且基于提取的结果,可以检测治疗工具保持在其附近的患部的移动。
特别地,在医学领域,可以根据观察对象选择性地改变观察方法,并且也可以设想观察环境根据观察方法而改变的情况。因此,可以设想当观察观察对象的一部分(例如,血流)时,另一部分(例如,动脉瘤或夹闭的位置)的观察变得困难的情况,结果,抑制了准确的观察和诊断。即使在这种情况下,利用根据本公开的实施例的医学观察系统,被认为适当修改根据观察环境或观察方法的用于提取治疗工具的移动的配置或方法,使得在观察观察对象期间能够观察治疗工具保持在观察对象附近的另一部分。
这推断出了参考图5对根据本公开的实施例的医学观察系统的技术特征的基本概念的描述。
<3.3功能配置>
接下来,将特别关注控制医学观察系统的各种部件的操作的控制单元的功能配置的示例,来描述根据本公开的实施例的医学观察系统的功能配置的示例。例如,图6是示出根据本公开实施例的医学观察系统的功能配置的示例的框图。具体地,图6示出了根据本实施例的医学观察系统的配置,特别关注从连续捕获的图像中提取治疗工具的移动以检测治疗工具保持在其附近的患部的移动并且根据检测结果执行各种处理的部分。应当注意,在以下描述中,为了方便起见,图6所示的医学观察系统也被称为“医学观察系统3”。
如图6所示,医学观察系统3包括控制单元301、成像部303、检测部305和输出部307。例如,成像部303可以对应于图4所示的成像单元203(以及最终地,成像元件215和217)。另外,检测部305可以对应于图4所示的传感器驱动器205。此外,输出部307可以对应于图4所示的输出部209。因此,将省略成像部303、检测部305和输出部307的详细描述。
控制单元301可以对应于图4所示的控制单元201。如图6所示,控制单元301包括图像分析部309、振动检测部311、成像控制部313、图像处理部315和输出控制部317。
图像分析部309获取由成像部303连续捕获的图像,并且通过对图像执行图像分析,提取已经在图像中捕获的预定对象(例如,预定治疗工具,例如,夹子)。作为具体示例,图像分析部309可以计算所获取的图像的特征量,并且从图像中提取具有预定特征的部分,作为对应于目标对象的部分。不用说,上述示例仅仅是一个示例,并且只要能够从已经由成像部303连续捕获的图像中提取预定对象(预定治疗工具),其方法不受特别限制。在以下描述中,为了方便起见,由成像部303连续捕获的图像也可以简单地称为“捕获图像”。
另外,图像分析部309可以从捕获的图像中提取预定的患部(例如,作为观察对象的患部)。在这种情况下,图像分析部309可以从捕获的图像中提取具有作为对象的患部的特征的部分,作为对应于患部的部分。另外,图像分析部309将捕获图像和捕获图像的分析结果(换言之,图像中捕获的对象的提取结果)输出到振动检测部311。
振动检测部311从图像分析部309获取捕获图像和捕获图像的分析结果。基于捕获图像的分析结果,振动检测部311提取已经在捕获图像中捕获的预定对象的移动(例如,治疗工具的振动)。另外,基于预定对象的移动的提取结果,振动检测部311可以检测对象保持在其附近的患部的移动。作为具体示例,通过检测在夹闭手术中使用的夹子的移动,振动检测部311可以检测其颈部等被夹子夹闭的动脉瘤的移动。另外,在这种情况下,振动检测部311可以通过考虑施加夹子的位置、夹子的方向等来检测施加夹子的动脉瘤的移动。
另外,关于提取预定对象(例如,治疗工具)的移动并基于对象的移动的提取结果来检测患部的移动,振动检测部311可以使用检测部305的振动的检测结果(例如,成像部303的移动的检测结果或患者的部分的移动的检测结果)。作为具体示例,振动检测部311可以在使用检测部305对成像部303的移动的检测结果来校正归因于成像部303的移动的模糊(例如,相机抖动)之后,提取预定对象(例如,夹子)的移动。以类似的方式,振动检测部311可以在使用检测部305对预定对象(例如,夹子)的移动的检测结果来校正归因于患者的部分的移动的图像模糊之后,提取该预定对象的移动。
振动检测部311将获取的捕获图像输出到图像处理部315和输出控制部317中的至少任何一个。此外,例如,振动检测部311可以基于捕获图像的分析结果向成像控制部313、图像处理部315和输出控制部317中的至少任何一个输出与患部的移动的检测结果相关的信息。
成像控制部313控制成像部303的操作。作为具体示例,成像控制部313可以根据经由预定输入部(未示出)设置的各种条件(例如,快门速度、光圈和白平衡等成像条件)来控制成像部303捕获图像的操作。
另外,成像控制部313可以从振动检测部311获取与患部的移动的检测结果相关的信息,并基于该信息控制成像部303的操作。例如,成像控制部313可以根据检测到的患部的移动幅度来控制与成像部303的成像相关的成像条件,例如,快门速度、光圈和增益。作为具体示例,当检测到患部的移动时,成像控制部313可以控制快门速度,使得患部的移动幅度越大,通过打开光圈并增加捕获的光量的快门速度越高。另外,作为另一示例,当检测到患部的移动时,成像控制部313可以控制快门速度,以便在增加增益,以增强成像元件的灵敏度之后增加快门速度。
图像处理部315对捕获的图像执行各种图像处理。作为具体示例,图像处理部315可以校正捕获图像的亮度、对比度、色调等。此外,图像处理部315可以通过剪切和放大捕获图像的一部分(换言之,通过执行数字变焦处理)来生成患部的放大图像。此外,图像处理部315可以基于经由预定输入部(未示出)输入的指令,对捕获的图像执行图像处理。
此外,图像处理部315可以从振动检测部311获取与患部的移动的检测结果相关的信息,并且基于该信息对捕获的图像执行图像处理。作为具体示例,基于患部的移动的检测结果,图像处理部315可以生成通过校正在捕获图像中变得明显的患部的模糊(例如,对象模糊)而获得的图像(换言之,已经抑制患部的模糊的图像)。
如上所述,图像处理部315对捕获图像执行图像处理,并将图像处理后的捕获图像输出到输出控制部317。
输出控制部317通过向输出部307输出信息来呈现各种信息。例如,输出控制部317可以获取捕获的图像并将捕获的图像输出到输出部307。此外,输出控制部317可以从图像处理部315获取已经受到图像处理的捕获图像(在下文中,也称为“图像处理后的图像”),并将图像处理后的图像输出到输出部307。此外,作为另一示例,输出控制部317可以通过将信息叠加在图像上来呈现指示感兴趣的流动区域的显示信息、通知信息(例如,消息或警告)等。
另外,输出控制部317可以生成呈现多种类型信息的画面(换言之,图像),并且通过将画面输出到输出部307来呈现多种类型的信息。作为具体示例,输出控制部317可以生成呈现捕获图像和图像处理后的图像的画面,并将该画面输出到输出部307。在这种情况下,输出控制部317可以生成画面,在该画面上并排呈现捕获图像和图像处理后的图像。作为另一示例,输出控制部317可以生成所谓的PIP(画中画)图像,其中,捕获图像和图像处理后的图像中的一个叠加在另一图像的一部分上。以这种方式,输出控制部317可以通过将图像彼此关联来呈现捕获图像和图像处理之后的图像,并且在这种情况下,图像的呈现模式(换言之,将图像彼此关联的方法)不受特别限制。
另外,输出控制部317可以从振动检测部311获取与患部的移动的检测结果相关的信息,并且基于该信息控制将各种信息输出到输出部307。作为具体示例,当检测到患部的移动时,当患部的移动幅度等于或大于阈值时,输出控制部317可以在输出部307上显示警告。此外,输出控制部317可以根据患部的移动幅度,在要在输出部307上显示的信息(例如,警告或消息等通知信息)之间选择性地切换。
上述功能配置仅仅是一个示例,医学观察系统的功能配置不必限于图6所示的示例,只要能够实现上述各个部件的操作。作为具体示例,成像部303、检测部305和输出部307中的至少任何一个可以与控制单元301整体配置。作为另一示例,控制单元301的一部分功能可以设置在控制单元301的外部。此外,控制单元301的至少一部分功能可以通过多个设备的协同操作来实现。此外,可以修改根据本实施例的医学观察系统的配置的一部分,或者可以单独添加其他部件,而不偏离前面描述的医学观察系统的技术特征的基本概念。
应当注意,包括对应于图6所示的控制单元301的部件的设备对应于“医学观察设备”的示例。此外,振动检测部311对应于检测患部的移动的“检测部”的示例。此外,作为成像控制部313、图像处理部315和输出控制部317,根据患部的移动的检测结果来执行或控制各种处理(特别是与患部的观察相关的处理)的部件对应于“控制部”的示例。
参考图6,这推断出了根据本公开的实施例的医学观察系统的功能配置的示例的描述,特别关注控制医学观察系统的各种部件的操作的控制单元的功能配置的示例。
<3.4处理>
接下来,将描述根据本公开的实施例的医学观察系统的一系列处理的流程的示例,特别关注图6所示的控制单元301检测患部的移动并基于检测结果控制各种操作的处理的流程。例如,图7是示出根据本公开实施例的医学观察系统的一系列处理的流程的示例的流程图。
首先,控制单元301(图像分析部309)获取已经由成像部303连续捕获的患部的图像(换言之,捕获的图像)(S101),并且通过对图像执行图像分析,识别已经在图像中捕获的预定治疗工具(例如,夹子)(S103)。换言之,基于对捕获的图像执行的图像分析,控制单元301从捕获的图像中提取预定的治疗工具。
接下来,控制单元301(振动检测部311)通过基于来自捕获图像的治疗工具的提取结果提取预定治疗工具的移动,来检测治疗工具保持在其附近的患部的移动(例如,振动)(S105)。
控制单元301根据患部的移动(振动等)的检测结果来控制与患部的观察相关的各种处理(S107)。例如,控制单元301(成像控制部313)可以根据患部的移动的检测结果来控制与成像部303对患部进行成像相关的操作。此外,作为另一示例,控制单元301(图像处理部315)可以基于对患部的移动的检测结果,对捕获的图像执行预定的图像处理。此外,作为另一示例,控制单元301(输出控制部317)可以根据患部的移动的检测结果经由输出部307呈现各种信息。
如上所述,除非发出结束一系列处理的指令(S109中的否),否则控制单元301连续执行由附图标记S101至S107表示的处理。此外,一旦发出结束一系列处理的指令(S109中的是),控制单元301结束由附图标记S101至S107表示的处理的执行。
参考图7,这推断出了根据本公开的实施例的医学观察系统的一系列处理的流程的示例的描述,特别关注图6中所示的控制单元301检测患部的移动并基于检测结果控制各种操作的处理的流程。
<3.5示例>
接下来,作为示例,将描述根据本公开实施例的医学观察系统基于患部的移动的检测结果来控制与患部的观察相关的处理的示例。
(示例1:图像处理示例)
首先,作为示例1,将描述基于患部的移动的检测结果对捕获图像执行图像处理的示例。例如,图8是用于说明根据示例1的控制的示例的说明图,并且表示基于患部的移动的检测结果对捕获图像执行图像处理的示例。具体地,图8表示当假设与在未破裂脑动脉瘤的夹闭手术中一样,通过应用夹子来执行对患部的观察的情况时,对患部(动脉瘤)的捕获图像执行图像处理的情况的示例。
如前所述,伴随脉动的血管等的患部(例如,动脉瘤)所表现出的移动(例如,振动)可能使得难以进行精确观察。因此,例如,通过使用患部的移动的检测结果来校正图像中患部的移动(例如,对象模糊),并且生成已经抑制患部的模糊的图像(并且最终地,患部的呈现位置在图像中固定的图像),可以预期使患部更精确地可观察的效果。在这种情况下,例如,通过基于患部的移动的检测结果来控制将从捕获图像中切出包括患部的捕获图像的一部分的位置,以便消除患部的移动,可以生成已经消除患部的模糊的图像。
此外,当对捕获的图像执行图像处理时,图像处理之前的图像和图像处理之后的图像可以彼此关联地呈现。例如,图8所示的示例示出了画面V101,在该画面上并排示出了通过图像处理抑制(校正)图像中患部的模糊而创建的校正图像V105和在执行图像处理之前的捕获图像V103(换言之,所谓的实时图像)。以这种方式,通过呈现通过抑制图像中患部的模糊而创建的校正图像V105,可以更精确地观察患部的细微移动、变化等。要呈现为屏幕V101的图像可以选择性地切换到另一图像。例如,如图8所示,可以选择性地切换呈现捕获图像V103和校正图像V105两者的画面和仅呈现捕获图像V103和校正图像V105中的一个的画面。此外,作为另一示例,捕获图像V103和校正图像V105中的一个叠加在另一图像的一部分上的所谓的PIP图像可以被呈现为画面V101。
(示例2:信息呈现示例)
接下来,作为示例2,将描述根据患部的移动的检测结果呈现各种信息的示例。
例如,在患部的振动大的情况下,即使对患部进行观察、测量等,也可以假设难以获得准确的结果。因此,当假设这种情况并且患部的移动很大时(例如,当患部的移动幅度等于或大于阈值时),可以通过呈现警告来提示抑制对患部执行观察或测量。
例如,图9是用于说明根据示例2的控制的示例的说明图,并且表示根据患部的移动的检测结果呈现信息的示例。具体地,在图9所示的示例中,患部(动脉瘤)的移动幅度等于或大于阈值,并且提示抑制执行测量的警告作为显示信息V113呈现在呈现捕获图像的画面V111上。
此外,作为另一示例,可以根据患部的移动幅度来控制与信息呈现相关的操作。例如,图10是用于说明根据示例2的控制的另一示例的说明图,并且表示根据患部的移动的检测结果呈现信息的另一示例。在图10所示的示例中,当患部的移动小时(例如,当患部的移动幅度小于阈值时),呈现与正在执行的手术相关的信息(例如,用于支持操作者的手术的信息)。具体地,基于图像分析等来测量患部(动脉瘤)的尺寸(例如,由附图标记V125表示的动脉瘤的顶部的尺寸),并且该尺寸的测量结果作为显示信息V115呈现在呈现捕获图像的画面V121上。应当注意,可以基于例如关于从捕获图像提取的患部的捕获图像中的尺寸或捕获图像的成像条件(例如,焦距)的信息来计算患部的尺寸。
(示例3:与成像相关的操作控制的示例)
接下来,作为示例3,将描述基于患部的移动的检测结果来控制与成像部的成像相关的操作的示例。
具体而言,在作为观察对象的患部表现出移动(例如,振动)的情况下,存在可能发生所谓的对象模糊的可能性。例如,随着曝光时间的增加(换言之,随着快门速度的降低),这种对象模糊变得更加明显。因此,例如,通过控制曝光时间,使得患部的移动幅度越大,曝光时间越短(换言之,快门速度越高),可以进一步减少对象模糊的影响。另一方面,随着曝光时间变短,光量趋于减少。因此,例如,当曝光时间已经缩短时,可以通过例如打开光圈来进一步增加捕获的光量。另外,作为另一示例,当曝光时间已经缩短时,可以通过增加增益(换言之,提高成像灵敏度)来内插伴随捕获光量下降的捕获图像的亮度下降。
例如,图11是用于说明根据示例3的控制的示例的说明图,并且表示根据患部的移动的检测结果控制与成像部的成像相关的操作的示例。在图11所示的示例中,横坐标表示患部的振动幅度(换言之,患部的移动幅度)。另外,在图11所示的示例中,示出了患部的振动幅度与快门速度和光量中的每一个之间的关系的示例。换言之,在图11所示的示例中,表示患部的振动幅度和快门速度之间的关系的曲线图的纵坐标表示快门速度的幅度。此外,表示患部的振动幅度和光量(换言之,光圈打开的量)之间的关系的曲线图的纵坐标表示光量的幅度。
换言之,在图11所示的示例中,如前所述,执行控制,使得患部的振动越大,快门速度越高,光量越大(换言之,光圈打开越大)。另外,作为另一示例,可以控制应用于成像结果的增益(换言之,成像灵敏度),而不是捕获光量的大小。在这种情况下,可以应用用于增加增益的控制,来代替用于增加光量的控制。换言之,可以执行控制,使得患部的振动越大,快门速度越高,增益越大(换言之,成像灵敏度越高)。此外,可以执行捕获光量的控制和增益的控制两者。此外,可以控制来自光源的照射光的量,以便在保持光圈和增益恒定的同时增加。由于上述控制,由于根据患部的移动幅度来控制与成像部对患部进行成像相关的条件,因此可以进一步抑制患部的振动使得对患部的观察变得困难的情况的发生。
<<4.硬件配置的示例>>
接下来,参考图12,将详细描述在根据本实施例的医学观察系统中执行各种处理的信息处理设备(例如,图4所示的控制单元201或者图5所示的控制单元310)的硬件配置的示例。图12是示出构成根据本公开实施例的医学观察系统的信息处理设备的硬件配置的配置示例的功能框图。
构成根据本实施例的医学观察系统的信息处理设备900主要包括CPU 901、ROM(只读存储器)903和RAM(随机存取存储器)905。此外,信息处理设备900还包括主机总线907、桥接器909、外部总线911、接口913、输入设备915、输出设备917、存储设备919、驱动器921、连接端口923和通信设备925。
CPU 901用作算术处理设备和控制设备,并且根据记录在ROM 903、RAM 905、存储设备919或可移动记录介质927中的各种程序,控制信息处理设备900内部的所有操作或其一部分。ROM 903存储由CPU 901使用的程序、算术参数等。RAM 905主要存储由CPU 901使用的程序、当程序被执行时不时改变的参数等。CPU 901、ROM 903和RAM 905通过主机总线907相互连接,主机总线907由诸如CPU总线等内部总线构成。应当注意,图6所示的控制单元301的各个部件或者换言之图像分析部309、振动检测部311、成像控制部313、图像处理部315和输出控制部317可以由CPU 901实现。
主机总线907经由桥接器909连接到外部总线911,外部总线911是PCI(外围部件互连/接口)总线等。另外,输入设备915、输出设备917、存储设备919、驱动器921、连接端口923和通信设备925经由接口913连接到外部总线911。
输入设备915是由用户操作的操作装置,其示例包括鼠标、键盘、触摸板、按钮、开关、杠杆和踏板。此外,输入设备915可以是利用红外光或其他无线电波的遥控装置(所谓的遥控器),或者是适应信息处理装置900的操作的外部连接装置929,例如,移动电话或PDA。此外,例如,输入设备915由输入控制电路等构成,该输入控制电路基于用户使用上述操作装置输入的信息生成输入信号,并将生成的输入信号输出到CPU901。通过操作输入设备915,信息处理设备900的用户可以输入各种类型的数据,并发布指令,以执行关于信息处理设备900的处理操作。
输出设备917由能够视觉或听觉地向用户通知所获取的信息的设备构成。这种设备的示例包括:显示设备,例如,液晶显示设备、有机EL(电致发光)显示设备、CRT(阴极射线管)显示设备、等离子显示设备和灯;音频输出设备,例如,扬声器和耳机;以及打印机设备。例如,输出设备917输出通过信息处理设备900执行的各种处理获得的结果。具体地,显示设备以文本或图像的形式输出通过信息处理设备900执行的各种处理获得的结果。另一方面,音频输出设备将由再现的语音数据、声音数据等构成的音频信号转换成模拟信号,并输出转换后的模拟信号。图6所示的输出部307可以由输出设备917实现。
存储设备919是已经被配置为信息处理设备900的存储部分的示例的用于数据存储的设备。例如,存储设备919由诸如HDD(硬盘驱动器)、半导体存储装置、光存储装置、磁光存储装置等磁存储部分装置构成。存储设备919存储要由CPU 901执行的程序、各种数据等。
驱动器921是记录介质读取器/写入器,并且内置或外部附接到信息处理设备900。驱动器921读取记录在可移动记录介质927中的信息,可移动记录介质927是安装到驱动器921的磁盘、光盘、磁光盘、半导体存储器等,并将读取的信息输出到RAM 905。此外,驱动器921还可以将记录写入可移动记录介质927,可移动记录介质927是安装到驱动器921的磁盘、光盘、磁光盘、半导体存储器等。例如,可移动记录介质927是DVD介质、HD-DVD介质、蓝光(注册商标)介质等。另外,可移动记录介质927可以是紧凑型闪存(注册商标)(CF:CompactFlash(注册商标))、闪存、SD存储卡(安全数字存储卡)等。此外,可移动记录介质927可以是例如安装有非接触式IC芯片的IC卡(集成电路卡)、电子装置等。
连接端口923是用于直接连接到信息处理设备900的端口。连接端口923的示例包括USB(通用串行总线)端口、IEEE 1394端口和SCSI(小型计算机系统接口)端口。连接端口923的其他示例包括RS-232C端口、光学音频终端和HDMI(注册商标)(高清多媒体接口)端口。通过将外部连接装置929连接到连接端口923,信息处理设备900可以直接从外部连接装置929获取各种数据,以及向外部连接装置929提供各种数据。
通信设备925例如是由用于连接到通信网络(网络)931的通信装置等构成的通信接口。例如,通信设备925是用于有线或无线LAN(局域网)、蓝牙(注册商标)或WUSB(无线USB)的通信卡。另外,通信设备925可以是用于光通信的路由器、用于ADSL(不对称数字用户线路)的路由器、或者用于各种通信的调制解调器等。例如,通信设备925能够向互联网或另一通信装置发送和从互联网或另一通信装置接收符合预定协议的信号等。另外,要连接到通信设备925的通信网络931由以有线或无线方式连接的网络等构成,并且可以由例如互联网、家庭局域网、红外通信、无线电波通信或卫星通信构成。
这推断出了对能够实现构成根据本公开实施例的医学观察系统的信息处理设备900的功能的硬件配置的示例的描述。上述各个部件可以使用通用构件来构造,或者由专用于各个部件的功能的硬件来构成。因此,根据实施本实施例时的技术水平,可以认为适当修改要使用的硬件配置。尽管在图12中没有示出,显然包括了与构成医学观察系统的信息处理设备900相对应的各种部件。
可以在个人计算机等上制造并安装用于实现构成如上所述的根据本实施例的医学观察系统的信息处理设备900的各种功能的计算机程序。此外,还可以提供存储这种计算机程序的计算机可读记录介质。记录介质例如是磁盘、光盘、磁光盘或闪存。此外,上述计算机程序可以经由网络等分发,而不使用记录介质。此外,执行计算机程序的计算机数量没有特别限制。例如,多个计算机(例如,多个服务器)可以通过彼此协作来执行计算机程序。
<<5.应用>>
接下来,作为根据本公开的实施例的医学观察系统的应用,将参考图13和14描述医学观察系统被配置为包括显微镜单元的内窥镜手术系统的示例。
图13和14是用于说明根据本公开的实施例的医学观察系统的应用的说明图,并且表示内窥镜手术系统的示意性配置的示例。
例如,图13是示出可以应用根据本公开的技术的内窥镜手术系统的示意性配置的示例的示图。图13示出了操作者(医生)167正在使用内窥镜手术系统100对病床169上的患者171进行手术的情况。如图所示,内窥镜手术系统100由内窥镜101、其他手术工具117、用于支撑内窥镜101的支撑臂设备127和安装有用于内窥镜手术的各种设备的推车137构成。
在内窥镜手术中,不是通过在腹壁中进行切口来进行剖腹手术,而是多个被称为套管针125a至125d的圆柱形开孔器械穿过腹壁。此外,内窥镜101的透镜管103和其他手术工具117通过套管针125a至125d插入患者171的体腔。在图示的示例中,气腹管119、通电治疗工具(energized treatment tool)121和镊子123被插入患者171的体腔中,作为其他手术工具117。此外,通电治疗工具121是使用高频电流或超声波振动来执行组织解剖和切除、血管密封等的治疗工具。然而,图示的手术工具117仅仅是示例,并且通常在内窥镜手术中使用的各种手术工具(例如,镊子和牵开器)可以用作手术工具117。
在显示设备141上显示由内窥镜101拍摄的患者171体腔内的手术部位的图像。例如,操作者167在实时观看在显示设备141上显示的手术部位的图像的同时,使用通电治疗工具121或镊子123执行治疗,例如,切除患部。尽管未示出,但是在手术期间由操作者167、助手等支撑气腹管119、通电治疗工具121和镊子123。
(支撑臂设备)
支撑臂设备127包括从基部129延伸的臂部131。在图示的示例中,臂部131由关节部133a、133b和133c以及连杆135a和135b构成,并且在臂控制设备145的控制下被驱动。臂部131支撑内窥镜101并控制其位置和姿态。因此,能够实现内窥镜101的位置的稳定固定。
(内窥镜)
内窥镜101由透镜管103和连接到透镜管103的基端的摄像头105构成,透镜管103的距末端预定长度的区域将被插入到患者171的体腔中。虽然图示的示例表示内窥镜101被配置为具有刚性透镜管103的所谓刚性镜,但是替代地,内窥镜101可以被配置为具有柔性镜筒103的所谓柔性镜。应当注意,摄像头105或包括摄像头105的内窥镜101对应于“医学观察设备”的示例。
在透镜管103的末端设置有装配有物镜的开口。光源设备143连接到内窥镜101,并且由光源设备143产生的光通过光导被引导至透镜管103的末端,该光导被设置为在透镜管103内部延伸,并且经由物镜朝向患者171的体腔内的观察对象(换言之,成像对象)照射。应当注意,内窥镜101可以是前视内窥镜、倾斜内窥镜或侧视内窥镜。
光学系统和成像元件设置在摄像头105内部,并且来自观察目标的反射光(观察光)由光学系统收集在成像元件上。观察光由成像元件进行光电转换,并且产生对应于观察光的电信号,或者换言之,产生对应于观察图像的图像信号。图像信号作为RAW数据被传输到相机控制单元(CCU)139。摄像头105安装有通过适当驱动其光学系统来调节放大率和焦距的功能。
例如,摄像头105可以设置有多个成像元件,以便适应立体观看(3D显示)等。在这种情况下,多个中继光学系统设置在透镜管103内部,以便将观察光引导至多个成像元件中的每一个。
(推车上安装的各种设备)
CCU 139由CPU(中央处理单元)、GPU(图形处理单元)等构成,并且综合控制内窥镜101和显示设备141的操作。具体地,关于从摄像头105接收的图像信号,CCU 139基于图像信号执行用于显示图像的各种图像处理,例如,显影处理(去马赛克)。CCU 139向显示设备141提供已经经过图像处理的图像信号。此外,CCU 139向摄像头105发送控制信号,以控制摄像头105的驱动。控制信号可以包括与成像条件相关的信息,例如,放大率和焦距。
在CCU 139的控制下,显示设备141基于已经由CCU 139进行了图像处理的图像信号来显示图像。例如,当内窥镜101适应诸如4K(3840水平像素×2160垂直像素)或8K(7680水平像素×4320垂直像素)等高分辨率摄影和/或适应3D显示时,能够高分辨率显示的相应显示设备和/或能够3D显示的相应显示设备可以用作显示设备141。当内窥镜101适应诸如4K或8K等高分辨率摄影时,通过使用具有55英寸或更大尺寸的显示设备作为显示设备141,可以获得进一步的沉浸感。此外,根据预期用途,可以提供具有不同分辨率和尺寸的多个显示设备141。
例如,光源设备143由诸如LED(发光二极管)等光源构成,并且在拍摄手术部位时向内窥镜101提供照射光。
例如,臂控制设备145由诸如CPU等处理器构成,并且通过根据预定程序操作,根据预定控制系统控制支撑臂设备127的臂部131的驱动。
输入设备147是相对于内窥镜手术系统100的输入接口。用户可以经由输入设备147向内窥镜手术系统100输入各种信息和各种指令。例如,经由输入设备147,用户输入与手术相关的各种信息,例如,患者的身体信息和关于手术操作方法的信息。另外,例如,经由输入设备147,用户输入驱动臂部131的指令、改变内窥镜101的成像条件(照射光的类型、放大率、焦距等)的指令、驱动通电治疗工具121的指令等。
输入设备147的类型不受限制,并且输入设备147可以是各种已知的输入设备。作为输入设备147,例如,可以应用鼠标、键盘、触摸板、开关、脚踏开关157和/或杠杆等。当触摸面板用作输入设备147时,触摸面板可以设置在显示设备141的显示表面上。
可选地,输入设备147可以是内置在由用户佩戴的装置(例如,眼镜型可佩戴装置或HMD(头戴式显示器))中的传感器,并且在这种情况下,根据由传感器检测到的用户的移动或视线来执行各种输入。此外,输入设备147包括能够检测用户移动的相机,并且根据从相机拍摄的视频中检测到的用户的手势或视线来执行各种输入。此外,输入设备147包括能够拾取用户声音的麦克风,并且通过经由麦克风的声音来执行各种输入。以这种方式,通过配置输入设备147,使得可以以非接触方式输入各种信息,特别地,属于干净区域的用户(例如,操作者167)现在可以以非接触方式操作属于不干净区域的装置。此外,由于用户可以操作装置,而不放开由用户握持的手术工具,因此提高了用户的便利性。
治疗工具控制设备149控制通电治疗工具121的驱动,用于烧灼或切割组织、密封血管等。气腹设备151经由气腹管119将气体供给到患者171的体腔中,以便为了确保内窥镜101的视野和确保操作者的工作空间,而扩大体腔。记录器153是能够记录与手术相关的各种信息的设备。打印机155是能够以诸如文本、图像和图形等各种格式打印与手术相关的各种信息的设备。
在下文中,将更详细地描述内窥镜手术系统100的具体特征部件。
(支撑臂设备)
支撑臂设备127包括构成基底的基部129和从基部129延伸的臂部131。尽管臂部131在图示的示例中由多个关节部133a、133b和133c以及由关节部133b连接的多个连杆135a和135b构成,但是,为了简单起见,图13以简化的方式示出了臂部131的构造。实际上,为了给臂部131提供期望的自由度,可以适当地设定关节部133a至133c以及连杆135a和135b的形状、数量和设置、关节部133a至133c的旋转轴方向等。例如,臂部131可以优选地被配置为具有六个自由度或更多自由度中的一个自由度。因此,由于内窥镜101可以在臂部131的可移动范围内自由移动,所以内窥镜101的透镜管103可以从期望的方向插入到患者171的体腔中。
关节部133a至133c设置有致动器,并且关节部133a至133c被配置为通过致动器的驱动可绕预定旋转轴旋转。由于致动器的驱动由臂控制设备145控制,所以控制每个关节部133a至133c的旋转角度,并且控制臂部131的驱动。因此,可以实现内窥镜101的位置和姿态的控制。这样,臂控制设备145能够通过各种已知的控制系统,例如,功率控制和位置控制,来控制臂部131的驱动。
例如,通过使操作者167经由输入设备147(包括脚踏开关157)执行适当的操作输入,臂控制设备145可以根据操作输入适当地控制臂部131的驱动,并且可以控制内窥镜101的位置和姿势。由于该控制,在将臂部131的末端处的内窥镜101从任意位置移动到另一任意位置之后,内窥镜101能够以固定的方式被支撑在移动之后的位置。应当注意,臂部131可以由所谓的主从系统操作。在这种情况下,臂部131可以由用户经由安装在与手术室分离的位置的输入设备147远程操作。
另外,当施加功率控制时,臂控制设备145可以执行所谓的功率辅助控制,其中,在接收到来自用户的外力时,控制各个关节部133a至133c的致动器,使得臂部131沿着外力平滑地移动。因此,当用户在直接触摸臂部131的同时移动臂部131时,臂部131能够以相对较小的力移动。因此,由于能够以更简单的操作更直观地移动内窥镜101,所以能够提高用户的便利性。
通常,在内窥镜手术中,内窥镜101由被称为窥镜操作者的医生支撑。相反,由于支撑臂设备127的使用使得内窥镜101的位置能够更可靠地固定,而无需人工干预,所以可以以稳定的方式获得手术部位的图像,并且可以平稳地进行手术。
臂控制设备145不必一定要设置在推车137上。此外,臂控制设备145不必是单个设备。例如,臂控制设备145可以分别设置在支撑臂设备127的臂部131的每个关节部133a至133c上,并且可以通过使多个臂控制设备145彼此协作来实现臂部131的驱动控制。
(光源设备)
当拍摄手术部位时,光源设备143向内窥镜101提供照射光。例如,光源设备143由作为LED的白光源、激光光源或其组合构成。在这种情况下,当白色光源由RGB激光光源的组合构成时,由于可以高精度地控制每种颜色(每种波长)的输出强度和输出时间,所以可以通过光源设备143来调节捕获图像的白平衡。另外,在这种情况下,通过分时的方式用来自每个RGB激光源的激光照射观察目标,并且与照射时间同步地控制摄像头105的成像元件的驱动,可以通过分时的方式捕获对应于每个RGB的图像。根据该方法,可以在不为成像元件提供滤色器的情况下获得彩色图像。
另外,可以控制光源设备143的驱动,使得输出光的强度以预定的时间间隔变化。通过与光强度变化的时间同步地控制摄像头105的成像元件的驱动,以通过以分时的方式获取图像,并且通过合成图像,可以生成具有高动态范围且没有所谓的遮挡阴影或突出加亮的图像。
此外,光源设备143可以被配置为能够提供对应于特殊光观察的预定波长带的光。在特殊光观察中,例如,通过在正常观察期间利用身体组织的光吸收的波长依赖性来以比照射光(换言之,白光)更窄的带照射光,进行所谓的窄带光观察(窄带成像),其中,以高对比度拍摄预定组织,例如,粘膜表层中的毛细血管。可选地,在特殊光观察中,可以进行荧光观察,其中,通过照射激发光产生的荧光获得图像。在荧光观察中,可以用激发光照射身体组织,并且可以观察来自身体组织的荧光(自荧光观察),可以将诸如吲哚菁绿(ICG)等试剂局部注射到身体组织中,并且可以用对应于试剂的荧光波长的激发光照射身体组织,以获得荧光图像等。光源设备143可以被配置为能够提供适应这种特殊光观察的窄带光和/或激发光。
(摄像头和CCU)
将参考图14更详细地描述内窥镜101的摄像头105和CCU 139的功能。图14是示出图13所示的摄像头105和CCU 139的功能配置的示例的框图。
参考图14,摄像头(camera head,照相机头部)105具有镜头单元107、成像部109、驱动部111、通信部113和摄像头控制部115,作为其功能。另外,CCU 139具有通信部159、图像处理部161和控制部163,作为其功能。摄像头105和CCU 139通过传输电缆165连接,从而能够双向通信。
首先,将描述摄像头105的功能配置。透镜单元107是设置在与透镜管103连接的连接部分中的光学系统。从透镜管103的末端获取的观察光被引导至摄像头105并输入到镜头单元107。通过组合包括变焦透镜和聚焦透镜的多个透镜来构造透镜单元107。调节透镜单元107的光学特性,使得观察光会聚在成像部109的成像元件的光接收表面上。此外,变焦透镜和聚焦透镜被配置为使得其光轴上的位置是可移动的,以便调整捕获图像的放大率和焦点。
成像部109由成像元件构成,并且设置在透镜单元107的后级中。已经穿过透镜单元107的观察光会聚在成像元件的光接收表面上,并且通过光电转换产生对应于观察图像的图像信号。由成像部109生成的图像信号被提供给通信部113。
作为构成成像部109的成像元件,例如,当使用能够执行具有拜耳阵列的彩色摄影的CMOS(互补金属氧化物半导体)型图像传感器或CCD(电荷耦合器件)型图像传感器时,也可以使用用于黑白摄影的单板成像元件。可以使用用于黑白摄影的多个图像传感器。作为成像元件,例如,可以使用能够适应4K或更高分辨率图像的拍摄的成像元件。以高分辨率获得手术部位的图像,使得操作者167能够更详细地评估手术部位的情况,并且使得手术能够更顺利地进行。
另外,构成成像部109的成像元件可以被配置为具有用于分别获取对应于3D显示的右眼和左眼图像信号的一对成像元件。执行3D显示,使得操作者167能够更准确地评估手术部位中身体组织的深度。当成像部109由多板成像元件构成时,透镜单元107也对应于各个成像元件设置成多个。
此外,成像部109不必一定设置在摄像头105中。例如,成像部109可以设置在透镜管103内的物镜的正后方。
驱动部111由致动器构成,并且在摄像头控制部115的控制下,沿着光轴将镜头单元107的变焦镜头和聚焦镜头移动预定距离。因此,可以适当地调整成像部109捕获的图像的放大率和焦点。
通信部113由用于向CCU 139发送和从CCU 139接收各种信息的通信设备构成。通信部113经由传输电缆165将从成像部109获得的图像信号作为RAW数据传输到CCU 139。这样,为了以尽可能小的延迟显示手术部位的捕获图像,通过光通信有利地传输图像信号。这是因为,在手术期间,由于操作者167在通过捕获的图像观察患部的状态的同时执行手术,所以需要尽可能实时地显示手术部位的移动图像,以确保以安全可靠的方式执行手术。当执行光通信时,通信部113设置有将电信号转换成光信号的光电转换模块。在图像信号被光电转换模块转换成光信号之后,转换后的信号通过传输电缆165传输到CCU 139。
此外,通信部113从CCU 139接收用于控制摄像头105的驱动的控制信号。例如,控制信号包括与成像条件相关的信息,例如,指定捕获图像的帧速率的影响的信息、指定拍摄期间的成像条件(快门速度、光圈、增益等)的影响的信息、和/或指定捕获图像的放大率和焦点的影响的信息。通信部113向摄像头控制部115提供接收到的控制信号。也可以通过光通信传输来自CCU 139的控制信号。在这种情况下,通信部113设置有将光信号转换成电信号的光电转换模块,并且在控制信号被光电转换模块转换成电信号之后,摄像头控制部115被提供有转换后的信号。
应当注意,由CCU 139的控制部163基于获取的图像信号自动设置上述成像条件,例如,帧速率、曝光值、放大率和焦点。换言之,由CCU139和内窥镜101实现所谓的AE(自动曝光)功能、AF(自动聚焦)功能和AWB(自动白平衡)功能。
基于经由通信部113从CCU 139接收的控制信号,摄像头控制部115控制摄像头105的驱动。例如,摄像头控制部115基于指定捕获图像的帧速率的影响的信息和/或指定成像期间的快门速度和光圈的影响的信息,来控制成像部109的成像元件的驱动。此外,例如,摄像头控制部115基于指定捕获图像的放大率和焦点的信息,经由驱动部111适当地移动镜头单元107的变焦镜头和聚焦镜头。摄像头控制部115可以进一步配备有存储用于识别透镜管103和摄像头105的信息的功能。
应当注意,通过将诸如透镜单元107和成像部109等部件设置在具有高气密性和高防水性的密封结构中,可以赋予摄像头105提供对高压灭菌处理的抵抗力。
接下来,将描述CCU 139的功能配置。通信部159由用于向摄像头105发送和从摄像头105接收各种信息的通信设备构成。通信部159接收经由传输电缆165从摄像头105传输的图像信号。这样,如上所述,可以优选地通过光通信来传输图像信号。在这种情况下,为了适应光通信,通信部159设置有将光信号转换成电信号的光电转换模块。通信部159向图像处理部161提供已经被转换成电信号的图像信号。
另外,通信部159向摄像头105传输用于控制摄像头105的驱动的控制信号。也可以通过光通信传输控制信号。
图像处理部161对从摄像头105传输的作为RAW数据的图像信号执行各种图像处理。图像处理的示例包括各种已知类型的信号处理,例如,显影处理、图像质量增强处理(带强调处理、超分辨率处理、NR(降噪)处理和/或相机抖动校正处理)和/或放大处理(电子变焦处理)。另外,图像处理部161针对用于执行AE、AF和AWB的图像信号执行检测处理。
图像处理部161由诸如CPU或GPU等处理器构成,并且当处理器根据预定程序操作时,可以执行上述图像处理和检测处理。当图像处理部161由多个GPU构成时,图像处理部161适当地划分与图像信号相关的信息,并使用多个GPU并行执行图像处理。
控制部163执行与内窥镜101对手术部位的成像及其捕获图像的显示相关的各种控制。例如,控制部163产生用于控制摄像头105的驱动的控制信号。这样,当用户已经输入成像条件时,控制部163基于用户的输入生成控制信号。可选地,当内窥镜101配备有AE功能、AF功能和AWB功能时,控制部163根据图像处理部161的检测处理的结果适当地计算最佳曝光条件、最佳焦距和最佳白平衡,并生成控制信号。
另外,基于已经由图像处理部161进行了图像处理的图像信号,控制部163使得显示设备141显示手术部位的图像。这样,控制部163使用各种图像识别技术识别手术部位图像内的各种对象。例如,通过检测手术部位图像中包括的对象的边缘的形状、颜色等,当使用通电治疗工具121时,控制部163可以识别手术工具(例如,镊子)、特定生物部位、出血和薄雾等。当使显示设备141显示手术部位图像时,使用其识别结果,控制部163促使显示各种手术支持信息,以叠加在手术部位图像上。叠加和显示手术支持信息并将其呈现给操作者167,使得操作者167能够以安全和可靠的方式执行手术。
连接摄像头105和CCU 139的传输电缆165是适应电信号通信的电信号电缆、适应光通信的光纤或其复合电缆。
虽然在图示的示例中使用传输电缆165以有线方式执行通信,但是可替换地,可以以无线方式执行摄像头105和CCU 139之间的通信。当以无线方式执行摄像头105和CCU 139之间的通信时,由于不再需要在手术室中铺设传输电缆165,因此可以消除传输电缆165阻碍手术室中医务人员的移动的情况。
这推断出了根据本公开的技术可以应用到的内窥镜手术系统100的示例的描述。虽然内窥镜手术系统100已经被描述为示例,但是根据本公开的技术可以应用的系统不限于该示例。例如,根据本公开的技术可以应用于检查软内窥镜系统和显微手术系统。
除了上述之外,在不偏离根据本公开的实施例的医学观察系统的基本概念的情况下,可以应用根据上述本公开的技术。作为具体示例,除了应用上述内窥镜或手术显微镜的系统之外,上述根据本公开的技术可以适当地应用于能够通过用成像设备以期望模式捕获患部的图像来观察患部的系统。
此外,不用说,患部的观察方法和要应用的手术也没有特别限制。例如,作为观察对象的患部的动脉瘤的观察方法(治疗方法)不限于上述夹闭手术,并且使用支架的方法和使用分流器的方法是已知的。此外,要使用的治疗工具可能因观察方法或要应用的手术而异。即使在这种情况下,例如,只要治疗工具保持在患部附近,通过应用上述根据本公开的技术并从患部的连续捕获的图像中提取治疗工具的移动,就可以检测患部的移动。
这参考图13和图14推断出了根据本公开的实施例的医学观察系统被配置为内窥镜手术系统的示例的描述,作为医学观察系统的应用。
<<6.结论>>
如上所述,根据本公开实施例的医学观察系统包括成像部、检测部和控制部。成像部捕获患部的图像。检测部基于已经由成像部连续捕获的患部的图像提取保持在患部附近的治疗工具的移动,并且基于提取的结果检测患部的移动。控制部根据患部的移动的检测结果来控制与患部的观察相关的处理。根据上述配置,例如,即使在例如当作为血管等的患部伴随脉动振动时,患部可以移动而不管是否存在介入治疗的情况下,也可以以更优选的方式实现对患部的观察。
虽然已经参考附图详细描述了本公开的优选实施例,但是本公开的技术范围不限于此。对于本公开所属领域的普通技术人员来说,显而易见的是,在不脱离所附权利要求中描述的技术思想的情况下,可以进行各种修改和变化,因此,应当理解,这种修改和变化将自然地涵盖在本公开的技术范围内。
此外,本说明书中描述的有利效果仅仅是描述性的或示例性的,而不是限制性的。换言之,除了上述有利效果之外或代替上述有利效果,根据本说明书的描述,根据本公开的技术可以产生对于本领域技术人员来说显而易见的其他有利效果。
以下配置也涵盖在本公开的技术范围内。
(1)一种医学观察系统,包括:
成像部,被配置为捕获患部的图像;
检测部,被配置为基于已经由成像部连续捕获的患部的图像来提取保持在患部附近的治疗工具的移动,并且基于提取的结果来检测患部的移动;以及
控制部,被配置为根据患部的移动的检测结果来控制与患部的观察相关的处理。
(2)根据(1)所述的医学观察系统,包括
内窥镜部,包括将被插入患者体腔中的透镜管,其中,
所述成像部被配置为捕获已经由内窥镜部获取的患部的图像。
(3)根据(1)所述的医学观察系统,包括
显微镜部,被配置为获取患部的放大图像,其中,
所述成像部被配置为捕获已经由显微镜部获取的放大图像。
(4)一种医学观察设备,包括:
检测部,被配置为基于已经由成像部连续捕获的患部的图像来提取保持在患部附近的治疗工具的移动,并且基于提取的结果来检测患部的移动;以及
控制部,被配置为根据患部的移动的检测结果来控制与患部的观察相关的处理。
(5)根据(4)所述的医学观察设备,其中,所述控制部被配置为基于患部的移动的检测结果,相对于患部的捕获图像执行图像处理。
(6)根据(5)所述的医学观察设备,其中,所述控制部被配置为基于患部的移动的检测结果来校正患部的捕获图像的模糊。
(7)根据(5)或(6)所述的医学观察设备,其中,所述控制部被配置为执行控制,使得执行图像处理之前的患部的图像和执行图像处理之后的患部的图像彼此相关联,并由输出部呈现。
(8)根据(4)至(7)中任一项所述的医学观察设备,其中,所述控制部被配置为基于患部的移动的检测结果,使输出部呈现显示信息。
(9)根据(8)所述的医学观察设备,其中,所述控制部被配置为根据检测到的患部的移动的幅度来控制由输出部呈现的显示信息。
(10)根据(9)所述的医学观察设备,其中,所述控制部被配置为当检测到的患部的移动的幅度超过阈值时,使输出部呈现警告,作为显示信息。
(11)根据(9)或(10)所述的医学观察设备,其中,所述控制部被配置为当检测到的患部的移动的幅度等于或小于阈值时,使输出部呈现与过程相关的信息,作为显示信息。
(12)根据(4)至(11)中任一项所述的医学观察设备,其中,所述控制部被配置为基于患部的移动的检测结果来控制与患部的观察相关的条件。
(13)根据(12)所述的医学观察设备,其中,所述控制部被配置为根据检测到的患部的移动的幅度来控制所述成像部的快门速度、光圈和增益中的至少任何一个。
(14)根据(13)所述的医学观察设备,其中,所述控制部被配置为当检测到的患部的移动的幅度超过阈值时,执行用于增加快门速度的控制、用于打开光圈的控制和用于增加增益的控制中的至少任一个。
(15)根据(4)至(14)中任一项所述的医学观察设备,其中,所述检测部被配置为通过检测由所述治疗工具保持的发光体来从连续捕获的图像中提取所述治疗工具的移动。
(16)根据(4)至(14)中任一项所述的医学观察设备,其中,所述检测部被配置为通过检测治疗工具中具有预定特征的至少一部分来从连续捕获的图像中提取治疗工具的移动。
(17)根据(4)至(16)中任一项所述的医学观察设备,其中,所述患部是血管。
(18)根据(17)所述的医学观察设备,其中,所述患部是动脉瘤。
(19)一种医学观察设备的驱动方法,包括由计算机执行的以下步骤:
基于已经由成像部连续捕获的患部的图像来提取保持在患部附近的治疗工具的移动,并且基于提取的结果来检测患部的移动;并且
根据患部的移动的检测结果来控制与患部的观察相关的处理。
(20)一种使计算机执行以下步骤的程序:
基于已经由成像部连续捕获的患部的图像来提取保持在患部附近的治疗工具的移动,并且基于提取的结果来检测患部的移动;并且
根据患部的移动的检测结果来控制与患部的观察相关的处理。
[附图标记列表]
2、3 医学观察系统
165、221、225 传输电缆
201 控制单元
203 成像单元
205 传感器驱动器
207 输入部
209 输出部
211 成像光学系统
213 分路光学系统
215、217 成像元件
219 RGB激光器
223 IR激光器
227、229 振动传感器
301 控制单元
303 成像部
305 检测部
307 输出部
309 图像分析部
311 振动检测部
313 成像控制部
315 图像处理部
317 输出控制部。

Claims (19)

1.一种医学观察系统,包括:
成像部,被配置为捕获患部的图像;
检测部,被配置为基于已经由所述成像部连续捕获的患部的图像来提取保持在所述患部附近的治疗工具的移动,并且基于提取的结果来检测所述患部的移动;以及
控制部,被配置为根据所述患部的移动的检测结果来控制与所述患部的观察相关的处理。
2.根据权利要求1所述的医学观察系统,包括
内窥镜部,包括将被插入患者体腔中的透镜管,其中,
所述成像部被配置为捕获已经由所述内窥镜部获取的所述患部的图像。
3.根据权利要求1所述的医学观察系统,包括
显微镜部,被配置为获取所述患部的放大图像,其中,
所述成像部被配置为捕获已经由所述显微镜部获取的所述放大图像。
4.一种医学观察设备,包括:
检测部,被配置为基于已经由成像部连续捕获的患部的图像来提取保持在所述患部附近的治疗工具的移动,并且基于提取的结果来检测所述患部的移动;以及
控制部,被配置为根据所述患部的移动的检测结果来控制与所述患部的观察相关的处理。
5.根据权利要求4所述的医学观察设备,其中,所述控制部被配置为基于所述患部的移动的检测结果,相对于所述患部的捕获图像执行图像处理。
6.根据权利要求5所述的医学观察设备,其中,所述控制部被配置为基于所述患部的移动的检测结果来校正所述患部的捕获图像的模糊。
7.根据权利要求5所述的医学观察设备,其中,所述控制部被配置为执行控制,使得执行所述图像处理之前的所述患部的图像和执行所述图像处理之后的所述患部的图像彼此相关联,并由输出部呈现。
8.根据权利要求4所述的医学观察设备,其中,所述控制部被配置为基于所述患部的移动的检测结果,使输出部呈现显示信息。
9.根据权利要求8所述的医学观察设备,其中,所述控制部被配置为根据检测到的所述患部的移动的幅度来控制由输出部呈现的显示信息。
10.根据权利要求9所述的医学观察设备,其中,所述控制部被配置为当检测到的所述患部的移动的幅度超过阈值时,使输出部呈现警告,作为显示信息。
11.根据权利要求9所述的医学观察设备,其中,所述控制部被配置为当检测到的所述患部的移动的幅度等于或小于阈值时,使输出部呈现与过程相关的信息,作为显示信息。
12.根据权利要求4所述的医学观察设备,其中,所述控制部被配置为基于所述患部的移动的检测结果来控制与所述患部的观察相关的条件。
13.根据权利要求12所述的医学观察设备,其中,所述控制部被配置为根据检测到的所述患部的移动的幅度来控制所述成像部的快门速度、光圈和增益中的至少任何一个。
14.根据权利要求13所述的医学观察设备,其中,所述控制部被配置为当检测到的所述患部的移动的幅度超过阈值时,执行用于增加快门速度的控制、用于打开光圈的控制和用于增加增益的控制中的至少任一个。
15.根据权利要求4所述的医学观察设备,其中,所述检测部被配置为通过检测由所述治疗工具保持的发光体来从连续捕获的图像中提取所述治疗工具的移动。
16.根据权利要求4所述的医学观察设备,其中,所述检测部被配置为通过检测所述治疗工具中具有预定特征的至少一部分来从连续捕获的图像中提取所述治疗工具的移动。
17.根据权利要求4所述的医学观察设备,其中,所述患部是血管。
18.根据权利要求17所述的医学观察设备,其中,所述患部是动脉瘤。
19.一种医学观察设备的驱动方法,包括由计算机执行的以下步骤:
基于已经由成像部连续捕获的患部的图像来提取保持在所述患部附近的治疗工具的移动,并且基于提取的结果来检测所述患部的移动;并且
根据所述患部的移动的检测结果来控制与所述患部的观察相关的处理。
CN201980043946.7A 2018-07-06 2019-07-02 医学观察系统、医学观察设备和医学观察设备的驱动方法 Withdrawn CN112384123A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-129186 2018-07-06
JP2018129186 2018-07-06
PCT/JP2019/026374 WO2020009127A1 (ja) 2018-07-06 2019-07-02 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法

Publications (1)

Publication Number Publication Date
CN112384123A true CN112384123A (zh) 2021-02-19

Family

ID=69060961

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980043946.7A Withdrawn CN112384123A (zh) 2018-07-06 2019-07-02 医学观察系统、医学观察设备和医学观察设备的驱动方法

Country Status (5)

Country Link
US (1) US20210228061A1 (zh)
JP (1) JPWO2020009127A1 (zh)
CN (1) CN112384123A (zh)
DE (1) DE112019003447T5 (zh)
WO (1) WO2020009127A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230090615A1 (en) * 2020-03-11 2023-03-23 Sony Olympus Medical Solutions Inc. Medical image processing device and medical observation system

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09266882A (ja) * 1996-04-02 1997-10-14 Olympus Optical Co Ltd 内視鏡装置
JP2003334163A (ja) * 2002-03-14 2003-11-25 Olympus Optical Co Ltd 内視鏡画像処理装置
JP4231743B2 (ja) * 2003-07-07 2009-03-04 オリンパス株式会社 生体組織切除装置
KR100911793B1 (ko) * 2004-05-14 2009-08-12 올림푸스 메디칼 시스템즈 가부시키가이샤 전자 내시경
JP2009207793A (ja) * 2008-03-06 2009-09-17 Fujifilm Corp 内視鏡システム
JP5864880B2 (ja) * 2011-04-07 2016-02-17 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
CN103917165B (zh) * 2011-08-26 2016-02-24 Ebm株式会社 用于血流性状诊断的系统
US20150105769A1 (en) * 2013-10-15 2015-04-16 Olympus Medical Systems Corp. Method for endoscopic treatment
JP2016000065A (ja) * 2014-06-11 2016-01-07 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および内視鏡システム
JP6374012B2 (ja) * 2014-09-25 2018-08-15 富士フイルム株式会社 光音響画像生成装置
JP2016108501A (ja) * 2014-12-09 2016-06-20 愛知県 蛍光体、蛍光クリップ及び検出対象部位の検出システム
EP3202315A4 (en) * 2015-04-21 2018-06-20 Olympus Corporation Medical device and operating method for medical device
JP6295463B2 (ja) * 2015-07-29 2018-03-20 株式会社アキュセラ コリメータ装置、およびこれを用いた放射線治療システム
US10814045B2 (en) * 2015-10-30 2020-10-27 Balt Usa Devices and methods for aneurysm treatment
JP7127538B2 (ja) * 2016-03-29 2022-08-30 ソニーグループ株式会社 画像処理装置、医療機器の作動方法及び医療システム
JP6825625B2 (ja) * 2016-06-28 2021-02-03 ソニー株式会社 画像処理装置および画像処理装置の作動方法、並びに医療用撮像システム
JP6849966B2 (ja) * 2016-11-21 2021-03-31 東芝エネルギーシステムズ株式会社 医用画像処理装置、医用画像処理方法、医用画像処理プログラム、動体追跡装置および放射線治療システム
CA2958163C (en) * 2017-02-15 2019-02-12 Synaptive Medical (Barbados) Inc. Digitally enhanced surgical instruments
US10904437B2 (en) * 2017-03-16 2021-01-26 Sony Corporation Control apparatus and control method
US20200015655A1 (en) * 2017-03-28 2020-01-16 Sony Olympus Medical Solutions Inc. Medical observation apparatus and observation visual field correction method
CN110574092B (zh) * 2017-05-02 2021-10-12 国立大学法人东北大学 管腔脏器模型单元以及管腔脏器模型单元的制造方法
JP2020022563A (ja) * 2018-08-06 2020-02-13 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置
US20220378300A1 (en) * 2019-10-18 2022-12-01 PatenSee Ltd. Systems and methods for monitoring the functionality of a blood vessel

Also Published As

Publication number Publication date
JPWO2020009127A1 (ja) 2021-08-02
DE112019003447T5 (de) 2021-03-18
WO2020009127A1 (ja) 2020-01-09
US20210228061A1 (en) 2021-07-29

Similar Documents

Publication Publication Date Title
US11788966B2 (en) Imaging system
US11642004B2 (en) Image processing device, image processing method and recording medium
US10904437B2 (en) Control apparatus and control method
JP7095693B2 (ja) 医療用観察システム
US20210019921A1 (en) Image processing device, image processing method, and program
WO2018180573A1 (ja) 手術用画像処理装置、画像処理方法、及び、手術システム
US11883120B2 (en) Medical observation system, medical signal processing device, and medical signal processing device driving method
US20190281233A1 (en) Image processing device, setting method, and program
WO2020008920A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
CN112384123A (zh) 医学观察系统、医学观察设备和医学观察设备的驱动方法
US11778325B2 (en) Image processing apparatus, image processing method, and image processing program
JP7456385B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2021108793A (ja) 医療画像生成装置、医療画像生成方法および医療画像生成プログラム
JP7480779B2 (ja) 医療用画像処理装置、医療用画像処理装置の駆動方法、医療用撮像システム、及び医療用信号取得システム
US20190268547A1 (en) Image processing device and method, and program
WO2018043205A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
WO2020184228A1 (ja) 医療用画像処理装置、医療用画像処理装置の駆動方法、及び医療用観察システム
CN110446962A (zh) 成像设备、聚焦控制方法以及聚焦判定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210219