CN107427207A - 手术系统、信息处理装置和方法 - Google Patents

手术系统、信息处理装置和方法 Download PDF

Info

Publication number
CN107427207A
CN107427207A CN201680016388.1A CN201680016388A CN107427207A CN 107427207 A CN107427207 A CN 107427207A CN 201680016388 A CN201680016388 A CN 201680016388A CN 107427207 A CN107427207 A CN 107427207A
Authority
CN
China
Prior art keywords
region
endoscope
image
abnormal
generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680016388.1A
Other languages
English (en)
Other versions
CN107427207B (zh
Inventor
高桥康昭
平山智之
木洋
一木洋
山根真人
杉江雄生
白木寿
白木寿一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107427207A publication Critical patent/CN107427207A/zh
Application granted granted Critical
Publication of CN107427207B publication Critical patent/CN107427207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0036Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room including treatment, e.g., using an implantable medical device, ablating, ventilating
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00055Operational features of endoscopes provided with output arrangements for alerting the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/01Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405Details of notification to user or communication with user or patient ; user input means using sound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • A61B1/00016Operational features of endoscopes characterised by signal transmission using wireless means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • A61B1/00018Operational features of endoscopes characterised by signal transmission using electrical cables
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Surgical Instruments (AREA)
  • Computer Networks & Wireless Communication (AREA)

Abstract

提供了一种手术系统,包括监测传感器和电路,监测传感器被配置为在手术部位的感测区域中感测身体内的手术部位的特征,手术部位的感测区域包括在内窥镜的显示区外部的区域的至少一部分,并且电路被配置为基于由监测传感器感测的结果检测在内窥镜的显示区外部的区域中的医疗异常的发生,并且生成关于检测到的医疗异常的通知信息。

Description

手术系统、信息处理装置和方法
技术领域
本技术涉及手术系统、信息处理装置和方法,并且具体地,涉及信息处理装置和方法,该信息处理装置和方法使能够更容易地确定在内窥镜的视野内部的区域中或内窥镜的视野外部的区域中发生的异常。
相关申请的交叉引用
本申请要求于2015年3月26日提交的日本优先权专利申请JP2015-063824的权益,其全部内容通过引用结合于此。
背景技术
一直以来,已经进行了使用内窥镜执行手术操作的内窥镜手术。在内窥镜手术中,操作者在检查由内窥镜在监视器上成像的手术区的图像的同时执行任务。对于这种内窥镜,已经考虑了使操作者能够容易地执行任务的各种类型的创新(例如,参见PTL 1)。
例如,PTL1公开了一种方法,用于减少内窥镜照相机获取视频的轴与监视器的屏幕显示单元的轴之间的失配,并且从而使操作者能够通过使用设置在壳体的外表面上的突起,相对于目标执行定位并且保持内窥镜照相机的壳体来直观地执行任务。
引用列表
专利文献
PTL 1:JP 5499426B
发明内容
技术问题
然而,监测异常的发生不是通过现有技术的内窥镜(包括PTL 1中公开的内窥镜)执行的。为此,例如,当在手术部位的周围发生异常(诸如出血)时,操作者仅仅视觉上发现监视器上显示的手术区的图像上发生异常。
然而,一般来说,由于手术部位非常小并且将由操作者执行的任务是复杂的,因此存在将通过内窥镜成像的手术区的图像放大并显示在监视器上以帮助操作者更容易地执行他或她的任务的许多情况。因此,在大多数情况下,操作者通过内窥镜获得的视野范围局限于在手术部位附近的非常狭窄的范围。因此,担心操作者难以发现异常的发生或发现太迟。另外,由于操作者执行他们应充分集中注意力的复杂任务,因此在仅在监视器上显示手术区中发生的异常的情况下,担心操作者难以识别异常或识别太迟。
如上所述,担心的是难以发现异常发生、发现异常太迟或操作者未能对已经发生的异常执行适当处理。
本技术考虑到上述情况,并且因此旨在使能够更容易地确定在内窥镜的视野内部或外部的区域中发生的异常。
问题的解决方案
根据本技术的实施方式,提供了一种手术系统,包括:监测传感器,被配置为在手术部位的感测区域中感测身体内的手术部位的特征,手术部位的感测区域包括在内窥镜的显示区外部的区域的至少一部分;以及电路,被配置为基于由监测传感器感测的结果,检测内窥镜的显示区外部的区域中的医疗异常的发生并且生成关于检测到的医疗异常的通知信息。
根据本技术的实施方式,提供了一种信息处理装置,包括:电路,被配置为基于由监测传感器感测的结果,检测在内窥镜的显示区外部的区域中的医疗异常的发生并且生成关于检测到的医疗异常的通知信息,监测传感器被配置为在手术部位的感测区域中感测身体内的手术部位的特征,手术部位的感测区域包括在内窥镜的显示区外部的区域的至少一部分。
根据本技术的实施方式,提供了一种信息处理方法,包括:基于由监测传感器感测的结果,检测在内窥镜的显示区外部的区域中的医疗异常的发生并且生成关于检测到的医疗异常的通知信息,监测传感器被配置为在手术部位的感测区域中感测身体内的手术部位的特征,手术部位的感测区域包括在内窥镜的显示区外部的区域的至少一部分。
发明的有益效果
可以根据本技术的实施方式处理信息。另外,根据本技术的实施方式,可以更容易地确定在内窥镜的视野内部或外部的区域中发生的异常。
附图说明
[图1]图1是示出内窥镜手术支持系统的主要配置的示例的图。
[图2]图2是用于描述内窥镜的视野范围的图。
[图3]图3是示出监测装置等的主要配置的示例的框图。
[图4]图4是示出异常检测单元的主要功能的示例的功能框图。
[图5]图5是示出通知信息生成单元的主要功能的示例的功能框图。
[图6]图6是描述内窥镜控制处理的流程的示例的流程图。
[图7]图7是描述监测处理的流程的示例的流程图。
[图8]图8是描述异常检测处理的流程的示例的流程图。
[图9]图9是描述通知信息生成处理的流程的示例的流程图。
[图10]图10是用于描述显示图像的示例的图。
[图11]图11是示出监测装置等的主要配置的另一个示例的框图。
[图12]图12是示出异常检测单元的主要功能的另一个示例的功能框图。
[图13]图13是描述异常检测处理的流程的另一个示例的流程图。
[图14]图14是示出监测装置等的主要配置的又一个示例的框图。
[图15]图15是示出通知信息生成单元的主要功能的另一个示例的功能框图。
[图16]图16是描述内窥镜控制处理的流程的另一个示例的流程图。
[图17]图17是描述监测处理的流程的另一个示例的流程图。
[图18]图18是描述通知信息生成处理的流程的另一个示例的流程图。
[图19]图19是描述通知信息输出处理的流程的示例的流程图。
[图20]图20是用于描述用于监测的图像的示例的图。
[图21]图21是用于描述捕获图像、显示图像和感测范围的示例的图。
[图22]图22是用于描述捕获图像、显示图像和感测范围的另一个示例的图。
[图23]图23是示出监测装置等的主要配置的又一个示例的框图。
[图24]图24是示出异常检测单元的主要功能的又一个示例的功能框图。
[图25]图25是描述内窥镜控制处理的流程的又一个示例的流程图。
[图26]图26是描述监测处理的流程的又一个示例的流程图。
[图27]图27是描述异常检测处理的流程的又一个示例的流程图。
[图28]图28是描述通知信息生成处理的流程的又一个示例的流程图。
[图29]图29是用于描述显示图像的示例的图。
[图30]图30是用于描述俯瞰图像的范围的示例的图。
[图31]图31是描述内窥镜控制处理的流程的又一个示例的流程图。
[图32]图32是示出计算机的主要配置的示例的框图。
具体实施方式
在下文中,将参考附图详细描述本公开的(一个或多个)优选实施方式。在本说明书和附图中,使用相同的附图标记表示具有基本相同的功能和结构的结构元件,并且省略对这些结构元件的重复说明。注意,将按以下顺序提供描述。
1.第一实施方式(内窥镜手术支持系统)
2.第二实施方式(内窥镜手术支持系统)
3.第三实施方式(内窥镜手术支持系统)
4.第四实施方式(内窥镜手术支持系统)
5.第五实施方式(内窥镜手术支持系统)
6.第六实施方式(计算机)
<1.第一实施方式>
<手术部位周围的异常的发生>
一直以来,已经执行了使用内窥镜执行手术操作的内窥镜手术(例如,腹腔镜手术等)。在内窥镜手术中,进行手术操作的操作者在从监视器检查由内窥镜成像的手术区(包括手术部位的视野,手术部位是执行任务的点)的图像的同时执行任务。
然而,监测异常的发生不是利用现有技术的内窥镜进行的。为此,例如,当在手术部位的周围发生异常(诸如出血)时,操作者仅在视觉上发现监视器上显示的手术区的图像上发生异常。
然而,一般来说,由于手术部位非常小并且将由操作者执行的任务是复杂的,因此存在将通过内窥镜成像的手术区的图像放大并显示在监视器上以帮助操作者更容易地执行任务的许多情况。因此,在大多数情况下,操作者通过内窥镜获得的视野范围局限于手术部位附近的非常狭窄的范围。为此,担心操作者难以发现异常的发生或发现太迟。
例如,由于手术器械与器官等的不必要接触,可能发生异常(诸如出血)。关于这一点,如上所述,由于操作者通过内窥镜获得的视野的范围窄,因此难以将所有的手术器械定位在该范围内。换句话说,存在由于手术器械与器官等的不必要接触而在其他范围内发生出血的可能性。在这种情况下,监视器上不显示出血的发生,并且因此操作者难以识别出血。
还考虑例如正被排出的血液在监视器上显示的范围内流动并且操作者发现出血的情况,但是在这种情况下,还担心操作者发现出血太迟。
另外,在这种情况下,存在以下担忧,即在发现出血后,操作者应通过移动内窥镜的成像范围来检查出血点,而这需要复杂的任务和时间以进行检查。此外,还考虑了检查失败。此外,在检查出血点时,操作者应停止治疗手术部位。
担心的是难以发现异常发生、未能及时发现异常以及操作者未能对已经发生的异常执行适当的处理。
注意,为了使操作者能够在宽的范围内发现异常的发生,还已经考虑了扩大内窥镜的视角;然而,担心在这种情况下操作者想要注意的手术部位的图像变小且难以查看,并且因此任务变得困难(因此,内窥镜的方便性降低)。
另外,存在操作者执行他或她应当完全集中注意力的复杂任务的情况。为此,即使异常的发生位置在显示范围内(即,即使异常显示在监视器上),也担心操作者在仅在监视器上显示异常的情况下难以识别异常或发现异常太迟。
因此,期望使能够更容易地确定在内窥镜的视野内部或外部的区域中发生的异常。
<内窥镜手术支持系统>
图1是示出包括监测装置的内窥镜手术支持系统的主要配置的示例的图,监测装置是本技术的实施方式所应用到的信息处理装置的实施方式。
在图1中,内窥镜手术支持系统100是在内窥镜手术(例如,腹腔镜手术等)中由操作者等使用以支持手术的系统。内窥镜手术是在正在进行手术的患者的身体(例如,腹部等)中打开几个小孔、从孔插入内窥镜等、并且在查看监视器的同时执行治疗的手术操作。与剖腹手术相比,这样的内窥镜手术具有微创、减轻患者的负担、使能够更快恢复等的特征。
维持以下状态,即正在进行内窥镜手术的患者151躺在病床141上,在患者151靠近手术部位的身体表面打开小孔,并且部署作为开孔器械的套管针以打开每个开孔部分。在图1的示例中,在患者151的身体中打开五个孔,并且在其中部署套管针131-1到131-5。当在下文不需要将套管针131-1与131-5彼此区分开时,套管针131-1到131-5将被称为套管针131。
在内窥镜手术中,手术操作中使用的手术器械(例如,电动手术刀、剪刀、镊子,钳子等)通过套管针131打开的孔而插入。在图1的示例中,内窥镜121、能量装置122、钳子123、气腹针124和监测传感器125用作手术器械。
内窥镜121是如上所述对手术部位等进行成像的装置。当光照射在患者151的身体内部(手术部位或周围)时,内窥镜121使用从光源装置112提供的光进行成像。内窥镜121将关于从成像(例如,捕获图像数据等)获得的捕获图像的信息提供到CCU 111。在图1的示例中,内窥镜121通过由套管针131-1打开的孔插入患者151的身体内。
能量装置122是例如作为使用电能的电动手术刀的手术器械。例如,像电动手术刀一样,当能量装置引起高频电流在手术部位中流动时,能量装置122可以从负载或接触电阻产生焦耳热。热量瞬间加热细胞以使其爆裂和蒸腾,从而导致切口行为。另外,热量蒸发细胞的水分并凝结蛋白质,从而导致凝血行为。在图1的示例中,能量装置122通过由套管针131-2打开的孔插入患者151的身体内。
钳子123是用于抓住组织的器械。钳子123类似于剪刀,具有被保持的止动件,并且因此可以夹持插入其间的物体。钳子可以用于各种应用,诸如捏、拉、压碎、打开、拾起、阻塞等。在图1的示例中,钳子123通过由套管针131-3打开的孔插入患者151的身体内。
气腹针124将气体(二氧化碳气体等)送入患者的身体内或吸入来自患者151的身体内部的气体。气腹针124经由预定管与气腹装置116连接,并且从例如气腹装置116提供被送入患者151的身体内的气体。另外,从患者151的身体内部吸入的气体被提供到例如气腹装置116。在图1的示例中,气腹针124通过由套管针131-4打开的孔插入患者151的身体内。
监测传感器125感测(检测)目标区域中的异常的发生。在其中执行该感测的这种区域(目标区域)也被称为感测区域。监测传感器125将关于感测的结果的信息(例如,从感测获得的数据等)提供到监测装置113。在图1的示例中,监测传感器125通过由套管针131-5打开的孔插入到患者151的身体内。因此,将患者151的身体内部(例如,手术部位及其周围等)的预定范围设置为目标感测区域。
监测传感器125中所包括的传感器的类型和数量是任意的。也就是说,监测传感器125可以相对于任意参数感测异常的发生。例如,监测传感器125可以被设置为相对于图像、光、电、声音、振动、加速度、速度、角速度、力、温度、湿度、流速、磁性、化学物质和气味中的至少一种来感测异常的发生。另外,监测传感器125可以针对一个参数利用多个传感器执行感测。此外,监测传感器125可以被设置为进一步感测监测传感器125的姿势。
如图1所示,内窥镜手术支持系统100具有例如照相机控制单元(CCU)111、光源装置112、监测装置113、输出装置114、手术器械控制装置115、气腹装置116等。
CCU 111控制内窥镜121的驱动。例如,CCU 111将关于控制的信息提供到内窥镜121,并且控制内窥镜121的观察光学系统(例如,透镜、光阑(stops)、图像传感器等)的驱动。另外,CCU 111还可以获取关于通过内窥镜121的观察光学系统成像的患者151的内部(例如,手术部位及其周围)的捕获图像的信息。此外,CCU 111可以对所获取的信息中包括的捕获图像数据执行信号处理,诸如图像处理等。例如,可以将CCU 111和内窥镜121设置为使它们经由预定的线缆彼此电连接,以经由线缆彼此执行通信(有线通信),从而通过有线通信交换各种信息。另外,CCU 111和内窥镜121可以被设置为使它们彼此执行无线通信,并且通过无线通信交换各种信息。在这种情况下,可以省略上述线缆,或者可以使用有线通信和无线通信两者。
光源装置112通过光导线缆连接到内窥镜121,以通过光导线缆将内窥镜121的成像所必需的光源提供到内窥镜121。
光源装置112可以切换和发射各种波长的光。除了普通光之外,例如,光源装置112可以发射可专门识别病变的特殊光(例如,窄带光、红外光等)。因此,内窥镜121可以获得特殊光的图像信号(捕获图像)以及普通光的图像信号(捕获图像)。
监测装置113是监测患者151的身体内部的异常发生的装置。监测装置113基于包括视野外部的区域的至少一部分的感测区域的感测结果来检测例如内窥镜121的视野外部的区域中的异常的发生,并且生成用于执行关于检测到的异常的通知的通知信息。通过如上所述生成并提供关于异常发生的通知信息,监测装置113可以更容易地确定在内窥镜的内部和外部的区域中发生的异常。下面将描述视野内部和外部的区域。
例如,通过监测传感器125执行感测。监测装置113从监测传感器125获取关于感测的结果的信息。另外,监测装置113可以被设置为将关于控制的信息提供到监测传感器125,以控制监测传感器125的感测。
监测装置113和监测传感器125可以被设置为使例如它们经由预定的线缆电连接,以经由线缆彼此执行通信(有线通信),并且通过有线通信交换各种信息。另外,监测装置113和监测传感器125可以被设置为彼此执行无线通信,并且通过无线通信交换各种信息。在这种情况下,可以省略上述线缆,或者可以使用有线通信和无线通信两者。
另外,例如,内窥镜121也可以执行预定感测,并且监测装置113也可以获取关于内窥镜121所获得的感测的结果的信息。此外,监测装置113可以将关于控制的信息提供到内窥镜121,以能够控制内窥镜121的感测。
监测装置113和内窥镜121可以被设置为使它们例如经由预定的线缆电连接,以经由线缆彼此执行通信(有线通信),并且通过有线通信交换各种信息。另外,监测装置113和内窥镜121可以被设置为彼此执行无线通信,以通过无线通信交换各种信息。在这种情况下,可以省略上述线缆,或者可以使用有线通信和无线通信两者。
输出装置114输出从其他装置提供的信息。例如,输出装置114可以被设置为输出从监测装置113提供的关于异常发生的通知信息。例如,输出装置114可以被设置为包括监视器,监视器是在其上显示图像以在其上显示从监测装置113提供的关于异常发生的通知信息的图像的显示单元。另外,输出装置114可以被设置为在监视器上进一步显示从监测装置113提供的视野内部的区域的图像。此外,输出装置114可以被设置为在监视器上进一步显示关于从监测装置113提供的感测的结果的图像。
例如,输出装置114可以被设置为包括扬声器,扬声器是从扬声器输出声音以输出关于从监测装置113提供的异常发生的通知信息的声音的声音输出单元。另外,输出装置114可以被设置为进一步从扬声器输出与从监测装置113提供的感测的结果相关的声音。
手术器械控制装置115控制能量装置122的驱动。例如,手术器械控制装置115和能量装置122被设置为经由预定的线缆电连接,手术器械控制装置115使高频电流等经由预定的线缆提供到能量装置122,并且因此能量装置122能够利用电热切除病变。
气腹装置116经由预定管将气体(例如,二氧化碳气体等)提供到气腹针124,以将气体从气腹针124提供(送)到患者151的身体内,从而扩张身体的内部(手术部位的周围)。因此,可以在身体内部(手术部位的周围)确保可执行任务的空间。另外,气腹装置116还可以经由预定管从气腹针124吸入(吸收)来自患者151的身体内部的气体(例如,二氧化碳气体等)。
注意,内窥镜手术中使用的手术器械是任意的,并且不限于以上示例。另外,可不使用上述手术器械中的一些。此外,将使用的手术器械的数量也是任意的。相同的手术器械可以多次使用。
构成内窥镜手术支持系统100的装置也是任意的,并且不限于以上示例。另外,可不包括上述装置中的一些。此外,装置的数量也是任意的。相同的装置可以多次使用。
<内窥镜的视野和感测范围>
接下来,将描述内窥镜121的视野范围和感测范围。在内窥镜手术中,操作者在查看由内窥镜捕获并显示在监视器上的图像的同时执行手术操作(任务)。因此,由内窥镜(的成像单元)捕获并显示在监视器上的图像变成操作者通过内窥镜获得的视野(也将被称为内窥镜的视野)。
因此,内窥镜的视野范围受到限制(等于或窄于内窥镜的成像范围)。例如,当监视器显示捕获图像的放大(数字放大)的部分图像时,内窥镜的视野范围窄于成像范围。内窥镜的视野范围(其是内窥镜的视野)内的区域(即由内窥镜成像并显示在监视器上的区域)被称为视野内部的区域。另外,视野内部的区域以外的区域被称为视野外部的区域。例如,视野外部的区域包括由内窥镜(的成像单元)成像的范围(其也被称为成像区域)内的但没有显示在监视器上的区域。另外,当照射用于内窥镜的成像的光的照射范围(其也被称为光照射区域)也包括成像区域外部的区域时,视野外部的区域还包括光照射区域中所包括的成像区域外部的区域。此外,视野外部的区域还包括这些区域(光照射区域和成像区域)外部的区域。
图2是示出在视野内部的区域和在视野外部的区域的示例的图。在图2的示例中,在视野内部的区域162是包括其中操作者执行任务的病变161及其周围的区域,并且在视野外部的区域163是除了在视野内部的区域162以外的区域。由于需要如上所述在监视器上较大地显示手术部位,因此在视野内部的区域162被设置在如图2的示例所示的非常窄的范围内。换句话说,随着在视野内部的区域162变得更窄,在视野外部的区域163变得更宽。因此,发生异常(诸如出血)的位置很可能位于在视野外部的区域163中,并且因此对于操作者来说,在视觉上检测异常的发生是更加困难的。
因此,可以设置检测在视野外部的区域163中的异常的发生。也就是说,监测装置113被设置为基于感测包括内窥镜121的视野外部的区域的至少一部分的感测区域的结果,来检测视野外部的区域中的异常的发生,并且生成用于执行关于检测到的异常的通知的通知信息。使用例如监测传感器125执行在视野外部的区域163中的感测。
由于监测传感器125用于检测异常的发生,所以监测传感器125不需要与内窥镜121的成像单元171一样具有高精度(具有高分辨率)。为此,可通过使用例如广角镜头等将监测传感器125的感测范围容易地设置为比成像单元171的成像范围更宽。另外,监测传感器125的感测区域可以包括内窥镜121的视野外部的区域的至少一部分,并且该区域的大小、形状等是任意的。例如,感测区域可以被设置为包括内窥镜121的视野内部的区域的一部分或整个区域。也就是说,不仅可以在视野外部的区域163中执行感测,还可以在视野内部的区域162中执行感测。换句话说,监测传感器125的感测区域可以包括内窥镜121的成像区域的一部分或整个成像区域,或者可以包括内窥镜121的光照射区域的一部分或整个光照射区域。此外,感测区域可以包括除了这些区域(视野内部的区域、成像区域、光照射区域等)之外的区域的一部分或整个区域。
注意,视野内部的区域的大小、形状等是任意的。尽管在图2的示例中,在视野内部的区域162作为圆形区域出现,但是该区域可以具有例如多边形、椭圆形等。另外,视野内部的区域可以具有例如三维形状。此外,例如,视野内部的区域的至少一部分可以具有除了平面以外的表面,诸如球面、曲面等。另外,尽管在图2中被示出为圆形,但是视野外部的区域是视野内部的区域以外的区域,并且因此其大小、形状等是任意的。此外,成像区域和光照射区域的大小、形状等是任意的。
尽管在图2的示例中病变161位于视野内部的区域162的中心附近,但是内窥镜121仍可以针对任意的位置和方向执行成像。也就是说,内窥镜121可以对病变161以外的部分进行成像,并且在这种情况下,病变161可以位于视野内部的区域162的外部。换句话说,通过控制内窥镜121的位置和方向,操作者等可以将除病变161以外的部分设置为被包括在视野内部的区域162内并被显示在监视器上。
<监测装置等的主要配置的示例>
图3是示出监测装置113等的主要配置的示例的框图。在图3的示例中,内窥镜121具有成像单元171和陀螺仪传感器172。
成像单元171是所谓的图像传感器并且具有对入射光进行光电转换的多个像素。内窥镜121将从光源装置112提供的光照射在光照射区域上。成像单元171通过使用多个像素对对象上反射的照射光进行光电转换,来获得对象的图像(成像区域的捕获图像)。也就是说,光照射区域和成像区域是处于基本上相同位置的区域。当然,成像区域和光照射区域的大小和形状可彼此不一致。如上所述,成像单元171对对象进行成像并从而获得对象的图像的图像信号(捕获图像数据)。关于通过成像单元171获得的捕获图像的信息通过内窥镜121与CCU 111之间的通信被提供到CCU 111。成像单元171在CCU 111的控制下被驱动,以执行这种成像。
陀螺仪传感器172针对关于内窥镜121的姿势的信息执行感测。例如,陀螺仪传感器172感测内窥镜121在每个方向上的角速度或角度的变化(即,内窥镜121在每个方向上的斜率或斜率的变化)。关于由陀螺仪传感器172执行的感测的结果的信息通过内窥镜121与监测装置113之间的通信被提供到监测装置113。关于感测的结果的该信息用于估计内窥镜121的视野内部的区域的位置,如下面将描述的。
陀螺仪传感器172可以在例如外部装置(例如,CCU 111或监测装置113)的控制下被驱动,可以在操作者等的控制下被驱动,或者可以在不受外部装置或操作者控制的情况下被驱动。
在图3的示例中,监测传感器125具有热传感器181和陀螺仪传感器182。
热传感器181针对关于感测区域的温度的信息执行感测。例如,热传感器181感测感测区域中的温度分布。注意,温度可以是绝对值或对于预定参考的相对值。关于由热传感器181获得的感测结果的信息通过监测传感器125与监测装置113之间的通信被提供到监测装置113。
陀螺仪传感器182针对关于监测传感器125的姿势的信息执行感测。在这种情况下的感测与陀螺仪传感器172的感测相同。关于由陀螺仪传感器182执行的感测结果的信息通过监测传感器125与监测装置113之间的通信被提供到监测装置113。如在陀螺仪传感器172的情况下一样,关于感测的结果的信息用于估计内窥镜121的视野内部的区域的位置。
监测传感器125(热传感器181和陀螺仪传感器182)可以在例如外部装置(例如,监测装置113)的控制下被驱动,可以在操作者等的控制下被驱动,或者可以在不受外部装置或操作者控制的情况下被驱动。
注意,当关于内窥镜121或监测传感器125的姿势的信息没有用于估计内窥镜121的视野内部的区域的位置时,或者当没有估计内窥镜121的视野内部的区域的位置时,可以省略陀螺仪传感器172或陀螺仪传感器182。
在图3的示例中,监测装置113具有视野位置估计单元191、异常检测单元192、通知信息生成单元193和输出控制单元194。
视野位置估计单元191估计内窥镜121的视野内部的区域的位置。视野位置估计单元191从监测传感器125获取例如关于由热传感器181执行的感测的结果的信息,并且基于该信息估计视野内部的区域的位置。也就是说,在这种情况下,视野位置估计单元191估计在感测区域内的视野内部的区域的位置。
在对感测区域内的视野内部的区域的位置的这种估计中,视野位置估计单元191首先基于感测的结果指定视野内部的区域。视野位置估计单元191将例如具有比由热传感器181获得的温度分布的周围更高温度的区域指定为内窥镜121的视野内部的区域。
例如,成像单元171如上所述使用由内窥镜121照射的光的反射光执行成像。因此,视野内部的区域的位置和光照射区域的位置基本上一致,并且来自内窥镜121的光照射在视野内部的区域上。为此,由于所照射的光的热量,可以认为视野内部的区域的温度增加得比视野外部的区域的温度多。视野位置估计单元191使用增加来指定内窥镜121的视野内部的区域。注意,严格地说,在该技术中,基于温度分布仅可以指定光照射区域,并且因此难以准确地指定成像区域或视野内部的区域;然而,视野位置估计单元191可以被设置为使用任意技术来完成此指定,使得可以更准确地指定视野内部的区域。另外,当成像区域和视野内部的区域不一致时,例如,期望使视野位置估计单元191在指定视野内部的区域时反映该设置。
注意,视野外部的区域的温度分布并非始终均匀,并且还考虑存在视野内部的区域以外的区域具有比周围的温度更高的温度的情况(即,存在具有比周围的温度更高的温度的多个区域,并且存在视野内部的区域的多个候选者)。关于这一点,视野位置估计单元191可以被设置为基于从内窥镜121照射的光引起的温度增加的特征来缩小候选者范围。
例如,视野位置估计单元191也可以设置为在具有比周围的温度更高的温度的区域被指定为视野内部的区域的候选者,并且进一步地该区域的大小或形状与内窥镜121的成像范围的大小或形状相同或相似的情况下,缩小候选者范围。另外,例如,视野位置估计单元191也可以被设置为在具有比周围的温度更高的温度的区域被指定为视野内部的区域的候选者,并且进一步地该区域的温度等于或接近内窥镜121的成像范围的温度(即,被设置为由于照射光引起的对象的温度的预定温度)的情况下,缩小候选者范围。通过以这种方式缩小候选者范围,可以提高指定视野内部的区域的准确度。
注意,用作缩小范围的条件的参数(内窥镜121的视野内部的区域的大小、形状、温度等)可被预先设置在视野位置估计单元191中,可被适当地设置在监测装置113中,或者可从监测装置113的外部(例如,内窥镜121、CCU 111、光源装置112等)适当地提供。通过设置参数变量,即使在内窥镜121的设置(例如,成像视角、照射光的类型等)可变的情况下,也可以更准确地指定视野内部的区域162。
此外,缩小范围的条件是任意的,并且不限于上述示例。另外,用于提高指定视野内部的区域的准确度的技术也是任意的,并且不限于上述示例。
当基于感测的结果指定视野内部的区域时,视野位置估计单元191在包括视野内部的区域和视野外部的区域(其可以是感测区域)的所有区域中估计所指定的视野内部的区域的位置,即视野内部的区域的位置。换句话说,视野位置估计单元191估计视野内部的区域与视野外部的区域之间的位置关系。也就是说,执行视野内部的区域的坐标与视野外部的区域的坐标的位置比较(匹配)。
注意,该“位置比较”不仅可以包括坐标的位置比较,还可以包括视野内部的区域和视野外部的区域的方向匹配(方位)(坐标的方向)。也就是说,视野位置估计单元191可以被设置为估计视野内部的区域与视野外部的区域的方向之间的关系(即,两个区域的坐标的方向的匹配)。
通常,内窥镜121和监测传感器125可以沿任意方向安装在患者151的身体内部,并且由内窥镜121获得的捕获图像的顶部、底部、左侧和右侧(坐标的方向)总是与由监测传感器125获得的感测的结果的顶部、底部、左侧和右侧(坐标的方向)不一致。
因此,通过不仅匹配内窥镜121的视野内部的区域和视野外部的区域的位置而且还匹配区域坐标的方向以用于估计视野的位置,视野位置估计单元191可以更准确地获得视野外部的区域中的每个地点到视野内部的区域的相对位置(位置或方向)。因此,例如,可以更准确地通知在视野外部的区域中发生的异常的位置的方向。
视野位置估计单元191基于例如陀螺仪传感器172的感测的结果以及陀螺仪传感器182的感测的结果来获得内窥镜121和监测传感器125的相对姿势(相对于彼此的姿势),并且基于相对姿势获得捕获图像与感测的结果之间的关系(即,估计视野内部的区域与视野外部的区域的方向之间的关系)。
视野位置估计单元191将关于如上所述估计的视野内部的区域的位置的信息(还包括视野内部的区域与视野外部的区域的方向之间的关系)提供到通知信息生成单元193。
注意,上述用于指定视野内部的区域或估计该区域的位置的方法是任意的,并且不限于上述示例。例如,视野位置估计单元191可以在不使用陀螺仪传感器172和陀螺仪传感器182的感测的结果的情况下,指定视野内部的区域或估计该区域的位置。
例如,来自内窥镜121的光可以以诸如三角形的形状照射在对象(器官等)上,通过该形状可以识别内窥镜121(视野内部的区域)的方向(坐标的方向),并且视野位置估计单元191可以被设置为指定由监测传感器125获得的温度分布的形状,并且因此从形状估计视野内部的区域和视野外部的区域的方向之间的关系。
另外,例如,视野位置估计单元191可以被设置为从CCU 111获取关于由内窥镜121获得的捕获图像的信息,并且基于前述信息和关于从监测传感器125提供的感测的结果的信息,来指定视野内部的区域或估计位置。更具体地,例如,可以将感测的结果转换为图像,将与捕获图像相同或相似的图像的区域指定为视野内部的区域,并且估计区域的位置(包括方向)。
异常检测单元192基于感测区域的感测的结果来检测视野外部的区域中的异常的发生,感测区域包括内窥镜的视野外部的区域的至少一部分。例如,异常检测单元192从监测传感器125获取关于由热传感器181执行的感测的结果的信息,并且基于该信息检测感测区域中的异常的发生。由异常检测单元192检测到的异常的内容是任意的。异常检测单元192将关于检测到的异常的发生的信息提供到通知信息生成单元193。注意,异常检测单元192可以被设置为进一步将关于感测的结果的信息提供到通知信息生成单元193。
通知信息生成单元193生成用于执行关于异常检测单元192检测到的异常的通知的通知信息。例如,通知信息生成单元193可以被设置为生成用于执行关于异常检测单元192进行的异常检测的通知的通知信息,或者用于执行关于异常检测单元192检测到的异常发生的位置的通知的通知信息。
例如,通知信息生成单元193基于从视野位置估计单元191或异常检测单元192提供的信息生成通知信息。例如,通知信息生成单元193可以将异常发生地点的位置指定为与视野位置估计单元191估计的内窥镜121的视野内部的区域中的位置的相对位置,并且生成用于以根据所指定的异常发生地点的位置的方法执行关于异常的通知的通知信息。
通知信息生成单元193将生成的通知信息提供到输出控制单元194。注意,通知信息生成单元193可以被设置为进一步将关于感测的结果的信息提供到输出控制单元194。
输出控制单元194控制信息的输出。例如,输出控制单元194从自CCU 111提供的捕获图像生成显示图像(即,视野内部的区域的图像),并且将显示图像提供到输出装置114以显示显示图像。另外,输出控制单元194例如将从通知信息生成单元193提供的通知信息(图像、声音等)提供到输出装置114以使信息被输出。注意,输出控制单元194可以被设置为进一步将关于从通知信息生成单元193提供的感测的结果的信息(图像、声音等)提供到输出装置114,以使信息被输出。
用于由输出控制单元194输出信息的方法是任意的,并且不限于上述示例。例如,输出控制单元194可以被设置为通过将从通知信息生成单元193提供的通知信息的图像叠加在从CCU 111提供的捕获图像上,而将从通知信息生成单元193提供的通知信息的图像提供到输出装置114并且使图像被显示。另外,输出控制单元194可以被设置为向输出装置114之外的装置提供各种信息。
在图3的示例中,输出装置114具有监视器201和扬声器202。监视器201显示例如从输出控制单元194提供的显示图像(视野内部的区域的图像)、通知信息的图像、与感测的结果相关的图像等。扬声器202输出从输出控制单元194提供的通知信息的声音、与感测的结果相关的声音等。
输出装置114的配置是任意的。例如,可以省略监视器201或扬声器202。另外,输出装置114例如可以包括多个监视器201或多个扬声器202。此外,输出装置114例如可以包括除监视器201和扬声器202之外的输出单元。
如上所述,由于监测装置113具有异常检测单元192和通知信息生成单元193,因此可以更容易地确定在内窥镜的视野内部的区域和视野外部的区域中发生的异常。
注意,可以省略视野位置估计单元191和输出控制单元194。换句话说,通过包括视野位置估计单元191,监测装置113可以使用关于由视野位置估计单元191估计的视野内部的区域的位置的信息,利用各种方法来执行关于异常的通知。另外,通过包括输出控制单元194,监测装置113可以利用各种方法输出通知信息。
另外,内窥镜121和监测装置113也可以被提供为一个装置。在这种情况下,内窥镜121和监测装置113可以被提供在一个壳体中或分开的主体中。监测传感器125、CCU 111、光源装置112和输出装置114也可以各自像内窥镜121一样与监测装置113一起被提供为一个装置。当然,内窥镜121、监测传感器125、CCU 111、光源装置112和输出装置114中的多个元件可以与监测装置113一起被设置为一个装置。此外,其他装置也可以与监测装置113一起被提供为一个装置。
<异常检测单元>
图4是示出异常检测单元192的主要功能的示例的功能框图。在图4的示例中,异常检测单元192具有出血检测单元211、手术器械温度异常检测单元212和器官温度异常检测单元213。
出血检测单元211基于关于感测的结果的信息将出血异常检测为异常的发生。例如,出血检测单元211从热传感器181获得的感测区域的温度分布来检测感测区域中的出血的发生。更具体地,出血检测单元211检测到已经发生出血,并且在检测的结果中指定发生的地点。
在内窥镜手术中,血管中的血液相比与空气接触的器官(手术部位或其周围)的表面具有更高的温度。也就是说,刚刚流出的血液相比周围具有更高的温度。然后,流出的血液逐渐从出血的地点扩散到周围。为此,在作为热传感器181的感测的结果的温度分布中,出现温度高于周围的点,并且发生其中高温部分逐渐向周围扩散的变化。出血检测单元211例如将温度分布的这种变化检测为异常的发生,并且将这种具有高温的点的地点指定为发生出血的地点。当然,用于检测出血发生的方法是任意的,并且不限于所述示例。
由于已经流出的血液的温度在出血后立即逐渐降低,因此发生出血的地点的温度变得高于流过周围的血液的温度。因此,通过从温度分布(其是热传感器181感测的结果)检测出血的发生,即使当出血地点被排出的血液隐藏时,出血检测单元211也可以更准确地指定出血发生的地点。
注意,出血检测单元211用于检测发生出血的信息是任意的,并且可以是除了温度分布之外的信息。例如,出血检测单元211可以对捕获图像执行预定图像分析,以检测出血的发生。也就是说,即使当监测传感器125具有除热传感器181之外的传感器并从而获得温度分布以外的感测的结果时,出血检测单元211也可以基于监测感测器125获得的感测的结果来检测出血的发生。注意,当出血的发生不检测为异常的发生时,可以省略出血检测单元211。
手术器械温度异常检测单元212基于关于感测的结果的信息,将手术器械的温度异常的发生检测为异常的发生。例如,手术器械温度异常检测单元212从热传感器181获得的感测区域的温度分布,检测位于感测区域中的手术器械的温度异常的发生。更具体地,手术器械温度异常检测单元212检测到手术器械中已经发生温度异常,并且在感测的结果中指定发生的地点。
例如,当在任务中未使用的能量装置122的温度不必要地增加时,存在能量装置122已经触摸到器官并且无意地损伤器官的问题。具体地,由于在视野外部的区域163超出了操作者的视野,因此极度担心的是能量装置122未被足够小心地处理并且从而触摸器官。
因此,手术器械温度异常检测单元212监测位于感测区域中的手术器械的温度并且检测温度异常的发生。用于检测温度异常发生的方法是任意的。例如,可以从温度分布检测具有低温的手术器械,并且监测其远端是否具有预定温度或更高温度,或者可以仅仅监测感测区域中是否存在具有预定温度或更高温度的部分。
注意,手术器械温度异常检测单元212用于检测手术器械的温度异常的发生的信息是任意的,并且该信息也可以是除了温度分布以外的信息。也就是说,即使在监测传感器125具有除了热传感器181以外的传感器以获得除了温度分布以外的感测的结果的情况下,手术器械温度异常检测单元212也可以基于由监测传感器125获得的感测的结果来检测手术器械的温度异常的发生。注意,当手术器械的温度异常的发生不检测为异常的发生时,可以省略手术器械温度异常检测单元212。
器官温度异常检测单元213基于关于感测的结果的信息,将器官的温度异常的发生检测为异常的发生。例如,器官温度异常检测单元213从热传感器181获得的感测区域的温度分布来检测位于感测区域中的器官的温度异常的发生。更具体地,器官温度异常检测单元213检测到器官中已经发生温度异常,并且在感测的结果中指定发生的地点。
例如,当能量装置122触摸器官等从而导致对器官的损伤时,即使没有发生出血,器官的损伤部分也具有比周围部分更高的温度。另外,即使在操作者正在使用能量装置122(当操作者有意地用能量装置122触摸器官时)时,如果使用(触摸)过度,则担心器官的温度高于必需的温度或者器官具有高温的部分更宽于所必需的部分。
器官温度异常检测单元213通过监视器官的温度来检测器官的温度异常的发生。用于检测温度异常发生的方法是任意的。例如,可以简单地监测在感测区域中是否存在具有预定温度或更高温度的部分,并且还可以从温度分布识别每个器官,或者可以考虑器官与手术器械之间的位置关系。另外,当被检测为异常时,还可以根据任意信息(诸如温度或温度分布的方面)来进一步识别异常的类型(例如,异常是否由已经触摸器官的手术器械、物理状态的变化等引起)。
注意,器官温度异常检测单元213用于检测器官的温度异常的发生的信息是任意的,并且可以是除了温度分布之外的信息。也就是说,即使当监测传感器125具有除了热传感器181以外的传感器以获得除了温度分布以外的感测的结果时,器官温度异常检测单元213也可以基于由监测传感器125获得的感测的结果来检测器官的温度异常的发生。注意,当器官的温度异常的发生不检测为异常的发生时,可以省略器官温度异常检测单元213。
异常检测单元192将关于功能块中的每一个的检测结果的信息提供到通知信息生成单元193。
注意,由异常检测单元192实现的功能是任意的,并且不限于图4的示例。也就是说,异常检测单元192可以被设置为具有除了图4的示例的功能块之外的功能块。
<通知信息生成单元>
如上所述,通知信息生成单元193生成用于执行关于异常的通知的通知信息。例如,作为用于执行关于异常的通知的通知信息,通知信息生成单元193可以被设置为生成用于执行关于异常检测单元192进行的异常检测的通知的通知信息。
图5是示出通知信息生成单元193的主要功能的示例的功能框图。在图5的示例中,通知信息生成单元193具有异常发生通知生成单元221。
异常发生通知生成单元221生成用于执行关于异常检测单元192进行的异常检测的通知的通知信息,作为用于执行关于异常的通知的通知信息。例如,异常发生通知生成单元221可以被设置为生成用于给出已经检测到异常的通知的通知信息。更具体地,例如,异常发生通知生成单元221可以生成用于给出已经发生异常的通知的图像或声音中的至少一个,作为用于执行关于发生异常的通知的通知信息。通过执行这种通知,被通知的操作者等可以更容易地确定已经发生异常的事实。
另外,例如,异常发生通知生成单元221可以被设置为生成用于执行关于异常检测单元192检测到的异常的内容的通知的通知信息。更具体地,异常发生通知生成单元221可以被设置为例如生成用于执行关于异常的内容的通知的图像和声音中的至少一个,作为用于执行关于异常的内容的通知的通知信息。异常的内容是任意的,并且包括例如出血、手术器械或器官的温度异常等。通过执行这种通知,被通知的操作者等可以更容易地确定异常的内容。
注意,当不执行关于异常的检测的通知或者关于上述检测到的异常的内容的通知时,可以从通知信息生成单元193中省略异常发生通知生成单元221。
另外,作为用于执行关于异常的通知的这种通知信息,通知信息生成单元193可以被设置为生成用于执行关于异常检测单元192检测到的异常的发生地点的通知的通知信息。此时,通知信息生成单元193可以被设置为使用基于异常发生地点的位置确定的方法,来生成用于执行关于异常发生的地点的通知的通知信息。例如,通知信息生成单元193可以被设置为使用基于异常发生地点的位置是否在内窥镜121的视野内而确定的方法,来生成用于执行关于异常发生的地点的通知的通知信息。
例如,当异常发生地点的位置在视野内部的区域内时,通知信息生成单元193可以被设置为生成指示异常发生的地点的图像或声音作为通知信息。另外,当异常发生地点的位置在视野内部的区域的外部时(换句话说,在视野外部的区域内时),例如,通知信息生成单元193可以被设置为生成指示异常发生的地点的方向的图像或声音作为通知信息。
在图5的示例中,通知信息生成单元193进一步具有异常发生位置指定单元222、异常发生地点通知生成单元223和异常发生方向通知生成单元224。
异常发生位置指定单元222基于从异常检测单元192提供的信息来指定异常发生地点(在感测区域内)的位置。例如,异常发生位置指定单元222可被进一步设置为确定所指定的异常发生地点的位置是否在内窥镜121的视野内部的区域内。
注意,当指定异常发生地点的位置时,异常发生位置指定单元222可以被设置为将异常发生地点的位置指定为与内窥镜121的视野内部的区域中的位置的相对位置。在这种情况下,异常发生位置指定单元222可以使用由视野位置估计单元191估计的位置作为内窥镜121的视野内部的区域的位置。
通过如上所述指定异常发生地点的位置,通知信息生成单元193可以使用基于异常发生地点的位置而确定的方法,来生成用于执行通知的通知信息。
当由异常发生位置指定单元222指定的异常发生地点的位置在内窥镜121的视野的区域内时,异常发生地点通知生成单元223生成用于执行关于异常发生地点的通知的通知信息。更具体地,例如,异常发生地点通知生成单元223可以被设置为生成指示异常发生地点的图像,作为用于执行关于异常发生地点的通知的通知信息。异常发生地点通知生成单元223可以被设置为生成例如在视野内部的区域的图像上指示异常发生地点的图像。另外,例如,异常发生地点通知生成单元223可以被设置为生成指示异常发生地点的声音,作为用于执行关于异常发生地点的通知的通知信息。
通过设置当异常发生地点的位置在视野内部的区域内时生成用于执行关于异常发生地点的通知的通知信息,通知信息生成单元193可以使被通知通知信息的操作者等在异常已经发生在视野内部的区域内时更容易地确定异常。
当由异常发生位置指定单元222指定的异常发生地点的位置在内窥镜121的视野内部的区域的外部时(在视野外部的区域内时),异常发生方向通知生成单元224生成用于执行关于异常发生地点的方向的通知的通知信息。更具体地,例如,作为用于执行关于异常发生地点的通知的通知信息,异常发生方向通知生成单元224可以被设置为生成指示异常发生地点的方向的图像。例如,异常发生方向通知生成单元224可以被设置为生成在视野内部的区域的图像上指示异常发生地点的方向的图像。另外,作为用于执行关于异常发生地点的通知的通知信息,例如,异常发生方向通知生成单元224可以被设置为生成指示异常发生地点的方向的声音。
通过设置当异常发生地点的位置在视野内部的区域内时生成用于执行关于异常发生地点的方向的通知的通知信息,通知信息生成单元193可以生成通知信息以使被通知通知信息的操作者等在异常已经发生在视野内部的区域内时更容易地确定异常。
注意,当不指定异常发生地点的位置时,可以从通知信息生成单元193中省略异常发生位置指定单元222。另外,不执行关于异常发生地点的通知,可以从通知信息生成单元193省略异常发生地点通知生成单元223。此外,当不执行关于异常发生地点的方向的通知时,可以从通知信息生成单元193中省略异常发生方向通知生成单元224。
<内窥镜控制处理的流程>
接下来,将描述在如上所述的内窥镜手术支持系统100中执行的处理。参考图6的流程图,将描述在内窥镜手术支持系统100中执行的内窥镜控制处理的流程的示例。
当内窥镜控制处理开始时,在步骤S101中,内窥镜121驱动陀螺仪传感器172,并且监测传感器125驱动陀螺仪传感器182以开始每个姿势的感测。
在步骤S102中,光源装置112发射将从内窥镜121照射的光(照明光),以将光提供到内窥镜121。因此,光从内窥镜121照射到成像的视角(对象)的内侧。
在步骤S103中,内窥镜121的成像单元171对内窥镜121的视野的内部(即视野内部的区域162)进行成像。
在步骤S104中,输出控制单元194经由CCU 111获取关于由成像单元171捕获的图像的信息,并且将该信息提供到输出装置114。输出装置114的监视器201基于所提供的信息将捕获图像显示为内窥镜视野内图像(视野内部的图像)。
在步骤S105中,监测装置113监测监测传感器125的感测区域的内部(例如,内窥镜121的视野的内部和视野的周围)。
在步骤S106中,监测装置113确定内窥镜控制处理是否将结束。当处理被确定为不结束时,处理返回到步骤S101,并且重复执行该步骤和后续步骤。当在步骤S106确定内窥镜控制处理将结束时,内窥镜控制处理结束。
<监测处理的流程>
接下来,将参考图7的流程图描述图6的步骤S105中执行的监测处理的流程的示例。当监测处理开始时,视野位置估计单元191基于关于感测的结果的信息等,在步骤S121中估计内窥镜的视野的位置(内窥镜121的视野内部的区域的位置)。
在步骤S122中,监测装置113控制监测传感器125(热传感器181)执行感测区域的感测(例如,针对内窥镜121的视野的内部和周围)。监测传感器125的热传感器181在控制下执行感测区域的感测(例如,针对内窥镜121的视野的内部和周围)。
在步骤S123中,异常检测单元192基于关于从步骤S122的处理获得的感测的结果的信息来检测异常的发生。
在步骤S124中,通知信息生成单元193基于步骤S123的处理结果确定是否已经发生异常。当确定已经检测到异常的发生(换句话说,已经发生异常)时,处理进行到步骤S125。
在步骤S125中,通知信息生成单元193生成用于执行关于异常发生的通知的通知信息。在步骤S126中,输出控制单元194将在步骤S125中生成的通知信息提供到输出装置114,以使信息被输出。
输出装置114输出所提供的通知信息。当步骤S126的处理结束时,处理进行到步骤S127。另外,当在步骤S124中确定没有检测到异常的发生(换句话说,没有发生异常)时,处理进行到步骤S127。
在步骤S127中,监测装置113确定是否要结束监测。当确定不结束监测时,处理返回到步骤S121,并且重复执行该步骤和后续步骤。
当在步骤S127中确定将结束监测时,监测处理结束,并且处理返回到图6的处理。
<异常检测处理的流程>
接下来,将参考图8的流程图描述在图7的步骤S123中执行的异常检测处理的流程的示例。
当异常检测处理开始时,在步骤S141中出血检测单元211基于监测传感器125(热传感器181)的感测的结果来检测出血的发生。
在步骤S142中,手术器械温度异常检测单元212基于监测传感器125(热传感器181)的感测的结果来检测手术器械的温度异常。
在步骤S143中,器官温度异常检测单元213基于监测传感器125(热传感器181)的感测的结果来检测器官的温度异常。
当基于监测目标的每个参数的异常检测结束时,异常检测处理结束,并且处理返回到图7的处理。
<通知信息生成处理的流程>
接下来,将参考图9的流程图描述在图7的步骤S125中执行的通知信息生成处理的流程的示例。
当通知信息生成处理开始时,步骤S161中,通知信息生成单元193的异常发生通知生成单元221生成异常发生通知,异常发生通知是用于执行关于异常检测单元192进行的异常检测的通知的通知信息(给出已经检测到异常的通知)。
在步骤S162中,异常发生位置指定单元222指定异常发生地点与内窥镜121的视野内部的区域的相对位置。
在步骤S163中,异常发生位置指定单元222确定在步骤S162中指定的异常发生地点的位置是否在内窥镜121的视野内部的区域内。当确定异常发生地点的位置在视野内部的区域162内时,处理进行到步骤S164。
在步骤S164中,异常发生地点通知生成单元223生成异常发生地点通知,异常发生地点通知是用于执行关于异常发生地点的通知的通知信息。当生成异常发生地点通知时,通知信息生成处理结束,并且处理返回到图7的处理。
另外,当在图9的步骤S163中确定异常发生地点的位置在内窥镜121的视野外部的区域内时,处理进行到步骤S165。
在步骤S165中,异常发生方向通知生成单元224生成异常发生方向通知,异常发生方向通知是用于执行关于异常发生地点的方向的通知的通知信息。当生成异常发生方向通知时,通知信息生成处理结束,并且处理返回到图7的处理。
通过执行上述处理,监测装置113可以更容易地确定在内窥镜的视野内部的区域或视野外部的区域中发生的异常。
<通知信息的输出的示例>
接下来,图10是用于描述在例如输出装置114的监视器201上显示的显示图像的示例。如图10所示,在监视器201上显示从内窥镜121的成像单元171捕获的图像生成的内窥镜视野内图像230。该内窥镜视野内图像230是内窥镜121的视野内部的区域的捕获图像,其显示作为手术部位的病变231以及周围。
在图10A的示例中,在病变231附近(即,在视野内部的区域内)已经发生出血,并且形成了积血232。
另外,作为由异常发生通知生成单元221生成的异常发生通知的图像的异常发生通知图像233显示在屏幕的右上侧,叠加在内窥镜视野内图像230上。在图10A的示例中,作为已经检测到异常的通知的消息“警告”被显示为异常发生通知图像233。通过这种通知,接收通知的操作者等可以更容易地确定已经检测到异常。
另外,在图10A的示例中,作为关于异常的内容的通知的消息“已经发生出血”被显示为异常发生通知图像233。通过这种通知,接收通知的操作者等也可以更容易地确定异常的内容以及异常的发生。
当然,可通过仅显示消息“警告”而给出仅已检测到异常的通知。另外,仅显示消息“已经发生出血”可以被设置为充当作为关于异常的发生的通知以及关于异常的内容的通知两者。
此外,异常发生通知图像233可以被设置为闪烁、移动或变换。通过这种设置,将被通知的操作者等可以更加关注通知。
另外,可在监视器201上显示上述异常发生通知图像233,并且可以从扬声器202输出用于给出已经发生异常的通知的声音,诸如警报。通过这种设置,将被通知的操作者等可以更加关注通知。此外,还可以将用于给出关于异常的内容的通知的声音设置为被输出。通过这种设置,接收通知的操作者等可以更容易地确定异常的内容。
另外,作为由异常发生地点通知生成单元223生成的异常发生地点通知的图像的异常发生地点通知图像234被显示在内窥镜视野内图像230上。在图10A的示例中,指示其位置是异常发生地点的点在该地点显示为异常发生地点通知图像234。利用该显示,接收通知的操作者等可以更容易和更准确地确定视野内部的区域内的异常发生地点。
当然,异常发生地点通知图像234可以被设置为闪烁、移动或变换。通过这种设置,将被通知的操作者等可以更加关注通知。
另外,可以在监视器201上显示异常发生地点通知图像234,并且也可以从扬声器202输出用于给出关于异常发生地点的通知的声音。通过这种设置,接收通知的操作者等可以更容易和更准确地确定视野内部的异常发生地点。
注意,异常发生地点通知图像234的设计是任意的,并且可以是除了点之外的某物。另外,用于在异常发生地点通知图像234中指示异常发生地点的位置的方法是任意的,并且异常发生地点通知图像234可以显示在除了异常发生地点之外的地点中。
在图10B的示例中,在内窥镜121的视野外部的区域内已经发生器官的温度异常。
另外,在图10B的示例中,作为已经发生异常的通知的消息“警告”以及作为关于异常的内容的通知的消息“已经发生器官温度异常”作为异常发生通知图像233显示在屏幕的右上侧上,叠加在内窥镜视野内图像230上。利用该显示,接收通知的操作者等可以更容易地确定异常的发生和异常的内容。
另外,作为由异常发生方向通知生成单元224生成的异常发生方向通知的图像的异常发生方向通知图像235,显示在内窥镜视野内图像230上。在图10B的示例中,指示其中已经发生异常的方向的箭头被显示为异常发生方向通知图像235。利用该显示,接收通知的操作者等可以更容易和更准确地确定视野外部的区域内的异常发生地点的方向。
当然,异常发生方向通知图像235可以被设置为闪烁、移动或变换。通过这种设置,将被通知的操作者等可以更加关注通知。
另外,可在监视器201上显示异常发生方向通知图像235,并且也可以从扬声器202输出用于给出关于异常发生地点的方向的通知的声音。通过这种设置,接收通知的操作者等可以更容易和更准确地确定视野外部的异常发生地点的方向。
注意,异常发生方向通知图像235的设计是任意的,并且可以是除了箭头以外的形状,例如,三角形等。另外,异常发生方向通知图像235的显示位置是任意的。例如,异常发生方向通知图像235的显示位置可以根据异常的发生地点的方向而变化。
如上所述,通过输出异常发生通知、异常发生地点通知、异常发生方向通知等,可以通过呈现内窥镜视野内图像230(而不改变图像的大小)来通知接收通知的操作者等。因此,可以在抑制手术区的障碍的同时执行通知。因此,在执行任务时,操作者可以更容易地确定在内窥镜的视野内部或外部的区域中发生的异常。
<2.第二实施方式>
<监测装置等的主要配置的示例>
异常的内容是任意的,并且不限于以上示例。例如,可以检测手术器械与器官的接触。在这种情况下,可以通过例如从立体照相机图像等获得手术器械或器官的深度信息,而从它们的位置关系检测接触。
图11是示出执行这种检测的监测装置113等的主要配置的另一个示例的框图。在这种情况下,监测传感器125进一步具有立体照相机241。除了照相机以外的配置与图3的配置相同。
立体照相机241包括多个图像传感器,对感测区域(例如,视野内部或外部的区域)的内部进行成像,并且从而获得感测区域的立体图像。立体图像是通过从不同位置对基本相同的对象进行成像而获得的一对捕获图像。也就是说,立体图像由具有视差的两个捕获图像构成。这种立体图像被用作例如用于立体查看的图像。构成立体图像的捕获图像可以是从图像传感器获得的捕获图像,或者是从图像传感器获得的捕获图像所生成的虚拟捕获图像。
由于立体图像用于检测异常的发生,因此图像不必像内窥镜121的成像单元171一样具有高精度(高分辨率)。为此,可通过使用例如广角镜头等将立体照相机241的感测范围容易地设置为比成像单元171的成像范围宽。
通过监测传感器125与监测装置113之间的通信,将关于立体照相机241获得的立体图像的信息提供到监测装置113。
监测装置113的异常检测单元192基于关于热传感器181的感测的结果的信息和关于立体图像的信息,来检测异常的发生。
<异常检测单元>
图12是示出异常检测单元192的主要功能的另一个示例的功能框图。在图12的示例中,异常检测单元192除了图4的示例中的出血检测单元211到器官温度异常检测单元213之外,进一步具有接触检测单元251。
接触检测单元251将手术器械与器官的接触的发生检测为异常的发生。例如,接触检测单元251基于热传感器181获得的感测区域(例如,视野内部或外部的区域)的温度分布以及用于感测区域的立体查看的图像(立体图像),来检测手术器械与器官的接触的发生。
例如,接触检测单元251使用温度分布指定手术器械和器官,基于立体图像进一步获得手术器械和器官的深度信息,将感测的范围设置为三维空间,指定手术器械和器官在三维空间中的位置,并且然后检测手术器械与器官的接触。通过不仅使用温度分布而且还使用立体图像,接触检测单元251可以更准确地检测手术器械与器官的接触。
接触检测单元251检测到已经发生手术器械与器官的接触,并且在感测的结果中指定发生的地点。
<异常检测处理的流程>
以与第一实施方式的那些相同的方式执行这种情况下的内窥镜控制处理、监测处理、通知信息生成处理等。将参考图13的流程图描述这种情况下的异常检测处理的流程的示例。
在这种情况的异常检测处理中,以与图8的步骤S141至S143的那些同样的方式执行图13的步骤S201至S203的处理。
在步骤S204中,接触检测单元251基于监测传感器125(热传感器181和立体照相机241)的感测的结果,检测手术器械与器官的接触。
当基于监测目标的每个参数的异常检测结束时,异常检测处理结束,并且处理返回到图7的处理。
通过执行如上所述的异常检测处理,可以通过监测传感器125对感测区域的立体图像进行成像,并且可以使用该立体图像来检测手术器械与器官的接触。因此,异常检测单元192可以更准确地检测在内窥镜的视野内部或外部的区域中发生的异常(手术器械与器官的接触)。
<3.第三实施方式>
<监测装置等的主要配置的示例>
可以向除了执行任务的操作者以外的人员给出关于异常的发生的通知。例如,监测异常发生的监管者以及操作者可被设置为作为用户使用内窥镜手术支持系统100,以通过内窥镜手术支持系统100向其通知异常的发生。当然,可以向操作者和监管者两者给出通知。另外,在这种情况下,用于操作者的通知方法可以不同于用于监管者的通知方法。
<监测装置等的主要配置的示例>
图14是示出监测装置113等的主要配置的又一个示例的框图。在这种情况下,通知信息生成单元193生成作为针对操作者等的通知信息的操作者专用通知信息,以及作为针对监管者的通知信息的监管者专用通知信息。另外,在这种情况下,提供操作者专用输出装置301和监管者专用输出装置302来代替输出装置114。
操作者专用输出装置301是向操作者等输出诸如图像、声音等的信息的装置,如输出装置114。例如,操作者专用输出装置301输出操作者专用通知信息,操作者专用通知信息是由通知信息生成单元193生成的针对操作者等的通知信息。在图14的示例中,操作者专用输出装置301具有显示将被呈现给操作者等的(操作者专用)图像的监视器311,以及输出将被呈现给操作者等的(操作者专用)声音的扬声器312。
例如,该监视器311可以被设置为显示操作者专用通知信息。另外,例如,监视器311可以被设置为进一步显示内窥镜121的视野内部的区域的图像。此外,例如,监视器311可以被设置为进一步显示将被呈现给操作者等的关于(操作者专用)感测结果的图像。
另外,例如,扬声器312可以被设置为输出操作者专用通知信息的声音。此外,例如,扬声器312可以被设置为进一步输出将被呈现给操作者等的关于(操作者专用)感测结果的声音。
当然,操作者专用输出装置301的配置是任意的。例如,可以省略监视器311或扬声器312。另外,例如,操作者专用输出装置301可以具有多个监视器311或多个扬声器312。此外,例如,操作者专用输出装置301可以包括除监视器311和扬声器312以外的输出装置。
监管者专用输出装置302是向监管者等输出诸如图像、声音等的信息的装置,如输出装置114。例如,监管者专用输出装置302输出监管者专用通知信息,监管者专用通知信息是由通知信息生成单元193生成的针对监管者等的通知信息。在图14的示例中,监管者专用输出装置302具有显示将被呈现给监管者等的(监管者专用)图像的监视器32,以及输出将被呈现给监管者等的(监管者专用)声音的扬声器322。
例如,该监视器321可以被设置为显示监管者专用通知信息。另外,例如,监视器321可以被设置为进一步显示内窥镜121的视野内部的区域的图像。此外,例如,监视器321可以被设置为进一步显示将被呈现给监管者等的关于(监管者专用)感测结果的图像。
另外,例如,扬声器322可以被设置为输出监管者专用通知信息的声音。此外,例如,扬声器322可以被设置为进一步输出将被呈现给监管者等的关于(监管者专用)感测结果的声音。
当然,监管者专用输出装置302的配置是任意的。例如,可以省略监视器321或扬声器322。另外,例如,监管者专用输出装置302可以具有多个监视器321或多个扬声器322。此外,例如,监管者专用输出装置302可以包括除监视器321和扬声器322以外的输出装置。
另外,在图14中,监测装置113的输出控制单元194向操作者专用输出装置301和监管者专用输出装置302两者输出图像、声音等的信息。例如,输出控制单元194可以将内窥镜121的视野内部的区域的图像提供到操作者专用输出装置301,并使监视器311显示该图像。另外,例如,输出控制单元194还可以将视野内部的区域的图像提供到监管者专用输出装置302,并使监视器321显示该图像。此外,例如,输出控制单元194可以将用于执行关于感测的结果的通知的通知信息提供到监管者专用输出装置302,并使监视器321显示其图像或使扬声器322输出其声音。
<通知信息生成单元>
图15是示出这种情况下的通知信息生成单元193的主要功能的另一个示例的功能框图。在这种情况下,通知信息生成单元193生成由异常检测单元192检测的异常的作为针对操作者的通知信息的操作者专用通知信息,以及作为用于通知给除了在内窥镜121的视野内部的区域内执行任务的操作者以外的监管者的通知信息的监管者专用通知信息。该监管者专用通知信息可以是用于使用不同于操作者专用通知信息的图像或声音或者图像和声音两者来执行关于异常的通知的通知信息。
在图15的示例中,通知信息生成单元193具有异常发生通知生成单元221到异常发生方向通知生成单元224以及感测结果通知生成单元331。
异常发生通知生成单元221生成用于通知监管者等已经检测到异常的事实的图像和声音中的至少任一个,作为监管者专用通知信息。另外,异常发生通知生成单元221生成用于通知监管者等异常的内容的图像和声音中的至少任一个,作为监管者专用通知信息。此外,异常发生通知生成单元221生成用于通知操作者等已经检测到异常的事实的图像和声音中的至少任一个,作为操作者专用通知信息。另外,异常发生通知生成单元221生成用于通知操作者等异常的内容的图像和声音中的至少任一个,作为操作者专用通知信息。
异常发生位置指定单元222执行与图5相同的处理。
异常发生地点通知生成单元223生成用于通知监管者等异常发生地点的图像和声音中的至少任一个,作为监管者专用通知信息。另外,异常发生地点通知生成单元223生成用于通知操作者等异常发生地点的图像和声音中的至少任一个,作为操作者专用通知信息
注意,不需要向不执行任务的监管者等显示视野内部的区域162的图像。换句话说,将视野外部的区域的图像呈现给监管者几乎不妨碍操作者的任务。因此,感测区域的图像可以被设置为被呈现给监管者等。另外,不管地点的位置如何,都可以将监管者等设置为被通知异常发生地点,并且不被通知异常发生地点的方向。
在这种情况下,异常发生方向通知生成单元224生成用于执行关于异常发生地点的方向的通知的通知信息,仅作为操作者专用通知信息,如图5的情况一样。
感测结果通知生成单元331生成感测结果通知,感测结果通知是用于通知监管者等感测的结果的通知信息。例如,感测结果通知生成单元331生成用于执行关于感测的结果的通知的图像和声音中的至少任一个,作为感测结果通知。
注意,如在图5的情况下一样,可以适当地省略异常发生通知生成单元221到异常发生方向通知生成单元224。另外,当不通知监管者等感测的结果时,可以从通知信息生成单元193中省略感测结果通知生成单元331。
注意,可以省略对操作者的通知。在这种情况下,例如,可以省略操作者专用输出装置301。另外,在这种情况下,例如,输出控制单元194仅向监管者专用输出装置302输出信息。此外,例如,通知信息生成单元193的异常发生通知生成单元221和异常发生地点通知生成单元223可以省略操作者专用通知信息的生成。另外,例如,也可以省略异常发生方向通知生成单元224。
<内窥镜控制处理的流程>
接下来,将参考图16的流程图描述这种情况下的内窥镜控制处理的流程的示例。在这种情况下的内窥镜控制处理中,以与图6的步骤S101至S103的那些相同的方式执行图16的步骤S301至S303的处理。
在步骤S304中,输出控制单元194经由CCU 111获取关于由成像单元171捕获的图像的信息,并且将该信息提供到操作者专用输出装置301。操作者专用输出装置301的监视器311基于所提供的信息将捕获图像(向操作者等)显示为内窥镜视野内图像(视野内部的图像)。
在步骤S305中,监测装置113监测感测区域的内部(例如,内窥镜121的视野的内部和视野的周围)。
在步骤S306中,监测装置113确定内窥镜控制处理是否将结束。当确定处理不结束时,处理返回到步骤S301,并且重复执行该步骤和后续步骤。当在步骤S306中确定内窥镜控制处理将结束时,内窥镜控制处理结束。
<监测处理的流程>
接下来,将参考图17的流程图描述图16的步骤S305中执行的监测处理的流程的示例。以与图7的步骤S121至S122的那些相同的方式执行图17的步骤S321和S322的处理。
在步骤S323中,感测结果通知生成单元331生成感测结果通知,感测结果通知是用于执行与步骤S322中执行的感测的结果相关的通知的通知信息(例如,指示感测区域的温度分布的图像、声音等,温度分布是通过热传感器181获得的感测的结果)。
在步骤S324中,输出控制单元194将关于成像单元171捕获的图像的信息提供到监管者专用输出装置302。监管者专用输出装置302的监视器321基于所提供的信息将捕获图像(向监管者等)显示为内窥镜视野内图像(视野内部的图像)。
另外,在步骤S325中,输出控制单元194将在步骤S323中生成的感测结果通知提供到监管者专用输出装置302。监管者专用输出装置302输出所提供的感测结果通知(到监管者等)。例如,监视器321可以显示感测结果通知的图像。另外,例如,扬声器322可以输出感测结果通知的声音。
以与图7的步骤S123至S127的那些相同的方式执行图17的步骤S326至S330的处理。然而,下面将描述步骤S328和S329的处理的细节。
当在步骤S330中确定监测结束时,处理返回到步骤S321,并且重复执行该步骤和后续步骤。当在步骤S330中确定监测不结束时,监测处理结束,并且处理返回到图16的处理。
<通知信息生成处理的流程>
接下来,将参考图18的流程图描述在图17的步骤S328中执行的这种情况下的通知信息生成处理的流程的示例。
当这种情况下的通知信息生成处理开始时,在步骤S351中,通知信息生成单元193的异常发生通知生成单元221生成监管者专用异常发生通知。
在步骤S352中,异常发生地点通知生成单元223生成监管者专用异常发生地点通知。
在步骤S353中,异常发生通知生成单元221生成操作者专用异常发生通知。
在步骤S354中,异常发生位置指定单元222指定异常发生地点与内窥镜121的视野内部的区域的相对位置。
在步骤S355中,异常发生位置指定单元222确定在步骤S354中指定的异常发生地点的位置是否在内窥镜121的视野内部的区域内。当确定异常发生地点的位置在视野内部的区域内时,处理进行到步骤S356。
在步骤S356中,异常发生地点通知生成单元223生成操作者专用异常发生地点通知。在生成操作者专用异常发生地点通知后,通知信息生成处理结束,并且处理返回到图17的处理。
另外,当在图18的步骤S355中确定异常发生地点的位置在内窥镜121的视野内部的区域的外部(即,在视野外部的区域内)时,处理进行到步骤S357。
在步骤S357中,异常发生方向通知生成单元224生成操作者专用异常发生方向通知。在生成操作者专用异常发生方向通知后,通知信息生成处理结束,并且处理返回到图17的处理。
<通知信息输出处理的流程>
接下来,将参考图19的流程图描述在图17的步骤S329中执行的这种情况下的通知信息输出处理的流程的示例。
当通知信息输出处理开始时,输出控制单元194从通知信息生成单元193获取监管者专用异常发生通知,并且在步骤S371将该通知提供到监管者专用输出装置302。监管者专用输出装置302输出所提供的监管者专用异常发生通知(到监管者等)。
在步骤S372中,输出控制单元194从通知信息生成单元193获取监管者专用异常发生地点通知,并且将该通知提供到监管者专用输出装置302。监管者专用输出装置302输出所提供的监管者专用异常发生地点通知(到监管者等)。
在步骤S373中,输出控制单元194从通知信息生成单元193获取操作者专用异常发生通知,并且将该通知提供到操作者专用输出装置301。操作员专用输出装置301输出所提供的操作者专用异常发生通知(到操作者等)。
在步骤S374中,输出控制单元194基于从通知信息生成单元193提供的信息确定异常发生位置是否在内窥镜121的视野内部的区域内。当确定位置在视野内部的区域内时,处理进行到步骤S375。
在步骤S375中,输出控制单元194从通知信息生成单元193获取操作者专用异常发生地点通知,并且将该通知提供到操作者专用输出装置301。操作者专用输出装置301输出所提供的操作者专用异常发生地点通知(到操作者等)。
当步骤S375的处理结束时,通知信息输出处理结束,并且处理返回到图17的处理。当在图19的步骤S374中确定异常发生位置在内窥镜121的视野内部的区域内时,处理进行到步骤S376。
在步骤S376中,输出控制单元194从通知信息生成单元193获取操作者专用异常发生方向通知,并且将该通知提供到操作者专用输出装置301。操作者专用输出装置301输出所提供的操作者专用异常发生方向通知(到操作者等)。
通过执行上述处理,监测装置113可以使监管者等更容易地确定在内窥镜的视野内部或外部的区域中发生的异常。
<通知信息的输出的示例>
用于显示操作者专用信息的方法可以被设置为与第一实施方式中的方法相同。图20是用于描述在监管者专用输出装置302的监视器321上显示的显示图像(监测用图像)的示例的图。在图20的示例的显示图像中,显示整个感测区域。该感测区域包括内窥镜的视野内部的整个区域和内窥镜的视野外部的区域的部分。视野内部的区域342是包括病变341及其周围的区域,并且视野外部的区域343是在视野内部的区域342周围的区域。
相对于上述感测区域,例如,整个感测区域的感测结果可以被制成如例如虚线框351的图像,并且该图像可以作为感测结果通知的图像而显示在监管者专用输出装置302的监视器321上。因此,在这种情况下,整个感测区域的感测结果被示出为图像。
另外,视野内部的整个区域342和视野外部的区域343的部分的感测结果可以被制成如例如虚线框352的图像,并且该图像可以作为感测结果通知的图像而显示在监管者专用输出装置302的监视器321上。因此,在这种情况下,感测区域的包括视野内部的整个区域342的部分的感测结果被示出为图像。
此外,包括异常发生地点的局部区域及其周围的感测结果可以被制成如例如虚线框353的图像,并且该图像可以作为感测结果通知的图像而显示在监管者专用输出装置302的监视器321上。因此,在这种情况下,包括视野内部的区域342的一部分的局部感测区域的感测结果被示出为图像,该局部感测区域独立于视野内部的区域342和视野外部的区域343。
注意,感测结果通知的显示图像的数量可以是多个。例如,感测范围内的多个区域可以被显示为感测结果通知的图像。
另外,感测结果通知的图像的范围(大小、位置、形状、数量等)可以是可变的。例如,感测结果通知的图像的范围可以被设置为虚线框351、虚线框352或虚线框353。
在这种情况下,可以根据用户的情况或指令等适当地改变感测结果通知的图像的范围。
如图20所示,在异常(出血)发生地点的周围显示异常发生通知图像361,并且在异常(出血)发生地点显示异常发生地点通知图像362。异常发生通知图像361和异常发生地点通知图像362的显示位置和设计是任意的。
当然,可以与显示一起输出与异常发生通知、异常发生地点通知等有关的声音。另外,监管者专用图像和操作者专用图像可以相同。
通过如上所述针对监管者等执行各种通知,除了操作者以外,还可以帮助监管者等更容易地确定在内窥镜的视野内和周围发生的异常。
<4.第四实施方式>
<利用内窥镜进行感测>
可以通过任意的传感器执行用于检测异常发生的感测。例如,可以使用内窥镜121的成像单元171执行这种感测。
例如,当由成像单元171获得的捕获图像401的纵横比被设置为4:3,并且在监视器201上显示的显示图像的纵横比被设置为16:9时,监视器201可以仅显示捕获图像401的部分区域(例如,区域402),如图21A所示。换句话说,不显示区域403和区域404。
因此,整个捕获图像401被设置为感测区域,并且被归入捕获图像401的圆圈405的内部被设置为光照射区域,如图21A所示。在这种情况下,可以在监视器201上显示的区域402的圆圈405内部的区域是视野内部的区域,并且其他区域(即,用阴影线表示的区域403和404以及包括在区域402中的圆圈405外部的区域)是视野外部的区域。
另外,整个捕获图像401可以被设置为感测区域,并且包括可被显示在监视器201上的整个区域402的圆圈405的内部可以被设置为光照射区域,如图21B所示。在这种情况下,整个区域402被设置为视野内部的区域,并且其他区域(即,用阴影线表示的区域403和404)被设置为视野外部的区域。
因此,在这种情况下,内窥镜121的视野内部的整个区域和视野外部的区域的部分被包括在感测区域中。因此,利用该设置,成像单元171不仅可以生成视野内部的图像,而且可以实现对内窥镜121的视野的内部和周围的感测。
在这种情况下,可以省略监测传感器125。
另外,成像单元171可以由多个图像传感器构成。例如,成像单元171由三个图像传感器构成,以对图22A中所示的捕获图像401-1至401-3进行成像。另外,包括可被显示在监视器201上的整个区域402的圆圈405的内部可以被设置为光照射区域,如图21B的情况下一样。在这种情况下,整个区域402被设置为视野内部的区域,并且区域403和404的被包括在圆圈405内部的区域以及捕获图像401-2和401-3的被包括在圆圈405内部的区域被设置为视野外部的区域。因此,视野外部的区域比图21B的情况下的区域更宽(可以感测到更宽的范围)。
注意,可以通过适当地布置多个图像传感器来将圆圈405内部的所有区域设置为感测区域。
另外,可以在监视器201上显示的捕获图像401和区域402的纵横比和大小是任意的。另外,它们可以是可变的。例如,比捕获图像401窄的区域(例如,区域412)可以被放大并被显示,如图22B所示。利用这种设置,例如,可以显示病变的放大图像。
注意,为了方便起见,下面将省略关于光照射区域(圆圈405内部)的描述。换句话说,假设光被照射到整个捕获图像。另外,由于在这种情况下感测的信息是图像信息,因此在监视器201上显示的捕获图像的一部分也将被称为显示图像,并且作为感测目标的图像(即,整个感测区域的图像)也将被称为监测目标图像。
<监测装置等的主要配置的示例>
图23是示出这种情况下的监测装置113等的主要配置的又一个示例的框图。在图23的示例中,省略了图3的示例的监测传感器125。另外,也省略了内窥镜121的陀螺仪传感器172。此外,监测装置113具有图像生成单元421而不是视野位置估计单元191。
图像生成单元421经由CCU 111获取由内窥镜121的成像单元171成像并获得的捕获图像。使用捕获图像,图像生成单元421生成显示图像和监测目标图像,显示图像将作为内窥镜121的视野内部的区域的图像被显示在监视器201上,并且监测目标图像将作为感测的结果用于由异常检测单元192检测异常的发生。
例如,图像生成单元421可以提取捕获图像的一部分以将其设置为显示图像。另外,图像生成单元421可以将整个捕获图像设置为监测目标图像。
图像生成单元421将生成的显示图像提供到输出控制单元194。注意,该显示图像也可以被提供到通知信息生成单元193。图像生成单元421还将生成的监测目标图像提供到异常检测单元192。
异常检测单元192分析从图像生成单元421提供的监测目标图像,并且检测图像中的异常的发生。异常检测单元192将关于检测到的异常发生的信息提供到通知信息生成单元193。注意,异常检测单元192可进一步将监测目标图像提供到通知信息生成单元193。
通知信息生成单元193生成用于执行关于异常检测单元192检测到的异常的通知的通知信息。注意,通知信息生成单元193可以进一步使用从异常检测单元192提供的监测目标图像以及从图像生成单元421提供的显示图像,生成通知信息。
通知信息生成单元193将生成的通知信息提供到输出控制单元194。注意,通知信息生成单元193可进一步将监测目标信息提供到输出控制单元194。注意,由于通知信息生成单元193的功能块与图5的示例中的那些相同,因此将省略其描述。
输出控制单元194例如将从图像生成单元421提供的显示图像提供到输出装置114,以使图像显示在监视器201上。另外,输出控制单元194例如将从通知信息生成单元193提供的通知信息(图像、声音等)提供到输出装置,以使该信息被输出。注意,输出控制单元194可进一步将从通知信息生成单元193提供的监测目标图像提供到输出装置114,以使该图像显示在监视器201上。
通过上述操作,可以使用内窥镜121的成像单元171来实现内窥镜121的视野内部的区域的图像的生成以及对内窥镜121的视野内部和周围的感测。
注意,成像单元171可以由多个图像传感器构成。换句话说,内窥镜121可以具有多个成像单元。另外,提供到图像生成单元421的捕获图像可以是由内窥镜121的多个成像单元成像并获得的多个捕获图像。
<异常检测单元>
图24是示出这种情况下的异常检测单元192的主要功能的另一个示例的功能框图。在图12的示例中,异常检测单元192具有出血检测单元211和接触检测单元251。
这种情况下的出血检测单元211通过分析监测目标图像来检测出血的发生。另外,接触检测单元251还通过分析监测目标图像来检测手术器械与器官的接触。
当然,上述功能块是示例。异常检测单元192可具有的功能是任意的,并且不限于示例。例如,异常检测单元192可以具有除了出血检测单元211和接触检测单元251以外的功能块,以实现除了由出血检测单元211和接触检测单元251所实现的功能以外的功能。另外,例如,可以省略出血检测单元211和接触检测单元251中的任何一个或两个。
<内窥镜控制处理的流程>
将参考图25的流程图描述在这种情况下的内窥镜手术支持系统100中执行的内窥镜控制处理的流程的示例。
当内窥镜控制处理开始时,在步骤S401中,光源装置112发射将从内窥镜121照射的光(照明光),以将光提供到内窥镜121。因此,光从内窥镜121朝向视角(对象)的内侧照射,以进行成像。
在步骤S402中,内窥镜121的成像单元171捕获包括内窥镜121的视野内部的区域的成像区域。
在步骤S403中,图像生成单元421将在步骤S402中获得的捕获图像的一部分提取作为显示图像,并将整个捕获图像设置为监测目标图像。
在步骤S404中,输出控制单元194将从步骤S403的处理获得的显示图像提供到输出装置114。输出装置114的监视器201将显示图像显示为内窥镜视野内图像(视野内部的区域的图像)。
在步骤S405中,监测装置113监测从步骤S403的处理获得的监测目标图像。
在步骤S406中,监测装置113确定内窥镜控制处理是否将结束。当确定处理不结束时,处理返回到步骤S401,并且重复执行该步骤和后续步骤。当在步骤S406中确定内窥镜控制处理将结束时,内窥镜控制处理结束。
<监测处理的流程>
接下来,将参考图26的流程图描述图25的步骤S405中执行的这种情况下的监测处理的流程的示例。当监测处理开始时,在步骤S421中,异常检测单元192使用监测目标图像来检测图像中的异常的发生。
在步骤S422中,通知信息生成单元193基于步骤S421的处理结果确定是否已经发生异常。当确定已经检测到异常的发生(即已经发生异常)时,处理进行到步骤S423。
在步骤S423中,通知信息生成单元193生成用于执行关于异常发生的通知的通知信息。在步骤S424中,输出控制单元194将在步骤S423中生成的通知信息提供到输出装置114,以使信息被输出。输出装置114输出所提供的通知信息。
当步骤S424的处理结束时,处理进行到步骤S425。另外,当在步骤S422中确定没有检测到异常的发生(即没有发生异常)时,处理进行到步骤S425。
在步骤S425中,监测装置113确定监测是否将要结束。当确定监测不结束时,处理返回到步骤S421,并且重复执行该步骤和后续步骤。
当在步骤S425中确定监测将结束时,监测处理结束,并且处理返回到图25的处理。
<异常检测处理的流程>
接下来,将参考图27的流程图描述在图26的步骤S421中执行的这种情况下的异常检测处理的流程的示例。
当异常检测处理开始时,在步骤S441中,出血检测单元211分析监测目标图像从而检测出血的发生。
在步骤S442中,接触检测单元251分析监测目标图像以检测手术器械与器官的接触。
当基于监测目标的每个参数的异常检测结束时,异常检测处理结束,并且处理返回到图26的处理。
<通知信息生成处理的流程>
接下来,将参考图28的流程图描述在图26的步骤S423中执行的这种情况下的通知信息生成处理的流程的示例。
当通知信息生成处理开始时,在步骤S461中,通知信息生成单元193的异常发生通知生成单元221生成异常发生通知。
在步骤S462中,异常发生位置指定单元222在捕获图像中指定异常发生地点与显示图像的位置(即,视野内部的区域中的位置)的相对位置。
在步骤S463中,异常发生位置指定单元222确定在步骤S462中指定的异常发生地点的位置是否在显示图像内(即,视野内部的区域内)。当确定异常发生地点的位置在显示图像内时,处理进行到步骤S464。
在步骤S464中,异常发生地点通知生成单元223生成异常发生地点通知。在生成异常发生地点通知后,通知信息生成处理结束,并且处理返回到图26的处理。
另外,当在图28的步骤S463中确定异常发生地点的位置在显示图像外时,处理进行到步骤S465。
在步骤S465中,异常发生方向通知生成单元224生成异常发生方向通知。在生成异常发生方向通知后,通知信息生成处理结束,并且处理返回到图26的处理。
通过执行上述处理,监测装置113可以使用由内窥镜121的成像单元171获得的捕获图像实现对内窥镜121的视野内部的图像的显示以及对内窥镜121的视野的内部和周围的感测。也就是说,监测装置113可以使更容易地确定在内窥镜的视野内部和周围发生的异常。
<5.第五实施方式>
<放大图像和俯瞰图像的显示>
注意,尽管已经在图22B中描述了捕获图像401的部分区域412被放大和显示的情况,当显示这种放大图像时,可以作为俯瞰图像与放大图像一起显示比捕获图像401的放大图像的区域412具有更宽范围的区域的图像。
当如上所述显示放大图像和俯瞰图像时,例如,可以以放大图像的画中画的形式显示俯瞰图像。
图29示出了这种情况下的显示图像的示例。在图29的示例中,在整个显示图像501中显示通过剪切并放大捕获图像的一部分而获得的放大图像502。俯瞰图像503以画中画的形式显示在显示图像501的右下区域中。
当如图29的示例中那样放大和显示病变512时,例如,放大图像502仅显示较窄的范围,诸如器官的一部分511等。通过如在图29的示例中那样在显示图像501内还显示俯瞰图像503,操作者等可以更准确地确定放大部分的位置和异常发生地点的位置。
注意,可以使用例如虚线框或高亮显示来表示俯瞰图像503的对应于放大图像的一部分。由于此表达,操作者等可以更容易地确定放大区域的位置、大小等。
此外,在显示图像501的情况下,可以在放大图像502或俯瞰图像503上显示各种通知,诸如异常发生通知、异常发生地点通知和异常发生方向通知。
注意,可以在不同的区域中显示放大图像502和俯瞰图像503。例如,可以在不同的监视器上显示放大图像502和俯瞰图像503。
俯瞰图像503最好是比捕获图像的放大图像的区域具有更宽范围的区域的图像。因此,可以将从捕获图像剪切出的部分的图像设置为俯瞰图像503,或者可以将整个捕获图像设置为俯瞰图像503。另外,例如,捕获图像的最大可显示范围的图像(非放大图像)可以被设置为俯瞰图像。在诸如图21B的示例的情况下,例如,整个区域402可以被设置为俯瞰图像503。
例如,俯瞰图像503的范围可以被设置为可变的。俯瞰图像503的范围可以根据例如预定手术器械的位置来决定。俯瞰图像503的范围可以被决定为使得例如钳子的远端被包括在其中。
在图30A至30C的示例中,例如,根据钳子521和522的位置设置俯瞰图像503的图像框531至533,使得钳子的远端被包括在其中。当如在图29的示例中那样在显示图像501中以画中画的形式显示俯瞰图像503时,俯瞰图像503的显示区域不宽,并且因此如果俯瞰图像503的范围被设置得过宽,则图像缩小率变得过高(图像变得非常小),并且担心操作者难以查看图像等。因此,通过允许操作者如在图30的示例中那样容易地任意设置俯瞰图像503,可以更适当地设置显示图像501中的俯瞰图像503的范围(图像缩小率),并且从而可以更容易地看到俯瞰图像503。
注意,当如上所述将俯瞰图像503的图像框531(范围)设置为可变时,其纵横比可以固定,如图30A和图30B的示例中那样。另外,其纵横比可以设置为可变,如图30C的示例中那样。
<监测装置等的主要配置的示例>
这种情况下的监测装置等的配置与图23的示例相同。例如,监测装置113具有图像生成单元421,并且图像生成单元421最好提取捕获图像的一部分并将该部分设置为放大图像的显示图像,以将比捕获图像的放大图像的显示图像更宽的范围设置为俯瞰图像的显示图像,并且将整个捕获图像设置为监测目标图像。利用这些设置,不仅可以显示放大图像502,还可以显示俯瞰图像503。
例如,图像生成单元421可以使放大图像502的显示图像的区域被包括在捕获图像中,将比放大图像502的显示图像的区域具有更宽范围的区域设置在放大图像中,并且提取所设置的区域作为俯瞰图像503的显示图像。利用该设置,俯瞰图像503的范围可以是可变的。
另外,例如,图像生成单元421可以根据预定外科器械的位置将要提取的区域设置为俯瞰图像503的显示图像。例如,图像生成单元421可以将要提取的区域设置为俯瞰图像503的显示图像,使得钳子的远端包括在其中。另外,例如,图像生成单元421可以将要提取的区域设置为具有固定纵横比的俯瞰图像503的显示图像。
利用该设置,操作者可以更容易地设置俯瞰图像503的范围。
另外,输出控制单元194可以使俯瞰图像的显示图像显示在放大图像的显示图像的一部分上(以画中画的形式),如图29的示例中那样。
注意,由于除了在内窥镜控制处理中在步骤S403中从捕获图像提取放大图像的显示图像和俯瞰图像的显示图像以及在步骤S404中以画中画形式将俯瞰图像的显示图像与放大图像的显示图像组合之外,这种情况下的每个处理的流程与第四实施方式中所描述的相同,因此将省略其描述。
另外,可以通过固定俯瞰图像503在捕获图像中的范围并且控制捕获图像的范围(即,通过成像单元171成像的视角),来控制俯瞰图像503的范围。例如,可以像CCU 111控制由成像单元171进行成像的视角那样来控制由图像生成单元421生成的俯瞰图像503的显示图像的范围。
在这种情况下,CCU 111可以例如根据预定手术器械的位置来控制成像单元171成像的视角。另外,CCU 111可以控制成像单元171成像的视角,使得例如钳子的远端被包括在俯瞰图像503中。此外,CCU 111可以控制成像单元171成像的视角,使得例如俯瞰图像503的范围的纵横比固定。
<监测装置等的主要配置的示例>
即使当如上所述控制成像的视角时,监测装置等的配置与图23的示例也是相同的。
<内窥镜控制处理的流程>
将参考图31的流程图描述如上控制成像的视角时的内窥镜控制处理的流程的示例。然而,为了便于描述,将在假设俯瞰图像的范围是整个捕获图像的情况下,描述俯瞰图像的范围。
当内窥镜控制处理开始时,在步骤S501中,光源装置112发射将从内窥镜121照射的光(照明光),以将光提供到内窥镜121。因此,光从内窥镜121朝向视角(对象)的内侧照射,以进行成像。
在步骤S502中,CCU 111控制内窥镜121的成像单元171的视角。在步骤S503中,内窥镜121的成像单元171对内窥镜121的视野的内部进行成像。
在步骤S504中,图像生成单元421将在步骤S503中获得的捕获图像的一部分提取作为放大图像502,并进一步将整个捕获图像设置为俯瞰图像503和监测目标图像。
在步骤S505中,输出控制单元194生成从步骤S504的处理获得的以画中画形式显示在放大图像中的俯瞰图像的显示图像,并将该显示图像提供到输出装置114。输出装置114的监视器201显示该显示图像。
在步骤S506中,监测装置113监测从步骤S504的处理获得的监测目标图像。
在步骤S507中,监测装置113确定内窥镜控制处理是否将结束。当确定处理不结束时,处理返回到步骤S501,并且重复执行该步骤和后续步骤。当在步骤S507中确定内窥镜控制处理将结束时,内窥镜控制处理结束。
由于其他处理与第四实施方式中描述的那些相同,因此省略其描述。
通过执行上述处理,操作者可以更容易地设置俯瞰图像503的范围。
<6.第六实施方式>
<计算机>
上述一系列处理可以由硬件或软件执行。当通过软件执行一系列处理时,构成软件的程序被安装在计算机中。这里所指的计算机包括例如与专用硬件结合的计算机,或可以通过安装在其中的各种程序执行各种功能的通用个人计算机等。
图32是示出执行程序中的上述一系列处理的计算机的硬件的配置示例的框图。
在图32所示的计算机900中,中央处理单元(CPU)901、只读存储器(ROM)902和随机存取存储器(RAM)903通过总线904彼此连接。
输入和输出接口910也与总线904连接。输入和输出接口910与输入单元911、输出单元912、存储单元913、通信单元914和驱动器915连接。
输入单元911例如包括键盘、鼠标、麦克风、触摸面板、输入终端等。输出单元912例如包括显示器、扬声器、输出终端等。存储单元913例如包括硬盘、RAM盘、非易失性存储器等。通信单元914例如包括网络接口。驱动器915驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质921。
在如上所述配置的计算机中,CPU 901通过例如经由输入和输出接口910和总线904在RAM 903中加载存储在存储单元913中的程序并且执行该程序,来执行上述一系列处理。RAM 903还适当地存储CPU 901执行各种处理所必需的数据等。
由计算机(CPU 901)执行的程序可以被记录在例如可移除介质921中,可移除介质921是应用的封装介质等。在这种情况下,可以通过在驱动器915中加载可移除介质921,将程序经由输入和输出接口910安装在存储单元913中。
另外,还可以通过诸如局域网、互联网或数字卫星广播的有线或无线传输介质提供该程序。在这种情况下,程序可由通信单元914接收并被安装在存储单元913中。
另外,该程序还可以预先安装在ROM 902或存储单元913中。
注意,由计算机执行的程序可以是以本说明书中描述的顺序按时间顺序执行处理的程序或并行(或在必要时,诸如执行调用时)执行处理的程序。
另外,用于描述记录在记录介质中的程序的步骤当然包括以所述顺序按时间顺序执行但不是必需按时间顺序执行的处理,并且包括并行执行或独立执行的处理。
另外,上述每个步骤的处理可以由上述相应装置或除上述装置之外的任意装置执行。在这种情况下,执行处理的装置最好具有执行处理所必需的上述功能(功能块等)。另外,最好将处理所必需的信息适当地传输到装置。
另外,无论所有构成元件是否在相同的壳体中,系统意味着本说明书中的多个构成元件(装置、模块(组件)等)的集合。因此,被各自容纳在单独的壳体中并且经由网络彼此连接的多个装置,以及通过在一个壳体中容纳多个模块而形成的一个装置都是系统。
另外,在以上描述中被描述为一个装置(或处理单元)的配置可以被划分为多个装置(或处理单元)。相反,以上被描述作为多个装置(或处理单元)的配置可被放置在一起以将它们配置为一个装置(或处理单元)。另外,除了上述那些以外的配置当然也可以被添加到每个装置(或每个处理单元)的配置。此外,只要系统的整体配置和操作基本相同,则某个装置(或处理单元)的配置的一部分可以被包括在另一个装置(或另一个处理单元)的配置中。
尽管已经参考附图详细描述了本公开的示例性实施方式,但是本公开的技术范围不限于此。显然,在本公开的技术领域中具有一般知识的人员可以在权利要求书中描述的技术要点的范围内获得各种修改和改变的示例,并且还应当理解,这些示例当然归入本公开的技术范围内。
例如,本技术可以具有云计算的配置,该配置中一个功能由多个装置通过网络共享和处理。
另外,上述流程图中描述的每个步骤可以由一个装置执行,并且由多个装置共享和执行。
此外,当在一个步骤中包含多个处理时,一个步骤中所包含的多个处理可以在一个装置中执行,或由多个装置共享和执行。
另外,本技术不限于上述内容,并且可以以构成系统的这种装置或多个装置中所采用的任何配置来执行,例如系统大规模集成(LSI)等的处理器、使用多个处理器等的模块、使用多个模块等的单元、通过进一步向单元添加另一个功能而获得的集合(即,装置的部分配置)等。
本技术可以应用于例如内窥镜装置、与内窥镜装置一起使用的手术支持装置、控制此类装置的计算机、支持内窥镜手术的信息处理系统、其软件模块等。
本领域技术人员应当理解,根据设计要求和其他因素,可以进行各种修改、组合、子组合和更改,只要它们在所附权利要求或其等同物的范围内。
此外,本技术也可以如下配置。
(1)一种信息处理装置,包括:
异常检测单元,被配置为基于感测区域的感测的结果来检测在内窥镜的视野外部的区域中的异常的发生,感测区域包括视野外部的区域的至少一部分;
通知信息生成单元,被配置为生成用于执行关于由异常检测单元检测到的异常的通知的通知信息。
(2)根据(1)所述的信息处理装置,其中,通知信息生成单元生成用于执行关于由异常检测单元检测到的异常发生地点的通知的通知信息。
(3)根据(2)所述的信息处理装置,
其中,感测区域还包括内窥镜的视野内部的区域的至少一部分,以及
其中,异常检测单元进一步基于感测区域的感测的结果来检测视野内部的区域中的异常的发生。
(4)在(3)中所描述的信息处理装置,其中,通知信息生成单元使用根据异常发生地点的位置的方法生成用于执行关于异常发生地点的通知的通知信息。
(5)根据(4)所述的信息处理装置,其中,通知信息生成单元使用根据异常发生地点的位置是否在视野内部的区域内的方法生成用于执行关于异常发生地点的通知的通知信息。
(6)在(5)中所描述的信息处理装置,其中,当异常发生地点的位置在视野内部的区域内时,通知信息生成单元生成用于执行关于异常发生地点的通知的通知信息。
(7)在(6)中所描述的信息处理装置,其中,通知信息生成单元生成在视野内部的区域的图像上指示异常发生地点的图像,作为用于执行关于异常发生地点的通知的通知信息。
(8)在(6)中所描述的信息处理装置,其中,通知信息生成单元生成指示异常发生地点的声音,作为用于执行关于异常发生地点的通知的通知信息。
(9)在(5)中所描述的信息处理装置,其中,当异常发生地点的位置在视野外部的区域内时,通知信息生成单元生成用于执行关于异常发生地点的方向的通知的通知信息。
(10)在(9)中所描述的信息处理装置,其中,通知信息生成单元生成在视野内部的区域的图像上指示异常发生地点的方向的图像,作为用于执行关于异常发生地点的方向的通知的通知信息。
(11)在(9)中所描述的信息处理装置,其中,通知信息生成单元生成指示异常发生地点的方向的声音,作为用于执行关于异常发生地点的方向的通知的通知信息。
(12)在(4)中所描述的信息处理装置,其中,通知信息生成单元指定异常发生地点的位置,并且使用根据所指定的异常发生地点的位置的方法生成用于执行关于异常发生地点的通知的通知信息。
(13)在(12)中所描述的信息处理装置,其中,通知信息生成单元确定所指定的异常发生地点的位置是否在视野内部的区域内,并且使用根据确定的结果的方法生成用于执行关于异常发生地点的通知的通知信息。
(14)在(12)中所描述的信息处理装置,其中,通知信息生成单元将异常发生地点的位置指定为与视野内部的区域中的位置的相对位置。
(15)在(1)中所描述的信息处理装置,其中,通知信息生成单元生成用于执行关于异常检测单元进行的异常检测的通知的通知信息。
(16)在(15)中所描述的信息处理装置,其中,通知信息生成单元生成用于给出已经检测到异常的通知的通知信息。
(17)在(16)中所描述的信息处理装置,其中,通知信息生成单元生成用于给出已经检测到异常的通知的图像,作为用于给出已经检测到异常的通知的通知信息。
(18)在(16)中所描述的信息处理装置,其中,通知信息生成单元生成用于给出已经检测到异常的通知的声音,作为用于给出已经检测到异常的通知的通知信息。
(19)在(15)中所描述的信息处理装置,其中,通知信息生成单元生成用于执行关于检测到的异常的内容的通知的通知信息。
(20)在(19)中所描述的信息处理装置,其中,通知信息生成单元生成用于执行关于异常的内容的通知的图像,作为用于执行关于异常的内容的通知的通知信息。
(21)在(19)中所描述的信息处理装置,其中,通知信息生成单元生成用于执行关于异常的内容的通知的声音,作为用于执行关于异常的内容的通知的通知信息。
(22)在(1)中所描述的信息处理装置,其中,异常检测单元将出血的发生检测为异常的发生。
(23)在(22)中所描述的信息处理装置,其中,异常检测单元基于作为感测结果获得的感测区域的温度分布,检测出血的发生。
(24)在(1)中所描述的信息处理装置,其中,异常检测单元将手术器械的温度异常的发生检测为异常的发生。
(25)在(24)中所描述的信息处理装置,其中,异常检测单元基于作为感测结果获得的感测区域的温度分布,检测手术器械的温度异常的发生。
(26)在(1)中所描述的信息处理装置,其中,异常检测单元将器官的温度异常的发生检测为异常的发生。
(27)在(26)中所描述的信息处理装置,其中,异常检测单元基于作为感测结果获得的感测区域的温度分布,检测器官的温度异常的发生。
(28)在(1)中所描述的信息处理装置,进一步包括视野位置估计单元,被配置为估计视野内部的区域的位置。
(29)在(28)中所描述的信息处理装置,其中,视野位置估计单元基于感测的结果来估计视野内部的区域的位置。
(30)在(29)中所描述的信息处理装置,其中,视野位置估计单元进一步基于内窥镜的姿势或执行感测的传感器单元的姿势来估计视野内部的区域的位置。
(31)在(29)中所描述的信息处理装置,其中,视野位置估计单元进一步基于视野内部的区域的图像来估计视野内部的区域的位置。
(32)在(28)中所描述的信息处理装置,其中,通知信息生成单元将异常发生地点的位置指定为与视野位置估计单元估计的视野内部的区域中的位置的相对位置,并且使用根据所指定的异常发生地点的位置的方法生成用于执行关于异常的通知的通知信息。
(33)根据(1)所述的信息处理装置,进一步包括:
输出单元,被配置为输出由通知信息生成单元生成的通知信息。
(34)在(33)中所描述的信息处理装置,其中,输出单元包括被配置为显示通知信息的图像的显示单元。
(35)在(34)中所描述的信息处理装置,其中,显示单元进一步显示视野内部的区域的图像。
(36)在(34)中所描述的信息处理装置,其中,显示单元进一步显示与感测的结果相关的图像。
(37)在(33)中所描述的信息处理装置,其中,输出单元包括被配置为输出通知信息的声音的声音输出单元。
(38)在(36)中所描述的信息处理装置,其中,声音输出单元进一步输出与感测的结果相关的声音。
(39)在(1)中所描述的信息处理装置,进一步包括被配置为在感测区域上执行感测的传感器单元,并且其中,异常检测单元基于传感器单元进行的感测的结果检测异常的发生。
(40)在(39)中所描述的信息处理装置,其中,传感器单元感测图像、光、电、声音、振动、加速度、速度、角速度、姿势、力、温度、湿度、流速、磁性、化学物质和气味中的至少一种。
(41)在(40)中所描述的信息处理装置,其中,传感器单元进一步感测传感器单元的姿势。
(42)在(1)中所描述的信息处理装置,进一步包括内窥镜。
(43)在(1)中所描述的信息处理装置,其中,异常检测单元将手术器械与器官的接触的发生检测为异常的发生。
(44)在(43)中所描述的信息处理装置,其中,异常检测单元基于作为感测结果获得的感测区域的温度分布以及感测区域的立体图像,来检测接触的发生。
(45)根据(1)所述的信息处理装置,其中,通知信息生成单元进一步向监管者而不是在视野内部的区域中执行任务的操作者生成用于执行关于异常检测单元检测到的异常的通知的监管者专用通知信息。
(46)在(45)中所描述的信息处理装置,其中,监管者专用通知信息是用于使用与通知信息不同的图像或声音或者图像和声音两者来执行关于异常检测单元检测到的异常的通知的信息。
(47)在(45)中所描述的信息处理装置,其中,通知信息生成单元生成用于给出已经检测到异常的通知的图像,作为监管者专用通知信息。
(48)在(45)中所描述的信息处理装置,其中,通知信息生成单元生成用于给出已经检测到异常的通知的声音,作为监管者专用通知信息。
(49)在(45)中所描述的信息处理装置,其中,通知信息生成单元生成用于执行关于异常的内容的通知的图像,作为监管者专用通知信息。
(50)在(45)中所描述的信息处理装置,其中,通知信息生成单元生成用于执行关于异常的内容的通知的声音,作为监管者专用通知信息。
(51)根据(45)所述的信息处理装置,其中,通知信息生成单元生成用于执行关于异常发生地点的通知的图像,作为监管者专用通知信息。
(52)根据(45)所述的信息处理装置,其中,通知信息生成单元生成用于执行关于异常发生地点的通知的声音,作为监管者专用通知信息。
(53)在(45)中所描述的信息处理装置,进一步包括监管者专用输出单元,监管者专用输出单元被配置为输出由通知信息生成单元生成的监管者专用通知信息。
(54)在(53)中所描述的信息处理装置,其中,监管者专用输出单元包括被配置为显示监管者专用通知信息的图像的显示单元。
(55)在(54)中所描述的信息处理装置,其中,显示单元进一步显示视野内部的区域的图像以及与感测的结果相关的图像。
(56)在(53)中所描述的信息处理装置,其中,监管者专用输出单元包括被配置为输出监管者专用通知信息的声音的声音输出单元。
(57)在(56)中所描述的信息处理装置,其中,声音输出单元进一步输出与感测的结果相关的声音。
(58)在(1)中所描述的信息处理装置,进一步包括被配置为生成显示图像和监测目标图像的图像生成单元,监测目标图像作为使用由内窥镜的成像单元进行成像而获得的捕获图像感测的结果,用于由异常检测单元检测异常的发生。
(59)在(58)中所描述的信息处理装置,其中,图像生成单元提取捕获图像的一部分并且将该图像设置为显示图像。
(60)在(58)中所描述的信息处理装置,其中,图像生成单元将整个捕获图像设置为监测目标图像。
(61)在(58)中所描述的信息处理装置,其中,捕获图像由通过内窥镜的多个成像单元成像并获得的多个捕获图像构成。
(62)在(58)中所描述的信息处理装置,其中,异常检测单元通过分析由图像生成单元生成的监测目标图像,将出血的发生检测为异常的发生。
(63)在(58)中所描述的信息处理装置,其中,异常检测单元通过分析图像生成单元生成的监测目标图像,将手术器械与器官的接触的发生检测为异常的发生。
(64)在(58)中所描述的信息处理装置,其中,图像生成单元提取捕获图像的一部分,将该图像设置为放大图像的显示图像,将比捕获图像的放大图像的显示图像的更宽的范围设置为俯瞰图像的显示图像,并且将整个捕获图像设置为监测目标图像。
(65)在(64)中所描述的信息处理装置,其中,图像生成单元使放大图像的显示图像的区域被包括在捕获图像中,在捕获图像中设置比放大图像的显示图像的区域更宽的范围的区域,并且将所设置的图像提取为俯瞰图像的显示图像。
(66)在(65)中所描述的信息处理装置,其中,图像生成单元根据预定手术器械的位置设置该区域。
(67)在(65)中所描述的信息处理装置,其中,图像生成单元将该区域设置为包括钳子的远端。
(68)在(65)中所描述的信息处理装置,其中,图像生成单元以固定的纵横比设置该区域。
(69)在(64)中所描述的信息处理装置,进一步包括输出控制单元,输出控制单元被配置为使俯瞰图像的显示图像叠加在放大图像的显示图像的一部分上并被显示。
(70)根据(64)所述的信息处理装置,进一步包括:
视角控制单元,被配置为通过控制成像单元进行成像的视角来控制图像生成单元生成的俯瞰图像的显示图像的视角。
(71)在(70)中所描述的信息处理装置,其中,视角控制单元根据预定手术器械的位置来控制成像单元进行成像的视角。
(72)在(70)中所描述的信息处理装置,其中,视角控制单元控制成像单元成像的视角,使得对钳子的远端进行成像。
(73)在(70)中所描述的信息处理装置,其中,视角控制单元以固定的纵横比控制成像单元成像的视角。
(74)一种信息处理方法,包括:
基于感测区域的感测的结果检测内窥镜的视野外部的区域中的异常的发生,感测区域包括视野外部的区域的至少一部分;以及
生成用于执行关于检测到的异常的通知的通知信息。
(75)一种手术系统,包括:
监测传感器,被配置为在手术部位的感测区域中感测身体内的手术部位的特征,感测区域包括在内窥镜的显示区外部的区域的至少一部分;以及
电路,被配置为
基于由监测传感器感测的结果检测内窥镜的显示区外部的区域中的医疗异常的发生,并且生成关于检测到的医疗异常的通知信息。
(76)在(75)中所描述的手术系统,其中,监测传感器是与内窥镜分离的装置。
(77)在(75)中所描述的手术系统,其中,监测传感器被结合到内窥镜中。
(78)在(77)中所描述的手术系统,其中,内窥镜包括至少一个成像传感器,并且
其中,监测传感器包括至少一个成像传感器。
(79)在(75)中所描述的手术系统,其中,通知信息进一步包括关于医疗异常的发生地点的信息。
(80)在(79)中所描述的手术系统,其中,手术部位的感测区域还包括内窥镜的显示区内部的区域的至少一部分,以及
其中,电路被进一步配置为基于由监测传感器感测的结果检测内窥镜的显示区内部的区域中的医疗异常的发生。
(81)在(80)中所描述的手术系统,其中,电路被进一步配置为基于医疗异常的发生地点是否在内窥镜的显示区内部的区域内,生成关于医疗异常的发生地点的通知信息。
(82)在(81)中所描述的手术系统,其中,当发生地点在内窥镜的显示区内部的区域内时,电路被进一步配置为生成指示内窥镜的显示区内部的区域的图像上的发生地点的图像和/或指示发生地点的声音,作为通知信息。
(83)在(81)中所描述的手术系统,其中,当发生地点在内窥镜的显示区外部的区域内时,电路被进一步配置为生成指示内窥镜的显示区内部的区域的图像上的发送地点的方向的图像和/或指示发生地点的方向的声音,作为通知信息。
(84)在(81)中所描述的手术系统,其中,电路被进一步配置为将发生地点指定为与内窥镜的显示区内部的区域中的位置的相对位置,确定所指定的发生地点的位置是否在内窥镜的显示区内部的区域内,以及基于确定的结果生成用于执行关于发生地点的通知的通知信息。
(85)在(84)中所描述的手术系统,其中,电路被进一步配置为估计内窥镜的显示区内部的区域的位置,以及将发生位置指定为与内窥镜的显示区内部的区域中的位置的相对位置。
(86)在(75)中所描述的手术系统,其中,电路被进一步配置为生成已经检测到医疗异常的第一通知以及关于检测到的医疗异常的内容的第二通知作为通知信息,该通知信息具有或不具有对应于通知的图像或声音。
(87)在(75)中所描述的手术系统,其中,医疗异常的发生是出血的发生、手术器械的温度异常的发生、器官的温度异常的发生或手术器械与器官的接触的发生。
(88)在(75)中所描述的手术系统,其中,电路被进一步配置为向监管者而不是在内窥镜的显示区内部的区域中执行任务的操作者生成用于执行关于检测到的医疗异常的通知的监管者专用通知信息。
(89)在(75)中所描述的手术系统,其中,电路被配置为提取通过内窥镜获得的捕获图像的一部分,将捕获图像的一部分设置为显示图像,并且将捕获图像的全部设置为将被用于检测医疗异常的发生的监测目标图像。
(90)如(89)所描述的手术系统,其中,电路被进一步配置为将捕获图像的一部分设置为放大图像,将比捕获图像的放大图像的更宽的范围设置为俯瞰图像,俯瞰图像通过叠加在放大图像的一部分上的方式被显示,并且将捕获图像的全部设置为将用于检测医疗异常的发生的监测目标图像。
(91)在(90)中所描述的手术系统,其中,电路被进一步配置为通过根据预定手术器械的位置控制成像的视角来控制俯瞰图像的视角。
(92)在(75)中所描述的手术系统,其中,手术部位的特征是图像、光、电、声音、振动、加速度、速度、角速度、姿势、力、温度、湿度、流速、磁性、化学物质和气味中的至少一种。
(93)一种信息处理装置,包括:电路,被配置为基于由监测传感器感测的结果,检测内窥镜的显示区外部的区域中的医疗异常的发生,监测传感器被配置为在手术部位的感测区域中感测身体内的手术部位的特征,感测区域包括在内窥镜的显示区外部的区域的至少一部分,以及
生成关于检测到的医疗异常的通知信息。
(94)在(93)中所描述的信息处理装置,其中,通知信息进一步包括关于医疗异常的发生地点的信息。
(95)在(94)中所描述的信息处理装置,其中,手术部位的感测区域还包括内窥镜的显示区内部的区域的至少一部分,以及
其中,电路被进一步配置为基于由监测传感器感测的结果来检测内窥镜的显示区内部的区域中的医疗异常的发生。
(96)在(95)中所描述的信息处理装置,其中,电路被进一步配置为基于医疗异常的发生地点是否在内窥镜的显示区内部的区域内,生成关于医疗异常的发生地点的通知信息。
(97)在(96)中所描述的信息处理装置,其中,当发生地点在内窥镜的显示区内部的区域内时,电路被配置为生成指示内窥镜的显示区内部的区域的图像上的发生地点的图像和/或指示发生地点的声音,作为通知信息。
(98)在(96)中所描述的信息处理装置,其中,当发生地点在内窥镜的显示区外部的区域内时,电路被进一步配置为生成指示内窥镜的显示区内部的区域的图像上的发生地点的方向的图像和/或指示发生地点的方向的声音,作为通知信息。
(99)在(96)中所描述的信息处理装置,其中,电路被进一步配置为将发生地点指定为与内窥镜的显示区内部的区域中的位置的相对位置,
确定所指定的发生地点的位置是否在内窥镜的显示区内部的区域内,以及
基于确定的结果生成用于执行关于发生地点的通知的通知信息。
(100)在(99)中所描述的信息处理装置,其中,电路被进一步配置为估计内窥镜的显示区内部的区域的位置,以及
将发生地点指定为与内窥镜的显示区内部的区域中的位置的相对位置。
(101)在(93)中所描述的信息处理装置,其中,电路被进一步配置为生成已经检测到医疗异常的第一通知以及关于检测到的医疗异常的内容的第二通知作为通知信息,该通知信息具有或不具有对应于通知的图像或声音。
(102)在(93)中所描述的信息处理装置,其中,医疗异常的发生是出血的发生、手术器械的温度异常的发生、器官的温度异常的发生或手术器械与器官的接触的发生。
(103)在(93)中所描述的信息处理装置,其中,电路被进一步配置为向监管者而不是在内窥镜的显示区内部的区域中执行任务的操作者生成用于执行关于检测到的医疗异常的通知的监管者专用通知信息。
(104)在(93)中所描述的信息处理装置,其中,电路被配置为:
提取通过内窥镜获得的捕获图像的一部分,
将捕获图像的一部分设置为显示图像,以及
将捕获图像的全部设置为将被用于检测医疗异常的发生的监测目标图像。
(105)在(104)中所描述的信息处理装置,其中,电路被进一步配置为:
将捕获图像的一部分设置为放大图像,
将相比捕获图像的放大图像的更宽范围设置为俯瞰图像,俯瞰图像将通过叠加在放大图像的一部分上的方式被显示,以及
将捕获图像的全部设置为将用于检测医疗异常的发生的监测目标图像。
(106)在(105)中所描述的信息处理装置,其中,电路被进一步配置为通过根据预定手术器械的位置控制成像的视角来控制俯瞰图像的视角。
(107)在(93)中所描述的信息处理装置,其中,手术部位的特征是图像、光、电、声音、振动、加速度、速度、角速度、姿势、力、温度、湿度、流速、磁性、化学物质和气味中的至少一种。
(108)一种信息处理方法,包括:
基于由监测传感器感测的结果,检测内窥镜的显示区外部的区域中的医疗异常的发生,监测传感器被配置为在手术部位的感测区域中感测身体内的手术部位的特征,感测区域包括在内窥镜的显示区外部的区域的至少一部分,以及
生成关于检测到的医疗异常的通知信息。
参考符号列表
100 内窥镜手术支持系统
111 CCU
112 光源装置
113 监测装置
114 输出装置
115 手术器械控制装置
116 气腹装置
121 内窥镜
122 能量装置
123 钳子
124 气腹针
125 监测传感器
131 套管针
141 病床
151 患者
161 病变
162 视野内部的区域
163 视野外部的区域
171 成像单元
172 陀螺仪传感器
181 热传感器
182 陀螺仪传感器
191 视野位置估计单元
192 异常检测单元
193 通知信息生成单元
194 输出控制单元
201 监视器
202 扬声器
211 出血检测单元
212 手术器械温度异常检测单元
213 器官温度异常检测单元
221 异常发生通知生成单元
222 异常发生位置指定单元
223 异常发生地点通知生成单元
224 异常发生方向通知生成单元
230 内窥镜视野内图像
231 病变
232 积血
233 异常发生通知图像
234 异常发生地点通知图像
235 异常发生方向通知图像
241 立体照相机
251 接触检测单元
301 操作者专用输出装置
302 监管者专用输出装置
311 监视器
312 扬声器
321 监视器
322 扬声器
331 感测结果通知生成单元
341 病变
342 视野内部的区域
343 视野外部的区域
361 异常发生通知图像
362 异常发生地点通知图像
401 捕获图像
421 图像生成单元
501 显示图像
502 放大图像
503 俯瞰图像
511 器官
512 病变
521、522 钳子
531至533 图像框
900 计算机。

Claims (34)

1.一种手术系统,包括:
监测传感器,被配置为在手术部位的感测区域中感测身体内的所述手术部位的特征,所述手术部位的所述感测区域包括在内窥镜的显示区外部的区域的至少一部分;以及
电路,被配置为
基于由所述监测传感器感测的结果,检测在所述内窥镜的所述显示区外部的区域中的医疗异常的发生,并且
生成关于检测到的医疗异常的通知信息。
2.根据权利要求1所述的手术系统,其中,所述监测传感器是与所述内窥镜分离的装置。
3.根据权利要求1所述的手术系统,其中,所述监测传感器被结合到所述内窥镜中。
4.根据权利要求3所述的手术系统,其中,所述内窥镜包括至少一个成像传感器,并且
其中,所述监测传感器包括至少一个所述成像传感器。
5.根据权利要求1所述的手术系统,其中,所述通知信息进一步包括关于所述医疗异常的发生地点的信息。
6.根据权利要求5所述的手术系统,其中,所述手术部位的所述感测区域还包括在所述内窥镜的所述显示区内部的区域的至少一部分,并且
其中,所述电路被进一步配置为基于由所述监测传感器感测的结果,检测在所述内窥镜的所述显示区内部的区域中的医疗异常的发生。
7.根据权利要求6所述的手术系统,其中,所述电路被进一步配置为基于所述医疗异常的所述发生地点是否在所述内窥镜的所述显示区内部的区域内,来生成关于所述医疗异常的所述发生地点的所述通知信息。
8.根据权利要求7所述的手术系统,其中,当所述发生地点在所述内窥镜的所述显示区内部的区域内时,所述电路被配置为生成在所述内窥镜的所述显示区内部的区域的图像上指示所述发生地点的图像和/或生成指示所述发生地点的声音,作为所述通知信息。
9.根据权利要求7所述的手术系统,其中,当所述发生地点在所述内窥镜的所述显示区外部的区域内时,所述电路被进一步配置为生成在所述内窥镜的所述显示区内部的区域的图像上指示所述发生地点的方向的图像和/或生成指示所述发生地点的方向的声音,作为所述通知信息。
10.根据权利要求7所述的手术系统,其中,所述电路被进一步配置为
将所述发生地点指定为与所述内窥镜的所述显示区内部的区域中的位置的相对位置,
确定所指定的所述发生地点的位置是否在所述内窥镜的所述显示区内部的区域内,以及
基于确定的结果,生成用于执行关于所述发生地点的通知的所述通知信息。
11.根据权利要求10所述的手术系统,其中,所述电路被进一步配置为估计所述内窥镜的所述显示区内部的区域的位置,并且将所述发生地点指定为与所述内窥镜的所述显示区内部的区域中的位置的所述相对位置。
12.根据权利要求1所述的手术系统,其中,所述电路被进一步配置为生成已经检测到所述医疗异常的第一通知、关于检测到的所述医疗异常的内容的第二通知作为所述通知信息,所述通知信息具有或不具有对应于通知的图像或声音。
13.根据权利要求1所述的手术系统,其中,所述医疗异常的发生是出血的发生、手术器械的温度异常的发生、器官的温度异常的发生或手术器械与器官的接触的发生。
14.根据权利要求1所述的手术系统,其中,所述电路被进一步配置为向监管者而不是在所述内窥镜的所述显示区内部的区域中执行任务的操作者生成用于执行关于检测到的所述医疗异常的通知的监管者专用通知信息。
15.根据权利要求1所述的手术系统,其中,所述电路被配置为
提取由所述内窥镜获得的捕获图像的一部分,
将所述捕获图像的所述一部分设置为显示图像,以及
将所述捕获图像的全部设置为将用于检测所述医疗异常的发生的监测目标图像。
16.根据权利要求15所述的手术系统,其中,所述电路被进一步配置为
将所述捕获图像的所述一部分设置为放大图像,
将比所述捕获图像的所述放大图像宽的范围设置为俯瞰图像,所述俯瞰图像将通过叠加在所述放大图像的一部分上来显示,以及
将所述捕获图像的全部设置为将用于检测所述医疗异常的发生的所述监测目标图像。
17.根据权利要求16所述的手术系统,其中,所述电路被进一步配置为通过根据预定手术器械的位置控制成像的视角,来控制所述俯瞰图像的视角。
18.根据权利要求1所述的手术系统,其中,所述手术部位的特征是图像、光、电、声音、振动、加速度、速度、角速度、姿势、力、温度、湿度、流速、磁性、化学物质和气味中的至少一种。
19.一种信息处理装置,包括:
电路,被配置为
基于由监测传感器感测的结果,检测在内窥镜的显示区外部的区域中的医疗异常的发生并且生成关于检测到的医疗异常的通知信息,所述监测传感器被配置为在手术部位的感测区域中感测身体内的所述手术部位的特征,所述手术部位的所述感测区域包括在所述内窥镜的所述显示区外部的区域的至少一部分。
20.根据权利要求19所述的信息处理装置,其中,所述通知信息进一步包括关于所述医疗异常的发生地点的信息。
21.根据权利要求20所述的信息处理装置,其中,所述手术部位的所述感测区域还包括在所述内窥镜的所述显示区内部的区域的至少一部分,并且
其中,所述电路被进一步配置为基于由所述监测传感器感测的结果,检测在所述内窥镜的所述显示区内部的区域中的医疗异常的发生。
22.根据权利要求21所述的信息处理装置,其中,所述电路被进一步配置为基于所述医疗异常的所述发生地点是否在所述内窥镜的所述显示区内部的区域内,来生成关于所述医疗异常的所述发生地点的所述通知信息。
23.根据权利要求22所述的信息处理装置,其中,当所述发生地点在所述内窥镜的所述显示区内部的区域内时,所述电路被配置为生成在所述内窥镜的所述显示区内部的区域的图像上指示所述发生地点的图像和/或生成指示所述发生地点的声音,作为所述通知信息。
24.根据权利要求22所述的信息处理装置,其中,当所述发生地点在所述内窥镜的所述显示区外部的区域内时,所述电路被进一步配置为生成在所述内窥镜的所述显示区内部的区域的图像上指示所述发生地点的方向的图像和/或生成指示所述发生地点的方向的声音,作为所述通知信息。
25.根据权利要求22所述的信息处理装置,其中,所述电路被进一步配置为
将所述发生地点指定为与所述内窥镜的所述显示区内部的区域中的位置的相对位置,
确定所指定的所述发生地点的位置是否在所述内窥镜的所述显示区内部的区域内,以及
基于确定的结果,生成用于执行关于所述发生地点的通知的所述通知信息。
26.根据权利要求25所述的信息处理装置,其中,所述电路被进一步配置为
估计所述内窥镜的所述显示区内部的区域的位置,并且
将所述发生地点指定为与所述内窥镜的所述显示区内部的区域中的位置的所述相对位置。
27.根据权利要求19所述的信息处理装置,其中,所述电路被进一步配置为生成已经检测到所述医疗异常的第一通知、关于检测到的所述医疗异常的内容的第二通知作为所述通知信息,所述通知信息具有或不具有对应于通知的图像或声音。
28.根据权利要求19所述的信息处理装置,其中,所述医疗异常的发生是出血的发生、手术器械的温度异常的发生、器官的温度异常的发生或手术器械与器官的接触的发生。
29.根据权利要求19所述的信息处理装置,其中,所述电路被进一步配置为向监管者而不是在所述内窥镜的所述显示区内部的区域中执行任务的操作者生成用于执行关于检测到的所述医疗异常的通知的监管者专用通知信息。
30.根据权利要求19所述的信息处理装置,其中,所述电路被配置为
提取由所述内窥镜获得的捕获图像的一部分,
将所述捕获图像的所述一部分设置为显示图像,以及
将所述捕获图像的全部设置为将用于检测所述医疗异常的发生的监测目标图像。
31.根据权利要求30所述的信息处理装置,其中,所述电路被进一步配置为
将所述捕获图像的所述一部分设置为放大图像,
将比所述捕获图像的所述放大图像宽的范围设置为俯瞰图像,所述俯瞰图像将通过叠加在所述放大图像的一部分上来显示,以及
将所述捕获图像的全部设置为将用于检测所述医疗异常的发生的所述监测目标图像。
32.根据权利要求31所述的信息处理装置,其中,所述电路被进一步配置为通过根据预定手术器械的位置控制成像的视角,来控制所述俯瞰图像的视角。
33.根据权利要求19所述的信息处理装置,其中,所述手术部位的特征是图像、光、电、声音、振动、加速度、速度、角速度、姿势、力、温度、湿度、流速、磁性、化学物质和气味中的至少一种。
34.一种信息处理方法,包括:
基于由监测传感器感测的结果,检测在内窥镜的显示区外部的区域中的医疗异常的发生并且生成关于检测到的医疗异常的通知信息,所述监测传感器被配置为在手术部位的感测区域中感测身体内的所述手术部位的特征,所述手术部位的所述感测区域包括在所述内窥镜的所述显示区外部的区域的至少一部分。
CN201680016388.1A 2015-03-26 2016-03-15 手术系统、信息处理装置和方法 Active CN107427207B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-063824 2015-03-26
JP2015063824A JP6485694B2 (ja) 2015-03-26 2015-03-26 情報処理装置および方法
PCT/JP2016/001454 WO2016152087A1 (en) 2015-03-26 2016-03-15 Surgical system, information processing device, and method

Publications (2)

Publication Number Publication Date
CN107427207A true CN107427207A (zh) 2017-12-01
CN107427207B CN107427207B (zh) 2019-09-17

Family

ID=55650633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680016388.1A Active CN107427207B (zh) 2015-03-26 2016-03-15 手术系统、信息处理装置和方法

Country Status (5)

Country Link
US (1) US10966590B2 (zh)
EP (1) EP3258827A1 (zh)
JP (1) JP6485694B2 (zh)
CN (1) CN107427207B (zh)
WO (1) WO2016152087A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108652675A (zh) * 2018-02-11 2018-10-16 江苏金羿智芯科技有限公司 一种基于人工智能的内窥镜图像去雾系统
CN109767451A (zh) * 2019-01-16 2019-05-17 吴艳红 诊断数据高亮显示系统

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
CN107613839B (zh) * 2015-06-11 2019-10-01 奥林巴斯株式会社 内窥镜装置和内窥镜装置的工作方法
JP6833978B2 (ja) * 2017-03-30 2021-02-24 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11564703B2 (en) 2017-10-30 2023-01-31 Cilag Gmbh International Surgical suturing instrument comprising a capture width which is larger than trocar diameter
US20190201146A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Safety systems for smart powered surgical stapling
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US10892995B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11633237B2 (en) 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US20190201139A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Communication arrangements for robot-assisted surgical platforms
US11969216B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
US20190201039A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Situational awareness of electrosurgical systems
US11786245B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Surgical systems with prioritized data transmission capabilities
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11672605B2 (en) 2017-12-28 2023-06-13 Cilag Gmbh International Sterile field interactive control displays
US11844579B2 (en) 2017-12-28 2023-12-19 Cilag Gmbh International Adjustments based on airborne particle properties
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11298148B2 (en) 2018-03-08 2022-04-12 Cilag Gmbh International Live time tissue classification using electrical parameters
US11701162B2 (en) 2018-03-08 2023-07-18 Cilag Gmbh International Smart blade application for reusable and disposable devices
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
US11259806B2 (en) 2018-03-28 2022-03-01 Cilag Gmbh International Surgical stapling devices with features for blocking advancement of a camming assembly of an incompatible cartridge installed therein
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
WO2019203006A1 (ja) * 2018-04-17 2019-10-24 富士フイルム株式会社 内視鏡装置、内視鏡プロセッサ装置及び内視鏡画像表示方法
US20210220076A1 (en) 2018-05-22 2021-07-22 Sony Corporation Surgical information processing device, information processing method, and program
JP7286948B2 (ja) * 2018-11-07 2023-06-06 ソニーグループ株式会社 医療用観察システム、信号処理装置及び医療用観察方法
US11751872B2 (en) 2019-02-19 2023-09-12 Cilag Gmbh International Insertable deactivator element for surgical stapler lockouts
US11259807B2 (en) 2019-02-19 2022-03-01 Cilag Gmbh International Staple cartridges with cam surfaces configured to engage primary and secondary portions of a lockout of a surgical stapling device
US11026561B2 (en) * 2019-03-21 2021-06-08 Verb Surgical Inc. Method and system for automatically repositioning a viewable area within an endoscope video view
US20230210579A1 (en) * 2021-12-30 2023-07-06 Verb Surgical Inc. Real-time surgical tool presence/absence detection in surgical videos

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2057934A1 (en) * 2007-11-12 2009-05-13 Novineon Healthcare Technology Partners Gmbh Device for hemorrhage detection
US20110301414A1 (en) * 2010-06-04 2011-12-08 Robert Hotto Intelligent endoscopy systems and methods
US20140206951A1 (en) * 2013-01-24 2014-07-24 Arthrex, Inc. Arthroscope Sheath System With Sensors

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5769792A (en) * 1991-07-03 1998-06-23 Xillix Technologies Corp. Endoscopic imaging system for diseased tissue
WO1993008757A1 (en) * 1991-11-08 1993-05-13 Ep Technologies, Inc. Systems and methods for ablating tissue while monitoring tissue impedance
JPH09149876A (ja) * 1995-11-30 1997-06-10 Olympus Optical Co Ltd 内視鏡装置
US5647368A (en) * 1996-02-28 1997-07-15 Xillix Technologies Corp. Imaging system for detecting diseased tissue using native fluorsecence in the gastrointestinal and respiratory tract
JPH10328136A (ja) * 1997-06-05 1998-12-15 Shimadzu Corp 内視鏡
DE19800312A1 (de) * 1998-01-07 1999-07-08 Wolf Gmbh Richard Diagnosegerät zur bildgebenden Aufnahme fluoreszierender biologischer Gewebebereiche
US6462770B1 (en) * 1998-04-20 2002-10-08 Xillix Technologies Corp. Imaging system with automatic gain control for reflectance and fluorescence endoscopy
AU3349200A (en) * 1999-01-26 2000-08-07 Newton Laboratories, Inc. Autofluorescence imaging system for endoscopy
JP2001104246A (ja) * 1999-10-08 2001-04-17 Olympus Optical Co Ltd 医療用顔面装着型映像表示システム
US6582363B2 (en) * 2000-08-25 2003-06-24 Pentax Corporation Video endoscope system and illumination optical system
JP4916114B2 (ja) * 2005-01-04 2012-04-11 オリンパス株式会社 内視鏡装置
JP2007151594A (ja) * 2005-11-30 2007-06-21 Olympus Corp 内視鏡システム
JP5499426B2 (ja) 2006-09-01 2014-05-21 ソニー株式会社 内視鏡カメラおよび内視鏡カメラシステム
JP2008132321A (ja) * 2006-10-26 2008-06-12 Olympus Corp 内視鏡装置
JP2011010841A (ja) * 2009-07-01 2011-01-20 Hoya Corp 内視鏡装置
WO2011142189A1 (ja) * 2010-05-10 2011-11-17 オリンパスメディカルシステムズ株式会社 医療装置
CN104203077A (zh) 2012-02-08 2014-12-10 Biop医疗有限公司 组织疾病诊断的方法和装置
WO2016072237A1 (ja) * 2014-11-06 2016-05-12 オリンパス株式会社 内視鏡システム
JP5807853B2 (ja) 2014-11-06 2015-11-10 タイヨーエレック株式会社 回胴式遊技機

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2057934A1 (en) * 2007-11-12 2009-05-13 Novineon Healthcare Technology Partners Gmbh Device for hemorrhage detection
US20110301414A1 (en) * 2010-06-04 2011-12-08 Robert Hotto Intelligent endoscopy systems and methods
US20140206951A1 (en) * 2013-01-24 2014-07-24 Arthrex, Inc. Arthroscope Sheath System With Sensors

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108652675A (zh) * 2018-02-11 2018-10-16 江苏金羿智芯科技有限公司 一种基于人工智能的内窥镜图像去雾系统
CN109767451A (zh) * 2019-01-16 2019-05-17 吴艳红 诊断数据高亮显示系统

Also Published As

Publication number Publication date
US20170367559A1 (en) 2017-12-28
JP2016182228A (ja) 2016-10-20
US10966590B2 (en) 2021-04-06
EP3258827A1 (en) 2017-12-27
WO2016152087A1 (en) 2016-09-29
JP6485694B2 (ja) 2019-03-20
CN107427207B (zh) 2019-09-17

Similar Documents

Publication Publication Date Title
CN107427207B (zh) 手术系统、信息处理装置和方法
US10542960B2 (en) Wireless X-ray system
US11832021B2 (en) Control apparatus, control method, and storage medium
US20180160910A1 (en) Medical support device, method thereof, and medical support system
KR20200016829A (ko) 진단 검사를 실시간 치료에 통합하기 위한 범용 장치 및 방법
US10904437B2 (en) Control apparatus and control method
CN106663318A (zh) 增强手术现实环境
JPWO2018163644A1 (ja) 情報処理装置、支援システム及び情報処理方法
JP5744631B2 (ja) 診療支援装置、診療支援方法
JP2022186872A (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム
US10537233B2 (en) Medical observation device and medical observation method
EP3234825A1 (en) Head-mountable computing device, method and computer program product
IL275973A (en) Method and system for locating electrode locations on the patient&#39;s body
JP2016036592A (ja) 医療システム
KR101855461B1 (ko) 최소 침습 수술을 위한 자동 니들링 시스템 및 그 방법
JP2017200516A (ja) 統合化システム
WO2022208615A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
US20240148236A1 (en) Medical support device, endoscope apparatus, medical support method, and program
WO2023112499A1 (ja) 内視鏡画像観察支援装置及び内視鏡システム
JP2022010852A (ja) 手術支援システム及び手術支援方法
KR20220078791A (ko) 입체 영상을 표시하는 전자 장치 및 방법
JP2020141946A (ja) 医療用画像処理装置、医療用画像処理装置の駆動方法、及び医療用観察システム
JP2016158658A (ja) X線診断装置および医用画像診断装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant