CN109310279B - 信息处理设备、信息处理方法、程序和医疗观察系统 - Google Patents

信息处理设备、信息处理方法、程序和医疗观察系统 Download PDF

Info

Publication number
CN109310279B
CN109310279B CN201780035765.0A CN201780035765A CN109310279B CN 109310279 B CN109310279 B CN 109310279B CN 201780035765 A CN201780035765 A CN 201780035765A CN 109310279 B CN109310279 B CN 109310279B
Authority
CN
China
Prior art keywords
medical
image
living body
information
biological
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780035765.0A
Other languages
English (en)
Other versions
CN109310279A (zh
Inventor
鹿岛浩司
上森丈士
山根真人
林恒生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN109310279A publication Critical patent/CN109310279A/zh
Application granted granted Critical
Publication of CN109310279B publication Critical patent/CN109310279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/046—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A61B2090/3735—Optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

提供了一种医疗信息处理设备，该医疗信息处理设备包括处理电路，该处理电路基于观察活体的内部时的关于手术特性的手术情形信息选择分别具有不同的波长范围的多个生物图像中的至少一个或者从分别具有不同的波长范围的多个生物图像生成的二次图像中的至少一个作为推荐图像。

Description

信息处理设备、信息处理方法、程序和医疗观察系统
相关申请的交叉引证
本申请要求于2016年6月16日提交的日本优先权专利申请JP2016-119687的权益，其全部内容通过引证结合于本文中。
技术领域
本公开内容涉及信息处理设备、信息处理方法、程序和医疗观察系统。
背景技术
目前，诸如医疗内窥镜和医疗显微镜等各种医疗观察设备正用于医疗领域中。具体地，在医疗内窥镜中，如以下专利文献1中公开的，尝试不仅使用可见光区域中的正常的观察图像，而且通过利用特定波长范围的光的照射使观察部位成像以在特定波长范围内生成光谱图像，并且使得该光谱图像显示在显示屏幕上。
引用列表
专利文献
专利文献1：JP 2012-81087A
发明内容
技术问题
然而，在类似以上专利文献1中公开的医疗内窥镜中，使得显示在显示屏幕上的图像的选择取决于医疗内窥镜的操作者的决定；因此，存在的情况在于尽管有相对合适的图像，但是操作者没有注意到它，并且因此不可以改善内窥镜观察中的工作效率。
此外，类似上述情况不仅可发生在利用医疗内窥镜的观察中而且可发生在利用医疗显微镜的观察中的工作的情况下。
因此，鉴于上述情况，本公开内容的实施方式提出了可以在使用医疗观察设备工作期间向用户推荐相对合适的重要的观察图像的信息处理设备、信息处理方法、程序和医疗观察系统。
问题的解决方案
根据本公开内容的实施方式，提供了一种医疗信息处理设备，包括：处理电路，被配置为基于观察活体的内部时的关于手术特性的手术情形信息，选择分别具有不同的波长范围的多个生物图像中的至少一个或者从分别具有不同的波长范围的多个生物图像生成的二次图像中的至少一个作为推荐图像。
根据本公开内容的实施方式，提供了一种医疗信息处理方法，包括：基于观察活体的内部时的关于手术特性的手术情形信息，选择分别具有不同的波长范围的多个生物图像中的至少一个或者从分别具有不同的波长范围的所述多个生物图像生成的二次图像中的至少一个作为推荐图像。
根据本公开内容的实施方式，提供了非易失性计算机可读介质，在非易失性计算机可读介质存储有程序，当通过计算机执行时，该程序使得计算机执行医疗信息处理方法，包括：基于观察活体的内部时的关于手术特性的手术情形信息，选择分别具有不同的波长范围的多个生物图像中的至少一个或者从分别具有不同的波长范围的多个生物图像生成的二次图像中的至少一个作为推荐图像。
根据本公开内容的实施方式，提供了一种医疗信息处理系统，包括：医疗观察设备，包括第一处理电路，该第一处理电路被配置为通过拍摄多个波长范围中的活体的内部和外部的图像生成多个生物图像，以及信息处理设备，包括第二处理电路，该第二处理电路被配置为基于观察活体的内部时的关于手术特性的手术情形信息，选择具有不同的波长范围的多个生物图像中的至少一个或者从多个生物图像生成的二次图像中的至少一个作为推荐图像。
本发明的优势效果
如上所述，根据本公开内容的实施方式，可以在使用医疗观察设备工作期间向用户推荐相对合适的重要的观察图像。
应注意，以上所描述的效果不必是限制性的。利用或代替上述效果，可以实现本说明书中描述的任何一种效果或者可以从本说明书中理解的其他效果。
附图说明
[图1]图1是示意性地示出了根据本公开内容的实施方式的医疗观察系统的总体配置的说明图。
[图2A]图2A是示意性地示出了根据实施方式的包括在医疗观察设备中的成像单元的实例的说明图。
[图2B]图2B是示意性地示出了根据实施方式的包括在医疗观察设备中的成像单元的实例的说明图。
[图2C]图2C是示意性地示出了根据实施方式的包括在医疗观察设备中的成像单元的实例的说明图。
[图3]图3是示意性地示出了根据实施方式的信息处理设备的配置的实例的框图。
[图4]图4是示意性地示出了根据实施方式的包括在信息处理设备中的图像推荐处理单元的配置的实例的框图。
[图5]图5是用于描述根据实施方式的包括在信息处理设备中的情形识别数据库的说明图。
[图6]图6是示出了生命组织中的主要物质的吸收光谱的实例的说明图。
[图7]图7是用于描述根据实施方式的包括在信息处理设备中的推荐图像数据库的说明图。
[图8]图8是示意性地示出了根据实施方式的信息处理设备中的显示屏幕的实例的说明图。
[图9]图9是示意性地示出了根据实施方式的信息处理设备中的显示屏幕的实例的说明图。
[图10]图10是示出了根据实施方式的信息处理方法的流程的实例的流程图。
[图11]图11是示出了根据实施方式的信息处理设备的硬件配置的实例的框图。
具体实施方式
在下文中，将参考附图详细描述本公开内容的优选实施方式。在本说明书和附图中，具有基本相同的功能和结构的结构元件用相同的参考标号表示，并且省略对这些结构元件的重复说明。
按照以下顺序进行描述。
1.实施方式
1.1.关于医疗观察系统的总体配置
1.2.关于医疗观察设备的配置
1.3.关于信息处理设备的配置
1.4.关于信息处理方法
1.5.关于硬件配置
(实施方式)
<关于医疗观察系统的总体配置>
首先，参考图1简要描述根据本公开内容的实施方式的医疗观察系统1的总体配置。图1是示意性地示出了根据本实施方式的医疗观察系统1的总体配置的说明图。
如图1所示，根据本实施方式的医疗观察系统1包括用于观察活体的内部的医疗观察设备10以及信息处理设备20。
医疗观察设备10是通过被插入活体S的内部中或者放置在活体S的内脏器官附近的医疗观察设备10的一部分观察活体S的内部的医疗设备。像这样的医疗观察设备10的实例包括诸如刚性内窥镜、柔性内窥镜和关节内窥镜等各种内窥镜设备、以及各种显微镜设备。
根据本实施方式的医疗观察设备10将预定的观察光应用于作为待观察对象的活体S的一部分并且使利用观察光照射的活体S的一部分成像，并且因此生成包括可见光区域(落入约400毫微米至800毫微米的波长范围以内的区域)中的活体的拍摄图像的多个生物图像。
例如，生物图像可包括上述可见光区域中的活体的拍摄图像中的各种波长范围中的活体的拍摄图像，诸如，近红外区域(落入约800毫微米至约2.5微米的波长范围以内的区域)中的活体的拍摄图像以及紫外线区域中的活体的拍摄图像。进一步地，例如，生物图像可包括活体的其他拍摄图像，诸如，在使用超声波观察活体的情况下的图像以及在通过光学相干断层扫描(OCT)观察活体的情况下的图像。
包括通过医疗观察设备10生成的可见光区域中的生物图的拍摄图像的多个生物图像在任何时间显示在诸如经由有线或无线连接至医疗观察设备10的显示器的显示装置上并且输出至随后详细描述的根据本实施方式的信息处理设备20。
随后描述医疗观察设备10的特定配置。
根据本实施方式的信息处理设备20分析通过医疗观察设备10生成的拍摄图像并且决定相对于适用于作为推荐图像工作的图像，并且向医疗观察设备10的用户(例如，执行手术的医生或者其他人)推荐该推荐图像。因此，在根据本实施方式的信息处理设备20中，可以掌握用户观察活体的内部时的情形，并且可以向医疗观察设备10的用户推荐根据该情形的观察图像作为推荐图像。因此，医疗观察设备10的用户可以意识到，就继续进行中的工作而言存在可以是相对合适的观察图像的图像，并且可以改善利用医疗观察设备的工作效率。
随后描述信息处理设备20的特定配置。
尽管在图1中描述了作为不同设备而存在的根据本实施方式的医疗观察设备10和信息处理设备20的情况，但是随后详细描述的信息处理设备20的功能当然可实现为医疗观察设备10的一种功能。
<关于医疗观察设备10的配置>
接下来，参考图1至图2C简要描述根据本实施方式的医疗观察设备10的特定配置。图2A至图2C是示意性地示出了根据本实施方式的包括在医疗观察设备中的成像单元的实例的说明图。
如上所述，根据本实施方式的医疗观察设备10是通过被插入活体S的内部中或者放置在活体S的内脏器官附近的医疗观察设备10的一部分观察活体S的内部的医疗设备。
如图1中示意性示出的，医疗观察设备10主要包括控制单元101、观察单元103、光源单元105、成像单元107和显示单元109。
控制单元101例如由中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)等形成。控制单元101是全面控制医疗观察设备10的总体功能并且共同控制包括在医疗观察设备10中的观察单元103、光源单元105、成像单元107和显示单元109的操作状态的单元。控制单元101例如是对应于医疗内窥镜设备或医疗显微镜仪器的照相机控制单元(CCU)的单元。进一步地，控制单元101可以将诸如关于设置用于构成医疗观察设备10的每一个单元的设置条件的信息以及关于构成医疗观察设备10中的每一个单元的操作状态的信息等各种信息在任意时间输出至根据本实施方式的信息处理设备20。
观察单元103是在控制单元101的控制下一部分被插入活体S的内部中或者放置在活体S的内脏器官附近的单元。观察单元103使得使用从光源单元105应用的观察光观察到的活体S的内部的观察图像后期形成成像单元107上的图像。观察单元103对应于例如医疗内窥镜设备中的内窥镜单元或者医疗显微镜设备中的显微镜单元。根据本实施方式的观察单元103不受具体限制，并且可使用已知的内窥镜单元、显微镜单元等。
光源单元105是在控制单元101的控制下发射观察活体的内部的观察光的单元，并且光学连接至观察单元103。光源单元105至少包括用于获得可见光区域中的活体的拍摄图像的可见光源(例如，白光源等)光源单元105不仅可包括这种可见光来源而且可包括各种已知的光源，诸如，用于获得近红外区域中的活体的拍摄图像的近红外光源、紫外线光源、以及发射特定类型的可见光的各种激光源。在控制单元101的控制下，光源单元105可以在任意时间切换从这些各种光源发射出的观察光的类型。光源单元105不仅可包括类似上述的光源而且可包括用于实现特定功能的光源，诸如，用于OCT的光源或者用于距离测量的光源。
成像单元107是在控制单元101的控制下基于来自光源单元105的观察光拍摄活体S的内部的观察图像并且生成包括可见光区域中的活体的拍摄图像的多个生物图像的图像数据的单元。成像单元107光学连接至观察单元103。根据本实施方式的成像单元107在将各种类型的观察光(例如，各种波长范围中的一些类型的光，诸如，可见光、近红外光和紫外光)彼此区分时执行成像，并且因此生成多个生物图像的图像数据。
在普通的医疗观察系统中，通过使用对可见光区域中的波长具有感光度的成像元件拍摄靠近人眼直接观察到的情形的图像，并且该图像适当产生该图像，并且该观察结果作为正常的观察图像显示在显示装置上。进一步地，在可以执行特殊光观察的普通的医疗观察系统中，在实现各种功能的很多情况下，诸如，除了其中显示可见光区域中的拍摄图像的正常的观察模式之外，其中使用也对近红外区域中的波长具有感光度的成像元件观察活体中出现的荧光的荧光观察模式，以及其中结合多个特定的窄波长以促进从表皮的表面的不同深度处的血管之间的差别的窄波长图像(窄带成像，NBI)观察模式。
然而，通过将选择性应用特定波长的光的照明设备与传输或反射特定波长的光的滤光器结合能够执行类似上述的特殊光观察，并且因此难以与可见光的正常观察模式同时执行。
因此，在根据本实施方式的医疗观察设备10中，提供了类似图2A至图2C中示出的那些成像单元107，并且因此可以同时获取可见光区域中的活体的拍摄图像以及活体的其他拍摄图像。
例如，如图2A所示，成像单元107可以是包括诸如正常的分束器和偏振的分束器等任何各种分束器的一个成像单元以及成像元件A和成像元件B的两种类型的成像元件。在类似图2A中示出的成像单元107的情况下，来自观察单元103的观察图像通过分束器被分为两个光路，并且在成像元件A和成像元件B的每一个上形成图像。在此，例如，对可见光区域中的光具有感光度的用于可见光的成像元件可用作成像元件A并且对近红外区域中的光具有感光度的用于近红外光的成像元件可用作成像元件B；因此，可以生成可见光区域中的活体的拍摄图像以及近红外区域中的活体的拍摄图像。进一步地，另一个已知的成像元件可用作成像元件B，并且因此可以生成活体的各种拍摄图像以及可见光区域中的活体的拍摄图像。
尽管在图2A中示出了使用一个分束器的情况，但是可结合使用两个或更多个分束器，并且因此观察图像可分为更多个光路并且可以同时拍摄活体的更多种类型的拍摄图像。
进一步地，例如，如图2B所示，成像单元107可以是包括其中多个(在图2B，三个)光学棱镜彼此接合的光谱棱镜的一个成像单元以及多种类型的成像元件(在图2B中，成像元件A至成像元件C的三种类型)。在类似图2B中示出的成像单元107的情况下，可在相邻的光学棱镜之间形成接合表面以起到分束器、偏振的分束器和波长选择滤波器中的一个的作用，并且因此来自观察单元103的观察图像可分为多个光路(在图2B的情况下，三个光路)。来自观察单元103的观察图像通过光谱棱镜被分为多个光路，并且在每个光路的端部处提供的每个成像元件上形成图像。在此，例如，对可见光区域中的光具有感光度的用于可见光的成像元件可用作成像元件A并且对近红外区域中的光具有感光度的用于近红外光的成像元件可用作成像元件B；因此，可以生成可见光区域中的活体的拍摄图像以及近红外区域中的活体的拍摄图像。进一步地，另一个已知的成像元件可根据需要设置在成像元件C的位置中，并且因此可以生成活体的各种拍摄图像以及可见光区域中的活体的拍摄图像和近红外区域中的活体的拍摄图像。
在类似图2B中示出的光谱棱镜中，使用的光学棱镜的数量可增加，并且因此观察图像可以分为更大数量的光路，并且可以同时拍摄活体的更多类型的拍摄图像。
进一步地，如图2C所示，成像单元107可以是包括所谓多光谱传感器的一个成像单元。如图2C中示意性地示出的，多光谱传感器是至少包括像素的二维图像传感器，该像素在区分每个波长范围的强度时的同时检测多个波长范围中的光的强度。通过使用这种多光谱传感器，可以在图像的一个像素中获取作为多个窄波长范围中的光的强度的多谱数据。
优选的是，在类似图2C中示意性地示出的多光谱传感器中包括的所有像素是在区分每个波长范围的强度时的同时检测多个波长范围中的光的强度的像素，但是所有像素是在区分每个波长范围的强度时的同时检测多个波长范围中的光的强度的类似上述的像素不是必要的。这是因为，通过使用从在区分每个波长范围的强度时的同时检测多个波长范围中的光的强度的类似上述的像素的输出执行各种已知的插补处理，即使在没有类似上述功能的像素的位置中可以为每个波长范围计算多个波长范围中的光的强度。
通过使用类似图2C中示出的多光谱传感器，可以将成像单元107在尺寸上制成小于类似图2A和图2B中示出的那些成像单元107，并且可以进一步使医疗观察设备10缩小尺寸。
可以将成像单元107配置为使得类似图2A或图2B中示出的分束器或光谱棱镜和类似图2C中示出的多光谱传感器彼此结合并且因此当然生成更多类型的生物图像。
至于通过类似例如在图2A至图2C中示出的那些成像单元107生成的各种生物图像，根据医疗观察设备10的用户的用户操作通过控制单元101执行的合适的控制选择合适的图像，并且后期显示在显示单元109中设置的显示屏幕上。医疗观察设备10的用户通常集中精力于作为活体的内部的观察图像的可见光区域中的活体的拍摄图像上；因此，在很多情况下，可见光区域中的活体的拍摄图像在后期主要显示在显示单元109的显示屏幕上。
成像单元107在控制单元101的控制下在任何时间将以上述方式生成的多个生物图像输出至根据本实施方式的信息处理设备20。
可能存在根据本实施方式的成像单元107中包括的成像元件的数量仅是一个的情况，诸如，成像单元107仅包括对可见光区域至近红外区域具有感光度的一个成像元件的情况。即使在这种情况下，光源单元105和成像单元107可在控制单元101的控制下彼此协作在切换在成像元件上形成图像的光的波长范围的同时执行成像；因此，可以生成多个波长范围中的生物图像。
显示单元109是在控制单元101的控制下向医疗观察设备10的用户显示通过成像单元107生成的多个生物图像中的至少一个的单元。设置在显示单元109中的显示屏幕的数量不受特别限制，并且显示单元109仅可包括一个显示屏幕或者可包括多个显示屏幕。显示单元109不受特别限制，并且可使用已知的显示单元109。
进一步地，在根据本实施方式的显示单元109的显示屏幕上视情况显示关于通过随后描述的信息处理设备20推荐的推荐图像的信息。
在上文中，参考图1至图2C简要描述了根据本实施方式的医疗观察设备10的配置的实例。例如，根据本实施方式的医疗观察设备10除了类似图1中示出的那些各种单元之外可包括各种其他单元，诸如，超声波振荡设备和超声波检测单元。
<关于信息处理设备20的配置>
接下来，参考图3至图9详细描述根据本实施方式的信息处理设备20。
图3是示意性地示出了根据本实施方式的信息处理设备的配置的实例的框图。图4是示意性地示出了根据本实施方式的包括在信息处理设备中的图像推荐处理单元的配置的实例的框图。图5是用于描述根据本实施方式的包括在信息处理设备中的情形识别数据库的说明图，以及图6是示出了生命组织中的主要物质的吸收光谱的实例的说明图。图7是用于描述根据本实施方式的包括在信息处理设备中的推荐图像数据库的说明图。图8和图9是示意性地示出了根据本实施方式的信息处理设备中的显示屏幕的实例的说明图。
-关于信息处理设备20的总体配置
如上所述，根据本实施方式的信息处理设备20是分析通过医疗观察设备10生成的拍摄图像以决定相对适合于工作的图像作为推荐图像并且向医疗观察设备10的用户推荐该推荐图像。如图3中示意性地示出的，信息处理设备20主要包括信息获取单元201、图像推荐处理单元203、输出处理单元205、显示控制单元207和存储单元209。
信息获取单元201是由例如CPU、ROM、RAM、通信装置等形成。信息获取单元201从医疗观察设备10获取各种信息。例如，信息获取单元201在任何时间获取通过医疗观察设备10生成的包括可见光区域中的活体的拍摄图像的多个生物图像的图像数据。进一步地，信息获取单元201可以从医疗观察设备10(更具体地，医疗观察设备10的控制单元101等)获取关于医疗观察设备10的各种信息。进一步地，信息获取单元201可以从医疗观察设备10获取关于推荐图像的使用情形的信息，诸如，关于通过根据本实施方式的信息处理设备20推荐的图像的用户选择的结果。进一步地，根据本实施方式的信息处理设备20还可以获取关于通过医疗观察设备10的用户、信息处理设备20的操作者或其他人进行的各种用户操作的信息。
在此，关于医疗观察设备10的各种信息的实例包括关于医疗观察设备10的各种设置的设置信息、关于医疗观察设备10的特性的特性信息、关于医疗观察设备10以及与医疗观察设备10协作的各种外围装置的操作状态的操作信息等。关于医疗观察设备10的各种设置的设置信息的实例包括医疗观察设备10中的光源单元105的设置信息(例如，关于观察光的波长的信息)、与医疗观察设备10协作的什么类型的外围装置的信息等。关于医疗观察设备10的特性的特性信息的实例包括关于医疗观察设备10中的成像单元107的传感器光谱特性的设置信息等。关于医疗观察设备10以及与医疗观察设备10协作的各种外围装置的操作状态的操作信息的实例包括作为光源单元105在操作的什么类型的光源、诸如电刀等能量装置的操作情形、用于将存在于体腔中的雾和烟排出到身体外部的烟提取设备的操作情形等。
在从医疗观察设备10获取关于多个生物图像的图像数据上，信息获取单元201将所获取的图像数据输出至随后描述的图像推荐处理单元203。信息获取单元201可使关于图像数据的获取的日期和时间的时间信息等与所获取的图像数据相关联，并且可将图像数据作为历史信息记录在随后描述的存储单元209中。进一步地，基于关于从医疗观察设备10获取的推荐图像的使用情形的信息，信息获取单元201可以将推荐图像的使用历史记录在随后描述的存储单元209中。
在从医疗观察设备10获取类似上述的关于医疗观察设备10的各种信息上，信息获取单元201将获取的各种信息输出至随后描述的图像推荐处理单元203。每当多个生物图像的图像数据被输出至信息处理设备20时，可以从医疗观察设备10的控制单元101通知关于医疗观察设备10的各种信息。代替每当输出图像数据时，医疗观察设备10的控制单元101可以在改变任何一条信息的内容时通知关于医疗观察设备10的各种信息。
图像推荐处理单元203例如由CPU、ROM、RAM等形成。图像推荐处理单元203是使用通过信息获取单元201获取的图像数据和各种信息根据观察活体的内部时的时间点的情形决定推荐图像，并且执行向医疗观察设备10的用户推荐该推荐图像的图像推荐处理的处理单元。图像推荐处理单元203至少包括推荐单元，该推荐单元基于关于观察活体的内部时的情形的多个生物图像和情形信息或者关于观察活体的内部时的手术特性的手术情形信息，根据上述情形决定多个生物图像中的至少一个或者从多个生物图像生成的图像中的至少一个作为推荐图像。
随后描述图像推荐处理单元203的特定配置。
使用多个生物图像根据观察活体的内部时的时间点的情形决定推荐图像，图像推荐处理单元203将关于推荐图像的决定的信息在后期输出至输出处理单元205。图像推荐处理单元203可使关于获得有关推荐图像的决定等的处理结果的日期和时间的时间信息与处理结果相关联，并且可将该处理结果作为历史信息在后期存储在存储单元209中。
输出处理单元205由例如CPU、ROM、RAM、输出装置、通信装置等形成。输出处理单元205将有关从图像推荐处理单元203输出的推荐图像的决定的处理结果输出至医疗观察设备10。获取了处理结果的医疗观察设备10的控制单元101可使得获取的处理结果显示在显示单元109上，并且因此可以根据该情形向医疗观察设备10的用户推荐活体的观察图像。输出处理单元205可与显示控制单元207写作在后期将处理结果直接输出至医疗观察设备10的显示单元109。
输出处理单元205可输出有关从图像推荐处理单元203输出的推荐图像的处理结果作为印刷品，或者可将处理结果作为数据输出至外部信息处理设备、服务器等。
显示控制单元207由例如CPU、ROM、RAM、输出装置、通信装置等形成。显示控制单元207在将从输出处理单元205输出的各种结果显示在诸如信息处理设备20中包括的显示器的输出装置、在运算处理设备200之外提供的输出装置(例如，医疗观察设备10的显示单元109)等上时执行显示控制。因此，医疗观察设备10的用户可以立即掌握各种结果。
存储单元209是信息处理设备20中包括的存储装置的实例，并且由信息处理设备20中包括的RAM、储存装置等形成。当根据本实施方式的信息处理设备20执行随后详细描述的图像推荐处理时使用的各种数据库被记录在存储单元209中。进一步地，与随后详细描述的图像推荐处理相关的各种历史信息可以记录在存储单元209中。进一步地，当根据本实施方式的信息处理设备20执行该处理、或各种数据库、程序等时必须保存的仍在进行中的各种参数、情形等视情况被记录在存储单元209中。信息获取单元201、图像推荐处理单元203、输出处理单元205、显示控制单元207等可以在存储单元209上自由执行读/写处理。
-关于图像推荐处理单元203的配置
接下来，参考图4至图7详细描述根据本实施方式的包括在信息处理设备20中的图像推荐处理单元203的配置。
如上所述，根据本实施方式的图像推荐处理单元203使用通过信息获取单元201获取的图像数据和各种信息根据观察活体的内部时的时间点的情形决定推荐图像，并且执行向医疗观察设备10的用户推荐该推荐图像的图像推荐处理。如图4中示意性地示出的，图像推荐处理单元203包括情形识别单元211、推荐单元213和推荐图像生成单元215。
情形识别单元211由例如CPU、ROM、RAM等形成。情形识别单元211是基于从医疗观察设备10输出的多个生物图像识别观察活体的内部时的情形的处理单元。更具体地，情形识别单元211基于以下通过信息获取单元201获取的信息段中的至少一个识别观察活体的内部时的情形：关于医疗观察设备10的设置的设置信息、关于医疗观察设备10的特性的特性信息、关于医疗观察设备10以及与医疗观察设备10协作的外围装置的操作状态的操作信息、生物图像、以及基于生物图像生成的二次信息。
基于生物图像生成的上述二次信息不受具体限制，并且任何信息可用于它作为通过在生物图像上执行各种图像处理或信息处理二次计算的信息的程度。二次信息的实例包括可以通过集中精力于某个波长范围中的活体的拍摄图像计算的存在于活体的内部中的器官和生物物质的光谱反射率或吸收系数的信息、关于血氧饱和度的信息、关于通过使用关于存在于活体的内部中的器官以及用于医疗实践的医疗器械的图像信息在生物图像上执行图像识别处理获得的识别结果的信息等。
更具体地，优选的是，情形识别单元211参考情形识别数据库识别观察活体的内部时的情形，在该情形识别数据库中，关于医疗观察设备10的设置的设置信息、关于医疗观察设备10的特性的特性信息、关于医疗观察设备10以及与医疗观察设备10协作的外围装置的操作状态的操作信息、生物图像、以及基于生物图像生成的二次信息、以及生成生物图像时的情形中的至少一个提前彼此相关联。
图5中示意性地示出了情形识别数据库的实例。
如图5中示意性地示出的，其中提前关联的类似上述的各种信息和情形的情形关联数据被存储在根据本实施方式的存储单元209等中存储的情形识别数据库中。这种情形关联数据的数据格式不受具体限制；例如，类似上述各种信息和情形可以诸如查找表等数据格式记录。通过参考情形关联数据同时使用类似上述的获取的各种信息，情形识别单元211可以识别对应于获取的各种信息的情形。
例如，在参考的类似上述各种信息提供诸如手术中的电刀等能量装置的信息、手术中的烟提取设备的信息等的情况下，情形识别单元211可在集中精力于类似上述情形的同时参考情形关联数据，并且因此可以识别通过由于能量装置生成的烟或雾降低视野的能见度的事实。
进一步地，关于存在于活体的内部中的器官和生物物质的吸收系数或光谱反射率的信息可以存储在情形识别数据库中。例如，如图6所示，存在于活体的内部中的每个生物物质都具有生物物质所特有的吸收系数。因此，可以通过集中精力于包括在多个生物图像中的特定的波长范围中的活体的拍摄图像检测存在于所获得的生物图像中的生物物质。进一步地，存在于活体的内部中的每个器官和每个生物物质其自身具有类似于吸收系数的特有的光谱反射率。在此，可以集中精力于包括在多个生物图像中的特定波长范围中的活体的拍摄图像、医疗观察设备10的光源单元105的光源特性、成像单元107的传感器特性等，并且因此可以计算所获得的生物图像中的光谱反射率。因此，情形识别单元211通过比较所获得的信息和关于提前记录的光谱反射率或吸收系数的信息来识别在观察活体的内部时的情形。
例如，在通过集中精力于类似上述信息(具体地，生物图像本身、从生物图像获得的二次信息等)从光谱反射率或吸收系数的值识别出的对应于血液的光谱反射率或吸收系数的情况下，情形识别单元211可以识别存在血管并且可能已经出血的事实。进一步地，在通过集中精力于类似上述信息(具体地，生物图像本身、从生物图像获得的二次信息等)检测出的对应于水的数据的情况下，情形识别单元211可以推断生成与使用能量装置的使用相关联的雾。
进一步地，关于存在于活体的内部中的器官、用于医疗实践的医疗器械等的图像信息可存储在情形识别数据库中。可以通过使用上述图像信息段在从医疗观察设备10获得的生物图像上执行图像识别检测出存在于生物图像中的器官、诸如血流阻塞医疗器械或血管吻合医疗器械等各种医疗器械。因此，情形识别单元211可以推断手术部位、手术情形等。通过情形识别单元211执行的图像识别处理不受具体限制，并且可以根据情况使用各种已知的图像识别处理，诸如，图形识别和通过机器学习的识别。
除类似上述的各种数据以外，用于推理情形的情形推理的各种数据可根据情况存储在情形识别数据库中。
因此在根据情况使用情形识别数据库等的同时识别观察活体的内部时的情形上，情形识别单元211将关于所识别的情形的情形信息在后期输出至推荐单元213。
可以经由各种网络和外部存储装置根据情况更新类似图5中示出的情形识别数据库。情形识别单元211可以被配置为使得通过已知的机器学习处理等自动更新情形识别数据库。
推荐单元213由例如CPU、ROM、RAM等形成。基于通过医疗观察设备10生成的多个生物图像以及从情形识别单元211输出的关于在观察活体的内部时的情形的情形信息，推荐单元213根据上述情形决定多个生物图像中的至少一个或者从多个生物图像生成的图像中的至少一个作为推荐图像。进一步地，推荐单元213向医疗观察设备10的用户推荐决定的推荐图像。
更具体地，优选的是，推荐单元213参考推荐图像数据库根据该情形向用户推荐一推荐图像，在推荐图像数据库中，观察活体的内部时的情形以及在每个情形时可以呈现的推荐图像的类型彼此提前相关联。
图7中示意性地示出了推荐的图像数据库的实例。
如图7中示意性地示出的，观察活体的内部时的情形以及在每个情形时可以呈现的推荐图像的类型被记录同时在根据本实施方式的存储单元209等中存储的推荐图像数据库中彼此相关联。例如，在从情形识别单元211输出的情形信息中描述了已经发生某种情形(情形A)的事实的情况下，推荐单元213可参考与推荐图像数据库中的情形A相关的项，并且可以决定推荐的近红外图像作为推荐图像。
在多个推荐图像与推荐图像数据库中的某个情形相关联的情况下，推荐单元213优选推荐所有相关联的推荐图像，而不是推荐多个推荐图像之中最合适的一个。在可能已经发生的多个情形被列在从情形识别单元211输出的情形信息中的情况下，推荐单元213优选推荐对应于情形信息中描述的所有情形的推荐图像，而不是推荐与多个情形中的一个相关的推荐图像。这是因为优选的是，通过医疗观察设备10的用户(即，执行手术的医生或其他人)决定使用什么推荐图像。
在决定向医疗观察设备10的用户推荐一个推荐图像上，推荐单元213将关于决定的推荐图像的信息输出至输出处理单元205。关于推荐图像的信息不受具体限制，并且例如，可以是示出推荐图像的类型和推荐图像的缩略图像的文本信息中的至少一个。输出处理单元205使得关于推荐图像的信息输出至医疗观察设备10的用户或信息处理设备20的操作者。因此，医疗观察设备10的用户或者信息处理设备20的操作者可以决定是否立即使用呈现的推荐图像。进一步地，输出处理单元205可以使用除了符号或图像之外的方式(诸如，声音或振动)向医疗观察设备10的用户或信息处理设备20的操作者呈现关于推荐图像的信息。
在决定向医疗观察设备10的用户推荐的推荐图像的类型上，推荐单元213在后期请求推荐图像生成单元215以根据需要生成决定的推荐图像。
在医疗观察设备10的用户选择参考推荐图像的情况下，推荐单元213使得选择的推荐图像经由输出处理单元205适当呈现给医疗观察设备10的用户。推荐单元213可以通过将医疗观察设备10的用户或其他人的选择结果的历史根据情况记录在存储单元209等中协助医疗观察设备10的用户或其他人的选择，并且还使得历史信息在下一次推荐时显示。
可以经由各种网络和外部存储装置根据情况更新类似图7中示出的推荐图像数据库。推荐单元213可以被配置为使得通过已知的机器学习处理等自动更新推荐图像数据库。
推荐的图像生成单元215例如由CPU、ROM、RAM等形成。推荐图像生成单元215使用多个生物图像的至少部分中的至少一个以及其中通过分析多个生物图像中的至少一个生成的二次信息被直观化的图像，并且生成由推荐单元213推荐的推荐图像。
例如，在特定波长范围(例如，近红外区域)中的观察图像被推荐单元213推荐作为推荐图像的情况下，推荐图像生成单元215可以使用多个生物图像中的对应的波长范围中的活体的拍摄图像，并且因此可以生成有关波长范围中的观察图像、其缩略图像等作为推荐图像。进一步地，在其中可识别为诸如通过图7的数据库示出的生物图像的二次信息的氧饱和度的分布可见的氧饱和度直观化信息是推荐图像的情况下，二次信息可用于生成相关推荐图像、其缩略图像等。除这些图像以外，可以使用已知的方法诸如，NBI的原理，并且因此可以根据情况生成诸如其中突出血管的存在的血管突出图像和示出血流方式的图像、它的缩略图像等各种已知图像。
进一步地，着重于其中可见光区域中的活体的拍摄图像和近红外区域中的活体的拍摄图像(例如，近红外区域中的荧光图像等)作为多个生物图像被包括的情况。在此，在近红外区域中的荧光图像中，在很多情况下，对应于荧光的部分以预定色调显示并且不对应于荧光的部分(其中亮度值是零或接近于零的部分)以黑色显示。即使当这种荧光图像作为推荐图像呈现时，内脏等之间的位置关系很可能难以分辨。因此，推荐图像生成单元215首先将其中已经检测出近红外区域中的光的近红外区域(例如，对应于荧光的部分)中的活体的拍摄图像中的区域的色调改变为预定色调(例如，绿色，是活体中不存在的色调)，并且将其中没有检测出近红外区域中的光的区域的亮度值改变为零。然后，推荐图像生成单元215可生成其中改变后的近红外区域中的活体的拍摄图像重叠在可见光区域中的活体的拍摄图像上的重叠图像，并且可使用重叠图像作为推荐图像。
在上文中，描述了根据本实施方式的信息处理设备20的功能的实例。上述的每个结构元件可以使用通用元件或电路配置，或者可以使用专用于每个结构元件的功能的硬件元件配置。还可以通过CPU等执行结构元件的所有功能。因此，根据情况，可以根据实现本实施方式的每个场合上的技术水平改变使用的配置。
可以在个人计算机等上创建和安装用于执行类似上述的根据本实施方式的信息处理设备的每个功能的计算机程序。进一步地，可以提供在其中存储这种计算机程序的计算机可读记录介质。记录介质是例如磁盘、光盘、磁光盘、闪速存储器等。例如，上述计算机程序可以经由网络分布，而不使用记录介质。
-关于推荐的图像的呈现的实例
接下来，参考图8和图9简要描述用于呈现通过推荐单元213决定的推荐图像的方法。
图8示意性地示出了通过医疗观察设备10的用户或信息处理设备20的操作者观看的显示屏幕的实例，诸如，医疗观察设备10的显示单元109或者信息处理设备20的显示装置(未示出)。
通常，当执行诸如手术的各种医疗实践时，如图8的左上方的示图中示意性地示出的，可见光区域中的活体的拍摄图像(可见光图像)作为正常显示通过医疗观察设备10的控制单元101或者信息处理设备20的显示控制单元207被显示在显示屏幕上。在此，当通过推荐单元213提议根据该情形的推荐图像时，例如，如在图8的右上方的示图中示意性地示出的，推荐单元213可使得显示示出推荐图像的类型的文本信息，以便经由输出处理单元205重叠在可见光图像上。可替换地，例如，如图8的左下方的示图中示意性地示出的，推荐单元213可使得示出推荐图像的类型的文本图像和推荐图像的缩略图像一起显示，而不是仅显示文本信息，或者可使得推荐图像的缩略图像以所谓的画中画的显示格式单独显示。可替换地，如图8的右下方的示图中示意性地示出的，推荐单元213可使得用于显示关于推荐图像的信息的显示区域被设置在可见光图像周围，并且可使得示出推荐图像的类型的文本信息、推荐图像的缩略图像、描述推荐图像的文本信息等一起在显示区域显示。
通过生成类似图8中示出的那些显示屏幕，医疗观察设备10的用户能够选择是否使得推荐图像显示在显示屏幕上。
进一步地，代替使用类似图8中示出的一个显示屏幕，如图9中示意性地示出的，可使得类似上述的推荐图像和与推荐图像相关的信息不是显示在显示可见光图像的主监视器上而是显示在从主监视器单独提供的子监视器上。
每当医疗观察设备10的用户没有选择使用推荐图像时，可使得关于类似图8和图9中示出的信息显示消失。进一步地，在某个时间过去之后，可使得关于类似图8和图9中示出的推荐图像的信息显示自动消失。进一步地，可通过各种方法记录关于类似图8和图9中示出的推荐图像的信息显示，以便可以在手术期间或手术之后通过重现进行查看。
另一方面，基于关于类似图8和图9中示出的推荐图像的信息显示，在医疗观察设备10的用户选择使用推荐图像的情况下，所选择的推荐图像显示在显示屏幕上。从推荐图像重新切换至正常的可见光图像的时间不受具体限制，并且根据情况，根据用于操纵等通过医疗观察设备10的用户执行该重新切换。
在上文中，简要描述了用于呈现通过推荐单元213决定的推荐图像的方法。
-关于推荐图像的具体实例
在下文中，利用一些具体实例简要描述推荐图像。
案例1
在例如在利用医疗观察设备10的手术期间已经发生出血的情况下，医疗观察设备10的用户迅速发现出血点并执行止血处理是重要的。然而，当存在大量出血时，存在周围都是血迹且难以寻找出血点的情况。
在此情况下，假设已经识别出血液并且通过情形识别单元211的情形识别处理(例如，分析特定波长范围内的拍摄图像的处理)已经识别出正在出血的情形。另一方面，血液的吸收系数在如图6所示的近红外区域中低，并且近红外区域中的光通过血液传输。因此，推荐单元213参考推荐图像数据库等，并且选定其中血液的吸收系数相对低的波长范围中的观察图像作为推荐图像。通过使用这种推荐图像，医疗观察设备10的用户变得容易视觉识别掩盖在血液中的且难以看到和发现出血点的活体的表面。
案例2
当例如使用诸如电刀的能量装置时，存在体腔的内部覆盖有手术烟或雾并且能见度恶化的情况。
在此情况下，已经通过情形识别单元211的情形识别处理(例如，分析特定波长范围中的拍摄图像的处理，或者关于各种装置的手术情形的信息)识别出生成的手术烟或雾的情况。在这种情况下，推荐单元213参考推荐图像数据库等，并且选择其中手术烟和雾的吸收系数相对低的近红外区域中的观察图像作为推荐图像。通过使用这种推荐图像，医疗观察设备10的用户可以继续医疗实践而不用由于手术烟或雾暂停工作。
进一步地，在类似上述情形的某个时间段过去之后已经评估出烟提取装置等操作正常并且因此手术烟、雾等已经消失的情况下，推荐单元213可将显示从近红外区域中的观察图像切换至可见光区域中的正常的观察图像。因此，医疗观察设备10的用户可以使用熟悉的图像继续医疗实践。
案例3
当例如安全切断血管时，医生通过将血流阻塞医疗器械(诸如，夹子)附接至血管来完全阻塞血液，然后利用预定手术仪器切断血管。在此情况下，存在血流阻塞医疗器械(诸如，夹子)的附件不充足并且没有完全阻塞血流的情况。如果在没有完全阻塞血流的情形下切断血管，则发生意外出血。类似地，必须使用血管吻合医疗器械(诸如，缝合器)适当地吻合血管或组织并且检查血流是否重新开始。
在此情况下，在通过情形识别单元211的情形识别处理(例如，夹子、缝合器等的图像识别处理)已经生成检测到血流阻塞医疗器械或血管吻合医疗器械的情形信息的情况下，推荐单元213可基于生物图像通过已知方法计算氧饱和度作为二次信息，并且可使用其中氧饱和度的分布是直观的图像作为推荐图像。
代替其中氧饱和度的分布是直观的图像，对应于血液的分布的近红外区域中的活体的拍摄图像可用作推荐图像。例如，称为吲哚青绿(ICG)的荧光试剂具有结合血液中的血浆蛋白的属性并且因此借助于760毫微米的激发光发射830毫微米的荧光。因此，在掌握类似上述情形的情况下，推荐单元213可以首先向作为医疗观察设备10的用户的医生推荐使用荧光试剂，并且可以推荐在大约830毫微米的波长的由于荧光试剂生成的近红外图像作为对应于血液分布的近红外区域中的观察图像。
案例4
可能存在例如在医疗观察设备10的用户利用医疗观察设备10手术期间想要了解关于血管的运行或血管的深度的信息的情况；但是可见光区域中的普通的拍摄图像可能不允许充分获得这种信息。
在此情况下，当通过情形识别单元211的情形识别处理(例如，分析特定波长范围中的拍摄图像的处理)识别出生物图像中存在血管时，推荐单元213可使用与NBI的原理相似的方式，并且可推荐适用于目视识别血管的波长范围中的图像作为血管突出图像。
在上文中，利用一些具体实例简要描述了推荐图像；但是根据本实施方式的信息处理设备20中的推荐图像不限于以上描述的实例，并且可使用各种已知的图像作为推荐图像。
<关于信息处理方法>
接下来，参考图10简要描述根据本实施方式的信息处理方法的流程。图10是示出了根据本实施方式的信息处理方法的流程的实例的流程图。
在根据本实施方式的信息处理方法中，首先，通过医疗观察设备10生成生物图像，并且被输出至信息处理设备20。在获取从医疗观察设备10输出的生物图像的数据上(步骤S101)，信息处理设备20的信息获取单元201将获取的数据输出至图像推荐处理单元203。
图像推荐处理单元203的情形识别单元211识别通过类似以上描述的方法观察活体的内部时的情形(步骤S103)，并且将关于所识别的情形的情形信息输出至推荐单元213。
推荐单元213使用从情形识别单元211等输出的情形信息，并且评估是否存在可向医疗观察设备10的用户或其他人推荐的图像(步骤S105)。在不存在可推荐的图像(步骤S105-否)的情况下，执行随后描述的步骤S115。另一方面，在存在可推荐的图像(步骤S105-是)的情况下，推荐单元213使得关于推荐图像的信息通过类似以上描述的方法通知给医疗观察设备10的用户(步骤S107)。
在此，在医疗观察设备10的用户或其他人没有选择推荐图像(步骤S109-否)的情况下，执行随后描述的步骤S115。另一方面，在医疗观察设备10的用户或其他人已经选择了推荐图像(步骤S109-是)的情况下，通过推荐图像生成单元215根据需要生成推荐图像(步骤S111)，并且输出处理单元205、医疗观察设备10的控制单元101等协同工作；因此，推荐图像被显示在屏幕上(步骤S113)。然后，该程序返回至步骤S101，并且继续根据本实施方式的信息处理方法。
另一方面，在步骤S105中已经评估不存在可推荐的图像的情况下以及在步骤S109中没有选择推荐图像的情况下，生成可见光区域中的活体的拍摄图像(步骤S115)，并且输出处理单元205、医疗观察设备10的控制单元101等协同工作；因此可见光图像被显示在屏幕上(步骤S117)。然后，该程序返回至步骤S101，并且继续根据本实施方式的信息处理方法。
在上文中，参考图10简要描述根据本实施方式的信息处理方法的流程。
<硬件配置>
接下来，将参考图11详细描述根据本公开内容的实施方式的信息处理设备20的硬件配置。图11是用于说明根据本公开内容的实施方式的信息处理设备20的硬件配置的框图。
信息处理设备20主要包括CPU 901、ROM 903和RAM 905。此外，信息处理设备20还包括主总线907、电桥909、外部总线911、接口913、输入装置915、输出装置917、储存装置919、驱动921、连接端口923和通信装置925。
CPU 901用作运算处理设备和控制装置，并且根据记录在ROM 903、RAM 905、储存装置919或可移除记录介质927中的各种程序控制信息处理设备20的总体操作或者一部分操作。ROM 903存储CPU 901所使用的程序、操作参数等。RAM 905主要存储CPU 901所使用的程序和在程序执行期间根据情况改变的参数等。这些都是经由从诸如CPU总线等的内部总线配置的主机总线907彼此连接。
主机总线907经由桥接器909连接至诸如PCI(外围部件互连/接口)总线的外部总线911。
输入装置915是由用户所操作的操作设备，诸如鼠标、键盘、触摸板、按钮、开关和控制杆。另外，输入装置915可以是使用例如红外光或其他无线电波的远程控制设备(所谓的远程控制)，或者该输入装置可以是符合运算处理设备20操作的外部连接设备929，诸如移动电话或PDA。此外，输入装置915基于例如由用户利用上述操作设备所输入的信息来生成输入信号并且被配置为从输入控制电路将输入信号输出至CPU 901。用户可以将各种数据输入至信息处理设备20并且可以指示信息处理设备20通过操作这个输入装置915执行处理。
输出装置917由能够向用户视觉或可见通知获取的信息的装置配置。这种装置的实例包括：诸如CRT显示装置、液晶显示装置、等离子显示装置、EL显示装置和灯的显示装置、诸如扬声器和耳机的音频输出装置、打印机、移动电话、传真机等。例如，输出装置917输出通过信息处理设备20执行的各种处理获得的结果。更具体地，显示装置以文本或图像的形式显示通过信息处理设备20执行的各种处理获得的结果。另一方面，音频输出装置将诸如再现的音频数据和声音数据的音频信号转换成模拟信号，并输出该模拟信号。
储存装置919是被配置为信息处理设备20的储存单元的实例的用于存储数据的装置并且用于存储数据。储存装置919由例如诸如HDD(硬盘驱动器)的磁储存装置、半导体储存装置、光储存装置或磁光储存装置来配置。该储存装置919存储由CPU 901执行的程序、各种数据以及从外部获得的各种数据。
驱动921是用于记录介质的读取器/写入器，并且被嵌入信息处理设备20中或者外部附接至此。驱动921读取记录在诸如磁盘、光盘、磁光盘或半导体存储器的附接的可移除记录介质927中的信息，并且将读取的信息输出至RAM 905。此外，驱动921可以写入诸如磁盘、光盘、磁光盘或半导体存储器的附接的可移除记录介质927中。可移除记录介质927是例如DVD介质、HD-DVD介质或蓝光(注册商标)介质。可移除记录介质927可以是紧凑闪存(CF；注册商标)、闪速存储器、SD存储卡(安全数字存储卡)等。可替换地，可移除记录介质927可以是例如配备有非接触IC芯片的IC卡(集成电路卡)或电子设备。
连接端口923是用于允许装置直接连接至信息处理设备20的端口。连接端口923的实例包括USB(通用串行总线)端口、IEEE1394端口、SCSI(小型计算机系统接口)端口等。连接端口923的其他实例包括RS-232C端口、光学音频终端、HDMI(高清晰多媒体接口)端口等。通过外部连接设备929连接至这个连接端口923，信息处理设备20从外部连接设备929直接获得各种数据并且将各种数据提供至外部连接设备929。
例如，通信装置925是由用于连接至通信网络931的通信装置来配置的通信接口。例如，通信装置925是有线或无线LAN(局域网)、蓝牙(注册商标)、用于WUSB(无线USB)的通信卡等。可替换地，通信装置925可以是用于光通信的路由器、用于ADSL(非对称数字用户线)的路由器、用于各种通信的调制解调器等。例如，该通信装置925可以根据预定的协议(诸如，TCP/IP协议)在互联网上并与其他通信装置传输和接收信号等。连接至通信装置925的通信网络931由经由有线或无线连接的网络等来配置，例如，并且可以是互联网、家庭LAN、红外通信、无线电波通信、卫星通信等。
迄今为止，示出了根据本公开内容的实施方式的能够实现信息处理设备20的功能的硬件配置的实例。上述结构元件中的每一个可以使用通用材料来配置，或者可以由专用于每个结构元件的功能的硬件来配置。因此，将要使用的硬件配置可以根据执行本实施方式时的技术水平根据情况进行改变。
本领域技术人员应理解，只要在所附权利要求或其等同物的范围内，根据设计需求和其他因素可以做出各种修改、组合、子组合以及更改。
进一步地，在本说明书中描述的效果仅是说明性或示例性的效果，而不是限制性的。即，利用或代替上述效果，根据本公开内容的技术可以基于本说明书的描述实现本领域技术人员清楚的其他效果。
此外，本技术还可被配置为如下。
(1)一种医疗信息处理设备，包括：
处理电路，被配置为基于在观察活体的内部时的关于手术特性的手术情形信息来选择分别具有不同的波长范围的多个生物图像中的至少一个或者从分别具有不同的波长范围的多个生物图像生成的二次图像中的至少一个作为推荐图像。
(2)根据项(1)所述的医疗信息处理设备，
其中，多个生物图像至少包括可见光区域中的活体的拍摄图像，并且
其中，处理电路进一步被配置为：
对显示多个生物图像的显示屏幕执行显示控制，并且
响应于手动输入而切换显示屏幕以在显示屏幕上显示可见光区域中的活体的拍摄图像和推荐图像。
(3)根据项(1)所述的医疗信息处理设备，
其中，处理电路进一步被配置为访问推荐图像数据库并基于相应的手术特性来选择推荐图像，该数据库使在观察活体的内部时的不同的手术特性与不同的推荐图像相关联，。
(4)根据项(1)所述的医疗信息处理设备，其中，处理电路进一步被配置为使用以下中的至少一个来生成推荐图像：
多个生物图像中的至少一些以及通过分析多个生物图像中的至少一个生成的二次信息。
(5)根据项(4)所述的医疗信息处理设备，
其中，多个生物图像包括可见光区域中的活体的第一拍摄图像以及近红外区域中的活体的第二拍摄图像，并且
处理电路进一步被配置为改变第二拍摄图像的区域的色调，在该第二拍摄图像中的近红外区域中的光被检测为显示器中的预定色调。
(6)根据项(1)所述的医疗信息处理设备，
其中，多个生物图像至少包括可见光区域中的活体的拍摄图像，并且
处理电路指示关于显示屏幕上的推荐图像的信息显示，在显示屏幕上还显示可见光区域中的活体的拍摄图像。
(7)根据项(6)所述的医疗信息处理设备，其中，关于推荐图像的信息是示出推荐图像的类型和推荐图像的缩略图像的文本信息中的至少一个。
(8)根据项(1)所述的医疗信息处理设备，其中，处理电路被配置为指示推荐图像在不同于第二显示屏幕的第一显示屏幕上的显示，在第二显示屏幕上显示多个生物图像中的可见光区域中的活体的拍摄图像。
(9)根据项(1)所述的医疗信息处理设备，其中，处理电路进一步被配置为基于以下中的至少一个在观察活体的内部时识别手术特性：
用于观察活体的内部的医疗观察设备的设置、医疗观察设备的特性、医疗观察设备或者与医疗观察设备协作的外围装置的操作状态、多个生物图像、以及基于多个生物图像生成的二次信息。
(10)根据项(9)所述的医疗信息处理设备，
其中，处理电路进一步被配置为参考手术特性识别数据库在观察活体的内部时识别手术特性，其中，以下中的至少一个实际上在生成多个生物图像时与手术特性相关联：用于观察活体的内部的医疗观察设备的设置、医疗观察设备的特性、医疗观察设备或与医疗观察设备协作的外围装置的操作状态、多个生物图像、以及基于多个生物图像生成的二次信息。
(11)根据项(10)所述的医疗信息处理设备，
其中，关于存在于活体的内部中的器官和生物物质的光谱反射率或吸收系数的信息被进一步记录在手术特性识别数据库中，并且
其中，处理电路进一步被配置为基于关于存在于活体的内部中的器官和生物物质的光谱反射率或吸收系数的信息，在观察活体的内部时识别手术特性。
(12)根据项(10)所述的医疗信息处理设备，
其中，关于活体的内部中的器官或医疗器械的第一图像信息被进一步记录在手术特性识别数据库中，并且
处理电路进一步被配置为基于第一图像信息在观察活体的内部时识别手术特性。
(13)根据项(1)所述的医疗信息处理设备，
其中，在多个生物图像中包括可见光区域中的活体的第一拍摄图像以及近红外区域中的活体的第二拍摄图像，并且
处理电路被配置为在手术特性包括检测出血液的情况下选择近红外区域中的活体的第一拍摄图像作为推荐图像。
(14)根据项(1)所述的医疗信息处理设备，
其中，在多个生物图像中至少包括可见光区域中的活体的第一拍摄图像以及近红外区域中的活体的第二拍摄图像，并且
其中，处理电路被配置为在手术特性包括检测出烟或雾或者医疗能量装置处于使用中的情况下选择近红外区域中的活体的第二拍摄图像作为推荐图像。
(15)根据项(14)所述的医疗信息处理设备，
其中，处理电路被配置为在手术特性包括没有检测出烟或雾并且医疗能量装置的使用结束的情况下指示显示屏幕从推荐图像切换至可见光区域中的活体的第一拍摄图像。
(16)根据项(1)所述的医疗信息处理设备，
其中，处理电路被配置为在手术特性包括检测出血流阻塞医疗器械或血管吻合医疗器械的情况下选择其中基于多个生物图像生成二次信息的氧饱和度的分布是直观的二次图像的图像、或者对应于血液分布的多个生物图像的近红外区域中的活体的拍摄图像作为推荐图像。
(17)根据项(1)所述的医疗信息处理设备，
其中，处理电路被配置为在手术特性包括检测出存在血管的的情况下，选择具有允许目视识别血管的波长范围的多个生物图像的活体的拍摄图像作为推荐图像。
(18)根据项(1)所述的医疗信息处理设备，进一步包括：
医疗观察设备，该医疗观察设备包括多光谱传感器，该多光谱传感器包括被配置为在区分每个波长范围的强度时同时检测多个波长范围中的光的强度的至少一个像素，
其中，从多光谱传感器的输出结果生成用于多个波长范围中的每一个的生物图像作为多个生物图像。
(19)根据项(1)所述的医疗信息处理设备，进一步包括：
医疗观察设备，该医疗观察设备包括对应于特定波长范围的多个成像元件，
其中，从成像元件的输出结果生成用于多个波长范围中的每一个的生物图像作为多个生物图像。
(20)根据项(1)所述的医疗信息处理设备，进一步包括：
医疗观察设备，该医疗观察设备通过在切换包括在医疗观察设备中的成像元件上形成图像的光的波长范围的同时执行成像来生成用于多个波长范围中的每一个的生物图像作为多个生物图像。
(21)根据项(1)所述的医疗信息处理设备，进一步包括：
医疗观察设备，该医疗观察设备是医疗内窥镜或医疗显微镜。
(22)一种医疗信息处理方法，包括：
基于在观察活体的内部时的关于手术特性的手术情形信息，选择分别具有不同的波长范围的多个生物图像中的至少一个或者从分别具有不同的波长范围的多个生物图像生成的二次图像中的至少一个作为推荐图像。
(23)一种在其中存储有程序的非易失性计算机可读介质，当通过计算机执行时所述程序使得所述计算机执行医疗信息处理方法，包括：
基于观察活体的内部时的关于手术特性的手术情形信息来来选择分别具有不同的波长范围的多个生物图像中的至少一个或者从分别具有不同的波长范围的多个生物图像生成的二次图像中的至少一个作为推荐图像。
(24)一种医疗观察系统，包括：
医疗观察设备，该医疗观察设备包括：
第一处理电路，被配置为通过拍摄多个波长范围中的活体的内部和外部的图像来生成多个生物图像；以及
信息处理设备，该信息处理设备包括：
第二处理电路，被配置为基于观察活体的内部时的关于手术特性的手术情形信息来选择具有不同的波长范围的多个生物图像中的至少一个或者从多个生物图像生成的二次图像中的至少一个作为推荐图像。
参考符号列表
1 医疗观察系统
10 医疗观察设备
20 信息处理设备
101 控制单元(处理电路)
103 观察单元
105 光源单元(光源)
107 成像单元
109 显示单元(显示器)
201 信息获取单元(处理电路)
203 图像推荐处理单元(处理电路)
205 输出处理单元(处理电路)
207 显示控制单元(处理电路)
209 存储单元(存储器)
211 情形识别单元(处理电路)
213 推荐单元(处理电路)
215 推荐图像生成单元(处理电路)。

Claims (24)

1.一种医疗信息处理设备，包括：
处理电路，被配置为：基于在观察活体的内部时的关于手术特性的手术情形信息，来选择分别具有不同的波长范围的多个生物图像中的至少一个或者从分别具有不同的波长范围的多个生物图像生成的二次图像中的至少一个作为推荐图像，
其中，所述处理电路被配置为通过基于所述多个生物图像生成的二次信息在观察所述活体的内部时识别所述手术特性，
所述二次信息包括下列中的至少一项：关于血氧饱和度的信息、关于通过使用关于存在于所述活体的内部中的器官以及用于医疗实践的医疗器械的图像信息对所述生物图像执行图像识别处理而获得的识别结果的信息，
其中，所述手术特性包括下列中的至少一项：检测到出血、检测出烟或雾或者医疗能量装置处于使用中、检测出血流阻塞医疗器械或血管吻合医疗器械、以及检测出存在血管。
2.根据权利要求1所述的医疗信息处理设备，
其中，所述多个生物图像至少包括可见光区域中的所述活体的拍摄图像，并且
其中，所述处理电路进一步被配置为：
对显示所述多个生物图像的显示屏幕执行显示控制，并且
响应于手动输入而切换所述显示屏幕以在所述显示屏幕上显示所述可见光区域中的所述活体的所述拍摄图像和所述推荐图像。
3.根据权利要求1所述的医疗信息处理设备，
其中，所述处理电路进一步被配置为访问推荐图像的数据库并且基于相应的手术特性来选择所述推荐图像，所述数据库使在观察所述活体的内部时的不同的手术特性与不同的推荐图像相关联。
4.根据权利要求1所述的医疗信息处理设备，其中，所述处理电路进一步被配置为使用以下中的至少一个来生成所述推荐图像：
所述多个生物图像中的至少一些生物图像以及通过分析所述多个生物图像中的至少一个而生成的二次信息。
5.根据权利要求4所述的医疗信息处理设备，
其中，所述多个生物图像包括可见光区域中的所述活体的第一拍摄图像以及近红外区域中的所述活体的第二拍摄图像，并且
所述处理电路进一步被配置为改变所述第二拍摄图像的区域的色调，在所述第二拍摄图像中的所述近红外区域中的光被检测为显示器中的预定色调。
6.根据权利要求1所述的医疗信息处理设备，
其中，所述多个生物图像至少包括可见光区域中的所述活体的拍摄图像，并且
所述处理电路指示关于在显示屏幕上的所述推荐图像的信息的显示，在所述显示屏幕上还显示所述可见光区域中的所述活体的拍摄图像。
7.根据权利要求6所述的医疗信息处理设备，其中，关于所述推荐图像的信息是示出所述推荐图像的类型和所述推荐图像的缩略图像的文本信息中的至少一个。
8.根据权利要求1所述的医疗信息处理设备，其中，所述处理电路被配置为指示所述推荐图像在不同于第二显示屏幕的第一显示屏幕上的显示，在所述第二显示屏幕上显示所述多个生物图像中的可见光区域中的所述活体的拍摄图像。
9.根据权利要求1所述的医疗信息处理设备，其中，所述处理电路进一步被配置为基于以下中的至少一个在观察所述活体的内部时识别所述手术特性：
用于观察所述活体的内部的医疗观察设备的设置、所述医疗观察设备的特性、所述医疗观察设备或与所述医疗观察设备协作的外围装置的操作状态、所述多个生物图像。
10.根据权利要求9所述的医疗信息处理设备，
其中，所述处理电路进一步被配置为参考手术特性识别数据库在观察所述活体的内部时识别所述手术特性，其中，以下中的至少一个实际上在生成所述多个生物图像时与所述手术特性相关联：用于观察所述活体的内部的医疗观察设备的设置、所述医疗观察设备的特性、所述医疗观察设备或与所述医疗观察设备协作的外围装置的操作状态、所述多个生物图像、以及基于所述多个生物图像生成的二次信息。
11.根据权利要求10所述的医疗信息处理设备，
其中，关于存在于所述活体的内部中的器官和生物物质的光谱反射率或吸收系数的信息被进一步记录在所述手术特性识别数据库中，并且
其中，所述处理电路进一步被配置为基于关于存在于所述活体的内部中的所述器官和所述生物物质的所述光谱反射率或所述吸收系数的信息，在观察所述活体的内部时识别所述手术特性。
12.根据权利要求10所述的医疗信息处理设备，
其中，关于所述活体的内部中的器官或医疗器械的第一图像信息被进一步记录在所述手术特性识别数据库中，并且
所述处理电路进一步被配置为基于所述第一图像信息在观察所述活体的内部时识别所述手术特性。
13.根据权利要求1所述的医疗信息处理设备，
其中，在所述多个生物图像中包括可见光区域中的所述活体的第一拍摄图像以及近红外区域中的所述活体的第二拍摄图像，并且
所述处理电路被配置为在所述手术特性包括检测到出血的情况下选择所述近红外区域中的所述活体的所述第二拍摄图像作为所述推荐图像。
14.根据权利要求1所述的医疗信息处理设备，
其中，在所述多个生物图像中至少包括可见光区域中的所述活体的第一拍摄图像以及近红外区域中的所述活体的第二拍摄图像，并且
其中，所述处理电路被配置为在所述手术特性包括检测出烟或雾或者医疗能量装置处于使用中的情况下选择所述近红外区域中的所述活体的所述第二拍摄图像作为所述推荐图像。
15.根据权利要求14所述的医疗信息处理设备，
其中，所述处理电路被配置为在所述手术特性包括没有检测出烟或雾并且所述医疗能量装置的使用结束的情况下指示显示屏幕从所述推荐图像切换至所述可见光区域中的所述活体的所述第一拍摄图像。
16.根据权利要求1所述的医疗信息处理设备，
其中，所述处理电路被配置为在所述手术特性包括检测出血流阻塞医疗器械或血管吻合医疗器械的情况下，选择所述二次图像中的一图像、或者所述多个生物图像中与血液分布相对应的近红外区域中的所述活体的拍摄图像作为所述推荐图像，在所述二次图像中的所述图像内，基于所述多个生物图像而生成为二次信息的氧饱和度的分布是直观的。
17.根据权利要求1所述的医疗信息处理设备，
其中，所述处理电路被配置为在所述手术特性包括检测出存在血管的情况下，选择具有允许目视识别血管的波长范围的多个生物图像的所述活体的拍摄图像作为所述推荐图像。
18.根据权利要求1所述的医疗信息处理设备，进一步包括：
医疗观察设备，所述医疗观察设备包括多光谱传感器，所述多光谱传感器包括被配置为在区分每个波长范围的强度的同时检测多个波长范围中的光的强度的至少一个像素，
其中，从所述多光谱传感器的输出结果生成用于所述多个波长范围中的每一个的生物图像作为所述多个生物图像。
19.根据权利要求1所述的医疗信息处理设备，进一步包括：
医疗观察设备，所述医疗观察设备包括对应于特定波长范围的多个成像元件，
其中，从所述成像元件的输出结果生成用于多个波长范围中的每一个的生物图像作为所述多个生物图像。
20.根据权利要求1所述的医疗信息处理设备，进一步包括：
医疗观察设备，所述医疗观察设备通过在切换包括在所述医疗观察设备中的成像元件上形成图像的光的波长范围的同时执行成像来生成用于多个波长范围中的每一个的生物图像作为所述多个生物图像。
21.根据权利要求1所述的医疗信息处理设备，进一步包括：
医疗观察设备，所述医疗观察设备是医疗内窥镜或医疗显微镜。
22.一种医疗信息处理方法，包括：
基于在观察活体的内部时关于手术特性的手术情形信息，选择分别具有不同的波长范围的多个生物图像中的至少一个或者从分别具有不同的波长范围的所述多个生物图像生成的二次图像中的至少一个作为推荐图像，
其中，在观察所述活体的内部时的所述手术特性通过基于所述多个生物图像生成的二次信息而识别，
所述二次信息包括下列中的至少一项：关于血氧饱和度的信息、关于通过使用关于存在于所述活体的内部中的器官以及用于医疗实践的医疗器械的图像信息对所述生物图像执行图像识别处理而获得的识别结果的信息，
其中，所述手术特性包括下列中的至少一项：检测到出血、检测出烟或雾或者医疗能量装置处于使用中、检测出血流阻塞医疗器械或血管吻合医疗器械、以及检测出存在血管。
23.一种在其中存储有程序的非易失性计算机可读介质，当通过计算机执行时所述程序使得所述计算机执行医疗信息处理方法，所述方法包括：
基于在观察活体的内部时关于手术特性的手术情形信息来选择分别具有不同的波长范围的多个生物图像中的至少一个或者从分别具有不同的波长范围的所述多个生物图像生成的二次图像中的至少一个作为推荐图像，
其中，在观察所述活体的内部时的所述手术特性通过基于所述多个生物图像生成的二次信息而识别，
所述二次信息包括下列中的至少一项：关于血氧饱和度的信息、关于通过使用关于存在于所述活体的内部中的器官以及用于医疗实践的医疗器械的图像信息对所述生物图像执行图像识别处理而获得的识别结果的信息，
其中，所述手术特性包括下列中的至少一项：检测到出血、检测出烟或雾或者医疗能量装置处于使用中、检测出血流阻塞医疗器械或血管吻合医疗器械、以及检测出存在血管。
24.一种医疗观察系统，包括：
医疗观察设备，所述医疗观察设备包括：
第一处理电路，被配置为通过拍摄多个波长范围中的活体的内部和外部的图像来生成多个生物图像；以及
信息处理设备，所述信息处理设备包括：
第二处理电路，被配置为基于在观察所述活体的内部时关于手术特性的手术情形信息来选择具有不同的波长范围的所述多个生物图像中的至少一个或者从所述多个生物图像生成的二次图像中的至少一个作为推荐图像，
其中，所述第二处理电路被配置为通过基于所述多个生物图像生成的二次信息在观察所述活体的内部时识别所述手术特性，
所述二次信息包括下列中的至少一项：关于血氧饱和度的信息、关于通过使用关于存在于所述活体的内部中的器官以及用于医疗实践的医疗器械的图像信息对所述生物图像执行图像识别处理而获得的识别结果的信息，
其中，所述手术特性包括下列中的至少一项：检测到出血、检测出烟或雾或者医疗能量装置处于使用中、检测出血流阻塞医疗器械或血管吻合医疗器械、以及检测出存在血管。
CN201780035765.0A 2016-06-16 2017-04-18 信息处理设备、信息处理方法、程序和医疗观察系统 Active CN109310279B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-119687 2016-06-16
JP2016119687A JP6834184B2 (ja) 2016-06-16 2016-06-16 情報処理装置、情報処理装置の作動方法、プログラム及び医療用観察システム
PCT/JP2017/015613 WO2017217107A1 (en) 2016-06-16 2017-04-18 Information processing apparatus, information processing method, program, and medical observation system

Publications (2)

Publication Number Publication Date
CN109310279A CN109310279A (zh) 2019-02-05
CN109310279B true CN109310279B (zh) 2022-07-26

Family

ID=58707981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780035765.0A Active CN109310279B (zh) 2016-06-16 2017-04-18 信息处理设备、信息处理方法、程序和医疗观察系统

Country Status (5)

Country Link
US (2) US10650924B2 (zh)
EP (1) EP3471591B1 (zh)
JP (1) JP6834184B2 (zh)
CN (1) CN109310279B (zh)
WO (1) WO2017217107A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6834184B2 (ja) * 2016-06-16 2021-02-24 ソニー株式会社 情報処理装置、情報処理装置の作動方法、プログラム及び医療用観察システム
US20210015432A1 (en) * 2018-03-20 2021-01-21 Sony Corporation Surgery support system, information processing apparatus, and program
WO2019217589A1 (en) * 2018-05-08 2019-11-14 Xenocor, Inc. Non-conductive borescopes and related imaging techniques
WO2020003991A1 (ja) * 2018-06-28 2020-01-02 富士フイルム株式会社 医療画像学習装置、方法及びプログラム
JP7382930B2 (ja) * 2018-06-28 2023-11-17 富士フイルム株式会社 医療画像処理装置
US20200015924A1 (en) 2018-07-16 2020-01-16 Ethicon Llc Robotic light projection tools
JP2020167512A (ja) * 2019-03-29 2020-10-08 ソニー株式会社 医療用画像伝送システム、医療用画像処理装置及び医療用画像伝送方法
JP7352411B2 (ja) 2019-08-22 2023-09-28 キヤノン株式会社 撮像装置
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11648060B2 (en) 2019-12-30 2023-05-16 Cilag Gmbh International Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
US11219501B2 (en) 2019-12-30 2022-01-11 Cilag Gmbh International Visualization systems using structured light
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
JP2022016851A (ja) * 2020-07-13 2022-01-25 キヤノン株式会社 撮像装置、及び撮像システム
JP6877705B1 (ja) * 2020-10-05 2021-05-26 ニレック株式会社 内視鏡及び当該内視鏡に設けられた撮像部
WO2023038005A1 (ja) * 2021-09-08 2023-03-16 富士フイルム株式会社 内視鏡システム、医療情報処理装置、医療情報処理方法、医療情報処理プログラム、及び記録媒体
CN117881330A (zh) * 2021-09-08 2024-04-12 富士胶片株式会社 内窥镜系统、医疗信息处理装置、医疗信息处理方法、医疗信息处理程序及记录介质
WO2023166742A1 (ja) * 2022-03-04 2023-09-07 オリンパス株式会社 画像処理装置、処置システムおよび画像処理方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006314557A (ja) * 2005-05-12 2006-11-24 Olympus Medical Systems Corp 生体観測装置
AU2006245251B2 (en) * 2005-05-12 2009-10-08 Olympus Medical Systems Corp. Biometric instrument
JP5250342B2 (ja) * 2008-08-26 2013-07-31 富士フイルム株式会社 画像処理装置およびプログラム
JP2010279526A (ja) * 2009-06-04 2010-12-16 Fujifilm Corp 内視鏡画像処理装置および方法ならびにプログラム
JP4810623B2 (ja) * 2009-08-07 2011-11-09 オリンパスメディカルシステムズ株式会社 医療システム
JP5562683B2 (ja) * 2010-03-03 2014-07-30 オリンパス株式会社 蛍光観察装置
WO2012035923A1 (ja) * 2010-09-14 2012-03-22 オリンパスメディカルシステムズ株式会社 内視鏡システム及び視界不良判定方法
JP5247785B2 (ja) * 2010-10-12 2013-07-24 富士フイルム株式会社 内視鏡装置
CN103458759B (zh) * 2011-03-31 2015-10-14 奥林巴斯株式会社 荧光观察装置
US10052157B2 (en) * 2011-08-21 2018-08-21 M.S.T. Medical Surgery Technologies Ltd Device and method for assisting laparoscopic surgery—rule based approach
WO2013051431A1 (ja) * 2011-10-06 2013-04-11 オリンパス株式会社 蛍光観察装置
JP5916341B2 (ja) * 2011-10-21 2016-05-11 国立大学法人広島大学 気管挿管装置
EP2790564A4 (en) * 2011-12-15 2016-06-08 Given Imaging Ltd DEVICE, SYSTEM AND METHOD FOR IN VIVO DETECTION OF BLEEDINGS IN THE STOMACH DARM TRACT
TWI496615B (zh) 2013-07-03 2015-08-21 Univ Nat Taiwan Science Tech 一種製備銀顆粒的方法及核殼結構銀顆粒
US20150105769A1 (en) * 2013-10-15 2015-04-16 Olympus Medical Systems Corp. Method for endoscopic treatment
US10258242B2 (en) * 2014-01-06 2019-04-16 The Florida International University Board Of Trustees Near-infrared optical imaging system for hemodynamic imaging, pulse monitoring, and mapping spatio-temporal features
JP6192602B2 (ja) * 2014-06-25 2017-09-06 オリンパス株式会社 画像記録装置
WO2016072237A1 (ja) * 2014-11-06 2016-05-12 オリンパス株式会社 内視鏡システム
US20190069836A1 (en) * 2015-09-05 2019-03-07 Nova Southeastern University Detecting early tissue damage resulting from mechanical deformation, shear, friction, and/or prolonged application of pressure
JP6834184B2 (ja) * 2016-06-16 2021-02-24 ソニー株式会社 情報処理装置、情報処理装置の作動方法、プログラム及び医療用観察システム

Also Published As

Publication number Publication date
JP6834184B2 (ja) 2021-02-24
US20200243185A1 (en) 2020-07-30
CN109310279A (zh) 2019-02-05
US20190180865A1 (en) 2019-06-13
US11107571B2 (en) 2021-08-31
WO2017217107A1 (en) 2017-12-21
EP3471591A1 (en) 2019-04-24
EP3471591B1 (en) 2024-05-29
US10650924B2 (en) 2020-05-12
JP2017221486A (ja) 2017-12-21

Similar Documents

Publication Publication Date Title
CN109310279B (zh) 信息处理设备、信息处理方法、程序和医疗观察系统
US20220331054A1 (en) Adaptation and adjustability or overlaid instrument information for surgical systems
JP6265627B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
WO2018034075A1 (ja) 撮像システム
US20220095903A1 (en) Augmented medical vision systems and methods
US8440984B2 (en) Fluoroscopy system
JP7059297B2 (ja) 医療画像処理装置
WO2019202827A1 (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
JP7315576B2 (ja) 医療画像処理装置、医療画像処理装置の作動方法及びプログラム、診断支援装置、ならびに内視鏡システム
EP1743568A2 (en) Image processing device
JP2023014380A (ja) 内視鏡システム
WO2020054543A1 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
JPWO2020174572A1 (ja) 内視鏡装置、プログラム、内視鏡装置の制御方法及び処理装置
WO2020008920A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
JP2015198735A (ja) 生体観察システム
JP7146318B1 (ja) コンピュータプログラム、学習モデルの生成方法、及び手術支援装置
US11942213B2 (en) Endoscope system, medical image processing device, and operation method therefor
JP7147890B2 (ja) 情報処理システム、情報処理方法及びプログラム
WO2021044910A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラム
WO2020009127A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
JP6833424B2 (ja) 集中制御装置
WO2018225316A1 (ja) 医療用制御装置
JP2022180108A (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
JP2024051041A (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
CN117479896A (zh) 包括可在组织穿透外科装置的通道外展开的相机阵列的系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant