CN110392546B - 信息处理设备、辅助系统和信息处理方法 - Google Patents

信息处理设备、辅助系统和信息处理方法 Download PDF

Info

Publication number
CN110392546B
CN110392546B CN201880015165.2A CN201880015165A CN110392546B CN 110392546 B CN110392546 B CN 110392546B CN 201880015165 A CN201880015165 A CN 201880015165A CN 110392546 B CN110392546 B CN 110392546B
Authority
CN
China
Prior art keywords
image
metadata
control unit
assistance
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880015165.2A
Other languages
English (en)
Other versions
CN110392546A (zh
Inventor
一木洋
水仓贵美
鹤大辅
深沢健太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110392546A publication Critical patent/CN110392546A/zh
Application granted granted Critical
Publication of CN110392546B publication Critical patent/CN110392546B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/002—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor having rod-lens arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/11—Surgical instruments, devices or methods, e.g. tourniquets for performing anastomosis; Buttons for anastomosis
    • A61B17/115—Staplers for performing anastomosis in a single operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02042—Determining blood loss or bleeding, e.g. during a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Urology & Nephrology (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Endoscopes (AREA)

Abstract

[问题]提供一种能够对操作者进行适当的辅助的信息处理设备、辅助系统和信息处理方法。[解决方法]一种信息处理设备，其包括控制单元。基于通过对包括患部的手术部位成像而获得的第一图像和通过过去的外科手术或检查获得的情况的元数据，控制单元提取与元数据相关的情况设置的辅助参数。

Description

信息处理设备、辅助系统和信息处理方法
技术领域
本技术涉及用于辅助外科手术等的信息处理设备、辅助系统和信息处理方法。
背景技术
已经提出了一种能够通过使监视器在操作期间显示外科手术的实时图像和与其相关的图像来进行适当辅助(例如，参见专利文献1)的辅助系统。该辅助系统被配置为使得能够在监视器上显示与患者相关的检查图像和与外科手术相关的手术图像以及实时图像。
引用列表
专利文献
专利文献1：日本专利申请公开第2005-110878号
发明内容
技术问题
然而，在这样的辅助系统中，诸如与外科手术相关的手术图像的相关信息在监视器上显示，同时外科医生需要正确地识别多条相关图像信息并且从它们中确定适合于当时情况的相关图像信息。
本技术的目的是提供一种能够根据外科医生自主进行的情况来进行适当的辅助的信息处理设备、辅助系统和信息处理方法。
问题的解决方法
根据本技术的实施例的信息处理设备包括控制单元。
控制单元基于通过拾取包括患部的手术部位的图像而获得的第一图像和从过去的外科手术或检查获得的情况的元数据，提取针对该情况执行的辅助的参数，该辅助参数对应于元数据。
根据本实施例，基于第一图像，自动进行依据第一图像中所示的情况的适当的辅助，并且因此外科医生可以进行更合适的手术等。
控制单元可以计算与第一图像的图像识别结果相似的元数据，并且提取对应于计算出的元数据的参数。
利用这种配置，进行根据与第一图像中所示的情况相似的元数据相对应的参数的辅助。
控制单元可以基于提取的参数来改变手术部位的图像拾取条件。
如上所述，可以进行根据第一图像中所示的情况提供合适的图像拾取条件的辅助。
控制单元可以基于提取的参数，通过改变用于照射手术部位的照射光来改变图像拾取条件。
如上所述，图像拾取条件的改变可以是改变用于照射手术部位的照射光。例如，使用窄带光作为照射光拾取的图像是强调表层血管并且能够更准确地进行患部观察的图像。此外，在由于大量出血而难以确定组织的情况下，使用用于透射血液的特殊光作为照射光拾取的图像是从中移除血液部分的图像，并且变得易于确定组织。
控制单元可以基于提取的参数通过在图像拾取时刻调整比例和焦点来改变图像拾取条件。
如上所述，图像拾取条件的变化可以是图像拾取时刻的比例和焦点的调整。利用这种配置，例如，可以观察到以放大状态显示的患部。
控制单元可以使显示设备显示第二图像，该第二图像通过基于提取的参数改变图像拾取条件并且拾取手术部位的图像而获得。
利用这种配置，外科医生可以在观看在显示设备上显示的第二图像的同时进行更合适的外科手术等。
控制单元可以使得显示设备显示第二图像，该第二图像的图像质量通过基于提取的参数使第一图像进行图像处理而被调整。
手术部位可以包括第一组织和第二组织，并且控制单元可以使显示设备显示第二图像，该第二图像的图像质量通过基于提取的参数使第一图像进行使第一图像中的第一组织和第二组织之间的色调差扩展的图像处理而被调整。
利用这种配置，能够以强调手术部位中的第一组织的方式获得其图像质量被调整的第二图像，并且外科医生能够正确地找到第一组织存在的区域。
控制单元可以使显示设备基于提取的参数显示作为参考的过去的图像或视频。
如上所述，以显示过去在与第一图像中示出的情况类似的情况下生成的作为参考的图像或视频方式，外科医生能够预测危险并且能够进行更合适的外科手术。
如果基于第一图像和元数据确定第一图像具有低可见度的情况，则控制单元可以提取使显示设备显示在引起低可见度之前拾取的图像的参数。
利用这种配置，例如，即使低可见度是由用电刀(radio knife)切割患部时生成的烟雾等引起的，也可以检查在引起低可见度之前拾取的图像，并且可以确保外科医生的视野。
控制单元可以基于提取的参数来报告辅助信息。
例如，在第一图像中示出的情况与过去使用吻合器(stapler)的吻合失败时的情况类似的情况下，可以向外科医生报告用于促使引起注意的警告的辅助信息。作为报告方法，可以在显示设备上显示用于促使用户注意的警告的文本，或者可以作为声音进行报告。
根据本技术的实施例的辅助系统包括元数据的数据库、参数的数据库和控制单元。
在元数据的数据库中，存储从过去的外科手术或检查获得的情况的元数据。
在参数的数据库中，存储针对与元数据相对应的情况进行的辅助的参数。
控制单元基于元数据的数据库，计算与通过拾取包括患部的手术部位的图像而获得的第一图像的图像识别结果类似的元数据，并提取对应于计算出的元数据的参数。
根据本实施例，自动进行根据与第一图像中示出的情况类似的元数据相对应的参数的辅助，并且外科医生可以进行更合适的外科手术等。
根据本技术的实施例的信息处理方法包括拾取第一图像的图像识别结果、计算元数据和提取参数。
通过获取拾取包括患部的手术部位的图像而获得第一图像的图像识别结果来进行第一图像的图像识别结果的获取。
通过从元数据的数据库中计算与第一图像的图像识别结果类似的元数据来进行元数据的计算，元数据的数据库中存储从过去的外科手术或检查获得的情况的元数据。
通过提取针对该情况进行的辅助的参数来进行参数的提取，该参数对应于计算出的元数据。
根据本实施例，自动进行根据与第一图像中示出的情况类似的元数据相对应的参数的辅助，并且外科医生可以进行更合适的外科手术等。
发明的有益效果
如上所述，根据本技术，可以自动地对外科医生进行适当的辅助。
应注意，本文描述的效果不一定是限制性的，并且可以提供本公开中描述的任何效果。
附图说明
[图1]是示出根据本技术的在生成数据库时的辅助系统的配置的示意图。
[图2]是示出根据本技术的在使用数据库时的辅助系统的配置的示意图。
[图3]是示出构成辅助系统的一部分的内窥镜手术系统的示意性配置的示例的示图。
[图4]是示出图3中描绘的相机头和相机控制单元(CCU)的功能配置的示例的框图。
[图5]是示出图3示出的CCU的硬件配置的示例的说明图。
[图6]是示出根据第一实施例的辅助系统中的图像质量调整之前和之后的胃内壁的图像的示图。
[图7]是示出根据第二实施例的辅助系统中的显示设备上显示的结肠息肉图像及其放大的显示图像的示例的示图。
[图8]是示出根据第二实施例的辅助系统中的显示设备上显示的结肠息肉图像及其放大的显示图像的另一示例的示图。
[图9]是示出根据第二实施例的辅助系统中的显示设备上显示的结肠息肉图像及其放大的显示图像的又一示例的示图。
[图10]是示出根据第三实施例的辅助系统中的信息处理方法的示图。
[图11]是示出根据第三实施例的辅助系统的显示设备上显示的画面的示例的示图。
[图12]是示出根据第三实施例的辅助系统中的图像识别结果与元数据之间的相似性的确定的示例的示图。
[图13]是示出根据第四实施例的辅助系统中的信息处理方法的示图。
[图14]是示出根据第四实施例的辅助系统的显示设备上显示的画面的示例的示图。
[图15]是示出根据第五实施例的辅助系统中的信息处理方法的示图。
[图16]是示出根据第五实施例的辅助系统的显示设备上显示的画面的示例的示图。
[图17]是示出根据第六实施例的辅助系统中的信息处理方法的示图。
[图18]是示出根据第六实施例的辅助系统的显示设备上显示的画面的示例的示图。
[图19]是示出根据第七实施例的辅助系统中的信息处理方法的示图。
[图20]是示出根据第七实施例的辅助系统中的图像质量调整之前和之后的手术部位的图像的示图。
[图21]是示出根据第八实施例的辅助系统中的信息处理方法的示图。
[图22]是示出根据第八实施例的辅助系统中的照射光切换之前和之后的手术部位的图像的示图。
[图23]是示出根据第九实施例的辅助系统中的信息处理方法的示图。
[图24]是示出根据第九实施例的辅助系统中的脂肪强调处理计算的示例的示图。
[图25]是示出根据第九实施例的辅助系统的显示设备上显示的画面的示例的示图。
[图26]是示出各个实施例的显示设备上显示的画面的另一显示示例的示例。
[图27]是示出各个实施例的显示设备上显示的画面的又一显示示例的示例。
具体实施方式
在下文中，将参考附图描述根据本技术的实施例。在下面的实施例中，将主要描述应用于内窥镜手术系统的辅助系统。在下文中，将主要描述将其应用于内窥镜手术系统的示例，但是它也可以应用于检查和诊断目标器官的状态的内窥镜检查系统。
[辅助系统概要]
在根据本实施例的辅助系统中，将适合于外科手术情况的辅助外科医生的图像配置为在显示设备上显示。在辅助系统中，基于第一图像自动进行依据该情况的辅助，该第一图像是通过拾取包括作为手术目标或检查目标的位置的手术部位的图像而获得的实时图像。作为特定辅助，存在拾取图像的比例和焦点的调整，照射光源的切换，强调患部(病变部位)的第二图像的显示，在放大状态下显示患部的第二图像的显示，报告建议或可能的危险，在过去类似情况下发生的病例的视频或图像的显示，在引起低可见度时先前图像的显示等。
利用这种配置，外科医生可以在在外科手术期间不费力地进行包括调整获取图像的比例和焦点以及切换照明光源的处理的情况下，拾取适合于外科手术情况的图像等。此外，通过接受报告建议或可能的危险的辅助，以及接受显示过去病例的辅助，外科医生可以注意未注意到的点并且可以进行更合适的外科手术。此外，例如，即使经验丰富的医生不在场，经验不足的外科医生也可以基于由辅助系统进行的辅助来进行更合适的外科手术。
传统上，即使是具有高功能的辅助系统，操作员也需要熟悉该系统，并且根据情况进行操作，以便充分利用这些功能。相反，在本实施例的辅助系统中，基于作为实时图像的第一图像自动进行适合于该情况的强调的图像显示等的辅助，并且因此不需要根据外科手术情况进行显示图像的复杂操作等。
图1和图2是示出辅助系统100的配置的示意图。图1示出了在生成数据库时辅助系统100的配置。图2示出了在使用数据库时辅助系统100的配置。图3是示出构成辅助系统100的一部分的内窥镜手术系统5000的配置的示意图。图4是示出了在图3中描述的相机头和CCU的功能配置的示例的框图。应注意，稍后将描述在生成和使用数据库时辅助系统100的配置的细节。
辅助系统100包括元数据存储在其中的元数据的数据库110、对应于存储在元数据的数据库110中的元数据的参数存储在其中的参数的数据库120、控制单元5063以及目标识别图像处理单元130。
在元数据的数据库110中，预先存储从过去的手术结果和检查结果获得的情况的元数据。在参数的数据库120中，针对该元数据(情况)进行的辅助被预先存储为参数，同时使其对应于元数据。
在元数据的数据库110中，存储与图像相关的情况的元数据和与设备相关的情况的元数据。
与图像相关的情况的元数据包括外科手术的类型、目的(外科手术操作)、手术工具的存在和缺失、手术工具在图像中的位置、作为手术目标位置的图像中患部的位置、目标患部(应引起注意的器官)的类型、患部的类型(外科手术的情况)等。此外，它包括例如包括患部的手术部位的检测结果，例如，手术部位的颜色分量(R、G、B)、图像梯度信息、纹理图案等。基于目标识别图像处理单元130使用图像处理领域中的目标识别技术进行识别的图像识别结果，来生成与图像相关的情况的元数据。
与设备相关的情况的元数据包括例如拾取手术部位的图像的相机的位置和角度信息、照射光的光源的类型、手术装置的操作信息等。
使与图像相关的情况的多条元数据和与设备相关的情况的多条元数据对应于一个图像(情况)。
这里，外科手术的类型包括例如胃癌、胃息肉、胃中的异物、输尿管结石、消化道出血等，并且指示目标器官和患部的类型等。此外，目的(外科手术操作)包括例如息肉切除术、粘膜切除术、粘膜下剥离术、支架置入术、止血术、切口术、碎石术和结石切除术等、乳头气囊扩张术、引流术、异物等切除术等、检查等。目标患部(应引起注意的器官)包括例如幽门、胃体、贲门、升结肠、横结肠、降结肠、乙状结肠、直肠等，并且指示患部在目标器官中的位置。患部的类型(外科手术的情况)包括例如腺瘤性息肉、增生性息肉、眼底腺体息肉、炎性息肉、癌症、异物、炎症、结石、出血等。
参数包括图像质量调整参数、用于通过控制相机头的操作等(诸如，相机的照射光的切换以及拾取图像的比例和焦点的调整)来改变图像拾取条件的相机控制参数、用于参考过去视频的过去视频的参数、指示危险的事件信息的参数、用于报告建议、警告等的参数等。
[内窥镜手术系统]
接下来，将描述内窥镜手术系统5000。
图3是示出可以应用根据本公开的实施例的技术的内窥镜手术系统5000的示意性配置的示例的示图。在图3中，示出了外科医生(医生)5067使用内窥镜手术系统5000为患者床5069上的患者5071进行外科手术的状态。如图所示，内窥镜手术系统5000包括内窥镜5001、其他手术工具5017、在其上支撑内窥镜5001的支撑臂设备5027、以及在其上安装用于内窥镜手术的各种设备的推车5037。
在内窥镜外科手术中，代替腹壁切开术来进行剖腹外科手术，使用多个称为套管针5025a至5025d的管状孔装置来刺穿腹壁。然后，内窥镜5001的镜筒5003和其他手术工具5017通过套管针5025a至5025d插入患者5071的体腔中。在所示的示例中，作为其他手术工具5017，气腹管5019、能量装置5021和钳子5023被插入患者5071的体腔中。此外，能量装置5021是通过高频电流或超声振动进行组织的切割和剥离、血管的密封等的治疗工具。然而，所示的手术工具5017仅仅是示例，并且作为手术工具5017，可以使用通常用于内窥镜手术中的各种手术工具，诸如镊子或牵开器(retractor)。
在显示设备5041上显示由内窥镜5001成像的患者5071的体腔中的手术区域的图像。外科医生5067在实时观看在显示设备5041上显示的手术区域的图像的同时，将使用能量装置5021或钳子5023来进行例如切除患部的这种治疗。应注意，虽然未示出，但是气腹管5019、能量装置5021和钳子5023在外科手术期间由外科医生5067、协助者等使用。
(支撑臂设备)
支撑臂设备5027包括从基座单元5029延伸的臂单元5031。在所示的示例中，臂单元5031包括接合部5033a、5033b和5033c以及连杆5035a和5035b，并且在臂控制设备5045的控制下被驱动。内窥镜5001由臂单元5031支撑，使得内窥镜5001的位置和姿势被控制。因此，可以实现内窥镜5001的位置的稳定固定。
(内窥镜)
内窥镜5001包括镜筒5003和连接到镜筒5003的近端的相机头5005，镜筒5003具有从其远端至插入患者5071的体腔中的预定长度的区域。在所示的示例中，内窥镜5001被描述为具有硬性类型的镜筒5003的刚性内窥镜。然而，内窥镜5001也可以被配置为具有柔性类型的镜筒5003的柔性内窥镜。
镜筒5003在其远端具有安装物镜的开口。光源设备5043连接到内窥镜5001，使得由光源设备5043产生的光通过在镜筒5003内部延伸的光导被引至镜筒的远端，并且通过物镜朝向患者5071的体腔中的观察目标照射。应注意，内窥镜5001可以是前视内窥镜，或者可以是斜视内窥镜或侧视内窥镜。
光学系统和图像拾取元件设置在相机头5005的内部，使得来自观察目标的反射光(观察光)通过光学系统聚集在图像拾取元件上。观察光由图像拾取元件进行光电转换，以生成对应于观察光的电信号，即，对应于观察图像的图像信号。图像信号作为原始数据发送到CCU 5039。应注意，相机头5005具有包含在其中、适当地驱动相机头5005的光学系统以调整放大率和焦距的功能。
应注意，为了与例如立体视觉(三维(3D)显示器)建立兼容性，可以在相机头5005上设置多个图像拾取元件。在这种情况下，在镜筒5003的内部设置多个中继光学系统，以便将观察光引导到多个图像拾取元件的每一个中。
(包含在推车中的各种设备)
CCU 5039包括中央处理单元(CPU)、图形处理单元(GPU)等，并且整体地控制内窥镜5001和显示设备5041的操作。具体地，对于从相机头5005接收的图像信号，CCU 5039进行基于图像信号显示图像的各种图像处理诸如，例如显影处理(去马赛克处理)。CCU 5039将已经进行图像处理的图像信号提供给显示设备5041。此外，CCU 5039将控制信号发送到相机头5005以控制相机头5005的驱动。控制信号可以包括与图像拾取条件(诸如放大率或焦距)相关的信息。
在CCU 5039的控制下，显示设备5041基于已经由CCU 5039进行图像处理的图像信号来显示图像。如果内窥镜5001准备用于诸如4K(水平像素数3840×垂直像素数2160)、8K(水平像素数7680×垂直像素数4320)等的高分辨率的成像和/或准备用于3D显示，则可以将能够进行高分辨率和/或3D显示的相应显示的显示设备用作显示设备5041。在设备准备用于诸如4K或8K的高分辨率成像的情况下，如果用作显示设备5041的显示设备具有等于或不小于55英寸的尺寸，则可以获得更加沉浸式的体验。此外，可以根据目的提供具有不同分辨率和/或不同尺寸的多个显示设备5041。
光源设备5043包括光源，例如发光二极管(LED)，并且将用于手术区域成像的照射光提供给内窥镜5001。
臂控制设备5045包括处理器诸如，例如CPU，并且根据预定程序操作，以预定控制方法控制支撑臂设备5027的臂单元5031的驱动。
输入设备5047是用于内窥镜手术系统5000的输入接口。用户可以通过输入设备5047进行输入到内窥镜手术系统5000的各种信息或指令的输入。例如，用户可以通过输入设备5047输入与外科手术相关的各种信息，诸如患者的身体信息、关于外科手术的手术治疗等的信息。此外，用户可以通过输入设备5047输入例如驱动臂单元5031的指令、通过内窥镜5001改变图像拾取条件(照射光的类型、放大率、焦距等)的指令、驱动能量装置5021的指令等。
输入设备5047的类型不受限制，并且可以是各种已知输入设备中的任何一种的类型。作为输入设备5047，例如，可以应用鼠标、键盘、触摸面板、开关、脚踏开关5057和/或杆等。在触摸面板被用作输入设备5047的情况下，触摸面板可以设置在显示设备5041的显示面上。
另外的，输入设备5047是将安装在用户上的装置，例如，眼镜型可穿戴装置或头戴式显示器(HMD)，并且响应于由所提及的任何装置检测到的用户的姿势或视线来进行各种输入。此外，输入设备5047包括可以检测用户的运动的相机，并且响应于从由相机成像的视频检测到的用户的姿势或视线来进行各种输入。此外，输入设备5047包括可以收集用户的语音的麦克风，并且通过由麦克风收集的语音来进行各种输入。通过将输入设备5047配置为使得可以以非接触形式的这种方式输入各种类型的信息，尤其是处于清洁区域的用户(例如，外科医生5067)可以以非接触形式操作属于非清洁区域的设备。此外，由于用户可以在不从其手中释放所控制的手术工具的情况下操作设备，因此提高了对用户的便利性。
治疗工具控制设备5049控制能量装置5021的驱动以烧灼或切割组织、密封血管等。气腹设备5051通过气腹管5019将气体供给到患者5071的体腔中以使体腔膨胀，从而确保内窥镜5001的视野并且确保外科医生的操作空间。记录器5053是能够记录与外科手术相关的各种信息的设备。打印机5055是能够以各种形式(诸如文本、图像或图形)打印与外科手术相关的各种信息的设备。
在下文中，尤其更详细地描述了内窥镜手术系统5000的特征配置。
(支撑臂设备)
支撑臂设备5027包括用作基座的基座单元5029和从基座单元5029延伸的臂单元5031。在所示的示例中，臂单元5031包括多个接合部5033a、5033b和5033c以及通过接合部5033b彼此连接的多个连杆5035a和5035b。在图3中，为了简化说明，以简化的形式描述臂单元5031的配置。实际上，接合部5033a至5033c和连杆5035a和5035b的形状、数量和布置以及接合部5033a至5033c的旋转轴的方向等可以被适当设置使得臂单元5031具有期望的自由度。例如，臂单元5031可以优选被配置为使得其具有等于或不小于6个自由度的自由度。这使得可以在臂单元5031的可移动范围内自由移动内窥镜5001。因此，可以将内窥镜5001的镜筒5003从期望的方向插入患者5071的体腔中。
在接合部5033a至5033c中的每一个中设置致动器，并且接合部5033a至5033c被配置为通过相应致动器的驱动可以使它们围绕其预定旋转轴旋转。致动器的驱动由臂控制设备5045控制，以控制接合部5033a至5033c中的每一个的旋转角度，从而控制臂单元5031的驱动。因此，可以实现对内窥镜5001的位置和姿势的控制。于是，臂控制设备5045可以通过各种已知的控制方法(诸如力控制或位置控制)来控制臂单元5031的驱动。
例如，如果外科医生5067通过输入设备5047(包括脚踏开关5057)适当地进行操作输入，则响应于操作输入，臂控制设备5045可以适当地控制臂单元5031的驱动，以控制内窥镜5001的位置和姿势。在通过刚才描述的控制将在臂单元5031的远端的内窥镜5001从任意位置移动到不同的任意位置之后，内窥镜5001可以固定地支撑在移动之后的位置处。应注意，臂单元5031可以以主从方式操作。在这种情况下，臂单元5031可以由用户通过位于远离手术室的地方的输入设备5047远程控制。
此外，在施加力控制的情况下，臂控制设备5045可以进行动力辅助控制以驱动接合部5033a至5033c的致动器，使得臂单元5031可以接收用户的外力并且顺着外力平滑地移动。这使得当用户直接接触并移动臂单元5031时，可以以相对小的力移动臂单元5031。因此，用户可以通过更简单和更容易的操作更直观地移动内窥镜5001，并且可以提高用户的便利性。
这里，在内窥镜手术中，内窥镜5001通常由称为内镜医师的医生操作。相反，在使用支撑臂设备5027的情况下，内窥镜5001的位置可以在不用手的情况下更确定地固定，并且因此，可以稳定地获得手术区域的图像，并且可以顺利地进行外科手术。
应注意，臂控制设备5045可以不必设置在推车5037上。此外，臂控制设备5045可以不必是单个设备。例如，臂控制设备5045可以设置在支撑臂设备5027的臂单元5031的接合部5033a至5033c中的每一个中，使得多个臂控制设备5045彼此协作以实现对臂单元5031的驱动控制。
(光源设备)
光源设备5043在手术区域成像时将照射光提供给内窥镜5001。光源设备5043包括白光源，该白光源包括例如LED、激光光源或它们的组合。在这种情况下，在白光源包括红、绿和蓝激光光源(RGB)的组合的情况下，由于可以针对每种颜色(每种波长)以高精度控制输出强度和输出定时，所以可以通过光源设备5043进行拾取的图像的白平衡的调整。此外，在这种情况下，如果将来自各个RGB激光光源的激光束分时地照射到观察目标上，并且与照射定时同步地控制相机头5005的图像拾取元件的驱动，则可以分时地拾取分别对应于R、G和B颜色的图像。根据刚刚描述的方法，即使没有为图像拾取元件提供滤色器，也可以获得彩色图像。
此外，可以控制光源设备5043的驱动，使得要输出的光的强度在每个预定时间内改变。通过与光强度变化的定时同步地控制相机头5005的图像拾取元件的驱动以分时地获取图像以及合成图像，可以创建没有曝光不足的遮挡阴影以及过度曝光的高光的高动态范围的图像。
此外，光源设备5043可以被配置为提供准备用于特殊光观察的预定波长带的光。在特殊光观察中，例如，通过利用光在身体组织中吸收的波长依赖性来照射比普通观察时的照射光(即，白光)更窄波长带的光，进行以高对比度成像预定组织(诸如粘膜表面部分血管等)的窄带光观察(窄带成像)。可选地，在特殊光观察中，可以进行从通过照射激发光产生的荧光获得图像的荧光观察。在荧光观察中，可以通过将激发光照射到身体组织上来进行来自身体组织的荧光的观察(自体荧光观察)，或者通过将诸如吲哚菁绿(ICG)的试剂局部注射到身体组织中并且将对应于试剂的荧光波长的激发光照射到身体组织上来获得荧光图像。光源设备5043可以被配置为提供适合于如上所述的特殊光观察的这样的窄带光和/或激发光。
(相机头和CCU)
参见图4更详细地描述内窥镜5001的相机头5005和CCU 5039的功能。图4是示出图3中描述的相机头5005和CCU 5039的功能配置的示例的框图。
参见图4，相机头5005具有作为其功能的透镜单元5007、图像拾取单元5009、驱动单元5011、通信单元5013以及相机头控制单元5015。此外，CCU 5039具有作为其功能的通信单元5059、图像处理单元5061以及控制单元5063。相机头5005和CCU 5039通过传输电缆5065彼此双向通信连接。
首先，描述相机头5005的功能配置。透镜单元5007是设置在相机头5005与镜筒5003的连接位置处的光学系统。从镜筒5003的远端获取的观察光被引入相机头5005并进入透镜单元5007。透镜单元5007包括多个透镜的组合，多个透镜包括变焦透镜和聚焦透镜。透镜单元5007具有可调整为使得观察光聚集在图像拾取单元5009的图像拾取元件的光接收面上的光学性质。此外，变焦透镜和聚焦透镜被配置为使得其在它们光轴上的位置可以移动，以调整拾取的图像的放大率和焦点。
图像拾取单元5009包括图像拾取元件，并且设置在透镜单元5007的后续级。穿过透镜单元5007的观察光聚集在图像拾取元件的光接收面上，并且通过图像拾取元件的光电转换生成对应于观察图像的图像信号。通过图像拾取单元5009生成的图像信号被提供给通信单元5013。
作为图像拾取单元5009包括的图像拾取元件，使用例如具有拜耳阵列并且能够拾取彩色图像的互补金属氧化物半导体(CMOS)类型的图像传感器。应注意，作为图像拾取元件，可以使用例如准备用于对等于或不小于4K的高分辨率图像成像的图像拾取元件。如果以高分辨率获得手术区域的图像，则外科医生5067可以以增强的细节理解手术区域的状态，并且可以更顺利地进行外科手术。
此外，由图像拾取单元5009包括的图像拾取元件包括使得其具有一对图像拾取元件，用于获取与3D显示器兼容的用于右眼和左眼的图像信号。在应用3D显示器的情况下，外科医生5067可以更准确地理解手术区域中的活体组织的深度。应注意，如果图像拾取单元5009被配置为多板类型的图像拾取单元，则对应于图像拾取单元5009的各个图像拾取元件设置多个透镜单元5007的系统。
图像拾取单元5009可以不必设置在相机头5005上。例如，图像拾取单元5009可以设置在镜筒5003的内部中的物镜后面。
驱动单元5011包括致动器，并且在相机头控制单元5015的控制下沿着光轴将透镜单元5007的变焦透镜和聚焦透镜移动预定距离。因此，可以适当地调整由图像拾取单元5009拾取的图像的放大率和焦点。
通信单元5013包括用于向CCU 5039发送和从CCU 5039接收各种信息的通信设备。通信单元5013通过传输电缆5065将从图像拾取单元5009获取的图像信号作为原始数据发送到CCU 5039。因此，为了低延迟地显示手术区域的拾取的图像，优选地通过光通信发送图像信号。这是因为，在外科手术时，外科医生5067在通过拾取的图像观察患部的状态的同时进行外科手术，要求尽可能实时地显示手术区域的运动图像，以便以更高的安全性和确定性完成外科手术。在应用光通信的情况下，在通信单元5013中设置用于将电信号转换为光信号的光电转换模块。在通过光电转换模块将图像信号转换为光信号之后，图像信号通过传输电缆5065传输到CCU 5039。
此外，通信单元5013从CCU 5039接收用于控制相机头5005的驱动的控制信号。控制信号包括与图像拾取条件相关的信息，例如，指定拾取的图像的帧速率的信息、指定图像拾取时的曝光值的信息和/或指定拾取的图像的放大率和焦点的信息。通信单元5013将接收到的控制信号提供给相机头控制单元5015。应注意，来自CCU 5039的控制信号也可以通过光通信传输。在这种情况下，在通信单元5013中设置用于将光信号转换为电信号的光电转换模块。在通过光电转换模块将控制信号转换为电信号之后，将电信号提供给相机头控制单元5015。
应注意，基于所获取的图像信号，由CCU 5039的控制单元5063自动设置诸如帧速率、曝光值、放大率或焦点的图像拾取条件。换句话说，自动曝光(AE)功能、自动对焦(AF)功能以及自动白平衡(AWB)功能结合在内窥镜5001中。
相机头控制单元5015基于通过通信单元5013接收的来自CCU 5039的控制信号来控制相机头5005的驱动。例如，相机头控制单元5015基于指定拾取的图像的帧速率的信息和/或指定图像拾取时的曝光值的信息，来控制图像拾取单元5009的图像拾取元件的驱动。此外，例如，相机头控制单元5015基于指定拾取的图像的放大率和焦点的信息，控制驱动单元5011以适当地移动透镜单元5007的变焦透镜和聚焦透镜。相机头控制单元5015还可以包括用于存储识别镜筒5003和/或相机头5005的信息的功能。
应注意，通过将诸如透镜单元5007和图像拾取单元5009的组件设置在具有高气密性和防水性的密封结构中，相机头5005可以具有对高压灭菌处理的耐受性。
现在，描述CCU 5039的功能配置。通信单元5059包括用于向相机头5005发送各种信息和从相机头5005接收各种信息的通信设备。通信单元5059通过传输电缆5065接收从相机头5005发送到其的图像信号。因此，图像信号可以优选地通过如上所述的光通信来发送。在这种情况下，为了与光通信兼容，通信单元5059包括用于将光信号转换为电信号的光电转换模块。通信单元5059将转换为电信号后的图像信号提供给图像处理单元5061。
此外，通信单元5059向相机头5005发送用于控制相机头5005的驱动的控制信号。控制信号也可以通过光通信发送。
图像处理单元5061对从相机头5005发送到其的原始数据形式的图像信号进行各种图像处理。图像处理包括各种已知的信号处理，例如显影处理、图像质量提升处理(带宽增强处理、超分辨率处理、降噪(NR)处理和/或图像稳定处理)和/或放大处理(电子变焦处理)。此外，图像处理单元5061对图像信号进行检测处理，以便进行AE、AF和AWB。
图像处理单元5061包括诸如CPU或GPU的处理器，并且当处理器根据预定程序操作时，可以进行上述图像处理和检测处理。应注意，在图像处理单元5061包括多个GPU的情况下，图像处理单元5061适当地划分与图像信号相关的信息，使得图像处理由多个GPU并行进行。
控制单元5063进行与通过内窥镜5001拾取手术区域的图像和所拾取的图像的显示有关的各种控制。例如，控制单元5063生成用于控制相机头5005的驱动的控制信号。于是，如果用户输入了图像拾取条件，则控制单元5063基于用户的输入生成控制信号。可选地，在内窥镜5001具有包含在其中的AE功能、AF功能和AWB功能的情况下，控制单元5063响应于图像处理单元5061的检测处理的结果适当地计算最佳曝光值、焦距和白平衡，并生成控制信号。
此外，控制单元5063基于已经由图像处理单元5061进行图像处理的图像信号，来控制显示设备5041以显示手术区域的图像。于是，控制单元5063使用各种图像识别技术来识别手术区域图像中的各种目标。例如，控制单元5063可以通过检测包括在手术区域图像中的目标的边缘的形状、颜色等来识别诸如钳子的手术工具、特定的活体区域、出血、使用能量装置5021时的烟雾等。当控制单元5063控制显示设备5041显示手术区域图像时，控制单元5063使用识别的结果使得各种手术支持信息以与手术区域的图像重叠的方式显示。在以重叠的方式显示手术支持信息并将其呈现给外科医生5067的情况下，外科医生5067可以更安全和更确定地进行外科手术。
将相机头5005和CCU 5039彼此连接的传输电缆5065是准备用于电信号通信的电信号电缆、准备用于光通信的光纤或准备用于电通信和光通信的复合电缆。
这里，虽然在所示的示例中，通过使用传输电缆5065的有线通信来进行通信，但是相机头5005和CCU 5039之间的通信可以通过无线通信以其他方式来进行。在通过无线通信进行相机头5005和CCU 5039之间的通信的情况下，不必将传输电缆5065铺设在手术室中。因此，可以消除传输电缆5065干扰手术室中的医务人员的移动的这种情况。
上面已经描述了可以应用根据本公开的实施例的技术的内窥镜手术系统5000的示例。这里应注意，虽然已经作为示例描述了内窥镜手术系统5000，但是可以应用根据本公开的实施例的技术的系统不限于该示例。例如，根据本公开的实施例的技术可以应用于用于检查的柔性内窥镜系统或显微手术系统。
图5是示出图3中的CCU 5039的硬件配置的示例的说明图。CCU 5039包括例如现场可编程门阵列(FPGA)板6001、CPU 6005、GPU板6002和6003、存储器6004、IO控制器6006、记录介质6007和接口6008。此外，FPGA板6001、CPU 6005以及GPU板6002和6003例如经由总线6009连接。FPGA板6001包括例如FPGA、输入接口(通过该输入接口从图3的内窥镜5001输入输入图像信号)以及输出接口(通过该输出接口将输出图像信号输出到图3的显示设备5041)。
CPU 6005和GPU板6002和6003运行各种类型的软件，诸如用于执行各种类型处理的相关软件。CPU 6005包括处理器。GPU板6002和6003中的每一个包括图形处理单元(GPU)和动态随机存取存储器(DRAM)。
在存储器6004中，存储各种类型的数据，例如，对应于来自内窥镜5001的输入图像信号的数据、对应于到显示设备5041的输出图像信号的数据等。CPU 6005用于控制在存储器6004中写入和从存储器6004中读取各种类型的数据。
CPU 6005根据存储在存储器6004中的数据、GPU板6002和6003的处理能力以及处理内容来划分存储在存储器6004中的图像数据。然后，GPU板6002和6003的每一个GPU对划分的和提供的数据进行预定处理，并将处理结果输出到CPU 6005。
例如，IO控制器6006用于控制信号在CPU 6005和记录介质6007以及接口6008之间的传输。
记录介质6007用作存储单元(未示出)，并且存储各种类型的数据，诸如图像数据和各种应用。这里，记录介质6007的示例可以包括固态驱动器等。此外，记录介质6007可以从CCU 5039移除。
接口6008的示例可以包括通用串行总线(USB)终端和处理电路、局域网(LAN)终端以及发送和接收电路等。
应注意，CCU 5039的硬件配置不限于图5所示的配置。例如，图5示出了设置两个GPU板(GPU板6002和6003)的示例。然而，可以设置两个或更多个GPU板。此外，在CPU 6005具有GPU功能的情况下，CCU 5039不需要包括GPU板6002和6003。
根据本公开的辅助系统有利地应用于内窥镜手术系统和内窥镜检查系统。通过将根据本公开的技术应用于内窥镜手术系统，可以获得适合于外科手术情况的图像。因此，可以更安全和更合适地进行外科手术。此外，通过将根据本公开的技术应用于内窥镜检查系统，可以进行更确定的诊断。
[数据库生成时辅助系统的配置]
将参考图1、图3以及图4进行描述。图1是示出在数据库生成时辅助系统100的配置的示意图。这里，将描述生成相应的元数据的数据库和参数的数据库的情况。
如图1所示，在生成数据库时辅助系统100包括内窥镜手术系统5000、目标识别图像处理单元130、元数据的数据库110、参数的数据库120和监视器140。
图3示出了外科医生(医生)5067通过使用内窥镜手术系统5000对患者床5069上的患者5071进行外科手术的状态。如图所示，内窥镜手术系统5000包括内窥镜5001、其他手术工具5017、支撑内窥镜5001的支撑臂设备5027以及在其上安装用于内窥镜外科手术的各种设备的推车5037。显示设备5041、CCU 5039等安装在推车5037上。如图4所示，CCU 5039是包括控制单元5063、通信单元5059以及图像处理单元5061的信息处理设备。
在生成数据库时的辅助系统100中，由内窥镜5001拾取的第一图像显示在显示设备5041上，并且与显示设备5041上显示的图像相同的图像显示在监视器140上。监视器140放置在与手术室不同的房间中，并且协助者(医学专家、有经验的医生等)150可以检查监视器140的显示。此外，手术部位的图像拾取条件等被配置为能够由协助者150改变。
在生成数据库时的辅助系统100中，协助者150通过监视器140观察外科医生(医生)5067通过使用内窥镜系统5000对患者进行外科手术的状况，并进行适合于该情况的辅助。以这种方式，生成数据库。
在观看监视器140上显示的第一图像的同时，协助者150进行辅助(诸如调整比例和焦点以及切换照射光)以改变图像拾取条件，以便提供适合于该外科手术情况的图像显示。基于由协助者150进行的辅助而拾取和获取的第二图像显示在显示设备5041上。此外，协助者150进行辅助等以使显示设备5041显示适合于该外科手术情况的建议或警告以进行报告。
在生成数据库时的辅助系统100中，控制单元5063基于由目标识别图像处理单元130识别的第一图像的图像识别结果生成该情况的元数据，并将其存储在元数据的数据库110中。然后，控制单元5063将协助者150辅助的、针对该情况的参数存储在参数的数据库120中，同时使其对应于该元数据(情况)。
在元数据的数据库110中，存储的是手术处理的类型的元数据、目的、手术工具在图像中的位置、作为手术目标部位的图像中的患部的位置、目标患部的类型(应引起注意的器官)、患部(病变部位)的类型等，与图像相关的情况的元数据，例如，包括患部等的手术部位的检测结果的元数据，例如，手术部位的颜色分量(R，G，B)、图像梯度信息、纹理图案等，以及与设备相关的情况的元数据，例如，拾取手术部位的图像的相机的位置和角度信息、照射光的光源的类型、手术装置的操作信息等。
基于目标识别图像处理单元130的识别的图像识别结果生成与图像相关的情况的元数据。目标识别图像处理单元130预先保留表示对象(例如，患部、手术工具等)的特征的信息，并且从包括手术目标位置的手术部位的图像(第一图像)中提取并识别预先保留的特征，该图像由设置在相机头5005中的图像拾取单元5009拾取。目标识别图像处理单元130的目标识别可以使用图像处理领域中的已知目标识别技术来进行。
在参数的数据库120中，存储的是图像质量调整参数、用于控制相机头的操作等的相机控制参数(诸如相机的照射光的切换以及比例和焦点的调整等)、用于参考过去视频的过去视频的显示参数、指示危险的事件信息显示的参数、用于报告建议、警告等的参数，它们都对应于元数据(情况)。
控制单元5063基于目标识别图像处理单元130识别的图像识别结果生成元数据，并将其存储在元数据的数据库110中。然后，控制单元5063在参数的数据库120中存储由协助者150进行的、针对情况(元数据)的辅助作为参数，同时使其对应于该元数据。
这里，将通过举例说明监视器140上显示的图像是结肠息肉并且协助者150进行相机的比例和焦点的调整以及图像拾取条件的改变的情况(即，将照射手术部位的照射光的类型改变为特殊光，以便用特殊光提供结肠息肉的放大显示和观察图像)来进行描述。
在这种情况下，诸如患部的位置、手术部位的颜色分量(R，G，B)、图像梯度信息以及纹理图案的情况由目标识别图像处理单元130进行图像识别。控制单元5063基于该图像识别结果、外科医生预先输入的手术处理的类型(这里，结肠息肉)等生成元数据，并将其存储在元数据的数据库110中。然后，控制单元5063改变由协助者150操作的图像拾取条件(对相机的控制)同时使其对应于该元数据，并且在参数的数据库120中存储用于显示通过在该改变的图像拾取条件下拾取图像而获取的第二图像的参数。以这种方式，生成元数据的数据库和参数的数据库。
应注意，虽然在本实施例中示出了由外科医生5067以外的协助者150进行辅助的示例，但是在外科医生5067他/她自己是经验丰富的医生的情况下，外科医生5067他/她自己可以作为协助者，通过将外科医生5067进行的操作等设置为参数来生成数据库。此外，虽然这里通过举例说明外科手术进行了描述，但其也可应用于检查。例如，经验丰富的医生可以通过将第一图像中所示的情况设置为元数据并且将医生针对该元数据进行的操作设置为参数来进行检查并生成数据库。
此外，这里示出了协助者实时观察外科手术、进行辅助并生成数据库的示例，但不限于此。例如，协助者可以根据外科手术情况提出辅助，并且在观看外科医生已经进行的外科手术的视频的同时生成数据库。该辅助包括显示过去类似情况下产生的危险事件中的图像或视频、显示过去类似情况下外科手术的图像或视频等，以及如上所述的切换照射光、相机控制(诸如比例和焦点的调整)以及报告建议、警告等。
[数据库使用时的辅助系统]
接下来，将描述利用以上述方式配置的辅助系统100的情况。图2是示出在使用数据库时辅助系统100的配置的示意图。与上述配置类似的配置将由类似的参考标记表示，并且在一些情况下将省略描述。
如图2所示，数据库使用时的辅助系统100包括内窥镜手术系统5000、目标识别图像处理单元130、元数据的数据库110以及参数的数据库120。在该实施例中，即使在外科手术期间没有从例如更专业的医生那里接收关于图像的图像质量调整操作等的建议的辅助，也可以由辅助系统100对外科医生自动进行辅助。
在元数据的数据库110中，预先存储根据上述数据库生成方法生成的、基于过去手术结果等获得的情况的元数据。在参数的数据库120中，预先存储针对该情况进行的辅助的参数(对应于元数据(情况))。上面已经描述了分别存储在元数据的数据库110以及参数的数据库120中的元数据和参数，并且因此这里将省略描述。
控制单元5063基于通过拾取包括手术目标位置的手术部位的图像而获得的第一图像，参考由目标识别图像处理单元130进行图像识别的图像识别结果和元数据，计算接近图像识别结果的情况的元数据，并且提取对应于计算出的元数据的该参数。然后，根据该参数进行辅助等，例如，图像的图像质量调整、相机的照射光的切换、以及相机控制(诸如比例和焦点的调整)、图像质量调整之后和相机控制之后的第二图像的显示、在类似情况下生成的过去危险事件中的图像或视频的显示、在类似情况下的过去外科手术视频的显示、报告建议、荧光等。
接下来，将在下文的第一至第八实施例中描述由上述辅助系统100进行的特定辅助。
在下面的实施例中，在使用上述辅助系统的内窥镜手术(或检查)中，将相机头5005的插入部分插入到患者身体中，并且在从相机头5005的插入部分的远端发射的光照射患者的手术部位的状态下，由图像拾取单元5009拾取手术部位的图像。在下面的所有实施例中，相机头5005插入到身体中和手术部位的图像拾取是相似的。因此，将省略描述。
在正常光(白光)下由图像拾取单元5009拾取的实时图像(第一图像)、适合于该第一图像中所示的情况的辅助外科医生5067的图像(第二图像)等基本显示在显示设备5041上。外科医生5067在观看显示设备5041上显示的图像的同时进行外科手术、检查或诊断。
<第一实施例>
将通过举例说明胃的内窥镜检查进行描述。在该实施例中，将以进行显示处于强调状态的胃炎的炎症状态的辅助的示例来进行描述。
图6示出了胃内部的图像。图6的(a)是包括作为手术目标的位置(患部)的手术部位的图像(第一图像)，该图像由图像拾取单元5009拾取。图6的(b)是以根据由控制单元5063提取的参数来调整第一图像的图像质量的方式获得的第二图像。第二图像是用于辅助外科医生5067的图像。这里，第一图像示出了通过用正常光(白光)照射手术部位并拾取图像而获得的图像，并且在用正常光观察时，可以观察到自然色调的手术部位。第二图像是已经基于第一图像进行了适合于该情况的辅助的图像，并且同样适用于以下描述。
第一图像和第二图像显示在显示设备5041上。在由CCU 5039的图像处理单元5061调整图像的轮廓、画面的亮度、对比度等之后显示第一图像。
在目的、目标器官等清楚的情况下，例如，在胃的内窥镜检查的情况下，这些信息在检查之前预先输入到内窥镜手术系统5000。
控制单元5063使目标识别图像处理单元130从由图像拾取单元5009拾取的第一图像提取特征并进行图像识别。控制单元5063计算与来自元数据的数据库110的图像识别结果类似的情况的元数据。
接下来，控制单元5063从参数的数据库120提取对应于计算出的元数据的图像质量调整的参数。控制单元5063使图像处理单元5061根据所提取的图像质量调整的参数对第一图像进行图像处理，并生成第二图像。生成的第二图像显示在显示设备5041上。
在本实施例中，使用包括患部的手术部位的检测结果，例如，外科手术的类型(在本实施例中，胃炎)、目的(在本实施例中，检查)、手术部位的颜色分量(R，G，B)、图像梯度信息、纹理图案等作为元数据。然后，使联动彩色成像(LCI(注册商标))的图像质量调整的参数对应于该元数据。LCI可以进行图像处理以增加彩度差、接近粘膜颜色的颜色的色调差，并且进行图像处理以强调轻微色差。
在图6中，用斜线绘制与正常粘膜有色差的区域并显示，并且当斜线之间的线距离变宽时，示出与正常粘膜有较小色差的状态。如图6的(a)所示，在图像质量调整前的第一图像中，难以识别正常粘膜与有炎症的粘膜(患部)7001之间的浅色差，并且难以判断其是否为患部。相反，如图6的(b)所示，对图像质量被调整的第二图像进行图像处理，从而强调粘膜的轻微色差。利用这种配置，外科医生5067观察所显示的、使得强调患部7001的第二图像，如图6的(b)所示，并且可以更正确地理解炎症的状态和炎症的范围。可以进行更合适的诊断。
通常，图像质量调整的切换由用户手动进行，并且例如，在外科手术期间频繁地进行图像质量调整是不实际的。相反，在本实施例的辅助系统中，基于由图像拾取单元5009拾取的第一图像和元数据提取对应于手术部位的情况的参数，根据该参数进行第一图像的图像质量调整，并且自动生成和显示第二图像。因此，外科医生5067可以查看自动显示的第二图像并且进行外科手术、检查或诊断，而不必费力地进行图像质量调整操作。
<第二实施例>
通过举例说明内窥镜直肠息肉粘膜切除术，将参考图7至图9进行描述。在本实施例中，在存在息肉的情况下，进行通过调节比例和焦点来辅助切换照射光并显示处于放大状态的息肉。
图7至图9示出了具有结肠息肉的结肠内部的图像。图7的(a)示出了由图像拾取单元5009拾取的手术目标的位置(患部)7002的图像(第一图像)。图7的(b)示出了根据由控制单元5063提取的参数获取的第二图像，并且是患部7002的放大显示图像。
图8的(a)示出了作为另一种情况的手术目标的位置(患部)7003的图像(第一图像)，该图像由图像拾取单元5009拾取。图8的(b)示出了根据由控制单元5063提取的参数获取的第二图像，并且是患部7003的放大显示图像。
图9的(a)示出了包括作为又一情况的手术目标的位置(患部)7004的手术部位的图像(第一图像)，该图像由图像拾取单元5009拾取。图9的(b)示出了根据由控制单元5063提取的参数获取的第二图像，并且是患部7004的放大显示图像。
在图7的(a)和图8的(a)中，由虚线包围的区域是息肉(患部)，并且图7的(b)和图8的(b)对应于该息肉的放大显示图像。
首先，在外科手术的类型、目的以及目标患部清楚的情况下，例如，在直肠息肉粘膜切除的情况下，这些信息在外科手术前预先输入到内窥镜手术系统5000中。
控制单元5063使目标识别图像处理单元130从由图像拾取单元5009拾取的第一图像中提取特征并进行图像识别。控制单元5063基于元数据的数据库110计算与图像识别结果类似的情况的元数据。
接下来，控制单元5063从参数的数据库120提取对应于计算出的元数据的相机控制的参数。控制单元5063根据该提取的相机控制的参数来调整拾取的图像的比例和焦点，并且改变图像拾取条件以将照射光切换到窄带成像(NBI)。然后，控制单元5063使得图像拾取单元5009在改变之后的图像拾取条件下拾取手术部位的图像，获取第二图像，并且使得显示设备5041显示第二图像。基于第一图像的图像识别结果，控制第二图像利用息肉的中心位置为中心以放大状态显示。
在本实施例中，使用外科手术的类型(在本实施例中，结肠息肉)、目的(在本实施例中，切除)、目标患部(在本实施例中，直肠)、手术部位的颜色分量(R，G，B)、包括患部的手术部位的检测结果(诸如图像梯度信息、纹理图案等)等作为元数据。然后，使相机控制参数(例如，用于以放大状态显示息肉的比例和焦点的调整以及切换到用于窄带成像(NBI)的照射光的窄带光)对应于该元数据。
第二图像是以放大状态显示息肉的图像并且是通过使用NBI照射光来提供强调浅表血管的图像。外科医生5067可以使用该第二图像更正确地检查息肉的状态和息肉的范围。因此，可以防止包括息肉的不必要的大部分被切除，或者防止相反地通过切除息肉的一小部分而导致的息肉残留。可以进行更合适的外科手术。
通常，外科医生5067需要进行在结肠内移动相机头、发现息肉、以放大状态显示息肉以及改变图像获取方法(改变照射光)的过程的操作。然而，这样的操作是复杂的，并且在外科手术期间难以在结肠的整个内壁上进行这样的操作。
相反，在本实施例的辅助系统中，基于图像拾取单元5009拾取的第一图像和元数据提取适合于外科手术情况的参数，根据这种参数自动进行相机的比例和焦点控制以及照射光切换操作，并且生成和显示第二图像。
因此，仅通过外科医生5067在结肠内移动相机头5005，就能通过辅助系统100发现息肉，并且此外，自动改变图像拾取条件。并且可以获得适于观察的状态的息肉的放大显示图像。利用这种配置，在外科手术期间不需要进行复杂的处理的情况下可以进行合适的外科手术。
<第三实施例>
通过举例说明如第二实施例中的内窥镜直肠息肉粘膜切除术，将参考图10至图12进行描述。在该实施例中，将描述确定第一图像的图像识别结果与用于计算元数据的元数据之间的相似性的示例。
此外，在第三实施例中，在单个显示设备5041中第一图像被显示为主画面，而图像质量根据提取的参数被调整的第二图像被显示为子画面。
图10是示出根据第一图像的图像识别结果与用于计算元数据的元数据之间的相似性的确定的信息处理方法的示图。图11是示出在显示设备5041上显示的画面的示图。图12是用于描述包括由图像拾取单元5009拾取的手术目标的位置(患部)的手术部位的图像(第一图像)的图像识别结果与元数据之间的相似性的确定的示图。
在下文中，将根据图10的流程进行描述。在外科手术的类型、目的以及目标患部清楚的情况下，例如，在内窥镜直肠息肉粘膜切除术的情况下，这些信息在外科手术前由外科医生5067预先输入到内窥镜手术系统5000中(S101)。
在显示设备5041中，在主画面上显示包括患部(在本实施例中，息肉)7005的手术部位的图像(第一图像)，以及在子画面上显示息肉7005的放大显示图像(第二图像)。
控制单元5063使得目标识别图像处理单元130从由图像拾取单元500拾取的第一图像提取特征，并且使得进行图像识别。控制单元5063进行该图像识别结果与元数据之间的相似性的确定。
这里，将参考图12描述图像识别结果和元数据之间的相似性的确定方法。如图12所示，控制单元5063将第一图像划分为多个图像块，并且使得目标识别图像处理单元130对每个图像块进行图像识别。
在本实施例中，使用外科手术的类型(在本实施例中，结肠息肉)、目的(在本实施例中，粘膜切除)、目标患部(在本实施例中，直肠)、患部的类型(在本实施例中，腺瘤性息肉)、手术部位的颜色分量(R，G，B)、包括患部的手术部位的检测结果(诸如图像梯度信息、纹理图案等)等作为元数据。
控制单元5063针对每个图像块计算与图像识别结果类似的元数据，并且给出与图像识别结果类似的元数据的情况编号。控制单元5063计算给定情况编号中的图像块的数目最多的情况编号以及给出这种情况编号的图像块的重心位置(S102)。
这里，情况编号是用于区分多种情况的编号，其中诸如外科手术的类型、目的和目标患部的元数据是相同的，而手术部位的检测结果的元数据是不同的。例如，作为结肠息肉的示例，结肠息肉也具有各种形状、大小和状态，并且存在多种情况。给出了区分这种多种情况的情况编号。
在图12中，显示0的图像块表示缺少类似的元数据。显示1的图像块表示根据情况1的元数据与图像识别结果类似。显示2的图像块表示根据情况2的元数据与图像识别结果类似。显示“x”的图像块表示在情况1和情况2之间数目较多的情况的图像块的重心。
如图12所示，在S102中，将第一图像划分为多个图像块，针对每个图像块计算图像识别结果，针对每个图像块参考图像识别结果和元数据，并且给出相似元数据的情况编号。如图12所示，最多给定的情况编号是1，并且计算给出的那些最多的情况编号1的图像块的重心位置(在图中，显示为“x”的位置)。
接下来，控制单元5063确定最多的情况编号的数目(本实施例中的情况编号1的数目)是否等于和大于阈值(S103)。
如果在S103中确定为是，则控制单元5063根据对应于情况编号1的元数据的参数来改变图像拾取条件，拾取手术部位的图像，使得计算出的重心位置成为中心，获取第二图像，并且使得显示设备5041显示图像(S104)。如图11所示，在显示设备5041中，第一图像显示为主画面，以及第二图像显示为子画面。
如果在S103中确定为否，则控制单元5063使得已经显示在子画面上的图像被保留(S105)。利用这种配置，例如，外科医生5067可以通过观看患部以强调状态显示并且以放大状态显示的第二图像来进行外科手术，并且可以进行更合适的外科手术。
<第四实施例>
通过举例说明内窥镜直肠息肉粘膜切除术，将参考图13和图14进行描述。在本实施例中，在第一图像中所示的情况与过去危险事件类似的情况下，进行显示和再现过去危险事件中的视频的辅助。这里，使得根据过去危险事件发生时的情况的元数据对应于过去危险事件中视频的显示的参数。应注意，虽然这里作为示例示出了显示与类似的情况下生成的过去危险事件中的视频作为参考视频，但是它不限于在危险事件中的视频或图像，而是在作为参考的类似情况下过去进行的手术的视频或图像可以显示为参考视频或图像。
图13是示出根据本实施例的信息处理方法的示图。图14是示出在显示设备5041上显示的画面的示图。
在下文中，将根据图13的流程进行描述。
首先，在外科手术的类型、目的和目标患部清楚的情况下，例如，在直肠息肉的内窥镜外科手术的情况下，这些信息在外科手术前由外科医生5067预先输入到内窥镜手术系统5000中(S201)。
如在第三实施例中，控制单元5063使目标识别图像处理单元130从由图像拾取单元5009拾取的第一图像中提取特征，并对每个图像块执行图像识别。控制单元5063针对每个图像块计算与图像识别结果类似的元数据，并且给出类似元数据的情况编号。
控制单元5063计算给定情况编号中给定的图像块的数目最多的情况编号(S202)。接下来，控制单元5063确定最多的情况编号的数目是否等于和大于阈值(S203)。
如果在S203中确定为是，则控制单元5063认为第一图像中所示的情况(图像识别结果)与最多给定的情况编号的过去危险事件情况(元数据)类似，并且使得显示设备5041显示过去危险事件中的参考视频，例如出血等，该参考视频是对应于该元数据的参数(S204)。
如图14所示，在显示设备5041中，在主画面上显示由图像拾取单元5009拾取的作为实时图像的第一图像，并且在子画面上显示过去危险事件中的参考视频7006。过去危险事件中的参考视频进行循环再现。在图14中，参考标记7005表示息肉。
如果在S203中确定为否，则控制单元5063使得已经显示在子画面上的图像被保留(S205)。
利用这种配置，外科医生5067参考过去危险事件中的参考视频，例如出血等，从而预测危险并进行更合适的外科手术以避免危险。
<第五实施例>
通过举例说明内窥镜结肠息肉粘膜切除术，将参考图15和图16进行描述。在外科手术期间，存在当用电刀切割患部时生成的烟雾等导致低可见度的情况。在本实施例中，在作为实时图像的第一图像处于低可见度状态的情况下，辅助使在导致低可见度之前的第一图像显示在子画面上。这里，根据过去提供低可见度的情况，使得在导致低可见度之前的第一图像显示在子画面上的参数对应于元数据。
图15是示出根据本实施例的信息处理方法的示图。图16是示出在显示设备5041上显示的画面的示图。
在下文中，将根据图15的流程进行描述。
首先，在外科手术的目的、外科手术操作的类型、目标器官以及目标手术部位清楚的情况下，例如，在结肠息肉的内窥镜外科手术的情况下，这些信息在外科手术前由外科医生5067预先输入到内窥镜手术系统5000中(S301)。
在显示设备5041中，例如，在主画面上显示包括患部(在本实施例中，息肉)的手术部位的图像(第一图像)7007，以及在子画面上显示根据第二实施例的第二图像的获取方法获取的第二图像(息肉的放大显示图像)。这里，低可见度是由在外科手术期间用电刀切割而生成的烟雾等引起的。
如在第三实施例中，控制单元5063使目标识别图像处理单元130从由图像拾取单元5009拾取的第一图像中提取特征，以对每个图像块进行图像识别。控制单元5063针对每个图像块计算与图像识别结果类似的元数据，并且给出类似元数据的情况编号。控制单元5063计算给定情况编号中图像块数目最多的情况编号(S302)。接下来，控制单元5063确定最多的情况编号的数目是否等于和大于阈值(S303)。
如果在S303中确定为是，则控制单元5063认为第一图像中所示的情况(图像识别结果)与低可见度的情况(元数据)类似，并且根据对应于该元数据的参数，使得在子画面上显示造成低可见度之前的第一图像(S304)。如图16所示，在显示设备5041中，在主画面上显示由图像拾取单元5009拾取的作为具有低可见度的实时图像的第一图像7007，而在子画面上将引起低可见度之前的第一图像显示为第二图像7008。
如果在S303中确定为否，则控制单元5063使得已经显示在子画面上的图像被保留(S305)。
利用这种配置，即使当出现低可见度时，外科医生5067也可以通过观看引起低可见度之前的图像来确保视野。
<第六实施例>
通过举例说明在内窥镜外科手术中使用吻合器的腔内吻合术，将参考图17和图18进行描述。当在外科手术期间用吻合器对组织进行吻合时，存在吻合器的端部不能正确地保持组织并且不能进行吻合的情况。在本实施例中，在吻合器的端部未在第一图像中显示的情况下，或者在吻合器的端部可能不正确地保持组织的情况下，考虑到存在吻合失败的可能性，进行在画面上报告显示警告的辅助。
图17是示出根据本实施例的信息处理方法的示图。图18是示出在显示设备5041上显示的画面的示图。
在下文中，将通过举例说明在根据图17的流程的重建外科手术中使用吻合器7009进行吻合的情况来进行描述。
控制单元5063使目标识别图像处理单元130从由图像拾取单元5009拾取的第一图像中提取特征并执行图像识别。控制单元5063基于图像识别结果来计算类似的元数据。这里，使用手术工具(在本实施例中，吻合器)的存在和缺失、手术工具在图像中的位置、周围环境的情况等作为元数据。
根据下面所示的S402至S404进行类似元数据的计算。
控制单元5063基于目标识别图像处理单元130对第一图像的图像识别结果，计算吻合器7009的插入位置和方向以及端部的位置(S401)。接下来，控制单元5063基于计算结果确定吻合器7009是否存在于第一图像中(S402)。第一图像显示在显示设备5041上。
如果在S402中确定为否，则终止处理并且不显示警告。如果在S402中确定为是，则控制单元5063确定吻合器7009的端部是否显示在画面内(S403)。
如果在S403中确定为否，则控制单元5063通过使显示设备5041显示表述为“吻合器的端部丢失”的警告来进行报告，如图18所示(S405)。
如果在S403中确定为是，则处理进行到S404。在S404中，控制单元5063确定吻合器7009的端部是否存在无法正确地执行保持的可能性。
如果在S404中确定为否，则终止处理并且不显示警告。如果在S404中确定为是，则通过使显示设备5041显示表述为“保持状态是危险的”的警告来进行报告(S406)。
在本实施例中，使得显示表述为“端部丢失”的警告的报告的参数对应于吻合器存在于画面内(手术工具的存在和缺失)以及吻合器的端部不在画面内显示(手术工具在图像中的位置)的情况的元数据。
此外，使得显示表述为“保持状态是危险的”的警告的报告的参数对应于吻合器存在于画面内(手术工具的存在和缺失)、吻合器的端部在画面内显示(手术工具在图像中的位置)以及吻合器的端部不能正确地执行保持(周围环境的情况)的情况的元数据。
利用这种配置，外科医生5067可以预测吻合器7009的吻合失败的发生并适当地应对它。应注意，这里，吻合器已经被举例说明为手术工具，但不限于此。例如，它也适用于能量装置。此外，这里，通过在显示设备5041上显示警告来向外科医生5067进行报告，但不限于此。例如，报告可以以声音来执行。
如上所述，可以以这样的方式(进行适合于该情况的报告建议或警告的辅助)进行更合适的外科手术。
<第七实施例>
通过举例说明胃的内窥镜检查，将参考图19和图20进行描述。在本实施例中，在受关注的部位很可能是患部(病变部位)的情况下，进行显示通过将照射光改变为特殊光并且拾取图像而强调的第二图像的辅助。
图19是示出本实施例中信息处理方法的流程图。图20是示出本实施例中图像处理之前和之后手术部位的图像的示图。
将根据图19的流程进行描述。
控制单元5063使目标识别图像处理单元130从由图像拾取单元5009拾取的第一图像中提取特征并执行图像识别。利用这种配置，通过手术工具识别来确定器官，并且确定外科手术等的情况(S501)。
接下来，控制单元5063基于元数据的数据库110计算与图像识别结果类似的元数据。将外科手术的类型、器官的类型、外科手术的情况、患部(病变部位)的存在概率等用作元数据。
在控制单元5063中，根据对应于计算出的元数据的参数来控制观察时的照射光。如果关于计算出的元数据，患部的存在概率(即受关注部位是患部的可能性)等于或大于阈值，则使特殊光观察的参数对应于该元数据，并且进行控制使得观察时的照射光变为特殊光。另一方面，如果计算出的元数据是患部的存在概率(即受关注部位是患部的可能性)低于阈值的元数据，则使正常光(白光)观察的参数对应于该元数据，并且进行控制使得观察时的照射光变为正常光。
类似于图像识别结果的元数据的计算如下进行。控制单元5063确定受关注部位是患部的可能性是否等于或高于阈值(S502)。如果在S502中确定为是，则控制单元5063进行控制使得照射光变为特殊光(S503)。另一方面，如果在S502中确定为否，则控制单元5063进行控制使得照射光变为正常光(S504)。
图20的(a)是由图像拾取单元5009在正常光照射下拾取的图像，并且图20的(b)示出了在用特殊光照射下拾取的图像。在图20中，参考标记7011表示血管，并且参考标记7012表示患部(病变部位)。在图20的(a)中，在图像中不易识别的血管7011被描绘为虚线。虽然在如图20所示的正常光观察中，患部7012和血管7011还不清楚，但是可以在特殊光观察中识别血管7011并且提供了图像显示，通过图像显示容易确定患部7012的位置。在显示设备5041上显示通过使用特殊光的图像拾取获得的图像。以这种方式，可以获得通过切换到具有特殊光的图像拾取而强调的图像，并且可以进行更准确的诊断。
<第八实施例>
通过举例说明在外科手术期间出血量大并且难以识别组织的情况，将参考图21和图22进行描述。在本实施例中，在由于出血而难以识别组织的情况下，进行这样的辅助，其中，显示组织的识别是清楚的第二图像，所述第二图像通过以下方式获得：使用穿透血液的特殊光的照射光进行图像拾取且去除出血部位。
图21是示出与元数据的计算相关的信息处理方法的示图。图22是示出本实施例中图像处理之前和之后手术部位的图像的示图。
将根据图21的流程进行描述。
控制单元5063使目标识别图像处理单元130从由图像拾取单元5009拾取的第一图像中提取特征并执行图像识别。利用这种配置，通过手术工具的识别来确定器官，并且确定外科手术等的情况(S601)。
控制单元5063基于图像识别结果计算血量。此外，控制单元5063基于元数据的数据库110计算与图像识别结果类似的元数据，并且计算允许的血量(S602)。使用外科手术的类型、器官的类型、外科手术的情况、允许的血量等作为元数据。
控制单元5063将基于第一图像的图像识别结果计算的血量与在S602中计算的允许的血量进行比较，并且确定血量是否等于或高于阈值，即，血量是否大于允许的血量(S603)。
如果在S603中确定为是，则控制单元5063进行控制使得照射光变为用于穿透血液的特殊光(S604)。另一方面，如果在S603中确定为否，则控制单元5063进行控制使得照射光变为正常光(S605)。
在本实施例中，使照射光变为用于穿透血液的特殊光的相机控制的参数对应于血量大于允许的血量的情况下的元数据。另一方面，使照射光变为正常光的相机控制的参数对应于血量等于或小于允许的血量的情况下的元数据。
图22的(a)是由图像拾取单元5009在正常光照射下拾取的第一图像，并且图22的(b)示出了在用穿透血液的特殊光照射下拾取的第二图像。在图22中，参考标记7013表示血液，并且参考标记7014表示组织。虽然在图22所示的正常光观察中，组织7014已经被血液7013隐藏为不可见状态，但是在用穿透血液的特殊光的观察中提供血液7013被去除并且组织7014可以被识别的第二图像。如上所述，可以通过切换到具有穿透血液的特殊光的图像拾取来获得突出组织的图像，并且进行更合适地外科手术。
红外光(IR)可以用于穿透血液的特殊光。可以恒定地使用IR光，或者可以使用根据帧顺序方法使用IR光的光和作为正常光的白光。
<第九实施例>
通过举例说明胃癌的内窥镜外科手术，将参考图23至图25进行描述。在胃癌外科手术期间对粘连至胃壁的脂肪进行淋巴切除术的情况下，难以识别胃壁和脂肪之间的界限，并且胃壁可能被破坏，这在分离脂肪的处理期间导致出血。在本实施例中，在图像内的脂肪的占有百分比超过某一值的情况下，进行执行显示以使得胃壁和脂肪之间的界限变得容易识别的辅助。
图23是示出与元数据的计算相关的信息处理方法的流程图。图24是用于描述脂肪强调处理计算的示图。图25是示出在本实施例中的显示设备5041上显示的画面的示图。
控制单元5063使目标识别图像处理单元130从由图像拾取单元5009拾取的第一图像中提取特征并进行图像识别。
控制单元5063基于元数据的数据库110计算与图像识别结果类似的元数据。使用外科手术的类型、脂肪的占有百分比、手术工具的存在和缺失等作为元数据。脂肪占有百分比表示图像中的区域的百分比，该区域基于图像中的色调和结构信息等被确定为脂肪。手术工具的存在和缺失被存储为表示用于分离的装置(诸如解剖器(dissector))是否存在于图像内的元数据，并且例如，在存在手术工具的情况下，它表示为1，而在缺失手术工具的情况下，它表示为0。
在下文中，通过举例说明元数据的计算，将参考图23进行描述。
这里，外科手术的类型是胃癌，脂肪占有百分比等于或高于50％，并且将经过脂肪强调处理的图像显示在子画面上的图像质量调整的参数，对应于表示作为手术工具的分离装置存在于图像内的元数据。另一方面，如果外科手术的类型是一种胃癌、脂肪占有百分比等于或高于50％、并且作为手术工具的分离装置存在于图像内的条件中的至少一个没有满足，则使得在主画面上显示第一图像以及在子画面上不显示任何内容的参数与其相对应。
如图23所示，控制单元5063确定外科手术的类型是否是一种胃癌(S701)。如果在S701中确定为是，则处理进行到S702。如果在S701中确定为否，则处理进行到S705，并且进行在主画面上显示第一图像并且在子画面上不显示任何内容的控制。
在S702中，控制单元5063确定脂肪占有百分比是否等于或高于50％。如果在S702中确定为是，则处理进行到S703。如果在S702中确定为否，则处理进行到S705，进行在主画面上显示第一图像并且在子画面上不显示任何内容的控制。应注意，50％的脂肪占用百分比的数值是一个示例，并且协助者可以在生成元数据的数据库时设置任意的数值。
在S703中，控制单元5063确定用于分离的装置是否存在于图像内。如果在S703中确定为是，则进行在主画面上显示第一图像并且在子画面上显示经过脂肪强调处理的图像的控制(S704)。如果在S703中确定为否，则处理进行到S705，进行在主画面上显示第一图像并且在子画面上不显示任何内容的控制。
图25是示出在显示设备5041中，在主画面上显示第一图像并且在子画面上显示进行脂肪强调处理的第二图像的状态的示图。在脂肪强调处理之前的第一图像中，作为第一组织的脂肪7015显示为黄色，并且除了脂肪之外的作为第二组织的肉组织7016显示为红色。
相反，在经过脂肪强调处理的第二图像中，脂肪7015显示为绿色，并且除了脂肪之外的肉组织7016显示为粉红色。提供了通过脂肪强调处理使得除了脂肪之外的肉组织7016和脂肪7015之间的界限清晰的图像。利用这种配置，可以降低在脂肪分离过程中除了脂肪之外的肉组织7016可能被错误地破坏的危险。
通过使用如上所述的脂肪占有百分比的元数据，在脂肪占据大部分手术区域并且组织嵌入到脂肪中的情况下，可以通过对第一图像执行脂肪强调处理来获得第二图像。
例如，脂肪强调处理是通过使用脂肪附近的色调作为中心来扩展所有活体颜色的色调来进行。如图24所示，活体的颜色分布在黄色至红色至紫红色的范围内，并且在YCbCr空间中的第二象限附近扩展。通过执行在色调方向上扩展该颜色分布的处理，脂肪和除了脂肪之外的肉组织之间的色差也被扩展，并且进行图像质量处理以提供因此脂肪部分被强调的图像。扩展这种色差的处理可以根据公知的方法来进行。
将描述强调处理。
在图24中，H1表示最大活体色调，H2表示最小活体色调，并且活体颜色分布在H1至H2的范围内。当肉组织7016和脂肪7015的颜色信号值RGB被转换为指示亮度、色调和颜色饱和度分量的值时，第一图像中的肉组织7016和脂肪7015的色调位于H1至H2的范围内(靠近第二象限)。
这里，在图24中，假设进行了扩展色调使得H1变为H11以及H2变为H22的处理。假设即使在要扩展的色调范围内进行扩展处理时也不移动的色调(近中心色调)是H0。另一方面，假设即使在进行尺寸减小处理时也不移动的色调是在要扩展的色调范围之外的尺寸要减少的色调范围内的H00。在图中，范围AE和范围BE是要进行扩展处理的范围，并且范围AS和范围BS是要进行尺寸减小处理的范围。在图中，实线弯曲双向箭头8001表示要进行扩展处理的范围。虚线弯曲双向箭头8002表示作为扩展处理的结果的范围。实线箭头8011表示要进行尺寸减小处理的范围。虚线箭头8012表示作为尺寸减小处理的结果的范围。
通过进行这种扩展色调的强调处理，可以获得第二图像，在第二图像中改变除了脂肪之外的肉组织7016和脂肪7015的色调并且以强调状态显示脂肪。这里，由YCbCr值定义的颜色空间用作定义亮度、颜色饱和度以及色调的空间，但不限于此。例如，可以使用作为其他颜色空间值的YIQ、HVS、LCH等，或者也可以将除了RGB之外的Lab、Lch、XYZ等用于作为基色的颜色空间。
应注意，在本实施例中，虽然第一组织不限于脂肪，但是通过举例说明脂肪作为第一组织，第一图像内的第一组织的占有百分比被用作元数据。可以使用其他组织。在这种情况下，将适合于该情况的第一组织的占有百分比的数值和第一组织的类型设置为元数据。它也可以应用于例如除了脂肪之外的静脉、动脉等。
在上述实施例中，在单个显示设备5041中，在主画面上显示第一图像，以及在子画面上显示第二图像，但不限于此。如图26所示，可以准备两个显示设备5041a和5041b，可以使一个显示设备5041a显示第一图像，并且可以使另一个显示设备5041b显示第二图像。另外，如图27所示，可以使用单个显示设备5041，并且可以显示与主画面的一部分重叠的子画面。
应注意，本技术还可以采用以下配置。
(1)一种信息处理设备，包括
控制单元，基于通过拍摄包括患部的手术部位而获得的第一图像和从过去的外科手术或检查获得的情况的元数据，提取针对所述情况执行的辅助的参数，辅助的参数对应于元数据。
(2)根据(1)的信息处理设备，其中，
控制单元计算与第一图像的图像识别结果类似的元数据，并提取对应于计算出的元数据的参数。
(3)根据(1)或(2)的信息处理设备，其中，
控制单元基于提取的参数改变手术部位的图像拾取条件。
(4)根据(3)的信息处理设备，其中，
控制单元基于提取的参数通过改变用于照射手术部位的照射光来改变图像拾取条件。
(5)根据(3)的信息处理设备，其中，
控制单元基于提取的参数通过在图像获取时调整比例和焦点来改变图像拾取条件。
(6)根据(3)至(5)中任一项的信息处理设备，其中，
控制单元使显示设备显示第二图像，第二图像通过基于提取的参数改变图像拾取条件并且获取手术部位的图像而获得。
(7)根据(1)或(2)的信息处理设备，其中，
控制单元使显示设备显示第二图像，第二图像的图像质量通过基于提取的参数使第一图像进行图像处理而被调整。
(8)根据(7)的信息处理设备，其中，
手术部位包括第一组织和第二组织，以及
控制单元使显示设备显示第二图像，第二图像的图像质量通过基于提取的参数使第一图像进行使第一图像中的第一组织和第二组织之间的色调差扩展的图像处理而被调整。
(9)根据(1)或(2)的信息处理设备，其中，
控制单元基于提取的参数使显示设备显示过去的图像或视频作为参考。
(10)根据(1)或(2)的信息处理设备，其中，
如果基于第一图像和元数据确定第一图像具有低能见度的情况，则控制单元提取使显示设备显示在引起低能见度之前获取的图像的参数。
(11)根据(1)或(2)的信息处理设备，其中，
控制单元基于所述提取的参数报告辅助信息。
(12)一种辅助系统，包括：
元数据的数据库，其中，存储了从过去的外科手术或检查中获得的情况的元数据；
参数的数据库，其中，存储了针对对应于元数据的情况执行的辅助的参数；以及
控制单元，基于元数据的数据库，计算与通过拍摄包括患部的手术部位的图像而获得的第一图像的图像识别结果类似的元数据，并且提取对应于计算出的元数据的参数。
(13)一种信息处理方法，包括：
获取通过获取包括患部的手术部位的图像而获得的第一图像的图像识别结果；
根据元数据的数据库计算与第一图像的图像识别结果类似的元数据，在元数据的数据库中存储从过去的外科手术或检查获得的情况的元数据；以及
提取针对情况执行的辅助的参数，辅助的参数对应于计算出的元数据。
参考符号列表
100 辅助系统
110 元数据的数据库
120 参数的数据库
5039 CCU(信息处理设备)
5041 显示设备
5063 控制单元
7001、7002、7003、7004、7005、7012 患部
7006 过去危险事件中的视频(过去的图像或视频作为参考)
7007 低可见度图像(第一图像)
7008 第二图像
7015 脂肪(第一组织)
7016 除了脂肪之外的肉组织(第二组织)。

Claims (11)

1.一种信息处理设备，包括：
元数据的数据库，存储从过去的外科手术或检查获得的多个情况的元数据；
参数的数据库，存储针对所述多个情况进行的辅助的多个参数，所述多个参数中的每一个与所述多个情况的每个的所述元数据相对应；
控制单元，在基于通过拍摄包括患部的手术部位而获得的第一图像和从过去的外科手术或检查获得的情况的元数据确定所述第一图像具有低可见度的情况时，从辅助的所述多个参数中提取针对所述情况执行的辅助的参数以使显示装置显示在出现所述低可见度之前拾取的图像，所述辅助的参数对应于所述元数据，
其中，针对所述情况执行的辅助的参数对应于在过去的外科手术或检查使用的图像拾取时的比例和焦点，
其中，所述控制单元进一步被配置为通过基于提取的参数调整所述比例和所述焦点中的至少一项来自动改变所述手术部位的图像拾取条件，使得在手术期间基于所述第一图像自动进行根据所述第一图像中所示的情况的合适图像显示辅助。
2.根据权利要求1所述的信息处理设备，其中，
所述控制单元计算与所述第一图像的图像识别结果类似的所述元数据，并提取对应于计算出的元数据的参数。
3.根据权利要求2所述的信息处理设备，其中，
所述控制单元基于所述提取的参数通过改变用于照射所述手术部位的照射光来改变所述图像拾取条件。
4.根据权利要求2所述的信息处理设备，其中，
所述控制单元使显示设备显示第二图像，所述第二图像通过基于所述提取的参数改变所述图像拾取条件并且拾取所述手术部位的图像而获得。
5.根据权利要求1所述的信息处理设备，其中，
所述控制单元使显示设备显示第二图像，所述第二图像的图像质量通过基于所述提取的参数使所述第一图像进行图像处理而被调整。
6.根据权利要求5所述的信息处理设备，其中，
所述手术部位包括第一组织和第二组织，以及
所述控制单元使所述显示设备显示所述第二图像，所述第二图像的图像质量通过基于所述提取的参数使所述第一图像进行使所述第一图像中的第一组织和第二组织之间的色调差扩展的图像处理而被调整。
7.根据权利要求1所述的信息处理设备，其中，
所述控制单元基于所述提取的参数使显示设备显示作为参考的过去的图像或视频。
8.根据权利要求1所述的信息处理设备，其中，
如果基于所述第一图像和所述元数据确定所述第一图像具有低能见度的情况，则所述控制单元提取使显示设备显示在引起所述低能见度之前拾取的图像的参数。
9.根据权利要求1所述的信息处理设备，其中，
所述控制单元基于所述提取的参数报告辅助信息。
10.一种辅助系统，包括：
元数据的数据库，在所述元数据的数据库中存储了从过去的外科手术或检查中获得的多个情况的元数据；
参数的数据库，在所述参数的数据库中存储了针对所述多个情况进行的辅助的多个参数，所述多个参数中的每一个与所述多个情况的每个的所述元数据相对应；以及
控制单元，基于所述元数据的数据库，计算与通过拍摄包括患部的手术部位的图像而获得的第一图像的图像识别结果类似的元数据，并且从辅助的所述多个参数中提取对应于计算出的元数据的参数，所述控制单元在基于所述第一图像和所述元数据确定所述第一图像具有低可见度的情况时，提取所述参数以使显示装置显示在出现所述低可见度之前拾取的图像，
其中，针对所述情况执行的辅助的参数对应于在过去的外科手术或检查使用的图像拾取时的比例和焦点，
其中，所述控制单元进一步被配置为通过基于提取的参数调整所述比例和所述焦点中的至少一项来自动改变所述手术部位的图像拾取条件，使得在手术期间基于所述第一图像自动进行根据所述第一图像中所示的情况的合适图像显示辅助。
11.一种信息处理方法，包括：
获得通过拾取包括患部的手术部位的图像而获得的第一图像的图像识别结果；
从元数据的数据库计算与所述第一图像的图像识别结果类似的元数据，在所述元数据的数据库中存储从过去的外科手术或检查获得的多个情况的元数据；以及
从参数的数据库中提取针对所述情况执行的辅助的参数，所述辅助的参数对应于计算出的元数据，在参数的数据库中，存储针对所述多个情况进行的辅助的多个参数，辅助的所述多个参数中的每一个与所述多个情况的每个的所述元数据相对应，其中，在基于所述第一图像和所述元数据确定所述第一图像具有低可见度的情况时，提取所述参数以使显示装置显示在出现所述低可见度之前拾取的图像，
其中，针对所述情况执行的辅助的参数对应于在过去的外科手术或检查使用的图像拾取时的比例和焦点，
其中，通过基于提取的参数调整所述比例和所述焦点中的至少一项来自动改变所述手术部位的图像拾取条件，使得在手术期间基于所述第一图像自动进行根据所述第一图像中所示的情况的合适图像显示辅助。
CN201880015165.2A 2017-03-07 2018-01-26 信息处理设备、辅助系统和信息处理方法 Active CN110392546B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-042437 2017-03-07
JP2017042437 2017-03-07
PCT/JP2018/002449 WO2018163644A1 (ja) 2017-03-07 2018-01-26 情報処理装置、支援システム及び情報処理方法

Publications (2)

Publication Number Publication Date
CN110392546A CN110392546A (zh) 2019-10-29
CN110392546B true CN110392546B (zh) 2022-09-02

Family

ID=63448201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880015165.2A Active CN110392546B (zh) 2017-03-07 2018-01-26 信息处理设备、辅助系统和信息处理方法

Country Status (5)

Country Link
US (1) US11123150B2 (zh)
EP (1) EP3593704A4 (zh)
JP (1) JP7095679B2 (zh)
CN (1) CN110392546B (zh)
WO (1) WO2018163644A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7247702B2 (ja) * 2019-03-27 2023-03-29 ソニーグループ株式会社 内視鏡システム、内視鏡制御方法、及び、撮像制御装置
JP7374611B2 (ja) * 2019-05-15 2023-11-07 キヤノン株式会社 撮像システム
US20220296082A1 (en) * 2019-10-17 2022-09-22 Sony Group Corporation Surgical information processing apparatus, surgical information processing method, and surgical information processing program
CN114650763A (zh) * 2019-11-14 2022-06-21 索尼集团公司 信息处理装置、生成方法和生成程序
JPWO2021205624A1 (zh) * 2020-04-09 2021-10-14
JP2022052417A (ja) * 2020-09-23 2022-04-04 株式会社Ａｉメディカルサービス 検査支援装置、検査支援方法および検査支援プログラム
DE102020130805A1 (de) 2020-11-20 2022-05-25 Carl Zeiss Meditec Ag Kontext-abhängige Steuerung eines Operationsmikroskops
DE102021101694A1 (de) 2021-01-26 2022-07-28 Carl Zeiss Meditec Ag Tool-Typ-Agnostische Assistenzfunktionalität bei chirurgischen Eingriffen
USD986262S1 (en) * 2021-07-01 2023-05-16 Olympus Medical Systems Corporation Display screen with graphical user interface
CN117042669A (zh) * 2021-07-02 2023-11-10 奥林巴斯医疗株式会社 内窥镜处理器、内窥镜装置以及诊断用图像显示方法
CN114430463B (zh) * 2022-04-01 2022-06-28 青岛大学附属医院 一种自适应医疗级影像效果的优化方法及系统
WO2023238609A1 (ja) * 2022-06-09 2023-12-14 富士フイルム株式会社 情報処理装置、内視鏡装置、情報処理方法、及びプログラム
CN116797494B (zh) * 2023-08-17 2023-11-21 中南大学湘雅医院 一种基于图像处理的产科手术监测方法、系统及相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101179711A (zh) * 2006-11-07 2008-05-14 索尼株式会社 成像设备和成像方法
JP2009077765A (ja) * 2007-09-25 2009-04-16 Fujifilm Corp 内視鏡システム
CN103460214A (zh) * 2011-01-27 2013-12-18 西姆博尼克斯有限公司 用于生成病人特有的、解剖学结构的基于数字图像的模型的系统和方法
JP2016158752A (ja) * 2015-02-27 2016-09-05 オリンパス株式会社 内視鏡業務支援システム
US9547940B1 (en) * 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5259692B2 (ja) * 2003-09-02 2013-08-07 オリンパス株式会社 内視鏡システム
JP2005110878A (ja) * 2003-10-06 2005-04-28 Olympus Corp 手術支援システム
US20070167702A1 (en) * 2005-12-30 2007-07-19 Intuitive Surgical Inc. Medical robotic system providing three-dimensional telestration
US7794396B2 (en) 2006-11-03 2010-09-14 Stryker Corporation System and method for the automated zooming of a surgical camera
KR20100096224A (ko) * 2007-12-03 2010-09-01 데이타피직스 리서치 인코포레이티드 효과적인 영상을 위한 시스템 및 방법
US8155479B2 (en) * 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
US8331760B2 (en) * 2010-06-02 2012-12-11 Microsoft Corporation Adaptive video zoom
JP5065538B2 (ja) * 2010-09-14 2012-11-07 オリンパスメディカルシステムズ株式会社 内視鏡システム及び視界不良判定システムの動作方法
JP5435746B2 (ja) * 2011-01-24 2014-03-05 富士フイルム株式会社 内視鏡装置
JP5631764B2 (ja) 2011-01-25 2014-11-26 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2012104786A2 (en) * 2011-02-04 2012-08-09 Koninklijke Philips Electronics N.V. Imaging protocol update and/or recommender
JP2013039224A (ja) * 2011-08-16 2013-02-28 Fujifilm Corp 煙検出方法および装置並びに画像撮像装置
CN104244818B (zh) * 2012-02-06 2017-04-12 因赛泰克有限公司 在非侵入式治疗期间的基于参考的运动跟踪
EP2863801B8 (en) * 2012-06-21 2024-06-12 Stryker Corporation Quantification and analysis of angiography and perfusion
JP6075833B2 (ja) * 2012-08-09 2017-02-08 キヤノン株式会社 医用情報処理装置、医用情報処理方法及びプログラム
IL221863A (en) * 2012-09-10 2014-01-30 Elbit Systems Ltd Digital video photography system when analyzing and displaying
DE202014010578U1 (de) * 2013-01-10 2016-01-07 M.S.T. Medical Surgery Technologies Ltd. Chirurgisches Steuersystem
JP6176978B2 (ja) * 2013-01-31 2017-08-09 オリンパス株式会社 内視鏡用画像処理装置、内視鏡装置、内視鏡用画像処理装置の作動方法及び画像処理プログラム
CA2905050C (en) * 2013-03-15 2018-03-06 The Cleveland Clinic Foundation Method and system to facilitate intraoperative positioning and guidance
WO2014186525A1 (en) * 2013-05-17 2014-11-20 Endochoice, Inc. Interface unit in a multiple viewing elements endoscope system
WO2015047631A1 (en) * 2013-09-24 2015-04-02 Endochoice, Inc. Circuit board assembly of a multiple viewing elements endoscope
JP6151372B2 (ja) 2013-10-28 2017-06-21 富士フイルム株式会社 画像処理装置及びその作動方法
US20160253804A1 (en) * 2013-10-30 2016-09-01 Koninklijke Philips N.V. Assisting apparatus for assisting in registering an imaging device with a position and shape determination device
WO2015103420A1 (en) * 2013-12-31 2015-07-09 Memorial Sloan Kettering Cancer Center Systems, methods, and apparatus for multichannel imaging of fluorescent sources in real time
JP6453543B2 (ja) * 2014-01-22 2019-01-16 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP2015146864A (ja) * 2014-02-05 2015-08-20 キヤノン株式会社 情報処理装置及び医療システム
JP6192602B2 (ja) * 2014-06-25 2017-09-06 オリンパス株式会社 画像記録装置
US9996935B2 (en) * 2014-10-10 2018-06-12 Edan Instruments, Inc. Systems and methods of dynamic image segmentation
US10650267B2 (en) * 2015-01-20 2020-05-12 Canon Medical Systems Corporation Medical image processing apparatus
US9824189B2 (en) * 2015-01-23 2017-11-21 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus, image processing method, image display system, and storage medium
US20160259888A1 (en) * 2015-03-02 2016-09-08 Sony Corporation Method and system for content management of video images of anatomical regions
JP2016158886A (ja) * 2015-03-02 2016-09-05 パナソニックＩｐマネジメント株式会社 内視鏡及び内視鏡システム
US9972093B2 (en) * 2015-03-30 2018-05-15 Siemens Healthcare Gmbh Automated region of interest detection using machine learning and extended Hough transform
US9990712B2 (en) * 2015-04-08 2018-06-05 Algotec Systems Ltd. Organ detection and segmentation
JP6548498B2 (ja) * 2015-07-30 2019-07-24 オリンパス株式会社 検査業務支援システム
WO2017122541A1 (ja) * 2016-01-13 2017-07-20 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び、手術システム
US10292684B2 (en) * 2016-02-26 2019-05-21 Toshiba Medical Systems Corporation Ultrasound diagnosis apparatus and image processing method
JP6581923B2 (ja) * 2016-03-03 2019-09-25 富士フイルム株式会社 画像処理装置とその作動方法および作動プログラム
US9900503B1 (en) * 2017-01-12 2018-02-20 Adobe Systems Incorporated Methods to automatically fix flash reflection at capture time

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101179711A (zh) * 2006-11-07 2008-05-14 索尼株式会社 成像设备和成像方法
JP2009077765A (ja) * 2007-09-25 2009-04-16 Fujifilm Corp 内視鏡システム
CN103460214A (zh) * 2011-01-27 2013-12-18 西姆博尼克斯有限公司 用于生成病人特有的、解剖学结构的基于数字图像的模型的系统和方法
US9547940B1 (en) * 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery
JP2016158752A (ja) * 2015-02-27 2016-09-05 オリンパス株式会社 内視鏡業務支援システム

Also Published As

Publication number Publication date
CN110392546A (zh) 2019-10-29
EP3593704A4 (en) 2020-04-15
WO2018163644A1 (ja) 2018-09-13
JPWO2018163644A1 (ja) 2020-01-09
EP3593704A1 (en) 2020-01-15
US11123150B2 (en) 2021-09-21
US20200015927A1 (en) 2020-01-16
JP7095679B2 (ja) 2022-07-05

Similar Documents

Publication Publication Date Title
CN110392546B (zh) 信息处理设备、辅助系统和信息处理方法
CN108697304B (zh) 医疗用信息处理装置、信息处理方法、医疗用信息处理系统
US11004197B2 (en) Medical image processing apparatus, medical image processing method, and program
US10904437B2 (en) Control apparatus and control method
CN110709001B (zh) 医疗系统、医疗设备和控制方法
US20220008156A1 (en) Surgical observation apparatus, surgical observation method, surgical light source device, and surgical light irradiation method
JP2023164610A (ja) 画像処理装置、画像処理方法および画像処理システム
JPWO2019155931A1 (ja) 手術システム、画像処理装置及び画像処理方法
WO2018180573A1 (ja) 手術用画像処理装置、画像処理方法、及び、手術システム
US11348684B2 (en) Surgical support system, information processing method, and information processing apparatus
US11699215B2 (en) Imaging device, method and program for producing images of a scene having an extended depth of field with good contrast
US11883120B2 (en) Medical observation system, medical signal processing device, and medical signal processing device driving method
WO2020008920A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
US20220070381A1 (en) Image processing apparatus, image processing method, and image processing program
WO2020009127A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
JP7480779B2 (ja) 医療用画像処理装置、医療用画像処理装置の駆動方法、医療用撮像システム、及び医療用信号取得システム
JP2020163037A (ja) 医療システム、情報処理装置及び情報処理方法
JP7456385B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2021044900A1 (ja) 施術システム、画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant