CN110536629B - 手术图像处理设备、图像处理方法和手术系统 - Google Patents

手术图像处理设备、图像处理方法和手术系统 Download PDF

Info

Publication number
CN110536629B
CN110536629B CN201880020194.8A CN201880020194A CN110536629B CN 110536629 B CN110536629 B CN 110536629B CN 201880020194 A CN201880020194 A CN 201880020194A CN 110536629 B CN110536629 B CN 110536629B
Authority
CN
China
Prior art keywords
image
update
image processing
surgical
post
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880020194.8A
Other languages
English (en)
Other versions
CN110536629A (zh
Inventor
白木寿一
宫井岳志
高桥健治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110536629A publication Critical patent/CN110536629A/zh
Application granted granted Critical
Publication of CN110536629B publication Critical patent/CN110536629B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00057—Operational features of endoscopes provided with means for testing or calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/61—Installation
    • G06F8/63—Image based installation; Cloning; Build to order
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/65—Updates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Security & Cryptography (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Gynecology & Obstetrics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)

Abstract

该技术涉及：手术图像处理设备，其允许容易地比较软件更新之前和之后的图像；图像处理方法以及手术系统。图像处理单元通过软件对手术部位图像执行图像处理。显示控制单元控制经过图像处理的手术部位图像的显示。图像处理单元生成更新前处理图像和更新后处理图像，所述更新前处理图像是在软件更新之前经过图像处理的手术部位图像，所述更新后处理图像是在软件更新之后经过图像处理的手术部位图像。显示控制单元控制更新前处理图像和更新后处理图像中的至少一个的至少一部分的显示。该技术可应用于内窥镜手术系统的CCU。

Description

手术图像处理设备、图像处理方法和手术系统
技术领域
本技术涉及手术图像处理设备、图像处理方法和手术系统，并且更具体地，涉及能够容易地比较软件更新之前和之后获取的图像的手术图像处理设备、图像处理方法和手术系统。
背景技术
在内窥镜手术系统中，对内窥镜成像的信号应用各种类型的图像处理。通过软件实现这些图像处理，并且处理器(例如，GPU)根据预定程序操作，从而执行这些图像处理。
PTL 1公开了一种内窥镜系统，其通过通信线路执行维护，例如，软件更新。
根据软件的上述更新，可以容易地执行图像处理的任何更新和任何添加。
[引用列表]
[专利文献]
[PTL 1]
日本专利公开号2009-226169
发明内容
[技术问题]
然而，在通过软件更新来执行图像处理的任何更新或任何添加的情况下，图像质量会在软件更新之前和之后获取的图像之间发生变化。在这种情况下，医生可能希望将图像质量变化之前获取的图像和图像质量变化之后获取的图像相互比较。
考虑到上述情况而构思本技术，并且促使在软件更新之前获取的图像和在软件更新之后获取的图像易于相互比较。
[问题解决方案]
本技术的手术图像处理设备包括：图像处理部，其通过软件将图像处理应用于手术部位图像；以及显示控制部，其控制应用了图像处理的手术部位图像的显示，其中，所述图像处理部产生通过将更新软件之前建立的图像处理应用于手术部位图像而获取的更新前处理图像和通过将更新软件之后建立的图像处理应用于手术部位图像而获取的更新后处理图像，并且显示控制部控制更新前处理图像和更新后处理图像中的至少一个的至少一部分的显示。
还可以在手术图像处理设备中设置差值计算部，其计算更新前处理图像和更新后处理图像之间的差值，其中，在差值大于预定值的情况下，可以促使所述显示控制部控制通知该情况的信息的显示。
还可以在手术图像处理设备中设置场景检测部，其检测图像中的预定场景，并且可以促使所述显示控制部针对检测到的场景在其上显示更新前处理图像和更新后处理图像中由用户选择的一个。
还可以在手术图像处理设备中设置特征量提取部，其提取检测到的场景的特征量；以及记录控制部，其针对检测到的场景将所提取的特征量和指示更新前处理图像和更新后处理图像中由用户选择的一个的选择信息相互关联，并将所提取的特征量和选择信息作为历史信息记录在其中。
还可以在手术图像处理设备中设置学习部，其基于历史信息学习针对场景的每个特征量用户针对检测的场景选择更新前处理图像和更新后处理图像中的哪一个。
还可以在手术图像处理设备中设置参照部，其参照对应于在另一图像中检测到的预定场景的特征量的学习结果，并且可以促使所述显示控制部上基于所参照的学习结果，针对另一图像中的预定场景在其上显示更新前处理图像或更新后处理图像。
由手术图像处理设备执行本技术的图像处理方法，手术图像处理设备包括：图像处理部，其通过软件将图像处理应用于手术部位图像；以及显示控制部，其控制应用了图像处理的手术部位图像的显示，所述方法包括以下步骤：产生通过将更新软件之前建立的图像处理应用于手术部位图像而获取的更新前处理图像和通过将更新软件之后建立的图像处理应用于手术部位图像而获取的更新后处理图像；并且控制更新前处理图像或更新后处理图像中的至少一个的至少一部分的显示。
本技术的手术系统包括：手术成像设备，其获取手术部位图像；以及手术图像处理设备，包括：图像处理部，其通过软件将图像处理应用于手术部位图像；以及显示控制部，其控制应用了图像处理的手术部位图像的显示，其中，所述图像处理部产生通过将更新软件之前建立的图像处理应用于手术部位图像而获取的更新前处理图像和通过将更新软件之后建立的图像处理应用于手术部位图像而获取的更新后处理图像，并且所述显示控制部控制更新前处理图像或更新后处理图像中的至少一个的至少一部分的显示。
在本技术中，产生通过将更新软件之前建立的图像处理应用于手术部位图像而获取的更新前处理图像和通过将更新软件之后建立的图像处理应用于手术部位图像而获取的更新后处理图像；并且控制更新前处理图像或更新后处理图像中的至少一个的至少一部分的显示。
[发明的有利效果]
根据本技术，能够容易地比较软件更新之前获取的图像和软件更新之后获取的图像。上述效果不一定是限制性的，并且可以实现本文描述的任何效果。
附图说明
图1是描绘内窥镜手术系统的示意性配置的实例的示图；
图2是描绘摄像头和CCU的功能配置的实例的框图；
图3是描绘第一实施方式的图像处理设备的示例性功能配置的框图；
图4是解释手术部位图像显示处理的流程图；
图5是描绘更新前处理图像和更新后处理图像的示例性显示的示图；
图6是描绘更新前处理图像和更新后处理图像的示例性显示的示图；
图7是描绘更新前处理图像和更新后处理图像的示例性显示的示图；
图8是描绘更新前处理图像和更新后处理图像的示例性显示的示图；
图9是描绘第二实施方式的图像处理设备的示例性功能配置的框图；
图10是描绘第三实施方式的图像处理设备的示例性功能配置的框图；
图11是解释手术部位图像显示处理的流程图；
图12是描绘更新前处理图像和更新后处理图像的示例性显示的示图；
图13是描绘第四实施方式的图像处理设备的示例性功能配置的框图；
图14是解释手术部位图像显示处理的流程图；
图15是描绘第五实施方式的图像处理设备的示例性功能配置的框图；
图16是解释手术部位图像显示处理的流程图。
具体实施方式
下面将描述实现本公开的形式(在下文中，每个形式都称为“实施方式”)。此外，将按照以下顺序进行描述。
1.内窥镜手术系统的概述
2.软件更新
3.第一实施方式
4.第二实施方式
5.第三实施方式
6.第四实施方式
7.第五实施方式
<1.内窥镜手术系统的概述>
首先将描述应用本技术的内窥镜手术系统的概述。
图1是描绘根据本公开的技术可应用于的内窥镜手术系统100的示意性配置的实例的示图。
图1描绘了操作者(医生)167使用内窥镜手术系统100对病床169上的患者171执行手术的状态。内窥镜手术系统100包括内窥镜101、其他手术器械117、支撑内窥镜101的支撑臂设备127以及其上安装有用于在内窥镜下进行手术的各种类型设备的推车137。
在内窥镜下的手术中，多个圆柱形开孔器具，每个称为“套管针”，125a至125d刺穿到腹壁中，而不是通过切开腹壁来打开腹部。此后，内窥镜101的透镜镜筒103和其他手术器械117从套管针125a至125d插入患者171的体腔。在图1的实例中，气腹管119、能量处置工具121和钳子123作为其他手术器械117插入患者171的体腔中。能量处置工具121是使用高频电流或超声波振动进行组织切割和剥离、血管密封等的处置工具。然而，所描绘的手术器械117绝对是一个实例，并且通常在内窥镜下的手术中使用的各种类型的手术器械(例如，镊子和牵开器)可以用作手术器械117。
在显示设备141上显示由内窥镜101成像的患者171体腔内的手术部位的图像。操作者167执行诸如使用能量处置工具121和钳子123切开患部、实时观察在显示设备141上显示的手术部位的图像等过程。此外，尽管未示出，但是在手术期间，气腹管119、能量处置工具121和钳子123由操作者167、助手等握持。
支撑臂设备127包括从基部129延伸的臂部131。臂部131包括接合部133a、133b和133c以及连杆135a和135b，并且由臂控制设备145的控制驱动。内窥镜101由臂部131支撑，并且其位置和姿势由臂部131控制。由此实现内窥镜101位置的稳定固定。
内窥镜101包括透镜镜筒103和连接到透镜镜筒103的基端的摄像头105(成像设备)，透镜镜筒103的从其顶端具有预定长度的区域插入患者171的体腔中。在图1的实例中，将内窥镜101描绘为其由包括刚性透镜镜筒103的所谓刚性镜构造，但内窥镜101也可以由包括柔性透镜镜筒103的所谓柔性镜构造。
物镜安装在其中的开口设置在透镜镜筒103的顶端。光源设备143连接到内窥镜101，并且由光源设备143产生的光束被光束引导器引导到透镜镜筒103的顶端，该光束引导器延伸到透镜镜筒103的内部，并且该光束通过物镜照射至患者171的体腔中的待观察对象。另外，内窥镜101也可以是前视内窥镜，或者可以是前斜视内窥镜或侧视内窥镜。
光学系统和成像元件设置在摄像头105内部，并且来自待观察对象的反射光束(观察光束)被光学系统会聚到成像元件上。观察光束被成像元件光电转换，以产生对应于观察光束的电信号，即对应于观察图像的图像信号。图像信号作为原始数据传输到相机控制单元(CCU)139。通过适当驱动光学系统，促使摄像头105在其上安装调节放大率和焦距的功能。
此外，为了应对例如立体观看(3D显示)，多个成像元件可以设置在摄像头105上。在这种情况下，多个中继光学系统设置在透镜镜筒103内部，以将观察光束引导到多个成像元件中的每一个。
推车137上安装有各种类型的设备。
CCU 139包括CPU(中央处理单元)、GPU(图形处理单元)、以及GPGPU(基于GPU的通用计算)等，并且CCU 139通常控制内窥镜101和显示设备141的操作。更具体地，对于从摄像头105接收的图像信号，CCU 139应用各种类型的图像处理来基于图像信号显示图像，例如，显影处理(去马赛克处理)。CCU 139向显示设备141提供应用了图像处理的图像信号。此外，CCU 139向摄像头105发送控制信号，以控制其驱动。控制信号可以包括与成像条件相关的信息，例如，放大率和焦距。
显示设备141根据来自CCU 139的控制，基于被CCU 139应用了图像处理的图像信号在其上显示图像。在内窥镜101支持高分辨率(例如，4K(水平方向像素的数量3,840×垂直方向像素的数量2,160)或8K(水平方向像素的数量7,680×垂直方向像素的数量4,320))成像的情况下，和/或内窥镜101支持三维显示的情况下，能够高分辨率显示的显示设备和/或能够支持以上中的每个的三维显示的显示设备可以用作显示设备141。在显示设备141支持高分辨率(例如，4K或8K)成像的情况下，可以通过使用具有55英寸或更大尺寸的显示设备作为显示设备141来获取增强的沉浸感。此外，可以根据用途设置具有不同清晰度和不同尺寸的多个显示设备141。
光源设备143包括光源，例如，LED(发光二极管)，并且将对手术部位成像时使用的照射光束提供给内窥镜101。
臂控制设备145包括处理器，例如，CPU，并且通过根据基于预定程序操作的预定控制方法控制支撑臂设备127的臂部131的驱动。
输入设备147是内窥镜手术系统100的输入接口。用户可以通过输入设备147执行向内窥镜手术系统100的各种类型信息的输入和指令的输入。例如，用户通过输入设备147输入与手术相关的各种类型的信息(例如，患者的身体信息)以及与手术的操作方法相关的信息。此外，例如，用户通过输入设备147输入用于驱动臂部131的指令、改变内窥镜101的成像的条件(例如，照射光束的类型、放大率和焦距)的指令、驱动能量处置工具121的指令等。
输入设备147的类型不受限制，并且输入设备147可以是任何类型的已知输入设备。例如，鼠标、键盘、触摸面板、开关、脚踏开关157、杆等可用作输入设备147。在触摸面板用作输入设备147的情况下，触摸面板可以设置在显示设备141的显示面上。
此外，输入设备147可以是附接到用户的装置，例如，眼镜型可穿戴装置或HMD(头戴式显示器)。在这种情况下，根据这些设备中的每一个检测到的用户的任何手势或视线来执行各种类型的输入。此外，输入设备147还可以包括能够检测用户的任何运动的相机，以根据从相机成像的视频图像中检测到的用户的任何姿势或视线来执行各种类型的输入。此外，输入设备147还可以包括麦克风，该麦克风能够拾取用户的声音，以使用通过麦克风的声音来执行各种类型的输入。
输入设备147被配置为能够以如上所述的非接触方式输入各种类型的信息，从而特别是属于清洁区域的用户(例如，操作者167)能够以非接触方式操作属于非清洁区域的装置。此外，用户还可以在不将他/她的手从用户握持的手术器械上松开的情况下操作这些装置，从而提高了用户的便利性。
处置工具控制设备149控制能量处置工具121的驱动，用于烧灼或切开组织、密封血管等。气腹设备151通过气腹管119将气体供给到患者171的体腔中，以膨胀其体腔，目的在于确保内窥镜101使用的视野并确保操作者的工作空间。记录器153是能够记录与手术相关的各种类型的信息的设备。打印机155是能够以诸如文本、图像或图形等各种类型的格式打印与手术相关的各种类型的信息的设备。
接下来，将参照图2更详细地描述内窥镜101的摄像头105和CCU 139的功能。图2是描绘摄像头105和CCU 139的功能配置的实例的框图。
如图2所示，摄像头105包括透镜单元107、成像部109、驱动部111、通信部113和摄像头控制部115，作为其功能。此外，CCU 139包括通信部159、图像处理部161和控制部163，作为其功能。摄像头105和CCU139通过传输线缆165双向和可通信地彼此连接。
首先将描述摄像头105的功能配置。透镜单元107是设置在透镜镜筒103的连接部分中的光学系统。从透镜镜筒103的顶端引入的观察光束被引导到摄像头105，并进入透镜单元107。透镜单元107由包括变焦透镜和聚焦透镜的多个透镜的组合构成。透镜单元107调整其光学特性，使得观察光束会聚在成像部109的成像元件的光接收面上。此外，变焦透镜和聚焦透镜被配置为其在光轴上的位置可移动，用于调节成像图像的倍率和焦点。
成像部109包括成像元件，并且设置在透镜单元107的后级中。已经穿过透镜单元107的观察光束聚集在成像元件的光接收面上，并且通过光电转换产生对应于观察图像的图像信号。成像部109产生的图像信号提供给通信部113。
具有拜耳排列的能够彩色成像的成像元件(例如，CMOS(互补金属氧化物半导体)图像传感器)用作构成成像部109的成像元件。此外，能够支持高分辨率(例如，4K或更高分辨率)的图像成像的成像元件可以用作成像元件。因为可以以高分辨率获取手术部位的图像，所以操作者167可以详细理解手术部位的状态，因此可以更平稳地进行手术。
此外，构成成像部109的成像元件可以被适配为包括一对成像元件，以分别获取对应于三维显示的右眼和左眼的图像信号。执行三维显示，使得操作者167能够更准确地理解手术部位中每个体内组织的深度。此外，在成像部109被构造为多板形式的情况下，透镜单元107的多个系统也均对应于成像元件设置。
此外，成像部109可以不必设置在摄像头105上。例如，成像部109可以在透镜镜筒103内紧接在物镜之后。
驱动部111包括致动器，并且根据来自摄像头控制部115的控制，将透镜单元107的变焦透镜和聚焦透镜沿着光轴移动预定距离。由此，可以适当地调整由成像部109成像的图像的倍率和焦点。
通信部113包括向CCU 139发送或从CCU 139接收各种类型的信息的通信设备。通信部113通过传输线缆165将从成像部109获取的图像信号作为原始数据传输到CCU 139。此时，为了以低延迟显示手术部位的成像图像，优选使用光通信传输图像信号。这是因为在手术期间，操作者167使用成像图像来观察手术部位的状态以执行手术，因此需要尽可能实时地显示手术部位的运动图像，以便手术更安全和更可靠。在执行光通信的情况下，将电信号转换成光信号的光电转换模块设置在通信部113中。图像信号由光电转换模块转换成光信号，然后通过传输线缆165传输到CCU139。
此外，通信部113从CCU 139接收控制信号，以控制摄像头105的驱动。控制信号包括与成像条件相关的信息，例如，指定成像图像的帧率的信息、指定成像曝光值的信息和/或指定成像图像的倍率和焦点的信息。通信部113将接收到的控制信号提供给摄像头控制部115。此外，来自CCU139的控制信号也可以使用光通信来传输。在这种情况下，将光信号转换成电信号的光电转换模块设置在通信部113中，并且控制信号被光电转换模块转换成电信号，此后提供给摄像头控制部115。
此外，CCU 139的控制部163基于获取的图像信号自动设置上述成像条件，例如，帧率、曝光值、放大率和焦点。简而言之，所谓的AE(自动曝光)功能、所谓的AF(自动聚焦)功能和所谓的AWB(自动白平衡)功能安装在内窥镜101上。
摄像头控制部115基于通过通信部113接收的来自CCU 139的控制信号来控制摄像头105的驱动。例如，摄像头控制部115基于指定成像图像的帧率的信息和/或指定成像曝光的信息来控制成像部109的成像元件的驱动。此外，例如，摄像头控制部115基于指定成像图像的放大率和焦点的信息，通过驱动部111适当地移动透镜单元107的变焦透镜和聚焦透镜。摄像头控制部115还可以包括在其中存储信息的功能以识别透镜镜筒103和摄像头105中的每一个。
此外，通过将诸如透镜单元107和成像部109之类的配置设置在气密性和防水性高的密封结构中，可以向摄像头105提供对任何高压灭菌处理的耐受性。
接下来，将描述CCU 139的功能配置。通信部159包括向摄像头105发送/从摄像头105接收各种类型的信息的通信设备。通信部159通过传输线缆165接收从摄像头105传输的图像信号。关于这一点，图像信号有利地也能够使用光通信来传输，如上所述。在这种情况下，为了支持光通信，在通信部159中设置光电转换模块，该光电转换模块将光信号转换成电信号。通信部159将转换成电信号的图像信号提供给图像处理部161。
此外，通信部159将控制摄像头105的驱动的控制信号传输到摄像头105。也可以使用光通信来传输控制信号。
图像处理部161对作为从摄像头105发送的原始数据的图像信号应用各种类型的图像处理。图像处理包括各种类型的已知信号处理，例如，显影处理、图像质量改善处理(频带强调处理、超分辨率处理、NR(降噪)处理、相机抖动校正处理等)和/或放大处理(电子变焦处理)。此外，图像处理部161对图像信号执行检测处理，以执行AE、AF和AWB。
图像处理部161包括处理器，例如，CPU、GPU或GPGPU，并且上述图像处理和检测处理通过处理器根据预定程序进行操作这一事实来执行。另外，在图像处理部161包括多个GPU的情况下，图像处理部161适当地划分与图像信号相关的信息，并且使用这些多个GPU彼此并行地执行图像处理。
控制部163执行与内窥镜101对手术部位的成像及其成像图像的显示相关的各种类型的控制。例如，控制部163产生控制信号来控制摄像头105的驱动。关于这一点，在成像条件已经由用户输入的情况下，控制部163基于用户的输入产生控制信号。此外，在AE功能、AF功能和AWB功能安装在内窥镜101上的情况下，控制部163根据图像处理部161执行的检测处理的结果适当地计算最佳曝光值、最佳焦距和最佳白平衡，从而产生控制信号。
此外，控制部163促使显示设备141基于图像处理部161应用了图像处理的图像信号在其上显示手术部位的图像。此时，控制部163使用各种类型的图像识别技术来识别手术部位图像中的各种类型的对象。例如，控制部163可以通过检测手术部位图像中包括的每个对象的边缘形状和颜色来识别手术器械117，例如，钳子123、特定体内部位、任何出血、在使用能量处置工具121期间产生的雾等。当控制部163促使显示设备141在其上显示手术部位的图像时，控制部163使用识别结果促使显示设备141在其上显示各种类型的手术支持信息，将该信息叠加在手术部位的图像上。手术支持信息叠加显示，以呈现给操作者167，从而手术可以更安全和更可靠地进行。
将摄像头105和CCU 139彼此连接的传输线缆165是支持任何电信号通信的电信号电缆、支持光通信的光纤或这些的复合线缆。
在该实例中，使用传输线缆165通过有线执行通信，而摄像头105和CCU 139之间的通信可以无线执行。在这两者之间的通信无线执行的情况下，传输线缆165不需要铺设在手术室的地板上，因此可以解决手术室中医务人员的任何移动被传输线缆165阻碍的情况。
<2.软件更新>
与上述相关，在上述内窥镜手术系统中，各种类型的图像处理应用于由内窥镜成像的图像。这些图像处理通过软件实现，并且这些图像处理通过处理器(例如，GPU)根据预定程序进行操作这一事实来执行。
根据软件(SW)的更新，可以容易地执行图像处理的任何更新和任何添加。
另一方面，在通过更新SW来执行图像处理的任何更新或任何添加的情况下，图像的图像质量可以在更新之前和更新之后之间发生变化。在这种情况下，医生可能希望比较图像质量变化之前的图像和图像质量变化之后的图像。此外，还存在图像质量的这种变化影响医生在手术期间对手术器械的诊断和操作的风险。
例如，在执行SW的任何更新以向其中添加相机抖动校正处理的情况下，在许多情况下，手术部位的图像稳定并且其可视性提高。
另一方面，在需要快速操作手术器械的剥离等情况下，由于相机抖动校正处理，从成像到显示的等待时间增加，并且手术器械的操作可能看起来被延迟。此外，分辨率可能由于几何变换(例如，仿射变换)而有所降低，因此难以看到微组织，例如，血管和神经。
此外，在执行SW更新以向其中添加灰度级校正处理的情况下，对于来自光源的光束难以到达的低灰度级部分，可以提高可视性。然而，在具有中间灰度级的部分，对比度降低，并且可能难以看到微组织，例如，血管和神经。
此外，在执行SW更新以向其中添加结构强调处理的情况下，强调显示微组织，例如，血管和神经，并且由此可以提高该部分的可视性，同时根据情况也可能难以看到该部分。
在如上所述通过SW更新的执行难以看到手术部位的情况下，操作者还需要在执行SW更新之前获取的图像。
因此，下面将描述一个实施方式，该实施方式使得即使在更新SW之后，也能够在更新SW之前和更新SW之后获取的图像之间进行简单的相互比较，并且还可以避免影响医生在手术期间对手术器械的诊断和操作的任何风险。
<3.第一实施方式>
(图像处理设备的示例性配置)
首先，将参照图3描述根据本技术的第一实施方式的图像处理设备的示例性配置。
图3中的图像处理设备201对应于上述CCU 139，并且将图像处理应用于例如从摄像头105输入的手术部位图像的图像信号(输入图像)，并且将其结果输出到显示设备202。
显示设备202对应于上述显示设备141，并且基于从图像处理设备201输出的图像信号在其上显示图像。
图像处理设备201包括图像处理部211和显示控制部212。
图像处理部211对应于上述图像处理部161，并且对输入图像的图像信号应用各种类型的图像处理。这些图像处理通过软件(SW)实现，并且处理器(例如，GPU)根据预定程序操作，从而执行这些图像处理。
实现这些图像处理的SW通过例如从记录介质安装预定程序这一事实来更新。此外，这样的程序可以通过网络(例如，互联网)安装。
图像处理部211包括软件更新后图像处理部221和软件更新前图像处理部222。
软件更新后图像处理部221输出通过对输入图像应用软件更新后建立的图像处理(即，由最新版本的软件实现的图像处理)获取的更新后处理图像的图像信号。
软件更新前图像处理部222输出通过对输入图像应用在软件更新前建立的图像处理(即，由前一版本的软件实现的图像处理)获取的更新前处理图像的图像信号。
在软件更新后图像处理部221和软件更新前图像处理部222由两个GPU构成的情况下，软件更新后图像处理部221和软件更新前图像处理部222可以彼此并行地(即同时地)执行软件更新后建立的图像处理和软件更新前建立的图像处理。
此外，软件更新后图像处理部221和软件更新前图像处理部222也可以由一个GPU构成，以串行执行软件更新后建立的图像处理和软件更新前建立的图像处理。
显示控制部212基于从图像处理部211(更新后图像处理部221和更新前图像处理部222)输出的图像信号，促使在显示设备202上显示更新后处理图像或更新前处理图像中的至少一个的至少一部分。此外，显示控制部212根据用户的操作控制在显示设备202上显示更新后处理图像和更新前处理图像。
(手术部位图像显示处理的流程)
接下来，将参照图4描述由图像处理设备201执行的手术部位图像显示处理的流程。当通过对手术部位成像获取的手术部位图像(运动图像)从内窥镜101(摄像头105)输入到图像处理设备201中时，开始图4中的处理。
在步骤S21，软件更新后图像处理部221将软件更新后建立的图像处理(由最新版本的软件实现的图像处理)应用于输入的手术部位图像。
在步骤S22，软件更新前图像处理部222将软件更新前建立的图像处理(由前一版本的软件实现的图像处理)应用于输入的手术部位图像。
假设步骤S21和S22的处理同时彼此并行执行，但这些处理可以如上所述串行执行。应用了更新软件后建立的图像处理的更新后处理图像的图像信号和应用了更新软件前建立的图像处理的更新前处理图像的图像信号输出到显示控制部212。
在步骤S23，显示控制部212基于从软件更新后图像处理部221和软件更新前图像处理部222输出的图像信号，促使在显示设备202上显示更新后处理图像和更新前处理图像。
根据上述处理，由此通过软件的更新而改变图像质量之后获取的图像以及由此图像质量改变之前获取的图像被显示，作为内窥镜101成像的手术部位的图像，因此，使用内窥镜101执行手术的操作者可以容易地将这些图像相互比较。结果，可以减少由软件更新引起的图像变化影响医生在手术期间对手术器械的诊断和操作的可能性。
关于以上内容，将描述在显示设备202上显示的更新后处理图像和更新前处理图像的示例性显示。
(示例性显示1)
图5描绘了更新前处理图像和更新后处理图像的第一示例性显示。
图5描绘了同时在一个屏幕上显示更新后处理图像251和更新前处理图像252的状态。在屏幕左上角区域中显示的更新后处理图像251被显示为大于在右上角区域中显示的图像。因此，使用内窥镜101执行手术的操作者可以容易地将更新后处理图像251和更新前处理图像252相互进行比较。
此外，在图5的实例中，屏幕中的更新后处理图像251和更新前处理图像252的显示尺寸可以被适配为根据用户(操作者)的操作来调整。更具体地，其中显示有更新后处理图像251的区域和其中显示有更新前处理图像252的区域被适配为在屏幕中彼此交换。
此外，在图5的实例中，除了更新后处理图像251和更新前处理图像252之外，可以被适配为显示通过在更新软件之后建立的图像处理和在更新软件之前建立的图像处理中的每一个中改变参数而获取的多个更新后处理图像和多个更新前处理图像。
(示例性显示2)
图6描绘了更新前处理图像和更新后处理图像的第二示例性显示。
图6描绘了显示更新后处理图像251和更新前处理图像252中由用户(操作者)选择的一个的状态。在图6的实例中，显示设备202被适配为首先在其上显示更新前处理图像252。因此，用户可以避免因图像的图像质量在开始显示手术部位图像的时间点发生变化而困惑。随后，根据用户的操作，更新前处理图像252和更新后处理图像251被相互切换显示。
此外，用于切换显示的用户接口设置在操作者可以立即执行手边的切换操作的项目上，例如，内窥镜101的摄像头105或手术器械117。
(示例性显示3)
图7描绘了更新后处理图像和更新前处理图像的第三示例性显示。
图7描绘了更新后处理图像251和更新前处理图像252被显示为对于每个像素以预定比率彼此相加的状态。在图7的实例中，各像素的像素值为通过将更新前处理图像252的每个像素的像素值乘以预定值α(α<1)而获取的值和通过将更新后处理图像251的每个像素的像素值乘以预定值(1-α)而获取的值的总和的输出图像261被显示。
此外，值α可以被适配为通过用户(操作者)的操作来调整。
(示例性显示4)
图8描绘了更新后处理图像和更新前处理图像的第四示例性显示。
图8描绘了更新后处理图像251中的第一区域和更新前处理图像252中第一区域之外的第二区域被显示为彼此合成的状态。
在图8的A的实例中，在通过将屏幕划分为右侧区域和左侧区域而形成的右侧区域D1中，首先显示更新后处理图像251中与区域D1对应的部分的图像，并且在通过将屏幕划分为右侧区域和左侧区域而形成的左侧区域D2中，显示更新前处理图像252中与区域D2对应的部分的图像。假设由用户(操作者)的操作来调整区域D1的宽度w，换言之，区域D1和区域D2之间的边界。此外，在区域D1和区域D2中显示的图像可以被适配为通过用户的操作彼此交换。
此外，在图8的B的实例中，在包括屏幕中心的区域中，更具体地，在以屏幕中心为中心的圆形区域D3中，显示更新后处理图像251中与区域D3对应的部分的图像，并且在屏幕中位于区域D3之外的外围区域D4中，显示更新前处理图像252中与区域D4对应的部分的图像。假设由用户(操作者)的操作来调整区域D3的半径r，换言之，区域D3和区域D4之间的边界。此外，在区域D3和区域D4中显示的图像可以被适配为通过用户的操作彼此交换。此外，区域D3的形状不限于圆形，而是可以是其他形状，例如，矩形。
<4.第二实施方式>
(图像处理设备的示例性配置)
图9描绘了根据本技术的第二实施方式的图像处理设备的示例性配置。
图9中的图像处理设备271将图像处理应用于输入图像的图像信号，并将结果输出到显示设备202-1和202-2中的每一个。
显示设备202-1和202-2均基于从图像处理设备201输入其中的图像信号来显示图像。
图像处理设备271包括图像处理部211和显示控制部281。
在图9中，图像处理部211具有与图3所示相同的配置，因此不再描述。
显示控制部281基于从图像处理部211(软件更新后图像处理部221和软件更新前图像处理部222)输出的图像信号，促使在显示设备202-1上显示更新后处理图像，并促使在显示设备202-2上显示更新前处理图像。
利用这种配置，使用内窥镜101执行手术的操作者也可以容易地将这些图像彼此进行比较，因为在图像质量通过软件的更新而改变之后获取的图像和在图像质量由此改变之前获取的图像被显示为由内窥镜101成像的手术部位的图像。
<5.第三实施方式>
(图像处理设备的示例性配置)
图10描绘了根据本技术的第三实施方式的图像处理设备的示例性配置。
图10中的图像处理设备301包括图像处理部311和显示控制部312。
图像处理部311包括软件更新后图像处理部321、软件更新前图像处理部322和差值计算部323。
类似于图3中的软件更新后图像处理部221，软件更新后图像处理部321输出通过将软件更新后建立的图像处理应用于输入图像而获取的更新后处理图像的图像信号。
类似于图3中的软件更新前图像处理部222，软件更新前图像处理部322输出通过将软件更新前建立的图像处理应用于输入图像而获取的更新前处理图像的图像信号。
差值计算部323计算更新前处理图像和更新后处理图像之间的差值，并将计算结果提供给显示控制部312。
显示控制部312基于从图像处理部311(软件更新后图像处理部321和软件更新前图像处理部322)输出的图像信号，促使在显示设备202上显示更新后处理图像或更新前处理图像中的至少一个的至少一部分。
此外，显示控制部312包括OSD处理部331。OSD处理部331根据来自图像处理部311(差值计算部323)的计算结果在显示设备202的屏幕中执行信息的OSD显示。
(手术部位图像显示处理的流程)
接下来，将参照图11中的流程图描述由图像处理设备301执行的手术部位图像显示处理的流程。当通过对手术部位成像而获取的手术部位图像(运动图像)从内窥镜101(摄像头105)输入到图像处理设备301中时，开始图11中的处理。
在步骤S31，软件更新后图像处理部321将软件更新后建立的图像处理(由最新版本的软件实现的图像处理)应用于输入的手术部位图像。
在步骤S32，软件更新前图像处理部322将软件更新前建立的图像处理(由前一版本的软件实现的图像处理)应用于输入的手术部位图像。
假设步骤S31和S32中的处理同时彼此并行执行，但这些处理可以如上所述串行执行。应用更新软件后建立的图像处理的更新后处理图像的图像信号和应用更新软件前建立的图像处理的更新前处理图像的图像信号输出到显示控制部312和差值计算部323。
另外，此时，假设显示控制部312基于从软件更新后图像处理部321输出的图像信号，促使仅在显示设备202上显示更新后处理图像。
在步骤S33，差值计算部323计算更新前处理图像和更新后处理图像之间的差值。更具体地，差值计算部323计算更新前处理图像和更新后处理图像之间每个像素的像素值的差值，并对差值求和。计算结果被提供给显示控制部312。
在步骤S34，显示控制部312基于来自差值计算部323的计算结果确定差值是否大于预定值。
在确定差值不大于预定值的情况下，重复步骤S34的处理，并且在显示设备202上连续显示更新后处理图像。
另一方面，在确定差值大于预定值的情况下，处理步骤前进到步骤S35。
在步骤S35，显示控制部312的OSD处理部331执行信息的OSD显示，该信息通知差值大于预定值。例如，如图12左侧所示，OSD处理部331在显示装置202上显示的更新后处理图像上执行通知图像361的OSD显示，该通知图像通知差值大于预定值。因此，用户可以在用户当前观看的场景中识别到更新后处理图像和更新前处理图像之间的图像质量差异存在。
在显示设备202的屏幕中，用户随后执行预定操作，例如，对要触摸的通知图像361的一部分执行预定操作，并且选择显示模式以将更新后处理图像和更新前处理图像相互比较的选择屏幕由此显示。如图12的右侧所示，显示控制部312显示其中设置有按钮381至384的选择屏幕，以选择四种显示模式中的任何一种。例如，在四种显示模式的每一种中，执行上述示例性显示1至示例性显示4中的每一个中描述的显示。
根据上述处理，在通过软件更新而改变图像质量之后获取的图像和在图像质量由此改变之前获取的图像之间的差值较大的情况下，使用内窥镜101执行手术的操作者可以促使这些图像以期望的显示形式显示，以容易地将这些图像相互进行比较。
<6.第四实施方式>
(图像处理设备的示例性配置)
图13描绘了根据本技术的第四实施方式的图像处理设备的示例性配置。
图13中的图像处理设备401包括图像处理部411、显示控制部412、场景检测部413、特征量提取部414、记录控制部415、历史信息记录部416、学习部417和学习信息记录部418。
图像处理部411包括软件更新后图像处理部421和软件更新前图像处理部422。
类似于图3中的软件更新后图像处理部221，软件更新后图像处理部421输出通过将软件更新后建立的图像处理应用于输入图像而获取的更新后处理图像的图像信号。
类似于图3中的软件更新前图像处理部222，软件更新前图像处理部422输出通过将软件更新前建立的图像处理应用于输入图像而获取的更新前处理图像的图像信号。
显示控制部412基于从图像处理部411(软件更新后图像处理部421和软件更新前图像处理部422)输出的图像信号，促使显示设备202在其上显示更新后处理图像和更新前处理图像中由用户选择的一个。
此外，显示控制部412包括OSD处理部431。OSD处理部431在显示设备202的屏幕中根据来自稍后描述的场景检测部413的重要性标志进行信息的OSD显示。
场景检测部413检测输入图像中具有高重要度的场景。在场景检测部413检测到具有高重要度的场景的情况下，场景检测部413将指示该场景是具有高重要度的场景的重要性标志提供给显示控制部412和特征量提取部414。
特征量提取部414基于来自场景检测部413的重要性标志，提取在输入图像中检测到的具有高重要度的场景的特征量，并将该特征量提供给记录控制部415。
记录控制部415将来自特征量提取部414的特征量和来自显示控制部412的选择信息相互关联，并将其作为历史信息记录在历史信息记录部416中。选择信息是指示用户针对输入图像中检测到的具有高重要度的场景选择更新后处理图像和更新前处理图像中的哪一个的信息。
学习部417基于记录在历史信息记录部416中的历史信息，针对每个特征量学习用户对于输入图像中检测到的具有高重要度的场景选择更新后处理图像和更新前处理图像中的哪一个。通过学习而获取的学习结果记录在学习信息记录部418中。
(手术部位图像显示处理的流程)
接下来将参照图14中的流程图描述由图像处理设备401执行的手术部位图像显示处理的流程。当通过对手术部位成像而获取的手术部位图像(运动图像)从内窥镜101(摄像头105)输入到图像处理设备401中时，开始图14中的处理。
在步骤S41，软件更新后图像处理部421将软件更新后建立的图像处理(由最新版本的软件实现的图像处理)应用于输入图像。
在步骤S42，软件更新前图像处理部422将软件更新前建立的图像处理(由前一版本的软件实现的图像处理)应用于输入图像。
假设步骤S41和S42中的处理同时彼此并行执行，但这些处理可以如上所述串行执行。应用了更新软件后建立的图像处理的更新后处理图像的图像信号和应用了更新软件前建立的图像处理的更新前处理图像的图像信号输出到显示控制部412。
另外，此时，假设显示控制部412基于从图像处理部411输出的图像信号，促使在显示设备202上显示更新后处理图像和更新前处理图像。
在步骤S43，场景检测部413确定场景检测部413是否检测到输入图像中具有高重要度的任何场景。具有高重要度的场景被定义为例如执行组织的切割、剥离等的场景，并且基于输入图像(手术部位图像)中描绘的手术器械的形状、手术部位的颜色等来检测这些场景。
在场景检测部413确定没有检测到具有任何高重要度的场景的情况下，重复步骤S43的处理，并且在显示设备202上连续显示更新后处理图像和更新前处理图像。
另一方面，在场景检测部413确定检测到具有高重要度的场景的情况下，场景检测部413将重要性标志提供给显示控制部412和特征量提取部414，并且处理步骤前进到步骤S44。
在步骤S44，特征量提取部414基于来自场景检测部413的重要性标志，提取在输入图像中检测到的具有高重要度的场景的特征量，并将该特征量提供给记录控制部415。具有高重要度的场景的特征量被定义为根据用作检测场景的标准的手术器械的形状、手术部位的颜色等的信息。
在步骤S45，显示控制部412的OSD处理部431基于来自场景检测部413的重要性标志，执行指示此时显示的场景是具有高重要度的场景的信息的OSD显示。
此外，步骤S44和步骤S45的处理也可以彼此并行执行。
当执行OSD显示时，图像处理设备401接下来使用户选择要显示更新前处理图像和更新后处理图像中的哪一个。当用户选择更新前处理图像或更新后处理图像时，处理步骤前进到步骤S46。
在步骤S46，显示控制部412促使显示设备202仅显示更新前处理图像和更新后处理图像中由用户选择的一个。此时，显示控制部412将指示更新前处理图像和更新后处理图像中由用户选择的一个(在显示设备202上显示的一个)的选择信息提供给记录控制部415。
在步骤S47，记录控制部415将来自特征量提取部414的特征量和来自显示控制部412的选择信息相互关联，并将其作为历史信息记录在历史信息记录部416中。
在步骤S48，学习部417基于记录在历史信息记录部416中的历史信息，对于每个特征量学习用户针对在输入图像中检测到的具有高重要度的场景选择更新后处理图像和更新前处理图像中的哪一个。在这种情况下，使用机器学习来学习用户针对每个特征量更经常地选择更新后处理图像和更新前处理图像中的哪一个。
根据上述处理，使用内窥镜101执行手术的操作者可以容易地比较在图像质量通过软件更新而改变之后获取的图像和在图像质量由此改变之前获取的图像，从而选择更有利的图像来促使显示该图像。此外，可以学习对于具有高重要度的场景，在图像质量通过软件更新而改变之后获取的图像和在图像质量由此改变之前获取的图像的哪种显示形式对操作者更有利。
<7.第五实施方式>
(图像处理设备的示例性配置)
图15描绘了根据本技术的第五实施方式的图像处理设备的示例性配置。
图15中的图像处理设备501使用上述学习结果针对新输入的手术部位图像中具有高重要度的场景，自动为操作者选择更新后处理图像和更新前处理图像中更有利的图像，并使该图像被显示。
图像处理设备501包括图像处理部411、显示控制部412、场景检测部413、特征量提取部414、学习信息记录部418和学习信息参照部511。
在图15中，图像处理部411、显示控制部412、场景检测部413、特征量提取部414和学习信息记录部418分别与图13所示的配置相同，因此不再描述。
学习信息参照部511从记录在学习信息记录部418中的学习信息中参照对应于在新输入的输入图像中检测到的具有高重要度的场景的特征量的学习信息。基于参照的学习信息，学习信息参照部511将与特征量相关的选择信息提供给显示控制部412。
(手术部位图像显示处理的流程)
接下来将参照图16中的流程图描述由图像处理设备501执行的手术部位图像显示处理的流程。当通过对手术部位成像而获取的手术部位图像(运动图像)从内窥镜101(摄像头105)输入到图像处理设备501中时，开始图16中的处理。
此外，图16中步骤S51至S54的处理基本上类似于图15中步骤S41至S44的处理，因此不再描述。
在步骤S54，当提取在输入图像中检测到的具有高重要度的场景的特征量时，该特征量提供给学习信息参照部511。
在步骤S55，学习信息参照部511从记录在学习信息记录部418中的学习信息中参照对应于来自特征量提取部414的特征量的学习信息。学习信息参照部511基于参照的学习信息将与来自特征量提取部414的特征量相关的选择信息提供给显示控制部412。
在步骤S56，显示控制部412基于来自学习信息参照部511的选择信息，促使仅在显示设备202上显示更新后处理图像和更新前处理图像中由选择信息指示的图像。
根据上述处理，对于具有高重要度的场景，可以基于学习结果显示在图像质量通过软件更新而改变之后获取的图像和由此改变图像质量之前获取的图像中对操作者更有利的图像。
上面已经描述了根据本公开的技术应用于内窥镜手术系统的实例，而根据本公开的技术可应用于的系统不限于上述实例。例如，根据本公开的技术可以应用于检查柔性内窥镜系统和显微手术系统。
此外，本技术的实施方式不限于上述实施方式，并且可以在不脱离本技术的要点的范围内对其进行各种改变。
此外，本技术可以采用以下配置。
(1)一种手术图像处理设备，包括：
图像处理部，其通过软件将图像处理应用于手术部位图像；以及
显示控制部，其控制应用了图像处理的手术部位图像的显示，其中，
所述图像处理部产生通过将更新软件之前建立的图像处理应用于手术部位图像而获取的更新前处理图像和通过将更新软件之后建立的图像处理应用于手术部位图像而获取的更新后处理图像，并且
所述显示控制部控制更新前处理图像或更新后处理图像中的至少一个的至少一部分的显示。
(2)根据上述(1)所述的手术图像处理设备，其中，
所述图像处理部使更新软件之前建立的图像处理和软件更新之后建立的图像处理彼此并行地执行。
(3)根据上述(1)或(2)所述的手术图像处理设备，其中，
所述显示控制部促使更新前处理图像和更新后处理图像同时显示在一个屏幕中。
(4)根据上述(3)所述的手术图像处理设备，其中，
所述显示控制部根据用户的操作调整屏幕中更新前处理图像和更新后处理图像的显示尺寸。
(5)根据上述(1)或(2)所述的手术图像处理设备，其中，
所述显示控制部促使更新前处理图像和更新后处理图像在不同的显示设备上显示。
(6)根据上述(1)或(2)所述的手术图像处理设备，其中，
所述显示控制部促使更新前处理图像和更新后处理图像中由用户选择的一个被显示。
(7)根据上述(1)或(2)所述的手术图像处理设备，其中，
所述显示控制部针对每个像素以预定比率将更新前处理图像和更新后处理图像彼此相加，以进行显示。
(8)根据上述(1)或(2)所述的手术图像处理设备，其中，
所述显示控制部将更新前处理图像的第一区域和更新后处理图像的第一区域之外的第二区域彼此合成，以进行显示。
(9)根据上述(8)所述的手术图像处理设备，其中，
所述第一区域是通过将屏幕分成左右两部分而形成的一个区域，并且
所述第二区域是通过将屏幕分成左右两部分而形成的另一区域。
(10)根据上述(8)所述的手术图像处理设备，其中，
所述第一区域是包括所述屏幕的中心的中心区域，并且
所述第二区域是所述屏幕中位于所述中心区域之外的外围区域。
(11)根据上述(8)至(10)中任一项所述的手术图像处理设备，其中，
所述第一区域和所述第二区域之间的边界由用户的操作来确定。
(12)根据上述(1)或(2)所述的手术图像处理设备，还包括：
差值计算部，其计算更新前处理图像和更新后处理图像之间的差值，其中，
在差值大于预定值的情况下，所述显示控制部控制通知该情况的信息的显示。
(13)根据上述(1)或(2)所述的手术图像处理设备，还包括：
场景检测部，其检测图像中的预定场景，其中，
所述显示控制部促使更新前处理图像和更新后处理图像中用户针对检测到的场景选择的一个被显示。
(14)根据上述(13)所述的手术图像处理设备，还包括：
特征量提取部，其提取检测到的场景的特征量；以及
记录控制部，其针对检测到的场景将所提取的特征量和指示更新前处理图像和更新后处理图像中用户所选择的一个的选择信息相互关联，并将所提取的特征量和选择信息作为历史信息记录在其中。
(15)根据上述(14)所述的手术图像处理设备，还包括：
学习部，其基于历史信息学习针对场景的每个特征量用户对于检测场景选择更新前处理图像和更新后处理图像中的哪一个。
(16)根据上述(15)所述的手术图像处理设备，还包括：
参照部，其参照对应于在另一图像中检测到的预定场景的特征量的学习结果，其中，
所述显示控制部基于所参照的学习结果，针对另一图像中的预定场景促使显示更新前处理图像或更新后处理图像。
(17)一种由手术图像处理设备执行的图像处理方法，所述手术图像处理设备包括
图像处理部，其通过软件将图像处理应用于手术部位图像；以及
显示控制部，其控制应用了图像处理的手术部位图像的显示，所述方法包括以下步骤：
产生通过将更新软件之前建立的图像处理应用于手术部位图像而获取的更新前处理图像和通过将更新软件之后建立的图像处理应用于手术部位图像而获取的更新后处理图像；并且
控制更新前处理图像或更新后处理图像中的至少一个的至少一部分的显示。
(18)一种手术系统，包括：
手术成像设备，其获取手术部位图像；以及
手术图像处理设备，包括
图像处理部，其通过软件将图像处理应用于手术部位图像；以及
显示控制部，其控制应用了图像处理的手术部位图像的显示，其中，
所述图像处理部产生通过将更新软件之前建立的图像处理应用于手术部位图像而获取的更新前处理图像和通过将更新软件之后建立的图像处理应用于手术部位图像而获取的更新后处理图像，并且
所述显示控制部控制更新前处理图像或更新后处理图像中的至少一个的至少一部分的显示。
[附图标记列表]
201图像处理设备、211图像处理部、212显示控制部、221软件更新后图像处理部、222软件更新前图像处理部、281显示控制部、301图像处理设备、311图像处理部、312显示控制部、321软件更新后图像处理部、322软件更新前图像处理部、323差值计算部、331OSD处理部、401图像处理设备、411图像处理部、412显示控制部、413场景检测部、414特征量提取部、415记录控制部、416历史信息记录部、417学习部、418学习信息记录部、421软件更新后图像处理部、422软件更新前图像处理部、431OSD处理部、511学习信息参照部。

Claims (17)

1.一种手术图像处理设备，包括：
图像处理部，通过软件将图像处理应用于手术部位图像；以及
显示控制部，控制应用了所述图像处理的所述手术部位图像的显示，其中，
所述图像处理部产生通过将更新所述软件之前建立的所述图像处理应用于所述手术部位图像而获取的更新前处理图像和通过将更新所述软件之后建立的所述图像处理应用于所述手术部位图像而获取的更新后处理图像，并且
所述显示控制部控制所述更新前处理图像和所述更新后处理图像中的至少一个的至少一部分的显示，
其中，所述显示控制部针对每个像素以预定比率使所述更新前处理图像和所述更新后处理图像彼此相加以进行显示。
2.根据权利要求1所述的手术图像处理设备，其中，
所述图像处理部将更新所述软件之前建立的所述图像处理和更新所述软件之后建立的所述图像处理彼此并行地执行。
3.根据权利要求1所述的手术图像处理设备，其中，
所述显示控制部使所述更新前处理图像和所述更新后处理图像同时显示在一个屏幕中。
4.根据权利要求3所述的手术图像处理设备，其中，
所述显示控制部根据用户的操作调整所述更新前处理图像和所述更新后处理图像在所述屏幕中的显示尺寸。
5.根据权利要求1所述的手术图像处理设备，其中，
所述显示控制部使所述更新前处理图像和所述更新后处理图像显示在不同的显示设备上。
6.根据权利要求1所述的手术图像处理设备，其中，
所述显示控制部使所述更新前处理图像和所述更新后处理图像中被用户选择的一个显示。
7.根据权利要求1所述的手术图像处理设备，其中，
所述显示控制部将所述更新前处理图像的第一区域和位于所述第一区域之外的所述更新后处理图像的第二区域彼此合成以进行显示。
8.根据权利要求7所述的手术图像处理设备，其中，
所述第一区域是通过将屏幕分成左右两部分而形成的一个区域，并且
所述第二区域是通过将屏幕分成左右两部分而形成的另一区域。
9.根据权利要求7所述的手术图像处理设备，其中，
所述第一区域是包括屏幕的中心的中心区域，并且
所述第二区域是所述屏幕中位于所述中心区域之外的外围区域。
10.根据权利要求7所述的手术图像处理设备，其中，
所述第一区域和所述第二区域之间的边界由用户的操作来确定。
11.根据权利要求1所述的手术图像处理设备，还包括：
差值计算部，计算所述更新前处理图像和所述更新后处理图像之间的差值，其中，
在所述差值大于预定值的情况下，所述显示控制部控制通知这种情况的信息的显示。
12.根据权利要求1所述的手术图像处理设备，还包括：
场景检测部，检测所述手术部位图像中的预定场景，其中，
所述显示控制部使所述更新前处理图像和所述更新后处理图像中由用户针对所检测到的场景选择的一个显示。
13.根据权利要求12所述的手术图像处理设备，还包括：
特征量提取部，提取所检测到的场景的特征量；以及
记录控制部，将所提取的特征量和指示所述更新前处理图像和所述更新后处理图像中由用户针对所检测到的场景选择的一个的选择信息相互关联，并将所提取的特征量和所述选择信息作为历史信息记录其中。
14.根据权利要求13所述的手术图像处理设备，还包括：
学习部，基于所述历史信息，针对所述场景的每个特征量学习所述用户对于所检测到的场景选择所述更新前处理图像和所述更新后处理图像中的哪一个。
15.根据权利要求14所述的手术图像处理设备，还包括：
参照部，参照对应于在另一手术部位图像中检测到的预定场景的特征量的学习结果，其中，
所述显示控制部基于所参照的学习结果，针对所述另一手术部位图像中的所述预定场景显示所述更新前处理图像或所述更新后处理图像。
16.一种由手术图像处理设备执行的图像处理方法，所述手术图像处理设备包括：
图像处理部，通过软件将图像处理应用于手术部位图像；以及
显示控制部，控制应用了所述图像处理的所述手术部位图像的显示，所述方法包括以下步骤：
产生通过将更新所述软件之前建立的所述图像处理应用于所述手术部位图像而获取的更新前处理图像和通过将更新所述软件之后建立的所述图像处理应用于所述手术部位图像而获取的更新后处理图像；并且
控制所述更新前处理图像和所述更新后处理图像中的至少一个的至少一部分的显示，
其中，所述显示控制部针对每个像素以预定比率使所述更新前处理图像和所述更新后处理图像彼此相加以进行显示。
17.一种手术系统，包括：
手术成像设备，获取手术部位图像；以及
手术图像处理设备，包括：
图像处理部，通过软件将图像处理应用于所述手术部位图像；以及
显示控制部，控制应用了所述图像处理的所述手术部位图像的显示，其中，
所述图像处理部产生通过将更新所述软件之前建立的所述图像处理应用于所述手术部位图像而获取的更新前处理图像和通过将更新所述软件之后建立的所述图像处理应用于所述手术部位图像而获取的更新后处理图像，并且
所述显示控制部控制所述更新前处理图像和所述更新后处理图像中的至少一个的至少一部分的显示，
其中，所述显示控制部针对每个像素以预定比率使所述更新前处理图像和所述更新后处理图像彼此相加以进行显示。
CN201880020194.8A 2017-03-31 2018-03-16 手术图像处理设备、图像处理方法和手术系统 Active CN110536629B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017072244 2017-03-31
JP2017-072244 2017-03-31
PCT/JP2018/010391 WO2018180573A1 (ja) 2017-03-31 2018-03-16 手術用画像処理装置、画像処理方法、及び、手術システム

Publications (2)

Publication Number Publication Date
CN110536629A CN110536629A (zh) 2019-12-03
CN110536629B true CN110536629B (zh) 2022-04-15

Family

ID=63675571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880020194.8A Active CN110536629B (zh) 2017-03-31 2018-03-16 手术图像处理设备、图像处理方法和手术系统

Country Status (5)

Country Link
US (1) US11483473B2 (zh)
EP (1) EP3603479B1 (zh)
JP (1) JP7115467B2 (zh)
CN (1) CN110536629B (zh)
WO (1) WO2018180573A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7127785B2 (ja) * 2018-11-30 2022-08-30 オリンパス株式会社 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法
WO2021241695A1 (ja) 2020-05-27 2021-12-02 富士フイルム株式会社 内視鏡画像処理装置
CN113011418B (zh) * 2021-02-09 2024-02-23 杭州海康慧影科技有限公司 确定图像中待处理区域的方法、装置、设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103188561A (zh) * 2011-12-30 2013-07-03 三星电子株式会社 显示设备、升级设备、显示系统及其控制方法
WO2015105951A1 (en) * 2014-01-08 2015-07-16 Board Of Regents Of The University Of Texas System System and method for intraoperative fluorescence imaging in ambient light
CN106464849A (zh) * 2014-06-24 2017-02-22 奥林巴斯株式会社 图像处理装置、内窥镜系统以及图像处理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034775A (ja) * 1999-05-17 2001-02-09 Fuji Photo Film Co Ltd 履歴画像表示方法
JP4114035B2 (ja) 2000-12-06 2008-07-09 富士フイルム株式会社 電子カメラ
WO2006093225A1 (ja) * 2005-03-03 2006-09-08 Nikon Corporation カメラ付携帯電話および画像機器
US7747960B2 (en) * 2006-09-06 2010-06-29 Stereotaxis, Inc. Control for, and method of, operating at least two medical systems
JP2008186294A (ja) * 2007-01-30 2008-08-14 Toshiba Corp ソフトウェア更新装置及びソフトウェア更新システム
JP5464815B2 (ja) 2008-03-25 2014-04-09 オリンパスメディカルシステムズ株式会社 撮像システムおよび撮像システムのセルフチェック処理の動作方法
JP2013090194A (ja) * 2011-10-19 2013-05-13 Sony Corp サーバ装置、画像送信方法、端末装置、画像受信方法、プログラムおよび画像処理システム
JP2014138294A (ja) * 2013-01-17 2014-07-28 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9270919B2 (en) * 2013-09-24 2016-02-23 Karl Storz Imaging, Inc. Simultaneous display of two or more different sequentially processed images
CN107847289A (zh) * 2015-03-01 2018-03-27 阿里斯医疗诊断公司 现实增强的形态学手术
JP2017041831A (ja) * 2015-08-21 2017-02-23 株式会社リコー 通信システム、通信管理システム、通信管理方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103188561A (zh) * 2011-12-30 2013-07-03 三星电子株式会社 显示设备、升级设备、显示系统及其控制方法
WO2015105951A1 (en) * 2014-01-08 2015-07-16 Board Of Regents Of The University Of Texas System System and method for intraoperative fluorescence imaging in ambient light
CN106464849A (zh) * 2014-06-24 2017-02-22 奥林巴斯株式会社 图像处理装置、内窥镜系统以及图像处理方法

Also Published As

Publication number Publication date
WO2018180573A1 (ja) 2018-10-04
EP3603479A1 (en) 2020-02-05
EP3603479B1 (en) 2021-04-28
US11483473B2 (en) 2022-10-25
JPWO2018180573A1 (ja) 2020-02-06
JP7115467B2 (ja) 2022-08-09
EP3603479A4 (en) 2020-03-18
US20210112197A1 (en) 2021-04-15
CN110536629A (zh) 2019-12-03

Similar Documents

Publication Publication Date Title
JP7067467B2 (ja) 医療用情報処理装置、情報処理方法、医療用情報処理システム
CN110099599B (zh) 医学图像处理设备、医学图像处理方法和程序
CN110536629B (zh) 手术图像处理设备、图像处理方法和手术系统
US11503980B2 (en) Surgical system and surgical imaging device
US20220008156A1 (en) Surgical observation apparatus, surgical observation method, surgical light source device, and surgical light irradiation method
US11039067B2 (en) Image pickup apparatus, video signal processing apparatus, and video signal processing method
US10778889B2 (en) Image pickup apparatus, video signal processing apparatus, and video signal processing method
US11778325B2 (en) Image processing apparatus, image processing method, and image processing program
WO2017145606A1 (ja) 画像処理装置、画像処理方法及び内視鏡システム
CN112384123A (zh) 医学观察系统、医学观察设备和医学观察设备的驱动方法
WO2018043205A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
JP7456385B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US11979670B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program for blending plurality of image signals based on a peaking signal

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant