CN110709001A - 医疗系统、医疗设备和控制方法 - Google Patents

医疗系统、医疗设备和控制方法 Download PDF

Info

Publication number
CN110709001A
CN110709001A CN201880036804.3A CN201880036804A CN110709001A CN 110709001 A CN110709001 A CN 110709001A CN 201880036804 A CN201880036804 A CN 201880036804A CN 110709001 A CN110709001 A CN 110709001A
Authority
CN
China
Prior art keywords
image signal
image
unit
luminance
gradation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880036804.3A
Other languages
English (en)
Other versions
CN110709001B (zh
Inventor
宫井岳志
高桥康昭
山根真人
杉江雄生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110709001A publication Critical patent/CN110709001A/zh
Application granted granted Critical
Publication of CN110709001B publication Critical patent/CN110709001B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/018—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor for receiving instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0673—Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0428—Gradation resolution change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

[问题]需要一种能够在基于HDR图像执行图像显示时减轻用户在HDR监视器的输出图像中感知的亮度的技术。[解决方案]一种医疗系统，包括照射生物体中的关注对象的光源、与光源的光轴同轴地对关注对象成像的成像单元以及控制光源和成像单元的控制单元，其中，控制单元执行控制，使得调整由成像单元获取的第一图像信号的色调，并且输出符合高动态范围标准的信号。

Description

医疗系统、医疗设备和控制方法
技术领域
本公开涉及一种医疗系统、一种医疗设备和一种控制方法。
背景技术
近年来，内窥镜有时用于医疗实践。在使用内窥镜执行成像的情况下，通常通过从前方照射到存在于短距离内并且具有深度的主体上的照明光来执行成像。因此，用内窥镜捕捉的图像(下文中，也称为“内窥镜图像”)具有光晕可能出现在主体的前侧并且遮挡阴影可能出现在主体的后侧和主体上的阴影部分的特征。
在医疗实践中使用各种医疗设备的情况下，例如，在使用显微镜的情况下以及在使用内窥镜的情况下，也可以以类似的方式出现这种现象。作为减少这种光晕和遮挡阴影的方法，存在获取高动态范围(HDR)图像的技术，其中，获取从暗部分到明亮部分的宽亮度范围的信息(例如，参见专利文献1)。
然而，显示图像的监视器通常是能够表示比如上所述获取的HDR图像的亮度范围窄的亮度范围的监视器。在以下描述中，比HDR图像的亮度范围窄的亮度范围也将称为“标准动态范围(SDR)”。通常，代替将HDR图像本身输出到SDR监视器，在如上所述获取的HDR图像的灰度压缩并转换成SDR图像之后，SDR图像被输出到SDR监视器。然而，在这种情况下，不可能充分利用HDR图像的丰富亮度信息。
同时，近年来，已经开发了能够显示从暗部分到明亮部分的宽亮度范围的信息的HDR监视器。因此，通过以原样亮度向HDR监视器输出HDR图像，而不对如上所述获取的HDR图像执行灰度压缩，可以充分利用HDR图像的丰富亮度信息。
引用列表
专利文献
专利文献1：日本专利申请公开号2000-23183
发明内容
本发明要解决的问题
然而，另一方面，在以原样亮度在HDR监视器上显示用内窥镜获取的HDR图像的情况下，存在用户感觉到用照明光强烈照亮的前侧部分、所显示的HDR图像中通过镜面反射极其明亮的部分等的眩光的情况。此外，特别是在使用内窥镜的诊断或手术中，外科医生通过长时间连续观察这些HDR图像而感到不舒服，这可能成为实施诊断或手术的障碍。
因此，期望提供一种技术，该技术能够在使基于HDR图像在HDR监视器上显示图像的情况下，减少用户对HDR监视器的输出图像感到的眩光。
问题的解决方案
根据本公开，提供了一种医疗系统，包括：光源，其被配置为照射生物体内部的主体；成像单元，其被配置为与光源的光轴同轴地对主体成像；以及控制单元，其被配置为控制光源和成像单元，其中，控制单元执行控制，使得通过调整由成像单元获取的第一图像信号的灰度来输出符合高动态范围标准的信号。
根据本公开，提供了一种医疗设备，包括：控制单元，其被配置为执行控制，以对生物体内部的主体成像，以获取第一图像信号；基于第一图像信号，生成具有符合高动态范围标准的第一动态范围的第二图像信号；基于第一图像信号，生成最大亮度值和最小亮度值之间的差小于第一动态范围的第三图像信号；并且输出第二图像信号或第三图像信号。
根据本公开，提供了一种医疗设备，包括：控制单元，其被配置为控制照射生物体内部的主体的光源以及与光源的光轴同轴地对主体成像的成像单元，其中，控制单元执行控制，以通过调整由成像单元获取的第一图像信号的灰度来输出符合高动态范围标准的信号。
根据本公开，提供了一种控制方法，包括：控制照射生物体内部的主体的光源以及与光源的光轴同轴地对主体成像的成像单元；并且执行控制，以通过调整由成像单元获取的第一图像信号的灰度来输出符合高动态范围标准的信号。
本发明的效果
如上所述，根据本公开，提供了一种技术，该技术能够在使基于HDR图像在HDR监视器上显示图像的情况下，减少用户对HDR监视器的输出图像感到的眩光。注意，上述效果不一定是限制性的。利用或代替上述效果，可以实现本说明书中描述的任何一种效果或可以从本说明书中掌握的其他效果。
附图说明
[图1]是示出内窥镜手术系统的示意性配置的实例的示图；
[图2]是示出图1中示出的摄像头和CCU的功能配置的实例的框图；
[图3]是示意性示出使用内窥镜的情况下的成像环境的示图；
[图4]是示出用内窥镜捕捉的图像的实例的示图；
[图5]是示出在对HDR图像执行灰度压缩之后获得的SDR图像的实例的示图；
[图6]是示出在不对HDR图像执行灰度压缩的情况下输出的HDR图像本身的实例的示图；
[图7]是示出根据本公开的实施方式的设置在CCU处的控制单元的功能配置实例的框图；
[图8]是示出根据本公开的第一实施方式的控制单元的配置实例的示图；
[图9]是示出在由用户指定最大亮度值的情况下的输出图像的实例的示图；
[图10]是示出在由用户指定最大亮度值的情况下的输出图像的实例的示图；
[图11]是示出根据本公开的第二实施方式的控制单元的配置实例的示图；
[图12]是示出包括手术器械的内窥镜图像的实例的示图；
[图13]是示出基于对象识别结果执行灰度压缩之后获得的输出图像的实例的示图；
[图14]是示出根据本公开的第三实施方式的控制单元的配置实例的示图；
[图15]是示出对B信号执行灰度压缩之前和之后的内窥镜图像的实例的示图；
[图16]是示出未调整灰度的RG信号和调整灰度之后的B信号的实例的示图；
[图17]是示出根据本公开的第四实施方式的控制单元的配置实例的示图；
[图18]是示出根据相应高亮度区域调整灰度之后的输出图像的实例的示图；
[图19]是示出根据本公开的第五实施方式的控制单元的配置实例的示图；
[图20]是示出根据相应高亮度区域调整灰度之后的输出图像的实例的示图；
[图21]是示出根据本公开的第六实施方式的控制单元的配置实例的示图；
[图22]是示出根据相应亮度平均值调整灰度之后的输出图像的实例的示图；
[图23]是示出根据本公开的第七实施方式的控制单元的配置实例的示图；
[图24]是示出根据各条亮度设置信息调整灰度之后的输出图像的实例的示图；
[图25]是示出根据本公开的第八实施方式的第一实例的控制单元的配置实例的示图；
[图26]是示出对相应监视器执行灰度转换之后的输出图像的实例的示图；
[图27]是示出根据本公开的第八实施方式的第二实例的控制单元的配置实例的示图；
[图28]是示出在对SDR执行附加灰度转换之后的输出图像的实例的示图；
[图29]是示出根据本公开的第八实施方式的第三实例的控制单元的配置实例的示图；
[图30]是示出显微镜手术系统的示意性配置的实例的示图；
[图31]是示出使用图30中示出的显微镜手术系统的手术方面的示图。
具体实施方式
在下文中，将参考附图详细描述本公开的优选实施方式。注意，在本说明书和附图中，具有基本相同功能配置的结构元件用相同的附图标记表示，并且省略对这些结构元件的重复解释。
此外，在本说明书和附图中，具有基本相同或相似功能配置的多个结构元件有时在相同的附图标记之后使用不同的数字彼此区分。然而，在不需要特别区分具有基本相同或相似功能配置的多个结构元件的情况下，仅附加相同的附图标记。此外，根据不同实施方式的类似结构元件有时在相同的附图标记之后使用不同的字母彼此区分。然而，在不需要特别区分这种类似结构元件的情况下，仅附加相同的附图标记。
注意，将按以下顺序提供描述。
1.系统配置实例
2.概要
3.基本配置
4.实施方式
4.1.第一实施方式
4.2.第二实施方式
4.3.第三实施方式
4.4.第四实施方式
4.5.第五实施方式
4.6.第六实施方式
4.7.第七实施方式
4.8.第八实施方式
5.应用实例
6.结论
<<1.系统配置实例>>
首先，将参考附图描述根据本公开的实施方式的医疗系统的实例的配置实例。假设各种系统是根据本公开的实施方式的医疗系统的实例。在此处，将主要描述内窥镜手术系统的配置实例，作为根据本公开的实施方式的医疗系统的实例。
图1是示出内窥镜手术系统5000的示意性配置的实例的视图，根据本公开的实施方式的技术可以应用于内窥镜手术系统5000。在图1中，示出了外科医生(医生)5067正在使用内窥镜手术系统5000为在病床5069上的患者5071执行手术的状态。如图所示，内窥镜手术系统5000包括内窥镜5001、其他手术工具5017、在其上支撑内窥镜5001的支撑臂设备5027以及其上安装有用于内窥镜手术的各种设备的推车5037。
在内窥镜手术中，代替切开腹壁进行剖腹手术，使用称为套管针5025a至5025d的多个管状孔装置来穿刺腹壁。然后，内窥镜5001的镜筒5003和其他手术工具5017通过套管针5025a至5025d插入患者5071的体腔。在所示的实例中，作为其他手术工具5017，气腹管5019、能量装置5021和镊子5023插入患者5071的体腔中。此外，能量装置5021是用于通过高频电流或超声波振动执行组织切割和剥离、血管密封等的治疗工具。然而，所示出的手术工具5017仅仅是实例，并且作为手术工具5017，可以使用内窥镜手术中通常使用的各种手术工具，例如，镊子或牵开器。
在显示设备5041上显示由内窥镜5001成像的患者5071的体腔中的手术区域的图像。外科医生5067将使用能量装置5021或镊子5023，同时实时观察在显示设备5041上显示的手术区域的图像，以执行例如切除患部等的治疗。应当注意，尽管未示出，但是气腹管5019、能量装置5021和镊子5023在手术期间由外科医生5067、助手等支撑。
(支撑臂设备)
支撑臂设备5027包括从基座单元5029延伸的臂单元5031。在所示出的实例中，臂单元5031包括接合单元5033a、5033b和5033c以及连杆5035a和5035b，并且在臂控制设备5045的控制下驱动。内窥镜5001由臂单元5031支撑，使得控制内窥镜5001的位置和姿态。因此，可以实现在内窥镜5001的位置稳定固定。
(内窥镜)
内窥镜5001包括镜筒5003和连接到镜筒5003近端的摄像头5005，镜筒5003从其远端具有预定长度的区域，以插入患者5071的体腔。在所示出的实例中，内窥镜5001被示出为包括硬类型的具有透镜镜筒5003的所谓的刚性内窥镜。然而，内窥镜5001可以被配置为软类型的具有透镜镜筒5003的所谓的柔性内窥镜。
镜筒5003在其远端具有开口，物镜安装在该开口中。光源设备5043连接到内窥镜5001，使得光源设备5043产生的光通过在镜筒5003内部延伸的光导引入镜筒的远端，并通过物镜朝向患者5071体腔中的观察目标照射。应当注意，内窥镜5001可以是前视内窥镜，或者可以是斜视内窥镜或侧视内窥镜。
光学系统和成像元件设置在摄像头5005的内部，使得来自观察目标的反射光(观察光)通过光学系统聚集在成像元件上。观察光被成像元件光电转换，以生成对应于观察光的电信号，即对应于观察图像的图像信号。图像信号作为原始数据传输到相机控制单元(CCU)5039。应当注意，在摄像头5005中包含功能，用于适当地驱动摄像头5005的光学系统，以调整放大率和焦距。
应当注意，为了建立与例如立体视觉(三维(3D)显示器)的兼容性，可以在摄像头5005上设置多个成像元件。在这种情况下，多个中继光学系统设置在镜筒5003的内部，以便将观察光引导到多个成像元件中的每一个。
(推车中包含的各种设备)
CCU 5039包括中央处理单元(CPU)、图形处理单元(GPU)等，并且整体控制内窥镜5001和显示设备5041的操作。具体地，CCU 5039对从摄像头5005接收的图像信号执行用于基于图像信号显示图像的各种图像处理，例如，显影处理(去马赛克处理)。CCU 5039向显示设备5041提供已经执行了图像处理的图像信号。此外，CCU 5039向摄像头5005发送控制信号，以控制摄像头5005的驱动。控制信号可以包括与成像条件相关的信息，例如，放大率或焦距。
显示设备5041基于图像信号显示图像，其中，在CCU 5039的控制下，已经由CCU5039执行图像处理。如果内窥镜5001准备好用于高分辨率成像，例如，4K(水平像素数3840×垂直像素数2160)、8K(水平像素数7680×垂直像素数4320)等，和/或准备好用于3D显示，则通过其可以相应地显示高分辨率和/或3D显示的显示设备可以用作显示设备5041。当设备准备好进行高分辨率(例如，4K或8K)成像时，如果用作显示设备5041的显示设备具有不小于55英寸的尺寸，则可以获得更沉浸式的体验。此外，根据应用，还可以提供具有不同分辨率和/或不同尺寸的多个显示设备5041。
光源设备5043包括光源，例如，发光二极管(LED)，并且向内窥镜5001提供用于对手术区域成像的照射光。
臂控制设备5045包括处理器，例如，CPU，并且根据特定程序操作，以根据特定控制方法控制支撑臂设备5027的臂单元5031的驱动。
输入设备5047是内窥镜手术系统5000的输入接口。用户可以通过输入设备5047执行输入内窥镜手术系统5000的各种信息或指令的输入。例如，用户将通过输入设备5047输入与手术相关的各种信息，例如，患者的身体信息、关于手术的手术过程的信息等。此外，用户将通过输入设备5047输入例如驱动臂单元5031的指令、通过内窥镜5001改变成像条件(照射光的类型、放大率、焦距等)的指令、驱动能量装置5021的指令等。
输入设备5047的类型不受限制，并且输入设备5047可以是各种已知输入设备中的任何一种。作为输入设备5047，例如，可以应用鼠标、键盘、触摸板、开关、脚踏开关5057和/或杠杆等。当触摸板用作输入设备5047时，可以设置在显示设备5041的显示面上。
否则，输入设备5047是要安装在用户身上的装置，例如，眼镜型可佩戴装置或头戴式显示器(HMD)，并且响应于由所提及的任何装置检测到的用户的手势或视线来执行各种类型的输入。此外，输入设备5047包括能够检测用户运动的相机，并且响应于从相机成像的视频中检测到的用户的手势或视线，执行各种输入。此外，输入设备5047包括能够收集用户语音的麦克风，并且通过麦克风收集的语音来执行各种输入。通过配置输入设备5047，使得各种信息可以以这种方式以非接触方式输入，特别是属于清洁区域的用户(例如，外科医生5067)可以以非接触方式操作属于不清洁区域的设备。此外，由于用户可以操作设备，而无需从手中松开所拥有的手术工具，因此提高了用户便利性。
治疗工具控制设备5049控制能量装置5021的驱动，用于烧灼或切开组织、密封血管等。气腹设备5051通过气腹管5019将气体送入患者5071的体腔，以膨胀体腔，从而确保内窥镜5001的视野并确保外科医生的工作空间。记录器5053是能够记录与手术相关的各种信息的设备。打印机5055是能够以各种形式(例如，文本、图像或图形)打印与手术相关的各种信息的设备。
在下文中，尤其更详细地描述内窥镜手术系统5000的特征配置。
(支撑臂设备)
支撑臂设备5027包括用作基座的基座单元5029和从基座单元5029延伸的臂单元5031。在所示出的实例中，臂单元5031包括多个接合单元5033a、5033b和5033c以及通过接合单元5033b彼此连接的多个连杆5035a和5035b。在图1中，为了简化说明，臂单元5031的配置以简化形式示出。实际上，可以适当地设置接合单元5033a至5033c以及连杆5035a和5035b的形状、数量和布置以及接合单元5033a至5033c的旋转轴的方向等，使得臂单元5031具有期望的自由度。例如，臂单元5031可以优选地被配置为使得其具有不小于6个自由度的自由度。这使得可以在臂单元5031的可移动范围内自由移动内窥镜5001。因此，可以从期望的方向将内窥镜5001的镜筒5003插入患者5071的体腔。
致动器设置在接合单元5033a至5033c中的每一个中，并且接合单元5033a至5033c被配置为根据相应致动器的驱动而绕其特定旋转轴可旋转。由臂控制设备5045控制致动器的驱动，以控制每个接合单元5033a至5033c的旋转角度，从而控制臂单元5031的驱动。因此，可以实现内窥镜5001的位置和姿态的控制。此时，臂控制设备5045可以通过各种已知的控制方法，例如，力控制或位置控制，来控制臂单元5031的驱动。
例如，如果外科医生5067通过输入设备5047(包括脚踏开关5057)适当地执行操作输入，则可以由臂控制设备5045响应于操作输入适当地控制臂单元5031的驱动，以控制内窥镜5001的位置和姿势。通过刚刚描述的控制，在臂单元5031的远端处的内窥镜5001从任意位置移动到不同的任意位置之后，内窥镜5001可以固定地支撑在移动之后的位置。应当注意，臂单元5031可以主-从方式操作。在这种情况下，臂单元5031可以由用户通过放置在远离手术室的地方的输入设备5047来远程控制。
此外，在施加力控制的情况下，臂控制设备5045可以执行所谓的动力辅助控制，以驱动接合单元5033a至5033c的致动器，使得臂单元5031可以接收用户的外力并随着外力顺利移动。利用这种布置，当用户在直接触摸臂单元5031的同时移动臂单元5031时，臂单元5031可以以较弱的力移动。因此，用户可以通过更简单和更容易的操作更直观地移动内窥镜5001，并且可以提高用户便利性。
在此处，通常在内窥镜手术中，内窥镜5001由称为内窥镜操作员的医生支撑。相反，在使用支撑臂设备5027的情况下，内窥镜5001的位置可以不用手更确定地固定，并且因此，可以稳定地获得手术区域的图像，并且可以顺利地执行手术。
应当注意，臂控制设备5045可以不必设置在推车5037上。此外，臂控制设备5045可以不必是单个设备。例如，臂控制设备5045可以设置在支撑臂设备5027的臂单元5031的接合单元5033a至5033c中的每一个中，使得多个臂控制设备5045彼此协作，以实现臂单元5031的驱动控制。
(光源设备)
光源设备5043将手术区域成像时的照射光提供给内窥镜5001。光源设备5043包括白光光源，该白光光源包括例如LED、激光光源或其组合。在这种情况下，在白光源包括红、绿和蓝(RGB)激光光源的组合的情况下，由于可以针对每种颜色(每种波长)以高精度控制输出强度和输出时间，所以可以由光源设备5043执行拾取图像的白平衡的调整。此外，在这种情况下，如果来自相应RGB激光源的激光束时分地照射在观察目标上，并且与照射时间同步地控制摄像头5005的成像元件的驱动，则可以时分地拾取分别对应于R、G和B颜色的图像。根据刚刚描述的方法，即使没有为成像元件提供滤色器，也可以获得彩色图像。
此外，可以控制光源设备5043的驱动，使得要输出的光强度在每个预定时间改变。通过与光强度变化的时间同步地控制摄像头5005的成像元件的驱动，以时分地获取图像并且合成图像，可以创建没有曝光不足的遮挡阴影和曝光过度的高光的高动态范围的图像。
此外，光源设备5043可以被配置为提供预定波长带的光，以准备进行特殊光观察。在特殊光观察中，例如，通过利用身体组织中光吸收的波长依赖性来照射与普通观察时的照射光(即白光)相比更窄波长带的光，执行以高对比度对预定组织(例如，粘膜表面部分的血管等)成像的所谓窄带光观察(窄带成像)。可选地，在特殊光观察中，可以执行用于从由激发光照射生成的荧光获得图像的荧光观察。在荧光观察中，可以通过在身体组织上照射激发光来观察来自身体组织的荧光(自发荧光观察)，通过将试剂(例如，吲哚菁绿(ICG))局部注射到身体组织中并将对应于试剂的荧光波长的激发光照射到身体组织上，来获得荧光图像，等等。光源设备5043可以被配置为提供适合于如上所述的特殊光观察的窄带光和/或激发光。
(摄像头和CCU)
参考图2更详细地描述内窥镜5001的摄像头5005和CCU 5039的功能。图2是示出图1中示出的摄像头5005和CCU 5039的功能配置的实例的框图。
参考图2，摄像头5005具有作为其功能的透镜单元5007、成像单元5009、驱动单元5011、通信单元5013和摄像头控制单元5015。此外，CCU5039具有作为其功能的通信单元5059、图像处理单元5061和控制单元5063。摄像头5005和CCU 5039通过传输电缆5065连接成彼此双向通信。
首先，描述摄像头5005的功能配置。透镜单元5007是设置在摄像头5005与透镜筒5003的连接位置处的光学系统。从镜筒5003的远端吸入的观察光引入摄像头5005并进入透镜单元5007。透镜单元5007包括多个透镜的组合，包括变焦透镜和聚焦透镜。透镜单元5007具有光学特性，该光学特性被调整使得观察光聚集在成像单元5009的成像元件的光接收面上。此外，变焦透镜和聚焦透镜被配置为使得其在光轴上的位置是可移动的，用于调整拾取的图像的放大率和焦点。
成像单元5009包括成像元件，并且设置在透镜单元5007的后续级。已经穿过透镜单元5007的观察光聚集在成像元件的光接收面上，并且通过成像元件的光电转换，生成对应于观察图像的图像信号。由成像单元5009生成的图像信号提供给通信单元5013。
作为由成像单元5009包括的成像元件，使用例如互补金属氧化物半导体(CMOS)型的图像传感器，其具有拜耳阵列并且能够拾取彩色图像。应当注意，作为成像元件，可以使用成像元件，该成像元件例如准备好用于等于或不小于4K的高分辨率图像的成像。如果以高分辨率获得手术区域的图像，则外科医生5067可以更详细地了解手术区域的状态，并且可以更顺利地进行手术。
此外，由成像单元5009包括的成像元件被配置为使得其具有一对成像元件，用于获取与3D显示兼容的右眼和左眼的图像信号。在应用3D显示的情况下，外科医生5067可以更准确地了解手术区域中生物体组织的深度。应当注意，如果成像单元5009被配置为多板类型的成像单元，则对应于成像单元5009的相应成像元件设置透镜单元5007的多个系统。
此外，成像单元5009可以不必设置在摄像头5005上。例如，成像单元5009可以设置在镜筒5003内部的物镜正后方。
驱动单元5011包括致动器，并且在摄像头控制单元5015的控制下，将透镜单元5007的变焦透镜和聚焦透镜沿着光轴移动预定距离。因此，可以适当地调整由成像单元5009拾取的图像的放大率和焦点。
通信单元5013包括用于向CCU 5039发送各种信息和从CCU 5039接收各种信息的通信设备。通信单元5013通过传输电缆5065将从成像单元5009获取的图像信号作为原始数据传输到CCU 5039。此时，为了以低延迟显示手术区域的拾取图像，优选地，通过光通信传输图像信号。这是因为在手术时，外科医生5067执行手术，同时通过拾取的图像观察患部的状态，要求尽可能实时地显示手术区域的移动图像，以便以更高的安全性和确定性实现手术。在应用光通信的情况下，用于将电信号转换成光信号的光电转换模块设置在通信单元5013中。在光电转换模块将图像信号转换成光信号之后，该图像信号通过传输电缆5065传输到CCU 5039。
此外，通信单元5013从CCU 5039接收用于控制摄像头5005的驱动的控制信号。控制信号包括与图像拾取条件相关的信息，例如，指定拾取图像的帧速率的信息、指定图像拾取时曝光值的信息和/或指定拾取图像的放大率和焦点的信息。通信单元5013将接收到的控制信号提供给摄像头控制单元5015。应当注意，来自CCU 5039的控制信号也可以通过光通信传输。在这种情况下，用于将光信号转换成电信号的光电转换模块设置在通信单元5013中。在光电转换模块将控制信号转换成电信号之后，该控制信号被提供给摄像头控制单元5015。
应当注意，图像拾取条件(例如，帧率、曝光值、放大率或焦点)由CCU 5039的控制单元5063基于获取的图像信号自动设置。换言之，所谓的自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能包含在内窥镜5001中。
摄像头控制单元5015基于通过通信单元5013接收的来自CCU 5039的控制信号，来控制摄像头5005的驱动。例如，摄像头控制单元5015基于指定拾取图像的帧速率的信息和/或指定图像拾取时的曝光值的信息，来控制成像单元5009的成像元件的驱动。此外，例如，摄像头控制单元5015基于指定拾取图像的放大率和焦点的信息，来控制驱动单元5011适当地移动透镜单元5007的变焦透镜和聚焦透镜。摄像头控制单元5015还可以包括用于存储用于识别透镜筒5003和/或摄像头5005的信息的功能。
应当注意，通过将部件(例如，透镜单元5007和成像单元5009)设置在具有高气密性和防水性的密封结构中，可以为摄像头5005提供对高压灭菌过程的抵抗力。
现在，描述CCU 5039的功能配置。通信单元5059包括用于向摄像头5005发送各种信息和从摄像头5005接收各种信息的通信设备。通信单元5059通过传输电缆5065接收从摄像头5005向其传输的图像信号。此时，可以优选地通过光通信传输图像信号，如上所述。在这种情况下，为了与光通信兼容，通信单元5059包括用于将光信号转换成电信号的光电转换模块。通信单元5059将转换成电信号之后的图像信号提供给图像处理单元5061。
此外，通信单元5059向摄像头5005发送用于控制摄像头5005的驱动的控制信号。也可以通过光通信传输控制信号。
图像处理单元5061对从摄像头5005向其传输的原始数据形式的图像信号执行各种图像处理。图像处理包括各种已知的信号处理，例如，显影处理、图像质量改善处理(带宽增强处理、超分辨率处理、降噪(NR)处理、图像稳定处理和/或诸如此类)和/或放大处理(电子变焦处理)。此外，图像处理单元5061对图像信号执行检测处理，以便执行AE、AF和AWB。
图像处理单元5061包括处理器，例如，CPU或GPU，并且当处理器根据预定程序操作时，可以执行上述图像处理和检测处理。应当注意，在图像处理单元5061包括多个GPU的情况下，图像处理单元5061适当地划分与图像信号相关的信息，使得由多个GPU并行执行图像处理。
控制单元5063执行与内窥镜5001对手术区域的图像拾取和拾取图像的显示相关的各种控制。例如，控制单元5063生成用于控制摄像头5005的驱动的控制信号。此时，在用户输入成像条件的情况下，则控制单元5063基于用户的输入生成控制信号。可选地，在内窥镜5001中包含AE功能、AF功能和AWB功能的情况下，控制单元5063响应于图像处理单元5061的检测处理的结果适当地计算最佳曝光值、焦距和白平衡，并生成控制信号。
此外，控制单元5063控制显示设备5041基于图像处理单元5061已经对其执行了图像处理的图像信号来显示手术区域的图像。此时，控制单元5063使用各种图像识别技术来识别手术区域图像中的各种对象。例如，控制单元5063可以通过检测手术区域图像中包括的对象的边缘的形状、颜色等来识别手术工具，例如，镊子、特定生物体区域、出血、使用能量装置5021时的薄雾等。当控制单元5063控制显示设备5041显示手术区域图像时，控制单元5063使用识别结果使以与手术区域的图像重叠的方式显示各种手术支持信息。当手术支持信息以重叠的方式显示并呈现给外科医生5067时，外科医生5067可以更加安全和确定地进行手术。
将摄像头5005和CCU 5039彼此连接的传输电缆5065是准备用于电信号通信的电信号电缆、准备用于光通信的光纤或准备用于电和光通信的复合电缆。
在此处，虽然在所示出的实例中，通过使用传输电缆5065的有线通信执行通信，但是摄像头5005和CCU 5039之间的通信可以通过无线通信来执行。当摄像头5005和CCU 5039之间的通信通过无线通信执行时，不需要在手术室中铺设传输电缆5065。因此，可以消除传输电缆5065干扰手术室中医务人员的移动的情况。
上面已经描述了可以应用根据本公开的技术的内窥镜手术系统5000的配置实例。
<<2.概要>>
随后，将描述根据本公开的技术的概要。在医疗实践中，有时使用内窥镜。在此处，将更详细地描述使用内窥镜执行成像的情况。
图3是示意性示出使用内窥镜5001的情况下的成像环境的示图。图4是示出用内窥镜5001捕捉的图像的实例的示图。参考图3，示出了内窥镜5001和主体B11至B13。主体B11至B13存在于距内窥镜5001的短距离内，并且主体B11至B13具有深度。光LT从内窥镜5001照射到主体B11至B13上。用光LT照射的主体B11至B13由内窥镜5001成像。
以这种方式，在利用内窥镜5001执行成像的情况下，通常，主体存在于距内窥镜5001的短距离内，并且主体具有深度。因此，用内窥镜5001捕捉的图像(下文中，也称为“内窥镜图像”)具有光晕可能出现在主体的前侧的特征以及遮挡阴影可能出现在主体的后侧和主体的阴影部分的特征。在图4所示的内窥镜图像G1中，光晕出现在主体B12和主体B13的前侧，并且遮挡阴影出现在主体B12和主体B13的后侧。
在医疗实践中使用各种医疗设备的情况下，例如，在使用显微镜的情况下以及在使用内窥镜5001的情况下，也可以以类似的方式出现这种现象。作为减少这种光晕和遮挡阴影的方法，存在获取高动态范围(HDR)图像的技术，其中，获取从暗部分到明亮部分的宽亮度范围的信息。
然而，显示图像的监视器通常是能够表示比如上所述获取的HDR图像的亮度范围窄的亮度范围的监视器。在以下描述中，比HDR图像的亮度范围窄的亮度范围也将称为“标准动态范围(SDR)”。通常，代替将HDR图像本身输出到SDR监视器，在如上所述获取的HDR图像的灰度压缩并转换成SDR图像之后，SDR图像输出到SDR监视器。然而，在这种情况下，不可能充分利用HDR图像的丰富亮度信息。
图5是示出对HDR图像执行灰度压缩之后获得的SDR图像的实例的示图。图5将内窥镜在水平轴上捕捉的内窥镜图像的亮度表示为“成像亮度”。此外，图5将内窥镜图像在垂直轴上的显示亮度表示为“显示亮度”。在图5所示的实例中，作为在内窥镜图像的高亮度侧执行灰度压缩的结果，内窥镜图像的显示亮度范围落在SDR内。
同时，近年来，已经开发了一种能够在从暗部分到明亮部分的宽亮度范围内显示信息的HDR监视器。因此，通过以原样亮度向HDR监视器输出HDR图像，而不对如上所述获取的HDR图像执行灰度压缩，可以充分利用HDR图像的丰富亮度信息。
图6是示出在不对HDR图像执行灰度压缩的情况下输出的HDR图像本身的实例的示图。以类似于图5的方式，图6将内窥镜在水平轴上捕捉的内窥镜图像的亮度表示为“成像亮度”。此外，以类似于图5的方式，图6将内窥镜图像在垂直轴上的显示亮度表示为“显示亮度”。在图6所示的实例中，因为不对内窥镜图像执行灰度压缩，所以内窥镜图像的显示亮度范围变为HDR。
然而，另一方面，在以原样亮度在HDR监视器上显示用内窥镜获取的HDR图像的情况下，存在用户感觉到用照明光强烈照亮的前侧部分、所显示的HDR图像中通过镜面反射极其明亮的部分等的眩光的情况。此外，特别是在使用内窥镜的诊断或手术中，外科医生通过长时间连续观察这些HDR图像而感到不舒服，这可能成为实施诊断或手术的障碍。
此外，存在这样的情况，即，作为亮显示部分增加的结果，暗部分的可见度相对降低。此外，在多个监视器连接到内窥镜并且SDR监视器和HDR监视器在多个监视器之间混合的情况下，即使输出到HDR监视器以便符合HDR监视器的信号原样输出到SDR监视器，也不会在SDR监视器上显示适当的图像。
因此，在本说明书中，将主要提出自适应地将HDR图像转换成适当的输出图像并将该图像输出到HDR监视器的技术。更具体地，在本说明书中，将提出一种技术，该技术能够在使基于HDR图像在HDR监视器上显示图像的情况下，减少用户对HDR监视器的输出图像感到的眩光。
此外，在本说明书中，将提出一种技术，该技术通过HDR监视器提高用户对输出图像的从暗部分到明亮部分的部分的可见性。此外，在本说明书中，将提出一种将适当的输出图像输出到要连接到内窥镜的监视器的技术。
上面已经描述了根据本公开的技术的概要。
<<3.基本配置>>
随后，将描述根据本公开的实施方式的设置在CCU处的控制单元的配置实例。图7是示出根据本公开的实施方式的设置在CCU处的控制单元的功能配置实例的框图。如图7所示，根据本公开的实施方式的设置在CCU处的控制单元20包括HDR图像生成单元21和灰度转换单元22。成像单元10连接到HDR图像生成单元21。HDR显示单元(HDR监视器)30-1连接到灰度转换单元22。
包括图像传感器的成像单元10使用图像传感器对主体成像。更详细地，光由未示出的光源照射到生物体内部的主体上，并且成像单元10与未示出的光源的光轴同轴地对主体成像。例如，未示出的光源可以对应于图1所示的光源设备5043。此外，成像单元10使用图像传感器获取主体的亮度，作为像素值信息。成像单元10可以对应于图2所示的成像单元5009。注意，图像传感器可以包括3CCD成像元件。
控制单元20控制未示出的光源。此外，控制单元20控制成像单元10和HDR显示单元30-1。注意，图7所示的控制单元20可以对应于图2所示的控制单元5063。
HDR图像生成单元21使用由成像单元10获得的像素值信息生成HDR图像。在此处，可以用各种方式定义HDR图像。例如，HDR图像只需要是符合HDR标准的信号。更具体地，符合HDR标准的信号可以是支持混合对数伽马(HLG)的信号，或者可以是支持感知量化(PQ)的信号。
可选地，如果图像的亮度范围等于或高于预定亮度，则图像可以被视为HDR图像。在此处，预定亮度具体可以是任何值。例如，如果图像的亮度范围等于或大于1000[cd/m2]，则图像可以被视为HDR图像。
显示图像的监视器通常是能够表示比如上所述获取的HDR图像的亮度范围窄的亮度范围的监视器。在以下描述中，比HDR图像的亮度范围窄的亮度范围也将称为“标准动态范围(SDR)”。通常，代替将HDR图像本身输出到SDR监视器，在如上所述获取的HDR图像的灰度压缩并转换成SDR图像之后，SDR图像输出到SDR监视器。然而，在这种情况下，不可能充分利用HDR图像的丰富亮度信息。
图5是示出在对HDR图像执行灰度压缩之后获得的SDR图像的实例的示图。图5将内窥镜在水平轴上捕捉的内窥镜图像的亮度表示为“成像亮度”。此外，图5将内窥镜图像在垂直轴上的显示亮度表示为“显示亮度”。在图5所示的实例中，作为在内窥镜图像的高亮度侧执行灰度压缩的结果，内窥镜图像的显示亮度范围落在SDR内。
生成HDR图像的方法没有特别限制。例如，作为用于生成HDR图像的方法，还可以采用通过曝光随时间交替改变来获取亮图像和暗图像并且合成图像的方法，或者采用将具有不同曝光的亮像素和暗像素设置在图像传感器上并且合成像素的方法。
注意，在本公开的实施方式中，将主要描述HDR图像生成单元21使用由图像传感器获得的像素值信息生成HDR图像的情况。然而，在图像传感器可以从开始获取HDR图像(从暗部分到明亮部分的宽亮度信息)的情况下，不需要HDR图像生成单元21，并且灰度转换单元22可以原样使用图像传感器获得的像素值信息。
灰度转换单元22调整由HDR图像生成单元21获得的HDR图像(第一图像信号)的灰度。作为灰度转换单元22调整灰度的结果，HDR图像生成单元21获得的HDR图像转换成输出图像。输出图像也是符合HDR标准的图像(HDR图像)。灰度转换单元22执行控制，使得通过将符合HDR标准的输出图像输出到HDR显示单元30-1，在HDR显示单元30-1上显示符合HDR标准的输出图像。
根据这种配置，在使基于HDR图像在HDR显示单元30-1上显示图像的情况下，调整灰度之后的HDR图像输出到HDR显示单元30-1。因此，可以减少用户对HDR显示单元30-1的输出图像感到的眩光。
例如，如图7所示，灰度转换单元22基于各种信息调整由HDR图像生成单元21获得的HDR图像(第一图像信号)的灰度。在此处，将在下面将描述的相应实施方式中具体描述各种信息。
HDR显示单元30-1包括可以显示HDR图像的显示器(即，HDR显示单元30-1包括符合HDR标准的显示器)。HDR显示单元30-1在灰度转换单元22调整灰度之后输出(显示)HDR图像(输出图像)。
上面已经描述了根据本公开的实施方式的设置在CCU处的控制单元的配置实例。
<<4.相应实施方式>>
将在下面描述假设上述“3.基本配置”中描述的控制单元的配置实例的相应实施方式。
<4-1.第一实施方式>
首先将描述本公开的第一实施方式。
图8是示出根据本公开的第一实施方式的控制单元20-1的配置实例的示图。如图8所示，根据本公开的第一实施方式的控制单元20-1与图7所示的控制单元20的不同之处在于，设置亮度输入单元23，并且设置灰度转换单元22-1来代替灰度转换单元22。因此，在以下描述中，将主要在根据本公开的第一实施方式的控制单元20-1中描述亮度输入单元23和灰度转换单元22-1，并且将省略对其他配置的详细描述。
在此处，在显示内窥镜图像的情况下，与显示用于观看例如电视节目的图像的情况不同，存在以下情况，即，重要的是，显示即使用户长时间观看图像也不会使用户因眩光而不舒服的图像，而不是真正表达亮度。因此，在本公开的第一实施方式中，当使在HDR显示单元30-1上显示输出图像时，允许用户指定关于亮度的信息，以防止用户感到不舒服，即使用户长时间观看输出图像。在此处，作为关于亮度的信息的实例，将描述可以指定最大亮度值(图像信号的最大亮度值)的情况。
亮度输入单元23接受用户指定的最大亮度值。例如，由用户指定的最大亮度值的输入可以被图1所示的输入设备5047直接接受，并且其输入被输入设备5047接受的最大亮度值可以被亮度输入单元23接受。虽然在此处假设三个阶段(“高”、“中”和“低”)中的一个被选择作为最大亮度值的情况，但是最大亮度值可以从任意数量的选项中指定，或者可以直接用数值指定。
灰度转换单元22-1基于用户指定的最大亮度值来调整HDR图像生成单元21获得的HDR图像(第一图像信号)的灰度。
图9和图10是分别示出在由用户指定最大亮度值的情况下的输出图像的实例的示图。参考图9，作为用户指定的最大亮度值的实例，呈现了“最大亮度指定值A”(＝第一亮度值)。灰度转换单元22-1调整HDR图像(第一图像信号)的灰度，使得HDR图像生成单元21获得的HDR图像(第一图像信号)的所有亮度(亮度值)等于或小于该“最大亮度指定值A”。例如，如图9所示，灰度转换单元22-1压缩HDR图像(第一图像信号)的灰度，以便柔和。
在此处，灰度转换单元22-1优选地仅压缩HDR图像(第一图像信号)的明亮部分，而不压缩整个HDR图像(第一图像信号)的灰度。即，灰度转换单元22-1优选地调整灰度，使得对于HDR图像(第一图像信号)中大于第二亮度值的像素信号，亮度值等于或小于“最大亮度指定值A”，并且不优选地调整亮度值等于或小于第二亮度值的像素信号的灰度。利用这种设置，可以仅降低用户将感到眩光的极其明亮部分的亮度，而不改变正常明亮部分的外观。
参考图10，作为用户指定的最大亮度值的实例，呈现了比图9中所示的“最大亮度指定值A”小的“最大亮度指定值B”。同样在这种情况下，灰度转换单元22-1调整HDR图像的灰度，使得由HDR图像生成单元21获得的整个HDR图像的亮度(亮度值)等于或小于该“最大亮度指定值B”。
同样在这种情况下，灰度转换单元22-1优选地仅压缩HDR图像的明亮部分，而不压缩整个HDR图像的灰度。即，灰度转换单元22-1优选地调整灰度，使得亮度值等于或小于HDR图像中大于第二亮度值的像素信号的“最大亮度指定值B”，并且不优选地调整亮度值等于或小于第二亮度值的像素信号的灰度。
注意，在此处，允许用户指定最大亮度值的情况已经被描述为关于亮度的信息的实例。然而，关于亮度的信息不限于最大亮度值。
例如，作为关于亮度的信息的实例，还可以允许用户指定最小亮度值(图像信号的最小亮度值)。在这种情况下，灰度转换单元22-1仅需要基于用户指定的最小亮度值来调整由HDR图像生成单元21获得的HDR图像(第一图像信号)的灰度。
可选地，作为关于亮度的信息的实例，也可以允许用户指定图像信号的灰度调整率。在这种情况下，灰度转换单元22-1仅需要基于用户指定的灰度调整率来调整由HDR图像生成单元21获得的HDR图像(第一图像信号)的灰度。
此外，灰度转换单元22-1可以基于由用户指定的观察模式信息来代替关于由用户指定的亮度的信息，来调整由HDR图像生成单元21获得的HDR图像(第一图像信号)的灰度。例如，观察模式可以从特殊光观察模式(例如，红外光观察模式和窄带光观察模式)和正常光观察模式中选择。
例如，在用户指定特殊光观察模式的情况下，灰度转换单元22-1可以比在用户指定正常光观察模式的情况下更强烈地对HDR图像(第一图像信号)执行灰度压缩。在上述实例中，图10所示的灰度压缩比图9所示的灰度压缩更强烈。此外，在用户没有指定观察模式的情况下，灰度转换单元22-1不必对HDR图像(第一图像信号)执行灰度压缩。
上面已经描述了本公开的第一实施方式。
<4-2.第二实施方式>
随后，将描述本公开的第二实施方式。
图11是示出根据本公开的第二实施方式的控制单元20-2的配置实例的示图。如图11所示，根据本公开的第二实施方式的控制单元20-2与图7所示的控制单元20的不同之处在于，设置了对象识别单元24，并且设置了灰度转换单元22-2来代替灰度转换单元22。因此，在以下描述中，将主要在根据本公开的第二实施方式的控制单元20-2中描述对象识别单元24和灰度转换单元22-2，并且将省略对其他配置的详细描述。
在此处，内窥镜图像中的对象包括最好真实表达亮度的对象和不需要真实表达亮度的对象。例如，希望真实再现体内器官的亮度，以便用户能够正确识别器官的状态。同时，不需要真正再现手术器械的亮度。特别地，金属外科器械具有高反射率，这变成极高的亮度并导致眼睛疲劳。因此，在第二实施方式中，将描述识别内窥镜图像中的对象并且基于识别结果转换HDR图像的灰度的情况。
对象识别单元24对HDR图像生成单元21获得的HDR图像(第一图像信号)执行对象识别。图12是示出包括手术器械的内窥镜图像的实例的示图。参考图12，作为手术器械B21的实例，镊子在内窥镜图像G2中。此外，器官B22在内窥镜图像G2中。由对象识别单元24识别手术器械B21和器官B22。
灰度转换单元22-2基于对象识别单元24的对象识别结果来确定要调整灰度的区域(第一区域)，并且执行控制，以调整包括在要调整灰度的区域中的像素信号的灰度，并且不调整包括在除了要调整灰度的区域之外的区域中的像素信号的灰度。例如，灰度转换单元22-2基于对象识别单元24的对象识别结果指定包括面罩、手术工具、纱布、薄雾或身体组织的区域(第二区域)，并且基于第二区域确定要调整灰度的区域。
图13是示出基于对象识别结果执行灰度压缩之后获得的输出图像的实例的示图。在图12所示的实例中，手术器械B21和器官B22由对象识别单元24识别。灰度转换单元22-2可以基于手术器械B21的识别结果指定手术器械区域，并且可以将手术器械区域确定为要调整灰度的区域。可选地，灰度转换单元22-2可以基于器官B22的识别结果指定器官区域，并且可以将除器官区域之外的区域确定为要调整灰度的区域。
参考图13，未压缩包括在器官区域中的图像信号的灰度，并且压缩包括在手术器械区域中的图像信号的灰度。灰度转换单元22-2调整图像信号的灰度，使得手术器械区域中包括的图像信号的亮度(亮度值)等于或小于“最大亮度极限值”。尽管在图13所示的实例中，“最大亮度极限值”设置在HDR的范围内，但是最大亮度极限值可以设置在SDR的范围内。
注意，虽然在此处描述了手术器械被识别为手术工具的实例的实例，但是也可以存在识别面罩、纱布、薄雾等的情况。因为假设面罩、纱布等与金属外科器械相比不太可能明亮，所以面罩或纱布区域中包括的图像信号比金属外科器械区域中包括的图像信号更弱地经受灰度压缩会更好。同时，因为薄雾的亮度可以根据形成薄雾的颗粒的尺寸而变化，所以包含在薄雾区域中的图像信号的灰度压缩的强度取决于形成薄雾的颗粒的尺寸会更好。
上面已经描述了本公开的第二实施方式。
<4-3.第三实施方式>
随后，将描述本公开的第三实施方式。
图14是示出根据本公开的第三实施方式的控制单元20-3的配置实例的示图。如图14所示，根据本公开的第三实施方式的控制单元20-3与图7所示的控制单元20的不同之处在于，设置了R和G灰度转换单元22-3a和B灰度转换单元22-3b来代替灰度转换单元22。因此，在以下描述中，在根据本公开的第三实施方式的控制单元20-3中，将主要描述R和G灰度转换单元22-3a和B灰度转换单元22-3b，并且将省略对其他配置的详细描述。
在此处，对于波长为380nm至500nm的光，人的眼睛易于感到眩光。这个波长是蓝色区域。因此，在第三实施方式中，将描述通过使内窥镜图像的高亮度部分中的蓝色分量比其他颜色更暗来使得用户不太可能感到眩光的情况。
B灰度转换单元22-3b调整由HDR图像生成单元21获得的HDR图像(第一图像信号)中特定颜色的像素信号的灰度。更具体地，B灰度转换单元22-3b对构成HDR图像(第一图像信号)的红(R)、绿(G)和蓝(B)这三种颜色分量中的B信号执行灰度压缩。
R和G灰度转换单元22-3a对除特定颜色之外的颜色的像素信号执行灰度压缩，比由B灰度转换单元22-3b对特定颜色的图像信号执行的灰度压缩更弱，或者不调整除特定颜色之外的颜色的像素信号的灰度。更具体地，在构成HDR图像(第一图像信号)的红(R)、绿(G)和蓝(B)三种颜色分量中，R和G灰度转换单元22-3a对R信号和G信号执行灰度压缩，比对B信号执行的灰度压缩更弱，或者不对R信号和G信号执行灰度压缩。
图15是示出对B信号执行灰度压缩之前和之后的内窥镜图像的实例的示图。内窥镜图像G31是对B信号执行灰度压缩之前的内窥镜图像。内窥镜图像G32是对B信号执行灰度压缩之后的内窥镜图像。
与对B信号执行灰度压缩之前的内窥镜图像相比，对B信号执行灰度压缩之后的内窥镜图像由于眩光减少而成为眼睛友好的图像，尽管没有真正再现颜色。
图16是示出未调整灰度的RG信号和调整灰度之后的B信号的实例的示图。如图16所示，通过对B信号执行灰度压缩，与对B信号执行灰度压缩之前的图像相比，高亮度蓝色分量的眩光减少。
上面已经描述了本公开的第三实施方式。
<4-4.第四实施方式>
随后，将描述本公开的第四实施方式。
图17是示出根据本公开的第四实施方式的控制单元20-4的配置实例的示图。如图17所示，根据本公开的第四实施方式的控制单元20-4与图7所示的控制单元20的不同之处在于，设置高亮度区域计算单元25，并且设置灰度转换单元22-4来代替灰度转换单元22。因此，在以下描述中，将主要在根据本公开的第四实施方式的控制单元20-4中描述高亮度区域计算单元25和灰度转换单元22-4，并且将省略对其他配置的详细描述。
在此处，当图像中极其明亮区域的面积较大时，人的眼睛更容易感到眩光。因此，在本公开的第四实施方式中，将描述计算内窥镜图像中极其明亮的区域，并且基于计算结果调整内窥镜图像的灰度的情况。更具体地，在本公开的第四实施方式中，将主要描述计算内窥镜图像中极其明亮区域的面积并且执行根据计算的面积控制最大亮度值的灰度调整的情况。
高亮度区域计算单元25计算由HDR图像生成单元21获得的HDR图像(第一图像信号)中极其明亮部分的区域。作为计算极其明亮部分的面积的方法，例如，可以采用计算亮度值大于某个阈值(第二亮度值)的像素数的方法。在下面的描述中，亮度值大于某个阈值(第二亮度值)的像素数量也将简单地称为“高亮度区域”。
灰度转换单元22-4基于由HDR图像生成单元21获得的HDR图像(第一图像信号)中亮度大于第二亮度值的像素来调整HDR图像(第一图像信号)的灰度。更具体地，灰度转换单元22-4基于HDR图像(第一图像信号)中亮度大于第二亮度值的像素数量来确定最大亮度值(第一亮度值)，并且调整灰度，使得HDR图像(第一图像信号)的所有像素信号的亮度值等于或小于最大亮度值。
图18是示出根据相应高亮度区域调整灰度之后的输出图像的实例的示图。参考图18，示出了分别对应于“小”、“中”和“大”的高亮度区域的输出图像的实例。如“中”和“大”的高亮度区域所示，灰度转换单元22-4通过降低最大亮度值，更强烈地执行灰度压缩，以随着高亮度区域更大而减少眩光，这将是更好的。此外，如“小”的高亮度区域所示，在高亮度区域小于特定区域的情况下，灰度转换单元22-4不必执行灰度压缩。
上面已经描述了本公开的第四实施方式。
<4-5.第五实施方式>
随后，将描述本公开的第五实施方式。
图19是示出根据本公开的第五实施方式的控制单元20-5的配置实例的示图。如图19所示，根据本公开的第五实施方式的控制单元20-5与图17所示的控制单元20-4的不同之处在于，设置灰度转换单元22-5来代替灰度转换单元22-4。因此，在以下描述中，将主要在根据本公开的第五实施方式的控制单元20-5中描述灰度转换单元22-5，并且将省略对其他配置的详细描述。
人类的眼睛具有这样的特征：当眼睛看着极其明亮部分时，瞳孔是闭着的，因此很容易看到明亮部分，而很难看到暗部分。通过这种方式，如果在用内窥镜捕捉的HDR图像中存在多个极其明亮部分，则观看图像的用户的瞳孔有可能是闭着的，并且难以看到图像中的暗部分。因此，在本公开的第五实施方式中，将主要描述计算内窥镜图像中极其明亮区域的面积并且根据计算的面积执行使得更容易看到暗部分的灰度调整的情况。
在HDR图像生成单元21获得的HDR图像(第一图像信号)中亮度大于第二亮度值的像素数量大于预定数量的情况下，灰度转换单元22-5使得HDR图像(第一图像信号)中亮度小于第三亮度值的像素信号的亮度更大。
图20是示出根据相应高亮度区域执行灰度调整之后的输出图像的实例的示图。参考图20，给出了分别对应于“小”、“大”的高亮度区域的输出图像的实例。“大”的高亮度区域对应于亮度大于第二亮度值的像素数量大于预定数量的情况。在这种情况下，灰度转换单元22-5使得HDR图像(第一图像信号)中亮度小于第三亮度值的像素信号的亮度更大。同时，“小”的高亮度区域对应于亮度大于第二亮度值的像素数量等于或小于预定数量的情况。在这种情况下，灰度转换单元22-5不必改变HDR图像(第一图像信号)的亮度。
注意，灰度转换单元22-5可以改变暗部分的亮度，从而防止暗部分的亮度根据内窥镜图像中高亮度区域的时间变化而急剧改变。即，灰度转换单元22-5可以限制暗部分的亮度变化量，使得暗部分的亮度在时间方向上平缓地变化。
例如，灰度转换单元22-5可以使用相同的调整量使亮度小于第三亮度值的像素信号的亮度更大。这种情况下的调整量可以基于假设的高亮度区域的平均量来确定。
此外，根据HDR图像(第一图像信号)的亮度值指示预定范围内的值的周期(第一周期)，灰度转换单元22-5可以确定HDR图像(第一图像信号)的亮度值保持在对应于包括在预定范围内的值的亮度的周期(第二周期)。例如，随着HDR图像(第一图像信号)的亮度值指示预定范围内的值的周期(第一周期)更长，灰度转换单元22-5可以确定HDR图像(第一图像信号)的亮度值保持在对应于包括在预定范围内的值的亮度的周期(第二周期)更长。
上面已经描述了本公开的第五实施方式。
<4-6.第六实施方式>
随后，将描述本公开的第六实施方式。
图21是示出根据本公开的第六实施方式的控制单元20-6的配置实例的示图。如图21所示，根据本公开的第六实施方式的控制单元20-6与图7所示的控制单元20的不同之处在于，设置亮度平均值计算单元26，并且设置灰度转换单元22-6来代替灰度转换单元22。因此，在以下描述中，将主要在根据本公开的第六实施方式的控制单元20-6中描述灰度转换单元22-6，并且将省略对其他配置的详细描述。
在本公开的第四实施方式中，已经描述了计算内窥镜图像中极其明亮区域的面积并且执行根据计算的面积控制最大亮度值的灰度调整的情况。此外，在本公开的第五实施方式中，已经描述了计算内窥镜图像中极其明亮区域的面积并且执行根据计算的面积使得更容易看到暗部分的灰度调整的情况。
在本公开的第六实施方式中，将主要描述使用“亮度平均值”代替在本公开的第四实施方式和第五实施方式中使用的“极亮区域(高亮度区域)”的情况。
亮度平均值计算单元26计算由HDR图像生成单元21获得的构成HDR图像(第一图像信号)的相应像素信号的亮度平均值。注意，虽然将主要假设计算构成HDR图像(第一图像信号)的相应像素信号的亮度平均值的情况，但是亮度平均值计算单元26可以计算相加值来代替平均值。在这种情况下，可以在灰度转换单元22-6处利用相加值来代替平均值。
灰度转换单元22-6基于由HDR图像生成单元21获得的构成HDR图像(第一图像信号)的相应像素信号的亮度平均值来确定灰度的调整程度或要调整灰度的区域，并且基于所确定的灰度调整程度或要调整灰度的所确定的区域来调整HDR图像(第一图像信号)的灰度。
图22是示出根据相应亮度平均值调整灰度之后的输出图像的实例的示图。参考图22，示出了分别对应于“小”和“大”的平均亮度值的输出图像的实例。灰度转换单元22-6最好强烈地执行灰度压缩，以通过使最大亮度值随着平均亮度值的增大而减小眩光。此外，如亮度平均值“小”所示，在平均亮度值小于某一亮度值的情况下，灰度转换单元22-6不必执行灰度压缩。
注意，虽然在此处假设调整了HDR图像(第一图像信号)的所有像素信号的亮度值的情况，但是要调整灰度的区域不必是HDR图像(第一图像信号)的所有像素，并且可以是HDR图像(第一图像信号)的一部分的像素。在这种情况下，要调整灰度的区域可以被固定地确定为HDR图像(第一图像信号)中的预定区域(例如，中心区域)。
灰度转换单元22-6可以基于构成HDR图像(第一图像信号)的相应像素信号的亮度平均值来确定要调整灰度的区域，并且可以基于要调整灰度的所确定的区域来调整HDR图像(第一图像信号)的灰度。例如，灰度转换单元22-6可以确定要调整灰度的较窄区域，因为相应像素信号的亮度平均值较小。
上面已经描述了本公开的第六实施方式。
<4-7.第七实施方式>
随后，将描述本公开的第七实施方式。
图23是示出根据本公开的第七实施方式的控制单元20-7的配置实例的示图。如图23所示，根据本公开的第七实施方式的控制单元20-7与图7所示的控制单元20的不同之处在于，设置灰度转换单元22-7来代替灰度转换单元22。因此，在以下描述中，将主要在根据本公开的第七实施方式的控制单元20-7中描述灰度转换单元22-7，并且将省略对其他配置的详细描述。
在此处，在HDR显示单元30-1处显示的输出图像的亮度根据HDR显示单元30-1的亮度设置信息而变化。例如，随着HDR显示单元30-1的亮度被设置得更高，在HDR显示单元30-1处显示的内窥镜图像的明亮部分增加，并且用户更可能感到眩光。因此，在本公开的第七实施方式中，将主要描述基于HDR显示单元30-1的亮度设置信息执行用于减少眩光的灰度调整的情况。
灰度转换单元22-7获取HDR显示单元30-1的亮度设置信息，并基于HDR显示单元30-1的亮度设置信息调整HDR图像(第一图像信号)的灰度。更具体地，随着HDR显示单元30-1的亮度设置更亮，灰度转换单元22-7从亮度更小的区域开始灰度压缩，这将是更好的。注意，如图23所示，在HDR显示单元30-1基于为HDR显示单元30-1设置的亮度设置信息进行操作的情况下，灰度转换单元22-7仅需要从HDR显示单元30-1获取亮度设置信息。
图24是示出根据各条亮度设置信息调整灰度之后的输出图像的实例的示图。参考图24，示出了分别对应于“亮”、“中”和“暗”的亮度设置的输出图像的实例。如亮度设置“亮”和“中”所示，随着亮度设置更亮，灰度转换单元22-7从亮度越小的区域开始灰度压缩，这将是更好的。此外，如亮度设置“暗”所示，在亮度设置比预定亮度暗的情况下，灰度转换单元22-7不必执行灰度压缩。
上面已经描述了本公开的第七实施方式。
<4-8.第八实施方式>
随后，将描述本公开的第八实施方式。
图25是示出根据本公开的第八实施方式的第一实例的控制单元20-8的配置实例的示图。如图25所示，根据本公开的第八实施方式的第一实例的控制单元20-8与图7所示的控制单元20的不同之处在于，设置HDR监视器灰度转换单元22-8a和SDR监视器灰度转换单元22-8b来代替灰度转换单元22。因此，在以下描述中，在根据本公开的第八实施方式的第一实例的控制单元20-8中，将主要描述HDR监视器灰度转换单元22-8a和SDR监视器灰度转换单元22-8b，并且将省略其他配置的详细描述。
在此处，存在这样的情况：即使用户通过其观看内窥镜图像的主监视器是HDR监视器(HDR显示单元30-1)，SDR监视器(SDR显示单元30-2)也作为其他子监视器连接到控制单元20-8。在这种情况下，即使与调整灰度以符合HDR监视器的图像相同的图像输出到SDR监视器，适当的图像也不会显示在SDR监视器上。因此，在本公开的第八实施方式的第一实例中，将主要描述灰度调整根据要连接到控制单元20-8的监视器的类型而改变的情况。
在第一实例中，控制单元20-8包括用于每个监视器的灰度转换单元。连接到HDR显示单元30-1的HDR监视器灰度转换单元22-8a基于HDR图像生成单元21获得的HDR图像(第一图像信号)生成具有符合高动态范围标准的第一动态范围的HDR图像(第二图像信号)。
在这种情况下，HDR监视器灰度转换单元22-8a可以对HDR监视器执行灰度压缩，或者不必对HDR图像生成单元21获得的HDR图像(第一图像信号)执行灰度压缩，如在上述相应实施方式中已经描述的。HDR监视器灰度转换单元22-8a控制HDR显示单元30-1，以便输出生成的HDR图像(第二图像信号)。
连接到SDR显示单元30-2的SDR监视器灰度转换单元22-8b基于由HDR图像生成单元21获得的HDR图像(第一图像信号)，生成最大亮度值和最小亮度值之间的差异小于第一动态范围的SDR图像(第三图像信号)。
在这种情况下，SDR监视器灰度转换单元22-8b对HDR图像生成单元21获得的HDR图像(第一图像信号)执行灰度压缩，使得最大亮度值落在SDR内。SDR监视器灰度转换单元22-8b控制SDR显示单元30-2，以便输出生成的SDR图像(第三图像信号)。
图26是示出对相应监视器执行灰度转换之后的输出图像的实例的示图。参考图26，示出了执行HDR灰度转换之后的输出图像和执行SDR灰度转换之后的输出图像的实例。在图26所示的实例中，如本公开的第一实施方式中已经描述的，最大亮度值被指定为HDR灰度转换中的“最大亮度指定值”。
图27是示出根据本公开的第八实施方式的第二实例的控制单元20-9的配置实例的示图。如图27所示，根据本公开的第八实施方式的第二实例的控制单元20-9与图7所示的控制单元20的不同之处在于，设置HDR监视器灰度转换单元22-9a和SDR监视器附加灰度转换单元22-9b来代替灰度转换单元22。因此，在以下描述中，在根据本公开的第八实施方式的第二实例的控制单元20-9中，将主要描述灰度转换单元22-9a和SDR监视器附加灰度转换单元22-9b，并且将省略其他配置的详细描述。
同样在本公开的第八实施方式的第二实例中，将主要描述灰度调整根据要连接到控制单元20-9的监视器的类型而改变的情况。连接到HDR显示单元30-1的灰度转换单元22-9a基于HDR图像生成单元21获得的HDR图像(第一图像信号)，生成具有符合高动态范围标准的第一动态范围的HDR图像(第二图像信号)。
在这种情况下，灰度转换单元22-9a可以对HDR监视器执行灰度压缩，或者不必对HDR图像生成单元21获得的HDR图像(第一图像信号)执行灰度压缩，如在上述相应实施方式中已经描述的。灰度转换单元22-9a控制HDR显示单元30-1，以便输出生成的HDR图像(第二图像信号)。此外，灰度转换单元22-9a还将生成的HDR图像(第二图像信号)输出到SDR监视器附加灰度转换单元22-9b。
连接到SDR显示单元30-2的SDR监视器附加灰度转换单元22-9b基于灰度转换单元22-9a生成的HDR图像(第二图像信号)，生成最大亮度值和最小亮度值之间的差异小于HDR图像(第二图像信号)的动态范围(第一动态范围)的SDR图像(第三图像信号)。
在这种情况下，SDR监视器附加灰度转换单元22-9b对灰度转换单元22-9a生成的HDR图像(第二图像信号)执行灰度压缩，使得最大亮度值落在SDR内。SDR监视器附加灰度转换单元22-9b控制SDR显示单元30-2，以便输出生成的SDR图像(第三图像信号)。
图28是示出在对SDR执行附加灰度转换之后的输出图像的实例的示图。参考图28，由灰度转换单元22-9a生成的HDR图像(第二图像信号)的亮度表示为“输入亮度”，并且在对SDR执行附加灰度转换之后的输出图像的亮度表示为“显示亮度”。如图28所示，SDR监视器附加灰度转换单元22-9b对灰度转换单元22-9a生成的HDR图像(第二图像信号)执行灰度压缩，使得最大亮度值落在SDR内。
图29是示出根据本公开的第八实施方式的第三实例的控制单元20-10的配置实例的示图。如图29所示，根据本公开的第八实施方式的第三实例的控制单元20-10与图7所示的控制单元20的不同之处在于，设置灰度转换单元22-10a和SDR记录附加灰度转换单元22-10代替灰度转换单元22。因此，在以下描述中，在根据本公开的第八实施方式的第三实例的控制单元20-10中，将主要描述灰度转换单元22-10a和SDR记录附加灰度转换单元22-10b，并且将省略其他配置的详细描述。
在此处，存在记录器连接到控制单元20-10的情况。如图29所示，在连接到控制单元20-1的记录器是用于SDR的记录器(SDR记录单元40)的情况下，以与本公开的第八实施方式的第二实例中所示的SDR显示单元30-2连接到控制单元20-8的情况类似的方式，用于SDR记录的附加灰度转换仅需要由SDR记录附加灰度转换单元20-10b执行(SDR记录附加灰度转换单元22-10b仅需要具有与图27所示的SDR监视器附加灰度转换单元22-9b类似的功能)。注意，灰度转换单元22-10a也仅需要具有与图27所示的灰度转换单元22-9a类似的功能。
上面已经描述了本公开的第八实施方式。
<<5.应用实例>>
上面已经描述了可以应用根据本公开实施方式的技术的内窥镜手术系统5000的实例。在此处应当注意，尽管内窥镜手术系统5000已经被描述为实例，但是根据本公开实施方式的技术可以应用到的系统不限于该实例。例如，根据本公开实施方式的技术可以应用于用于检查的柔性内窥镜系统或显微镜手术系统。在下文中，将描述根据本公开的技术可以应用到的内窥镜手术系统。
图30是示出显微镜手术系统5300的示意性配置的实例的视图，根据本公开实施方式的技术可以应用于显微镜手术系统5300。参考图30，显微镜手术系统5300包括显微镜设备5301、控制设备5317和显示设备5319。应当注意，在显微镜手术系统5300的描述中，术语“用户”表示使用显微镜手术系统5300的任意一个医务人员，例如，外科医生或助手。
显微镜设备5301具有用于扩大观察目标(患者的手术区域)以进行观察的显微镜单元5303、在其远端支撑显微镜单元5303的臂单元5309以及支撑臂单元5309的近端的基座单元5315。
显微镜单元5303包括大致圆柱形的圆柱形部分5305、设置在圆柱形部分5305内部的成像单元(未示出)以及设置在圆柱形部分5305的外圆周的部分区域中的操作单元5307。显微镜单元5303是电子成像类型的显微镜单元(所谓视频类型的显微镜单元)，其通过成像单元电子拾取图像。
用于保护内部成像单元的盖玻璃构件设置在圆柱形部分5305下端的开口面处。来自观察目标的光(在下文中，也称为观察光)穿过盖玻璃构件并进入圆柱部分5305内部的成像单元。应当注意，包括例如发光二极管(LED)等的光源可以设置在圆柱形部分5305的内部，并且在图像拾取时，光可以通过盖玻璃构件从光源照射到观察目标上。
成像单元包括会聚观察光的光学系统和接收由光学系统会聚的观察光的成像元件。该光学系统包括多个透镜的组合，包括变焦透镜和聚焦透镜。该光学系统调整光学特性，使得观察光会聚，以在成像元件的光接收面上形成图像。成像元件接收并光电转换观察光，以生成对应于观察光的信号，即对应于观察图像的图像信号。作为成像元件，例如，使用具有拜耳阵列并且能够拾取彩色图像的成像元件。成像元件可以是各种已知成像元件中的任何一种，例如，互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器。由成像元件生成的图像信号作为原始数据传输到控制设备5317。在此处，可以适当地通过光通信来执行图像信号的传输。这是因为，由于在手术部位，外科医生在执行手术的同时通过拾取的图像观察患部的状态，以便以更高的安全性和确定性实现手术，需要尽可能实时地显示手术区域的运动图像。在使用光通信传输图像信号的情况下，可以以低延迟显示拾取的图像。
应当注意，成像单元可以具有用于沿着光轴移动其光学系统的变焦透镜和聚焦透镜的驱动机构。在变焦透镜和聚焦透镜通过驱动机构适当移动的情况下，可以调整拾取图像的放大率和图像拾取时的焦距。此外，成像单元可以在其中包含通常可以设置在电子成像的显微镜单元中的各种功能，例如，自动曝光(AE)功能或自动聚焦(AF)功能。
此外，成像单元可以被配置为包括单个成像元件的单板类型的成像单元，或者可以被配置为包括多个成像元件的多板类型的成像单元。在成像单元被配置为多板类型的情况下，例如，对应于红色、绿色和蓝色的图像信号可以由成像元件生成，并且可以合成，以获得彩色图像。可选地，成像单元可以被配置为使得其具有一对成像元件，用于获取与立体视觉(三维(3D)显示)兼容的右眼和左眼的图像信号。在应用3D显示的情况下，外科医生能够以更高的精确度理解手术区域中生物体组织的深度。应当注意，如果成像单元被配置为多板类型的成像单元，则设置对应于相应成像元件的多个光学系统。
操作单元5307包括例如横杆、开关等，并接受用户的操作输入。例如，用户可以通过操作单元5307输入指令，以改变观察图像的放大率和到观察目标的焦距。可以通过成像单元的驱动机构根据指令适当地移动变焦透镜和聚焦透镜，来调整放大率和焦距。此外，例如，用户可以通过操作单元5307输入切换臂单元5309的操作模式(下文描述的全自由模式和固定模式)的指令。应当注意，在用户想要移动显微镜单元5303的情况下，假设用户在用户握住保持圆柱形部分5305的显微镜单元5303的状态下移动显微镜单元5303。因此，操作单元5307优选地设置在这样的位置，在该位置，用户手指可以容易地操作操作单元5307，同时保持圆柱形部分5305，使得即使当用户移动圆柱形部分5305时，也可以操作操作单元5307。
臂单元5309被配置为使得多个连杆(第一连杆5313a至第六连杆5313f)通过多个接合单元(第一接合单元5311a至第六接合单元5311f)连接，以相对于彼此旋转。
第一接合单元5311a具有大致圆柱形形状，并且在其远端(下端)支撑显微镜单元5303的圆柱形部分5305的上端，用于围绕平行于圆柱形部分5305的中心轴的旋转轴(第一轴O1)旋转。在此处，第一接合单元5311a可以被配置为使得其第一轴O1与显微镜单元5303的成像单元的光轴对准。通过该配置，如果显微镜单元5303围绕第一轴O1旋转，则视场可以改变，以便旋转拾取的图像。
第一连杆5313a在其远端固定地支撑第一接合单元5311a。具体地，第一连杆5313a是大致呈L形的杆状构件，并且连接到第一接合单元5311a，使得其远端侧的一侧在垂直于第一轴线O1的方向上延伸，并且该一侧的端部邻接第一接合单元5311a的外周的上端部。第二接合单元5311b连接到第一连杆5313a的大致L形的近端侧上的另一侧的端部。
第二接合单元5311b具有大致柱状的形状，并且在其远端支撑第一连杆5313a的近端，用于围绕与第一轴线O1正交的旋转轴(第二轴线O2)旋转。第二连杆5313b在其远端固定连接到第二接合单元5311b的近端。
第二连杆5313b是具有大致L形的杆状构件，并且第二连杆5313b的远端侧的一侧在垂直于第二轴线O2的方向上延伸，并且该一侧的端部固定地连接到第二接合单元5311b的近端。第三接合单元5311c连接到第二连杆5313b的大致L形的近端侧的另一侧。
第三接合单元5311c具有大致柱状形状，并且在其远端支撑第二连杆5313b的近端，用于围绕与第一轴线O1和第二轴线O2正交的旋转轴(第三轴线O3)旋转。第三连杆5313c在其远端固定连接到第三接合单元5311c的近端。通过围绕第二轴O2和第三轴O3旋转包括显微镜单元5303的远端侧的部件，显微镜单元5303可以移动，使得显微镜单元5303的位置在水平面内改变。换言之，通过控制围绕第二轴O2和第三轴O3的旋转，拾取图像的视场可以在平面内移动。
第三连杆5313c被配置为使得其远端侧具有大致柱状形状，并且第三接合单元5311c的近端固定地连接到柱状形状的远端，使得这两者具有大致相同的中心轴线。第三连杆5313c的近端侧具有棱柱形状，并且第四接合单元5311d连接到第三连杆5313c的端部。
第四接合单元5311d具有大致柱状形状，并且在其远端支撑第三连杆5313c的近端，用于围绕与第三轴线O3正交的旋转轴(第四轴线O4)旋转。第四连杆5313d在其远端固定连接到第四接合单元5311d的近端。
第四连杆5313d是大致线性延伸的杆状构件，并且固定地连接到第四接合单元5311d，使得其垂直于第四轴线O4延伸，并且在其远端的端部与第四接合单元5311d的大致柱状形状的侧面邻接。第五接合单元5311e连接到第四连杆5313d的近端。
第五接合单元5311e具有大致柱状的形状，并且在其远端侧支撑第四连杆5313d的近端，用于围绕平行于第四轴O4的旋转轴(第五轴O5)旋转。第五连杆5313e在其远端固定连接到第五接合单元5311e的近端。第四轴O4和第五轴O5是显微镜单元5303可以围绕其向上和向下移动的旋转轴。通过围绕第四轴O4和第五轴O5旋转包括显微镜单元5303的远端侧的部件，可以调整显微镜单元5303的高度，即显微镜单元5303和观察目标之间的距离。
第五连杆5313e包括大致呈L形的第一构件和杆状第二构件的组合，第一构件的一侧沿垂直方向延伸，另一侧沿水平方向延伸，杆状第二构件从第一构件沿水平方向延伸的部分垂直向下延伸。第五接合单元5311e在其近端固定连接到在垂直方向上延伸第五连杆5313e的第一构件的部分的相邻上端。第六接合单元5311f连接到第五连杆5313e的第二构件的近端(下端)。
第六接合单元5311f具有大致柱状的形状，并且在其远端侧支撑第五连杆5313e的近端，用于围绕平行于垂直方向的旋转轴(第六轴O6)旋转。第六连杆5313f在其远端固定连接到第六接合单元5311f的近端。
第六连杆5313f是在垂直方向上延伸的杆状构件，并且在其近端固定地连接到基座单元5315的上表面。
第一接合单元5311a至第六接合单元5311f具有适当设置的可移动范围，使得显微镜单元5303能够进行期望的移动。因此，在具有上述配置的臂单元5309中，可以相对于显微镜单元5303的移动实现总共六个自由度的移动，包括三个平移自由度和三个旋转自由度。通过以这种方式配置臂单元5309，使得显微镜单元5303的移动实现六个自由度，显微镜单元5303的位置和姿态可以在臂单元5309的可移动范围内自由控制。因此，可以从每个角度观察手术区域，并且可以更顺利地执行手术。
应当注意，所示的臂单元5309的配置完全是实例，并且可以适当地设计包括臂单元5309的连杆的数量和形状(长度)以及接合单元的数量、位置、旋转轴的方向等，使得可以实现期望的自由度。例如，为了自由移动显微镜单元5303，优选地，臂单元5309被配置为如上所述具有六个自由度。然而，臂单元5309也可以被配置为具有大得多的自由度(即冗余自由度)。在存在冗余自由度的臂单元5309中，可以在显微镜单元5303的位置和姿态固定的状态下改变臂单元5309的姿态。因此，可以实现对外科医生更方便的控制，例如，控制臂单元5309的姿势，使得例如臂单元5309不干扰观看显示设备5319的外科医生的视野。
在此处，可以为第一接合单元5311a至第六接合单元5311f中的每一个设置致动器，在该致动器中包含驱动机构(例如，马达)、检测每个接合单元处的旋转角度的编码器等。然后，通过控制设备5317适当地控制设置在第一接合单元5311a至第六接合单元5311f中的致动器的驱动，可以控制臂单元5309的姿态，即显微镜单元5303的位置和姿态。具体地，控制设备5317可以基于编码器检测到的关于接合单元的旋转角度的信息，理解臂单元5309当前的姿态以及显微镜单元5303当前的位置和姿态。控制设备5317使用所理解的信息来计算每个接合单元的控制值(例如，旋转角度、要生成的扭矩等)，利用接合单元来实现显微镜单元5303根据来自用户的操作输入的移动。因此，控制设备5317根据控制值驱动每个接合单元的驱动机构。应当注意，在这种情况下，控制设备5317对臂单元5309的控制方法不受限制，并且可以应用各种已知的控制方法，例如，力控制或位置控制。
例如，当外科医生通过未示出的输入设备适当地执行操作输入时，可以响应于控制设备5317的操作输入适当地控制臂单元5309的驱动，以控制显微镜单元5303的位置和姿态。通过这种控制，可以在显微镜单元5303从任意位置移动到不同的任意位置之后，将显微镜单元5303固定在移动后的位置。应当注意，作为输入设备，优选地应用输入设备，即使外科医生手中有外科工具，例如，考虑到外科医生的便利性的脚踏开关，该输入设备也可以由外科医生操作。此外，操作输入可以基于手势检测或视线检测以非接触方式执行，其中，使用可佩戴装置或手术室中提供的相机。这使得即使是属于清洁区域的用户也可以高度自由地操作属于不清洁区域的设备。此外，臂单元5309可以以所谓的主-从方式操作。在这种情况下，臂单元5309可以由用户通过放置在远离手术室的地方的输入设备来远程控制。
此外，在施加力控制的情况下，控制设备5317可以执行所谓的功率辅助控制，以驱动第一接合单元5311a至第六接合单元5311f的致动器，使得臂单元5309可以接收用户的外力并随着外力顺利移动。利用这种设置，当用户在握住显微镜单元5303的同时直接移动显微镜单元5303的位置时，显微镜单元5303具有较弱的力。因此，用户可以通过更简单和更容易的操作更直观地移动显微镜单元5303，并且可以提高用户的便利性。
此外，可以控制臂单元5309的驱动，使得臂单元5309执行枢转运动。在此处，枢转运动是用于移动显微镜单元5303的运动，使得显微镜单元5303的光轴方向保持朝向空间中的预定点(在下文中称为枢转点)。由于枢转运动使得可以从不同方向观察相同的观察位置，因此可以更详细地观察患部。应当注意，在显微镜单元5303被配置为使得其焦距固定的情况下，优选地，在显微镜单元5303和枢转点之间的距离固定的状态下执行枢转运动。在这种情况下，显微镜单元5303和枢轴点之间的距离只需要预先调整到显微镜单元5303的固定焦距。通过刚刚描述的配置，显微镜单元5303开始在半球形平面(图30中示意性示出)上移动，该半球形平面具有与以枢轴点为中心的焦距相对应的直径，并且即使观察方向改变，也可以获得清晰的拾取图像。另一方面，在显微镜单元5303被配置为使得其焦距可调的情况下，可以在显微镜单元5303和枢转点之间的距离可变的状态下执行枢转运动。在这种情况下，例如，控制设备5317可以基于由编码器检测的关于接合单元的旋转角度的信息来计算显微镜单元5303和枢轴点之间的距离，并且基于计算结果自动调整显微镜单元5303的焦距。可选地，在显微镜单元5303包括AF功能的情况下，每当显微镜单元5303和枢转点之间的枢转运动引起的距离变化时，可以通过AF功能自动执行焦距的调整。
此外，第一接合单元5311a至第六接合单元5311f中的每一个可以设置有制动器，用于限制第一接合单元5311a至第六接合单元5311f的旋转。制动器的操作可以由控制设备5317控制。例如，如果旨在固定显微镜单元5303的位置和姿态，则控制设备5317使接合单元的制动器可操作。因此，即使不驱动致动器，臂单元5309的姿态(即显微镜单元5303的位置和姿态)也可以是固定的，并且因此，可以降低功耗。在旨在移动显微镜单元5303的位置和姿态的情况下，控制设备5317仅需要释放接合单元的制动器并根据预定的控制方法驱动致动器。
可以响应于用户通过上述操作单元5307输入的操作来执行制动器的这种操作。在用户旨在移动显微镜单元5303的位置和姿态的情况下，用户将操作操作单元5307，以释放接合单元的制动器。因此，臂单元5309的操作模式变为接合单元的旋转可以自由执行的模式(全自由模式)。另一方面，如果用户旨在固定显微镜单元5303的位置和姿态，则用户将操作操作单元5307，以使接合单元的制动器可操作。因此，臂单元5309的操作模式变为接合单元的旋转受到限制的模式(固定模式)。
控制设备5317通过控制显微镜设备5301和显示设备5319的操作来整体控制显微镜手术系统5300的操作。例如，控制设备5317使得第一接合单元5311a至第六接合单元5311f的致动器根据预定控制方法操作，以控制臂单元5309的驱动。此外，例如，控制设备5317控制第一接合单元5311a至第六接合单元5311f的制动器的操作，以改变臂单元5309的操作模式。此外，例如，控制设备5317对显微镜设备5301的显微镜单元5303的成像单元获取的图像信号执行各种信号处理，以生成用于显示的图像数据，并控制显示设备5319显示生成的图像数据。作为信号处理，可以执行各种已知的信号处理，例如，显影处理(去马赛克处理)、图像质量改善处理(带宽增强处理、超分辨率处理、降噪(NR)处理、图像稳定处理等)和/或放大处理(即，电子变焦处理)。
应当注意，控制设备5317和显微镜单元5303之间的通信以及控制设备5317和第一接合单元5311a至第六接合单元5311f之间的通信可以是有线通信或无线通信。在应用有线通信的情况下，可以执行电信号的通信或者可以执行光通信。在这种情况下，响应于所应用的通信方法，用于有线通信的传输电缆可以被配置为电信号电缆、光纤或其复合电缆。另一方面，在应用无线通信的情况下，因为不需要在手术室中铺设传输电缆，所以可以消除手术室中医务人员的移动被传输电缆干扰的情况。
控制设备5317可以是处理器，例如，中央处理单元(CPU)或图形处理单元(GPU)或者微计算机、控制板等，其中，包含处理器和存储元件，例如，存储器。上文描述的各种功能可以由根据预定程序操作的控制设备5317的处理器来实现。应当注意，在图示的实例中，控制设备5317被设置为与显微镜设备5301分离的设备。然而，控制设备5317可以安装在显微镜设备5301的基座单元5315的内部，并且与显微镜设备5301整体配置。控制设备5317也可以包括多个设备。例如，微型计算机、控制板等可以设置在臂单元5309的显微镜单元5303和第一接合单元5311a至第六接合单元5311f中，并且连接以便相互通信，以实现与控制设备5317的功能类似的功能。
显示设备5319设置在手术室中，并且在控制设备5317的控制下显示与控制设备5317生成的图像数据相对应的图像。换言之，在显示设备5319上显示由显微镜单元5303拾取的手术区域的图像。注意，代替手术区域的图像或者除了手术区域的图像之外，显示设备5319可以例如显示与手术相关的各种信息，例如，患者的身体信息或者与手术的手术过程相关的信息。在这种情况下，显示设备5319的显示可以响应于用户的操作适当地切换。可选地，还可以设置多个这样的显示设备5319，使得手术区域的图像或与手术相关的各种信息可以单独显示在多个显示设备5319上。应当注意，作为显示设备5319，可以应用各种已知的显示设备，例如，液晶显示设备或电致发光(EL)显示设备。
图31是示出使用图30中示出的显微镜手术系统5300的手术状态的示图。图31示意性示出外科医生5321使用显微镜手术系统5300对病床5323上的患者5325执行手术的状态。应当注意，在图31中，为了简化说明，省略了显微镜手术系统5300的组件中的控制设备5317，并且以简化形式示出了显微镜设备5301。
如图31所示，在手术时，使用显微镜手术系统5300，由显微镜设备5301拾取的手术区域的图像以放大比例显示在安装在手术室的墙面上的显示设备5319上。显示设备5319安装在与外科医生5321相对的位置，并且外科医生5321将对手术区域执行各种治疗，例如，切除患部，同时从显示设备5319上显示的视频观察手术区域的状态。
已经描述了可以应用根据本公开实施方式的技术的显微镜手术系统5300的实例。在此处，应当注意，尽管显微镜手术系统5300被描述为实例，但是根据本公开实施方式的技术可以应用到的系统不限于该实例。例如，显微镜设备5301还可以用作支撑臂设备，该支撑臂设备在其远端支撑不同的观察设备或某种其他手术工具，来代替显微镜单元5303。作为另一种观察设备，例如，可以应用内窥镜。此外，作为不同的手术工具，可以应用镊子、钳子、用于气腹的气腹管或用于通过烧灼进行组织切割或血管密封的能量装置等。通过由支撑设备支撑刚刚描述的任何这样的观察设备和手术工具，与由医务人员手支撑的替代情况相比，其位置可以高度稳定地固定。因此，可以减轻医务人员的负担。根据本公开的实施方式的技术可以应用于支撑臂设备，该支撑臂设备支撑除了显微镜单元之外的如上所述的这种部件。
<6.结论>
如上所述，根据本公开的实施方式，提供了一种医疗系统，其包括：光源，其被配置为照射生物体内部的主体；成像单元，其被配置为与光源的光轴同轴地对主体成像；以及控制单元，其被配置为控制光源和成像单元，控制单元执行控制，使得通过调整由成像单元获取的第一图像信号的灰度来输出符合高动态范围标准的信号。根据这种配置，在使基于HDR图像在HDR监视器上显示图像的情况下，可以减少用户对HDR监视器的输出图像感到的眩光。
上面已经参考附图描述了本公开的优选实施方式，同时本公开的技术范围不限于上述实例。本领域技术人员可以在所附权利要求的范围内找到各种变更和修改，并且应该理解，这些变更和修改将自然地落入本公开的技术范围内。
例如，可以创建程序，用于使包含在计算机中的硬件(例如，CPU、ROM和RAM)执行与上述控制单元110的功能等同的功能。此外，还可以提供其上记录有程序的计算机可读记录介质。
例如，如上所述，假设灰度转换单元22基于HDR图像生成单元21获得的HDR图像(第一图像信号)生成具有符合高动态范围标准的第一动态范围的第二图像信号的情况。在这种情况下，控制单元20可以自动切换要输出的图像信号。即，控制单元20可以执行控制，使得在包括在第一图像信号中的像素信号的最大值大于预定值的情况下，第二图像信号输出到HDR显示单元30-1，并且在包括在第一图像信号中的像素信号的最大值等于或小于预定值的情况下，第一图像信号输出到HDR显示单元30-1。
此外，控制单元20可以执行控制，使得在HDR显示单元30-1的相同屏幕上显示第一图像信号和第二图像信号。通过这种方式，用户可以同时观看具有不同动态范围的两个图像。
此外，本说明书中描述的效果仅仅是说明性的或示例性的效果，而不是限制性的。即，具有或代替上述效果，根据本公开的技术可以通过本说明书的描述实现对本领域技术人员显而易见的其他效果。
另外，也可以如下配置本公开的技术范围。
(1)一种医疗系统，包括：
光源，其被配置为照射生物体内部的主体；
成像单元，其被配置为与光源的光轴同轴地对主体进行成像；以及
控制单元，其被配置为控制光源和成像单元，
其中，所述控制单元执行控制，使得通过调整由成像单元获取的第一图像信号的灰度来输出符合高动态范围标准的信号。
(2)根据(1)的医疗系统，
其中，控制单元执行控制，以调整第一图像信号的灰度，使得包括在第一图像信号中的像素信号的所有亮度值等于或小于第一亮度值。
(3)根据(2)的医疗系统，
其中，控制单元执行控制，以调整第一图像信号中亮度值大于第二亮度值的像素信号的灰度，使得亮度值等于或小于第一亮度值，并且
执行控制，以便不调整第一图像信号中亮度值等于或小于第二亮度值的像素信号的灰度。
(4)根据(1)的医疗系统，
其中，控制单元执行控制，以基于第一图像信号的对象识别的结果确定第一区域，
执行控制，以调整包括在第一区域中的像素信号的灰度，并且
执行控制，以便不调整包括在除第一区域之外的区域中的像素信号的灰度。
(5)根据(4)的医疗系统，其中，控制单元在对象识别中指定包括面罩、手术工具、纱布或身体组织的第二区域，并且基于第二区域确定第一区域。
(6)根据(1)的医疗系统，
其中，控制单元执行控制，以调整第一图像信号中特定颜色的像素信号的灰度，并且
执行控制，以便不调整第一图像信号中其他颜色的像素信号的灰度。
(7)根据(1)的医疗系统，
其中，控制单元执行控制，以基于第一图像信号中亮度大于第二亮度值的像素来调整第一图像信号的灰度。
(8)根据(7)的医疗系统，
其中，控制单元执行控制，以基于第一图像信号中亮度大于第二亮度值的像素数量来确定第一亮度值，并且调整灰度，使得第一图像信号的所有像素信号的亮度值等于或小于第一亮度值。
(9)根据(7)的医疗系统，
其中，控制单元执行控制，以在第一图像信号中亮度大于第二亮度值的像素数量大于预定数量的情况下，使第一图像信号中亮度小于第三亮度值的像素信号的亮度更大。
(10)根据(9)的医疗系统，
其中，控制单元使用相同的调整量对亮度小于第三亮度值的像素信号执行控制，以使亮度更大。
(11)根据(1)的医疗系统，
其中，控制单元根据第一周期确定第二周期，在第一周期期间，第一图像信号的亮度值指示预定范围内的值，在第二周期期间，第一图像信号的亮度值保持在对应于包括在预定范围内的值的亮度。
(12)根据(1)的医疗系统，
其中，控制单元
执行控制，以基于构成第一图像信号的相应像素信号的亮度的相加值或平均值，确定灰度的调整的程度或将要调整灰度的区域，并且
执行控制，以基于程度或区域调整第一图像信号的灰度。
(13)根据(12)的医疗系统，
其中，控制单元执行控制，以基于关于由用户指定的亮度的信息或用户指定的观察模式信息，调整第一图像信号的灰度。
(14)根据(13)的医疗系统，
其中，关于亮度的信息是图像信号的最大亮度值、图像信号的最小亮度值或图像信号的灰度调整率。
(15)根据(13)的医疗系统，
其中，观察模式是特殊光观察模式或正常光模式。
(16)根据(1)的医疗系统，
其中，控制单元执行控制，以基于显示单元的亮度设置信息，调整第一图像信号的灰度。
(17)一种医疗设备，包括：
控制单元，其被配置为执行控制，以对生物体内部的主体成像，以获取第一图像信号，
基于第一图像信号，生成具有符合高动态范围标准的第一动态范围的第二图像信号，
基于第一图像信号，生成最大亮度值和最小亮度值之间的差小于第一动态范围的第三图像信号，并且
输出第二图像信号或第三图像信号。
(18)一种医疗设备，包括：
控制单元，其被配置为控制照射生物体内部的主体的光源以及与光源的光轴同轴地对主体成像的成像单元，
其中，控制单元执行控制，以通过调整由成像单元获取的第一图像信号的灰度来输出符合高动态范围标准的信号。
(19)一种控制方法，包括：
控制照射生物体内部的主体的光源以及与光源的光轴同轴地对主体成像的成像单元，并且
执行控制，以通过调整由成像单元获取的第一图像信号的灰度来输出符合高动态范围标准的信号。
(20)根据(1)的医疗系统，
其中，所述控制单元执行控制，以在第一图像信号中包括的像素信号的最大值大于预定值的情况下，输出基于第一图像信号生成且具有符合高动态范围标准的第一动态范围的第二图像信号，并且执行控制，以在最大值等于或小于预定值的情况下，输出第一图像信号。
(21)根据(1)的医疗系统，
其中，控制单元执行控制，以在显示单元的同一屏幕上显示第一图像信号和第二图像信号，第二图像信号具有符合高动态范围标准的第一动态范围，基于第一图像信号生成第二图像信号。
(22)根据(1)的医疗系统，
其中，医疗系统是内窥镜系统或显微镜系统。
附图标记列表
10成像单元
20控制单元
21HDR图像生成单元
22灰度转换单元
23亮度输入单元
24对象识别单元
25高亮度区域计算单元
26亮度平均值计算单元
30-1HDR显示单元
30-2SDR显示单元
40SDR记录单元。

Claims (22)

1.一种医疗系统，包括：
光源，所述光源被配置为照射生物体内部的主体；
成像单元，所述成像单元被配置为与所述光源的光轴同轴地对所述主体进行成像；以及
控制单元，所述控制单元被配置为控制所述光源和所述成像单元，
其中，所述控制单元执行控制，使得通过调整由所述成像单元获取的第一图像信号的灰度来输出符合高动态范围标准的信号。
2.根据权利要求1所述的医疗系统，
其中，所述控制单元执行控制，以调整所述第一图像信号的灰度，使得包括在所述第一图像信号中的像素信号的所有亮度值等于或小于第一亮度值。
3.根据权利要求2所述的医疗系统，
其中，所述控制单元执行控制，以调整所述第一图像信号中亮度值大于第二亮度值的像素信号的灰度，使得所述亮度值等于或小于所述第一亮度值，并且
执行控制，以便不调整所述第一图像信号中亮度值等于或小于所述第二亮度值的像素信号的灰度。
4.根据权利要求1所述的医疗系统，
其中，所述控制单元执行控制，以基于所述第一图像信号的对象识别的结果确定第一区域，
执行控制，以调整包括在所述第一区域中的像素信号的灰度，并且
执行控制，以便不调整包括在除所述第一区域之外的区域中的像素信号的灰度。
5.根据权利要求4所述的医疗系统，其中，所述控制单元在所述对象识别中指定包括面罩、手术工具、纱布或身体组织的第二区域，并且基于所述第二区域确定所述第一区域。
6.根据权利要求1所述的医疗系统，
其中，所述控制单元执行控制，以调整所述第一图像信号中特定颜色的像素信号的灰度，并且
执行控制，以便不调整所述第一图像信号中其他颜色的像素信号的灰度。
7.根据权利要求1所述的医疗系统，
其中，所述控制单元执行控制，以基于所述第一图像信号中亮度大于第二亮度值的像素来调整所述第一图像信号的灰度。
8.根据权利要求7所述的医疗系统，
其中，所述控制单元执行控制，以基于所述第一图像信号中亮度大于所述第二亮度值的像素数量来确定第一亮度值，并且调整灰度，使得所述第一图像信号的所有像素信号的亮度值等于或小于所述第一亮度值。
9.根据权利要求7所述的医疗系统，
其中，所述控制单元执行控制，以在所述第一图像信号中亮度大于所述第二亮度值的像素数量大于预定数量的情况下，使所述第一图像信号中亮度小于第三亮度值的像素信号的亮度更大。
10.根据权利要求9所述的医疗系统，
其中，所述控制单元使用相同的调整量对亮度小于所述第三亮度值的像素信号执行控制，以使亮度更大。
11.根据权利要求1所述的医疗系统，
其中，所述控制单元根据第一周期确定第二周期，在所述第一周期期间，所述第一图像信号的亮度值指示预定范围内的值，在所述第二周期期间，所述第一图像信号的亮度值保持在对应于包括在所述预定范围内的值的亮度。
12.根据权利要求1所述的医疗系统，
其中，所述控制单元
执行控制，以基于构成所述第一图像信号的相应像素信号的亮度的相加值或平均值，确定灰度的调整的程度或将要调整灰度的区域，并且
执行控制，以基于所述程度或所述区域调整所述第一图像信号的灰度。
13.根据权利要求12所述的医疗系统，
其中，所述控制单元执行控制，以基于关于由用户指定的亮度的信息或由所述用户指定的观察模式信息，调整所述第一图像信号的灰度。
14.根据权利要求13所述的医疗系统，
其中，关于亮度的信息是图像信号的最大亮度值、图像信号的最小亮度值或图像信号的灰度调整率。
15.根据权利要求13所述的医疗系统，
其中，所述观察模式是特殊光观察模式或正常光模式。
16.根据权利要求1所述的医疗系统，
其中，所述控制单元执行控制，以基于显示单元的亮度设置信息，调整所述第一图像信号的灰度。
17.一种医疗设备，包括：
控制单元，所述控制单元被配置为执行控制，以对生物体内部的主体成像，以获取第一图像信号，
基于所述第一图像信号，生成具有符合高动态范围标准的第一动态范围的第二图像信号，
基于所述第一图像信号，生成最大亮度值和最小亮度值之间的差小于所述第一动态范围的第三图像信号，并且
输出所述第二图像信号或所述第三图像信号。
18.一种医疗设备，包括：
控制单元，所述控制单元被配置为控制照射生物体内部的主体的光源以及与所述光源的光轴同轴地对所述主体成像的成像单元，
其中，所述控制单元执行控制，以通过调整由所述成像单元获取的第一图像信号的灰度来输出符合高动态范围标准的信号。
19.一种控制方法，包括：
控制照射生物体内部的主体的光源以及与所述光源的光轴同轴地对所述主体成像的成像单元，并且
执行控制，以通过调整由所述成像单元获取的第一图像信号的灰度来输出符合高动态范围标准的信号。
20.根据权利要求1所述的医疗系统，
其中，所述控制单元执行控制，以在所述第一图像信号中包括的像素信号的最大值大于预定值的情况下，输出基于所述第一图像信号生成且具有符合高动态范围标准的第一动态范围的第二图像信号，并且执行控制，以在所述最大值等于或小于预定值的情况下，输出所述第一图像信号。
21.根据权利要求1所述的医疗系统，
其中，所述控制单元执行控制，以在显示单元的同一屏幕上显示所述第一图像信号和第二图像信号，所述第二图像信号具有符合高动态范围标准的第一动态范围，基于所述第一图像信号生成所述第二图像信号。
22.根据权利要求1所述的医疗系统，
其中，所述医疗系统是内窥镜系统或显微镜系统。
CN201880036804.3A 2017-06-12 2018-03-16 医疗系统、医疗设备和控制方法 Active CN110709001B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017115019 2017-06-12
JP2017-115019 2017-06-12
PCT/JP2018/010435 WO2018230066A1 (ja) 2017-06-12 2018-03-16 医療用システム、医療用装置および制御方法

Publications (2)

Publication Number Publication Date
CN110709001A true CN110709001A (zh) 2020-01-17
CN110709001B CN110709001B (zh) 2022-09-23

Family

ID=64659563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880036804.3A Active CN110709001B (zh) 2017-06-12 2018-03-16 医疗系统、医疗设备和控制方法

Country Status (5)

Country Link
US (1) US11463629B2 (zh)
EP (1) EP3639725A4 (zh)
JP (1) JP7088185B2 (zh)
CN (1) CN110709001B (zh)
WO (1) WO2018230066A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6719061B2 (ja) * 2016-11-17 2020-07-08 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、およびプログラム
CN112566539A (zh) * 2018-08-21 2021-03-26 索尼奥林巴斯医疗解决方案公司 医学控制装置和医学观察装置
DE102018127287B4 (de) * 2018-10-31 2023-01-12 Schölly Fiberoptic GmbH Bildaufnahmeverfahren und Bildaufnahmevorrichtung
JP7281308B2 (ja) * 2019-03-07 2023-05-25 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム
JP7252023B2 (ja) * 2019-03-22 2023-04-04 ソニー・オリンパスメディカルソリューションズ株式会社 画像処理装置及び医療用観察システム
JP7336768B2 (ja) * 2019-10-23 2023-09-01 一般社団法人メディカル・イノベーション・コンソーシアム 超音波医用システム
KR20230085413A (ko) * 2021-12-07 2023-06-14 엘지디스플레이 주식회사 표시장치
US20220375049A1 (en) * 2022-07-19 2022-11-24 Real Image Technology Co., Ltd Reduction of Glare in Endoscopic Images

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100045824A1 (en) * 2008-08-21 2010-02-25 Victor Company Of Japan, Limited Video image pickup apparatus and exposure guide display method
WO2013025530A1 (en) * 2011-08-12 2013-02-21 Intuitive Surgical Operations, Inc. An image capture unit in a surgical instrument
US20140275764A1 (en) * 2013-03-13 2014-09-18 John T. SHEN System for obtaining clear endoscope images
CN105473049A (zh) * 2013-08-23 2016-04-06 奥林巴斯株式会社 荧光观察装置
WO2017002544A1 (ja) * 2015-06-30 2017-01-05 オリンパス株式会社 画像処理装置および撮像システム
US20170061894A1 (en) * 2015-08-26 2017-03-02 Canon Kabushiki Kaisha Image display apparatus
US20170084067A1 (en) * 2015-09-23 2017-03-23 Samsung Electronics Co., Ltd. Electronic device for processing image and method for controlling thereof
CN106659371A (zh) * 2015-07-13 2017-05-10 索尼公司 医用观察设备以及医用观察方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0337037A (ja) * 1989-07-05 1991-02-18 Fukuda Denshi Co Ltd 血管内腔像撮影表示方式
JP3607816B2 (ja) 1998-06-29 2005-01-05 オリンパス株式会社 電子内視鏡装置
JP2009297133A (ja) * 2008-06-11 2009-12-24 Fujifilm Corp 内視鏡画像処理装置および方法
JP5211024B2 (ja) * 2009-12-09 2013-06-12 株式会社日立製作所 画像表示装置
JP5814698B2 (ja) 2011-08-25 2015-11-17 オリンパス株式会社 自動露光制御装置、制御装置、内視鏡装置及び内視鏡装置の作動方法
KR20160063338A (ko) * 2013-09-30 2016-06-03 케어스트림 헬스 인코포레이티드 Hdr 이미징 및 하이라이트 제거를 이용하는 구강내 이미징을 위한 방법 및 시스템
US10306151B2 (en) * 2015-02-12 2019-05-28 Sony Corporation Image processing device, image processing method, program and image processing system
JP6203452B1 (ja) * 2015-10-27 2017-09-27 オリンパス株式会社 撮像システム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100045824A1 (en) * 2008-08-21 2010-02-25 Victor Company Of Japan, Limited Video image pickup apparatus and exposure guide display method
WO2013025530A1 (en) * 2011-08-12 2013-02-21 Intuitive Surgical Operations, Inc. An image capture unit in a surgical instrument
US20140275764A1 (en) * 2013-03-13 2014-09-18 John T. SHEN System for obtaining clear endoscope images
CN105473049A (zh) * 2013-08-23 2016-04-06 奥林巴斯株式会社 荧光观察装置
WO2017002544A1 (ja) * 2015-06-30 2017-01-05 オリンパス株式会社 画像処理装置および撮像システム
CN106659371A (zh) * 2015-07-13 2017-05-10 索尼公司 医用观察设备以及医用观察方法
US20170061894A1 (en) * 2015-08-26 2017-03-02 Canon Kabushiki Kaisha Image display apparatus
US20170084067A1 (en) * 2015-09-23 2017-03-23 Samsung Electronics Co., Ltd. Electronic device for processing image and method for controlling thereof

Also Published As

Publication number Publication date
CN110709001B (zh) 2022-09-23
EP3639725A1 (en) 2020-04-22
US20200077012A1 (en) 2020-03-05
JPWO2018230066A1 (ja) 2020-04-16
US11463629B2 (en) 2022-10-04
WO2018230066A1 (ja) 2018-12-20
EP3639725A4 (en) 2020-06-10
JP7088185B2 (ja) 2022-06-21

Similar Documents

Publication Publication Date Title
CN110709001B (zh) 医疗系统、医疗设备和控制方法
WO2017145475A1 (ja) 医療用情報処理装置、情報処理方法、医療用情報処理システム
CN112584743A (zh) 医疗系统、信息处理装置和信息处理方法
WO2018088105A1 (ja) 医療用支持アーム及び医療用システム
CN111278344A (zh) 手术臂系统和手术臂控制系统
US20220008156A1 (en) Surgical observation apparatus, surgical observation method, surgical light source device, and surgical light irradiation method
CN110913744A (zh) 手术系统、控制方法、手术装置和程序
KR20190109406A (ko) 영상 신호 처리 장치, 영상 신호 처리 방법, 및 다이나믹 레인지 압축용 프로그램
US11729519B2 (en) Video signal processing apparatus, video signal processing method, and image-capturing apparatus
US11729493B2 (en) Image capture apparatus and image capture method
JP7092111B2 (ja) 撮像装置、映像信号処理装置および映像信号処理方法
WO2017221491A1 (ja) 制御装置、制御システム、および制御方法
WO2020203164A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2020203225A1 (ja) 医療システム、情報処理装置及び情報処理方法
US20220022728A1 (en) Medical system, information processing device, and information processing method
WO2020045014A1 (ja) 医療システム、情報処理装置及び情報処理方法
CN114786558A (zh) 医学图像生成装置、医学图像生成方法和医学图像生成程序
WO2018043205A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
WO2021044900A1 (ja) 施術システム、画像処理装置、画像処理方法、及びプログラム
JP7456385B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2022004250A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2020050187A1 (ja) 医療システム、情報処理装置及び情報処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant