CN110352032A - 图像处理装置和方法以及内窥镜系统 - Google Patents

图像处理装置和方法以及内窥镜系统 Download PDF

Info

Publication number
CN110352032A
CN110352032A CN201880014394.2A CN201880014394A CN110352032A CN 110352032 A CN110352032 A CN 110352032A CN 201880014394 A CN201880014394 A CN 201880014394A CN 110352032 A CN110352032 A CN 110352032A
Authority
CN
China
Prior art keywords
illumination
image
frame
light source
normal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880014394.2A
Other languages
English (en)
Other versions
CN110352032B (zh
Inventor
中村幸弘
宫井岳志
平山智之
竹本雅矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110352032A publication Critical patent/CN110352032A/zh
Application granted granted Critical
Publication of CN110352032B publication Critical patent/CN110352032B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G06T5/70—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Theoretical Computer Science (AREA)

Abstract

本技术涉及能够降低照明分布不均匀性的图像处理装置和方法以及内窥镜系统。该图像处理装置被设置具有信号处理单元，该信号处理单元基于正常照明图像和弱照明图像，对在其中正在经历手术的患者的身体内的对象被光源照明的状态下捕获的图像执行照明不均匀性校正，该正常照明图像在其中身体内部的对象由设置在身体内部的光源以预定照明强度照明的状态下捕获，该低照明图像在其中照明强度弱于预定照明强度的状态下捕获。本技术适用于内窥镜系统。

Description

图像处理装置和方法以及内窥镜系统
技术领域
本技术涉及图像处理装置和方法以及内窥镜系统，并且具体地涉及允许不均匀照明分布降低的图像处理装置和方法以及内窥镜系统。
背景技术
在近年来对医疗护理中微创性的需求不断增加的背景下，已经寻求最小化切口伤口、可影响术后QoL(生活质量)的伤口。由于这个原因，在使用刚性内窥镜的手术中需要减小刚性内窥镜镜体的直径。
当今通常使用的刚性内窥镜包括刚性内窥镜镜体中的光学传输通道，其中照明光从刚性内窥镜镜体的尖端照射。这引起刚性内窥镜镜体的直径增加与刚性内窥镜镜体中的光学传输通道的尺寸一样多，从而妨碍直径的减小。
另一方面，已经提出了一种技术，该技术将多个光源与刚性内窥镜镜体分别地插入患者的身体中、将光源保持在其中，并使照明光照射在体腔中的广泛区域上(参见例如PTL 1)。
现有技术文献
专利文献
专利文献1：日本专利公开第2007-260397号
发明内容
技术问题
然而，在使用保持在患者的身体内的光源的情况下，由于多个光源产生的照明光的不均匀重叠，出现了不均匀照明分布。
此外，因为身体中的器官和血管的搏动、由手术引起的手术区域内器官和血管的变形等，所以视野内的光源与器官和其他身体部分之间的位置关系随时间变化。这可导致获得的内窥镜图像上的不均匀照明分布随时间而变化。
鉴于上述情况，本技术的目的是降低不均匀照明分布。
问题的解决方案
本技术的第一方面的图像处理设备包括信号处理部。信号处理部校正在利用光源照明待手术的所述患者的身体内的对象状态下拍摄的图像的不均匀照明。光源被布置在患者的身体内。信号处理部基于正常照明图像和低照明图像来校正不均匀照明。所述正常照明图像是在以给定照明强度照明所述身体内的所述对象的状态下拍摄的。所述低照明图像是在以比所述给定照明强度低的照明强度照明所述对象的状态下拍摄的。
在使光源产生的照明停止的情况下拍摄的图像可用作低照明图像。
可在图像处理设备中进一步设置光源控制部，用于控制由光源产生的照明。
可使信号处理部基于正常照明图像和低照明图像计算用于校正不均匀照明的校正参数，并且基于校正参数校正图像的不均匀照明。
可使信号处理部基于正常照明图像和低照明图像之间的亮度变化率来计算校正参数。
可使信号处理部基于给定位置处的亮度变化率和不同于给定位置的位置处的亮度变化率来计算给定位置处的校正参数。
可在图像处理设备中进一步设置拍摄部。拍摄部包括刚性内窥镜镜体，并且通过接收经由刚性内窥镜镜体从身体内的对象入射的光来拍摄图像。
包括作为一帧的每一个正常照明图像和低照明图像中的视频可用作图像。
可通过校正视频的不均匀照明并对通过不均匀照明校正获得的视频执行噪声降低处理，使信号处理部生成输出视频。
在视频的帧是低照明图像的情况下，可通过首先校正低照明图像的不均匀照明，再调整增益并对通过增益调整获得的图像执行噪声降低处理，来使信号处理部生成输出视频的帧。在视频的帧是正常照明图像的情况下，可通过校正正常照明图像的不均匀照明并对通过不均匀照明校正获得的图像执行噪声降低处理，来使信号处理部生成输出视频的帧。
在视频的帧是低照明图像的情况下，可使信号处理部以比在视频的帧是正常照明图像的情况下高的处理强度对通过增益调整获得的图像执行噪声降低处理。
本技术的第一方面的图像处理方法包括以下步骤：校正利用由光源照明的待进行手术的患者的身体内的对象进行拍摄的图像的不均匀照明。光源被布置在患者的身体内。基于正常照明图像和低照明图像来校正不均匀照明。所述正常照明图像是在以给定照明强度照明所述身体内的所述对象的状态下拍摄的。所述低照明图像是在以比所述给定照明强度低的照明强度照明所述对象的状态下拍摄的。
在本技术的第一方面中，校正图像的不均匀照明。利用由光源照明的待进行手术的患者的身体内的对象拍摄图像。光源被布置在患者的身体内。基于正常照明图像和低照明图像来校正不均匀照明。所述正常照明图像是在以给定照明强度照明所述身体内的所述对象的状态下拍摄的。所述低照明图像是在以比所述给定照明强度低的照明强度照明所述对象的状态下拍摄的。
本技术的第二方面的内窥镜系统包括拍摄部和信号处理部。拍摄部包括刚性内窥镜镜体，并且通过接收经由刚性内窥镜镜体从待进行手术的患者的身体内的对象入射的光来拍摄图像。信号处理部校正图像的不均匀照明，该图像由拍摄部利用由被布置在患者的身体内的光源照明的患者的身体内的对象拍摄。信号处理部基于正常照明图像和低照明图像校正不均匀照明。所述正常照明图像是在以给定照明强度照明所述身体内的所述对象的状态下拍摄的。所述低照明图像是在以比所述给定照明强度低的照明强度照明所述对象的状态下拍摄的。
在本技术的第二方面中，通过接收经由刚性内窥镜镜体从待进行手术的患者的身体内的对象入射的光来拍摄图像。校正由拍摄部拍摄的图像的不均匀照明。利用由被布置在患者的身体内的光源照明的患者的身体内的对象拍摄图像。基于正常照明图像和低照明图像校正不均匀照明。所述正常照明图像是在以给定照明强度照明所述身体内的所述对象的状态下拍摄的。所述低照明图像是在以比所述给定照明强度低的照明强度照明所述对象的状态下拍摄的。
[发明的有利效果]
根据本技术的第一方面和第二方面，可确保降低不均匀照明分布。
应当注意，这里描述的效果不一定是限制性的，并且可以是本公开中描述的任何效果。
附图说明
[图1]是示出内窥镜系统的配置示例的图示。
[图2]是描述内窥镜系统的使用示例的图示。
[图3]是描述内窥镜系统的使用示例的图示。
[图4]是描述不均匀照明的图示。
[图5]是描述不均匀照明随时间的变化的图示。
[图6]是描述照明控制的图示。
[图7]是描述不均匀照明校正参数的计算的图示。
[图8]是描述不均匀照明的校正的图示。
[图9]是描述不均匀照明校正参数的计算的图示。
[图10]是描述不均匀照明校正参数的计算的图示。
[图11]是描述参数计算过程的流程图。
[图12]是描述输出图像生成过程的流程图。
[图13]是示出计算机的配置示例的图示。
具体实施方式
下面将参照附图给出应用本技术的实施例的描述。
<第一实施例>
<内窥镜系统的配置示例>
本技术通过以下来校正不均匀照明：使留置光源与包括刚性内窥镜镜体的拍摄部同步，以给定时间间隔获得低照明下的图像，并且计算所获得的图像与在正常照明下获得的在时间方向上相邻的图像之间的差异。这消除了在刚性内窥镜镜体中用于照明的光学传输通道的需求，因此实现了刚性内窥镜镜体的直径的减小，确保了内窥镜手术中微创性的改善，并且有助于降低不均匀照明分布。本技术提供了一种内窥镜图像，该内窥镜图像的不均匀照明分布伴随着活体的搏动或手术区域变化而随时间的变化降低。
此外，在低照明下的图像在整体上变暗。因此，本技术以这样的方式校正图像，即将图像的明度(brightness)增加到与通过同步信号处理的正常处理相当的水平。此时，图像明度的校正导致噪声增加。因此，执行同步信号处理，并且仅使在低照明下的图像以较高强度经受噪声降低(去除)过程，从而将噪声量保持在与正常图像大致相同的水平。
图1是示出应用本技术的内窥镜系统的配置示例的图示。
内窥镜系统11是用于对手术部位(诸如患者12的体腔中的患病部位)进行手术的系统。内窥镜系统11包括拍摄部21、监视器22、CCU(摄像机控制单元)23、控制信号源24和留置光源25-1至25-N。应当注意，在不特别需要区分留置光源25-1至25-N的情况下，留置光源25-1至25-N将简称为留置光源25。
拍摄部21包括刚性内窥镜镜体31和摄像头32，拍摄患者12的体腔中的手术部位的图像(下文中也称为内窥镜图像)，并且将所获得的内窥镜图像的图像数据供应给CCU 23。即，拍摄部21通过拍摄待手术的患者12的手术部位来获得内窥镜图像的图像数据。应当注意，尽管这里将描述内窥镜图像是视频的情况，但是内窥镜图像可以是静止图像。
在该示例中，刚性内窥镜镜体31连接到摄像头32，并且摄像头32包括图像传感器41。
将包括刚性内窥镜镜体31的尖端部的刚性内窥镜镜体31的一部分插入患者12中，使得尖端部位于手术部位附近。此外，刚性内窥镜镜体31包括观察光学器件，该观察光学器件包括透镜，透镜聚焦来自手术部位的光，并将光引导到摄像头32。
摄像头32的图像传感器41通过以下来拍摄手术部位：经由刚性内窥镜镜体31接收来自手术部位的入射光并将光转换为电流，将由此获得的图像数据输出到CCU 23。即，图像传感器41拍摄内窥镜图像。
监视器22包括诸如LCD面板的显示装置，并且基于从CCU 23供应的图像数据显示输出图像。例如，输出图像是从内窥镜图像获得的用于观察的视频并且用于观察手术部位。
CCU 23控制内窥镜系统11的所有动作。CCU 23包括光源控制部51、不均匀照明校正参数记录部52和信号处理部53。
光源控制部51不仅向控制信号源24供应光源控制信息，而且还向信号处理部53供应光源控制信息。光源控制信息用于控制留置光源25的照明的接通和切断，并且控制照明光的照明强度(光量)等。即，光源控制部51通过光源控制信息控制留置光源25对患者12的手术部位的照明。
不均匀照明校正参数记录部52记录用于校正内窥镜图像(视频)的不均匀照明的不均匀照明校正参数。由信号处理部53计算不均匀照明校正参数。不均匀照明校正参数记录部52根据需要将记录的不均匀照明校正参数供应给信号处理部53。
信号处理部53基于从光源控制部51供应的光源控制信息，对从图像传感器41供应的图像数据执行各种信号处理任务。
例如，信号处理部53基于光源控制信息和从图像传感器41供应的图像数据计算不均匀照明校正参数，从而将不均匀照明校正参数供应给不均匀照明校正参数记录部52，以用于记录。
此外，信号处理部53对从图像传感器41供应的图像数据执行使用不均匀照明校正参数的不均匀照明校正过程、增益调整、降噪处理等，从而生成描绘手术部位的输出图像的图像数据，并且将图像数据提供给监视器22。尽管这里通过采用输出图像是从内窥镜图像获得的视频的情况作为示例给出了描述，但是输出图像可以是静止图像。
控制信号源24包括传输部61，并根据从光源控制部51供应的光源控制信息控制留置光源25的照明。
即，控制信号源24生成光源控制信号，该光源控制信号用于指示用指定量的光(以指定的照明强度)使照明光照射(发出光)或使照明光停止照射(使光熄灭)。此外，控制信号源24的传输部61通过无线地(通过电磁波)将生成的光源控制信号发送到留置光源25来控制留置光源25的照明动作。
N个留置光源25-1至25-N是被布置(保持)在患者12的体腔中的手术部位附近以使照明光照射到患者12的手术部位上的光源。
留置光源25-1至25-N分别包括接收部71-1至71-N。这些接收部71-1至71-N通过无线通信接收从控制信号源24发送的光源控制信号。
应当注意，在不特别需要区分接收部71-1至71-N的情况下，接收部71-1至71-N将简称为接收部71。
留置光源25根据由接收部71接收的光源控制信号以指定的照明强度使照明光照射到患病部位上，或使照明光停止照射。即，在提供在患者12的身体外部的控制信号源24的控制下，留置光源25执行诸如照明光的接通和切断的动作等。
应当注意，对留置光源25的控制不限于无线控制，并且可通过有线通信来执行。此外，尽管这里给出了其中使用多个留置光源25的示例的描述，但是当然，留置光源25的数量可以是一个。
如上所述，内窥镜系统11通过使用与拍摄部21分离地提供的留置光源25对患病部位进行照明。换句话说，使从留置光源25输出的照明光不经过拍摄部21照射到患病部位上。这消除了在刚性内窥镜镜体31的一部分中对用于将照明光辐照到患病部位上的照明光学器件(即用于照明光的光引导件)的需求，从而确保刚性内窥镜镜体31的直径减小与光学器件的尺寸一样多。结果，可改善内窥镜手术中的微创性。
<内窥镜系统的使用示例>
这里将参照图2给出图1中示出的内窥镜系统11的使用示例的描述。应该注意，与图1所示的情况中的部件和部分对应的图2中的部件和部分用相同的附图标记表示，并且将适当地省略其描述。
在图2所示的使用示例中，内窥镜系统11拍摄例如作为对象的手术部位101(待手术的身体内的区域)，并且基于描绘对象的内窥镜图像生成输出图像。然后，将输出图像供应并显示在监视器22上，并且外科医生等在观看显示在监视器22上的输出图像的同时进行内窥镜手术以对手术部位101进行治疗。
将刚性内窥镜镜体31例如插入患者12(人体)的体腔中，并且摄像头32拍摄作为对象的体腔中的组织的内窥镜图像。
即，拍摄部21例如在外观上包括握持在手中并且由从事该手术的从业人员(外科医生)操纵的摄像头32，和待插入患者12的身体中的呈细长导管形式的刚性内窥镜镜体31。
在内窥镜手术中，例如，将刚性内窥镜镜体31和作为治疗器械的镊子102插入患者12的身体中。
此外，在手术期间，通过保持在患者12的体腔中的留置光源25对手术部位101进行照明。在拍摄部21中，由手术部位101反射的照明光(即照明光的反射光)从刚性内窥镜镜体31的尖端进入刚性内窥镜镜体31并被图像传感器41接收，从而使手术部位101作为对象被拍摄。
在该示例中，将多个留置光源25预先从用于插入刚性内窥镜镜体31的伤口或其他部分插入患者12的体腔中，并保持在体腔中的手术部位101附近的位置。例如，可用夹子等紧固留置光源25。
应该注意，尽管图2中已经描述了其中将留置光源25中的每个保持在患者12的体腔中的手术部位101附近的位置的示例，但是可以任何方式布置留置光源25，只要以这样的方式布置留置光源25即可，即适当地对手术部位101(对象)进行照明。
例如，可将留置光源25中的每个紧固到插入患者12中的紧固件，如图3所示。应该注意，与图2所示的情况中的部件和部分对应的图3中的部件和部分用相同的附图标记表示，并且将适当地省略其描述。
在图3所示的示例中，紧固件被插入并紧固在患者12中，并且将留置光源25紧固到紧固件，从而使多个留置光源25中的每个布置在体腔中的手术部位101附近。
除了上述之外，例如，单向长的照明光源可用作留置光源25并插入患者12的体腔中且紧固在其中。可替代地，可通过使用某种绳线将留置光源25紧固到两对镊子102。
<不均匀照明校正>
接下来将给出在拍摄内窥镜图像期间不均匀照明的出现和这种不均匀照明的校正的描述。
在通过多个留置光源25对手术部位进行照明的情况下，在手术部位附近出现不均匀照明，即不均匀照明分布，如例如图4所示。
在图4所示的示例中，圆形区域R11表示手术部位中的刚性内窥镜镜体31的观察视野的区域。
此外，在由箭头Q11指示的位置处具有中心的同心圆描绘了由留置光源25中的一个对手术部位进行照明的方式。类似地，在分别由箭头Q12和Q13指示的位置处具有中心的同心圆描绘了由彼此不同的其他留置光源25对手术部位进行照明的方式。这里，每个区域的阴影表示由照明光产生的照明强度，即照明强度分布。
如上所述，当手术部位由多个留置光源25进行照明时，照明强度在手术部位的观察视野的区域R11的不同位置之间变化，从而导致不均匀照明。具体地，用照明光照射的手术部位的每个区域中的照明强度根据以下来改变：留置光源25自身的照明强度(即，照明光的量)、从留置光源25到手术部位的距离以及其他因素。
此外，在拍摄内窥镜图像期间，手术部位的形状由于待手术的患者12(活体)的搏动、手术或其他原因而改变。
因此，随着由于手术部位的形状改变引起的从留置光源25到手术部位的距离、手术部位与留置光源25中的每个之间的位置关系以及其他因素随时间而变化，例如，不均匀照明也在时间方向上变化，如图5所示。
应该注意，图5中的水平方向表示时间，并且每个矩形表示作为视频的内窥镜图像的帧。此外，帧的每个位置处的阴影表示每个位置处的照明强度，即像素亮度值。
在该示例中，从第一帧FL11到帧FL12的相应连续帧具有大致相同的不均匀照明分布，换句话说，具有大致相同的照明强度分布。然而，帧FL12和下一个帧FL13具有明显不同的不均匀照明分布。如上所述，在内窥镜图像中，不仅其照明强度(亮度)而且其照明强度分布在帧的不同区域之间随着时间而变化。
由于这个原因，内窥镜系统11执行控制(例如，如图6所示)，使得以恒定的时间间隔将留置光源25中的每个的照明强度(照明光的量)降低到低于正常照明强度仅持续内窥镜图像的一个帧长的拍摄时间段，从而通过使用具有不同照明强度的帧(图像)来计算不均匀照明校正参数。应该注意，与图4所示的情况中的部件和部分对应的图6中的部件和部分用相同的附图标记表示，并且将适当地省略其描述。
在图6中的由箭头W11指示的部分中，描绘了当手术部位由留置光源25中的每个以预定照明强度(下文中也称为正常照明强度)照明时在手术部位处的照明强度分布。在该示例中，尽管具有不均匀照明，但是相应的区域被明亮地照明。
相比之下，图6中的由箭头W12指示的部分描绘了当手术部位由留置光源25中的每个以低于正常照明强度的照明强度(下文中也称为低照明强度)照明时在手术部位处的照明强度分布。在该示例中，手术部位较暗，因为照明强度低于在正常照明强度下的照明期间。然而，与在正常照明强度下的照明期间相比，手术部位具有更少的不均匀照明。即，手术部位的相应区域被大致均匀地照明。
应当注意，在低照明强度下的照明期间，照明强度可为零，即，可切断留置光源25中的每个，以便使照明光照射(照明)停止。此外，在低照明强度下的照明期间，只要由多个留置光源25产生的总照明强度低于在正常照明强度下的照明期间，就可将留置光源25中的每个设置为任何照明强度。下面将通过假设在低于正常照明强度但高于零的给定照明强度下进行照明来继续进行描述。
内窥镜系统11执行控制，使得内窥镜图像基本上在正常照明强度的照明下拍摄，并且以恒定的时间间隔在较低照明强度下的照明下拍摄仅持续一个帧长的拍摄时间。
当控制照明强度时，光源控制部51生成光源控制信息，该光源控制信息用于指示以正常或低照明强度使照明光照射，并将光源控制信息供应给控制信号源24和信号处理部53。此外，控制信号源24生成与光源控制信息成比例的光源控制信号，并通过无线发送光源控制信号来控制由留置光源25产生的照明。
结果，获得例如图7所示的内窥镜图像。应该注意，图7中的水平方向表示时间，并且每个矩形表示作为视频的内窥镜图像的帧。此外，帧的每个位置处的阴影表示每个位置处的照明强度，即像素亮度值。
在图7所示的示例中，在帧FL22和FL24的拍摄时段期间以低照明强度进行照明，而在除帧FL22和FL24之外的帧的拍摄时段期间以正常照明强度进行照明，从而使每个帧被拍摄。
应当注意，尽管这里已经描述了其中以给定间隔(即，定期地)以低照明强度进行照明的示例，但是可不定期地以低照明强度进行照明。
如果用以这样的方式(即如上所述以恒定间隔以低照明强度进行照明)切换的照明强度来拍摄内窥镜图像，则内窥镜系统11基于以低照明强度照明的帧和在以低照明强度照明的帧附近的以正常照明强度照明的帧来计算不均匀照明校正参数。
换句话说，基于由拍摄部21拍摄的手术部位的图像(帧)(其中手术部位由留置光源25以正常照明强度照明)和由拍摄部21拍摄的手术部位的图像(帧)(其中手术部位以低于正常照明强度的照明强度照明)来校正内窥镜图像的不均匀照明。
具体来说，例如，内窥镜系统11基于彼此相邻的帧FL21和FL22计算在时段T11期间要使用的不均匀照明校正参数。帧FL21以正常照明强度照明，并且帧FL22以低照明强度照明。应当注意，除了上述之外，可通过使用例如帧FL22及其后续帧来计算不均匀照明校正参数。
这里，具体地，在正常照明强度的照明下拍摄的帧也将称为正常照明帧，并且具体地，在低照明强度的照明下拍摄的帧也将被称为低照明帧。
通过使用具有不同照明强度(亮度)的两个帧，即，以正常照明强度照明的明亮正常照明帧和具有最小不均匀照明的低照明帧，可获得适当的不均匀照明校正参数。应当注意，尽管针对内窥镜图像的每个像素进行计算，但是可针对包括内窥镜图像的相邻像素的每个区域计算不均匀照明校正参数。
将如上所述获得的不均匀照明校正参数从信号处理部53供应给用于记录的不均匀照明校正参数记录部52。然后，通过使用记录在不均匀照明校正参数记录部52中的不均匀照明校正参数，稍后执行不均匀照明校正过程。
即，在图7所示的示例中，例如，通过使用从帧FL21和FL22计算并记录在不均匀照明校正参数记录部52中的不均匀照明校正参数，在时段T11期间对帧中的每个执行不均匀照明校正过程。
这里，时段T11是从帧FL22(低照明帧)持续到帧FL23(紧接在下一个低照明帧FL24之前的帧)的时段。
类似地，内窥镜系统11基于帧FL23(正常照明帧)和帧FL24(低照明帧)计算待用于继续的帧FL24的不均匀照明校正参数。然后，将计算的不均匀照明校正参数供应给用于记录的不均匀照明校正参数记录部52。即，更新记录在不均匀照明校正参数记录部52中的不均匀照明校正参数。
如上所述，内窥镜系统11在获得低照明帧时计算(更新)不均匀照明校正参数。然后，在获得下一个低照明帧的同时，即在更新不均匀照明校正参数的同时，将获得的不均匀照明校正参数应用于每个帧。
此外，更具体地，当生成输出图像时，内窥镜系统11不仅执行不均匀照明校正过程，还执行增益调整过程和降噪处理。
例如，我们假设获得内窥镜图像，该内窥镜图像包括在一天的不同时间的连续帧，如图8中的箭头W21所指示。应该注意，与图7所示的情况中的部件和部分对应的图8中的部件和部分用相同的附图标记表示，并且将适当地省略其描述。此外，图8中的水平方向表示时间，并且每个矩形表示作为视频的内窥镜图像的帧。进一步地，帧的每个位置处的阴影表示每个位置处的照明强度，即像素亮度值。
例如，如果获得由箭头W21指示的内窥镜图像，则在获得低照明帧时计算不均匀照明校正参数。
结果，通过使用计算的不均匀照明校正参数对帧中的每个执行不均匀照明校正过程。在不均匀照明校正过程中，例如，目标帧的像素中的每个的像素值乘以与像素对应的不均匀照明校正参数，从而校正帧中的不均匀照明。
由箭头W22指示的内窥镜图像表示一种内窥镜图像，该内窥镜图像的所有帧都经历不均匀照明校正过程。在该示例中，在每个帧中校正了不均匀照明，从而提供无不均匀照明并具有适当照明分布的帧。
具体来说，在由箭头W22指示的内窥镜图像中，例如，帧FL21'表示作为对帧FL21执行的不均匀照明校正过程的结果而获得的帧，并且帧FL22'表示作为对帧FL22执行的不均匀照明校正过程的结果而获得的帧。此外，帧FL24'表示作为对帧FL24执行的不均匀照明校正过程的结果而获得的帧。
适当地，在不均匀照明校正过程之后，进行增益调整过程，并且进一步地进行针对每个帧的降噪处理，从而提供由箭头W23指示的输出图像。应当注意，更详细地，将每个帧依次选择为目标，并且使目标帧经受不均匀照明校正过程和降噪处理。即，依次处理每个帧。
这里，例如，作为对帧FL21'执行的降噪处理的结果而获得的帧FL21”是与内窥镜图像的帧FL21对应的输出图像的帧。此外，作为对帧FL22'执行的增益调整过程和降噪处理的结果而获得的帧FL22”是与内窥镜图像的帧FL22对应的输出图像的帧。类似地，作为对帧FL24'执行的增益调整过程和降噪处理的结果而获得的帧FL24”是与内窥镜图像的帧FL24对应的输出图像的帧。
具体地，由箭头W23指示的输出图像是明亮视频，该明亮视频的不均匀照明在每个帧中已经被校正，并且该明亮视频在每个帧中具有大致相同的亮度。
具体来说，对整体亮度较低的低照明帧(即，比正常照明帧暗的帧)执行增益调整过程，使得低照明帧的总明度(亮度)与正常照明帧相等。相比之下，不对正常照明帧执行增益调整过程。
应当注意，仅需要基于正常照明强度与低照明强度之间的比率或其他值预先计算用于增益调整过程的增益值。除了上述之外，例如，在计算不均匀照明校正参数期间，可根据所有正常照明帧的平均亮度值与所有低照明帧的平均亮度值之间的差值或比率来计算增益值。
这里，仅对低照明帧执行增益调整过程，因为低照明帧在整体上比正常照明帧暗，并且因此，当切换照明强度时，不均匀照明校正过程单独产生在每个时间间隔为暗的输出图像。内窥镜系统11通过低照明帧的增益调节为图像的所有帧实现大致相同的亮度。
此外，未经受增益调整过程的正常照明帧和已经受增益调整过程的低照明帧经历作为降噪处理的滤波过程，每个使用给定的NR滤波因子。这些帧用作输出图像的帧。
应当注意，可以不同的处理强度执行针对正常照明帧和低照明帧的降噪处理。
例如，作为上述增益调整过程的结果，低照明帧的亮度达到与正常照明帧的亮度相当的水平。然而，低照明帧是最初在低于正常照明强度的照明下拍摄的帧。因此，增益调整过程加强了噪声。
由于这个原因，可以比正常照明帧高的处理强度对低照明帧执行降噪处理，以便提供一种图像，该图像的低照明帧的亮度水平(明度)和噪声感知与正常照明帧的亮度水平(明度)和噪声感知相当。
具体来说，例如，为了调整降噪处理的处理强度，仅需要使用处理强度调整因子来调整处理强度。例如，我们假设可预先利用正常强度调整因子(用于将降噪处理的处理强度调整为正常处理强度的处理强度调整因子)，和高强度调整因子(用于将降噪处理的处理强度调整为高于正常处理强度的处理强度调整因子)。
在这种情况下，信号处理部53通过使用通过将NR滤波因子乘以高强度调整因子而获得的因子对低照明帧执行降噪处理。此外，信号处理部53通过使用通过将NR滤波因子乘以正常强度调整因子而获得的因子对正常照明帧执行降噪处理。
结果，以比正常照明帧高的处理强度对低照明帧执行降噪处理，从而更大程度地降低噪声。
应当注意，降噪处理的处理强度可以任何方式进行调整，诸如通过改变用于降噪处理的NR滤波因子的抽头范围，而不是通过将NR滤波因子乘以高强度调整因子或正常强度调整因子。
如上所述，在通过使用由留置光源25产生的照明光来拍摄患者12的体腔中的手术区域的情况下，内窥镜系统11提供具有降低的不均匀照明(即降低的不均匀照明分布)的输出图像，该不均匀照明随时间变化。
<不均匀照明校正参数>
这里将给出上述不均匀照明校正参数的具体计算示例的描述。
例如，我们假设在由留置光源25产生的照明下不存在不均匀照明，并且通过以正常照明强度产生的照明和以低照明强度产生的照明获得如图9所示的照明分布。
应该注意，图9中的由箭头W31指示的部分表示当手术部位由留置光源25中的每个以正常照明强度照明时手术部位中的照明强度分布。此外，由箭头W32指示的部分表示当手术部位由留置光源25中的每个以低照明强度照明时手术部位中的照明强度分布。
进一步地，在由箭头W31和W32指示的部分中，同心圆中的每个描绘其中手术部位由留置光源25中的一个照明的方式。每个区域的阴影表示由照明光产生的照明强度。
在图9所示的示例中，不存在不均匀照明。因此，由箭头W31指示的部分具有匀致的整体照明强度分布，即匀致的亮度分布。结果，如果将该手术部位的内窥镜图像作为对象拍摄，则获得具有匀致的亮度的明亮内窥镜图像。类似地，尽管由于在低照明强度下进行照明而在整体上是暗的，但是由箭头W32指示的部分具有匀致的整体照明强度分布，即匀致的亮度分布。
这里，由箭头Q31至Q33指示的手术部位的相应位置也将称为观察点“a”至“c”。
例如，由箭头Q31指示的观察点“a”位于刚性内窥镜镜体31的观察区域的大致中心处，并且由箭头Q32指示的观察点“b”位于图中观察点“a”的下方。此外，由箭头Q33指示的观察点“c”位于图中观察点“a”的下方和右侧。
进一步地，在由箭头W31指示的照明条件下拍摄的内窥镜图像(即，在正常照明强度的照明下拍摄的内窥镜图像)的帧中，在观察点“a”至“c”处的像素的亮度值将分别表示为亮度值Ia'、Ib'和Ic'。
此外，在由箭头W32指示的照明条件下拍摄的内窥镜图像(即，在低照明强度的照明下拍摄的内窥镜图像)的帧中，在观察点“a”至“c”处的像素的亮度值将分别表示为亮度值Ia、Ib和Ic。应当注意，在正常照明帧和在时间上彼此相邻的低照明帧中的相同观察点位于具有相同位置关系的像素位置处。即，假设例如观察点“a”位于正常照明帧中的帧的中心位置处，观察点“a”位于低照明帧中的帧的中心位置处。
在该示例中，不存在不均匀照明。因此，相对于在低照明强度的照明下的内窥镜图像的帧，在正常照明强度的照明下的内窥镜图像的帧的相同位置处的亮度值(像素值)的增加率是恒定的，而与内窥镜图像的帧的位置，即观察点的位置无关。
因此，(Ia'-Ia)/Ia＝(Ib'-Ib)/Ib＝Ic'-Ic)/Ic适用于观察点“a”至“c”成立，并且如果例如亮度值Ia和Ib相等(Ia＝Ib)，则亮度值Ia'和Ib'相等(Ia'＝Ib')。
这里，例如，(Ia'-Ia)/Ia表示在观察点“a”处正常照明帧的亮度值Ia'相对于低照明帧的亮度值Ia的增加率，即，低照明帧和正常照明帧之间的亮度变化率。
另一方面，假设存在由于留置光源25产生的照明引起的不均匀照明，通过以正常照明强度产生的照明和低照明强度产生的照明获得例如如图10所示的照明分布。应该注意，与图9所示的情况中的部件和部分对应的图10中的部件和部分用相同的附图标记表示，并且将适当地省略其描述。
在图10中的由箭头W41指示的部分中，描绘了当手术部位由留置光源25中的每个以正常照明强度照明时在手术部位处的照明强度分布。此外，在图10中的由箭头W42指示的部分中，描绘了当手术部位由留置光源25中的每个以低照明强度照明时在手术部位处的照明强度分布。
进一步地，在由箭头W41和W42指示的部分中，同心圆中的每个描绘其中手术部位由留置光源25中的一个照明的方式。每个区域的阴影表示由照明光产生的照明强度。
在图10所示的示例中，存在不均匀照明，并且由箭头W41指示的部分具有不均匀照明强度分布，即，不均匀亮度分布。例如，在由箭头Q31指示的观察点“a”的位置处和由箭头Q32指示的观察点“b”的位置处的照明强度高。然而，在由箭头Q33指示的观察点“c”的位置处的照明强度低于观察点“a”和“b”的照明强度。
类似地，在由箭头W42指示的部分中存在一定程度的不均匀照明，从而引起相当不匀致的整体照明强度分布，即亮度分布。
然而，尽管由于以低照明强度进行照明而整体上是暗的，但是由箭头W42指示的部分具有明显比以正常照明强度照明该部分的情况低的不均匀照明。换句话说，照明强度分布大致上匀致。
在该示例中，存在不均匀照明。因此，相对于在低照明强度的照明下的内窥镜图像的帧，在正常照明强度的照明下的内窥镜图像的帧的相同位置(像素)处的亮度值(像素值)的增加率随内窥镜图像的帧中的位置变化，即，根据观察点的位置而变化。
即，例如，(Ia'-Ia)/Ia≠(Ib'-Ib)/Ib适用于观察点“a”和“b”，并且即使当亮度值Ia和Ib相等(Ia＝Ib)时，亮度值Ia'和Ib'也不相等(Ia'≠Ib')。此时亮度值Ia'和Ib'之间的差异是不均匀照明。
如上所述，信号处理部53基于在时间上彼此相邻的正常照明帧和低照明帧，计算在每个像素位置处，即在每个观察点处的不均匀照明校正参数。
如果通过使用彼此相邻的两个帧来计算不均匀照明校正参数，则用于计算的两个帧之间的时间间隔最短。结果，可最小化由除不均匀照明之外的亮度变化因素(诸如由血液流动和手术部位的搏动引起的对象的移动)引起的影响。
在计算不均匀照明校正参数期间，帧(内窥镜图像)中的每个像素位置用作观察点，并且诸如帧的中心位置的预定给定观察点用作参考观察点。此外，在帧中的观察点中，注意力指向的观察点也将称为感兴趣的观察点。
下面将给出描述，该描述作为具体示例，假设上述观察点“a”用作参考观察点(下文中也称为参考观察点“a”)并且观察点“b”用作感兴趣的观察点(下文中也称为参考观察点“b”)。应当注意，在用于计算不均匀照明校正参数的正常照明帧和低照明帧中，正常照明帧中的参考观察点“a”的位置和低照明帧中参考观察点“a”的位置具有相同的位置关系。类似地，正常照明帧中感兴趣的观察点“b”的位置和低照明帧中的感兴趣的观察点“b”的位置具有相同的位置关系。
在针对感兴趣的观察点“b”计算不均匀照明校正参数的情况下，首先用在参考观察点“a”处的亮度变化率(Ia'-Ia)/Ia归一化感兴趣的观察点“b”处的亮度变化率(Ib'-Ib)/Ib，以求出归一化亮度变化率rb,a，即感兴趣的观察点“b”处的亮度变化率相对于参考观察点“a”处的亮度变化率的比率。即，通过使用下面的公式(1)计算归一化亮度变化率rb,a：
[数学式1]
rb，a＝{(I’b-Ib)/Ib}/{(I’a-Ia)/Ia}…(1)
接下来，求出所获得的归一化亮度变化率rb，a的倒数，并且将所获得的倒数用作感兴趣的观察点“b”的不均匀照明校正参数hb，a。即，通过使用下面的公式(2)计算不均匀照明校正参数hb，a：
[数学式2]
如上所述获得的不均匀照明校正参数hb，a使得可以与参考观察点“a”处的亮度变化率类似的方式校正感兴趣的观察点“b”处的亮度变化率。
在不均匀照明校正过程期间，通过使用不均匀照明校正参数hb，a来校正内窥镜图像的每个帧中的感兴趣的观察点“b”处的亮度值(像素值)。
例如，当通过使用不均匀照明校正参数hb，a的不均匀照明校正过程校正上述正常照明帧中的感兴趣的观察点‘b’处的亮度值Ib′时，使用下面的公式(3)计算校正的亮度值Ihb′：
[数学式3]
I’hb＝hb，a×(I’b-Ib)+Ib…(3)
此外，例如，参考观察点“a”的不均匀照明校正参数ha，a是通过类似于以上公式(1)的计算获得的参考观察点“a”的归一化亮度变化率ra，a的倒数。因此，可通过使用下面的公式(4)求出不均匀照明校正参数ha，a，并且该参数是1。
[数学式4]
ha，a＝1/ra，a＝1…(4)
因此，例如，如果通过不均匀照明校正过程校正在参考观察点“a”处的正常照明帧的亮度值Ia′，则实行下面的公式(5)中的计算，从而计算a校正的亮度值Iha′。
[数学式5]
I’ha＝ha，a×(I’a-Ia)+Ia＝(I’a-Ia)+Ia＝I’a…(5)
从公式(5)中的计算可清楚地看出，在参考观察点“a”处的亮度值在校正之前和之后保持不变。
进一步地，我们假设例如参考观察点“a”和感兴趣的观察点“b”在低照明帧中具有相同的亮度值。即，我们假设亮度值Ia和Ib相等(Ia＝Ib)。
在这种情况下，如下面的公式(6)所示，给出在感兴趣的观察点“b”处的不均匀照明校正参数hb,a：
[数学式6]
因此，当通过使用通过公式(6)中的计算获得的不均匀照明校正参数hb,a的不均匀照明校正过程来校正在感兴趣的观察点“b”处的正常照明帧的亮度值Ib'时，获得下面的公式(7)中示出的亮度值Ihb'。即，在不均匀照明校正过程中实行下面的公式(7)中的计算，从而计算校正的亮度值Ihb'。
[数学式7]
从数学式(7)的计算结果可清楚地看出，校正的亮度值Ihb'等于在参考观察点“a”处的正常照明帧的校正的亮度值Iha'。因此，在不均匀照明校正过程之后的正常照明帧中，在参考观察点“a”和感兴趣的观察点“b”处的亮度值相等，从而显而易见的是，已经适当地校正了不均匀照明。
如上所述的不均匀照明校正过程允许以这样的方式校正在每个观察点处的亮度值，即确保照明强度分布(即内窥镜图像的每个帧中的亮度分布)与低照明帧(具有最小不均匀照明的帧)的亮度分布大致相同。这允许适当地校正不均匀照明。
<参数计算过程的描述>
接下来将给出由上述内窥镜系统11执行的过程的描述。
首先，参照图11的流程图给出由内窥镜系统11执行的参数计算过程(与内窥镜图像的拍摄一起进行的用于计算不均匀照明校正参数的过程)的描述。
在步骤S11中，光源控制部51确定是否以低照明强度执行照明。
例如，内窥镜系统11基本上以正常照明强度对手术部位进行照明，但是以恒定的时间间隔以低照明强度执行照明仅持续内窥镜图像的一个帧长的拍摄时间段。在这种情况下，当到达以低照明强度执行照明的时间时，在步骤S11中进行确定以继续以低照明强度进行照明。
在步骤S11中确定不以低照明强度执行照明(即以正常照明强度执行照明)的情况下，在步骤S12中光源控制部51生成用于指示以正常照明强度执行照明的光源控制信息。
然后，光源控制部51将生成的光源控制信息供应给控制信号源24和信号处理部53。此外，控制信号源24基于从光源控制部51供应的光源控制信息生成光源控制信号，并且控制信号源24的传输部61通过无线通信发送光源控制信号。结果，留置光源25的接收部71接收从控制信号源24发送的光源控制信号。
在步骤S13中，内窥镜系统11以正常照明强度拍摄手术部位。
即，作为步骤S12中的过程的结果，基于从控制信号源24接收的光源控制信号，留置光源25以正常照明强度将照明光照射(输出)到(至)手术部位上。
当如上所述将照明光照射到手术部位上时，照明光被手术部位反射并进入刚性内窥镜镜体31。结果，通过在刚性内窥镜镜体31内部的观察光学器件引导进入刚性内窥镜镜体31的反射光，从而进入图像传感器41。
图像传感器41接收经由刚性内窥镜镜体31从手术部位进入图像传感器41的反射光，并将反射光转换为电信号，从而拍摄手术部位。此外，图像传感器41将通过拍摄获得的内窥镜图像的图像数据的帧份额供应给信号处理部53。
此时，被供应给信号处理部53的图像数据是内窥镜图像的正常照明帧的图像数据。信号处理部53可通过从光源控制部51供应的光源控制信息来找出是以正常照明强度还是以低照明强度执行照明。这使得可与照明控制同步地对通过拍摄获得的图像数据进行信号处理。
当由于如上所述利用以正常照明强度照明的手术部位进行拍摄而获得正常照明帧时，之后过程前进至步骤S18。
另一方面，在步骤S11中确定以低照明强度进行照明的情况下，在步骤S14中光源控制部51生成用于指示以低照明强度执行照明的光源控制信息，并将光源控制信息供应给控制信号源24和信号处理部53。
此外，控制信号源24基于从光源控制部51供应的光源控制信息生成光源控制信号，并且控制信号源24的传输部61通过无线通信发送光源控制信号。结果，留置光源25的接收部71接收从控制信号源24发送的光源控制信号。
在步骤S15中，内窥镜系统11以低照明强度拍摄手术部位。
即，作为步骤S14中的过程的结果，基于从控制信号源24接收的光源控制信号，留置光源25以低照明强度将照明光照射(输出)到(至)手术部位上。
当如上所述将照明光照射到手术部位上时，照明光被手术部位反射并进入刚性内窥镜镜体31，如步骤S13的情况。结果，反射光经由刚性内窥镜镜体31进入图像传感器41。
图像传感器41接收经由刚性内窥镜镜体31从手术部位进入图像传感器41的反射光并将反射光转换为电信号，从而拍摄手术部位，并将通过拍摄获得的内窥镜图像的图像数据的帧份额供应给信号处理部53。此时，被供应给信号处理部53的图像数据是内窥镜图像的正常照明帧的图像数据。
当由于如上所述利用以低照明强度照明的手术部位进行拍摄而获得低照明帧时，过程前进至步骤S16。
在步骤S16中，信号处理部53基于通过步骤S15中的过程获得的低照明帧的图像数据和正常照明帧(在时间上紧接在该低照明帧之前的帧)的图像数据来计算不均匀照明校正参数。
例如，信号处理部53实行与上述公式(1)和(2)相同的计算，并针对内窥镜图像的每个观察点(像素)计算不均匀照明校正参数。在这种情况下，通过使用在低照明帧和正常照明帧中具有相同位置关系的像素的亮度值，针对每个像素计算不均匀照明校正参数。
在步骤S17中，信号处理部53更新不均匀照明校正参数。即，信号处理部53将通过步骤S16中的过程获得的不均匀照明校正参数供应给不均匀照明校正参数记录部52，从而使得记录在不均匀照明校正参数记录部52中的不均匀照明校正参数被新供应的不均匀照明校正参数改写(重写)。
当如上所述更新不均匀照明校正参数时，之后过程前进至步骤S18。
当执行步骤S13中的过程或步骤S17中的过程时，在步骤S18中信号处理部53确定是否终止过程。例如，在内窥镜图像的拍摄结束的情况下，在步骤S18中确定终止过程。
在步骤S18中确定不终止过程的情况下，过程返回至步骤S11，并且重复上述过程。即，拍摄内窥镜图像的下一个帧，并且根据需要更新不均匀照明校正参数。
相比之下，在步骤S18中确定终止过程的情况下，参数计算过程结束。
如上所述，内窥镜系统11在控制照明强度的同时拍摄内窥镜图像，并且当拍摄低照明帧时更新不均匀照明校正参数。通过使用如上所述计算的不均匀照明校正参数，可适当地校正内窥镜图像的不均匀照明。即，可降低不均匀照明分布。
<输出图像生成过程的描述>
接下来将给出与参照图11描述的参数计算过程并行执行的输出图像生成过程的描述。即，下面将参照图12所示的流程图给出由内窥镜系统11执行的输出图像生成过程的描述。
在步骤S41中，当从图像传感器41供应内窥镜图像的图像数据的帧份额时，信号处理部53获得记录在不均匀照明校正参数记录部52中的不均匀照明校正参数。即，读出不均匀照明校正参数。
在步骤S42中，信号处理部53确定从图像传感器41供应的帧是否是在低照明强度的照明下拍摄的低照明帧。
在步骤S42中确定所供应的帧不是低照明帧(即，正常照明帧)的情况下，过程前进至步骤S43。
在步骤S43中，信号处理部53基于在步骤S41中获得的不均匀照明校正参数，对从图像传感器41供应的正常照明帧执行不均匀照明校正过程。例如，信号处理部53通过对正常照明帧的每个像素(观察点)执行与上述公式(3)类似的计算来校正每个像素的亮度值，从而减少不均匀照明。
在步骤S44中，信号处理部53对通过使用正常强度调整因子经受不均匀照明校正过程的通过在步骤S43中的过程获得的正常照明帧执行降噪处理。即，信号处理部53将NR滤波因子乘以预先可用的正常强度调整因子，并且通过使用通过相乘获得的因子，对正常照明帧执行作为降噪处理的滤波过程。然后，信号处理部53将通过降噪处理获得的帧用作输出图像的帧。
当获得输出图像帧时，之后过程前进至步骤S48。
相比之下，在步骤S42中确定所供应的帧是低照明帧的情况下，过程前进至步骤S45。
在步骤S45中，信号处理部53基于在步骤S41中获得的不均匀照明校正参数，对从图像传感器41供应的低照明帧执行不均匀照明校正过程。例如，信号处理部53通过对低照明帧的每个像素(观察点)执行与上述数学式(3)类似的计算来校正每个像素的亮度值，从而降低不均匀照明。
在步骤S46中，信号处理部53对已经经受不均匀照明校正过程的通过步骤S45中的过程获得的低照明帧执行增益调整过程。
在增益调整过程期间，使用已经例如通过如上所述的正常照明帧、低照明帧等计算的增益值。
在步骤S47中，信号处理部53通过使用高强度调整因子，对已经经受增益调整过程的通过步骤S46中的过程获得的低照明帧执行降噪处理。
即，信号处理部53将NR滤波因子乘以预先可用的高强度调整因子，并且通过使用通过相乘获得的因子来对低照明帧执行作为降噪处理的滤波过程。然后，信号处理部53将通过降噪处理获得的帧用作输出图像的帧。
当获得输出图像帧时，之后过程前进至步骤S48。
当在步骤S44中的过程或步骤S47中的过程之后获得输出图像帧时，在步骤S48中信号处理部53将所获得的输出图像帧输出到监视器22进行显示。
在步骤S49中，信号处理部53确定是否终止过程。例如，在输出图像的显示结束的情况下，在步骤S49中确定终止过程。
在步骤S49中确定不终止过程的情况下，过程返回到步骤S41，并且重复上述过程。即，生成输出图像的下一个帧并将其输出。
相比之下，在步骤S49中确定终止过程的情况下，输出图像生成过程结束。
如上所述，内窥镜系统11对通过拍摄获得的内窥镜图像的帧执行不均匀照明校正过程和其他过程，从而生成输出图像。不均匀照明校正过程和其他过程提供已经校正其不均匀照明的输出图像。即，可降低不均匀照明分布。
<计算机的配置示例>
顺便提及，上述一系列过程可由硬件或软件执行。在通过软件执行一系列过程的情况下，将包括在软件中的程序安装到计算机。这里，计算机包括并入在专用硬件中的计算机、能够通过安装各种程序而执行各种功能的通用计算机等。
图13是示出用于使用程序执行上述一系列过程的计算机的硬件配置示例的框图。
在计算机中，CPU(中央处理单元)501、ROM(只读存储器)502和RAM(随机存取存储器)503通过总线504彼此连接。
I/O接口505进一步连接到总线504。输入部506、输出部507、记录部508、通信部509和驱动器510连接到I/O接口505。
输入部506包括键盘、鼠标、麦克风、成像元件等。输出部507包括显示器、扬声器等。记录部508包括硬盘、非易失性存储器等。通信部509包括网络接口等。驱动器510驱动可移除记录介质511，诸如磁盘、光盘、磁光盘或半导体存储器。
在如上所述配置的计算机中，CPU 501例如经由I/O接口505和总线504将记录在记录部508中的程序加载到RAM 503中以便执行，从而使上述一系列过程被执行。
由计算机(CPU 501)执行的程序可被记录在例如作为封装介质等的可移除记录介质511中并被提供。此外，可经由有线或无线传送介质(诸如局域网、因特网和数字卫星广播)来提供程序。
在计算机中，可通过将可移除记录介质511插入驱动器510中经由I/O接口505将程序安装到记录部508。此外，程序可由通信部509经由有线或无线传送介质接收并且被安装到记录部508。除了上述之外，程序可预先安装到ROM 502或记录部508。
应当注意，由计算机执行的程序可按照本说明书中描述的顺序按时间顺序执行过程，或并行地执行过程，或在调用程序时在必要时间执行过程。
应当注意，本技术的实施例不限于上述那些，并且可在不脱离本技术的主旨的情况下以各种方式进行修改。
例如，本技术可具有云计算配置，其中多个装置经由网络以共享和协作的方式处理一个功能。
此外，上述流程图中描述的步骤中的每个不仅可由单个装置执行，而且可由多个装置以共享方式执行。
进一步地，在一个步骤包括多个过程的情况下，此步骤中包括的多个过程不仅可由单个装置执行，而且可由多个装置以共享方式执行。
此外，本说明书中描述的效果仅仅是说明性的而非限制性的，并且可存在其他效果。
进一步地，本技术可具有以下配置：
(1)
一种图像处理设备，包括：
信号处理部，适于校正图像的不均匀照明，所述图像在利用布置在患者的身体内的光源照明待手术的所述患者的身体内的对象状态下拍摄，所述信号处理部基于正常照明图像和低照明图像校正所述不均匀照明，所述正常照明图像在以给定照明强度照明所述身体内的所述对象的状态下拍摄，所述低照明图像在以比所述给定照明强度低的照明强度照明所述对象的状态下拍摄。
(2)
根据(1)所述的图像处理设备，其中
所述低照明图像包括在使所述光源产生的照明停止的状态下拍摄的图像。
(3)
根据(1)或(2)所述的图像处理设备，所述图像处理设备还包括：
光源控制部，适于控制由所述光源产生的照明。
(4)
根据(1)至(3)中任一项所述的图像处理设备，其中
所述信号处理部基于所述正常照明图像和所述低照明图像计算用于校正所述不均匀照明的校正参数，并且基于所述校正参数对所述图像的不均匀照明进行校正。
(5)
根据(4)所述的图像处理设备，其中
所述信号处理部基于所述正常照明图像和所述低照明图像之间的亮度变化率来计算所述校正参数。
(6)
根据(5)所述的图像处理设备，其中
所述信号处理部基于在给定位置处的亮度变化率和在与所述给定位置不同的位置处的亮度变化率来计算在所述给定位置处的所述校正参数。
(7)
根据(1)至(6)中任一项所述的图像处理设备，还包括：
拍摄部，包括刚性内窥镜镜体，并且适于通过接收光来拍摄所述图像，所述光是经由所述刚性内窥镜镜体从所述身体内的所述对象入射的。
(8)
根据(1)至(7)中任一项所述的图像处理设备，其中
所述图像包括视频，所述视频包括每一个所述正常照明图像和所述低照明图像作为一帧。
(9)
根据(8)所述的图像处理设备，其中
所述信号处理部通过对视频的不均匀照明进行校正并且对通过不均匀照明校正而获得的视频执行噪声降低处理，来生成输出视频。
(10)
根据(9)所述的图像处理设备，其中
在所述视频的帧包括所述低照明图像的情况下，所述信号处理部首先通过校正所述低照明图像的不均匀照明，再进行增益调整并且对通过增益调整获得的图像执行所述噪声降低处理来生成一帧所述输出视频，并且
在所述视频的帧包括所述正常照明图像的情况下，所述信号处理部通过校正所述正常照明图像的不均匀照明并且对通过不均匀照明校正获得的图像执行噪声降低处理，来生成一帧所述输出视频。
(11)
根据(10)所述的图像处理设备，其中
在所述视频的帧包括所述低照明图像的情况下，所述信号处理部以比在所述视频的帧包括所述正常照明图像的情况下高的处理强度对通过增益调整而获得的图像执行噪声降低处理。
(12)
一种图像处理方法，包括：
校正图像的不均匀照明，所述图像在利用布置在患者的身体内的光源照明待手术的所述患者的身体内的对象状态下拍摄，基于正常照明图像和低照明图像来校正所述不均匀照明，所述正常照明图像在以给定照明强度照明所述身体内的所述对象的状态下拍摄，所述低照明图像在以比所述给定照明强度低的照明强度照明所述对象的状态下拍摄。
(13)
一种内窥镜系统，所述内窥镜系统包括：
拍摄部，包括刚性内窥镜镜体，并且适于通过接收光来拍摄图像，所述光是经由所述刚性内窥镜镜体从待手术的患者的身体内的对象入射的；以及
信号处理部，所述信号处理部基于正常照明图像和低照明图像适于校正图像的不均匀照明，所述图像由拍摄部在利用布置在患者的身体内的光源照明所述患者的身体内的对象状态下拍摄，所述正常照明图像在以给定照明强度照明所述身体内的所述对象的状态下拍摄，所述低照明图像在以比所述给定照明强度低的照明强度照明所述对象的状态下拍摄。
[附图标记列表]
11内窥镜系统，21拍摄部，23CCU，24控制信号源，25-1至25-N
25留置光源，31刚性内窥镜镜体，32摄像机头，41图像传感器，
51光源控制部，52不均匀照明校正参数记录部，53信号处理部。

Claims (13)

1.一种图像处理装置，包括：
信号处理部，适于校正图像的不均匀照明，所述图像在利用布置在患者的身体内的光源照明待手术的所述患者的身体内的对象状态下拍摄，所述信号处理部基于正常照明图像和低照明图像校正所述不均匀照明，所述正常照明图像在以给定照明强度照明所述身体内的所述对象的状态下拍摄，所述低照明图像在以比所述给定照明强度低的照明强度照明所述对象的状态下拍摄。
2.根据权利要求1所述的图像处理装置，其中
所述低照明图像包括在使所述光源产生的照明停止的状态下拍摄的图像。
3.根据权利要求1所述的图像处理装置，还包括：
光源控制部，适于控制由所述光源产生的照明。
4.根据权利要求1所述的图像处理装置，其中
所述信号处理部基于所述正常照明图像和所述低照明图像计算用于校正所述不均匀照明的校正参数，并且基于所述校正参数对所述图像的不均匀照明进行校正。
5.根据权利要求4所述的图像处理装置，其中
所述信号处理部基于所述正常照明图像和所述低照明图像之间的亮度变化率来计算所述校正参数。
6.根据权利要求5所述的图像处理装置，其中
所述信号处理部基于在给定位置处的亮度变化率和在与所述给定位置不同的位置处的亮度变化率来计算在所述给定位置处的所述校正参数。
7.根据权利要求1所述的图像处理装置，还包括：
拍摄部，包括刚性内窥镜镜体，并且适于通过接收光来拍摄所述图像，所述光是经由所述刚性内窥镜镜体从所述身体内的所述对象入射的。
8.根据权利要求1所述的图像处理装置，其中
所述图像包括视频，所述视频包括每一个所述正常照明图像和所述低照明图像作为一帧。
9.根据权利要求8所述的图像处理装置，其中
所述信号处理部通过对视频的不均匀照明进行校正并且对通过不均匀照明校正而获得的视频执行噪声降低处理，来生成输出视频。
10.根据权利要求9所述的图像处理装置，其中
在所述视频的帧包括所述低照明图像的情况下，所述信号处理部首先通过校正所述低照明图像的不均匀照明，再进行增益调整并且对通过增益调整获得的图像执行所述噪声降低处理来生成一帧所述输出视频并且
在所述视频的帧包括所述正常照明图像的情况下，所述信号处理部通过校正所述正常照明图像的不均匀照明并且对通过不均匀照明校正获得的图像执行噪声降低处理，来生成一帧所述输出视频。
11.根据权利要求10所述的图像处理装置，其中
在所述视频的帧包括所述低照明图像的情况下，所述信号处理部以比在所述视频的帧包括所述正常照明图像的情况下高的处理强度对通过增益调整而获得的图像执行噪声降低处理。
12.一种图像处理方法，包括以下步骤：
校正图像的不均匀照明，所述图像在利用布置在患者的身体内的光源照明待手术的所述患者的身体内的对象状态下拍摄，基于正常照明图像和低照明图像来校正所述不均匀照明，所述正常照明图像在以给定照明强度照明所述身体内的所述对象的状态下拍摄，所述低照明图像在以比所述给定照明强度低的照明强度照明所述对象的状态下拍摄。
13.一种内窥镜系统，包括：
拍摄部，包括刚性内窥镜镜体，并且适于通过接收光来拍摄图像，所述光是经由所述刚性内窥镜镜体从待手术的患者的身体内的对象入射的；以及
信号处理部，所述信号处理部适于基于正常照明图像和低照明图像校正图像的不均匀照明，所述图像由拍摄部在布置在患者的身体内的光源照明所述患者的身体内的对象状态下拍摄，所述正常照明图像在以给定照明强度照明所述身体内的所述对象的状态下拍摄，所述低照明图像在以比所述给定照明强度低的照明强度照明所述对象的状态下拍摄。
CN201880014394.2A 2017-03-03 2018-02-19 图像处理装置和方法以及内窥镜系统 Active CN110352032B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017040137A JP2018143400A (ja) 2017-03-03 2017-03-03 画像処理装置および方法、並びに内視鏡システム
JP2017-040137 2017-03-03
PCT/JP2018/005653 WO2018159346A1 (ja) 2017-03-03 2018-02-19 画像処理装置および方法、並びに内視鏡システム

Publications (2)

Publication Number Publication Date
CN110352032A true CN110352032A (zh) 2019-10-18
CN110352032B CN110352032B (zh) 2022-09-27

Family

ID=63371058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880014394.2A Active CN110352032B (zh) 2017-03-03 2018-02-19 图像处理装置和方法以及内窥镜系统

Country Status (5)

Country Link
US (1) US10939051B2 (zh)
EP (1) EP3590414A4 (zh)
JP (1) JP2018143400A (zh)
CN (1) CN110352032B (zh)
WO (1) WO2018159346A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111935415A (zh) * 2020-08-18 2020-11-13 浙江大华技术股份有限公司 亮度调整方法、装置、存储介质及电子装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11328390B2 (en) 2020-05-13 2022-05-10 Ambu A/S Method for adaptive denoising and sharpening and visualization systems implementing the method

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5920646A (en) * 1996-03-04 1999-07-06 Ricoh Company, Ltd. Digital copying apparatus capable of forming a superior quality image with a reduced amount of memory
CN101044974A (zh) * 2006-03-27 2007-10-03 伊西康内外科公司 用于进行经皮照明的装置和方法
US20100225797A1 (en) * 2006-05-15 2010-09-09 Zoran Corporation Techniques for modifying image field data obtained using illumination sources
CN102572224A (zh) * 2010-12-29 2012-07-11 索尼公司 图像处理装置、图像处理方法和程序
CN103269636A (zh) * 2010-12-24 2013-08-28 奥林巴斯株式会社 内窥镜装置以及程序
CN103371795A (zh) * 2012-04-18 2013-10-30 索尼公司 图像处理装置和图像处理方法
CN103634529A (zh) * 2012-08-24 2014-03-12 索尼公司 原始数据处理装置、原始数据处理方法和成像设备
US20140092215A1 (en) * 2012-10-02 2014-04-03 Canon Kabushiki Kaisha Endoscopic system
CN103764013A (zh) * 2011-08-25 2014-04-30 奥林巴斯株式会社 自动曝光控制装置、控制装置、内窥镜装置和自动曝光控制方法
US20150230698A1 (en) * 2000-07-14 2015-08-20 Novadaq Technologies Inc. Compact Fluorescence Endoscopy Video System
JP2015195499A (ja) * 2014-03-31 2015-11-05 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
CN105682534A (zh) * 2013-12-25 2016-06-15 奥林巴斯株式会社 内窥镜系统以及像素校正方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006106121A (ja) * 2004-09-30 2006-04-20 Toshiba Corp 映像表示装置
US20070027362A1 (en) 2005-07-27 2007-02-01 Olympus Medical Systems Corp. Infrared observation system
JP2007075366A (ja) * 2005-09-14 2007-03-29 Olympus Medical Systems Corp 赤外観察システム
JP2007105218A (ja) 2005-10-13 2007-04-26 Pentax Corp 内視鏡システム，照明カプセル及び照明システム
JP2009031451A (ja) * 2007-07-25 2009-02-12 Eastman Kodak Co 表示装置
WO2010050244A1 (ja) 2008-10-31 2010-05-06 合同会社ジャパン・メディカル・クリエーティブ 手術用照明システム
JP5359370B2 (ja) * 2009-02-26 2013-12-04 株式会社リコー 原稿照明装置並びにそれを用いた画像読取装置
JP2012100733A (ja) 2010-11-08 2012-05-31 Fujifilm Corp 内視鏡診断装置
JP3176102U (ja) 2012-03-27 2012-06-14 国立大学法人愛媛大学 手術用照明装置
JP5996287B2 (ja) 2012-06-12 2016-09-21 オリンパス株式会社 撮像装置、顕微鏡装置、内視鏡装置
JP2014086996A (ja) * 2012-10-26 2014-05-12 Iix Inc 画質調整装置、画質調整回路（ｉｃ）、及び表示パネル
JP6391372B2 (ja) 2014-09-01 2018-09-19 国立大学法人 奈良先端科学技術大学院大学 生体組織用イメージングデバイス及び生体組織用イメージングデバイスの作動方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5920646A (en) * 1996-03-04 1999-07-06 Ricoh Company, Ltd. Digital copying apparatus capable of forming a superior quality image with a reduced amount of memory
US20150230698A1 (en) * 2000-07-14 2015-08-20 Novadaq Technologies Inc. Compact Fluorescence Endoscopy Video System
CN101044974A (zh) * 2006-03-27 2007-10-03 伊西康内外科公司 用于进行经皮照明的装置和方法
US20100225797A1 (en) * 2006-05-15 2010-09-09 Zoran Corporation Techniques for modifying image field data obtained using illumination sources
CN103269636A (zh) * 2010-12-24 2013-08-28 奥林巴斯株式会社 内窥镜装置以及程序
CN102572224A (zh) * 2010-12-29 2012-07-11 索尼公司 图像处理装置、图像处理方法和程序
CN103764013A (zh) * 2011-08-25 2014-04-30 奥林巴斯株式会社 自动曝光控制装置、控制装置、内窥镜装置和自动曝光控制方法
CN103371795A (zh) * 2012-04-18 2013-10-30 索尼公司 图像处理装置和图像处理方法
CN103634529A (zh) * 2012-08-24 2014-03-12 索尼公司 原始数据处理装置、原始数据处理方法和成像设备
US20140092215A1 (en) * 2012-10-02 2014-04-03 Canon Kabushiki Kaisha Endoscopic system
CN105682534A (zh) * 2013-12-25 2016-06-15 奥林巴斯株式会社 内窥镜系统以及像素校正方法
JP2015195499A (ja) * 2014-03-31 2015-11-05 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111935415A (zh) * 2020-08-18 2020-11-13 浙江大华技术股份有限公司 亮度调整方法、装置、存储介质及电子装置

Also Published As

Publication number Publication date
JP2018143400A (ja) 2018-09-20
EP3590414A4 (en) 2020-03-18
CN110352032B (zh) 2022-09-27
WO2018159346A1 (ja) 2018-09-07
US20200236271A1 (en) 2020-07-23
EP3590414A1 (en) 2020-01-08
US10939051B2 (en) 2021-03-02

Similar Documents

Publication Publication Date Title
US20210267445A1 (en) System for obtaining clear endoscope images
US10048206B2 (en) Fluorescence viewing device and fluorescence viewing method
EP3492037A1 (en) Control device, control system, and control method
US20120026339A1 (en) White balance adjustment method and imaging device
US11025835B2 (en) Imaging device, endoscope apparatus, and method for operating imaging device
US10736499B2 (en) Image analysis apparatus, image analysis system, and method for operating image analysis apparatus
US11843756B2 (en) Image signal processing to compensate for scene changes
JPWO2016114231A1 (ja) 内視鏡システム
CN103796570B (zh) 摄像系统
CN110352032A (zh) 图像处理装置和方法以及内窥镜系统
JP2006314504A (ja) 内視鏡プロセッサ
JP2009060237A (ja) 撮影装置
JP2017223706A (ja) 蛍光観察装置及び蛍光観察方法
US20230039047A1 (en) Image processing apparatus, image processing method, navigation method and endoscope system
US10021312B2 (en) Endoscope system and method for operating endoscope system
US11244478B2 (en) Medical image processing device, system, method, and program
CN106856560A (zh) 手术用影像捕获设备及其影像撷取方法
JP2012147882A (ja) 内視鏡用画像撮像装置
CN106455948A (zh) 摄像系统
US11936989B2 (en) Apparatuses, systems, and methods for gaze-based auto-exposure management of image frames
WO2022266126A1 (en) Auto-exposure management of multi-component images
US20220261967A1 (en) Endoscopic surgery system, image processing apparatus, and image processing method
WO2023090044A1 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
WO2011135484A1 (en) Device and method for providing subtraction images
CN105899123A (zh) 用于内窥镜的视频处理器和具有该视频处理器的内窥镜系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant