CN111867439A - 具有内窥镜和图像传感器的系统以及用于处理医疗图像的方法 - Google Patents

具有内窥镜和图像传感器的系统以及用于处理医疗图像的方法 Download PDF

Info

Publication number
CN111867439A
CN111867439A CN201980018915.6A CN201980018915A CN111867439A CN 111867439 A CN111867439 A CN 111867439A CN 201980018915 A CN201980018915 A CN 201980018915A CN 111867439 A CN111867439 A CN 111867439A
Authority
CN
China
Prior art keywords
image
data
image sensor
effective
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980018915.6A
Other languages
English (en)
Inventor
川井崇史
细野喜代司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111867439A publication Critical patent/CN111867439A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Abstract

一种系统包括内窥镜，该内窥镜包括镜体和图像传感器。图像传感器被配置为捕获包括有效图像部分数据和机械渐晕部分数据的医疗图像数据，医疗图像数据的机械渐晕部分数据是由于由生成医疗图像数据的图像传感器与镜体的差异引起的机械渐晕而生成的。还具有电路，其被配置为从来自有效图像部分数据的图像数据确定评估信息，并且基于评估信息执行控制处理以至少部分地控制内窥镜上的自动聚焦处理和自动白平衡处理中的至少一个。

Description

具有内窥镜和图像传感器的系统以及用于处理医疗图像的 方法
技术领域
本技术涉及内窥镜系统、控制方法、信息处理装置和程序，并且更具体地，涉及能够拍摄适合于外科手术的内窥镜图像的内窥镜系统、控制方法、信息处理装置和程序。
<相关申请的交叉引用>
本申请要求于2018年3月20日提交的日本优先权专利申请JP 2018-051955的权益，其全部内容通过引用结合于此。
背景技术
近年来，具有低侵入性的内窥镜外科手术引起了关注。为了获得适合于外科手术的内窥镜图像，已经提出了一种具有自动聚焦(AF)功能、自动曝光(AE)功能和自动白平衡(AWB)功能的内窥镜。
例如，专利文献1公开了通过基于内窥镜图像计算焦点评估值来执行内窥镜的AF功能的技术。
引用列表
专利文献
专利文献1：JP 2013-80108A
发明内容
技术问题
通常，在内窥镜图像的周边附近，由于镜体的光学阴影(渐晕)而生成作为显著暗区的掩模区域。例如，在基于这种内窥镜图像执行AF的情况下，在一些情况下可以对掩模区域执行聚焦。
另外，掩模区域的位置或大小根据所采用的镜体的类型而改变。因此，难以预先固定用于评估值的计算目标区域。
鉴于上述情况，已经做出本技术拍摄适合于外科手术的内窥镜图像。
问题的解决方案
一种系统包括内窥镜，该内窥镜包括镜体和图像传感器。图像传感器被配置为捕获包括有效图像部分数据和机械渐晕部分数据的医疗图像数据，医疗图像数据的机械渐晕部分数据是由于由生成医疗图像数据的图像传感器与镜体的差异引起的机械渐晕而生成的。还具有电路，其被配置为从来自有效图像部分数据的图像数据确定评估信息，并且基于评估信息执行控制处理以至少部分地控制内窥镜上的自动聚焦处理和自动白平衡处理中的至少一个。
此外，存在一种处理医疗图像信息的方法，该方法包括使用医疗图像数据的有效图像部分数据来确定评估信息，医疗图像数据包括有效图像部分数据和机械渐晕部分数据，医疗图像数据的机械渐晕部分数据是由于由生成医疗图像数据的图像传感器与医疗器械中的差异引起的机械渐晕而生成的。另外，基于评估信息执行包括自动聚焦处理和自动白平衡处理中的至少一个的控制处理。
在本技术中，从由图像感测装置拍摄的摄影图像检测镜体的有效区域，并且基于有效区域的评估值执行包括自动聚焦处理、自动曝光处理和自动白平衡处理中的至少一个的控制处理。
发明的有利效果
在本技术中，可以拍摄适合于外科手术的内窥镜图像。此外，本技术允许解决渐晕问题并且提供有利的聚焦和/或白平衡处理的系统。
注意，本文描述的有利效果不必受限制，而是可以包括本公开中描述的那些效果中的任何一个效果。
附图说明
[图1]图1是示出根据本技术的实施方式的内窥镜系统的示例性配置的示图。
[图2]图2是示出内窥镜的外观的透视图。
[图3]图3是示出示例性摄影图像的示图。
[图4]图4是示出示例性摄影图像的示图。
[图5]图5是示出CCU和内窥镜的示例性配置的框图。
[图6]图6是示出采样帧的示例性设置的示图。
[图7]图7是示出掩模区域的示例性边缘检测的示图。
[图8]图8是示出掩模区域的示例性边缘检测的示图。
[图9]图9是示出在基于AF评估值检测掩模区域的情况下采样帧的示例性设置的示图。
[图10]图10是示出在基于AF评估值检测掩模区域的情况下采样帧的另一示例性设置的示图。
[图11]图11是示出在基于AF评估值检测掩模区域的情况下采样帧的又一示例性设置的示图。
[图12]图12是示出评估值计算目标区域的示例性设置的示图。
[图13]图13是示出评估值计算目标区域的另一示例性设置的示图。
[图14]图14是用于描述CCU的AF处理的流程图。
[图15]图15是用于描述在图14的步骤S3中执行的掩模区域检测处理的流程图。
[图16]图16是用于描述在图14的步骤S3中执行的另一掩模区域检测处理的流程图。
[图17]图17是示出用于AE处理的CCU的示例性配置的框图。
[图18]图18是示出用于AE评估值的评估值计算目标区域的示例性设置的示图。
[图19]图19是示出用于AE评估值的评估值计算目标区域的另一示例性设置的示图。
[图20]图20是示出计算机的示例性配置的框图。
具体实施方式
现在将描述本技术的实施方式。将按照以下顺序进行描述。
1.内窥镜系统的配置
2.第一实施方式：基于采样值检测掩模区域的示例
3.第二实施方式：基于AF评估值检测掩模区域的示例
4.第三实施方式：评估值计算目标区域的第一示例性设置
5.第四实施方式：评估值计算目标区域的第二示例性设置
6.第五实施方式：示例性自动聚焦处理
7.CCU的操作
8.其他示例
<<内窥镜系统的配置>>
图1是示出根据本技术的实施方式的内窥镜系统的示例性配置的示图。
图1的内窥镜系统1包括安装在推车18上的显示装置11、相机控制单元(CCU)12、光源装置13、治疗工具装置14、气腹装置15、记录器16和打印机17。
另外，内窥镜系统1包括内窥镜19、能量治疗工具20、钳子21、套管针22至25、脚踏开关26和患者床27。内窥镜系统1安装在例如外科手术室中，以辅助对躺在患者床27上的患者的腹部31内的病变执行腹腔镜手术的操作者。
显示装置11包括固定式二维显示器、头戴式显示器等。显示装置11显示从CCU 12等提供的外科手术治疗部分(手术视野区(surgical field area))的图像。
CCU 12连接到诸如光源装置13和内窥镜19的每个部分。CCU 12接收由内窥镜19拍摄并通过相机电缆发送的外科手术治疗部分的摄影图像，并且将该摄影图像显示在显示装置11上。CCU 12根据需要将由内窥镜19拍摄的摄影图像输出到记录器16或打印机17。注意，CCU 12和内窥镜19可以经由无线通信彼此连接。
另外，CCU 12执行自动聚焦处理作为用于执行内窥镜19的自动聚焦(AF)的处理。即，在内窥镜系统1中，与操作者的操纵无关，在CCU 12的控制下自动地执行内窥镜19的焦点调节。
光源装置13通过导光电缆连接到内窥镜19。光源装置13通过切换具有各种波长的光束将具有各种波长的光束输出到内窥镜19。
作为高频输出装置的治疗工具装置14通过电缆连接到能量治疗工具20和脚踏开关26。治疗工具装置14响应于从脚踏开关26提供的操纵信号将高频电流输出到能量治疗工具20。
气腹装置15具有鼓风机单元和吸气单元。气腹装置15将空气从安装在腹部31的腹壁的作为开口工具的套管针24的孔吹向腹部31的内部。
记录器16记录从CCU 12提供的摄影图像。
打印机17打印从CCU提供的摄影图像。
内窥镜19从安装在腹部31的腹壁中的套管针22的孔插入腹部31。内窥镜19用从光源装置13发射的光照射腹部31的内部，以拍摄腹部31的内部。内窥镜19将通过拍摄腹部31的内部而获得的摄影图像输出到CCU 12。
能量治疗工具20包括电烙器等。能量治疗工具20从安装在腹部31的腹壁中的套管针23的孔部插入腹部31。能量治疗工具20使用电热来改变或去除腹部31的内部。
钳子21从安装在腹部31的腹壁中的套管针25的孔部插入腹部31。钳子21用于夹持腹部31的内部。内窥镜19、能量治疗工具20和钳子21由操作者、助手、镜师、机器人等握住。
脚踏开关26接收来自操作者、助手等的脚踏操纵。脚踏开关26将表示接收到的操纵的操纵信号输出到CCU 12或治疗工具装置14。
操作者可以通过使用内窥镜系统1在观看显示在显示装置11上的摄影图像的同时切除腹部31内的病变。
图2是示出内窥镜19的外观的透视图。
如图2所示，作为刚性内窥镜的内窥镜19包括相机头51和具有长透镜管的镜体52。内窥镜分为柔性内窥镜和刚性内窥镜，柔性内窥镜的主体插入部分是可弯曲的，而刚性内窥镜的主体插入部分是不可弯曲的。内窥镜19是后者的内窥镜。操作者通过握住相机头51并将镜体52插入患者体内来执行外科手术。
相机头51在内部具有对由镜体52的透镜从活体引导的光执行光电转换的成像元件、用于驱动镜体52的透镜的驱动单元等。相机头51通过经由镜体52引导从光源装置13发射的光来照射腹部31的内部，以拍摄外科手术治疗部分。相机头51通过相机电缆将从拍摄获得的摄影图像输出到CCU 12。
镜体52可拆卸地安装在相机头51中。镜体52是指具有不同规格的多种类型的镜体，诸如具有不同直径(镜体直径)的镜体或具有不同F数的透镜的镜体。根据外科手术的细节，外科手术治疗部分的状况等适当地选择采用哪种类型的镜体52，并且所选择的镜体52安装在相机头51中。
图3是示出示例性摄影图像的示图。
如图3所示，在长方形矩形摄影图像的中心大致形成圆形有效区域，并且在该有效区域的外面形成暗掩模区域。
掩模区域是由镜体52的光学阴影(渐晕)形成的区域。更具体地，渐晕或机械渐晕是由诸如生成医疗图像数据的成像元件111的图像传感器与镜体52的差异引起的。由于镜体52具有长的圆柱形状，因此在图像圆的周围成像暗区域。在没有渐晕的有效区域的范围内显示外科手术治疗部分的状况。注意，由镜体52引起的渐晕是指例如在光路被镜体52的侧壁物理地阻挡时生成的光学阴影。
如上所述，镜体52能够根据外科手术等的细节切换。根据安装在相机头51中的镜体52的类型，改变摄影图像上的有效区域的位置、有效区域的大小、有效区域的形状等。
图4A和图4B是示出示例性摄影图像的示图。在图4A和图4B中，为了简单起见，有意地省略了有效区域内的外科治疗部分的状况。有效图像部分数据是从有效区域、有效区域周围或有效区域附近获得的图像数据。机械渐晕部分数据是从掩模区域、掩模区域周围或掩模区域附近获得的图像数据，掩模区域是由镜体52的光学阴影(渐晕)形成的区域。
图4A的摄影图像是在安装了具有比摄影图像的垂直长度短的镜体直径(直径)的镜体52的情况下获得的摄影图像。类似于图3的摄影图像，图4A的摄影图像包括作为整体的圆形有效区域。
同时，图4B的摄影图像是在安装了具有比摄影图像的垂直长度长的镜体直径的镜体52的情况下获得的摄影图像。图4B的有效区域具有在上端下端截断的圆形形状。
以这种方式，在摄影图像上形成具有对应于镜体直径的直径的有效区域。可以基于包括在摄影图像中的有效区域的直径的大小来指定安装在相机头51中的镜体52的直径的大小。
如上所述，使用AF自动地执行内窥镜系统1的内窥镜19的焦点调节。
假设针对整个摄影图像计算作为用于执行AF的评估值的AF评估值，则计算包括掩模区域的每个区域的AF评估值。这是不期望的。因此，在针对包括掩模区域的每个区域计算AF评估值的情况下，例如，执行用于聚焦在掩模区域的边缘(边界)上的操作。评估信息是一个或多个评估值或其他类型的信息。评估信息至少包括来自有效图像部分数据的信息。
另外，假设用于AF评估值的计算目标区域被固定地设置在有效区域内，则无论安装了哪个镜体52，目标区域都被限制在对应于有效区域的摄影图像的中心附近的窄范围内。如图4A和图4B所示，有效区域的范围根据所安装的镜体52的类型而改变。
在CCU 12中，基于摄影图像指定安装在内窥镜19中的镜体52的直径、有效区域的中心位置等，并且基于指定的信息在有效区域内设置作为用于计算AF评估值的区域的评估值计算目标区域。另外，针对评估值计算目标区域计算AF评估值以执行自动聚焦处理。
由于针对设置在有效区域内的评估值计算目标区域计算AF评估值以执行自动聚焦处理，因此CCU 12可以可靠地聚焦在成像在有效区域上的外科手术治疗部分上。
下面将描述CCU 12的一系列处理，该处理用于通过根据以这种方式安装在内窥镜19中的镜体52来设置评估值计算目标区域来执行自动聚焦处理。
<<第一实施方式：基于采样值检测掩模区域的示例>>
<CCU和内窥镜的示例性配置>
图5是示出CCU 12和内窥镜19的示例性配置的框图。
如图5的左半部分所示，相机头51包括成像元件111、成像元件驱动器112、透镜驱动器113、变焦透镜驱动单元114和聚焦透镜驱动单元115。
成像元件111包括例如CMOS图像传感器或CCD图像传感器。成像元件111通过光电转换将聚焦在成像表面上的光学图像转换为电信号，并将该电信号作为摄影信号输出到CCU 12。
成像元件驱动器112是用于驱动成像元件111的驱动器。成像元件驱动器112允许成像元件111通过输出驱动信号来执行诸如摄影操作或复位操作的预定操作。例如，成像元件111的快门速度例如由从成像元件驱动器112输出的驱动信号控制。
透镜驱动器113包括诸如中央处理单元(CPU)或数字信号处理器(DSP)的处理器。透镜驱动器113根据从CCU 12提供的控制信号来控制变焦透镜驱动单元114和聚焦透镜驱动单元115的操作。
变焦透镜驱动单元114通过沿着光轴移动镜体52的变焦透镜101来调节摄影放大倍率。
聚焦透镜驱动单元115通过沿着光轴移动镜体52的聚焦透镜102来执行聚焦调节。
如图5的右半部分所示，CCU 12包括相机信号处理单元131、采样帧门132、采样单元133、掩模检测单元134、AF采样单元135和透镜控制器136。
相机信号处理单元131将诸如白平衡处理和γ校正处理的各种类型的信号处理应用于从成像元件111提供的摄影信号。
相机信号处理单元131将通过信号处理获得的摄影信号作为视频信号输出到显示装置11。基于从相机信号处理单元131输出的视频信号，在显示装置11上显示外科手术治疗部分的图像。从相机信号处理单元131输出的摄影信号也被提供给采样帧门132。
采样帧门132在透镜控制器136的控制下在摄影图像上的预定区域中设置采样帧。例如，在检测到掩模区域之前，采样帧被设置在包括掩模区域的摄影图像的预定区域中。另外，在检测到掩模区域之后，采样帧被设置在有效区域中。
采样帧门132输出从相机信号处理单元131提供的摄影信号中的采样帧的像素的摄影信号。从采样帧门132输出的摄影信号被提供给采样单元133和AF采样单元135。
采样单元133对从采样帧门132提供的摄影信号执行采样，并且将每个采样帧的采样值输出到掩模检测单元134。例如，采样单元133对每个采样帧的像素的亮度值进行积分以获得积分的结果作为采样值。
掩模检测单元134基于从采样单元133提供的采样值来检测掩模区域的边缘。尽管在本说明中掩模检测单元134检测掩模区域的边缘，但是掩模区域的边缘检测还包括有效区域的边缘检测。
掩模检测单元134基于掩模区域的检测边缘的位置来指定安装在相机头51中的镜体52的直径。另外，掩模检测单元134基于掩模区域的边缘位置来指定有效区域的中心位置和掩模区域的位置(范围)。
作为掩模检测的结果，掩模检测单元134将关于镜体直径、有效区域的中心位置和掩模区域的位置的信息输出到透镜控制器136。如下所述，在一些情况下，也可以基于由AF采样单元135获得的AF评估值来执行使用掩模检测单元134的掩模区域的检测。
AF采样单元135基于从采样帧门132提供的摄影信号来计算AF评估值。例如，AF采样单元135通过针对AF采样帧的所有像素的亮度信号计算二阶导数来计算表示对比度的AF评估值。注意，通常，与未聚焦状态相比，在聚焦状态下相邻像素之间的亮度信号的差异增大，并且对比度增大。
由AF采样单元135计算的AF评估值被提供给透镜控制器136，并且还被适当地提供给掩模检测单元134。
透镜控制器136通过将控制信号输出到相机头51的透镜驱动器113来调节变焦透镜101的位置。
透镜控制器136还将控制信号输出到相机头51的透镜驱动器113，并且调节聚焦透镜102的位置。通过输出控制信号来调节聚焦透镜102的位置的处理对应于用于执行内窥镜19的AF的自动聚焦处理。这种情况下的控制信号是至少包含透镜驱动器113的聚焦透镜102的位置或聚焦透镜102的位置的位移作为AF控制参数的信号。
透镜控制器136通过适当地将控制信号输出到相机头51的成像元件驱动器112来调节成像元件111的快门速度或ISO感光度。与操作者的操纵无关，通过输出控制信号并且控制曝光来调节快门速度或ISO感光度的处理对应于用于执行AE的自动曝光处理。如下所述，基于掩模区域的检测结果来实现AE功能。这种情况下的控制信号是至少包含快门速度的速度值或ISO感光度的感光度值作为AE控制参数的信号。
响应于操作者的操纵，将聚焦命令信号、变焦命令信号、手动/自动聚焦转换信号等输入到透镜控制器136。变焦命令信号是表示由操作者执行的变焦调节的细节的信号，并且聚焦命令信号是表示由操作者执行的聚焦调节的细节的信号。
手动/自动聚焦转换信号是用于指示是在手动模式下还是在自动聚焦模式下执行聚焦调节的转换信号。在选择用于在手动模式下执行聚焦调节的选项的情况下输入聚焦命令信号。CCU 12和/或相机头51被示出并且描述为包括各种单元、处理器、CPU、控制器、驱动器等。可以使用被配置为执行本文公开的功能的电路来实现本发明的这些元件和其他元件。此外，在一些实施方式中，包括例如微处理器、可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路或处理电路可以通过使用来自计算机可读程序指令的信息来执行计算机可读程序指令以配置或定制电子电路，以便执行本公开的方面。
<掩膜区域的检测>
图6是示出采样帧的示例性设置的示图。
例如，在摄影图像的整个区域上设置采样帧。在图6的示例中，设置在列(垂直)方向上的30个采样帧和设置在行(水平)方向上的40个采样帧以矩阵形状布置在摄影图像的整个区域上。图6中的采样帧的总大小等于摄影图像的大小。
掩模检测单元134基于从每个采样帧的像素的摄影信号获得的一千二百(1200)个采样值来检测掩模区域的边缘。
以这种方式，为摄影图像设置采样帧，使得可以提供足以检测掩模区域的边缘的分辨率。
注意，尽管在图6的示例中采样帧的总大小被相等地设置为摄影图像的大小，但是采样帧的大小可以被设置为小于摄影图像的大小的范围。另外，采样帧的数量也可以任意设置。
图7是示出掩模区域中的边缘检测的示例的示图。
插入每个采样帧中的一系列字母“x”分别是指预定的采样值。具有数值“0”的采样帧是指采样值为零的采样帧，这意味着包括黑色像素的采样帧。
在通过采样单元133以这种方式获得采样值的情况下，图5的掩模检测单元134从每列的采样帧的采样值中获得最大采样值，并且从每行的采样帧的采样值中获得最大采样值。
另外，掩模检测单元134获得每列的最大采样值的序列中每隔一列的采样值之间的差，如空心箭头#1之前所示。类似地，对于行方向，掩模检测单元134获得每行的最大采样值的序列中每隔一行的采样值之间的差。
例如，掩模检测单元134从最左边的差开始顺序调用每隔一列的采样值之间的差，并且检测获得等于或大于阈值的差的列的位置作为掩模区域的左边缘位置。另外，掩模检测单元134从最右边的差开始顺序调用每隔一列的采样值之间的差，并且检测获得等于或大于阈值的差的列的位置作为掩模区域的右边缘位置。
类似地，对于行方向，掩模检测单元134从最高差开始顺序调用每隔一行的采样值之间的差，并且检测获得等于或大于阈值的差的行的位置作为掩模区域的上边缘位置。另外，掩模检测单元134从最低差开始顺序调用每隔一行的采样值之间的差，并且检测获得等于或大于阈值的差的行的位置作为掩模区域的下边缘位置。
基于上边缘位置、下边缘位置、左边缘位置和右边缘位置以及有效区域具有圆形形状的事实，掩模检测单元134检测围绕有效区域的所有边缘，如图8所示。
在图8中，阴影线的采样帧是被检测为掩模区域的边缘的位置的采样帧。位于阴影线的采样帧外面的采样帧属于掩模区域，并且向内的采样帧(包括阴影线的采样帧)属于有效区域。
注意，在有效区域具有大直径并且有效区域的上端和下端被截断的情况下，基于每隔一列的采样值的差来检测左边缘和右边缘以指定掩模区域。另外，在未检测到边缘的情况下，指定不存在掩模区域。
在检测到掩模区域和有效区域的情况下，掩模检测单元134基于有效区域的边缘宽度，例如指定平均边缘宽度作为有效区域的直径，即作为镜体直径。另外，掩模检测单元134指定由边缘宽度的平均中值表示的位置作为有效区域的中心位置。注意，可以预先存储平均边缘宽度的范围和对应的镜体直径彼此相关联的表，并且可以基于所获得的平均边缘宽度通过参考该表来指定镜体直径。
指示镜体直径和有效区域的中心位置的信息与关于掩模区域的位置的信息一起被提供给透镜控制器136。透镜控制器136基于掩模区域的检测结果来执行AF评估值等的计算中使用的采样帧的设置。
<<第二实施方式：基于AF评估值检测掩模区域的示例>>
可以基于由AF采样单元135获得的AF评估值而不是由采样单元133获得的采样值来检测掩模区域。
-第一示例性设置
图9是示出在基于AF评估值检测掩模区域的情况下采样帧的示例性设置的示图。
如图9的左摄影图像的采样帧F1至F4所示，采样帧门132在摄影图像的上端、下端、左端、右端设置例如具有窄条形状的采样帧。例如，在透镜控制器136的控制下设置采样帧F1至F4。
由点划线表示的采样帧F1和F2分别是用于检测掩模区域的上边缘和下边缘的采样帧。另外，由虚线表示的采样帧F3和F4分别是用于检测掩模区域的左边缘和右边缘的采样帧。
另外，如空心箭头所示，采样帧门132朝向摄影图像的中心移动采样帧F1至F4的位置。
AF采样单元135基于对应于通过以这种方式改变位置而设置的采样帧内的像素的摄影信号顺序地计算AF评估值。
在由AF采样单元135计算的AF评估值中生成等于或大于阈值的变化的情况下，掩模检测单元134将检测到该变化的位置指定为掩模区域的边缘位置。例如，如箭头#2之前所示，当采样帧F1至F4中的每一个采样帧被设置为掩模区域的边缘位置时，检测到等于或大于阈值的AF评估值的变化。
掩模检测单元134基于采样帧F1和F2之间的距离L1以及采样帧F3和F4之间的距离L2来指定安装在相机头51中的镜体的直径、有效区域的中心位置以及掩模区域的位置。例如，距离L1和L2的平均值被指定为镜体直径，并且由边缘的平均中值表示的位置被指定为有效区域的中心位置。
-第二示例性设置
图10是示出在基于AF评估值检测掩模区域的情况下采样帧的另一示例性设置的示图。
图10的采样帧的设置方法与图9的采样帧的设置方法的不同之处在于，采样帧F1至F4被设置为使得宽度被顺序地加宽，而不是改变采样帧F1至F4的位置。通过使设置在摄影图像的上端、下端、左端和右端的窄条状的采样框F1至F4的内边缘朝向摄影图像的中心移动，采样框F1至F4的宽度被顺序地加宽，如空心箭头所示。
AF采样单元135基于对应于通过改变宽度而设置的采样帧的像素的摄影信号顺序地计算AF评估值。
在由AF采样单元135计算的AF评估值中发生等于或大于阈值的变化的情况下，掩模检测单元134将检测到该变化的采样帧的内边缘位置指定为掩模区域的边缘位置。例如，如箭头#3之前所示，当采样帧F1至F4的内边缘被设置为掩模区域的相应边缘位置时，检测到等于或大于阈值的AF评估值的变化。
掩模检测单元134基于采样帧F1和F2之间的距离L1以及采样帧F3和F4之间的距离L2来指定安装在相机头51中的镜体的直径、有效区域的中心位置以及掩模区域的位置。
-第三示例性设置
图11是示出在基于AF评估值检测掩模区域的情况下采样帧的又一示例性设置的示图。
图11的采样帧的设置方法与图9等的设置方法的不同之处在于，设置在初始状态下具有大致正方形形状的多个小采样帧，而不是窄条状的采样帧。
即，如图11的左半部分所示，采样帧门132在摄影图像的上端设置具有大致正方形形状的采样帧F1-1至F1-3，并且在摄影图像的下端设置具有大致正方形形状的采样帧F2-1至F2-3。采样帧门132在摄影图像的左端设置具有大致正方形形状的采样帧F3-1至F3-3，并且在摄影图像的右端设置具有大致正方形形状的采样帧F4-1至F4-3。
此外，采样帧门132朝向摄影图像的中心移动每个采样帧的位置，或者朝向摄影图像的中心加宽采样帧的宽度。
AF采样单元135基于对应于通过改变位置或宽度而设置的采样帧的像素的摄影信号顺序地计算AF评估值。
在由AF采样单元135计算的AF评估值中发生等于或大于阈值的变化的情况下，掩模检测单元134将检测到该变化的位置指定为掩模区域的边缘位置。
例如，如箭头#4之前所示，当具有大致正方形形状的采样帧F1-1至F1-3和F2-1至F2-3被设置为掩模区域的相应边缘位置时，检测到等于或大于阈值的AF评估值的变化。
另外，当采样帧F3-1至F3-3和F4-1至F4-3的内边缘到达掩模区域的相应边缘位置时，检测到等于或大于阈值的AF评估值的变化。
掩模检测单元134基于相对采样帧之间的距离来指定安装在相机头51中的镜体的直径、有效区域的中心位置以及掩模区域的位置。
尽管在图11的示例中，设置在摄影图像的上端和下端的采样帧F1-1至F1-3和F2-1至F2-3是通过改变位置而不是形状来设置的，但是它们也可以通过改变宽度来设置。此外，尽管通过改变宽度来设置分别设置在摄影图像的左端和右端的采样帧F3-1至F3-3和F4-1至F4-3，但是它们也可以通过改变位置而不是形状来设置。
还可以组合使用通过改变形状来设置采样帧的方法和通过改变宽度来设置采样帧的方法。可以通过改变小采样帧的位置或宽度来检测掩模区域的边缘的特定形状。
注意，在有效区域的直径大并且有效区域垂直断开的情况下，仅基于从设置在左侧和右侧的采样帧计算出的AF评估值来检测掩模区域。另外，在未发现边缘的情况下，确定不存在掩模区域。
指示从AF评估值和有效区域的中心位置指定的镜体直径的信息与关于掩模区域的位置的信息一起被提供给透镜控制器136。透镜控制器136基于掩模区域的检测结果来设置在AF评估值的计算中使用的采样帧或执行其他控制。
<<第三实施方式：评估值计算目标区域的第一示例性设置>>
图12A和图12B是示出评估值计算目标区域的示例性设置的示图。
如图12A和图12B所示，透镜控制器136将用作用于计算AF评估值的目标区域的评估值计算目标区域设置在有效区域内，以不与掩模区域重叠。例如，基于掩模区域的检测结果，通过放大或缩小默认区域的大小并移动默认中心位置来设置评估值计算目标区域。
图12A的长方形区域A1是设置在具有比摄影图像的垂直长度短的直径的有效区域内的评估值计算目标区域。图12B的区域A2是设置在具有比摄影图像的垂直长度长的直径的有效区域内的评估值计算目标区域。
任何评估值计算目标区域被设置为使得整个区域包括在有效区域中。在图12A和图12B中，表示评估值计算目标区域的两个长方形矩形插入有效区域中，以便示出只要评估值计算目标区域包括在有效区域中，就可以为其设置任何大小。
注意，尽管在图12A和图12B的示例中评估值计算目标区域具有长方形矩形形状，但是也可以采用其他形状，诸如正方形形状和圆形形状。
关于这样的评估值计算目标区域的信息从透镜控制器136提供给采样帧门132，使得用作AF评估值的计算目标的采样帧被设置在评估值计算目标区域内。
AF采样单元135基于设置在评估值计算目标区域中的采样帧的像素的摄影信号来计算AF评估值。另外，透镜控制器136还基于计算出的AF评估值来执行自动聚焦处理。
因此，CCU 12可以可靠地聚焦在成像在有效区域上的外科手术治疗部分上。
<<第四实施方式：评估值计算目标区域的第二示例性设置>>
图13A和图13B是示出评估值计算目标区域的另一示例性设置的示图。
在图13A和图13B的摄影图像上重叠的网格图案的每个片段表示采样帧。在图13A和图13B的示例中，多个采样帧(垂直方向上的八个采样帧和水平方向上的八个帧)以矩阵形状并排设置在摄影图像的中心周围。在该示例中，采样帧的位置是固定的，而与有效区域的范围无关。每个采样帧的像素的摄影信号从采样帧门132提供给AF采样单元135。
透镜控制器136从以这种方式固定地设置的采样帧中选择完全包括在有效区域中而不与掩模区域重叠的采样帧作为用作AF评估值的计算目标的评估值计算目标区域。图13A和图13B中着色的采样帧是被选择为评估值计算目标区域的采样帧。同时，与掩模区域重叠的采样帧被视为无效采样帧(权重为零)。
透镜控制器136将关于被选择为评估值计算目标区域的采样帧的信息输出到AF采样单元135以计算针对被选择为评估值计算目标区域的采样帧的AF评估值。
即，在图12A和图12B的示例中，基于掩模区域的检测结果来设置用作AF评估值的计算目标的采样帧。相比之下，在图13A和图13B的示例中，从预先设置的采样帧中选择用作AF评估值的计算目标的采样帧。
在图13A的示例中，在预先设置的采样帧中，包括在有效区域中的采样帧的一部分被设置为评估值计算目标区域。另外，在图13B的示例中，由于预先设置的所有采样帧都包括在有效区域中，因此所有采样帧都被设置为评估值计算目标区域。
注意，尽管在图13A和图13B的示例中，包括在有效区域中的所有采样帧都被设置为评估值计算目标区域，但是包括在有效区域中的采样帧的一部分也可以被设置为评估值计算目标区域。
关于这样的评估值计算目标区域的信息从透镜控制器136提供给AF采样单元135，并且基于被设置为评估值计算目标区域的采样帧的像素的像素信号来计算AF评估值。另外，透镜控制器136基于计算出的AF评估值来执行自动聚焦处理。
因此，CCU 12可以可靠地聚焦在成像在有效区域上的外科手术治疗部分上。
<<第五实施方式：示例性自动聚焦处理>>
可以基于如上所述指定的镜体直径、有效区域的中心位置和掩模区域的位置来估计镜体52的F数，并且可以基于所估计的F数来获得焦深。
例如，由透镜控制器136使用镜体52的F数和焦深，以便设置用于定义自动聚焦处理的细节的参数，诸如AF速度、聚焦精度和摆动幅度。透镜控制器136基于镜体52的F数和焦深来计算AF速度、聚焦精度和摆动幅度中的每一个，并且基于计算结果来执行自动聚焦处理。
因此，透镜控制器136可以以更高的精度执行自动聚焦处理。注意，可以预先存储关于镜体的F数、焦深与镜体直径之间的关系的表，并且可以通过参考该表来获得F数和焦深。
<<CCU的操作>>
<AF处理>
将参考图14的流程图描述CCU 12的AF处理。
例如，当内窥镜19拍摄外科手术治疗部分并且从成像元件111提供摄影信号时，图14的处理开始。
在步骤S1中，相机信号处理单元131将诸如白平衡处理的各种类型的信号处理应用于从成像元件111提供的摄影信号。
在步骤S2中，采样帧门132输出每个采样帧的像素的摄影信号。
例如，在如结合图7和图8所描述的检测到掩模区域的情况下，从采样帧门132输出针对整个摄影图像设置的每个采样帧的像素的摄影信号，并且将该摄影信号提供给采样单元133。
另外，在如结合图9、图10和图11所描述的检测到掩模区域的情况下，从采样帧门132输出设置在摄影图像的预定位置中的每个采样帧的像素的摄影信号，并且将该摄影信号提供给AF采样单元135。
在步骤S3中，执行掩模区域检测处理。关于在掩模区域检测处理中指定的镜体直径、有效区域的中心位置和掩模区域的位置的信息从掩模检测单元134提供给透镜控制器136。下面将参考图15和图16的流程图描述掩模区域检测过程的细节。
在步骤S4中，透镜控制器136基于掩模区域的检测结果来设置评估值计算目标区域。
在如结合图12A和图12B所描述的设置评估值计算目标区域的情况下，透镜控制器136将关于评估值计算目标区域的信息输出到采样帧门132，并且在评估值计算目标区域中设置采样帧。
另外，在如结合图13A和图13B所描述的设置评估值计算目标区域的情况下，透镜控制器136将关于评估值计算目标区域的信息输出到AF采样单元135，并且计算被选择为评估值计算目标区域的采样帧的AF评估值。
在步骤S5中，AF采样单元135基于从采样帧门132提供的摄影信号，计算作为目标的评估值计算目标区域的采样帧的AF评估值。
在步骤S6中，透镜控制器136基于由AF采样单元135计算出的AF评估值来执行自动聚焦处理。控制信号从透镜控制器136输出到相机头51的透镜驱动器113，以调节聚焦透镜102的位置。因此，实现了AF。
在从成像元件111提供摄影信号的同时重复上述处理。
<掩模区域检测处理>
接下来，将参考图15的流程图描述在图14的步骤S3中执行的掩模区域检测处理。
图15的处理是使用由采样单元133获得的采样值来检测掩模区域。如结合图7和图8所描述的，针对整个摄影图像设置的每个采样帧的像素的摄影信号从采样帧门132提供给采样单元133。
在步骤S11中，采样单元133对从采样帧门132提供的摄影信号进行采样，并且输出每个采样帧的采样值。
在步骤S12中，掩模检测单元134从每列的采样帧的采样值检测最大采样值。另外，掩模检测单元134从每行的采样帧的采样值检测最大采样值。
在步骤S13中，掩模检测单元134获得每列的最大采样值的阵列中每隔一列的采样值之间的差。另外，掩模检测单元134获得每行的最大采样值的阵列中每隔一行的采样值之间的差。
在步骤S14中，掩模检测单元134顺序调用每隔一列的采样值之间的差，并且检测获得等于或大于阈值的差的位置作为掩模区域的左边缘位置和右边缘位置。另外，掩模检测单元134顺序调用每隔一行的采样值之间的差，并且检测获得等于或大于阈值的差的位置作为掩模区域的上边缘位置和下边缘位置。
在步骤S15中，掩模检测单元134基于有效区域的边缘宽度来指定镜体直径和有效区域的中心位置。
在步骤S16中，掩模检测单元134将关于镜体直径、有效区域的中心位置和掩模区域的位置的信息输出到透镜控制器136作为掩模区域的检测结果。然后，处理返回到图14的步骤S3，并且执行后续处理。
接下来，将参考图16的流程图描述在图14的步骤S3中执行的另一掩模区域检测处理。
图16的处理是使用由AF采样单元135获得的AF评估值来检测掩模区域的处理。
在步骤S21中，透镜控制器136将关于采样帧的位置的信息输出到采样帧门132，并且设置采样帧。例如，如结合图9、图10和图11所描述的，用于在摄影图像的每个位置中设置采样帧的信息从透镜控制器136提供给采样帧门132。当设置采样帧时，对应于采样帧的像素的摄影信号从采样帧门132提供给AF采样单元135。
在步骤S22中，AF采样单元135基于从采样帧门132提供的摄影信号来计算AF评估值。计算出的AF评估值被提供给掩模检测单元134。
在步骤S23中，掩模检测单元134确定在AF评估值中是否生成等于或大于阈值的变化。如果在步骤S23中确定没有生成等于或大于阈值的变化，则处理返回到步骤S21，并且在通过改变位置或宽度来设置采样帧之后重复上述处理。
否则，如果在步骤S23中确定在AF评估值中生成等于或大于阈值的变化，则在步骤S24中，掩模检测单元134将在AF评估值中生成等于或大于阈值的变化的位置指定为掩模区域的边缘位置。
在指定掩模区域的边缘位置之后的处理类似于图15中的步骤S15之后的处理。具体地，在步骤S25中，掩模检测单元134基于有效区域的边缘宽度来指定镜体直径和有效区域的中心位置。
在步骤S26中，掩模检测单元134将关于镜体直径、有效区域的中心位置和掩模区域的位置的信息输出到透镜控制器136作为掩模区域的检测结果。然后，处理返回到图14的步骤S3，并且执行后续处理。
通过上述处理，CCU 12可以根据安装在作为刚性内窥镜的内窥镜19中的镜体52的类型，以适当的大小将用于AF评估值的计算目标区域设置在有效区域的适当位置。
另外，CCU 12可以根据镜体52的规格适当地设置诸如AF速度或摆动幅度的参数，并且因此改善AF性能。由于根据镜体52的规格来设置AF速度和摆动幅度，因此可以避免诸如AF操作中的偏差、模糊停止现象和摆动操作的可视化的图像质量的劣化。
例如，如果安装大直径镜体，并且使用大于合适值的F数和焦深来执行AF操作，则AF速度变得太快，并且在AF操作中发生偏差。另外，例如，不利地在输出图像上可视化摆动操作中的微小振动。
相比之下，如果安装小直径镜体，并且使用小于合适值的F数和焦深来执行AF操作，则AF速度变得太慢，并且不利地延迟聚焦。另外，由于摆动操作的幅度短，因此难以获得聚焦方向，并且不利地发生所谓的模糊停止，在该模糊停止中，AF操作在模糊屏幕状态中停止。
如果根据镜体的规格使用合适值来执行AF操作，则可以避免由于镜体的不适当的规格而可能发生的这样的缺点。
即，内窥镜系统1可以向操作者提供适合于外科手术的内窥镜图像。
<<其他示例>>
<AE的应用示例>
本实施方式还适用于用于基于掩模区域的检测结果执行AE的自动曝光(AE)处理。通过自动调节诸如快门速度和ISO感光度的参数来执行AE，而无需操作者的操纵。
图17是示出用于执行AE的CCU 12的示例性配置的框图。
在图17中，相同的参考数字表示与图5中相同的元件。将不重复描述一些组件。图17的CCU 12的配置与图5的CCU 12的配置的不同之处在于，设置了曝光检测单元141。
在从相机信号处理单元131提供的摄影信号中，采样帧门132将用于曝光评估的采样帧的像素的摄影信号输出到曝光检测单元141。
曝光检测单元141基于采样帧的像素的摄影信号来计算AE评估值作为用于曝光评估的评估值，并且将AE评估值输出到透镜控制器136。
透镜控制器136基于由曝光检测单元141计算的AE评估值，将用于调节快门速度或ISO感光度的控制信号输出到成像元件驱动器112，以执行自动曝光处理。
图18是示出用于AE评估值的评估值计算目标区域的示例性设置的示图。
图18的评估值计算目标区域的设置对应于结合图12A和图12B描述的评估值计算目标区域的设置。
如图18的右半部分所示，透镜控制器136将用作AE评估值的计算目标的评估值计算目标区域设置在有效区域内，以不与掩模区域重叠。例如，基于掩模区域的检测结果，通过放大或缩小默认区域的大小并移动默认中心位置来设置评估值计算目标区域。
图18的右半部分所示的长方形矩形区域A11是设置在具有比摄影图像的垂直长度短的直径的有效区域内的评估值计算目标区域。在图18的示例中，例如，通过减小图18的左半部分所示的默认大小来设置评估值计算目标区域。
关于这样的评估值计算目标区域的信息从透镜控制器136提供给采样帧门132，并且用作AE评估值的计算目标的采样帧被设置在评估值计算目标区域内。
曝光检测单元141基于设置在评估值计算目标区域内的采样帧的像素的摄影信号来计算AE评估值。另外，透镜控制器136基于计算出的AE评估值来执行自动曝光处理。
因此，CCU 12可以适当地调节成像在有效区域上的外科手术治疗部分的曝光。
例如，在用于曝光评估的采样帧被设置在掩模区域中的情况下，在AE中执行用于增加曝光的控制，并且因此，在一些情况下曝光可能变得过度。通过仅使用有效区域内的采样帧来评估曝光，CCU 12可以将外科手术治疗部分的亮度调节到合适的曝光。
图19是示出用于AE评估值的评估值计算目标区域的另一示例性设置的示图。
图19的评估值计算目标区域的设置对应于结合图13A和图13B描述的评估值计算目标区域的设置。
在图19的左半部分的摄影图像上重叠的网格图案的每个片段表示采样帧。在图19的示例中，多个采样帧(垂直方向的十个采样帧和水平方向的十个帧)以矩阵形状并排设置在摄影图像的中心周围。在该示例中，采样帧的位置是固定的，而与有效区域的范围无关。每个采样帧的像素的摄影信号从采样帧门132提供给曝光检测单元141。
透镜控制器136从以这种方式固定地设置的采样帧中选择完全包括在有效区域中而不与掩模区域重叠的采样帧作为用作AE评估值的计算目标的评估值计算目标区域。图19的右半部分中着色的采样帧是被选择为评估值计算目标区域的采样帧。同时，与掩模区域重叠的采样帧被视为无效采样帧(权重为零)。
透镜控制器136将关于被选择为评估值计算目标区域的采样帧的信息输出到曝光检测单元141以计算针对被选择为评估值计算目标区域的采样帧的AE评估值。
关于这样的评估值计算目标区域的信息从透镜控制器136提供给曝光检测单元141，并且基于被设置为评估值计算目标区域的采样帧的像素的像素信号来计算AE评估值。另外，透镜控制器136基于计算出的AE评估值来执行自动曝光处理。
因此，CCU 12可以适当地调节成像在有效区域上的外科手术治疗部分的曝光。
可以结合上述自动聚焦处理来执行自动曝光处理。具体地，透镜控制器136的控制处理是包括自动曝光处理和自动聚焦处理中的至少一个的处理。
<AWB的应用示例>
可以基于掩模区域的检测结果由相机信号处理单元131来执行用于执行内窥镜系统1的自动白平衡(AWB)的白平衡处理。
在这种情况下，掩模区域的检测结果从掩模检测单元134提供给相机信号处理单元131，并且基于有效区域的像素的摄影信号来执行白平衡处理。
白平衡处理是校正摄影图像的颜色以用合适的色调对外科手术治疗部分进行成像的处理。例如，基于有效区域的像素的摄影信号(颜色信号)来估计摄影环境，并且校正从摄影信号生成的颜色。
另外，可以执行白平衡处理，使得从有效区域的像素的摄影信号估计光源的色温，并且根据预先存储的光源的色温来校正颜色。
另外，如果确定有效区域内的红光弱，则可以执行白平衡处理以强调红光以便突出血管。
如果以这种方式使用有效区域的像素的摄影信号来执行白平衡处理，则可以获得用适当的色调对外科手术治疗部分进行成像的摄影图像。
<其他示例>
尽管已经描述了基于掩模区域的检测结果的AF、AE和AWB被应用于内窥镜系统1的情况，但是本技术也可以应用于在显微镜系统中执行AF、AE和AWB的情况。
在上述描述中，基于由采样单元133获得的采样值或由AF采样单元135获得的AF评估值来检测掩模区域。可选地，可以基于采样值和AF评估值两者来检测掩模区域。
可以使用硬件或软件来执行上述一系列处理。在使用软件执行一系列处理的情况下，包括在该软件中的程序从程序记录介质安装到集成到专用硬件的计算机、通用个人计算机等。
图20是示出用于使用程序执行上述一系列处理的计算机的示例性硬件配置的框图。
中央处理单元(CPU)1001、只读存储器(ROM)1002和随机存取存储器(RAM)1003经由总线1004彼此连接。
输入/输出接口1005还连接到总线1004。诸如键盘或鼠标的输入单元1006和诸如显示器或扬声器的输出单元1007连接到输入/输出接口1005。另外，诸如硬盘或非易失性存储器的存储单元1008、诸如网络接口的通信单元1009以及用于驱动可移动介质1011的驱动器1010连接到输入/输出接口1005。
在以这种方式配置的计算机中，CPU 1001通过经由输入/输出接口1005和总线1004在RAM 1003上加载并执行例如存储在存储单元1008中的程序来执行上述一系列处理。
由CPU 1001执行的程序被记录在例如可移动介质1011上，或者经由诸如局域网、互联网和数字广播的有线或无线传输介质来提供，并且被安装在存储单元1008中。
注意，由计算机执行的程序可以是根据本文描述的序列以时间序列方式处理的程序，或者是并行或在诸如响应于调用的必要定时处理的程序。
注意，在本文中，系统是指多个组成元件(装置、模块(组件)等)的集合，而不管它们是否全部集成到同一壳体中。因此，该系统包括容纳在单独的壳体中并经由网络连接的多个装置、具有容纳在单个壳体中的多个模块的单个装置等。
注意，本文描述的有利效果仅用于示例性目的，并且不以限制性意义来解释。还可以包括另一有利效果。
本技术的实施方式不限于上述实施方式，并且在不脱离本技术的范围和精神的情况下，各种改变或修改是可能的。
例如，本技术可以适用于云计算环境，在该云计算环境中，跨经由网络连接的多个装置以分布式和协作的方式处理单个功能。
另外，可以使用单个装置或以分布式方式使用多个装置来执行上述流程图的每个步骤。
另外，在单个步骤中包括多个处理的情况下，可以使用单个装置或以分布式方式使用多个装置来执行它们。
<配置的组合>
本技术还可以包括以下配置。
(1)根据一个方面，一种系统包括内窥镜，该内窥镜包括镜体和图像传感器，该图像传感器被配置为捕获包括有效图像部分数据和机械渐晕部分数据的医疗图像数据，该医疗图像数据的机械渐晕部分数据是由于由生成医疗图像数据的图像传感器与镜体的差异引起的机械渐晕而生成的；以及电路，被配置为从来自有效图像部分数据的图像数据确定评估信息，并且基于评估信息执行控制处理以至少部分地控制内窥镜上的自动聚焦处理和自动白平衡处理中的至少一个。
(2)根据(1)的系统，其中，由电路确定评估信息仅从来自有效图像部分数据的医疗图像数据确定评估信息。
(3)根据(2)的系统，其中，差异是由于图像传感器和穿过镜体的光的不同形状引起的。
(4)根据(3)的系统，其中，图像传感器是矩形的，并且有效图像部分数据是圆形图像。
(5)根据(2)的系统，其中，差异是由于图像传感器和镜体的不同大小引起的。
(6)根据(5)的系统，其中，来自用于生成有效图像部分数据的镜体的图像在图像传感器的第一维度中超过图像传感器的有效区域的大小，在图像传感器的垂直于第一维度的第二维度中小于图像传感器的有效区域的大小，并且第一维度和第二维度两者都在图像传感器的成像感测平面中。
(7)根据(2)的系统，还包括照亮对应于有效图像部分数据的目标的光。
(8)根据(2)的系统，还包括透镜系统，其中，由电路执行控制处理基于评估信息生成信息以聚焦透镜系统。
(9)根据(2)的系统，其中，由电路执行控制处理生成白平衡信息以设置医疗图像的白平衡。
(10)根据(1)的系统，其中，电路还被配置为对来自图像传感器的亮度信号进行采样，并且使用亮度信号确定有效图像部分数据存在的位置和有效图像部分数据。
(11)根据(10)的系统，其中，确定有效图像部分数据存在的位置基于已经采样的并且呈矩阵形状的亮度信号来检测有效图像部分数据的边缘，并且指定镜体的直径和有效图像部分数据的中心位置。
(12)根据(1)的系统，其中，电路还被配置为在设置在医疗图像数据上的采样帧中执行采样，以获得用于自动聚焦处理的评估信息，并且使用用于自动聚焦处理的评估信息确定有效图像部分数据存在的位置和有效图像部分数据，其中，执行控制处理基于评估信息至少部分地控制自动聚焦处理。
(13)根据(12)的系统，其中，在采样帧中执行采样改变采样帧的位置和大小中的至少一个。
(14)根据(12)的系统，其中，确定有效图像部分数据存在的位置指定镜体的直径和有效图像部分数据的中心位置。
(15)根据(1)的系统，其中，电路还被配置为使用镜体的直径和有效图像部分数据的中心位置来设置用作有效图像部分的评估值计算目标区域。
(16)根据(1)的系统，其中，执行控制处理基于评估信息来执行控制处理，评估信息是基于在作为用于评估信息的计算目标的医疗图像数据上以矩阵形状设置的评估值计算目标区域中的由镜体的直径和有效图像部分数据的中心位置表示的有效图像部分数据来确定的。
(17)根据(1)的系统，其中，确定评估信息基于使用来自有效图像部分数据的图像数据估计的镜体的F数和焦深中的至少一个来确定用于自动聚焦处理的信息。
(18)根据(1)的系统，其中，执行控制处理基于确定评估信息的确定结果参考包含预先存储的镜体的F数和焦深中的至少一个的表，并且基于参考的结果设置用于定义自动聚焦处理的参数。
(19)一种用于处理医疗图像的系统，包括电路，被配置为通过包括成像器头和附接到成像器头的镜体的内窥镜获得医疗图像数据，使用医疗图像数据的有效图像区域数据而不使用医疗图像数据的机械渐晕区域数据来确定评估信息，医疗图像数据的有效区域是由于由镜体引起的机械渐晕而生成的，并且基于评估信息执行包括自动聚焦处理和自动白平衡处理中的至少一个的控制处理。
(20)根据(19)的系统，还包括成像器头，该成像器头包括图像传感器；以及作为医疗器械的镜体，其中，机械渐晕区域数据是由于图像传感器和镜体的不同形状引起的。
(21)根据(20)的系统，其中，图像传感器是矩形的，并且由镜体产生的医疗图像数据是圆形图像。
(22)根据(19)的系统，还包括成像器头，该成像器头包括图像传感器；以及作为医疗器械的镜体，其中，机械渐晕区域数据是由于图像传感器和镜体的不同大小引起的。
(23)根据(22)的系统，其中，由内窥镜产生的医疗图像在图像传感器的第一维度中超过图像传感器的大小，在图像传感器的垂直于第一维度的第二维度中小于图像传感器的大小，并且第一维度和第二维度两者都在图像传感器的成像感测平面中。
(24)根据(19)的系统，还包括照亮对应于医疗图像数据的目标的光。
(25)根据(19)的系统，还包括附接到镜体的透镜系统，其中，被配置为执行控制处理的电路基于评估信息生成信息以聚焦透镜系统。
(26)根据(19)的系统，其中，被配置为执行控制处理的电路生成白平衡信息以设置医疗图像的白平衡。
(27)一种处理医疗图像信息的方法，包括使用医疗图像数据的有效图像部分数据来确定评估信息，医疗图像数据包括有效图像部分数据和机械渐晕部分数据，医疗图像数据的机械渐晕部分数据是由于由生成医疗图像数据的图像传感器与医疗器械中的差异引起的机械渐晕而生成的，基于评估信息执行包括自动聚焦处理和自动白平衡处理中的至少一个的控制处理。
(28)根据(27)的方法，其中，确定评估信息仅从医疗图像数据的有效图像部分数据确定评估信息，而不使用机械渐晕部分数据。
(29)根据(28)的方法，还包括使用图像传感器和医疗器械生成医疗图像数据，其中，差异是由于图像传感器和医疗器械的不同形状引起的。
(30)根据(29)的方法，其中，图像传感器是矩形的，并且对应于由医疗器械产生的有效图像部分数据的图像是圆形的。
(31)根据(28)的方法，还包括使用图像传感器和医疗器械生成医疗图像数据，其中，差异是由于图像传感器和医疗器械的不同大小引起的。
(32)根据(31)的方法，其中，
来自用于生成有效图像部分数据的医疗器械的图像在图像传感器的第一维度中超过图像传感器的大小，在图像传感器的垂直于第一维度的第二维度中小于由医疗器械产生的图像的大小，并且第一维度和第二维度两者都在图像传感器的成像感测平面中。
(33)根据(28)的方法，其中，医疗器械包括镜体。
(34)根据(28)的方法，还包括使用图像传感器和包括镜体的医疗器械生成医疗图像数据。
(35)根据(34)的方法，还包括
使用光照亮对应于医疗图像的目标。
(36)根据(27)的方法，其中，执行控制处理使用评估信息来执行透镜系统的聚焦。
(37)根据(27)的方法，其中，执行控制处理使用评估信息来执行自动白平衡处理。
(38)根据权利要求(27)的方法，还包括对来自图像传感器的亮度信号进行采样，并且使用亮度信号确定有效图像部分数据存在的位置和有效图像部分数据。
(39)根据(38)的方法，其中，确定有效图像部分数据存在的位置基于已经采样的并且呈矩阵形状的亮度信号来检测有效图像部分数据的边缘，并且指定镜体的直径和有效图像部分数据的中心位置。
(40)根据(27)的方法，还包括
在设置在医疗图像数据上的采样帧中执行采样，以获得用于自动聚焦处理的评估信息，并且使用用于自动聚焦处理的评估信息确定有效图像部分数据存在的位置和有效图像部分数据，其中，执行控制处理基于评估信息至少部分地控制自动聚焦处理。
(41)根据(40)的方法，其中：
在采样帧中执行采样改变采样帧的位置和大小中的至少一个。
(42)根据(40)的方法，其中：
确定有效图像部分数据存在的位置指定镜体的直径和有效图像部分数据的中心位置。
(43)根据(27)的方法，还包括：
使用镜体的直径和有效图像部分数据的中心位置来设置用作有效图像部分的评估值计算目标区域。
(44)根据(27)的方法，其中，执行控制处理基于评估信息来执行控制处理，评估信息是基于在作为用于评估信息的计算目标的医疗图像数据上以矩阵形状设置的评估值计算目标区域中的由镜体的直径和有效图像部分数据的中心位置表示的有效图像部分数据来确定的。
(45)根据(27)的方法，其中，确定评估信息基于使用来自有效图像部分数据的图像数据估计的镜体的F数和焦深中的至少一个来确定用于自动聚焦处理的信息。
(46)根据(27)的方法，其中，执行控制处理基于确定评估信息的确定结果参考包含预先存储的镜体的F数和焦深中的至少一个的表，并且基于参考的结果设置用于定义自动聚焦处理的参数。
<配置的组合>
本技术还可以包括以下配置。
(1)
一种内窥镜系统，包括：
光源装置，被配置为将光照射到手术视野区上；
图像感测装置，被配置为使用可拆卸地安装的镜体拍摄手术视野区；以及
信息处理装置，连接到图像感测装置和光源装置，并且设置有
检测单元，被配置为从由图像感测装置拍摄的摄影图像检测镜体的有效区域，以及
控制单元，被配置为基于有效区域的评估值执行包括自动聚焦处理、自动曝光处理和自动白平衡处理中的至少一个的控制处理。
(2)
根据(1)的内窥镜系统，其中，有效区域没有由镜体引起的渐晕。
(3)
根据(1)或(2)的内窥镜系统，还包括第一采样单元，被配置为对设置在摄影图像中的每个区域的亮度信号进行采样，
其中，检测单元基于摄影图像的每个区域的采样值来检测有效区域。
(4)
根据(3)的内窥镜系统，其中，检测单元基于在摄影图像上以矩阵形状设置的每个区域的采样值来检测有效区域的边缘，并且指定镜体的直径和有效区域的中心位置。
(5)
根据(1)的内窥镜系统，还包括第二采样单元，被配置为在设置在摄影图像上的采样帧中执行采样，并且计算用于自动聚焦处理的评估值，
其中，检测单元基于用于自动聚焦处理的评估值来检测有效区域，并且
控制单元基于用于自动聚焦处理的评估值来执行自动聚焦处理作为控制处理。
(6)
根据(5)的内窥镜系统，其中，第二采样单元通过改变采样帧的位置和大小中的至少一个来计算用于在检测有效区域中使用的自动聚焦处理的评估值。
(7)
根据(6)的内窥镜系统，其中，检测单元基于用于自动聚焦处理的评估值来检测有效区域的边缘，并且指定镜体的直径和有效区域的中心位置。
(8)
根据(1)至(7)中任一项的内窥镜系统，其中，控制单元在由镜体的直径和有效区域的中心位置表示的有效区域中设置用作用于评估值的计算目标的评估值计算目标区域。
(9)
根据(1)至(8)中任一项的内窥镜系统，其中，控制单元基于在作为用于评估值的计算目标的摄影图像上以矩阵形状设置的评估值计算目标区域中的由镜体的直径和有效区域的中心位置表示的有效区域的评估值计算目标区域计算出的评估值来执行控制处理。
(10)
根据(1)至(9)中任一项的内窥镜系统，其中，控制单元基于根据检测单元的检测结果估计的镜体的F数和焦深中的至少一个来设置用于定义自动聚焦处理的参数。
(11)
根据(1)至(9)中任一项的内窥镜系统，其中，控制单元基于检测单元的检测结果参考包含预先存储的镜体的F数和焦深中的至少一个的表，并且基于参考的结果设置用于定义自动聚焦处理的参数。
(12)
一种控制内窥镜系统的方法，该方法包括：
使用光源装置将光照射到手术视野区上；
使用图像感测装置通过可拆卸地安装的镜体拍摄手术视野区；并且
使用连接到图像感测装置和光源装置的信息处理装置，从由图像感测装置拍摄的摄影图像检测镜体的有效区域，并且基于有效区域的评估值执行包括自动聚焦处理、自动曝光处理和自动白平衡处理中的至少一个的控制处理。
(13)
一种内窥镜系统的信息处理装置，该信息处理装置连接到光源装置和图像感测装置，该光源装置被配置为将光照射到手术视野区上，该图像感测装置被配置为通过可拆卸地安装的镜体拍摄手术视野区，
该信息处理装置包括：
检测单元，被配置为从由图像感测装置拍摄的摄影图像检测镜体的有效区域；以及
控制单元，被配置为基于有效区域的评估值执行包括自动聚焦处理、自动曝光处理和自动白平衡处理中的至少一个的控制处理。
(14)
一种用于使用作内窥镜系统的信息处理装置的计算机执行处理的程序，该信息处理装置连接到光源装置和图像感测装置，该光源装置被配置为将光照射到手术视野区上，该图像感测装置被配置为通过可拆卸地安装的镜体拍摄手术视野区，
该处理包括：
从由图像感测装置拍摄的摄影图像检测镜体的有效区域；并且
基于有效区域的评估值执行包括自动聚焦处理、自动曝光处理和自动白平衡处理中的至少一个的控制处理。
参考标记列表
1 内窥镜系统
12 CCU
19 内窥镜
51 相机头
52 镜体
111 成像元件
112 成像元件驱动器
113 透镜驱动器
114 变焦透镜驱动单元
115 聚焦透镜驱动单元
131 相机信号处理单元
132 采样帧门
133 采样单元
134 掩模检测单元
135 AF采样单元
136 透镜控制器
141 曝光检测单元。

Claims (30)

1.一种系统，包括：
内窥镜，包括镜体和图像传感器，所述图像传感器被配置为捕获包括有效图像部分数据和机械渐晕部分数据的医疗图像数据，所述医疗图像数据的所述机械渐晕部分数据是由于由生成所述医疗图像数据的所述图像传感器与所述镜体的差异引起的机械渐晕而生成的；以及
电路，被配置为
从来自所述有效图像部分数据的图像数据确定评估信息，并且
基于所述评估信息执行控制处理以至少部分地控制所述内窥镜上的自动聚焦处理和自动白平衡处理中的至少一个。
2.根据权利要求1所述的系统，其中，
由所述电路确定所述评估信息仅从来自所述有效图像部分数据的所述医疗图像数据确定所述评估信息。
3.根据权利要求2所述的系统，其中，
所述差异是由于所述图像传感器和穿过所述镜体的光的不同形状引起的。
4.根据权利要求3所述的系统，其中，
所述图像传感器是矩形的，并且所述有效图像部分数据是圆形图像。
5.根据权利要求2所述的系统，其中，
所述差异是由于所述图像传感器和所述镜体的不同大小引起的。
6.根据权利要求5所述的系统，其中，
来自用于生成所述有效图像部分数据的所述镜体的图像在所述图像传感器的第一维度中超过所述图像传感器的有效区域的大小，在所述图像传感器的垂直于所述第一维度的第二维度中小于所述图像传感器的有效区域的大小，并且所述第一维度和所述第二维度两者都在所述图像传感器的成像感测平面中。
7.根据权利要求2所述的系统，还包括：
照亮对应于所述有效图像部分数据的目标的光。
8.根据权利要求2所述的系统，还包括：
透镜系统，
其中，由所述电路执行所述控制处理基于所述评估信息生成信息以聚焦所述透镜系统。
9.根据权利要求2所述的系统，其中，
由所述电路执行所述控制处理生成白平衡信息以设置所述医疗图像的白平衡。
10.根据权利要求1所述的系统，其中，所述电路还被配置为：
对来自所述图像传感器的亮度信号进行采样，并且
使用所述亮度信号确定所述有效图像部分数据存在的位置和所述有效图像部分数据。
11.根据权利要求10所述的系统，其中，所述确定所述有效图像部分数据存在的位置基于已经采样的并且呈矩阵形状的所述亮度信号来检测所述有效图像部分数据的边缘，并且指定所述镜体的直径和所述有效图像部分数据的中心位置。
12.根据权利要求1所述的系统，其中，所述电路还被配置为：
在设置在所述医疗图像数据上的采样帧中执行采样，以获得用于所述自动聚焦处理的评估信息，并且
使用用于所述自动聚焦处理的评估信息确定所述有效图像部分数据存在的位置和所述有效图像部分数据，
其中，执行所述控制处理基于所述评估信息至少部分地控制所述自动聚焦处理。
13.根据权利要求12所述的系统，其中，
在所述采样帧中执行采样改变所述采样帧的位置和大小中的至少一个。
14.根据权利要求12所述的系统，其中，
所述确定所述有效图像部分数据存在的位置指定所述镜体的直径和所述有效图像部分数据的中心位置。
15.根据权利要求1所述的系统，其中，所述电路还被配置为：
使用所述镜体的直径和所述有效图像部分数据的中心位置来设置用作所述有效图像部分的评估值计算目标区域。
16.根据权利要求1所述的系统，其中，
执行所述控制处理基于所述评估信息来执行所述控制处理，所述评估信息是基于在作为用于所述评估信息的计算目标的所述医疗图像数据上以矩阵形状设置的评估值计算目标区域中的由所述镜体的直径和所述有效图像部分数据的中心位置表示的所述有效图像部分数据来确定的。
17.根据权利要求1所述的系统，其中，
确定所述评估信息基于使用来自所述有效图像部分数据的所述图像数据估计的所述镜体的F数和焦深中的至少一个来确定用于所述自动聚焦处理的信息。
18.根据权利要求1所述的系统，其中，
执行所述控制处理基于确定所述评估信息的确定结果参考包含预先存储的所述镜体的F数和焦深中的至少一个的表，并且基于所述参考的结果设置用于定义所述自动聚焦处理的参数。
19.一种用于处理医疗图像的系统，包括：
电路，被配置为
通过包括成像器头和附接到所述成像器头的镜体的内窥镜获得医疗图像数据，
使用所述医疗图像数据的有效图像区域数据而不使用所述医疗图像数据的机械渐晕区域数据来确定评估信息，所述医疗图像数据的有效区域是由于由所述镜体引起的机械渐晕而生成的，并且
基于所述评估信息执行包括自动聚焦处理和自动白平衡处理中的至少一个的控制处理。
20.根据权利要求19所述的系统，还包括：
包括图像传感器的所述成像器头；以及
作为医疗器械的所述镜体，
其中，所述机械渐晕区域数据是由于所述图像传感器和所述镜体的不同形状引起的。
21.根据权利要求20所述的系统，其中，
所述图像传感器是矩形的，并且由所述镜体产生的所述医疗图像数据是圆形图像。
22.根据权利要求19所述的系统，还包括：
包括图像传感器的所述成像器头；以及
作为医疗器械的所述镜体，
其中，所述机械渐晕区域数据是由于所述图像传感器和所述镜体的不同大小引起的。
23.根据权利要求22所述的系统，其中，
由所述内窥镜产生的医疗图像在所述图像传感器的第一维度中超过所述图像传感器的大小，在所述图像传感器的垂直于所述第一维度的第二维度中小于所述图像传感器的大小，并且所述第一维度和所述第二维度两者都在所述图像传感器的成像感测平面中。
24.根据权利要求19所述的系统，还包括：
附接到所述镜体的透镜系统，
其中，被配置为执行所述控制处理的所述电路基于所述评估信息生成信息以聚焦所述透镜系统。
25.根据权利要求19所述的系统，其中，
被配置为执行所述控制处理的所述电路生成白平衡信息以设置所述医疗图像的白平衡。
26.一种处理医疗图像信息的方法，包括：
使用医疗图像数据的有效图像部分数据来确定评估信息，所述医疗图像数据包括所述有效图像部分数据和机械渐晕部分数据，所述医疗图像数据的所述机械渐晕部分数据是由于由生成所述医疗图像数据的图像传感器与医疗器械中的差异引起的机械渐晕而生成的；并且
基于所述评估信息执行包括自动聚焦处理和自动白平衡处理中的至少一个的控制处理。
27.根据权利要求26所述的方法，其中，
确定所述评估信息仅从所述医疗图像数据的所述有效图像部分数据确定所述评估信息，而不使用所述机械渐晕部分数据。
28.根据权利要求27所述的方法，还包括：
使用所述图像传感器和所述医疗器械生成所述医疗图像数据，
其中，所述差异是由于所述图像传感器和所述医疗器械的不同形状引起的。
29.根据权利要求27所述的方法，还包括：
使用所述图像传感器和所述医疗器械生成所述医疗图像数据，
其中，所述差异是由于所述图像传感器和所述医疗器械的不同大小引起的。
30.根据权利要求29所述的方法，其中，
来自用于生成所述有效图像部分数据的所述医疗器械的图像在所述图像传感器的第一维度中超过所述图像传感器的大小，在所述图像传感器的垂直于所述第一维度的第二维度中小于由所述医疗器械产生的图像的大小，并且所述第一维度和所述第二维度两者都在所述图像传感器的成像感测平面中。
CN201980018915.6A 2018-03-20 2019-03-12 具有内窥镜和图像传感器的系统以及用于处理医疗图像的方法 Pending CN111867439A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018051955A JP7159577B2 (ja) 2018-03-20 2018-03-20 内視鏡システム、制御方法、情報処理装置、およびプログラム
JP2018-051955 2018-03-20
PCT/JP2019/009853 WO2019181629A1 (en) 2018-03-20 2019-03-12 System with endoscope and image sensor and method for processing medical images

Publications (1)

Publication Number Publication Date
CN111867439A true CN111867439A (zh) 2020-10-30

Family

ID=66001277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980018915.6A Pending CN111867439A (zh) 2018-03-20 2019-03-12 具有内窥镜和图像传感器的系统以及用于处理医疗图像的方法

Country Status (5)

Country Link
US (2) US11455722B2 (zh)
EP (1) EP3768139B1 (zh)
JP (2) JP7159577B2 (zh)
CN (1) CN111867439A (zh)
WO (1) WO2019181629A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7159577B2 (ja) * 2018-03-20 2022-10-25 ソニーグループ株式会社 内視鏡システム、制御方法、情報処理装置、およびプログラム
US10058396B1 (en) * 2018-04-24 2018-08-28 Titan Medical Inc. System and apparatus for insertion of an instrument into a body cavity for performing a surgical procedure
JP7255288B2 (ja) * 2019-03-29 2023-04-11 ソニーグループ株式会社 画像処理システム、画像処理装置、及び画像処理方法
CN112907500B (zh) * 2019-12-03 2022-02-18 精微视达医疗科技（武汉）有限公司 一种内窥镜对焦方法及装置
JP2021137130A (ja) * 2020-03-02 2021-09-16 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置および医療用観察システム
JP7454409B2 (ja) 2020-03-03 2024-03-22 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び医療用制御装置の制御方法
US11375141B1 (en) 2021-02-09 2022-06-28 Arthrex, Inc. Endoscopic camera region of interest autoexposure
JPWO2022209218A1 (zh) * 2021-03-31 2022-10-06
WO2023042273A1 (ja) * 2021-09-14 2023-03-23 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
WO2023145448A1 (ja) * 2022-01-27 2023-08-03 ソニーグループ株式会社 内視鏡システム、制御方法、及びプログラム
WO2023147346A1 (en) * 2022-01-28 2023-08-03 Johnson & Johnson Consumer Inc. Systems, methods, and apparatus for tele-otoscopy
JP7449019B1 (ja) 2023-09-08 2024-03-13 株式会社SEtech 撮像装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010035910A1 (en) * 2000-03-29 2001-11-01 Kazuhiko Yukawa Digital camera
US20080287742A1 (en) * 2007-04-17 2008-11-20 Gyrus Acmi, Inc. Light source power based on predetermined sensed condition
US20110184236A1 (en) * 2010-01-25 2011-07-28 Olympus Corporation Imaging apparatus, endoscope system, and method of controlling imaging apparatus
WO2012160670A1 (ja) * 2011-05-25 2012-11-29 オリンパス株式会社 内視鏡装置
US20140081085A1 (en) * 2012-01-13 2014-03-20 Olympus Medical Systems Corp. Endoscope Tip Part and Endoscope
US20140204187A1 (en) * 2011-09-26 2014-07-24 Olympus Medical Systems Corp. Endoscope image processing device, endoscope system, and image processing method
JP2015123293A (ja) * 2013-12-27 2015-07-06 オリンパス株式会社 内視鏡装置、内視鏡装置の制御方法及びプログラム
JP2015156937A (ja) * 2014-02-24 2015-09-03 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
US20160324398A1 (en) * 2014-01-22 2016-11-10 Olympus Corporation Endoscope apparatus and method for operating endoscope apparatus
US20160366328A1 (en) * 2015-06-12 2016-12-15 Sony Olympus Medical Solutions Inc. Medical image acquisition system and medical imaging device
US20170111624A1 (en) * 2015-02-26 2017-04-20 Olympus Corporation Image pickup apparatus and method for operating image pickup apparatus
WO2017072950A1 (ja) * 2015-10-30 2017-05-04 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001128038A (ja) * 1999-10-27 2001-05-11 Canon Inc 撮像ユニットおよびこれを備えた装置、テレビ電話、携帯端末、コンピュータ、車載カメラ、監視カメラ、内視鏡
US8233075B2 (en) 2007-05-24 2012-07-31 Gyrus Acmi, Inc. User-aided auto-focus
JP5162374B2 (ja) * 2008-08-21 2013-03-13 富士フイルム株式会社 内視鏡画像のズレ量測定装置及び方法、並びに電子内視鏡及び内視鏡用画像処理装置
JP5951211B2 (ja) 2011-10-04 2016-07-13 オリンパス株式会社 合焦制御装置及び内視鏡装置
WO2016088628A1 (ja) 2014-12-02 2016-06-09 オリンパス株式会社 画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラム
US20160227100A1 (en) 2015-01-29 2016-08-04 Qualcomm Incorporated Dual camera systems and methods for rapid 3a convergence and high dynamic range exposure metering
WO2016168307A1 (en) * 2015-04-13 2016-10-20 Universidade De Coimbra Methods and systems for camera characterization in terms of response function, color, and vignetting under non-uniform illumination
JP6657247B2 (ja) 2015-10-27 2020-03-04 オリンパス株式会社 撮像装置、内視鏡装置及び撮像装置の作動方法
JP6670854B2 (ja) 2016-01-15 2020-03-25 オリンパス株式会社 フォーカス制御装置、内視鏡装置及びフォーカス制御装置の作動方法
WO2017145606A1 (ja) 2016-02-24 2017-08-31 ソニー株式会社 画像処理装置、画像処理方法及び内視鏡システム
CN109310301B (zh) 2016-08-31 2021-07-20 Hoya株式会社 电子内窥镜用处理器以及电子内窥镜系统
JP6310598B2 (ja) 2017-04-28 2018-04-11 富士フイルム株式会社 内視鏡装置及び画像処理装置並びに内視鏡装置の作動方法
JP7159577B2 (ja) * 2018-03-20 2022-10-25 ソニーグループ株式会社 内視鏡システム、制御方法、情報処理装置、およびプログラム

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010035910A1 (en) * 2000-03-29 2001-11-01 Kazuhiko Yukawa Digital camera
US20080287742A1 (en) * 2007-04-17 2008-11-20 Gyrus Acmi, Inc. Light source power based on predetermined sensed condition
US20110184236A1 (en) * 2010-01-25 2011-07-28 Olympus Corporation Imaging apparatus, endoscope system, and method of controlling imaging apparatus
WO2012160670A1 (ja) * 2011-05-25 2012-11-29 オリンパス株式会社 内視鏡装置
US20140204187A1 (en) * 2011-09-26 2014-07-24 Olympus Medical Systems Corp. Endoscope image processing device, endoscope system, and image processing method
US20140081085A1 (en) * 2012-01-13 2014-03-20 Olympus Medical Systems Corp. Endoscope Tip Part and Endoscope
JP2015123293A (ja) * 2013-12-27 2015-07-06 オリンパス株式会社 内視鏡装置、内視鏡装置の制御方法及びプログラム
US20160324398A1 (en) * 2014-01-22 2016-11-10 Olympus Corporation Endoscope apparatus and method for operating endoscope apparatus
JP2015156937A (ja) * 2014-02-24 2015-09-03 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
US20170111624A1 (en) * 2015-02-26 2017-04-20 Olympus Corporation Image pickup apparatus and method for operating image pickup apparatus
US20160366328A1 (en) * 2015-06-12 2016-12-15 Sony Olympus Medical Solutions Inc. Medical image acquisition system and medical imaging device
WO2017072950A1 (ja) * 2015-10-30 2017-05-04 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法

Also Published As

Publication number Publication date
US11455722B2 (en) 2022-09-27
EP3768139A1 (en) 2021-01-27
WO2019181629A1 (en) 2019-09-26
US20210019884A1 (en) 2021-01-21
US20230022426A1 (en) 2023-01-26
JP2019162280A (ja) 2019-09-26
EP3768139B1 (en) 2023-04-26
JP2022179728A (ja) 2022-12-02
JP7159577B2 (ja) 2022-10-25

Similar Documents

Publication Publication Date Title
US11455722B2 (en) System with endoscope and image sensor and method for processing medical images
JP5953187B2 (ja) 合焦制御装置、内視鏡システム及び合焦制御方法
JP5415973B2 (ja) 撮像装置、内視鏡システム及び撮像装置の作動方法
CN107005646B (zh) 对焦控制装置、内窥镜装置以及对焦控制装置的控制方法
US20120147165A1 (en) Control device, endoscope apparatus, and focus control method
JP2007124088A (ja) 画像撮影装置
JP5857160B2 (ja) 内視鏡用の撮像システム、内視鏡用の撮像システムの作動方法
JP2008170508A (ja) 撮像装置
US11064144B2 (en) Imaging element, imaging apparatus, and electronic equipment
CN113573624A (zh) 内窥镜系统、非暂时性计算机可读介质及方法
EP3934236A1 (en) Signal processing device, imaging device, and signal processing method
JP5124929B2 (ja) 焦点調節装置およびデジタルカメラ
JP6463190B2 (ja) 撮像装置及びその制御方法並びにプログラム
JP2015194680A (ja) 撮像装置
JP2007328213A (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP2013186293A (ja) 画像生成装置および画像表示方法
JP2002263064A (ja) 内視鏡用自動調光装置およびそれを含む電子内視鏡装置のプロセッサ
JP2017217056A (ja) 内視鏡システム
EP3119264B1 (en) Optically adaptive endoscope
JP2014216692A (ja) 高解像度化処理付き撮影装置
WO2020203810A1 (en) Image processing system, image processing device, and image processing method
US11980348B2 (en) Medical control apparatus and method of controlling medical control apparatus
JP2018042063A (ja) 撮像装置及び露出制御方法
JP2022050280A (ja) 撮像制御装置、内視鏡システム、および撮像制御方法
JP2022138382A (ja) 信号処理装置、信号処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination