CN107735713A - 医疗图像处理装置、医疗图像处理方法及医疗观察系统 - Google Patents

医疗图像处理装置、医疗图像处理方法及医疗观察系统 Download PDF

Info

Publication number
CN107735713A
CN107735713A CN201680034321.0A CN201680034321A CN107735713A CN 107735713 A CN107735713 A CN 107735713A CN 201680034321 A CN201680034321 A CN 201680034321A CN 107735713 A CN107735713 A CN 107735713A
Authority
CN
China
Prior art keywords
image
composograph
shooting
medical
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680034321.0A
Other languages
English (en)
Other versions
CN107735713B (zh
Inventor
杉江雄生
白木寿
白木寿一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107735713A publication Critical patent/CN107735713A/zh
Application granted granted Critical
Publication of CN107735713B publication Critical patent/CN107735713B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

一种医疗观察系统，包括医疗成像设备和电路，其中医疗成像设备在改变焦点位置的同时拍摄生物体的多个图像，电路通过合成医疗成像设备拍摄的多个图像生成合成图像，并且基于对多个图像中的至少一个图像执行的分析的结果在所生成的合成图像与多个图像中的一个图像之间切换输出。

Description

医疗图像处理装置、医疗图像处理方法及医疗观察系统
相关申请的引证
本申请要求于2015年6月19日提交的日本在先专利申请JP2015-124005的权益，其全部内容通过引用结合于此。
技术领域
本技术涉及医疗图像处理装置、医疗图像处理方法和医疗观察系统，具体地，涉及可以以低延迟和高帧率获得深焦图像的医疗图像处理装置、医疗图像处理方法和医疗观察系统。
背景技术
通过医疗显微镜等获得的拍摄图像的景深较浅，从而在与实际空间中对焦的焦点位置(焦点平面)稍微不同的深度处的对象的图像变得模糊。
例如，在脑外科手术中通过医疗显微镜获得的拍摄图像中，在周边拍摄前方的对象，而在中心拍摄作为大体上位于后面的注意焦点的对象(诸如手术部位)。此时，当调整焦点以使在拍摄图像的中心处的对象成为焦点时，拍摄图像的周边中的对象变得模糊，这可能影响对象的可观察性和医疗显微镜的可操作性。
因此，例如，提出了一种实时全对焦显微镜照相机，其在改变焦点位置(焦距)的同时执行图像的高速拍摄并从拍摄获得的多个图像中获得深焦图像(全对焦图像)(例如，参考专利文献1)。
[引用列表]
[专利文献]
[PTL1]
国际公开第WO2002/082805号
发明内容
[技术问题]
现在，当要向利用诸如医疗显微镜的医疗器械进行手术的诸如医生的用户提供图像时，从医疗领域的性质来看，希望以低延迟和高帧率提供图像。
鉴于这种情况，期望能够以低延迟和高帧率获得深焦图像。
[问题的解决方案]
根据本技术的实施方式的一种医疗图像处理装置包括：电路，被配置为对通过在改变焦点位置的同时利用医疗成像设备拍摄生物体而获得的多个图像进行合成来生成合成图像，并基于对多个图像中的至少一个图像执行的分析结果在所生成的合成图像与多个图像中的一个图像之间切换输出。
根据本技术的实施方式的一种医疗图像处理方法包括：对通过在改变焦点位置的同时利用医疗成像设备拍摄生物体而获得的多个图像进行合成以生成合成图像，并基于对多个图像中的至少一个图像执行的分析的结果在所生成的合成图像与多个图像中的一个图像之间切换输出。
根据本技术的实施方式的一种医疗观察系统包括：医疗成像设备，被配置为在改变焦点位置的同时拍摄生物体的多个图像；以及电路，被配置为对由医疗成像设备拍摄的多个图像进行合成来生成合成图像，并且基于对多个图像中的至少一个图像执行的分析结果在所生成的合成图像与多个图像中的一个图像之间切换输出。
注意，医疗图像处理装置和医疗观察系统可以是独立装置和构成单个装置的系统或内部块。
[发明的有益效果]
根据本技术的实施方式，例如，可以以低延迟和高帧率获得深焦图像。
应注意，效果不限于上述所描述的效果，而是可以是本公开中描述的任何效果。
附图说明
[图1]图1是示出应用了本技术的医疗观察系统的实施方式的配置实例的框图。
[图2]图2是示出信号处理设备12的第一配置实例的框图。
[图3]图3是示出在拍摄单元11中获取拍摄图像而进行的拍摄并且在信号处理设备12中生成合成图像的概述的图示。
[图4]图4是示出由对准单元32和合成单元33执行的处理的实例的图示。
[图5]图5是示出在拍摄单元11中改变焦点位置时拍摄的拍摄图像的图示。
[图6]图6是示出了医疗观察系统的第一操作实例的流程图。
[图7]图7是示出了医疗观察系统的第二操作实例的流程图。
[图8]图8是示出了医疗观察系统的第三操作实例的流程图。
[图9]图9是示出信号处理设备12的第二配置实例的框图。
[图10]图10是示出了在范围设置单元62中设置焦点移动范围的实例的示图。
[图11]图11是示出了医疗观察系统的第四操作实例的流程图。
[图12]图12是示出信号处理设备12的第三配置实例的框图。
[图13]图13是示出焦点位置和焦点得分之间的关系的实例的曲线图。
[图14]图14是示出了医疗观察系统的第五操作实例的流程图。
[图15]图15是示出信号处理设备12的第四配置实例的框图。
[图16]图16是示出在信号处理设备12中设置AF框的处理的实例的流程图。
[图17]图17是示出应用本技术的计算机的实施方式的配置实例的框图。
具体实施方式
<应用本技术的医疗观察系统的实施方式>
图1是示出应用了本技术的医疗观察系统的实施方式的配置实例的框图。
图1所示的医疗观察系统可以应用于具有观察生物体的功能的医疗器械，诸如医疗内窥镜系统或医疗电子显微镜(手术显微镜)。
如图1所示，医疗观察系统包括拍摄单元11、信号处理设备12、及显示设备13。
拍摄单元11照亮并拍摄作为生物体的对象，例如经受手术的人体的手术部位，并将作为通过拍摄获得的生物体的图像的拍摄图像提供至信号处理设备12。
拍摄单元11包括光源21、光学系统22及图像传感器23。
光源21由发光二极管(LED)等形成并且发射照亮对象的光。
光学系统22设置在透镜镜筒(未示出)中并由诸如对焦透镜和光圈的光学部件形成。光学系统22将作为从光源21发射、从对象反射并入射到光学系统上的光的对象光(反射光)会聚到图像传感器23上。
图像传感器23是互补金属氧化物半导体(CMOS)传感器，例如接收来自光学系统22的对象光，进行光电转换并拍摄对象。由图像传感器23拍摄的对象的拍摄图像提供至信号处理设备12。
注意，拍摄单元11可以拍摄二维(2D)图像和由左眼图像(左(L)图像)和右眼图像(右(R)图像)形成的3D图像作为拍摄图像。
当拍摄3D图像时，拍摄单元11设置有用于拍摄L图像的光学系统22和图像传感器23，以及用于拍摄R图像的光学系统22和图像传感器23，如图中的虚线所示。
此外，当拍摄单元11拍摄3D图像时，信号处理设备12例如对L图像和R图像中的每一个进行类似的处理。
为了简化说明，以下假设拍摄单元11拍摄2D图像作为拍摄图像。
信号处理设备12对从拍摄单元11获得的拍摄图像执行适当的信号处理，并将作为信号处理结果获得的图像提供至显示设备13。
此外，信号处理设备12视情况控制拍摄单元11。
具体地，信号处理设备12控制光源21以控制例如光源21提供的照明的强度。信号处理设备12还控制光学系统22以调节光圈，例如焦点(位置)和变焦。此外，信号处理设备12例如控制图像传感器23以控制拍摄图像的帧率和拍摄中的曝光时间(快门速度)以获得拍摄图像。
显示设备13显示从信号处理设备12提供的图像。显示设备13可以是与信号处理设备12一体的显示器、与信号处理设备12分开设置的固定显示器、或者例如头戴式显示器。
<信号处理设备12的第一配置实例>
图2是示出了图1的信号处理设备12的第一配置实例的框图。
如图2所示，信号处理设备12包括帧缓冲器31、对准单元32、合成单元33、驱动控制单元34和控制单元35。
来自拍摄单元11(具体地，其图像传感器23)的拍摄图像和来自合成单元33的合成图像(将要描述)被提供至帧缓冲器31。
帧缓冲器31临时存储来自拍摄单元11的拍摄图像和来自合成单元33的合成图像。
在此，拍摄单元11以高于或等于在显示设备13中显示的图像的帧率的帧率执行(高速)拍摄，以在通过要描述的驱动控制单元34控制的光学系统22改变焦点位置的同时获得拍摄图像。
因此，将具有不同焦点位置的多个拍摄图像从拍摄单元11提供至帧缓冲器31，帧缓冲器31存储具有不同焦点位置的多个拍摄图像。
对准单元32执行最后合成图像与存储在帧缓冲器31中的最新拍摄图像之间的对准，并将对准的合成图像和拍摄的图像提供至合成单元33。
具体地，对准单元32包括视角调整单元41、运动模糊消除单元42和对象对准单元43。
视角调整单元41调整合成图像和拍摄图像中的每一个的视角，并将其视角经调整的合成图像和拍摄图像提供至运动模糊消除单元42。
运动模糊消除单元42消除了从视角调节单元41提供的拍摄图像中的运动模糊，并将合成图像与消除了运动模糊的拍摄图像一起提供至对象对准单元43。
对象对准单元43检测从运动模糊消除单元42提供的合成图像和拍摄的图像中的运动，并且基于运动检测的结果，进行合成图像与拍摄图像之间的对准。
换言之，对象对准单元43执行对准以将合成图像中的对象的位置与拍摄图像中的相同对象对准。
然后，对象对准单元43将对准的合成图像和拍摄图像提供至合成单元33。
合成单元33通过对从对准单元32(具体地其对象对准单元43)提供的合成图像和拍摄图像进行合成来生成最新合成图像。
具体地，合成单元33包括特征数据计算单元51、峰值计算单元52以及图像合成单元53。
特征数据计算单元51计算表示从对准单元32提供的合成图像和拍摄图像中的每一个中的像素的聚焦(对焦)程度的特征数据(以下也称为对焦特征数据)，并将对焦特征数据提供至峰值计算单元52。
峰值计算单元52计算在合成图像和拍摄图像中的每一个中布置在相同位置处的像素的对焦特征数据的峰值。即，峰值计算单元52检测布置在合成图像和拍摄图像中的每一个中的相同位置处的像素的对焦特征数据之间的较大的对焦特征数据，并提供检测结果(以下也称为检测峰值)至图像合成单元53。
图像合成单元53通过根据从峰值计算单元52提供的检测到的峰值对从对准单元32提供的合成图像和拍摄图像进行合成，来生成最新合成图像。
将在图像合成单元53中获得的(最新)合成图像提供至帧缓冲器31，并且还根据需要输出到显示设备13(图1)。
驱动控制单元34驱动光学系统22以移动焦点位置。
控制单元35控制整个信号处理设备12。
<获取拍摄图像所执行的拍摄和生成合成图像的概述>
图3是示出在拍摄单元11中为获取拍摄图像而进行的拍摄并且在信号处理设备12中生成合成图像的概述的图示。
图3示出了拍摄单元11以120Hz的帧率执行拍摄以获得拍摄图像(帧)F1、F2、F3等的实例。
此外，如图3所示，获得拍摄图像的焦点位置在每个帧中周期性地移动到四个焦点位置pos1、pos2、pos3和pos4。
在此，焦点位置pos1、pos2、pos3和pos4不同，并且在图3中具有由表达式pos1<pos2<pos3<pos4表示的关系。
如上所述，拍摄单元11执行拍摄以获得拍摄图像F1、F2、F3等，同时周期性地将焦点位置改变为焦点位置pos1、pos2、pos3和pos4。
因此，拍摄图像F1是焦点位置pos1处的图像(对焦在焦点位置pos1上的图像)，拍摄图像F2是焦点位置pos2处的图像，拍摄图像F3是焦点位置pos3处的图像，以及拍摄图像F4是焦点位置pos4处的图像。
拍摄图像F5是对焦在焦点位置pos1上的图像，并且以这种方式，从那以后的拍摄图像对应于对焦在周期性变化的焦点位置上的图像。
理论上，信号处理设备12通过将具有不同的焦点位置的多个拍摄图像(例如对焦在焦点位置pos1、pos2、pos3和pos4上的拍摄图像的四帧)合成，来生成深焦合成图像。
可以采用第一合成方法和第二合成方法，例如作为通过将具有不同的焦点位置的多个拍摄图像(诸如对焦在焦点位置pos1、pos2、pos3及pos4上的拍摄图像)合成，来生成深焦合成图像的扩展景深(EDoF)方法。
在第一合成方法中，对焦在每个焦点位置pos1至pos3上的拍摄图像与对焦在焦点位置pos4上的拍摄图像对准，对焦在焦点位置pos4上的拍摄图像作为对焦在焦点位置pos1至pos4上的拍摄图像中的最新拍摄图像。
之后，在对焦在焦点位置pos1至pos4上的经对准的拍摄图像的像素中，将对焦在焦点位置的拍摄图像的具有最大(峰值)对焦特征数据的像素选择为合成图像的像素，由此产生由这种像素形成的合成图像。
在第二合成方法中，例如，首先获得的焦点位置pos1处的拍摄图像F1成为合成图像。然后对该合成图像(最后合成图像)和在焦点位置pos2处的随后的拍摄图像F2进行合成。
换言之，最后合成图像与作为最新拍摄图像的焦点位置pos2处的拍摄图像F2对准。
之后，对准后在焦点位置pos2处的拍摄图像F2和合成图像的像素之间，将拍摄图像F2或合成图像的具有最大(较大)对焦特征数据的像素选择作为最新合成图像C1的像素，由此生成由这种像素形成的最新合成图像C1。
对于在焦点位置pos2处的拍摄图像F2之后拍摄的焦点位置pos3处的拍摄图像F3，合成图像C1用作最后合成图像C1，其中合成图像C1和焦点位置pos3处的拍摄图像F3(最新拍摄图像)以类似的方式合成以生成最新合成图像C2。
对于在焦点位置pos3处的拍摄图像F3之后拍摄的焦点位置pos4处的拍摄图像F4，合成图像C2用作最后合成图像C2，其中合成图像C2和焦点位置pos4处的拍摄图像F4以类似的方式合成以生成最新合成图像C3。
同样，对于后续的拍摄图像，通过在第二合成方法中合成最后合成图像和最新拍摄图像来生成最新合成图像。
通过合成在第一合成方法中的焦点位置pos1至pos4处的拍摄图像和通过第二合成方法获得的合成图像C3获得的每个合成图像是具有包括焦点位置pos1至pos4的景深的深焦图像。
此外，在第一合成方法或第二合成方法中，可以在获得焦点位置pos1至pos4的拍摄图像之后，获得合成图像。
注意，在第一合成方法中，焦点位置pos1至pos4处的四帧拍摄图像进行生成合成图像的合成处理(在对准单元32中执行的对准处理和在合成单元33中进行的合成处理)。
另一方面，在第二合成方法中，对包括最后合成图像和最新拍摄图像的两帧图像进行合成处理。
因此，虽然在第一合成方法和第二合成方法中获得的合成图像的景深没有差异，但是当使用三帧或更多帧的拍摄图像来生成合成图像时，第二合成方法比第一合成方法更快地执行合成处理。
根据第二合成方法，如上所述，可以更快地执行合成处理，使得可以以低延迟和高帧率获得作为深焦图像的合成图像。
现在，当要向诸如利用医疗器械执行手术的医生的用户提供图像时，从医疗领域的性质来看，希望如上所述的以低延迟和高帧率提供图像，在这种情况下，可以采用第二合成方法以能够以低延迟和高帧率提供深焦图像。因此，可以增加对象的观察性(便于观察对象)以及便于对对象进行手术。
此外，根据第二合成方法，即使当拍摄单元11中的焦点驱动较慢并且需要时间时，也可以在短时间内进行合成处理以能够及时获得深焦图像。
注意，如图3所示，当拍摄单元11在周期性地将焦点位置改变为焦点位置pos1、pos2、pos3和pos4的同时执行拍摄以获得120Hz的帧率的拍摄图像时，信号处理设备12可以通过每当获得焦点位置pos1、pos2、pos3、及pos4处的四帧拍摄图像时合成四帧拍摄图像，来生成单帧合成图像。在这种情况下，可以获得景深是(近似)在单个焦点位置的拍摄图像的四倍和30Hz的帧率的合成图像。
此外，如图3所示，当拍摄单元11在周期性地将焦点位置改变为焦点位置pos1、pos2、pos3和pos4的同时执行拍摄以获得具有120Hz的帧率的拍摄图像时，信号处理设备12可以通过在每当获得最新的拍摄图像时合成包括最新的拍摄图像的前面四帧拍摄图像，生成单帧合成图像。在这种情况下，可以获得景深是(近似)在单个焦点位置的拍摄图像的四倍和120Hz的帧率的合成图像。
虽然图1的医疗观察系统可以采用第一合成方法或第二合成方法，但是将描述采用第一合成方法和第二合成方法之间的第二合成方法的实例。
<通过对准单元32和合成单元33执行的处理>
图4是示出由图2示出的对准单元32和合成单元33执行的处理的实例的图。
如参考图3所述，拍摄单元11在改变焦点位置的同时执行拍摄以获得拍摄图像。
图4示出了在时刻t0、t1和t2获得包括对象obj1和obj2的拍摄图像的情况。
在时刻t0至t2获得的拍摄图像的焦点位置是不同的，使得在时刻t0的拍摄图像中，对象obj1对焦而对象obj2离焦。在时刻t1和t2获得的拍摄图像中，对象obj1离焦而对象obj2对焦。
在此，将参考图4描述由对准单元32和合成单元33执行的处理，为了简化描述，假设在时刻t0的拍摄图像是最后合成图像，并且在时刻t1的拍摄图像是最新拍摄图像。
对准单元32将作为最后合成图像的时刻t0的拍摄图像的位置与作为最新拍摄图像的时刻t1的拍摄图像对准。
执行对准，使得在时刻t0和t1获得的拍摄图像中的相同对象尽可能地彼此重叠。
具体地，对准单元32的视角调整单元41将作为最后合成图像的在时刻t1的拍摄图像的视角调整为，例如使得在时刻t0和t1的拍摄图像中相同的对象obj1以及对象obj2尽可能地彼此重叠。
假设作为最新拍摄图像的在时刻t1的拍摄图像与作为最后合成图像的时刻t0的拍摄图像高度相关来调整视角，其中，在时刻t0的拍摄图像的视角逐渐变化以计算交叉相关或像素值差的绝对值的总和，作为表示在时刻t0和t1的拍摄图像之间的相关性的相关值。
然后，计算出在时刻t0和t1的拍摄图像之间的相关值最高的视角，将时刻t0拍摄图像的视角调整为这样的视角(在时刻t0的拍摄图像按比例放大或缩小)。
在改变焦点位置时获得拍摄图像，由于焦点位置的移动，视角可以在一个拍摄图像和下一个拍摄图像之间稍微变化。调整视角以便校正视角的这种变化。
在调整视角之后，对准单元32的运动模糊消除单元42消除作为最新拍摄图像的在时刻t1的拍摄图像中的运动模糊。
可以采用任意方法消除运动模糊。当模糊核可能是导致运动模糊的过滤器时，例如，可以通过模糊核的去卷积消除运动模糊。
注意，可以跳过运动模糊消除单元42中的消除运动模糊的处理。即，当通过模糊核的去卷积消除运动模糊时，可以跳过消除运动模糊的处理，然而，该模糊核例如不被假设为引起模糊的过滤器。
虽然在这种情况下仅从最新拍摄图像中消除运动模糊，但也可以从最后合成图像中消除运动模糊。然而，已从最后合成图像消除了运动模糊，因为最后合成图像是通过合成去模糊的拍摄图像和在最后合成图像之前获得的合成图像而获得的，除了拍摄图像用作最后合成图像的情况之外。因此，除了拍摄图像用作最后合成图像的情况之外，最后合成图像不一定要经历运动模糊消除。
此后，对准单元32的对象对准单元43将作为最后合成图像的在时刻t0的拍摄图像中的对象的位置与作为最新拍摄图像的在时刻t1的拍摄图像中的对象的位置对准。
假设作为最新拍摄图像的在时刻t1的拍摄图像和作为最后合成图像的在时刻t0的拍摄图像在景深上变化不大(不具有很大差异)，即相同的对象对焦在作为最新拍摄图像的时刻t1的拍摄图像和作为最后合成图像的在时刻t0的拍摄图像两者中，对象对准单元43执行对准。
对象对准单元43例如通过逐像素地检测作为最新拍摄图像的在时刻t1的拍摄图像与作为最后合成图像的在时刻t0的拍摄图像之间的运动来执行对准。
例如，运动检测可以由任意方法执行。例如，运动检测可以通过块匹配或基于特征点的Kanade Lucas Tomasi(KLT)方法来执行。
在由对象对准单元43执行的对准中，在运动检测中逐像素地检测运动矢量，然后使用逐像素检测的运动矢量来找到表示从作为最后合成图像的时刻t0的拍摄图像中的一个或多个点到作为最新拍摄图像的时刻t1的拍摄图像的一个或多个点的运动的一个或多个代表性矢量。
然后，计算实现与由代表性矢量表示的运动匹配的投影变换的投影变换矩阵，使得作为最后合成图像的时刻t0的拍摄图像根据投影变换矩阵进行投影变换，以使作为最后合成图像的时刻t0的拍摄图像的位置与作为最新拍摄图像的时刻t1的拍摄图像对准。
然后，将对准后的作为最后合成图像的时刻t0的拍摄图像和作为最新拍摄图像的时刻t1的拍摄图像从对准单元32提供至合成单元33并进行合成。
即，合成单元33的特征数据计算单元51计算表示作为最新拍摄图像的时刻t1的拍摄图像和作为最后合成图像的时刻t0的拍摄图像中的每个的像素对焦的程度的对焦特征数据，并将具有计算的对焦特征数据作为像素值的特征数据图像提供至峰值计算单元52。
对焦特征数据可以是例如具有用于对焦像素的大值和用于模糊像素的小值的特征数据。例如，可以采用拉普拉斯算子作为对焦特征数据。
峰值计算单元52参考来自特征数据计算单元51的特征数据图像并且计算(检测)作为最新拍摄图像的时刻t1的拍摄图像和作为最后合成图像的时刻t0的拍摄图像中的每个的在相同位置处的像素中的对焦特征数据的峰值。
图4示出了与作为最新拍摄图像的时刻t1的拍摄图像中的对象obj1对应的像素p1，和与作为最后合成图像的时刻t0的拍摄图像中的对象obj1对应并且位于与像素p1相同的位置的像素p0，其中，与对焦的对象obj1对应的像素p0的对焦特征数据大于与离焦的对象obj1对应的像素p1的特征数据。因此，像素p0的对焦特征数据检测为相同位置处的像素p0和p1的对焦特征数据的峰值，并且作为检测结果的检测到的峰值从峰值计算单元52提供至图像合成单元53。
图像合成单元53通过根据来自峰值计算单元52的检测到的峰值，将作为最新拍摄图像的时刻t1的拍摄图像和作为最后合成图像的时刻t0的拍摄图像合成，以生成最新合成图像。
具体地，图像合成单元53通过选择作为最新拍摄图像的时刻t1的拍摄图像和作为最后合成图像的时刻t0的拍摄图像中的每个的位于相同位置处的像素之间的具有作为检测的峰值的较大的对焦特征数据的像素(也就是对应于更对焦的对象的像素)，作为最新合成图像的像素，。
如上所述的合成单元33将在对准单元32中通过运动检测对准的最新拍摄图像和最后合成图像合成。因此，即使当具有一定程度的运动的对象在最新拍摄图像和最后合成图像中时，也可以通过跟随运动来生成最新深焦合成图像。
图5是示出在拍摄单元11中改变焦点位置的同时获得的拍摄图像的图示。
图5示出了在改变焦点位置的同时拍摄排列在实际空间中的对象obj1、obj2和obj3的情况。
注意，对象obj1、obj2和obj3以远离拍摄单元11侧的这种顺序排列。
在拍摄对象obj1至obj3时，焦点位置从前侧移动至后侧(从拍摄单元11一侧看)。
图5中的拍摄图像F#N和F#N+1是拍摄图像的相邻帧，其中，在拍摄图像F#N之后获得拍摄图像F#N+1。
获得拍摄图像F#N时的景深覆盖最前部的对象obj1和第二最前部对象obj2，但不覆盖排列在最远后部的对象obj3。因此，当拍摄图像F#N时，对象obj3离焦，对象obj1和obj2对焦。
另一方面，获得拍摄图像F#N+1时的景深覆盖第二最前部的对象obj2和排列在最远后部的最远的物体obj3，而不覆盖最前部的对象obj1。因此，当拍摄图像F#N+1时，对象obj1离焦，对象obj2和obj3对焦。
因此，对象obj2在拍摄图像F#N和F#N+1中都对焦。
如上所述，焦点位置移动，使得在拍摄图像F#N和F#N+1的相邻帧中，一个或多个对象(图5中的对象obj2)对焦，即，拍摄图像F#N和F#N+1的相邻帧的景深部分重叠。
<医疗观察系统的第一操作实例>
图6是表示图1所示的医疗观察系统的第一操作例的流程图。
具体地，图6示出了当信号处理设备12如图2所示配置时医疗观察系统的操作实例。
在步骤S11中，控制单元35将焦点位置的目标值设置为默认值，诸如焦点位置可以移动的范围内的最小值，然后操作进行至步骤S12中的处理。
在步骤S12中，控制单元35控制驱动控制单元34以将焦点位置移动到目标值，然后操作进行至步骤S13中的处理。
在步骤S13中，拍摄单元11在焦点位置为目标值时进行拍摄以获得拍摄图像，并将拍摄图像提供至帧缓冲器31，然后操作进行到步骤S14中的处理。
在步骤S14中，帧缓冲器31将来自拍摄单元11的拍摄图像存储为关注的图像，然后操作进行至步骤S15中的处理。
在步骤S15中，如参照图4所述，对准单元32在存储在帧缓冲器31中的作为最新拍摄图像的关注图像与存储在帧缓冲器31中的最后合成图像之间执行对准。此外，在步骤S15中，对准单元32将对准的关注图像和最后合成图像提供至合成单元33，然后操作进行到步骤S16中的处理。
在此，存储在帧缓冲器31中的合成图像在预定的定时复位，即从帧缓冲器31中删除。
例如，合成图像在开始拍摄时复位。
因此，在开始拍摄时，合成图像复位而不是存储在帧缓冲器31中。
例如，在将焦点位置的目标值设定为默认值的步骤S11中，也可以将合成图像复位。此外，当获得不适于生成深焦合成图像的拍摄图像时，例如当从拍摄图像检测到大的运动，并且满足限制拍摄图像的合成(及合成图像的最终生成)的合成限制条件时，可以复位合成图像。
当合成图像未存储在帧缓冲器31中时，跳过步骤S15和S16中的每一个的处理，在这种情况下，关注的图像作为合成图像存储到帧缓冲器31中。
在步骤S16中，如上参照图4所述，合成单元33计算对准的关注图像和最后合成图像中的每个中的像素的对焦特征数据，并且根据所计算的对焦特征数据，合成关注图像和最后合成图像以生成最新合成图像。
具体地，合成单元33通过根据对焦特征数据选择在关注图像和最后合成图像的像素之间更对焦的像素作为最新合成图像的像素，来生成最新合成图像。
合成单元33将最新合成图像提供至帧缓冲器31，帧缓冲器31通过重写最后合成图像来存储最新合成图像，然后操作从步骤S16中的处理进行至步骤S17中的处理。
这里，如上所述，存储在帧缓冲器31中的最新合成图像用作在下一轮操作中执行的步骤S15中的最后合成图像。
在步骤S17中，控制单元35确定焦点位置的目标值是否设置为焦点位置能够移动的范围内的最大值。
当在步骤S17中确定目标值未设置为焦点位置能够移动的范围内的最大值时，即当目标值小于焦点位置能够移动的范围内的最大值时，操作进行到步骤S18中的处理。
在步骤S18中，控制单元35使焦点位置的目标值从当前值增加预定值，然后操作返回步骤S12中的处理。
在步骤S12中，如上所述，控制单元35控制驱动控制单元34将焦点位置移动到目标值。从这起重复类似的处理，使得在改变焦点位置的同时获得拍摄图像，并且合成最新拍摄图像和最后合成图像。
另一方面，当在步骤S17中确定目标值设置为焦点位置能够移动的范围内的最大值时，即在跨焦点位置能够移动的范围移动焦点位置的同时获得多个拍摄图像时，操作进行到步骤S19中的处理。
在步骤S19中，合成单元33输出要在显示设备13(图1)中显示的最新合成图像，然后操作返回到步骤S11中的处理。
在第一操作实例中，在跨焦点位置能够移动的范围移动焦点位置的同时获得多个拍摄图像，然后通过使用所有多个拍摄图像来生成合成图像并输出至显示设备13/在显示设备13中显示。
因此，在第一操作实例中，在显示设备13中显示的合成图像的帧率比在拍摄单元11中获得的拍摄图像的帧率低了对应于用于生成合成图像的拍摄图像的帧数的量。
<医疗观察系统的第二操作实例>
图7是示出图1所示的医疗观察系统的第二操作实例的流程图。
具体地，图7示出了当信号处理设备12如图2所示配置时医疗观察系统的另一操作实例。
在第二操作实例中，在步骤S21至S26中的每一个中执行与图6中的第一操作实例的步骤S11至S16中的每个步骤中执行的处理类似的处理。
在步骤S26中，合成单元33生成最新合成图像并且将其提供至帧缓冲器31，帧缓冲器31通过重写最后合成图像来存储最新合成图像，然后操作进行至步骤S27中的处理。
在步骤S27中，与图6中的第一操作实例的步骤S19一样，合成单元33输出要显示在显示设备13(图1)中的最新合成图像，然后操作进行到步骤S28中的处理。
在步骤S28和S29中的每一个中，执行与图6中的第一操作实例的步骤S17和S18中的每个执行的处理类似的处理。
在图6的第一操作实例中，如上所述，在跨焦点位置能够移动的范围移动焦点位置的同时获得多个拍摄图像，然后通过使用所有多个拍摄图像来生成合成图像并输出至显示设备13/在显示设备13中显示。
另一方面，图7的第二操作实例与第一操作实例的共同之处在于，在跨焦点位置能够移动的范围移动焦点位置的同时获得多个拍摄图像。
然而，在第二操作实例中，在步骤S27中，每当通过在对应于第一操作实例的S16的步骤S26中使用最新拍摄图像(关注的图像)生成最新合成图像，在步骤S27中将最新合成图像输出至显示设备13/在显示设备13中显示。
因此，在第二操作实例中，显示设备13中显示的合成图像的帧率对应于通过拍摄单元11获得的拍摄图像的帧率。
注意，用户可以执行操作等来选择是如图6的第一操作实例中所述的通过使用在跨焦点位置能够移动的范围移动焦点位置的同时获得的多个拍摄图像的全部来生成合成图像，并将合成图像输出至显示设备13，还是如图7的第二操作实例描述的每当通过使用最新拍摄图像来生成最新合成图像时，将最新合成图像输出至显示设备13。
在第一操作实例和第二操作实例之间，将描述一实例，其中，如第一操作实例所描述，通过使用在跨焦点位置能够移动的范围移动焦点位置的同时获得的多个拍摄图像的全部来生成合成图像，并将合成图像输出至显示设备13。
<医疗观察系统的第三操作实例>
图8是示出图1所示的医疗观察系统的第三操作实例的流程图。
具体地，图8示出了当信号处理设备12如图2所示配置时医疗观察系统的又一操作实例。
在第三操作实例中，在步骤S31至S38中的每一个中执行与图6中的第一操作实例的步骤S11至S18中的每个步骤中执行的处理类似的处理。
在步骤S37中，与第一操作实例的对应的步骤S17一样，控制单元35确定焦点位置的目标值是否设置为焦点位置能够移动的范围内的最大值。
当在步骤S37中确定目标值设置为焦点位置能够移动的范围内的最大值时，操作进行至步骤S39中的处理。
在步骤S39中，控制单元35确定是否满足限制拍摄图像的合成(以及合成图像的最终生成)的合成限制条件。
这里，合成限制条件可以是例如获得不适合生成深焦合成图像的拍摄图像的情况或者用户不希望获得深焦图像的情况。
例如，当对关注图像和最后合成图像执行视角调整的可靠性小于或等于阈值时，获得不适合生成深焦合成图像的拍摄图像，在步骤S35中，在关注图像与最后合成图像之间的对准中执行视角调整。
在视角调整中，如参考图4所述，获得具有关注图像(作为最新拍摄图像的时刻t1的拍摄图像)与最后合成图像(作为最后合成图像的时刻t0的拍摄图像)之间的最高相关值的视角，并且将最后合成图像的视角调整为获得的视角。
例如，当调整最后合成图像的视角时，视角调整的可靠性可以由关注图像与最后合成图像之间的相关值来表示。
此外，例如，当对关注图像和最后合成图像执行的运动检测的可靠性小于或等于阈值时，获得不适合生成深焦合成图像的拍摄图像，在步骤S36中，在合成关注图像与最后合成图像中执行运动检测。
例如，运动检测的可靠性可以由与绝对差值和(SAD)等成反比的值来表示，作为用于在执行为运动检测的块匹配中检测运动矢量并且评估块之间的相似性的评估值。
此外，例如，当运动检测中的关注图像和最后合成图像中检测的运动的程度高于或等于阈值时，获得不适合生成深焦合成图像的拍摄图像，在步骤S36中，在合成关注图像与最后合成图像中执行运动检测。
当用户通过操作拍摄单元11系统地执行平移或缩放时，或者当对象的运动程度相对于焦点位置的移动速度大时，例如，更难以将关注图像和最后合成图像中的对象对准，从而可能在合成图像中引起相当大的运动模糊。
可以将在运动检测中的关注图像和最后合成图像中检测的运动程度高于或者等于阈值的情况设置为能够防止生成上述具有相当大的运动模糊的合成图像的合成限制条件。
例如，当拍摄图像包括诸如经历手术的人体的手术部位的生物体以及诸如用于对手术部位执行治疗的镊子的治疗工具时，用户不希望获得深焦图像，用户(操作治疗工具)有意地移动治疗工具(例如，朝向手术部位移动治疗工具)。
例如，可以通过图像识别治疗工具包括在拍摄图像中并且检测治疗工具的运动，而看到治疗工具是否在运动。
例如，当用户握持治疗工具时，还可以基于操作的按钮(未示出)的状态处于开启状态来看治疗工具是否在运动。
此外，当用户不希望获得深焦图像时操作的按钮(未示出)被操作时，用户不希望获得深焦图像。
当在步骤S39中确定满足合成限制条件时，操作进行至步骤S40中的处理。
在步骤S40中，合成单元33从帧缓冲器31中读取用于生成最新合成图像的多个拍摄图像中的一个图像，即通过对准单元32对焦在中心等上的单帧拍摄图像。
然后，合成单元33选择从帧缓冲器31读取并对焦在中心上的拍摄图像作为最新合成图像，然后操作从步骤S40中的处理进行至步骤S41中的处理。
另一方面，当在步骤S39中确定不满足合成限制条件时，操作跳过步骤S40中的处理并进行至步骤S41中的处理。
在步骤S41中，与图6中的第一操作实例的步骤S19一样，合成单元33输出要显示在显示设备13(图1)中的最新合成图像，然后操作返回至步骤S31中的处理。
在图8的第三操作实例中，当不满足合成限制条件时，将通过在改变焦点位置时获得的多个拍摄图像合成而形成的合成图像输出至显示设备13或显示在显示设备13中，而当满足合成限制条件时，由于对通过合成在改变焦点位置时获得的多个拍摄图像而形成的合成图像的输出进行限制，多个拍摄图像中的一个图像输出至显示设备13或显示在显示设备13中。
因此，可以防止当用户有意地将治疗工具主要朝向手术部位移动并且不是特别感觉到需要EDoF时，在显示设备13中显示通过合成在改变焦点位置时获得的多个拍摄图像而形成的合成图像的情况，。
此外，例如，可以防止当获得并合成具有由拍摄单元11的强烈晃动引起的大程度的运动的多个拍摄图像时，在显示设备13中显示具有相当大的运动模糊的图像的情况。
另一方面，期望的是，考虑到系统的性质，作为医疗器械的医疗观察系统尽可能地防止显示设备13中显示的图像的中断，并且在显示设备13中保持显示图像。
在图8的第三操作实例中，例如，当满足合成限制条件时，即当生成具有由拍摄单元11的强烈晃动引起的相当大的运动的合成图像时，在显示设备13中显示对焦在中心上的拍摄图像而不是具有相当大的运动模糊的合成图像。
因此，可以防止在显示设备13中显示具有相当大的运动模糊的合成图像以及显示设备13中显示的图像的中断。
<信号处理设备12的第二配置实例>
图9是示出了图1中的信号处理设备12的第二配置实例的框图。
注意，在图中，对应于图2中的部分的部分被赋予与图2中相同的附图标记，以根据需要省略对该部分的描述。
图9中的信号处理设备12包括帧缓冲器31至控制单元35以及深度估计单元61、范围设置单元62和范围存储单元63。
因此，图9与图2共同的是信号处理设备12包括帧缓冲器31至控制单元35。
然而，图9中的信号处理设备12与图2中的不同之处在于，新设置了深度估计单元61、范围设置单元62和范围存储单元63。
深度估计单元61估计由拍摄单元11获得的拍摄图像中的对象的深度，并且向范围设置单元62提供其中登记了指示深度的深度信息的深度图。
这里，例如，当拍摄单元11是能够拍摄3D图像的所谓的3D照相机时，可以从由拍摄单元11拍摄的形成3D图像的L图像和R图像之间的视差估计对象的深度。
也可以通过使用激光器测量飞行时间(ToF)或使用特定图案(例如纹理光)照射对象来估算深度。此外，当图1的医疗观察系统配备有AF功能时，可以基于由自动对焦(AF)功能控制的光学系统22的状态来估计对象的深度。
范围设置单元62根据需要使用来自深度估计单元61的深度图，根据用户的操作等设置焦点位置移动的范围(以下也称为焦点移动范围)，并将范围提供至范围存储单元63。
范围存储单元63存储从范围设置单元62提供的焦点移动范围。
当图2中的信号处理设备12的驱动控制单元34将焦点位置跨焦点位置能够移动的范围(从焦点位置能够移动的范围内的最小值到最大值)移动时，图9中的信号处理设备12的驱动控制单元34在存储在范围存储单元63中的焦点移动范围内移动焦点位置。
因此，图9的拍摄单元11在根据用户操作设置的焦点移动范围内改变焦点位置的同时进行拍摄以获得拍摄图像。
图10是示出了在范围设置单元62中设置焦点移动范围的实例的示图。
与图5一样，图10中的对象obj1、obj2、及obj3在真实空间中以这种顺序朝向后面排列。
于是，如图10所示，焦点移动范围设置为使对象obj1至obj3当中后面两个对象obj2和obj3的位置包括为焦点位置。
假设对象obj1至obj3的位置包括在焦点位置能够移动的范围内，并且当焦点移动范围被设置为焦点位置能够移动的范围时，将其中所有对象obj1至obj3对焦的图像生成为合成图像。
另一方面，当如图10所示将焦点移动范围设置为包括对象obj1至obj3中的两个对象obj2和obj3的位置时，将对象obj1至obj3中的两个对象obj2和obj3对焦的图像生成为合成图像。
因此，可以通过根据如上所述用户操作设置焦点移动范围来限制获得用于生成合成图像的拍摄图像的焦点位置。对焦点位置的限制可以减少用于生成合成图像的拍摄图像的帧数，因此，可以以更短的间隔生成要显示在显示设备13中的合成图像，以能够将合成图像的帧率增加至高帧率。
<医疗观察系统的第四操作实例>
图11是示出图1所示的医疗观察系统的第四操作实例的流程图。
具体地，图11示出了当信号处理设备12如图9所示配置时医疗观察系统的操作实例。
在第四操作实例中，在步骤S51中，深度估计单元61估计深度，生成其中登记了对象的深度信息的深度图，并将深度图提供至范围设置单元62，然后操作进行至步骤S52中的处理。
在步骤S52中，范围设置单元62等待用户操作等，并且根据该操作设置焦点位置移动的焦点移动范围并将其提供至范围存储单元63，然后操作进行至步骤S53中的处理。
这里，用户可以通过操作未示出的触摸面板等来指定焦点移动范围。
例如，用户可以通过以毫米(mm)为单位输入绝对距离作为焦点移动范围的最小值和最大值来指定焦点移动范围。用户也可以通过输入例如从作为由AF确定的焦点位置(对焦位置)的中心向深度方向前后方向的范围来指定焦点移动范围。
用户也可以通过指定例如拍摄单元11获得的拍摄图像中的对象来指定焦点移动范围。
在这种情况下，范围设置单元62使用在深度估计单元61中获得的深度图并设置焦点移动范围。
即，当用户指定在显示设备13中显示的图像中的对象时，例如，范围设置单元62参考深度图，并确认深度方向上存在用户指定的对象的范围。然后，范围设置单元62将深度方向上存在用户指定的对象的范围设置为焦点移动范围。
当用户指定多个对象时，范围设置单元62将与多个对象中的最前方对象相对应的位置与位于最远位置的对象之间的范围设置为焦点移动范围。
注意，焦点移动范围设置在焦点位置能够移动的范围内。
在范围设置单元62在设置焦点移动范围时不使用深度图的情况下，图9的信号处理设备12也可以配置为不包括深度估计单元61。
在步骤S53，范围存储单元63存储从范围设置单元62提供的焦点移动范围。
这里，每当用户执行指定焦点移动范围的操作时，更新存储在范围存储单元63中的焦点移动范围。
在步骤S53之后，操作进行至步骤S61中的处理，在该步骤中，焦点位置跨存储在范围存储单元63中的焦点移动范围移动，以获得拍摄图像并生成合成图像。
具体地，在步骤S61中，控制单元35将焦点位置的目标值设置为默认值，如存储在范围存储单元63中的诸如焦点移动范围的最小值，然后操作进行至步骤S62中的处理。
在步骤S62至S66中的每一个中，执行与图6中的第一操作实例的步骤S12至S16中的每个执行的处理类似的处理。
然后，操作从步骤S66中的处理进行至步骤S67中的处理，在步骤S67中，控制单元35确定焦点位置的目标值是否设置为存储在范围存储单元63中的焦点移动范围的最大值。
当在步骤S67中确定目标值未设置为焦点移动范围的最大值时，即当目标值小于焦点移动范围的最大值时，操作进行至步骤S68中的处理。
与图6中的第一操作实例的步骤S18一样，步骤S68中控制单元35将焦点位置的目标值从当前值增加预定值，然后操作返回到步骤S62中的处理，从该步骤起重复类似处理。
因此，在跨根据用户操作设置的焦点移动范围改变焦点位置的同时获得拍摄图像，然后生成合成图像。
另一方面，当在步骤S67中确定目标值设置为焦点移动范围的最大值时，即在跨焦点移动范围移动焦点位置的同时获得多个拍摄图像时，操作进行至步骤S69中的处理。
在步骤S69中，与图6中的第一操作实例的步骤S19一样，合成单元33输出要显示在显示设备13(图1)中的最新合成图像，然后操作返回至步骤S61中的处理。
在第四操作实例中，如上所述，在跨根据用户操作设置的焦点移动范围移动焦点位置的同时获得多个拍摄图像，并且通过使用多个拍摄图像来生成合成图像。
因此，可以显示合成图像，其中只有用户预期(期望)的深度范围中的对象对焦。
此外，当根据用户操作设置的焦点移动范围比焦点位置能够移动的范围窄时，移动焦点位置所花费的时间减小，由此在显示设备13中显示的合成图像的帧率可以增加到高帧率。
<信号处理设备12的第三配置实例>
图12是示出了图1中的信号处理设备12的第三配置实例的框图。
注意，在图中，对应于图2中的部分的部分被赋予与图2中相同的附图标记，以根据需要省略对该部分的描述。
图12中的信号处理设备12包括帧缓冲器31至控制单元35以及得分计算单元71、AF控制单元72、缓冲器73和峰值检测单元74。
因此，图12与图2共同的是信号处理设备12包括帧缓冲器31至控制单元35。
然而，图12中的信号处理设备12与图2中的信号处理设备12不同之处在于，新设置得分计算单元71、AF控制单元72、缓冲器73及峰值检测单元74。
图12中的信号处理设备12具有AF功能。
具体地，得分计算单元71计算评估存储在帧缓冲器31中的(最新)拍摄图像中的焦点的焦点得分。
例如，可以通过表示拍摄图像中的对比度的物理量来指示焦点得分。在这种情况下采用对比(contrast)AF方法。
得分计算单元71设置AF框，其划分例如在预定位置或拍摄图像的中心处计算焦点得分的拍摄图像的范围。得分计算单元71然后使用AF框内的拍摄图像来计算焦点得分，并将得分提供至AF控制单元72和缓冲器73。
AF控制单元72根据从得分计算单元71提供的焦点得分来控制AF。
具体地，AF控制单元72确定焦点位置的移动量(包括方向)，使得焦点位置移动具有较高的焦点得分，并且控制驱动控制单元34使焦点位置移动该移动量。
缓冲器73存储来自得分计算单元71的焦点得分。缓冲器73可以由例如2N+1层的先进先出(FIFO)存储器形成，在这种情况下，缓冲器73可以存储最新2N+1帧的焦点得分。
峰值检测单元74从存储在缓冲器73中的焦点得分检测峰值，即，作为局部最大值(包括最大值)的局部最大得分，并将检测到的局部最大得分提供至控制单元35。
图13是示出焦点位置和焦点得分之间的关系的实例的曲线图。
图13示出了通过对比AF方法将焦点位置按照位置P1、P2、P3、P4、P5和P6的顺序移动的实例，并且最后移动到焦点位置P6，在该位置焦点得分具有最大值。
即，在对比AF方法中，移动焦点位置以具有较高的焦点得分，直到焦点位置移动到对焦位置P6附近。一旦焦点位置到达对焦位置P6附近，则移动焦点位置以跨越对焦位置P6(在对焦位置P6上前后移动)，以便检测对焦位置P6。
图13示出了首先将焦点位置以位置P1、P2和P3的顺序移动到图中右侧的情况。随着焦点位置从位置P1移动到位置P2增加的焦点得分在位置P3处减小，由此焦点位置沿相反方向从位置P3向左移动至位置P4。之后，焦点位置再次从位置P4向右移动到位置P5，并且再次从位置P5向左移动到对焦位置P6。
因此，在如上所述的对比AF方法中，由于焦点位置移动以跨越焦点位置附近的对焦位置P6，所以焦点位置移动到对焦位置P6需要时间。
图12中的信号处理设备12从焦点得分中检测出焦点得分的峰值，即局部最大得分(不一定是最大值)，并且通过使用作为焦点位置处获得的多个拍摄图像的合成目标图像来生成合成图像，该焦点位置为对应于局部最大得分的焦点位置并且在包括峰值位置的预定范围内。
在此，在图13中，从位置P1向位置P2增加的焦点得分在位置P3处减小，由此检测到位置P2处的焦点得分是局部最大得分，因此位置P2是峰值位置。
一旦检测到局部最大得分，图12中的信号处理设备12停止AF执行的移动焦点位置。此外，将包括作为检测到局部最大得分的位置P2的峰值位置P2的预定范围R设置为合成目标焦点范围R，其作为合成目标图像的拍摄图像的焦点位置的范围。
然后，通过使用作为在合成目标焦点范围R中的焦点位置处获得的拍摄图像的合成目标图像，来生成合成图像。
注意，预定范围R设置在焦点位置能够移动的范围内。
当如上所述结合AF功能并且通过使用在包括焦点得分的峰值位置的预定范围R中的焦点位置处获得的多个拍摄图像的合成目标图像，来生成合成图像时，可以通过使用通过AF功能直到焦点位置移动到对焦位置P6获得的拍摄图像来获得深焦合成图像。
因此，在AF中，焦点位置仅需要移动到AF中的对焦位置P6的附近而不是对焦位置P6，从而可以大幅提高AF的速度。
此外，可以防止在生成合成图像中，在由拍摄单元11拍摄的实际空间中远离对象的位置的焦点位置处获得拍摄图像的情况。换言之，可以防止获得未对焦在任何对象上的拍摄图像的情况。因此，可以更快地生成合成图像，从而可以将合成图像的帧率提高到高帧率。
<医疗观察系统的第五操作实例>
图14是示出图1所示的医疗观察系统的第五操作实例的流程图。
具体地，图14示出了当信号处理设备12如图12所示配置时医疗观察系统的操作实例。
在步骤S71中，拍摄单元11进行拍摄以获得拍摄图像，并将拍摄图像提供至帧缓冲器31，然后操作进行到步骤S72中的处理。
在步骤S72中，帧缓冲器31存储从拍摄单元11提供的拍摄图像，然后操作进行至步骤S73中的处理。
在步骤S73中，得分计算单元71通过使用存储在帧缓冲器31中的(最新)拍摄图像中的设置在预定位置处的AF框内的拍摄图像来计算焦点得分，并将焦点得分提供至AF控制单元72和缓冲器73，然后操作进行到步骤S74中的处理。
在步骤S74中，缓冲器73存储从得分计算单元71提供的焦点得分，然后操作进行至步骤S75中的处理。
在步骤S75中，峰值检测单元74从存储在缓冲器73中的焦点得分执行局部最大得分的检测，并确定是否成功检测到局部最大得分。
当在步骤S75中确定未成功检测局部最大得分时，操作进行至步骤S76中的处理。在步骤S76中，合成单元33通过对准单元32从帧缓冲器31读取最新拍摄的图像，并将最新拍摄的图像作为最新合成图像输出到显示设备13，然后操作进行至步骤S77中的处理。这里可以跳过步骤S76。
在步骤S77中，AF控制单元72根据从得分计算单元71提供的焦点得分，确定焦点位置的移动量具有较高的焦点得分，然后操作进行至步骤S78中的处理。
在步骤S78中，AF控制单元72控制驱动控制单元34将焦点位置移动在步骤S77中确定的移动量，由此将焦点位置移动在步骤S77中确定的移动量。
其后的操作从步骤S78的处理返回到步骤S71，并且重复步骤S71至S78中的每一个的处理，直到在步骤S75中确定检测到局部最大得分。
然后，当在步骤S75中确定检测到局部最大得分时，操作进行至步骤S80中的处理。
在步骤S80中，控制单元35将焦点位置的预定范围R设置为合成目标焦点范围R，该预定范围R的中心是作为检测到局部最大得分的焦点位置的峰值位置，该合成目标焦点范围R是用作合成目标图像的拍摄图像的焦点位置的范围。
此外，从合成目标焦点范围R内的焦点位置处获得的拍摄图像中，控制单元35将拍摄图像的2N+1帧识别为合成目标图像，拍摄图像的2N+1帧包括在峰值位置之前和之后的N个焦点位置获得的拍摄图像的2N帧和在作为峰值位置的焦点位置处获得的拍摄图像的单个帧。
注意，当在合成目标焦点范围R内的焦点位置处获得的拍摄图像中的在峰值位置之前或之后的焦点位置处获得的拍摄图像少于N帧时，可以将在峰值位置之前或之后的焦点位置处获得的所有拍摄图像设别为例如，在合成目标焦点范围R内的焦点位置处获得的拍摄图像中的合成目标图像。
可替代地，可以在合成目标焦点范围R内移动焦点位置的同时获得拍摄图像，使得在峰值位置之前和之后的焦点位置处获得拍摄图像的N帧。
在步骤S80中，如上所述在识别合成目标图像之后，操作进行至步骤S81中的处理。
这里，在图14的第五操作实例中，当在步骤S80中识别出合成目标图像时，可以复位存储在帧缓冲器31中的合成图像。
在步骤S81中，对准单元32从作为合成目标图像存储在帧缓冲器31中的拍摄图像中选择尚未被选择为关注图像的一个拍摄图像作为关注图像，然后操作进行至步骤S82中的处理。
与图6中的第一操作实例的步骤S15一样，步骤S82中的对准单元32执行关注图像与存储在帧缓冲器31中的最后合成图像之间的对准，并将对准的关注图像和最后合成图像提供至合成单元33，然后操作进行至步骤S83中的处理。
在此，与图6中的实例的情况一样，当合成图像未存储在帧缓冲器31中时，跳过步骤S82和S83中的每一个的处理，在这种情况下，关注的图像作为合成图像存储到帧缓冲器31中。
与图6中的第一操作实例的步骤S16一样，在步骤S83中，合成单元33计算对准的关注图像和最后合成图像中的每个中的像素的对焦特征数据，并且根据对焦特征数据，合成关注图像和最后合成图像以生成最新合成图像。
合成单元33也将最新合成图像提供至帧缓冲器31，帧缓冲器31通过重写最后合成图像来存储最新合成图像，然后操作从步骤S83中的处理进行至步骤S84中的处理。
在步骤S84中，对准单元32确定是否选择了所有合成目标图像作为关注的图像。
当在步骤S84中确定不是所有的合成目标图像都选择为关注的图像时，操作返回至步骤S81中的处理，从该步骤重复类似的处理。
另一方面，当在步骤S84中确定将所有合成目标图像选择为关注的图像时，或者当使用所有合成目标图像生成合成图像作为最新合成图像时，操作进行至步骤S85中的处理。
在步骤S85中，合成单元33输出要在显示设备13中显示的最新合成图像，然后操作返回到步骤S71中的处理。
注意，当在图14中的步骤S71至S78中执行的AF功能使焦点位置移动直到检测到局部最大得分(即峰值位置)时，也可以执行AF功能以移动焦点位置直到检测到焦点得分的最大值，即，例如直到检测到对焦位置。
在这种情况下，在AF功能中，可以通过使用包括在对焦位置获得的拍摄图像的合成目标图像和在对焦位置之前和之后的多个焦点位置处获得的拍摄图像来生成合成图像。
<信号处理设备12的第四配置实例>
图15是示出了图1中的信号处理设备12的第四配置实例的框图。
注意，在图中，对应于图12中的部分的部分被赋予与图12中相同的附图标记，以根据需要省略对该部分的描述。
图15中的信号处理设备12包括帧缓冲器31至控制单元35，得分计算单元71至峰值检测单元74和AF框设置单元81。
因此，图15与图12共同的是信号处理设备12包括帧缓冲器31至控制单元35以及得分计算单元71至峰值检测单元74。
然而，图15中的信号处理设备12与图12中的信号处理设备12的不同之处在于新设置了AF框设置单元81。
图15中的信号处理设备12具有与图12中的实例相同的AF功能。
然而，在图12所示的实例中，将AF框设置在诸如拍摄图像的中心的预定位置，而在图15所示的实例中，信号处理设备可以将AF框设置在拍摄图像中由用户指定的位置处。
具体地，AF框设置单元81根据AF模式设置AF框，并将其提供至得分计算单元71。
得分计算单元71通过使用从AF框设置单元81提供的AF框内的拍摄图像来计算焦点得分。
在此，AF模式包括正常模式和规范模式。
例如，根据用户的操作，将AF模式设置为正常模式或规范模式。
在正常模式中，AF框设置单元81将AF框设定在默认位置，即在诸如拍摄图像的中心的预定位置处。
在规范模式中，AF框设置单元81根据用户的操作，将AF框设置在拍摄图像中用户指定的位置处。
当用户指定拍摄图像的边缘处的位置时，例如，AF框设置单元81将AF框设置在边缘位置处。
<AF框设置处理>
图16是示出在图15的信号处理设备12中设置AF框的处理的实例的流程图。
在步骤S91中，AF框设置单元81判定用户是否进行选择AF模式的选择操作。
当在步骤S91中确定用户执行选择AF模式的选择操作时，操作进行至步骤S92中的处理，其中AF框设置单元81根据用户的选择操作将AF模式设置(改变)为正常模式或规范模式，然后操作进行至步骤S93中的处理。
另一方面，当在步骤S91中确定用户未执行选择AF模式的选择操作时，操作跳过步骤S92中的处理并进行至步骤S93中的处理。
在步骤S93中，AF框设置单元81确定(当前)AF模式。
当在步骤S93中确定将AF模式设置为正常模式时，操作进行至步骤S94中的处理，其中，AF框设置单元81将AF框设置为在拍摄图像等的中心处的默认位置，然后操作返回至步骤S91中的处理。
当在步骤S93中确定将AF模式设置为规范模式时，操作进行至步骤S95中的处理，其中AF框设置单元等待用户执行指定AF框的规范操作并将AF框设置在拍摄图像上由规范操作指定的位置处，然后操作返回至步骤S91中的处理。
这里，例如可以通过触摸在显示设备13中显示的拍摄图像上的位置来执行规范操作。
注意，本技术不仅可以应用于通过拍摄人体而获得的图像，而且可以应用通过拍摄除人体以外的生物体而获得的图像。
本技术也可以应用于通过拍摄生物体以外的对象而获得的图像。
此外，本技术可以应用于除了医疗器械以外的具有拍摄功能的任意设备，诸如数码相机、车载图像传感器、安装用于农产品的监视和安全的监视摄像机以及工业内窥镜(纤维镜)系统。
此外，本技术可以应用于通过拍摄可见光的设备拍摄的图像以及通过拍摄不可见光(电磁波)的设备拍摄的图像。
<应用本技术的计算机的说明>
由信号处理设备12执行的一系列处理可以通过硬件或软件来实现。当通过软件实现该系列处理时，将配置软件的程序安装在通用计算机等中。
现在，图17示出了安装有实现一系列处理的程序的计算机的实施方式的配置实例。
可以预先在内置计算机中的作为记录介质的硬盘105或ROM 103中记录程序。
可替换地，程序可以存储(记录)在可移动记录介质111内。然后，可移除记录介质111可提供为所谓的软件包。在此处，例如，可移除记录介质111可以是软盘、只读存储光盘(CD-ROM)、磁光盘(MO)、数字化通用磁盘(DVD)、磁盘或半导体存储器。
应注意，程序可以从可移动记录介质111安装在计算机上，或者经由通信网络或广播网络下载到计算机，并安装在内置硬盘105上。具体地，例如，该程序可以通过无线电从下载站点经由用于数字卫星广播的卫星传输到计算机，或者通过诸如局域网(LAN)或互联网的网络以有线的方式传输到计算机。
中央处理单元(CPU)102结合入计算机中，并通过总线101连接到输入/输出接口110。
当通过输入/输出接口110在输入单元107上通过用户操作等输入命令时，CPU 102根据命令运行存储在只读存储器(ROM)103中的程序。可替换地，CPU 102通过将存储在硬盘105上的程序加载到随机存取存储器(RAM)104上来运行该程序。
然后，CPU 102执行根据前述流程图的处理或由前述框图所示的配置执行的处理。然后，CPU 102例如通过输入/输出接口110从输出单元106或通信单元108输出或传输处理结果，并根据需要将结果记录在硬盘105中。
应注意，输入单元107由键盘、鼠标、麦克风等形成。输出单元106由液晶显示器(LCD)、扬声器等形成。
在此，在本说明书中，由计算机根据程序执行的处理不必按流程图中所描述的顺序中的时间序列执行。换言之，由计算机根据程序执行的处理包括并行或单独执行的处理(诸如并行处理或通过对象的处理)。
程序可由单个计算机(处理器)处理，或由多个计算机以分布的方式处理。可以将程序传送到远程计算机并且运行。
此外，在本说明书中，系统是指多个部件(诸如设备和模块(零件))的组件，所有部件是否容纳在同一外壳中不重要。因此，容纳在分开的外壳中并通过网络连接的多个设备以及具有容纳在单个外壳中的多个模块的设备都是系统。
应注意，本技术的实施方式并不局限于上述实施方式，并且在不背离本技术的范围的情况下，可做出各种变形。
本技术可以例如采用云计算，其中通过网络在多个设备之间协作地共享和处理单个功能。
此外，在上述流程图中描述的每个步骤可以由单个设备执行或者由多个设备共享并且执行。
当单个步骤包括多个处理时，包括在单个步骤中的多个处理可由单个设备执行或可由多个设备共享并执行。
此外，本说明书中描述的效果仅以实例的方式提供而不作为限制的方式，其中还可能有另外的效果。
应当注意，本技术可以具有以下配置。
(1)一种医疗图像处理装置，包括：
电路，被配置为：
通过合成在改变焦点位置的同时利用医疗成像设备拍摄生物体获得的多个图像，来生成合成图像，并且
基于对多个图像中的至少一个执行的分析结果，在所生成的合成图像与多个图像中的一个图像之间切换输出。
(2)根据(1)所述的医疗图像处理装置，其中，电路还被配置为基于手动输入操作在所生成的合成图像与多个图像中的一个图像之间切换输出。
(3)根据(1)-(2)所述的医疗图像处理装置，其中，对多个图像中的至少一个图像执行的分析包括视角调整的分析。
(4)根据(1)-(3)所述的医疗图像处理装置，其中，对多个图像的至少一个图像执行的分析包括运动检测。
(5)根据(1)-(4)所述的医疗图像处理装置，其中，对多个图像中的至少一个图像执行的分析包括识别多个图像中的至少一个图像中的治疗工具的图像识别。
(6)根据(1)-(5)所述的医疗图像处理装置，其中，电路被配置为基于分析结果低于或等于预定阈值来在所生成的合成图像与多个图像中的一个图像之间切换输出。
(7)根据(2)所述的医疗图像处理装置，其中，手动输入操作包括经由治疗工具上的接口的输入。
(8)根据(1)-(7)所述的医疗图像处理装置，其中，所述电路被配置为通过选择先前合成图像的像素或对焦的新拍摄图像的像素并合成先前合成图像和最新拍摄图像来生成合成图像。
(9)根据(1)-(8)所述的医疗图像处理装置，其中，医疗成像设备被配置为以成像帧率拍摄生物体的多个图像，并且
电路被配置为以显示帧率输出所生成的合成图像或多个图像中的一个图像，显示帧率等于成像帧率。
(10)根据(1)-(9)所述的医疗图像处理装置，其中，电路被配置为以显示帧率输出所生成的合成图像或多个图像中的一个图像，显示帧率至少是120Hz。
(11)根据(1)-(10)所述的医疗图像处理装置，其中，电路还被配置为执行生成合成图像和新拍摄图像之间的对准，并且通过合成对准的合成图像和新拍摄图像更新合成图像。
(12)根据(11)所述的医疗图像处理装置，其中，电路被配置为调整所生成的合成图像和新拍摄图像中的每一个的视角，并且在调整视角之后，在所生成的合成图像与新拍摄图像之间进行对准。
(13)根据(3)-(12)所述的医疗图像处理装置，其中，电路被配置为当分析确定对所生成的合成图像和新拍摄图像中的每一个执行的视角的调整的可靠性低于或等于阈值时，将输出切换到多个图像中的一个图像。
(14)根据(11)所述的医疗图像处理装置，其中，电路被配置为检测所生成的合成图像和新拍摄图像中的每一个中的运动，并且基于运动检测的结果执行对准。
(15)根据(4)-(14)所述的医疗图像处理装置，其中，电路被配置为当分析确定运动检测的可靠性低于或等于阈值时，将输出切换到多个图像中的一个图像。
(16)根据(1)-(15)所述的医疗图像处理装置，其中，多个图像是在基于生物体的深度信息确定的范围内改变焦点位置的同时利用医疗成像设备拍摄生物体获得的。
(17)根据(1)-(16)所述的医疗图像处理装置，其中，电路被配置为通过将在焦点位置处获得的多个图像合成来生成合成图像，该焦点位置在包括作为获得得分峰值的焦点位置的峰值位置的预定范围内，在自动对焦(AF)中使用的得分的峰值。
(18)根据(1)-(17)所述的医疗图像处理装置，其中，多个图像包括左眼图像和右眼图像。
(19)一种医疗图像处理方法，包括：
通过合成在改变焦点位置的同时利用医疗成像设备拍摄生物体获得的多个图像生成合成图像；并且
基于对多个图像中的至少一个图像执行的分析的结果，在所生成的合成图像与多个图像中的一个图像之间切换输出。
(20)一种医疗观察系统，包括：
医疗成像设备，被配置为在改变焦点位置的同时拍摄生物体的多个图像；以及
电路，被配置为：
通过合成由医疗成像设备拍摄的多个图像生成合成图像，并且
基于对多个图像中的至少一个执行的分析结果，在所生成的合成图像与多个图像中的一个图像之间切换输出。
(21)根据(20)所述的医疗观察系统，其中，医疗成像设备是手术视频显微镜。
(22)根据(20)-(21)所述的医疗观察系统，其中，医疗成像设备是内窥镜。
(23)根据(20)-(22)所述的医疗观察系统，其中，医疗成像设备被配置为在医疗过程期间拍摄生物体的多个图像。
(24)一种医疗图像处理装置，包括合成单元，该合成单元通过合成在改变焦点位置的同时拍摄生物体而获得的多个拍摄图像生成合成图像，并通过选择最后合成图像的像素或对焦的最新拍摄图像的像素，并合成最后合成图像和最新拍摄图像生成最新合成图像。
(25)根据(24)所述的医疗图像处理装置，其中，当满足限制合成的合成限制条件时，合成单元输出拍摄图像作为合成图像。
(26)根据(25)所述的医疗图像处理装置，其中，合成限制条件是拍摄图像中的拍摄的治疗工具与生物体一起是运动的。
(27)根据(25)或(26)所述的医疗图像处理装置，进一步包括执行合成图像与拍摄图像之间的对准的对准单元，其中，合成单元合成经对准的合成图像和拍摄图像。
(28)根据(27)所述的医疗图像处理装置，其中，对准单元调整合成图像和拍摄图像中的每一个的视角，并且在调整视角之后，在合成图像与拍摄图像之间执行对准。
(29)根据(28)所述的医疗图像处理装置，其中，合成限制条件是对合成图像和拍摄图像中的每一个执行的视角的调整的可靠性低于或等于阈值。
(30)根据(27)至(29)中任一项所述的医疗图像处理装置，其中，对准单元检测合成图像和拍摄图像中的每一个中的运动，并且基于运动检测的结果执行对准。
(31)根据(30)所述的医疗图像处理装置，其中，合成限制条件是运动检测的可靠性低于或等于阈值。
(32)根据(24)至(31)中任一项所述的医疗图像处理装置，其中，执行拍摄以获得拍摄图像的拍摄单元在根据用户操作的范围内改变焦点位置的同时获得拍摄图像。
(33)根据(24)至(31)中任一项所述的医疗图像处理装置，其中，合成单元将在焦点位置处获得的多个拍摄图像合成，该焦点位置在包括作为获得在自动对焦(AF)中使用的得分的峰值的焦点位置的峰值位置的预定范围内。
(34)根据(24)至(33)中任一项所述的医疗图像处理装置，其中，执行拍摄以获得拍摄图像的拍摄单元获得三维(3D)拍摄图像。
(35)一种医疗图像处理方法，包括执行合成处理，该合成处理通过合成在改变焦点位置的同时拍摄生物体而获得的多个拍摄图像生成合成图像，并通过选择最后合成图像的像素或对焦的最新拍摄图像的像素，并合成最后合成图像和最新拍摄图像生成最新合成图像。
(36)一种医疗观察系统，包括拍摄单元，该拍摄单元在改变焦点位置的同时拍摄生物体；以及合成单元，该合成单元通过合成由拍摄单元拍摄的多个拍摄图像生成合成图像和通过选择最后合成图像的像素或对焦的最新拍摄图像的像素，并合成最后合成图像和最新拍摄图像生成最新合成图像。
[参考符号列表]
11 拍摄单元
12 信号处理设备
13 显示设备
21 光源
22 光学系统
23 图像传感器
31 帧缓冲器
32 对准单元
33 合成单元
34 驱动控制单元
35 控制单元
41 视角调整单元
42 运动模糊消除单元
43 对象对准单元
51 特征数据计算单元
52 峰值计算单元
53 图像合成单元
61 深度估计单元
62 范围设置单元
63 范围存储单元
71 得分计算单元
72 AF控制单元
73 缓冲器
74 峰值检测单元
81 AF框设置单元
101 总线
102 CPU
103 ROM
104 RAM
105 硬盘
106 输出单元
107 输入单元
108 通信单元
109 驱动器
110 输入/输出接口
111 可移除记录介质

Claims (23)

1.一种医疗图像处理装置，包括：
电路，被配置为：
通过对医疗成像设备在改变焦点位置的同时拍摄生物体所获得的多个图像进行合成来生成合成图像，并且
基于对所述多个图像中的至少一个图像执行的分析的结果，在所生成的所述合成图像与所述多个图像中的一个图像之间切换输出。
2.根据权利要求1所述的医疗图像处理装置，其中，所述电路还被配置为基于手动输入操作在所生成的所述合成图像与所述多个图像中的所述一个图像之间切换输出。
3.根据权利要求1所述的医疗图像处理装置，其中，对所述多个图像中的至少一个图像执行的分析包括视角调整的分析。
4.根据权利要求1所述的医疗图像处理装置，其中，对所述多个图像的至少一个图像执行的分析包括运动检测。
5.根据权利要求4所述的医疗图像处理装置，其中，对所述多个图像中的至少一个图像执行的分析包括识别所述多个图像中的至少一个图像中的治疗工具的图像识别。
6.根据权利要求1所述的医疗图像处理装置，其中，所述电路被配置为基于所述分析的结果低于或等于预定阈值来在所生成的所述合成图像与所述多个图像中的所述一个图像之间切换输出。
7.根据权利要求2所述的医疗图像处理装置，其中，所述手动输入操作包括经由治疗工具上的接口的输入。
8.根据权利要求1所述的医疗图像处理装置，其中，所述电路被配置为通过选择先前合成图像的像素或对焦的新拍摄图像的像素并合成所述先前合成图像和最新拍摄图像来生成所述合成图像。
9.根据权利要求1所述的医疗图像处理装置，其中，所述医疗成像设备被配置为以成像帧率拍摄所述生物体的所述多个图像，并且
所述电路被配置为以显示帧率输出所生成的所述合成图像或所述多个图像中的所述一个图像，所述显示帧率等于所述成像帧率。
10.根据权利要求1所述的医疗图像处理装置，其中，所述电路被配置为以显示帧率输出所生成的所述合成图像或所述多个图像中的所述一个图像，所述显示帧率至少是120Hz。
11.根据权利要求1所述的医疗图像处理装置，其中，所述电路还被配置为
执行所生成的所述合成图像和新拍摄图像之间的对准，并且
通过合成经对准的所述合成图像和所述新拍摄图像来更新所述合成图像。
12.根据权利要求11所述的医疗图像处理装置，其中，所述电路被配置为调整所生成的所述合成图像和所述新拍摄图像中的每一个的视角，并且在调整所述视角之后，在所生成的所述合成图像与所述新拍摄图像之间执行对准。
13.根据权利要求3所述的医疗图像处理装置，其中，所述电路被配置为当所述分析确定对所生成的所述合成图像和新拍摄图像中的每一个执行的所述视角的调整的可靠性低于或等于阈值时，将输出切换到所述多个图像中的所述一个图像。
14.根据权利要求11所述的医疗图像处理装置，其中，所述电路被配置为检测所生成的所述合成图像和所述新拍摄图像中的每一个中的运动，并且基于运动检测的结果执行对准。
15.根据权利要求4所述的医疗图像处理装置，其中，所述电路被配置为当所述分析确定所述运动检测的可靠性低于或等于阈值时，将输出切换到所述多个图像中的所述一个图像。
16.根据权利要求1所述的医疗图像处理装置，其中，所述多个图像是在基于所述生物体的深度信息确定的范围内改变所述焦点位置的同时利用所述医疗成像设备拍摄所述生物体获得的。
17.根据权利要求1所述的医疗图像处理装置，其中，所述电路被配置为通过将在焦点位置处获得的所述多个图像合成来生成所述合成图像，所述焦点位置在包括峰值位置的预定范围内，所述峰值位置是获得自动对焦(AF)中使用的峰值得分所在的焦点位置。
18.根据权利要求1所述的医疗图像处理装置，其中，所述多个图像包括左眼图像和右眼图像。
19.一种医疗图像处理方法，包括：
通过合成在改变焦点位置的同时利用医疗成像设备拍摄生物体获得的多个图像来生成合成图像；并且
基于对所述多个图像中的至少一个图像执行的分析的结果，在所生成的合成图像与所述多个图像中的一个图像之间切换输出。
20.一种医疗观察系统，包括：
医疗成像设备，被配置为在改变焦点位置的同时拍摄生物体的多个图像；以及
电路，被配置为：
通过合成由所述医疗成像设备拍摄的所述多个图像来生成合成图像，并且
基于对所述多个图像中的至少一个图像执行的分析的结果，在所生成的合成图像与所述多个图像中的一个图像之间切换输出。
21.根据权利要求20所述的医疗图像处理装置，其中，所述医疗成像设备是手术视频显微镜。
22.根据权利要求20所述的医疗图像处理装置，其中，所述医疗成像设备是内窥镜。
23.根据权利要求20所述的医疗图像处理装置，其中，所述医疗成像设备被配置为在医疗过程期间拍摄所述生物体的所述多个图像。
CN201680034321.0A 2015-06-19 2016-06-03 医疗图像处理装置、医疗图像处理方法及医疗观察系统 Expired - Fee Related CN107735713B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-124005 2015-06-19
JP2015124005A JP6750194B2 (ja) 2015-06-19 2015-06-19 医療用画像処理装置、医療用画像処理方法、及び、医療用観察システム
PCT/JP2016/002696 WO2016203727A1 (en) 2015-06-19 2016-06-03 Medical image processing apparatus, medical image processing method, and medical observation system

Publications (2)

Publication Number Publication Date
CN107735713A true CN107735713A (zh) 2018-02-23
CN107735713B CN107735713B (zh) 2021-02-02

Family

ID=56292787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680034321.0A Expired - Fee Related CN107735713B (zh) 2015-06-19 2016-06-03 医疗图像处理装置、医疗图像处理方法及医疗观察系统

Country Status (5)

Country Link
US (3) US10371933B2 (zh)
EP (1) EP3311215A1 (zh)
JP (1) JP6750194B2 (zh)
CN (1) CN107735713B (zh)
WO (1) WO2016203727A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8672837B2 (en) 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
US9057600B2 (en) 2013-03-13 2015-06-16 Hansen Medical, Inc. Reducing incremental measurement sensor error
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
JP6736670B2 (ja) * 2016-06-21 2020-08-05 オリンパス株式会社 内視鏡システム
JP6752685B2 (ja) * 2016-10-28 2020-09-09 キヤノン株式会社 撮像装置、撮像方法およびプログラム
US20180205928A1 (en) * 2017-01-18 2018-07-19 Jerry L. Conway, Sr. Multi-camera stereoscopic dynamic imaging systems and methods of capturing stereoscopic dynamic images
US10638030B1 (en) * 2017-01-31 2020-04-28 Southern Methodist University Angular focus stacking
US10764498B2 (en) * 2017-03-22 2020-09-01 Canon Kabushiki Kaisha Image processing apparatus, method of controlling the same, and storage medium
JP2018185453A (ja) 2017-04-27 2018-11-22 オリンパス株式会社 顕微鏡システム
JP7013677B2 (ja) * 2017-05-01 2022-02-01 ソニーグループ株式会社 医用画像処理装置、医用画像処理装置の作動方法、及び、内視鏡システム
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
JP2021097254A (ja) * 2018-03-23 2021-06-24 ソニーグループ株式会社 信号処理装置、信号処理方法、撮像装置および医療用撮像装置
WO2019191143A1 (en) 2018-03-28 2019-10-03 Auris Health, Inc. Systems and methods for displaying estimated location of instrument
JP7016952B2 (ja) 2018-05-17 2022-02-07 オリンパス株式会社 撮像装置、内視鏡装置及び撮像装置の作動方法
JP2019204009A (ja) * 2018-05-24 2019-11-28 オリンパス株式会社 顕微鏡システム
WO2019232236A1 (en) 2018-05-31 2019-12-05 Auris Health, Inc. Image-based airway analysis and mapping
WO2020026383A1 (ja) * 2018-08-01 2020-02-06 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム
JP7392654B2 (ja) * 2018-10-18 2023-12-06 ソニーグループ株式会社 医療用観察システム、医療用観察装置及び医療用観察方法
US20220187509A1 (en) * 2019-03-18 2022-06-16 Corning Incorporated Enhanced imaging device using liquid lens, embedded digital signal processor, and software
WO2021038469A1 (en) 2019-08-30 2021-03-04 Auris Health, Inc. Systems and methods for weight-based registration of location sensors
US11147633B2 (en) 2019-08-30 2021-10-19 Auris Health, Inc. Instrument image reliability systems and methods
EP3879328A1 (en) * 2020-03-11 2021-09-15 Leica Instruments (Singapore) Pte. Ltd. Systems, methods and computer programs for a microscope and microscope system
JP7452177B2 (ja) 2020-03-27 2024-03-19 ソニーグループ株式会社 医療用観察システム、制御装置、制御方法、および撮像装置
WO2022014366A1 (ja) 2020-07-17 2022-01-20 ソニーグループ株式会社 内視鏡システム、内視鏡制御方法、およびプログラム
JP2022038252A (ja) * 2020-08-26 2022-03-10 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法、およびプログラム
KR102576041B1 (ko) * 2021-02-09 2023-09-07 (주)유아이엠디 슬라이드 표본의 고배율 이미지 획득방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020071048A1 (en) * 2000-12-08 2002-06-13 Naoya Kaneda Optical apparatus
CN1934854A (zh) * 2004-03-25 2007-03-21 1...有限公司 数字照相机的调焦
US20120218516A1 (en) * 2011-02-25 2012-08-30 Canon Kabushiki Kaisha Image processing device, imaging system, image processing method, and program for causing computer to perform image processing
US20130090554A1 (en) * 2010-06-24 2013-04-11 Uc-Care Ltd. Focused prostate cancer treatment system and method
CN103460684A (zh) * 2011-03-30 2013-12-18 佳能株式会社 图像处理设备、成像系统和图像处理系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3429755B2 (ja) 1990-04-27 2003-07-22 株式会社日立製作所 撮像装置の被写界深度制御装置
KR100461210B1 (ko) * 1995-10-25 2005-06-17 코닌클리케 필립스 일렉트로닉스 엔.브이. 세그먼트된화상코딩방법과시스템및대응하는디코딩방법과시스템,및코딩된신호를포함하는기록/판독가능매체와코딩된신호를저장하는컴퓨터판독가능저장매체
JPH11177873A (ja) 1997-12-16 1999-07-02 Denso Corp 高速合焦電子カメラ
JP4393016B2 (ja) * 2000-06-30 2010-01-06 株式会社日立メディコ 画像診断支援装置
EP1334623A2 (en) * 2000-10-12 2003-08-13 Reveo, Inc. 3d projection system with a digital micromirror device
US20040131348A1 (en) * 2001-03-30 2004-07-08 Kohtaro Ohba Real-time omnifocus microscope camera
GB2385481B (en) 2002-02-13 2004-01-07 Fairfield Imaging Ltd Microscopy imaging system and method
US7756357B2 (en) * 2003-07-01 2010-07-13 Olympus Corporation Microscope system for obtaining high and low magnification images
JP4218446B2 (ja) * 2003-07-03 2009-02-04 株式会社ニコン 電子カメラ
US7372985B2 (en) * 2003-08-15 2008-05-13 Massachusetts Institute Of Technology Systems and methods for volumetric tissue scanning microscopy
JP4158750B2 (ja) * 2003-08-26 2008-10-01 ソニー株式会社 オートフォーカス制御方法、オートフォーカス制御装置および画像処理装置
US7534205B2 (en) 2006-02-27 2009-05-19 Microvision, Inc. Methods and apparatuses for selecting and displaying an image with the best focus
US20100129815A1 (en) * 2007-04-13 2010-05-27 Univeristy Of Florida Research Foundation Inc. Identification of cardiac specific myosin light chain kinase
JP4678603B2 (ja) * 2007-04-20 2011-04-27 富士フイルム株式会社 撮像装置及び撮像方法
JP5047318B2 (ja) * 2010-03-05 2012-10-10 株式会社日立ハイテクノロジーズ 電子顕微鏡画像と光学画像を重ねて表示する方法
JP5551957B2 (ja) * 2010-03-31 2014-07-16 富士フイルム株式会社 投影画像生成装置およびその作動方法、並びに投影画像生成プログラム
WO2013046886A1 (ja) * 2011-09-30 2013-04-04 富士フイルム株式会社 立体画像撮像装置及びその合焦状態確認用画像表示方法
JP2014071207A (ja) * 2012-09-28 2014-04-21 Canon Inc 画像処理装置、撮像システム、画像処理システム
WO2014083574A2 (en) 2012-11-30 2014-06-05 Larsen & Toubro Limited A method and system for extended depth of field calculation for microscopic images
JP6248412B2 (ja) * 2013-05-13 2017-12-20 ソニー株式会社 撮像装置、撮像方法、プログラム
JP6238574B2 (ja) * 2013-05-28 2017-11-29 オリンパス株式会社 観察装置
WO2016067425A1 (ja) * 2014-10-30 2016-05-06 オリンパス株式会社 画像処理装置、内視鏡装置及び画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020071048A1 (en) * 2000-12-08 2002-06-13 Naoya Kaneda Optical apparatus
CN1934854A (zh) * 2004-03-25 2007-03-21 1...有限公司 数字照相机的调焦
US20130090554A1 (en) * 2010-06-24 2013-04-11 Uc-Care Ltd. Focused prostate cancer treatment system and method
US20120218516A1 (en) * 2011-02-25 2012-08-30 Canon Kabushiki Kaisha Image processing device, imaging system, image processing method, and program for causing computer to perform image processing
CN103460684A (zh) * 2011-03-30 2013-12-18 佳能株式会社 图像处理设备、成像系统和图像处理系统

Also Published As

Publication number Publication date
EP3311215A1 (en) 2018-04-25
US20190302442A1 (en) 2019-10-03
US10928622B2 (en) 2021-02-23
US11835702B2 (en) 2023-12-05
WO2016203727A1 (en) 2016-12-22
JP2017006330A (ja) 2017-01-12
US20210157118A1 (en) 2021-05-27
JP6750194B2 (ja) 2020-09-02
CN107735713B (zh) 2021-02-02
US10371933B2 (en) 2019-08-06
US20180067296A1 (en) 2018-03-08

Similar Documents

Publication Publication Date Title
CN107735713A (zh) 医疗图像处理装置、医疗图像处理方法及医疗观察系统
KR102278776B1 (ko) 이미지 처리 방법, 기기, 및 장치
US9196027B2 (en) Automatic focus stacking of captured images
EP2640056A1 (en) Imaging device, imaging method, program, and integrated circuit
JP6800797B2 (ja) 撮像装置、画像処理装置、撮像装置の制御方法およびプログラム
KR20140004592A (ko) 3d 깊이 정보를 기반으로 한 이미지 블러
CN104427225B (zh) 摄像设备和摄像设备的控制方法
CN104902182B (zh) 一种实现连续自动对焦的方法和装置
JP2010161744A (ja) 画像処理装置および画像処理方法
JP2006067521A (ja) 画像処理装置と方法、および画像撮像装置と方法
JP2016024489A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
KR20190062794A (ko) 시점 변환을 이용하는 영상 결합 방법 및 시스템
JP5144724B2 (ja) 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP3501359B2 (ja) 全焦点撮像方法および立体表示方法
JP2015026880A (ja) 撮像装置
CN103139472B (zh) 数字拍摄设备及其控制方法
US8436892B2 (en) Image data obtaining method and apparatus therefor
JP2023157200A (ja) 電子機器、制御方法およびプログラム
JP7204387B2 (ja) 画像処理装置およびその制御方法
JP2012238088A (ja) 画像選択表示方法および装置
JP2017184007A (ja) 画像処理装置、撮像装置、制御方法およびプログラム
JP7476883B2 (ja) 信号処理装置、信号処理方法、プログラム、および医療用画像処理システム
JP6202982B2 (ja) 画像処理装置、その制御方法、および制御プログラム
US20240013499A1 (en) Image processing apparatus, image processing method, recording medium, and image processing system
JP6168630B2 (ja) 画像選択表示方法および装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210202

CF01 Termination of patent right due to non-payment of annual fee