CN115052551A - 医疗图像处理装置和医疗观察系统 - Google Patents

医疗图像处理装置和医疗观察系统 Download PDF

Info

Publication number
CN115052551A
CN115052551A CN202180012228.0A CN202180012228A CN115052551A CN 115052551 A CN115052551 A CN 115052551A CN 202180012228 A CN202180012228 A CN 202180012228A CN 115052551 A CN115052551 A CN 115052551A
Authority
CN
China
Prior art keywords
image
unit
blur
medical
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180012228.0A
Other languages
English (en)
Inventor
加户正隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Olympus Medical Solutions Inc
Original Assignee
Sony Olympus Medical Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Olympus Medical Solutions Inc filed Critical Sony Olympus Medical Solutions Inc
Publication of CN115052551A publication Critical patent/CN115052551A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A61B90/25—Supports therefor
    • G06T5/73—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/306—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Analytical Chemistry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)

Abstract

根据本公开的医疗图像处理装置包括：分割单元，分割图像中的至少一个对象图像；检测单元，检测由分割单元分割的对象图像的模糊；校正单元，基于由分割单元分割的对象图像和由检测单元检测的模糊来校正对象图像的模糊；以及组合单元，将校正后的对象图像和由对象图像以外的区域形成的背景图像进行组合。

Description

医疗图像处理装置和医疗观察系统
技术领域
本公开涉及对从外部输入的图像数据进行图像处理的医疗图像处理装置和医疗观察系统。
背景技术
传统上已知包括支撑部和显微镜部(成像单元)的光学显微镜系统作为用于在对作为要观察的对象的患者的大脑、心脏等中的微小部分进行手术时观察该微小部分的医疗观察系统。支撑部包括多个臂部。显微镜部(成像单元)设置在支撑部的远端，并且包括用于放大微小部分的放大光学系统和成像元件。当通过使用显微镜系统进行手术时，诸如医生的操作者(用户)将显微镜部移动并布置到期望位置，并且在观察由显微镜部捕获的图像的同时进行手术。另外，已知对手术部位进行成像的内窥镜单元(成像单元)的内窥镜系统作为用于在患者的腹腔内进行手术时观察手术部位的医疗观察系统。
相对地，已知校正图像中的对象的模糊的技术作为容易观看要观察的图像的技术(例如，参见专利文献1)。
引用列表
专利文献
专利文献1：JP 2014-17839 A。
发明内容
技术问题
顺便提及，由医疗观察系统的成像单元捕获的图像具有独立地移动(振动)的多个对象，诸如手术部位和治疗工具。因此，如果图像中的对象的模糊被均匀地校正，则模糊可能根据对象如何被模糊(模糊方向和模糊量)而增大。
本公开是鉴于上述情况而完成的，并且本公开的目的是提供一种能够对具有多个对象的图像适当地进行模糊校正的医疗图像处理装置和医疗观察系统。
问题的解决方案
为了解决上述问题并实现目的，根据本公开的医疗图像处理装置包括：分割单元，被配置为分割图像中的至少一个对象图像；检测单元，被配置为检测由分割单元分割的对象图像的模糊；校正单元，被配置为基于由分割单元分割的对象图像和由检测单元检测的模糊来校正对象图像的模糊；以及组合单元，被配置为将校正后的对象图像和由对象图像以外的区域形成的背景图像进行组合。
此外，在根据本公开的上述医疗图像处理装置中，分割单元被配置为基于通过将被配置为捕获图像的成像单元和对象之间的距离与图像的位置相关联而获得的深度图信息来分割对象图像。
此外，在根据本公开的上述医疗图像处理装置中，组合单元被配置为：以预设放大比率放大对象图像；并且将放大后的对象图像和背景图像进行组合。
此外，在根据本公开的上述医疗图像处理装置中，该图像包括多个对象图像，分割单元被配置为分割多个对象图像，检测单元被配置为检测由分割单元分割的多个对象图像中的每一个的模糊，校正单元被配置为基于由分割单元分割的对象图像中的每一个和由检测单元检测的对象图像中的每一个的模糊来校正对象图像中的每一个的模糊，并且组合单元被配置为将校正后的对象图像中的每一个和由多个对象图像以外的区域形成的背景图像进行组合。
此外，根据本公开的医疗观察系统包括：成像单元，被配置为对手术台上患者的手术部位进行成像并且输出视频信号；分割单元，被配置为分割基于视频信号生成的图像中的至少一个对象图像；检测单元，被配置为检测由分割单元分割的对象图像的模糊；校正单元，被配置为基于由分割单元分割的对象图像和由检测单元检测的模糊来校正对象图像的模糊；以及组合单元，被配置为将校正后的对象图像和由对象图像以外的区域形成的背景图像进行组合。
本发明的有利效果
根据本发明，获得允许对具有多个对象的图像进行适当模糊校正的效果。
附图说明
图1示出了根据本公开的实施例的医疗观察系统的配置。
图2是示出根据本公开的实施例的医疗观察系统的控制装置的配置的框图。
图3示出了根据本公开的实施例的医疗观察系统的显微镜装置的使用模式。
图4是示出由根据本公开的实施例的医疗观察系统的控制装置执行的图像处理的流程图。
图5示出了由分割单元执行的分割处理(部分1)。
图6示出了由分割单元执行的分割处理(部分2)。
图7示出了由组合单元执行的组合处理。
图8示出了根据本公开的变形的医疗观察系统的配置。
具体实施方式
下面将参考附图描述用于执行本发明的实施例(以下称为“实施例”)。注意，附图仅是示意性的，并且在附图之间可以包括具有不同尺寸关系和比例的部分。
(实施例)
图1示出了根据实施例的医疗观察系统的配置。图2是示出根据实施例的医疗观察系统的控制装置的配置的框图。医疗观察系统1包括显微镜装置2、控制装置3、显示装置4以及光源装置8。显微镜装置2具有对要观察的对象的微结构进行放大和成像的显微镜的功能。控制装置3整体控制医疗观察系统1的操作。显示装置4显示由显微镜装置2捕获的图像。光源装置8将照明光供应至显微镜装置2。
显微镜装置2包括基部5、支撑部6和柱状显微镜部7。基部5可以在地板上移动。基部5支撑支撑部6。显微镜部7设置在支撑部6的远端，并且对要观察的对象的微小部分进行放大和成像。
在显微镜装置2中，例如，将包括传输电缆、光导电缆等的电缆组从基部5设置到显微镜部7。传输电缆包括用于在控制装置3与显微镜部7之间传输信号的信号线。光导电缆将来自光源装置8的照明光引导至显微镜部7。
支撑部6包括第一关节部11、第一臂部21、第二关节部12、第二臂部22、第三关节部13、第三臂部23、第四关节部14、第四臂部24、第五关节部15、第五臂部25和第六关节部16。
支撑部6包括四组，每组均包括两个臂部和将两个臂部中的一个(远端侧)与另一个(近端侧)可旋转地连接的关节部。具体地，这四组包括(第一臂部21、第二关节部12、第二臂部22)、(第二臂部22、第三关节部13、第三臂部23)、(第三臂部23、第四关节部14、第四臂部24)、(第四臂部24、第五关节部15、第五臂部25)。
第一关节部11在近端侧固定于第一臂部21的远端部的状态下被第一臂部21保持的同时在远端侧可旋转地保持显微镜部7。第一关节部11具有圆柱形状，并且绕作为高度方向上的中心轴的第一轴O1可旋转地保持显微镜部7。第一臂部21具有从第一关节部11的侧面沿与第一轴O1正交的方向延伸的形状。
第二关节部12在近端侧固定于第二臂部22的远端部的状态下被第二臂部22保持的同时在远端侧可旋转地保持第一臂部21。第二关节部12具有圆柱形状，并且绕第二轴O2可旋转地保持第一臂部21。第二轴O2是高度方向上的中心轴，并且与第一轴O1正交。第二臂部22具有大致L形，并且在L形的纵向部分的端部连接到第二关节部12。
第三关节部13在近端侧固定于第三臂部23的远端部的状态下被第三臂部23保持的同时在远端侧可旋转地保持第二臂部22的L形的横向部分。第三关节部13具有圆柱形状，并且绕第三轴O3可旋转地保持第二臂部22。第三轴O3是高度方向上的与第二轴O2正交并且与第二臂部22延伸的方向平行的中心轴。第三臂部23在远端侧具有圆柱形状，并且在近端侧具有孔。该孔在与远端侧的圆柱的高度方向正交的方向上贯穿。第三关节部13经由孔被第四关节部14可旋转地保持。
第四关节部14在近端侧固定于第四臂部24的状态被第四臂部24保持的同时在远端侧可旋转地保持第三臂部23。第四关节部14具有圆柱形状，并且绕第四轴O4可旋转地保持第三臂部23。第四轴O4是高度方向上的中心轴，并且与第三轴O3正交。
第五关节部15在近端侧固定并附接到第五臂部25的同时在远端侧可旋转地保持第四臂部24。第五关节部15具有圆柱形状，并且绕第五轴O5可旋转地保持第四臂部24。第五轴O5是高度方向上的中心轴，并且与第四轴O4平行。第五臂部25包括L形部分和从L形的横向部分向下延伸的棒状部分。第五关节部15在近端侧附接到第五臂部25的L形的纵向部分的端部。
第六关节部16在近端侧固定并附接到基部5的同时在远端侧可旋转地保持第五臂部25。第六关节部16具有圆柱形状，并且绕第六轴O6可旋转地保持第五臂部25。第六轴O6是在高度方向上的中心轴，并且与第五轴O5正交。第五臂部25的棒状部的近端部附接到第六关节部16的远端侧。
具有上述配置的支撑部6在显微镜部7中实现平移的三个自由度和旋转的三个自由度的总共六个自由度的运动。
第一关节部11至第六关节部16中的每一个具有禁止显微镜部7和第一臂部21至第五臂部25的旋转的电磁制动器。在按压设置在显微镜部7中的臂操作开关(后述)的状态下，每个电磁制动器被释放，并且允许显微镜部7和第一臂部21至第五臂部25旋转。注意，也可以使用空气制动器代替电磁制动器。
除了上述电磁制动器之外，编码器和致动器可以安装在每个关节部中。例如，当设置在第一关节部11中时，编码器检测绕第一轴O1的旋转角度。致动器例如包括诸如伺服马达的电动机，在控制装置3的控制下驱动，并且使关节部以规定的角度旋转。由控制装置3基于旋转轴(第一轴O1至第六轴O6)中的每一个的旋转角度将关节部中的旋转角度设置为例如移动显微镜部7所需的值。如上所述，设置有诸如致动器的主动驱动系统的关节部构成通过控制致动器的驱动来主动旋转的旋转轴。
显微镜部7在圆柱形壳体中包括成像单元71。成像单元71对要观察的对象的图像进行放大和成像。另外，显微镜部7设置有臂操作开关和十字杆。臂操作开关接收释放第一关节部11至第六关节部16的电磁制动器并且允许每个关节部旋转的操作输入。十字杆可以改变成像单元中的放大倍率和到要观察的对象的焦距。当用户按压臂操作开关时，释放第一关节部11至第六关节部16的电磁制动器。
成像单元71在摄像机头控制单元94的控制下对对象进行成像。成像单元71将多个透镜和成像元件收纳在壳体内。成像元件接收由透镜形成的对象图像，并且将对象图像转换成电信号(视频信号)。成像单元71形成观察光学系统。该观察光学系统在成像元件的成像面上形成通过透镜的对象图像。
在本实施例中，图像传感器和TOF传感器被集成以构成成像元件。TOF传感器通过TOF方法获取对象距离信息(在下文中，称为深度图信息)。图像传感器包括电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器。通过针对每个像素位置检测从成像元件的位置到要观察的对象上的对应于捕获图像中的像素位置的对应位置的对象距离来获得深度图信息。注意，不仅可以采用TOF传感器，而且可以采用相位差传感器、立体相机等。
光源装置8在控制装置3的控制下控制发光。光源装置8经由光源电缆81连接至显微镜装置2。光纤插入光源电缆81中。
控制装置3接收由显微镜装置2输出的成像信号并对成像信号执行预定信号处理以生成显示图像数据。注意，控制装置3可以安装在基部5内部并且与显微镜装置2集成。
控制装置3包括图像处理单元31、输入单元32、输出单元33、控制单元34和存储单元35。注意，控制装置3可以例如设置有电源单元(未示出)，该电源单元生成用于驱动显微镜装置2和控制装置3的电源电压，将电源电压供应至控制装置3的每个单元，并且经由传输电缆将电源电压供应至显微镜装置2。
图像处理单元31对由显微镜部7输出的成像信号执行处理以生成显示图像。图像处理单元31包括信号处理单元311、分割单元312、检测单元313、校正单元314以及组合单元315。
信号处理单元311根据需要执行信号处理，诸如噪声去除、A/D转换、检测处理、插值处理、以及颜色校正处理。信号处理单元311基于信号处理之后的成像信号生成模糊校正处理之前的图像信号。
分割单元312提取出现在由信号处理单元311生成的模糊校正之前的图像中的对象的图像(对象图像)，并且分割包括所提取的对象图像的对象区域。通过分割单元312的分割处理，将图像分割为一个或多个对象区域和通过排除对象区域而获得的背景区域。在本实施例中，分割单元312通过使用深度图信息提取对象图像。分割单元312将围绕所提取的对象的区域分割为对象区域。对象区域可以沿着对象图像的外边缘设置，或者可以被设置为从对象图像的外边缘向外移动预定距离的区域。注意，可以通过使用边缘的轮廓提取或通过机器学习的图像识别处理来提取和分割对象。
检测单元313基于要处理的帧的图像以及在要处理的帧的图像之前已经获取的图像来检测每个对象区域中的对象的运动。检测单元313例如通过频率分析来检测对象移动的方向和每个对象区域的运动量。此外，检测单元313可以通过检测运动矢量来检测对象移动的方向和运动量。可以通过已知方法来检测模糊。
校正单元314通过对对象区域执行模糊校正来校正对象的模糊。校正单元314基于由检测单元313检测的运动，针对由分割单元312分割的每个对象区域校正对象图像。可以通过已知方法来校正模糊。
组合单元315通过将对象区域的图像叠加在背景区域上来将由校正单元314校正的对象区域和背景区域进行组合。例如，组合单元315以预设放大比率(>1)放大校正对象区域，并且将放大后的对象区域叠加在图像的对应位置上。由组合单元315生成的组合图像被输出至显示装置4，并且在显示装置4上显示。
此外，图像处理单元31可以包括AF处理单元和AF运算单元。AF处理单元基于输入帧的成像信号输出每个帧的预定AF估计值。AF运算单元执行从来自AF处理单元的每个帧的AF估计值中选择例如最适合作为聚焦位置的帧或聚焦透镜位置的AF运算处理。
输入单元32通过使用诸如键盘、鼠标和触摸面板的用户界面来实现，并且接收各种信息的输入。
输出单元33通过使用扬声器、打印机、显示器等来实现，并且输出各种信息。
控制单元34例如控制包括控制装置3和摄像机头9的每个部件的驱动，并且控制每个部件的信息的输入和输出。控制单元34参考记录在存储单元35中的通信信息数据(例如，通信格式信息)生成控制信号，并且将所生成的控制信号传输至显微镜装置2。
注意，控制单元34生成显微镜部7和控制装置3的同步信号和时钟。显微镜部7的同步信号(例如，给出成像定时的指示的同步信号)和时钟(例如，串行通信的时钟)通过线(未示出)发送到显微镜部7。基于同步信号和时钟驱动显微镜部7。
存储单元35通过使用诸如闪存和动态随机存取存储器(DRAM)的半导体存储器来实现，并且存储通信信息数据(例如，通信格式信息)等。注意，存储单元35可以记录由控制单元34执行的各种程序等，或者可以记录从成像单元71获取的深度图信息以及由图像传感器生成的信号。
上述图像处理单元31和控制单元34由通用处理器和专用处理器实现。通用处理器例如包括中央处理单元(CPU)，该中央处理单元包括记录有程序的内部存储器(未示出)。专用处理器例如包括执行特定功能的各种算术电路，诸如专用集成电路(ASIC)。此外，图像处理单元31和控制单元34可以包括作为一种类型的可编程集成电路的现场可编程门阵列(FPGA)(未示出)。注意，当图像处理单元31和控制单元34包括FPGA时，也可以设置用于存储配置数据的存储器，并且通过从该存储器读取配置数据来配置作为可编程集成电路的FPGA。
显示装置4从控制装置3接收由控制装置3生成的图像数据，并且显示与该图像数据对应的图像。上述显示装置4包括显示面板，该显示面板包括阴极射线管(CRT)显示器、液晶或有机电致发光(EL)。注意，除了显示装置4之外，还可以设置通过使用扬声器、打印机等输出信息的输出装置。
对使用具有上述配置的医疗观察系统1执行的动作进行概述。当作为用户的操作者对作为要观察的对象的患者的头部进行手术时，操作者在按下显微镜部7的臂操作开关的状态下把持显微镜部7并且使显微镜部7移动到期望的位置同时查看显示装置4所显示的图像，以确定显微镜部7的成像视野。然后，操作者从臂操作开关松开手指。这使电磁制动器在第一关节部11至第六关节部16中操作。显微镜部7的成像视野是固定的。然后，操作者例如调整放大倍率和到对要观察的对象的焦距。
图3示出了根据本公开的实施例的医疗观察系统的显微镜装置的使用模式。注意，图3示出了从正上方观看时的操作的情况。操作者H1在观察投影在显示装置4上的手术部位的影像的同时进行手术。操作者H1通过使用显微镜装置2对躺在手术台100上的患者H3进行手术。此外，在图3中，除了进行手术的操作者H1之外，还示出了辅助手术的助手H2。注意，在本实施例中，示出了在以直立位置进行手术时，显示装置4以大致位于操作者H1正面的方式安装的布置。
在手术时，操作者H1通过使用治疗工具治疗手术部位，而助手H2也可以通过使用治疗工具辅助。显微镜部7在除手术部位以外的成像区域中捕获包括治疗工具的图像。
接下来，将参考图4至图7描述由图像处理单元31执行的模糊校正处理。图4是示出由根据本公开的实施例的医疗观察系统的控制装置执行的图像处理的流程图。图4示出了对由信号处理单元311生成的图像执行模糊校正并且生成显示图像的流程。
首先，在步骤S101中，分割单元312提取出现在由信号处理单元311生成的模糊校正之前的图像中的对象，并且分割包括所提取的对象的对象区域。例如，分割单元312通过使用深度图信息提取对象图像，并将对象图像分割为对象区域。
图5和图6示出了由分割单元执行的分割处理。在一个示例中，在图5的模糊校正前图像W1中出现以不同运动量(振动频率)和不同移动方向摆动的多个对象。具体地，模糊校正前图像W1指示血管旁路手术。模糊校正前图像W1包括作为旁路的血管的图像SB1、SB2(血管图像)、操作者保持的治疗工具的图像ST1、ST2(治疗工具图像)以及助手保持的治疗工具的图像ST3(治疗工具图像)。血管和治疗工具在不同的量和方向上波动。波动表现为每个图像中的模糊的差异。分割单元312将模糊校正前图像W1分割成分别包括每个图像的多个对象区域和通过排除每个对象区域所获得的背景区域。具体地，在分割后的模糊校正前图像W2中，设置对象区域RB1、RB2、RT1、RT2和RT3。除对象区域RB1、RB2、RT1、RT2和RT3以外的区域构成背景图像IBC(参见图6)。通过排除这些对象区域来获得该区域。在图6中，每个对象区域和背景图像具有不同的阴影线。
在步骤S102中，检测单元313检测每个对象区域中的对象的动作。检测单元313检测对象移动的方向和每个对象区域的运动量。
在步骤S103中，校正单元314通过对对象区域执行模糊校正来校正对象图像的模糊。校正单元314基于由检测单元313检测的运动对由分割单元312分割的每个对象区域执行校正。
在步骤S104中，组合单元315通过将对象区域的图像叠加在背景区域上来将由校正单元314校正的对象区域和背景区域进行组合。例如，组合单元315以预设放大比率(＞1)放大校正对象区域，并且将放大后的对象区域叠加在图像的对应位置上。
图7示出了由组合单元执行的组合处理。注意，图7中的虚线表示放大前的对象图像的轮廓。对模糊校正后的血管图像(血管图像SB1、SB2)和治疗工具图像(治疗工具图像ST1、ST2、ST3)进行放大并在背景图像IBC上叠加放大后的血管图像(血管图像QB1、QB2)和治疗工具图像(治疗工具图像QT1、QT2、QT3)来生成组合图像W3。当模糊校正后的对象图像变得部分地小于被分割的对象区域并且在背景与对象之间产生间隙时，可以通过放大和叠加每个对象的图像来填充间隙。
在上述实施例中，在图像中，对以不同频率振动(摆动)的对象的图像进行分割，单独执行模糊校正，并且然后将对象图像进行组合以生成图像。因此，可以对具有多个对象的图像适当地执行模糊校正。
注意，在上述实施例中，信号处理单元311可以对整个模糊校正前图像均匀地执行模糊校正处理。在模糊校正处理中，校正包括背景的整个图像的模糊，并且校正由于显微镜部7和手术台的振动引起的整个图像的模糊。在步骤S101之前执行该模糊校正。
此外，虽然在上述实施例中已经描述了组合单元315放大模糊校正后的对象图像并且将放大后的对象图像叠加在背景图像上的示例，但是可以在不放大对象图像的情况下基于周围像素的值对背景图像进行插值以填充对象图像与背景之间的间隙，或者可以在不放大对象图像的情况下将模糊校正后的对象图像(区域)叠加在背景图像上。
此外，虽然在上述实施例中，已经描述了组合单元315以预设放大比率放大模糊校正后的对象图像并且将放大后的对象图像叠加在背景图像上的示例，但是可以根据模糊量设置放大比率，或者可以针对每个对象根据模糊量设置放大比率。
(变形)
接下来，将参考图8描述本公开的变型。图8示出了根据变形的医疗观察系统的配置。内窥镜装置200将被描述为根据变形的医疗观察系统。内窥镜装置200包括插入部210、光源装置220、光导230、摄像机头240、电缆250、控制装置260以及显示装置270。在变形中，插入部210和摄像机头240对应于显微镜部。此外，在本公开的变形中，可以设置支撑内窥镜装置200的支撑部(支撑臂)。
插入部210具有细长形状，并且在内部包括收集入射光的光学系统。插入部210的远端例如被插入患者的体腔内。插入部210的后端可拆卸地连接至摄像机头240。此外，插入部210经由光导230连接至光源装置220。从光源装置220提供光。
在该变形中，将深度图信息与插入部201的光学信息相关联，并且针对每个像素位置检测从成像元件的位置到与捕获图像内的像素位置对应的要观察的对象的对应位置的对象距离。这里，与固定视点的显微镜不同，在内窥镜装置200中，在使用期间(在手术期间)观察的视线方向可以改变。因此，当在内窥镜装置200中生成深度图信息时，可以使用运动视差和同时定位和映射(SLAM)。此外，可以通过控制支撑内窥镜的支撑部并且从多个视点对手术部位进行成像来生成深度图信息。
光源装置220经由光导230连接至插入部210。光源装置220经由光导230向插入部210供应光。供应到插入部210的光从插入部210的远端射出，并且照射到要观察的对象，诸如患者的体腔内的组织。然后，从要观察的对象反射的光被插入部210内的光学系统会聚。
摄像机头240具有对应于上述成像单元71的配置，并具有对要观察的对象进行成像的功能。在摄像机头240中，成像元件、透镜等容纳在构成摄像机头240的壳体内。摄像机头240经由电缆250连接至控制装置260。摄像机头240通过光电转换由插入部210收集的从要观察的对象反射的光对要观察的对象进行成像，并且经由电缆250将通过成像获得的图像信号输出至控制装置260。
控制装置260控制摄像机头240，对从摄像机头240输出的图像信号执行预定处理，并且然后将该图像信号输出到显示装置270。类似于控制装置3，控制装置260包括图像处理单元31、输入单元32、输出单元33、控制单元34和存储单元35。控制装置260分割图像中以不同频率振动的对象图像，单独执行模糊校正，并且然后对对象图像进行组合以生成图像。
显示装置270接收由控制装置260生成的图像数据，并且显示与该图像数据相对应的图像。显示装置270包括例如包含CRT、液晶或有机EL的显示面板。
根据上述变形，在内窥镜装置200中，还分割在图像中以不同频率振动(摆动)的对象的图像，单独地执行模糊校正，并且然后对对象图像进行组合以生成图像。因此，可以对具有多个对象的图像适当地执行模糊校正。
(其他实施例)
可以通过适当地组合根据本公开的上述实施例的医疗观察系统所公开的多个部件形成各种发明。例如，也可以从在根据本公开的上述实施例的医疗观察系统中描述的所有部件中删除一些部件。另外，也可以将根据本公开的上述实施例的医疗观察系统中描述的部件适当地彼此组合。
注意，虽然在本说明书的流程图的描述中，通过使用诸如“第一”、“然后”和“随后”的表达清晰地指示定时之间的处理的前后关系，但是通过这些表达不唯一地确定实现本公开所必需的处理的顺序。即，可以在没有不一致的范围内改变本说明书中描述的流程图中的处理的顺序。
另外，在根据本公开的实施例的医疗观察系统中，上述“单元”可以替换为“装置”、“电路”等。例如，控制单元可以替换为控制装置或控制电路。
另外，要由根据本公开的实施例的医疗观察系统执行的程序通过作为可安装格式或可执行格式的文件数据记录在诸如CD-ROM、软盘(FD)、CD-R、数字通用盘(DVD)、USB介质和闪存的计算机可读记录介质中来提供。
另外，要由根据本公开的实施例的医疗观察系统执行的程序可以通过存储在连接到诸如因特网的网络的计算机上并且经由网络下载来提供。
虽然下面参考附图详细描述了本申请的一些实施例，但是这些实施例仅是示例。本发明可以以基于本领域技术人员的知识(包括在本发明的公开中描述的方面)进行各种修改和改进的其他形式来实现。
注意，本技术还可以具有以下配置。
(1)
一种医疗图像处理装置，包括：
分割单元，被配置为分割图像中的至少一个对象图像；
检测单元，被配置为检测由分割单元分割的对象图像的模糊；
校正单元，被配置为基于由分割单元分割的对象图像和由检测单元检测的模糊来校正对象图像的模糊；以及
组合单元，被配置为将校正后的对象图像和由对象图像以外的区域形成的背景图像进行组合。
(2)
根据(1)的医疗图像处理装置，其中，分割单元被配置为基于通过将被配置为捕获图像的成像单元和对象之间的距离与图像的位置相关联而获得的深度图信息来分割对象图像。
(3)
根据(1)或(2)的医疗图像处理装置，其中，组合单元被配置为：
以预设放大比率放大对象图像；并且
将放大后的对象图像和背景图像进行组合。
(4)
根据(1)至(3)中任一项的医疗图像处理装置，其中，
该图像包括多个对象图像，
分割单元被配置为分割该多个对象图像，
检测单元被配置为检测由分割单元分割的多个对象图像中的每一个的模糊，
校正单元被配置为基于由分割单元分割的对象图像中的每一个和由检测单元检测的对象图像中的每一个的模糊来校正对象图像中的每一个的模糊，并且
组合单元被配置为将校正后的对象图像中的每一个和由多个对象图像以外的区域形成的背景图像进行组合。
(5)
一种医疗观察系统，包括：
成像单元，被配置为对手术台上患者的手术部位进行成像并且输出视频信号；
分割单元，被配置为分割基于视频信号生成的图像中的至少一个对象图像；
检测单元，被配置为检测由分割单元分割的对象图像的模糊；
校正单元，被配置为基于由分割单元分割的对象图像和由检测单元检测的模糊来校正对象图像的模糊；以及
组合单元，被配置为将校正后的对象图像和由对象图像以外的区域形成的背景图像进行组合。
(6)
根据(5)的医疗观察系统，其中，分割单元被配置为基于通过将捕获图像的成像单元和对象之间的距离与图像的位置相关联而获得的深度图信息来分割对象图像。
(7)
根据(5)或(6)的医疗观察系统，其中，组合单元被配置为：
以预设放大比率放大对象图像；并且
将放大后的对象图像和背景图像进行组合。
(8)
根据(5)至(7)中任一项的医疗观察系统，其中，
该图像包括多个对象图像，
分割单元被配置为分割该多个对象图像，
检测单元被配置为检测由分割单元分割的多个对象图像中的每一个的模糊，
校正单元被配置为基于由分割单元分割的对象图像中的每一个和由检测单元检测的对象图像中的每一个的模糊来校正对象图像中的每一个的模糊，并且
组合单元被配置为将校正后的对象图像中的每一个和由多个对象图像以外的区域形成的背景图像进行组合。
(9)
根据(5)至(8)中任一项的医疗观察系统，其中，
成像单元是被配置为对患者的手术部位进行成像的显微镜部，并且
医疗观察系统还包括被配置为支撑显微镜部的支撑部。
(10)
根据(5)至(8)中任一项的医疗观察系统，其中，成像单元是对患者的手术部位进行成像的内窥镜。
工业适用性
如上所述，根据本发明的医疗图像处理装置和医疗观察系统对于具有多个对象的图像适当地执行模糊校正是有用的。
参考标记列表
1 医疗观察系统
2 显微镜装置
3、260 控制装置
4、270 显示装置
5 基部
6 支撑部
7 显微镜部
8、220 光源装置
11 第一关节部
12 第二关节部
13 第三关节部
14 第四关节部
15 第五关节部
16 第六关节部
21 第一臂部
22 第二臂部
23 第三臂部
24 第四臂部
25 第五臂部
31 图像处理单元
32 输入单元
33 输出单元
34 控制单元
35 存储单元
71 成像单元
81 光源电缆
200 内窥镜装置
210 插入部
230 光导
240 摄像机头
250 电缆
311 信号处理单元
312 分割单元
313 检测单元
314 校正单元
315 组合单元。

Claims (10)

1.一种医疗图像处理装置，包括：
分割单元，被配置为分割图像中的至少一个对象图像；
检测单元，被配置为检测由所述分割单元分割的所述对象图像的模糊；
校正单元，被配置为基于由所述分割单元分割的所述对象图像和由所述检测单元检测的所述模糊来校正所述对象图像的模糊；以及
组合单元，被配置为将校正后的所述对象图像和由所述对象图像以外的区域形成的背景图像进行组合。
2.根据权利要求1所述的医疗图像处理装置，其中，所述分割单元被配置为基于通过将被配置为捕获图像的成像单元和对象之间的距离与所述图像的位置相关联而获得的深度图信息来分割所述对象图像。
3.根据权利要求1所述的医疗图像处理装置，其中，所述组合单元被配置为：
以预设放大比率放大所述对象图像；并且
将放大后的所述对象图像和所述背景图像进行组合。
4.根据权利要求1所述的医疗图像处理装置，其中，
所述图像包括多个对象图像，
所述分割单元被配置为分割所述多个对象图像，
所述检测单元被配置为检测由所述分割单元分割的所述多个对象图像中的每一个的模糊，
所述校正单元被配置为基于由所述分割单元分割的所述对象图像中的每一个和由所述检测单元检测的所述对象图像中的每一个的所述模糊来校正所述对象图像中的每一个的模糊，并且
所述组合单元被配置为将校正后的所述对象图像中的每一个和由所述多个对象图像以外的区域形成的背景图像进行组合。
5.一种医疗观察系统，包括：
成像单元，被配置为对手术台上患者的手术部位进行成像并且输出视频信号；
分割单元，被配置为分割基于所述视频信号生成的图像中的至少一个对象图像；
检测单元，被配置为检测由所述分割单元分割的所述对象图像的模糊；
校正单元，被配置为基于由所述分割单元分割的所述对象图像和由所述检测单元检测的所述模糊来校正所述对象图像的模糊；以及
组合单元，被配置为将校正后的所述对象图像和由所述对象图像以外的区域形成的背景图像进行组合。
6.根据权利要求5所述的医疗观察系统，其中，所述分割单元被配置为基于通过将捕获图像的成像单元和对象之间的距离与所述图像的位置相关联而获得的深度图信息来分割所述对象图像。
7.根据权利要求5所述的医疗观察系统，其中，所述组合单元被配置为：
以预设放大比率放大所述对象图像；并且
将放大后的所述对象图像和所述背景图像进行组合。
8.根据权利要求5所述的医疗观察系统，其中，
所述图像包括多个对象图像，
所述分割单元被配置为分割所述多个对象图像，
所述检测单元被配置为检测由所述分割单元分割的所述多个对象图像中的每一个的模糊，
所述校正单元被配置为基于由所述分割单元分割的所述对象图像中的每一个和由所述检测单元检测的所述对象图像中的每一个的所述模糊来校正所述对象图像中的每一个的模糊，并且
所述组合单元被配置为将校正后的所述对象图像中的每一个和由所述多个对象图像以外的区域形成的背景图像进行组合。
9.根据权利要求5所述的医疗观察系统，其中，
所述成像单元是被配置为对所述患者的所述手术部位进行成像的显微镜部，并且
所述医疗观察系统还包括被配置为支撑所述显微镜部的支撑部。
10.根据权利要求5所述的医疗观察系统，其中，
所述成像单元是被配置为对所述患者的所述手术部位进行成像的内窥镜。
CN202180012228.0A 2020-03-11 2021-02-18 医疗图像处理装置和医疗观察系统 Pending CN115052551A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020042474 2020-03-11
JP2020-042474 2020-03-11
PCT/JP2021/006220 WO2021182066A1 (ja) 2020-03-11 2021-02-18 医療用画像処理装置および医療用観察システム

Publications (1)

Publication Number Publication Date
CN115052551A true CN115052551A (zh) 2022-09-13

Family

ID=77671664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180012228.0A Pending CN115052551A (zh) 2020-03-11 2021-02-18 医疗图像处理装置和医疗观察系统

Country Status (5)

Country Link
US (1) US20230090615A1 (zh)
EP (1) EP4094714A4 (zh)
JP (1) JPWO2021182066A1 (zh)
CN (1) CN115052551A (zh)
WO (1) WO2021182066A1 (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6842196B1 (en) 2000-04-04 2005-01-11 Smith & Nephew, Inc. Method and system for automatic correction of motion artifacts
US7986343B2 (en) * 2004-12-16 2011-07-26 Panasonic Corporation Multi-eye imaging apparatus
JP2009017223A (ja) * 2007-07-04 2009-01-22 Sony Corp 撮影装置、画像処理装置、これらにおける画像処理方法およびプログラム
JP5562808B2 (ja) * 2010-11-11 2014-07-30 オリンパス株式会社 内視鏡装置及びプログラム
US11301964B2 (en) * 2016-03-29 2022-04-12 Sony Corporation Image processing apparatus, image processing method, and medical system to correct blurring without removing a screen motion caused by a biological body motion
US11087461B2 (en) * 2016-06-28 2021-08-10 Sony Corporation Image processing device, image processing method, medical imaging system
WO2018211709A1 (ja) * 2017-05-19 2018-11-22 オリンパス株式会社 ブレ補正装置、内視鏡装置及びブレ補正方法
JP2019176249A (ja) * 2018-03-27 2019-10-10 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置
DE112019003447T5 (de) * 2018-07-06 2021-03-18 Sony Corporation Medizinisches Beobachtungssystem, medizinisches Beobachtungsgerät und Antriebsverfahren für das medizinische Beobachtungsgerät

Also Published As

Publication number Publication date
US20230090615A1 (en) 2023-03-23
EP4094714A1 (en) 2022-11-30
JPWO2021182066A1 (zh) 2021-09-16
EP4094714A4 (en) 2023-08-02
WO2021182066A1 (ja) 2021-09-16

Similar Documents

Publication Publication Date Title
JP6254053B2 (ja) 内視鏡画像診断支援装置、システムおよびプログラム、並びに内視鏡画像診断支援装置の作動方法
CN110832842B (zh) 成像装置和图像产生方法
WO2018021035A1 (ja) 画像処理装置および方法、内視鏡システム、並びにプログラム
WO2018123613A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
CN110944566B (zh) 3d内窥镜装置和3d影像处理装置
US10609354B2 (en) Medical image processing device, system, method, and program
JPWO2017038774A1 (ja) 撮像システム
WO2018100885A1 (ja) 医療用観察装置、及び制御方法
WO2021171465A1 (ja) 内視鏡システム及び内視鏡システムによる管腔走査方法
JP2006320427A (ja) 内視鏡手術支援システム
JP7115467B2 (ja) 手術用画像処理装置、画像処理方法、及び、手術システム
JPWO2020178962A1 (ja) 内視鏡システム、画像処理装置、総処理時間検出方法および処理装置
WO2017169014A1 (ja) 医療用立体観察装置、医療用立体観察方法、及びプログラム
CN115052551A (zh) 医疗图像处理装置和医疗观察系统
JP2017176318A (ja) 医療用立体観察装置、医療用立体観察方法、プログラム、及び医療用立体観察システム
JP2022136184A (ja) 制御装置、内視鏡システムおよび制御装置の作動方法
EP3598735A1 (en) Imaging device, video signal processing device, and video signal processing method
KR20120073887A (ko) 이미지 처리 장치 및 그 이미지 처리 방법
WO2017145606A1 (ja) 画像処理装置、画像処理方法及び内視鏡システム
JP7207296B2 (ja) 撮像装置とフォーカス制御方法およびフォーカス判定方法
JP2018152657A (ja) 医療画像表示装置、医療情報処理システム、及び医療画像表示制御方法
JP7299046B2 (ja) 医療用観察制御装置及び医療用観察システム
WO2023276242A1 (ja) 医療用観察システム、情報処理装置及び情報処理方法
WO2018043205A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
JP2020141853A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination