CN113645396B - 图像叠加方法、装置、设备及存储介质 - Google Patents

图像叠加方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113645396B
CN113645396B CN202010342760.6A CN202010342760A CN113645396B CN 113645396 B CN113645396 B CN 113645396B CN 202010342760 A CN202010342760 A CN 202010342760A CN 113645396 B CN113645396 B CN 113645396B
Authority
CN
China
Prior art keywords
image
endoscope
perspective projection
target object
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010342760.6A
Other languages
English (en)
Other versions
CN113645396A (zh
Inventor
廖锐
张懿
林敏�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Shutong Technology Co ltd
Original Assignee
Chengdu Shutong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Shutong Technology Co ltd filed Critical Chengdu Shutong Technology Co ltd
Priority to CN202010342760.6A priority Critical patent/CN113645396B/zh
Publication of CN113645396A publication Critical patent/CN113645396A/zh
Application granted granted Critical
Publication of CN113645396B publication Critical patent/CN113645396B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Abstract

本发明实施例公开了一种图像叠加方法、装置、设备及存储介质。该方法包括：获取内窥镜的镜头的三维坐标、内窥镜的图像采集方向和目标物体的三维坐标；确定目标物体与内窥镜的镜头的相对位置；根据相对位置，对利用三维摄像头采集到的第二图像中的目标物体对应的待叠加图像信息进行透视投影，得到目标物体对应的待图像叠加信息对应的第一透视投影图像；将第一透视投影图像和利用内窥镜采集到的第一图像进行叠加，得到第一叠加图像；在内窥镜的画面中显示第一叠加图像。本发明实施例的图像叠加方法、装置、设备及存储介质，能够将三维摄像头采集到的图像中的目标物体对应的待叠加图像信息叠加显示在内窥镜画面中，降低手术风险。

Description

图像叠加方法、装置、设备及存储介质
技术领域
本发明涉及图像处理领域，尤其涉及一种图像叠加方法、装置、设备及存储介质。
背景技术
内窥镜是集中了传统光学、人体工程学、精密机械、现代电子、数学和软件等于一体的检测仪器，其具有图像传感器、光学镜头、光源照明和机械装置等，它可以经口腔进入胃内或经其他通道进入体内。利用内窥镜可以看到物理手段(比如X射线)不能显示的病变、组织密度等等。医生能够借助内窥镜采集到的图像进行诊治制定较佳的治疗方案。
在内窥镜手术中，内窥镜只能看到器官、组织的表面图像和形态，不能显示器官、组织的内部结构等信息，同时镜头的视野经常会被器官、组织或者手术器械遮挡，导致利用内窥镜观察到器官、组织的信息更局限，使得手术风险较高。
发明内容
本发明实施例提供一种图像叠加方法、装置、设备及存储介质，能够将三维摄像头采集到的图像中的物体对应的待叠加图像信息叠加显示在内窥镜画面中，使得内窥镜画面不仅能够显示物体表面图像，还能够显示物体的内部图像，能够降低手术风险。
一方面，本发明实施例提供了一种图像叠加方法，方法包括：
获取利用内窥镜采集到的第一图像以及利用三维摄像头采集到的第二图像；
获取利用三维摄像头采集到的内窥镜的镜头的三维坐标、内窥镜的图像采集方向，以及目标物体的三维坐标；目标物体包括：器官、组织或手术器械；
根据内窥镜的镜头的三维坐标、内窥镜的图像采集方向以及目标物体的三维坐标，确定目标物体与内窥镜的镜头的相对位置；
根据相对位置，对第二图像中的目标物体对应的待叠加图像信息进行透视投影，得到目标物体对应的待叠加图像信息对应的第一透视投影图像；
将第一透视投影图像和第一图像进行叠加，得到第一叠加图像；
在内窥镜的画面中显示第一叠加图像。
在本发明的一个实施例中，本发明实施例提供的图像叠加方法还包括：
若内窥镜的图像采集方向发生变化，确定内窥镜的图像采集方向的变化角度；
根据变化角度，对目标物体与内窥镜的镜头的相对位置进行修正；
利用修正后的相对位置，对第二图像中的目标物体对应的待叠加图像信息重新进行透视投影，得到目标物体对应的待叠加图像信息对应的第二透视投影图像；
将第二透视投影图像和第一图像进行叠加，得到第二叠加图像；
在内窥镜的画面中显示第二叠加图像。
在本发明的一个实施例中，确定内窥镜的图像采集方向的变化角度，包括：
将第一透视投影图像与第一图像进行匹配，得到第一透视投影图像与第一图像的匹配结果；
根据匹配结果，确定内窥镜的图像采集方向的变化角度。
在本发明的一个实施例中，在根据相对位置，对第二图像中的目标物体对应的待叠加图像信息进行透视投影之前，本发明实施例提供的图像叠加方法还包括：
在预设调整角度范围内，对第二图像中的目标物体对应的待叠加图像信息进行多角度透视投影，得到每个角度对应的透视投影图像；
将每个角度对应的透视投影图像分别与第一图像进行匹配；
基于与第一图像最匹配的投影图像对应的角度，对相对位置进行调整。
另一方面，本发明实施例提供了一种图像叠加装置，装置包括：
第一获取模块，用于获取利用内窥镜采集到的第一图像以及利用三维摄像头采集到的第二图像；
第二获取模块，用于获取利用三维摄像头采集到的内窥镜的镜头的三维坐标、内窥镜的图像采集方向，以及目标物体的三维坐标；目标物体包括：器官、组织或手术器械；
第一确定模块，用于根据内窥镜的镜头的三维坐标、内窥镜的图像采集方向以及目标物体的三维坐标，确定目标物体与内窥镜的镜头的相对位置；
第一透视投影模块，用于根据相对位置，对第二图像中的目标物体对应的待叠加图像信息进行透视投影，得到目标物体对应的待叠加图像信息对应的第一透视投影图像；
第一图像叠加模块，用于将第一透视投影图像和第一图像进行叠加，得到第一叠加图像；
第一图像显示模块，用于在内窥镜的画面中显示第一叠加图像。
在本发明的一个实施例中，本发明实施例提供的图像叠加装置还包括：
第二确定模块，用于若内窥镜的图像采集方向发生变化，确定内窥镜的图像采集方向的变化角度；
修正模块，用于根据变化角度，对目标物体与内窥镜的镜头的相对位置进行修正；
第二透视投影模块，用于利用修正后的相对位置，对第二图像中的目标物体对应的待叠加图像信息重新进行透视投影，得到目标物体对应的待叠加图像信息对应的第二透视投影图像；
第二图像叠加模块，用于将第二透视投影图像和第一图像进行叠加，得到第二叠加图像；
第二图像显示模块，用于在内窥镜的画面中显示第二叠加图像。
在本发明的一个实施例中，第二确定模块，具体用于：
将第一透视投影图像与第一图像进行匹配，得到第一透视投影图像与第一图像的匹配结果；
根据匹配结果，确定内窥镜的图像采集方向的变化角度。
在本发明的一个实施例中，本发明实施例提供的图像叠加装置还包括：
相对位置调整模块，用于在预设调整角度范围内，对第二图像中的目标物体对应的待叠加图像信息进行多角度透视投影，得到每个角度对应的透视投影图像；将每个角度对应的透视投影图像分别与第一图像进行匹配；基于与第一图像最匹配的透视投影图像对应的角度，对相对位置进行调整。
再一方面，本发明实施例提供一种图像叠加设备，设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；
处理器执行计算机程序时实现本发明实施例提供的图像叠加方法。
再一方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现本发明实施例提供的图像叠加方法。
本发明实施例的图像叠加方法、装置、设备及存储介质，能够将三维摄像头采集到的图像中的物体对应的待叠加图像信息叠加显示在内窥镜画面中，使得内窥镜画面不仅能够显示物体表面图像，还能够显示物体的内部图像，能够降低手术风险。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例提供的图像叠加方法的流程示意图；
图2示出了本发明实施例提供的图像叠加的场景示意图；
图3示出了本发明实施例提供的目标物体与内窥镜的镜头的相对位置示意图；
图4示出了本发明实施例提供的图像叠加的结果示意图；
图5示出了本发明实施例提供的图像叠加装置的结构示意图；
图6示出了能够实现根据本发明实施例的图像叠加方法及装置的计算设备的示例性硬件架构的结构图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了解决现有技术问题，本发明实施例提供一种图像叠加方法、装置、设备及存储介质。下面首先对本发明实施例提供的图像叠加方法进行说明。
图1示出了本发明实施例提供的图像叠加方法的流程示意图。图像叠加方法可以包括：
S101：获取利用内窥镜采集到的第一图像以及利用三维摄像头采集到的第二图像。
S102：获取利用三维摄像头采集到的内窥镜的镜头的三维坐标、内窥镜的图像采集方向，以及目标物体的三维坐标。
其中，目标物体包括：器官、组织或手术器械。
S103：根据内窥镜的镜头的三维坐标、内窥镜的图像采集方向以及目标物体的三维坐标，确定目标物体与内窥镜的镜头的相对位置。
S104：根据相对位置，对第二图像中的目标物体对应的待叠加图像信息进行透视投影，得到目标物体对应的待叠加图像信息对应的第一透视投影图像。
S105：将第一透视投影图像和第一图像进行叠加，得到第一叠加图像。
在本发明实施例的一些可能实现中，目标物体对应的待叠加图像信息包括但不限于：目标物体的三维内部结构信息和针对目标物体的术前手术规划路径的标注信息等。
可以理解的是，第一叠加图像即为第一透视投影图像和第一图像叠加后的图像。
S106：在内窥镜的画面中显示第一叠加图像。
下面结合图2对本发明实施例提供的图像叠加方法进行说明。图2示出了本发明实施例提供的图像叠加的场景示意图。
首先，利用内窥镜对目标物体进行图像采集，得到第一图像；利用三维摄像头对目标物体和内窥镜的镜头进行图像采集，得到第二图像。其中，目标物体可以为器官，也可以为组织，还可以为手术器械等。
然后，根据内窥镜的镜头的三维坐标、内窥镜的图像采集方向以及目标物体的三维坐标，确定目标物体与内窥镜的镜头的相对位置；根据相对位置，对第二图像中的目标物体对应的待叠加图像信息进行透视投影，得到目标物体对应的待叠加图像信息对应的第一透视投影图像；将第一透视投影图像和第一图像进行叠加，得到第一叠加图像；在内窥镜的画面中显示第一叠加图像。
图3示出了本发明实施例提供的目标物体与内窥镜的镜头的相对位置示意图。
其中，图3中O为三维摄像头位置，三维坐标系XYZ的Y轴的正方向为三维摄像头的图像采集方向，目标物体A在三维坐标系XYZ中的坐标为(XA，YA，ZA)，内窥镜的镜头B在三维坐标系XYZ中的坐标为(XB，YB，ZB)，三维坐标系X′Y′Z′的Y′轴的正方向为内窥镜的图像采集方向。
在本发明的一个实施例中，可以基于三维坐标系XYZ，确定出三维坐标系X′Y′Z′相对于三维坐标系XYZ的偏转方向。
示例性的，假设确定出三维坐标系X′Y′Z′相对于三维坐标系XYZ绕X轴的偏转角度为α，绕Y轴的偏转角度为β。
则目标物体A在三维坐标系X′Y′Z′中的坐标为([(YA-YB)cosα+(ZA-ZB)cosα]sinβ+(XA-XB)sinβ，(YA-YB)cosα+(ZA-ZB)sinα，[(YA-YB)cosα+(ZA-ZB)cosα]cosβ-(XA-XB)sinβ)。其中，该目标物体A在三维坐标系X′Y′Z′中的坐标即为目标物体A相对于内窥镜的镜头B的位置。目标物体A与的镜头内窥镜B的相对位置表示为([(YA-YB)cosα+(ZA-ZB)cosα]sinβ+(XA-XB)sinβ，(YA-YB)cosα+(ZA-ZB)sinα，[(YA-YB)cosα+(ZA-ZB)cosα]cosβ-(XA-XB)sinβ)。
在本发明的一个实施例中，在确定目标物体与内窥镜的镜头的相对位置后，可以根据相对位置，对第二图像中的目标物体对应的待叠加图像信息进行透视投影，得到目标物体对应的待叠加图像信息对应的第一透视投影图像；将第一透视投影图像和第一图像进行叠加，得到第一叠加图像；在内窥镜的画面中显示第一叠加图像。如图4所示。图4示出了本发明实施例提供的图像叠加的结果示意图。
首先，基于目标物体A与内窥镜的镜头B的相对位置，对目标物体A对应的待叠加图像信息进行透视投影，得到目标物体A对应的待叠加图像信息对应的第一透视投影图像。
然后，将目标物体A的第一透视投影图像和内窥镜的镜头B采集到的第一图像进行叠加，得到第一叠加图像。
再然后，在内窥镜的镜头B的画面中显示第一叠加图像。
本发明实施例不对图像叠加的方式进行限定，任何可用的图像叠加的方式均可以应用于本发明实施例中。
在本发明的一个实施例中，内窥镜镜头可能会发生旋转，使得内窥镜的图像采集方向发生变化。基于此，本发明实施例提供的图像叠加方法还可以：确定内窥镜的图像采集方向的变化角度；根据变化角度，对目标物体与内窥镜的相对位置进行修正；利用修正后的相对位置，对第二图像中的目标物体对应的待叠加图像信息重新进行透视投影，得到目标物体对应的待叠加图像信息对应的第二透视投影图像；将第二透视投影图像和第一图像进行叠加，得到第二叠加图像；在内窥镜的画面中显示第二叠加图像。
在本发明的一个实施例中，可以将第一透视投影图像与第一图像进行匹配，得到第一透视投影图像与第一图像的匹配结果；根据匹配结果，确定内窥镜的图像采集方向的变化角度。
在本发明实施例的一些可能实现中，内窥镜的图像采集方向的变化角度即为内窥镜采集到的画面的旋转角度。
示例性的，将目标物体A的第一透视投影图像与内窥镜的镜头B采集的第一图像进行匹配，确定出目标物体A的第一透视投影图像相对于内窥镜的镜头B采集的第一图像的旋转角度，基于该旋转角度进行反推算，确定内窥镜的镜头B的图像采集方向的变化角度。假设内窥镜的镜头B相对于三维坐标系XYZ又绕X轴的偏转角度为γ。则基于内窥镜的镜头B相对于三维坐标系XYZ又绕X轴的偏转角度γ对目标物体A与内窥镜的镜头B的相对位置进行修正。
修正后的目标物体A与内窥镜的镜头B的相对位置表示为([(YA-YB)cos(α+γ)+(ZA-ZB)cos(α+γ)]sinβ+(XA-XB)sinβ，(YA-YB)cos(α+γ)+(ZA-ZB)sin(α+γ)，[(YA-YB)cos(α+γ)+(ZA-ZB)cos(α+γ)]cosβ-(XA-XB)sinβ)。
利用修正后的相对位置，对第二图像中的目标物体对应的待叠加图像信息重新进行透视投影，得到目标物体对应的待叠加图像信息对应的第二透视投影图像；将第二透视投影图像和第一图像进行叠加，得到第二叠加图像；在内窥镜的画面中显示第二叠加图像。
首先，基于修正后的目标物体A与内窥镜的镜头B的相对位置，对目标物体A对应的待叠加图像信息进行透视投影，得到目标物体A对应的第二透视投影图像。
然后，将目标物体A的第二透视投影图像和内窥镜的镜头B采集到的第一图像进行叠加，得到第二叠加图像。
再然后，在内窥镜的镜头B的画面中显示第二叠加图像。
在本发明的一个实施例中，为了提高透视投影的精度，可以在预设调整角度范围内，对第二图像中的目标物体对应的待叠加图像信息进行多角度透视投影，得到每个角度对应的透视投影图像；将每个角度对应的透视投影图像分别与第一图像进行匹配；基于与第一图像最匹配的投影图像对应的角度，对相对位置进行调整。
示例性的，假设利用三维摄像头确定的目标物体A与内窥镜的镜头B的相对位置为：([(YA-YB)cosα+(ZA-ZB)cosα]sinβ+(XA-XB)sinβ，(YA-YB)cosα+(ZA-ZB)sinα，[(YA-YB)cosα+(ZA-ZB)cosα]cosβ-(XA-XB)sinβ)。绕X轴的偏转角度的预设调整角度范围为-0.5°至+0.5°，绕Y轴的偏转角度的预设调整角度范围为-0.5°至+0.5°则在上述两个预设调整角度范围内，对第二图像中的目标物体A对应的待叠加图像信息进行多角度透视投影，得到每个角度对应的透视投影图像；将每个角度对应的透视投影图像分别与第一图像进行匹配；基于与第一图像最匹配的投影图像对应的角度，对相对位置进行调整。
假设，经过图像匹配后，确定出与第一图像最匹配的投影图像对应的角度为绕X轴偏转α+0.1°，绕Y轴偏转β-0.1°。
则基于绕X轴偏转α+0.1°，绕Y轴偏转β-0.1°对相对位置进行调整，调整后的相对位置为：([(YA-YB)cos(α+0.1°)+(ZA-ZB)cos(α+0.1°)]sin(β-0.1°)+(XA-XB)sin(β-0.1°)，(YA-YB)cos(α+0.1°)+(ZA-ZB)sin(α+0.1°)，[(YA-YB)cos(α+0.1°)+(ZA-ZB)cos(α+0.1°)]cos(β-0.1°)-(XA-XB)sin(β-0.1°))。
在本发明的一个实施例中，内窥镜镜头可能会发生旋转，使得内窥镜的图像采集方向发生变化。内窥镜的图像采集方向的变化角度即为内窥镜采集到的画面的旋转角度。当内窥镜的图像采集方向发生变化时，还可以直接对第一透视图像进行旋转修正。比如，对于相对位置变化是由于内窥镜在使用过程中相对于成像芯片发生了基于轴线的旋转这种最为常见的情况来说，可以在获得第一透视投影图像与内窥镜采集到的第一图像之间的旋转角度后，直接对第一透视投影图像按照这个旋转角度进行旋转，即可获得修正后的投影图像，即上述的第二透视投影图像。
在本发明的一个实施例中，可以基于目标物体对应的待叠加图像信息的当前空间坐标(x，y，z)及当前旋转指向角(α，β，γ)，利用透视投影函数，确定物体对应的待叠加图像信息对应的透视投影图像。
在本发明的一个实施例中，可以利用公式(1)确定透视投影图像。
S＝P(V，x，y，z，α，β，γ，θ) (1)
其中，公式(1)中，S为透视投影图像，P为透视投影函数的对应法则，V为三维物体对应的待叠加图像信息，θ为投影角度。
在本发明的一个实施例中，在图像叠加之前，可以利用公式(2)对透视投影图像进行调整。
Q＝M*T+N (2)
其中，公式(2)中，Q为调整后的透视投影图像，M为调整前的透视投影图像，T为形变参数，N为噪声。T包括缩放、旋转和畸变等因素。
在本发明的一个实施例中，在确定内窥镜镜头的位置时，可以从内窥镜包括的多个组成部分中，确定内窥镜镜头所处的组成部分，确定出内窥镜镜头所处的组成部分为镜头部分；进而利用内窥镜三维模型以及镜头部分，确定内窥镜镜头的位置。
本发明实施例无需对除内窥镜镜头所处的组成部分的其他组成部分进行匹配，能够提高匹配速度。进而能够减少图像叠加时间。
在本发明的一个实施例中，在确定内窥镜镜头的位置时，可以从内窥镜包括的多个组成部分中，确定内窥镜镜头所处的组成部分，确定出内窥镜镜头所处的组成部分为镜头部分；进而利用内窥镜三维模型对除镜头部分之外组成部分进行匹配；然后利用除镜头部分之外组成部分匹配的内窥镜三维模型区域之外的内窥镜三维模型区域以及镜头部分，确定内窥镜镜头的位置。
本发明实施例通过先对内窥镜镜头所处的组成部分之外的其他部分进行匹配，然后缩小内窥镜镜头所处的组成部分的匹配区域，能够提高确定内窥镜镜头的位置的准确性，进而提高图像叠加的准确度。
在本发明的一个实施例中，在将多个物体对应的待叠加图像信息对应的透视投影图像叠加到内窥镜采集到的图像中时，可以采用上述的方式分别确定每个物体对应的待叠加图像信息对应的目标透视投影图像，进而将每个物体对应的待叠加图像信息对应的目标透视投影图像与内窥镜采集到的图像进行叠加。
在本发明实施例的一些可能实现中，在将第一透视投影图像和第一图像进行叠加之前，还可以将第一透视投影图像与第一图像中的目标物体进行匹配，确定第一透视投影图像所需旋转的旋转角度，基于该旋转角度对第一透视投影图像进行旋转，将基于该旋转角度旋转后的第一透视投影图像和第一图像进行叠加。
在本发明的一个实施例中，对于具有双目摄像头的三维内窥镜，可以采用上述的方式将物体对应的待叠加图像信息对应的目标透视投影图像叠加到三维内窥镜的每一目摄像头采集到的图像中。
对应三维内窥镜，三维内窥镜的两个摄像头相对于内窥镜镜头部分不可移动，也无法相对于内窥镜镜头轴向进行旋转，且三维内窥镜的两个摄像头与内窥镜镜头部分中轴的距离是已知的，以及三维内窥镜的两个摄像头之间的倾斜角度△(α，β，γ)。
在确定出三维内窥镜的三维形态后，根据以上关系，可以确定出三维内窥镜的三维拓扑结构。根据三维内窥镜的三维拓扑结构，可以获取三维内窥镜的两个摄像头之间的相对位置△(x，y，z)。
根据三维内窥镜的两个摄像头之间的倾斜角度△(α，β，γ)以及三维内窥镜的两个摄像头之间的相对位置△(x，y，z)，可以确定出三维内窥镜的两个摄像头的空间位置关系。三维内窥镜的两个摄像头的空间位置关系以公式(3)表示。
L(x,y,z,α,β,γ)＝R(x,y,z,α,β,γ)+△(x,y,z,α,β,γ) (3)
L(x,y,z,α,β,γ)表示三维内窥镜的第一个摄像头的空间坐标及旋转指向角；R(x,y,z,α,β,γ)表示三维内窥镜的第二个摄像头的空间坐标及旋转指向角。△(x,y,z,α,β,γ)表示三维内窥镜的两个摄像头之间的相对位置和倾斜角度。
通过公式(3)可将某一摄像头视野中的同一场景下的物体空间位置坐标转换为另一摄像头下的空间位置坐标，然后采用相同的投影透视函数对这个摄像头的视野进行投影映射。或者，可利用坐标转换与原投影映射函数，生成另外一个摄像头的投影映射函数。此时，可以先对某一单一视野画面进行叠加投影匹配。在获取投影映射函数后，对其进行修正即可得到另一视野所对应的投影映射函数，采用获得的新的投影函数即可对物体对应的待叠加图像信息进行投影叠加。
在图像叠加的过程中，需要随时保证叠加的准确性。为降低这个过程中的运算量，可以仅在准确度受到影响的时候再重做匹配和叠加的运算。检测准确度会不会变化的关键在于：三维传感器、物体以及内窥镜的相对位置是否有改变，内窥镜场景是否由于成像放大倍数等因素改变。
对三维传感器、物体以及内窥镜的相对位置是否改变的检测，可在三维传感器实时获得的场景中，由之前通过匹配获取的物体和内窥镜的三维模型在此前获取的位置在当前场景中进行快速的刚体匹配，直到匹配失败或者匹配出的物体位置姿态发生了改变。这种方式避免了复杂耗时的软体可变形匹配。这是由于即使对于属于软体的物体，在假定其未发生形变及位移时，可将其当作刚体对待。如果在同样的位置物体和内窥镜能始终匹配成功，则可认为他们之前没有发生位移变化。当匹配失败时，需要对其重新进行完整的三维刚体/软体匹配以及投影透视匹配。
对于调节放大倍数等因素从而影响视野画面的内窥镜，还需要额外对当前内窥镜画面与前一刻的画面进行实时比对，以确定是否因为视野画面发生变化而要重新进行投影透视匹配。为减少运算量，可采用以下方式来避免不必要的处理：
方式一：如果三维传感器、物体以及内窥镜的相对形态位置未发生改变，可以沿用前一次匹配出的物体结构模型、内窥镜模型以及位置角度，而仅重新进行投影透视匹配部分。
方式二：在比对内窥镜场景画面是否相对前一时候有改变时，即使物体本身在画面中未发生改变，而在现场中由于手术器械的移动会造成误判和额外的运算。在这种情况下，即使对画面中的物体部分进行识别而忽略物体以外的画面的变化，也无法避免手术器械的影像在物体部分以内而继续进行干扰。在这种情况下，可以从作为参照的前一幅画面和当前画面中分别识别已知的手术器械，并同时将两幅图像中识别出的所有的手术器械所在位置的像素在两幅图中同时删除。利用删除相应像素后的图片作对比即可排除由于手术器械移动所造成的判断错误。
更进一步，此时可以利用物体三维模型在内窥镜画面中的透视投影生成模版标注物体区域而将物体以外的画面排除。为了避免因为对物体外的画面的裁剪导致对物体放大无法识别的情况，可对该模版区域进行一定的放大。
在本发明的一个实施例中，三维摄像头与物体不动，内窥镜镜头移动时可对物体模型冻结。
在本发明的一个实施例中，在内窥镜手术中，三维摄像头与目标物体保持不动，而医生的内窥镜镜头，由于视野等的原因需要进行位移。为了避免大量的额外运算以及带来的延迟，这里可以延用上述方法，相对简单的对物体相对三维摄像头是否产生位移及形变进行判断，以及在内窥镜发生位移后，快速地重新将目标结构等信息重新投影透视匹配到内窥镜画面中。
对于判断物体相对三维摄像头是否产生位移及形变的判断，可沿用前述方法，用前一时刻匹配获取的物体三维实时模型，对当前场景中的物体进行刚体匹配。如果匹配成功，可认为物体未发生位移及形变，从而对物体三维模型进行暂时的冻结。
在本发明的一个实施例中，在采用根据三维内窥镜的两个摄像头的位置角度关系，由其中一个摄像头的投影映射函数推导出另一摄像头的投影映射函数时，可以直接根据当前由上述方法对三维场景中的内窥镜镜头匹配所获取的其位置和指向角与前一已匹配获得的投影映射函数时的位置角度关系，计算出目标物体及手术器械在当前内窥镜中的坐标角度，以带入其投影函数中获取物体或者器械的三维模型在内窥镜视野中的大致实时投影叠加。在此基础上，只需对沿用上述内窥镜内视野透视投影匹配的方法进行微调，从而减少了大量的计算量。
本发明实施例的图像叠加方法，能够将三维摄像头采集到的图像中的物体对应的透视投影图像叠加显示在内窥镜画面中，使得内窥镜画面不仅能够显示物体表面图像，还能够显示物体的内部图像，能够降低手术风险。
与上述的方法实施例相对应，本发明实施例还提供一种图像叠加装置。如图5所示，图5示出了本发明实施例提供的图像叠加装置的结构示意图。
图像叠加装置可以包括：
第一获取模块501，用于获取利用内窥镜采集到的第一图像以及利用三维摄像头采集到的第二图像。
第二获取模块502，用于获取利用三维摄像头采集到的内窥镜的镜头的三维坐标、内窥镜的图像采集方向，以及目标物体的三维坐标。
目标物体包括：器官、组织或手术器械。
第一确定模块503，用于根据内窥镜的镜头的三维坐标、内窥镜的图像采集方向以及目标物体的三维坐标，确定目标物体与内窥镜的镜头的相对位置。
第一透视投影模块504，用于根据相对位置，对第二图像中的目标物体对应的待叠加图像信息进行透视投影，得到目标物体对应的第一透视投影图像。
第一图像叠加模块505，用于将第一透视投影图像和第一图像进行叠加，得到第一叠加图像。
第一图像显示模块506，用于在内窥镜的画面中显示第一叠加图像。
在本发明的一个实施例中，本发明实施例提供的图像叠加装置还包括：
第二确定模块，用于若内窥镜的图像采集方向发生变化，确定内窥镜的图像采集方向的变化角度；
修正模块，用于根据变化角度，对目标物体与内窥镜的镜头的相对位置进行修正；
第二透视投影模块，用于利用修正后的相对位置，对第二图像中的目标物体对应的待叠加图像信息重新进行透视投影，得到目标物体对应的待叠加图像信息对应的第二透视投影图像；
第二图像叠加模块，用于将第二透视投影图像和第一图像进行叠加，得到第二叠加图像；
第二图像显示模块，用于在内窥镜的画面中显示第二叠加图像。
在本发明的一个实施例中，第二确定模块，具体用于：
将第一透视投影图像与第一图像进行匹配，得到第一透视投影图像与第一图像的匹配结果；
根据匹配结果，确定内窥镜的图像采集方向的变化角度。
在本发明的一个实施例中，本发明实施例提供的图像叠加装置还包括：
相对位置调整模块，用于在预设调整角度范围内，对第二图像中的目标物体对应的待叠加图像信息进行多角度透视投影，得到每个角度对应的透视投影图像；将每个角度对应的透视投影图像分别与第一图像进行匹配；基于与第一图像最匹配的透视投影图像对应的角度，对相对位置进行调整。
本发明实施例的图像叠加装置，能够将三维摄像头采集到的图像中的物体对应的透视投影图像叠加显示在内窥镜画面中，使得内窥镜画面不仅能够显示物体表面图像，还能够显示物体的内部图像，能够降低手术风险。
图6示出了能够实现根据本发明实施例的图像叠加方法及装置的计算设备的示例性硬件架构的结构图。如图6所示，计算设备600包括输入设备601、输入接口602、中央处理器603、存储器604、输出接口605、以及输出设备606。其中，输入接口602、中央处理器603、存储器604、以及输出接口605通过总线610相互连接，输入设备601和输出设备606分别通过输入接口602和输出接口605与总线610连接，进而与计算设备600的其他组件连接。
具体地，输入设备601接收来自外部的输入信息，并通过输入接口602将输入信息传送到中央处理器603；中央处理器603基于存储器604中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器604中，然后通过输出接口605将输出信息传送到输出设备606；输出设备606将输出信息输出到计算设备600的外部供用户使用。
也就是说，图6所示的计算设备也可以被实现为图像叠加设备，该图像叠加设备可以包括：存储有可在处理器上运行的计算机程序的存储器；以及处理器，该处理器在执行计算机程序时可以实现本发明实施例提供的图像叠加方法。
本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序；该计算机程序被处理器执行时实现本发明实施例提供的图像叠加方法。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种图像叠加方法，其特征在于，所述方法包括：
获取利用内窥镜采集到的第一图像以及利用三维摄像头采集到的第二图像；
获取利用三维摄像头采集到的所述内窥镜的镜头的三维坐标、所述内窥镜的图像采集方向，以及目标物体的三维坐标；所述目标物体包括：器官、组织或手术器械；
根据所述内窥镜的镜头的三维坐标、所述内窥镜的图像采集方向以及所述目标物体的三维坐标，确定所述目标物体与所述内窥镜的镜头的相对位置；
根据所述相对位置，对所述第二图像中的所述目标物体对应的待叠加图像信息进行透视投影，得到所述目标物体对应的待叠加图像信息对应的第一透视投影图像；
将所述第一透视投影图像和所述第一图像进行叠加，得到第一叠加图像；
在所述内窥镜的画面中显示所述第一叠加图像。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若所述内窥镜的图像采集方向发生变化，确定所述内窥镜的图像采集方向的变化角度；
根据所述变化角度，对所述目标物体与所述内窥镜的镜头的相对位置进行修正；
利用修正后的相对位置，对所述第二图像中的所述目标物体对应的待叠加图像信息重新进行透视投影，得到所述目标物体对应的待叠加图像信息对应的第二透视投影图像；
将所述第二透视投影图像和所述第一图像进行叠加，得到第二叠加图像；
在所述内窥镜的画面中显示所述第二叠加图像。
3.根据权利要求2所述的方法，其特征在于，所述确定所述内窥镜的图像采集方向的变化角度，包括：
将所述第一透视投影图像与所述第一图像进行匹配，得到所述第一透视投影图像与所述第一图像的匹配结果；
根据所述匹配结果，确定所述内窥镜的图像采集方向的变化角度。
4.根据权利要求1所述的方法，其特征在于，在所述根据所述相对位置，对所述第二图像中的所述目标物体对应的待叠加图像信息进行透视投影之前，所述方法还包括：
在预设调整角度范围内，对所述第二图像中的所述目标物体对应的待叠加图像信息进行多角度透视投影，得到每个角度对应的透视投影图像；
将每个角度对应的透视投影图像分别与所述第一图像进行匹配；
基于与所述第一图像最匹配的投影图像对应的角度，对所述相对位置进行调整。
5.一种图像叠加装置，其特征在于，所述装置包括：
第一获取模块，用于获取利用内窥镜采集到的第一图像以及利用三维摄像头采集到的第二图像；
第二获取模块，用于获取利用三维摄像头采集到的所述内窥镜的镜头的三维坐标、所述内窥镜的图像采集方向，以及目标物体的三维坐标；所述目标物体包括：器官、组织或手术器械；
第一确定模块，用于根据所述内窥镜的镜头的三维坐标、所述内窥镜的图像采集方向以及所述目标物体的三维坐标，确定所述目标物体与所述内窥镜的镜头的相对位置；
第一透视投影模块，用于根据所述相对位置，对所述第二图像中的所述目标物体对应的待叠加图像信息进行透视投影，得到所述目标物体对应的待叠加图像信息对应的第一透视投影图像；
第一图像叠加模块，用于将所述第一透视投影图像和所述第一图像进行叠加，得到第一叠加图像；
第一图像显示模块，用于在所述内窥镜的画面中显示所述第一叠加图像。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
第二确定模块，用于若所述内窥镜的图像采集方向发生变化，确定所述内窥镜的图像采集方向的变化角度；
修正模块，用于根据所述变化角度，对所述目标物体与所述内窥镜的镜头的相对位置进行修正；
第二透视投影模块，用于利用修正后的相对位置，对所述第二图像中的所述目标物体对应的待叠加图像信息重新进行透视投影，得到所述目标物体对应的待叠加图像信息对应的第二透视投影图像；
第二图像叠加模块，用于将所述第二透视投影图像和所述第一图像进行叠加，得到第二叠加图像；
第二图像显示模块，用于在所述内窥镜的画面中显示所述第二叠加图像。
7.根据权利要求6所述的装置，其特征在于，所述第二确定模块，具体用于：
将所述第一透视投影图像与所述第一图像进行匹配，得到所述第一透视投影图像与所述第一图像的匹配结果；
根据所述匹配结果，确定所述内窥镜的图像采集方向的变化角度。
8.根据权利要求5所述的装置，其特征在于，所述装置还包括：
相对位置调整模块，用于在预设调整角度范围内，对所述第二图像中的所述目标物体对应的待叠加图像信息进行多角度透视投影，得到每个角度对应的透视投影图像；将每个角度对应的透视投影图像分别与所述第一图像进行匹配；基于与所述第一图像最匹配的透视投影图像对应的角度，对所述相对位置进行调整。
9.一种图像叠加设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；
所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的图像叠加方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的图像叠加方法。
CN202010342760.6A 2020-04-27 2020-04-27 图像叠加方法、装置、设备及存储介质 Active CN113645396B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010342760.6A CN113645396B (zh) 2020-04-27 2020-04-27 图像叠加方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010342760.6A CN113645396B (zh) 2020-04-27 2020-04-27 图像叠加方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113645396A CN113645396A (zh) 2021-11-12
CN113645396B true CN113645396B (zh) 2023-07-25

Family

ID=78414951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010342760.6A Active CN113645396B (zh) 2020-04-27 2020-04-27 图像叠加方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113645396B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463167A (zh) * 2022-02-10 2022-05-10 北京市商汤科技开发有限公司 模型展示方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005021353A (ja) * 2003-07-01 2005-01-27 Olympus Corp 手術支援装置
CN102208114A (zh) * 2010-03-31 2011-10-05 富士胶片株式会社 投影图像生成技术

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2874710B2 (ja) * 1996-02-26 1999-03-24 日本電気株式会社 三次元位置計測装置
CN106780706B (zh) * 2017-02-06 2019-09-17 青岛海信医疗设备股份有限公司 基于腹腔镜的图像显示方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005021353A (ja) * 2003-07-01 2005-01-27 Olympus Corp 手術支援装置
CN102208114A (zh) * 2010-03-31 2011-10-05 富士胶片株式会社 投影图像生成技术

Also Published As

Publication number Publication date
CN113645396A (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
EP1942662B1 (en) Automatic improvement of tracking data for intraoperative C-arm images in image guided surgery
Melo et al. A new solution for camera calibration and real-time image distortion correction in medical endoscopy–initial technical evaluation
CN107374729B (zh) 基于ar技术的手术导航系统及方法
US6768496B2 (en) System and method for generating an image from an image dataset and a video image
US8147503B2 (en) Methods of locating and tracking robotic instruments in robotic surgical systems
US8073528B2 (en) Tool tracking systems, methods and computer products for image guided surgery
CN109077699B (zh) 通过联合传感器和/或照相机导出数据实现3-d刀具跟踪的方法与系统
US20180071032A1 (en) Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera
US20090088897A1 (en) Methods and systems for robotic instrument tool tracking
KR20160086629A (ko) 영상유도 수술에서 수술부위와 수술도구 위치정합 방법 및 장치
US8052598B2 (en) Systems and methods for calibrating an endoscope
CN114022547B (zh) 一种内窥镜图像检测方法、装置、设备及存储介质
CN113645396B (zh) 图像叠加方法、装置、设备及存储介质
CN113470184A (zh) 内窥镜增强现实误差补偿方法及装置
Yamaguchi et al. Camera model and calibration procedure for oblique-viewing endoscope
CN116831729A (zh) 一种手术机器人内窥镜视野下器械提示方法及系统
US20220108475A1 (en) Camera calibration using fiducial markers on surgical tools
JP4187830B2 (ja) 医用画像合成装置
CN113143459A (zh) 腹腔镜增强现实手术导航方法、装置及电子设备
JP7469961B2 (ja) 画像処理装置及び画像処理用コンピュータプログラム
KR20190065754A (ko) 내시경용 증강현실을 위한 이미지 왜곡 보정 방법 및 장치
KR101596868B1 (ko) 카메라 파라미터 산출 방법
US20230240558A1 (en) Surgical site measurement, and camera calibration using fiducial markers on surgical tools
US20230125959A1 (en) Endoscopic camera arrangement and method for camera alignment error correction
JP2019161558A (ja) 臓器追跡装置、臓器追跡方法及び臓器追跡プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant