CN115601233B - 一种医学图像的2d转3d方法 - Google Patents

一种医学图像的2d转3d方法 Download PDF

Info

Publication number
CN115601233B
CN115601233B CN202211598134.9A CN202211598134A CN115601233B CN 115601233 B CN115601233 B CN 115601233B CN 202211598134 A CN202211598134 A CN 202211598134A CN 115601233 B CN115601233 B CN 115601233B
Authority
CN
China
Prior art keywords
view
image
depth map
point
line segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211598134.9A
Other languages
English (en)
Other versions
CN115601233A (zh
Inventor
蔡惠明
李长流
王子阳
倪轲娜
卢露
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Nuoyuan Medical Devices Co Ltd
Original Assignee
Nanjing Nuoyuan Medical Devices Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Nuoyuan Medical Devices Co Ltd filed Critical Nanjing Nuoyuan Medical Devices Co Ltd
Priority to CN202211598134.9A priority Critical patent/CN115601233B/zh
Publication of CN115601233A publication Critical patent/CN115601233A/zh
Application granted granted Critical
Publication of CN115601233B publication Critical patent/CN115601233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种医学图像的2D转3D方法，其涉及图像处理技术领域，其处理步骤如下：S1：输入医学图像计算其显著性深度图；S2：输入医学图像计算全局先验深度图，并归一化至8bit图像，获得图像Z2，Z2即为全局先验深度图；S3：输入医学图像计算运动深度图；S4：对显著性深度图、全局先验深度图和运动深度图按照对应比例进行融合，获得融合深度图；S5：对融合深度图进行滤波及高分辨插值；S6：基于融合深度图及当前输入2D图像，生成左右视视点图像进行3D图融合渲染，将融合渲染后的图像作为3D图像输出至3D显示器，能够解决现有的医学2D内镜的图像显示的立体性较差，对于立体层次图像呈现效果不够好的问题。

Description

一种医学图像的2D转3D方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种医学图像的2D转3D方法。
背景技术
传统2D内窥镜只能采集2D的图像，无法采集术中场景的深度信息。因此医生只能通过经验或训练判断场景三维信息，因此需要长时间的训练。相较于2D内窥镜，3D内窥镜通过采集场景中的3D图像，能够实现更加清晰的手术视野和更明显的解剖层次，从而大大提高术者对术野的感知能力，提高手术效率缩短手术培养周期。
以消化科手术为例，其手术场景复杂，解剖结构粘连较多，血管组织易变形漂移，术中出血风险高。运用3D腹腔镜技术，其所提供的丰富的立体纵深感，可以实现精细化的消化科手术，大大减少出血，提高操作精度。但是3D内窥镜目前仍存在结构复杂，设计及难度较大，普遍的适用度不高的问题。
针对3D内镜的以上问题，本发明提出一种医学图像的2D转3D的方法，其可以将传统2D内镜的图像转为3D图像，从而大大有效规避3D内镜高昂加工成本的同时可带来接近3D内镜成像的感知效果。
发明内容
针对现有技术存在的不足，本发明目的是提供一种医学图像的2D转3D方法，通过对医学图像进行显著性深度图、全局先验深度图和运动深度图的计算，然后进行融合，基于融合深度图及当前输入2D图像进行3D图像转换，能够得到医学图像的深度的3D图，以解决现有的医学2D内镜的图像显示的立体性较差，对于立体层次图像呈现效果不够好的问题。
为了实现上述目的，本发明是通过如下的技术方案来实现：一种医学图像的2D转3D方法，其处理步骤如下：
S1：输入医学图像计算其显著性深度图，显著性深度图生成的方法为：
A1：将医学图像转化为Lab颜色空间，并计算Lab空间中的颜色直方图；
A2：对颜色直方图的每个颜色按照像素数进行由大到小排序；
A3：对于排序后的直方图，截取其前10%的像素作为高频颜色像素，将其余90%的像素作为低频颜色像素；
A4：分别计算90%的低频颜色像素与10%高频颜色像素的距离，排序获得相距最近的高频颜色值，并将低频颜色值赋值为高频颜色值，获得颜色被赋值后的图像；
A5：计算A4步骤获得颜色被赋值后的图像的每个像素对应的颜色的显著性值，其计算方法为：
Figure SMS_1
，
式中
Figure SMS_2
表示像素点P的显著性值，
Figure SMS_3
表示在直方图中像素 n 对应直方图频率值，
Figure SMS_4
表示两个像素的距离，
Figure SMS_5
；
A6：将A5最终获得的图像归一化至8bit图像获得图像Z1，Z1即为显著性深度图；
S2：输入医学图像计算全局先验深度图，并归一化至8bit图像，获得图像Z2，Z2即为全局先验深度图；针对医学图像的深度分布情况，采用以下函数实现全局先验深度图，其采用以下拟合公式：
Figure SMS_6
，其中，
Figure SMS_7
、
Figure SMS_8
和
Figure SMS_9
是常数，其根据医学图像场景深度分布实际效果手动预设；
Figure SMS_10
和
Figure SMS_11
表示先验的深度分界范围，由医学图像的场景深度分布确定，
Figure SMS_12
表示全局先验深度图函数；
S3：输入医学图像计算运动深度图，运动深度图计算方法如下：
B1：初始化运动深度图，每个深度值设置为0；
B2：采用光流计算算法计算连续帧的光流估计；
B3：对B2获得的结果进行归一化至8bit图像，获得运动深度图Z3；
S4：对显著性深度图、全局先验深度图和运动深度图按照对应比例进行融合，获得融合深度图；
S5：对融合深度图进行滤波及高分辨插值；
S6：基于融合深度图及当前输入2D图像，生成左右视视点图像进行3D图融合渲染，将融合渲染后的图像作为3D图像输出至3D显示器。
进一步地，所述B2中光流计算算法采用Lucas-Kanada法。
进一步地，所述S4中对显著性深度图、全局先验深度图和运动深度图按照对应比例进行融合，其融合公式为：
Figure SMS_13
；其中，a、b和c表示深度融合先验证常数，并满足
Figure SMS_14
，a、b和c的具体数值根据实际效果进行调整并归一化，Dr为融合深度图函数。
进一步地，所述S5中对深度图进行滤波采用高斯滤波算法进行分辨率提升，且滤波核大小为5。
进一步地，所述S6中生成左右视视点图像的方法为：对于输入2D图像中的任意一点P(X,Y)，计算其目标点的坐标，其中左视视点的坐标
Figure SMS_15
，
Figure SMS_16
，
Figure SMS_17
，
其中，右视视点的坐标
Figure SMS_18
，
Figure SMS_19
，
Figure SMS_20
，
其中，Dx表示人与显示器之间的距离，d表示场景点P(X,Y)的深度值。
进一步地，所述S6中生成左右视视点图像进行3D图融合渲染的方法为：左右视视点图像分别为左视视点图像和右视视点图像；根据左视视点图像建立左视视点平面直角坐标系，根据右视视点图像建立右视视点平面直角坐标系；
将求取的左视视点的坐标
Figure SMS_21
放入左视视点平面直角坐标系中，将求取的右视视点的坐标
Figure SMS_22
放入右视视点平面直角坐标系中，将左视视点平面直角坐标系和右视视点平面直角坐标系进行合并形成融合平面直角坐标系，计算融合平面直角坐标系中左视视点的坐标与右视视点的坐标距离Slr；
建立融合三维直角坐标系，计算左视视点图像和右视视点图像的融合角度Rr；
Rr的计算公式为：
Figure SMS_23
；其中，k1为角度调整常数，且
Figure SMS_24
。
进一步地，融合角度Rr的设置方法为：在融合平面直角坐标系中获取左视视点图像的横向宽度，并设定为左视宽度；以左视宽度做一条线段，并设定为左视横向线段；过左视视点做左视横向线段的垂线，将垂足作为左视参照点；选取左视横向线段中横坐标大于左视参照点的部分作为左视参照线段；
在融合平面直角坐标系中获取右视视点图像的横向宽度，并设定为右视宽度；以右视宽度做一条线段，并设定为右视横向线段；过右视视点做右视横向线段的垂线，将垂足作为右视参照点；选取右视横向线段中横坐标小于右视参照点的部分作为右视参照线段；
以Dx为长度设置观察距离线段，将观察距离线段分别与左视参照线段和右视参照线段保持垂直，且观察距离线段的一端位于左视参照点和右视参照点的中心点；
将观察距离线段远离左视参照线段和右视参照线段的一端设定为观察点，将观察点与左视参照点的连线设定为左视夹角线，将观察点与右视参照点的连线设定为右视夹角线，将左视夹角线和右视夹角线之间的夹角设定为融合角度Rr。
本发明的有益效果：本发明通过输入医学图像计算其显著性深度图；通过输入医学图像计算全局先验深度图，通过输入医学图像计算运动深度图；然后对显著性深度图、全局先验深度图和运动深度图按照对应比例进行融合，获得融合深度图；对融合深度图进行滤波及高分辨插值；最后基于融合深度图及当前输入2D图像，生成左右视视点图像进行3D图融合渲染，将融合渲染后的图像作为3D图像输出至3D显示器，首先通过对医学图像进行显著性深度图、全局先验深度图和运动深度图的计算，然后进行融合，能够得到更为精准地融合深度图像，基于融合深度图及当前输入2D图像进行3D图像转换，能够得到医学图像的深度的3D图，在提高了原2D图像显示的立体性的同时，保证3D图像呈现的准确性，能够解决现有的医学2D内镜的图像显示的立体性较差，对于立体层次图像呈现效果不够好的问题。
本发明附加方面的优点将在下面的具体实施方式的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其他特征、目的和优点将会变得更明显：
图1为本发明的方法流程示意图；
图2为本发明的医学图像的颜色直方图；
图3为本发明的融合角度的示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
请参阅图1所示，本实施例提供一种医学图像的2D转3D方法，通过对医学图像进行显著性深度图、全局先验深度图和运动深度图的计算，然后进行融合，基于融合深度图及当前输入2D图像进行3D图像转换，能够得到医学图像的深度的3D图，以解决现有的医学2D内镜的图像显示的立体性较差，对于立体层次图像呈现效果不够好的问题，其处理步骤如下：
S1：输入医学图像计算其显著性深度图，显著性深度图生成的方法为：
请参阅图2所示，A1：将医学图像转化为Lab颜色空间，并计算Lab空间中的颜色直方图；直方图是数值数据分布的精确图形表示。 是一个连续变量（定量变量）的概率分布的估计。它是一种柱状的条形图。为了构建直方图，第一步是将值的范围分段，即将整个值的范围分成一系列间隔，然后计算每个间隔中有多少值；在具体实施时，Lab颜色空间采用0-255的灰度值区间进行划分，划分时可以采用25为一个范围分段对Lab颜色空间进行划分，然后生成颜色直方图；深度图像的每一个像素值表示场景中某点与摄像机的距离，具体解释为图像中拍摄到的物体在实际状态下的前后位置关系；
A2：对颜色直方图的每个颜色按照像素数进行由大到小排序；
A3：对于排序后的直方图，截取其前10%的像素作为高频颜色像素，将其余90%的像素作为低频颜色像素；
A4：分别计算90%的低频颜色像素与10%高频颜色像素的距离，排序获得相距最近的高频颜色值，并将低频颜色值赋值为高频颜色值，获得颜色被赋值后的图像；
A5：计算A4步骤获得颜色被赋值后的图像的每个像素对应的颜色的显著性值，其计算方法为：
Figure SMS_25
，
式中
Figure SMS_26
表示像素点P的显著性值，
Figure SMS_27
表示在直方图中像素 n 对应直方图频率值，
Figure SMS_28
表示两个像素的距离，
Figure SMS_29
；
A6：将A5最终获得的图像归一化至8bit图像获得图像Z1，Z1即为显著性深度图；
S2：输入医学图像计算全局先验深度图，并归一化至8bit图像，获得图像Z2，Z2即为全局先验深度图；针对医学图像的深度分布情况，采用以下函数实现全局先验深度图，其采用以下拟合公式：
Figure SMS_30
，其中，
Figure SMS_31
、
Figure SMS_32
和
Figure SMS_33
是常数，其根据医学图像场景深度分布实际效果手动预设；
Figure SMS_34
和
Figure SMS_35
表示先验的深度分界范围，由医学图像的场景深度分布确定，
Figure SMS_36
表示全局先验深度图函数；
S3：输入医学图像计算运动深度图，运动深度图可有效突出术区场景中运动的器官组织及器械，运动深度图计算方法如下：
B1：初始化运动深度图，每个深度值设置为0；
B2：采用光流计算算法计算连续帧的光流估计；具体地，光流计算算法采用Lucas-Kanada法。
B3：对B2获得的结果进行归一化至8bit图像，获得运动深度图Z3；
S4：对显著性深度图、全局先验深度图和运动深度图按照对应比例进行融合，获得融合深度图；其中，对显著性深度图、全局先验深度图和运动深度图按照对应比例进行融合，其融合公式为：
Figure SMS_37
；其中，a、b和c表示深度融合先验证常数，并满足
Figure SMS_38
，a、b和c的具体数值根据实际效果进行调整并归一化，Dr为融合深度图函数。
S5：对融合深度图进行滤波及高分辨插值；其中，对深度图进行滤波采用高斯滤波算法进行分辨率提升，且滤波核大小为5，进行高分辨插值为了实现更高分辨率的深度图。
S6：基于融合深度图及当前输入2D图像，生成左右视视点图像进行3D图融合渲染，将融合渲染后的图像作为3D图像输出至3D显示器，其中，生成左右视视点图像的方法为：对于输入2D图像中的任意一点P(X,Y)，计算其目标点的坐标，其中左视视点的坐标
Figure SMS_39
，
Figure SMS_40
，
Figure SMS_41
，
其中，右视视点的坐标
Figure SMS_42
，
Figure SMS_43
，
Figure SMS_44
，
其中，Dx表示人与显示器之间的距离，d表示场景点P(X,Y)的深度值。
其中，上述生成左右视视点图像进行3D图融合渲染的方法为：左右视视点图像分别为左视视点图像和右视视点图像；根据左视视点图像建立左视视点平面直角坐标系，根据右视视点图像建立右视视点平面直角坐标系；
将求取的左视视点的坐标
Figure SMS_45
放入左视视点平面直角坐标系中，将求取的右视视点的坐标
Figure SMS_46
放入右视视点平面直角坐标系中，将左视视点平面直角坐标系和右视视点平面直角坐标系进行合并形成融合平面直角坐标系，计算融合平面直角坐标系中左视视点的坐标与右视视点的坐标距离Slr，Slr通过现有的坐标距离计算方法计算得到；
建立融合三维直角坐标系，计算左视视点图像和右视视点图像的融合角度Rr；
Rr的计算公式为：
Figure SMS_47
；其中，k1为角度调整常数，且
Figure SMS_48
；
上述融合角度Rr的设置方法为：在融合平面直角坐标系中获取左视视点图像的横向宽度，并设定为左视宽度；以左视宽度做一条线段，并设定为左视横向线段；过左视视点做左视横向线段的垂线，将垂足作为左视参照点；选取左视横向线段中横坐标大于左视参照点的部分作为左视参照线段；
在融合平面直角坐标系中获取右视视点图像的横向宽度，并设定为右视宽度；以右视宽度做一条线段，并设定为右视横向线段；过右视视点做右视横向线段的垂线，将垂足作为右视参照点；选取右视横向线段中横坐标小于右视参照点的部分作为右视参照线段；
以Dx为长度设置观察距离线段，将观察距离线段分别与左视参照线段和右视参照线段保持垂直，且观察距离线段的一端位于左视参照点和右视参照点的中心点；
将观察距离线段远离左视参照线段和右视参照线段的一端设定为观察点，将观察点与左视参照点的连线设定为左视夹角线，将观察点与右视参照点的连线设定为右视夹角线，将左视夹角线和右视夹角线之间的夹角设定为融合角度Rr。对于Rr的计算公式的具体解释可以参照附图3，图中可以看到，当k1等于2时，通过Rr的计算公式求出的角度刚好为左视参照线段和右视参照线段处于同一直线时的状态，即为图3中实线的部分，此时左视参照点和右视参照点的相距距离最远，具体在左视视点图像和右视视点图像融合时，需要将二者向朝向观察者的方向内收一定角度，但是范围不需要过大，此时通过将k1保持在2到2.5之间时，能够刚好使左视视点图像和右视视点图像在融合时向观察者的方向内收一定角度，即为图3中虚线展示的部分。
实施例二
本实施例提供一种医学图像的2D转3D系统，系统包括深度计算模块、融合模块以及转换模块；
深度计算模块包括显著性深度计算单元、全局先验深度计算单元以及运动深度计算单元，显著性深度计算单元用于输入医学图像计算其显著性深度图，全局先验深度计算单元用于输入医学图像计算全局先验深度图，运动深度计算单元用于输入医学图像计算运动深度图；
融合模块用于对显著性深度图、全局先验深度图和运动深度图按照对应比例进行融合，获得融合深度图；
转换模块包括图像增强单元以及转换单元，图像增强单元用于对融合深度图进行滤波及高分辨插值；其中，对深度图进行滤波采用高斯滤波算法进行分辨率提升，且滤波核大小为5；
转换单元用于基于融合深度图及当前输入2D图像，生成左右视视点图像进行3D图融合渲染，将融合渲染后的图像作为3D图像输出至3D显示器。
具体地，显著性深度计算单元配置有显著性深度图生成策略，显著性深度图生成策略包括：将医学图像转化为Lab颜色空间，并计算Lab空间中的颜色直方图；对颜色直方图的每个颜色按照像素数进行由大到小排序；对于排序后的直方图，截取其前10%的像素作为高频颜色像素，将其余90%的像素作为低频颜色像素；分别计算90%的低频颜色像素与10%高频颜色像素的距离，排序获得相距最近的高频颜色值，并将低频颜色值赋值为高频颜色值，获得颜色被赋值后的图像；计算获得颜色被赋值后的图像的每个像素对应的颜色的显著性值，其计算方法为：
Figure SMS_49
，
式中
Figure SMS_50
表示像素点P的显著性值，
Figure SMS_51
表示在直方图中像素 n 对应直方图频率值，
Figure SMS_52
表示两个像素的距离，
Figure SMS_53
；将最终获得的图像归一化至8bit图像获得图像Z1，Z1即为显著性深度图。
具体地，全局先验深度计算单元配置有全局先验深度计算策略，全局先验深度计算策略包括：对全局先验深度图归一化至8bit图像，获得图像Z2，Z2即为全局先验深度图；针对医学图像的深度分布情况，采用以下函数实现全局先验深度图，其采用以下拟合公式：
Figure SMS_54
，其中，
Figure SMS_55
、
Figure SMS_56
和
Figure SMS_57
是常数，其根据医学图像场景深度分布实际效果手动预设；
Figure SMS_58
和
Figure SMS_59
表示先验的深度分界范围，由医学图像的场景深度分布确定，
Figure SMS_60
表示全局先验深度图函数。
具体地，运动深度计算单元配置有运动深度计算策略，运动深度计算策略包括：初始化运动深度图，每个深度值设置为0；采用光流计算算法计算连续帧的光流估计；对B2获得的结果进行归一化至8bit图像，获得运动深度图Z3；其中，光流计算算法采用Lucas-Kanada法。
具体地，融合模块配置有融合策略，融合策略包括：对显著性深度图、全局先验深度图和运动深度图按照对应比例进行融合，其融合公式为：
Figure SMS_61
；其中，a、b和c表示深度融合先验证常数，并满足
Figure SMS_62
，a、b和c的具体数值根据实际效果进行调整并归一化，Dr为融合深度图函数。
具体地，图像增强单元配置有图像增强策略，图像增强策略包括：对深度图进行滤波采用高斯滤波算法进行分辨率提升，且滤波核大小为5。
具体地，转换单元配置有转换策略，转换策略包括：生成左右视视点图像的方法为：对于输入2D图像中的任意一点P(X,Y)，计算其目标点的坐标，其中左视视点的坐标
Figure SMS_63
，
Figure SMS_64
，
Figure SMS_65
，
其中，右视视点的坐标
Figure SMS_66
，
Figure SMS_67
，
Figure SMS_68
，
其中，Dx表示人与显示器之间的距离，d表示场景点P(X,Y)的深度值。
转换策略还包括融合角度计算子策略，融合角度计算子策略包括：左右视视点图像分别为左视视点图像和右视视点图像；根据左视视点图像建立左视视点平面直角坐标系，根据右视视点图像建立右视视点平面直角坐标系；
将求取的左视视点的坐标
Figure SMS_69
放入左视视点平面直角坐标系中，将求取的右视视点的坐标
Figure SMS_70
放入右视视点平面直角坐标系中，将左视视点平面直角坐标系和右视视点平面直角坐标系进行合并形成融合平面直角坐标系，计算融合平面直角坐标系中左视视点的坐标与右视视点的坐标距离Slr；
建立融合三维直角坐标系，计算左视视点图像和右视视点图像的融合角度Rr；
Rr的计算公式为：
Figure SMS_71
；其中，k1为角度调整常数，且
Figure SMS_72
。
转换策略还包括融合角度设定子策略，融合角度设定子策略包括：在融合平面直角坐标系中获取左视视点图像的横向宽度，并设定为左视宽度；以左视宽度做一条线段，并设定为左视横向线段；过左视视点做左视横向线段的垂线，将垂足作为左视参照点；选取左视横向线段中横坐标大于左视参照点的部分作为左视参照线段；
在融合平面直角坐标系中获取右视视点图像的横向宽度，并设定为右视宽度；以右视宽度做一条线段，并设定为右视横向线段；过右视视点做右视横向线段的垂线，将垂足作为右视参照点；选取右视横向线段中横坐标小于右视参照点的部分作为右视参照线段；
以Dx为长度设置观察距离线段，将观察距离线段分别与左视参照线段和右视参照线段保持垂直，且观察距离线段的一端位于左视参照点和右视参照点的中心点；
将观察距离线段远离左视参照线段和右视参照线段的一端设定为观察点，将观察点与左视参照点的连线设定为左视夹角线，将观察点与右视参照点的连线设定为右视夹角线，将左视夹角线和右视夹角线之间的夹角设定为融合角度Rr。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种医学图像的2D转3D方法，其特征在于，其处理步骤如下：
S1：输入医学图像计算其显著性深度图，显著性深度图生成的方法为：
A1：将医学图像转化为Lab颜色空间，并计算Lab空间中的颜色直方图；
A2：对颜色直方图的每个颜色按照像素数进行由大到小排序；
A3：对于排序后的直方图，截取其前10%的像素作为高频颜色像素，将其余90%的像素作为低频颜色像素；
A4：分别计算90%的低频颜色像素与10%高频颜色像素的距离，排序获得相距最近的高频颜色值，并将低频颜色值赋值为高频颜色值，获得颜色被赋值后的图像；
A5：计算A4步骤获得颜色被赋值后的图像的每个像素对应的颜色的显著性值，其计算方法为：
Figure QLYQS_1
，
式中
Figure QLYQS_2
表示像素点P的显著性值，
Figure QLYQS_3
表示在直方图中像素 n 对应直方图频率值，
Figure QLYQS_4
表示两个像素的距离，
Figure QLYQS_5
；
A6：将A5最终获得的图像归一化至8bit图像获得图像Z1，Z1即为显著性深度图；
S2：输入医学图像计算全局先验深度图，并归一化至8bit图像，获得图像Z2，Z2即为全局先验深度图；针对医学图像的深度分布情况，采用以下函数实现全局先验深度图，其采用以下拟合公式：
Figure QLYQS_6
，其中，
Figure QLYQS_7
、
Figure QLYQS_8
和
Figure QLYQS_9
是常数，其根据医学图像场景深度分布实际效果手动预设；
Figure QLYQS_10
和
Figure QLYQS_11
表示先验的深度分界范围，由医学图像的场景深度分布确定，
Figure QLYQS_12
表示全局先验深度图函数；
S3：输入医学图像计算运动深度图，运动深度图计算方法如下：
B1：初始化运动深度图，每个深度值设置为0；
B2：采用光流计算算法计算连续帧的光流估计；
B3：对B2获得的结果进行归一化至8bit图像，获得运动深度图Z3；
S4：对显著性深度图、全局先验深度图和运动深度图按照对应比例进行融合，获得融合深度图；
S5：对融合深度图进行滤波及高分辨插值；
S6：基于融合深度图及当前输入2D图像，生成左右视视点图像进行3D图融合渲染，将融合渲染后的图像作为3D图像输出至3D显示器。
2.根据权利要求1所述的一种医学图像的2D转3D的方法，其特征在于：所述B2中光流计算算法采用Lucas-Kanada法。
3.根据权利要求1所述的一种医学图像的2D转3D的方法，其特征在于：所述S4中对显著性深度图、全局先验深度图和运动深度图按照对应比例进行融合，其融合公式为：
Figure QLYQS_13
；其中，a、b和c表示深度融合先验证常数，并满足
Figure QLYQS_14
，a、b和c的具体数值根据实际效果进行调整并归一化，Dr为融合深度图函数。
4.根据权利要求1所述的一种医学图像的2D转3D的方法，其特征在于：所述S5中对深度图进行滤波采用高斯滤波算法进行分辨率提升，且滤波核大小为5。
5.根据权利要求1所述的一种医学图像的2D转3D的方法，其特征在于：所述S6中生成左右视视点图像的方法为：对于输入2D图像中的任意一点P(X,Y)，计算其目标点的坐标，其中左视视点的坐标
Figure QLYQS_15
，
Figure QLYQS_16
，
Figure QLYQS_17
，
其中，右视视点的坐标
Figure QLYQS_18
，
Figure QLYQS_19
，
Figure QLYQS_20
，
其中，Dx表示人与显示器之间的距离，d表示场景点P(X,Y)的深度值。
6.根据权利要求5所述的一种医学图像的2D转3D的方法，其特征在于：所述S6中生成左右视视点图像进行3D图融合渲染的方法为：左右视视点图像分别为左视视点图像和右视视点图像；根据左视视点图像建立左视视点平面直角坐标系，根据右视视点图像建立右视视点平面直角坐标系；
将求取的左视视点的坐标
Figure QLYQS_21
放入左视视点平面直角坐标系中，将求取的右视视点的坐标
Figure QLYQS_22
放入右视视点平面直角坐标系中，将左视视点平面直角坐标系和右视视点平面直角坐标系进行合并形成融合平面直角坐标系，计算融合平面直角坐标系中左视视点的坐标与右视视点的坐标距离Slr；
建立融合三维直角坐标系，计算左视视点图像和右视视点图像的融合角度Rr；
Rr的计算公式为：
Figure QLYQS_23
；其中，k1为角度调整常数，且
Figure QLYQS_24
。
7.根据权利要求6所述的一种医学图像的2D转3D的方法，其特征在于：融合角度Rr的设置方法为：在融合平面直角坐标系中获取左视视点图像的横向宽度，并设定为左视宽度；以左视宽度做一条线段，并设定为左视横向线段；过左视视点做左视横向线段的垂线，将垂足作为左视参照点；选取左视横向线段中横坐标大于左视参照点的部分作为左视参照线段；
在融合平面直角坐标系中获取右视视点图像的横向宽度，并设定为右视宽度；以右视宽度做一条线段，并设定为右视横向线段；过右视视点做右视横向线段的垂线，将垂足作为右视参照点；选取右视横向线段中横坐标小于右视参照点的部分作为右视参照线段；
以Dx为长度设置观察距离线段，将观察距离线段分别与左视参照线段和右视参照线段保持垂直，且观察距离线段的一端位于左视参照点和右视参照点的中心点；
将观察距离线段远离左视参照线段和右视参照线段的一端设定为观察点，将观察点与左视参照点的连线设定为左视夹角线，将观察点与右视参照点的连线设定为右视夹角线，将左视夹角线和右视夹角线之间的夹角设定为融合角度Rr。
CN202211598134.9A 2022-12-14 2022-12-14 一种医学图像的2d转3d方法 Active CN115601233B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211598134.9A CN115601233B (zh) 2022-12-14 2022-12-14 一种医学图像的2d转3d方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211598134.9A CN115601233B (zh) 2022-12-14 2022-12-14 一种医学图像的2d转3d方法

Publications (2)

Publication Number Publication Date
CN115601233A CN115601233A (zh) 2023-01-13
CN115601233B true CN115601233B (zh) 2023-03-10

Family

ID=84854073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211598134.9A Active CN115601233B (zh) 2022-12-14 2022-12-14 一种医学图像的2d转3d方法

Country Status (1)

Country Link
CN (1) CN115601233B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105898278A (zh) * 2016-05-26 2016-08-24 杭州电子科技大学 一种基于双目多维感知特性的立体视频显著性检测方法
CN107274419A (zh) * 2017-07-10 2017-10-20 北京工业大学 一种基于全局先验和局部上下文的深度学习显著性检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574375B (zh) * 2014-12-23 2017-05-03 浙江大学 结合彩色和深度信息的图像显著性检测方法
CN112822479A (zh) * 2020-12-30 2021-05-18 北京华录新媒信息技术有限公司 一种用于2d-3d视频转换的深度图生成方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105898278A (zh) * 2016-05-26 2016-08-24 杭州电子科技大学 一种基于双目多维感知特性的立体视频显著性检测方法
CN107274419A (zh) * 2017-07-10 2017-10-20 北京工业大学 一种基于全局先验和局部上下文的深度学习显著性检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Comparison of Two Novel Similarity Measures Based on Mutual Information in 2D/3D Image Registration;Lei Wang等;《2013 IEEE International Conference on Medical Imaging Physics and Engineering》;第215-218页 *
Cardiac Motion Reconstruction Using LKT Algorithm from 2D and 3D Echocardiography;Alice Gao等;《Csres Press》;第1-7页 *

Also Published As

Publication number Publication date
CN115601233A (zh) 2023-01-13

Similar Documents

Publication Publication Date Title
CN106780590B (zh) 一种深度图的获取方法及系统
JP5011168B2 (ja) 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP4966431B2 (ja) 画像処理装置
WO2017054589A1 (zh) 一种多深度图融合方法及装置
CN111047709B (zh) 一种双目视觉裸眼3d图像生成方法
CN109360235A (zh) 一种基于光场数据的混合深度估计方法
CN107680688B (zh) 一种基于3d打印的盆腔仿真微创手术视觉导航验证方法
CN103810685A (zh) 一种深度图的超分辨率处理方法
CN103971366B (zh) 一种基于双权重聚合的立体匹配方法
TW201243763A (en) Method for 3D video content generation
US20170035268A1 (en) Stereo display system and method for endoscope using shape-from-shading algorithm
CN109889799B (zh) 基于rgbir摄像头的单目结构光深度感知方法及装置
Bleyer et al. A stereo approach that handles the matting problem via image warping
CN111508068B (zh) 一种应用于双目内窥镜图像的三维重建方法及系统
CN109493282A (zh) 一种消除运动重影的立体图像拼接方法
US11463676B2 (en) Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm
WO2010081094A2 (en) A system for registration and information overlay on deformable surfaces from video data
CN113538569A (zh) 一种弱纹理物体位姿估计方法和系统
CN112085802A (zh) 一种基于双目摄像头获取三维指静脉图像的方法
Xia et al. A robust edge-preserving stereo matching method for laparoscopic images
KR101454780B1 (ko) 3d 모델의 텍스쳐 생성 방법 및 장치
Jung A modified model of the just noticeable depth difference and its application to depth sensation enhancement
JP2013012045A (ja) 画像処理方法、画像処理装置及びコンピュータプログラム
CN108742495A (zh) 一种用于医疗领域的三维立体腹腔镜系统及立体匹配方法
JP5373931B2 (ja) 仮想視点画像生成方法，仮想視点画像生成装置および仮想視点画像生成プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant