CN116721143A - 3d医学图像的深度信息处理装置及方法 - Google Patents
3d医学图像的深度信息处理装置及方法 Download PDFInfo
- Publication number
- CN116721143A CN116721143A CN202310973959.2A CN202310973959A CN116721143A CN 116721143 A CN116721143 A CN 116721143A CN 202310973959 A CN202310973959 A CN 202310973959A CN 116721143 A CN116721143 A CN 116721143A
- Authority
- CN
- China
- Prior art keywords
- image
- depth information
- medical image
- processed
- medical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 64
- 238000000605 extraction Methods 0.000 claims abstract description 45
- 238000003062 neural network model Methods 0.000 claims abstract description 27
- 238000003672 processing method Methods 0.000 claims abstract description 17
- 238000013528 artificial neural network Methods 0.000 claims description 39
- 238000012549 training Methods 0.000 claims description 36
- 230000009467 reduction Effects 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000009499 grossing Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 238000009827 uniform distribution Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 11
- 238000003745 diagnosis Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Image Processing (AREA)
Abstract
本发明涉及医学图像数据处理技术领域，具体涉及3D医学图像的深度信息处理装置及方法，本发明分别通过视差信息提取模型、深度估计神经网络模型将待处理2D医学图像转化成两个预估3D医学图像，然后利用深度信息处理模型分别对两个预估3D医学图像进行处理，得到两个3D医学图像深度信息；之后，根据预设图像深度信息权重，结合两个3D医学图像深度信息进行计算，得到最终的3D医学图像的深度信息，基于最终的3D医学图像的深度信息、待处理2D图像重建3D医学图像。本发明通过上述方式能够优化3D医学图像的深度信息，提升3D医学图像的重建效果，为医学诊断提供更精确的数据支持。
Description
技术领域
本发明涉及医学图像数据处理技术领域，尤其涉及3D医学图像的深度信息处理装置及方法。
背景技术
在医学领域，在对病人进行身体检查时经常会拍摄多种医学图片以便于确认病人身体健康状况以及病灶位置，但现有的医学诊断中，拍摄的图片基本是以2D图片展示，因此，通过2D图像直接判断病人的健康状况时，会因为2D图片本身展示信息内容较少的导致诊断出错，由于人体是三维的，当确定病人病灶具体位置时，也不能准确给出准确的三维位置坐标。
如申请公开号为CN114170110A的中国专利，公开了一种3D图像处理方法及系统，包括：步骤一、获取目标图像并在上述目标图像周围选取多个候选图像；步骤二、对多个上述候选图像进行图像边缘处理；步骤三、通过图像拼接将边缘处理后的上述候选图像与上述目标图像合并以得到合并图像； 步骤四、对上述合并图像进行滤波去噪处理以得到平滑图像；步骤五、将上述平滑图像进行图像深度处理以得到3D基准图像； 步骤六、将上述3D基准图像通过建立3D模型生成3D图像。该专利通过将待处理的目标图像周围边缘处选取候选图像来进行边缘处理，再将边缘处理后的该候选图像与原目标图像进行融合，再通过处理，由3D模型生成3D图像，可以提高3D图像的成像画质精度，但利用此方法所转化出的3D图像在质量上仅仅是略有提升，在2D向3D的转换上，图像转化效果并不显著，尤其是在医学领域，很小的数据误差仍会导致较大的医疗事故，因此，2D图像到3D图像的转化效果仍有待提高。
在图像深度信息确定方面，现有技术中大都采用人工的方式赋予数值，会耗费大量人力资源去提升相关技术人员的技术能力，不同人对于图像中对象位置和深度的判别无法做到完全相同，导致人工给定的深度信息千差万别，无法得到统一的结果，从而获取的视差图像效果不稳定。
发明内容
本发明提供了3D医学图像的深度信息处理装置及方法，用于解决2D医学图像到3D医学图像的转化效果不高以及图像深度信息确定效果较差，资源损耗较大的问题。
本说明书实施例提供3D医学图像的深度信息处理方法，包括：
获取待处理2D图像，将所述待处理2D图像输入视差信息提取模型，得到视差信息图像，基于待处理2D图像、视差信息图像构建第一预估3D医学图像；
在所述待处理2D图像周围选取多个候选图像，对所述候选图像进行边缘处理，利用图像拼接将边缘处理后的候选图像与所述待处理2D图像进行合并处理，得到第二预估3D医学图像；
将所述第一预估3D医学图像、所述第二预估3D医学图像分别输入深度信息处理模型，得到第一3D医学图像深度信息、第二3D医学图像深度信息；
根据预设图像深度信息权重，结合所述第一3D医学图像深度信息、所述第二3D医学图像深度信息进行计算，得到第三3D医学图像的深度信息；
基于第三3D医学图像的深度信息、所述待处理2D图像重建3D医学图像。
优选的，在获取待处理2D图像之前，包括：
收集图像样本数据，对所述图像样本数据进行预处理；
构建初始视差信息提取模型；
利用预处理后的图像样本数据对所述初始视差信息提取模型进行训练，得到视差信息提取模型，所述初始视差信息提取模型包括至少一个残差学习神经网络，将所述至少一个残差学习神经网络分为多个级别，第一级残差学习神经网络的输入为减均值操作后2D图像，除第一级残差学习神经网络以外各级残差学习神经网络的输入均包含前一级残差学习神经网络的输出结果和所述减均值操作后2D图像。
优选的，所述得到视差信息图像，包括：
利用所述视差信息提取模型对所述待处理2D图像进行逐级提取，得到视差信息图像。
优选的，所述图像样本数据包括2D图像；
所述对所述图像样本数据进行预处理，包括：
通过对所述2D图像进行缩放；
对缩放后的2D图像提取像素均值，将所述缩放后的2D图像进行减均值操作；
将所述2D图像中像素值归一化为统一分布。
优选的，所述在所述待处理2D图像周围选取多个候选图像，包括：
确定所述待处理2D图像的范围；
获取所述待处理2D图像的范围外的图像以得到环境图像；
对所述环境图像进行划分以得到多个区域图像；
对多个所述区域图像进行筛选，得到多个候选图像。
优选的，所述对所述候选图像进行边缘处理，包括：
利用sobel算子计算所述候选图像的图像梯度，并进行阈值处理。
优选的，所述利用图像拼接将边缘处理后的候选图像与所述待处理2D图像进行合并处理，包括：
采用SURF（Speeded-Up Robust Features，加速稳健特征）算法将所述候选图像与所述待处理2D图像进行配准处理；
对配准处理后的所述候选图像与所述待处理2D图像进行图像融合，得到合并图像；
对所述合并图像进行平滑处理，得到平滑图像；
对所述平滑图像进行图像深度处理。
优选的，所述对所述平滑图像进行图像深度处理，包括：
获取所述平滑图像的深度信息；
基于所述深度信息建立图像深度估计神经网络模型；
将所述平滑图像输入所述图像深度估计神经网络模型以得到深度估计图像。
优选的，得到第二预估3D医学图像，包括：
基于所述深度估计图像构建3 D模型生成第二预估3D医学图像。
优选的，在获取待处理2D图像之前，还包括：
获取图像样本数据中每一个2D图像对应的RGB（Red Green Blue，三原色）图像、与所述RGB图像对应的深度图像；
将所述RGB图像、与所述RGB图像对应的深度图像划分为样本训练集和样本测试集；
构建初始深度信息处理模型；
利用所述样本训练集对所述初始深度信息处理模型进行训练，并利用样本测试集对训练后的初始深度信息处理模型进行验证，得到最终的深度信息处理模型。
本说明书实施例还提供3D医学图像的深度信息处理装置，包括：
第一预估3D医学图像获取模块，用于获取待处理2D图像，将所述待处理2D图像输入视差信息提取模型，并利用所述视差信息提取模型中的初始视差信息提取模型基于所述待处理2D图像进行逐级提取，得到视差信息图像，基于待处理2D图像、视差信息图像构建第一预估3D医学图像；
第二预估3D医学图像获取模块，用于在所述待处理2D图像周围选取多个候选图像，对所述候选图像进行边缘处理，利用图像拼接将边缘处理后的候选图像与所述待处理2D图像进行合并处理，得到第二预估3D医学图像；
医学图像处理模块，用于将所述第一预估3D医学图像、所述第二预估3D医学图像分别输入深度信息处理模型，得到第一3D医学图像深度信息、第二3D医学图像深度信息；
医学图像深度信息计算模块，用于根据预设图像深度信息权重，结合所述第一3D医学图像深度信息、所述第二3D医学图像深度信息进行计算，得到第三3D医学图像的深度信息；
3D医学图像构建模块，基于第三3D医学图像的深度信息、所述待处理2D图像重建3D医学图像。
一种电子设备，其中，该电子设备包括：
处理器以及存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述任一项所述的方法。
一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个指令，所述一个或多个指令当被处理器执行时，实现上述任一项所述的方法。
本发明分别通过视差信息提取模型、深度估计神经网络模型将待处理2D医学图像转化成两个预估3D医学图像，然后利用深度信息处理模型分别对两个预估3D医学图像进行处理，得到两个3D医学图像深度信息；之后，根据预设图像深度信息权重，结合两个3D医学图像深度信息进行计算，得到最终的3D医学图像的深度信息，基于最终的3D医学图像的深度信息、待处理2D图像重建3D医学图像。本发明通过上述方式能够优化3D医学图像的深度信息，提升3D医学图像的重建效果，为医学诊断提供更精确的数据支持。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本说明书实施例提供的3D医学图像的深度信息处理方法的原理示意图；
图2为本说明书实施例提供的3D医学图像的深度信息处理装置的结构示意图；
图3为本说明书实施例提供的一种电子设备的结构示意图；
图4为本说明书实施例提供的一种计算机可读介质的原理示意图。
具体实施方式
现在将参考附图更全面地描述本发明的示例性实施例。然而，示例性实施例能够以多种形式实施，且不应被理解为本发明仅限于在此阐述的实施例。相反，提供这些示例性实施例能够使得本发明更加全面和完整，更加便于将发明构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的元件、组件或部分，因而将省略对它们的重复描述。
参照图1为本说明书实施例提供的3D医学图像的深度信息处理方法的原理示意图，包括：
S101：获取待处理2D图像，将所述待处理2D图像输入视差信息提取模型，得到视差信息图像，基于待处理2D图像、视差信息图像构建第一预估3D医学图像；
进一步的,所述得到视差信息图像，包括：
利用所述视差信息提取模型对所述待处理2D图像进行逐级提取，得到视差信息图像。
在较佳的实施例中，先获取待处理的2D图像，将待处理的2D图像输入训练好的视差信息提取模型，利用视差信息提取模型中的初始视差信息提取模型对待处理2D图像进行逐级提取得到视差信息图像，通过将待处理的2D图像结合视差信息图像进行立体渲染，对待处理的2D图像进行三维重建，通过上述方式得到第一预估3D医学图像，以便于后续进行医学图像深度信息计算时提供数据支持，为获取质量更好的3D医学图像做准备。其中，待处理的2D图像可以为单帧2D图像，也可以为连续帧2D图像。
S102：在所述待处理2D图像周围选取多个候选图像，对所述候选图像进行边缘处理，利用图像拼接将边缘处理后的候选图像与所述待处理2D图像进行合并处理，得到第二预估3D医学图像；
进一步的,所述在所述待处理2D图像周围选取多个候选图像，包括：
确定所述待处理2D图像的范围；
获取所述待处理2D图像的范围外的图像以得到环境图像；
对所述环境图像进行划分以得到多个区域图像；
对多个所述区域图像进行筛选，得到多个候选图像。
在较佳的实施例中，将多个区域图像进行低通滤波处理，得到一个模糊副本作为参考图像，并通过比较多个区域图像和参考图像之间的图像特征的变化情况进行图像质量的评价来确定是否有效，以此方式实现对多个所述区域图像进行筛选得到有效图像，该有效图像即为候选图像。
进一步的,所述对所述候选图像进行边缘处理，包括：
利用sobel算子计算所述候选图像的图像梯度，并进行阈值处理。
在较佳的实施例中，通过sobel算子使用两个3*3的矩阵算子分别和原始医学图片作卷积，分别得到横向Gx和纵向Gy的梯度值，设定梯度值的阈值，如果梯度值大于某一个阈值，则认为该点为边缘点，sobel算子对噪音具有平滑作用，能够很好的噪音消除噪音的影响，提升候选图像质量。
进一步的,所述利用图像拼接将边缘处理后的候选图像与所述待处理2D图像进行合并处理，包括：
采用SURF算法将所述候选图像与所述待处理2D图像进行配准处理，提升算法的执行效率。其中，SURF算法为一种稳健的局部特征点检测和描述算法；
对配准处理后的所述候选图像与所述待处理2D图像进行图像融合，得到合并图像；
对所述合并图像进行平滑处理，得到平滑图像；
对所述平滑图像进行图像深度处理。
进一步的,所述对所述平滑图像进行图像深度处理，包括：
获取所述平滑图像的深度信息；
基于所述深度信息建立图像深度估计神经网络模型；
将所述平滑图像输入所述图像深度估计神经网络模型以得到深度估计图像。
在较佳的实施例中，候选图像为待处理2D图像边缘处向外延伸一定范围的图像，可根据待处理2D图像的大小设置阈值，一般设置阈值的数值为待处理2D图像的最大直径的长度，即将待处理2D图像周围延伸至该阈值的长度范围内的图像作为候选图像的选取范围(即环境图像)，然后将其进行划分，再选取其中的多个具有代表性的有效图像作为候选图像，然后将该候选图像分别进行边缘处理，再通过图像拼接将边缘处理后的候选图像和目标图像进行合并以得到合并图像，再通过滤波、深度处理，最后通过建立3D模型即可生成第二预估3D医学图像。
S103：将所述第一预估3D医学图像、所述第二预估3D医学图像分别输入深度信息处理模型，得到第一3D医学图像深度信息、第二3D医学图像深度信息；
S104：根据预设图像深度信息权重，结合所述第一3D医学图像深度信息、所述第二3D医学图像深度信息进行计算，得到第三3D医学图像的深度信息；
S105：基于第三3D医学图像的深度信息、所述待处理2D图像重建3D医学图像。
在较佳的实施例中，将前述预估到的第一预估3D医学图像、第二预估3D医学图像分别输入深度信息处理模型，得到第一3D医学图像深度信息、第二3D医学图像深度信息，由于第一预估3D医学图像、第二预估3D医学图像均为预估值，存在着数据的偏差，为了更近一步提升最终得到的3D医学图像的质量，本发明采用权重划分的方式对深度信息处理模型的输出结果做进一步处理，经实验验证，当预设图像深度信息权重划分比例为7：3时，最接近实际结果。例如：当预估到的第一预估3D医学图像输入深度信息处理模型后得到图像采集器到某一预设点的深度信息为2cm，预估到的第一预估3D医学图像输入深度信息处理模型后得到图像采集器到同一预设点的深度信息为1.6cm时，基于权重划分计算后，得到最终图像采集器到该预设点的深度信息为1.88cm。最终根据权重划分计算后的结果结合待处理2D图像重建3D医学图像。通过上述方式得到的3D医学图像更能准确展示患者身体内部状况和病灶具体位置，更有利于对患者进行治疗或手术操作等。优选的，由于上述利用的各个模型均为医学图像样本，而现实场景中存在个别独特性图像，如罕见性图像、身体结构存在较大差异所采集的医学图像等，为了能够让各个模型所输出的结果更具有适应性和广泛性，本发明可以对独特性医学图像与医学图像样本之间的关联关系进行挖掘，基于关联关系确定与独特性医学图像相适应的医学图像样本作为待处理医学图像，其中关联关系挖掘算法包括但不限于分类算法、聚类算法、关联算法中的一个或多个结合。更进一步的，针对独特性医学图像，可以适应性调整预设图像深度信息权重划分比例，以便于适用于独特性医学图像。
进一步的,在获取待处理2D图像之前，包括：
收集图像样本数据，对所述图像样本数据进行预处理；
构建初始视差信息提取模型；
利用预处理后的图像样本数据对所述初始视差信息提取模型进行训练，得到视差信息提取模型，所述初始视差信息提取模型包括至少一个残差学习神经网络，将所述至少一个残差学习神经网络分为多个级别，第一级残差学习神经网络的输入为减均值操作后2D图像，除第一级残差学习神经网络以外各级残差学习神经网络的输入均包含前一级残差学习神经网络的输出结果和所述减均值操作后2D图像。
在较佳的实施例中，图像样本数据包含由现有3D图像和视频提取的原始2D图像和2D连续帧图像及其对应的单帧视差图像及连续帧视差图像。将收集到的数据进行随机选取，分别作为训练样本数据和测试样本数据，其中，训练样本数据用于对初始视差信息提取模型进行训练，测试样本数据用于对训练后的初始视差信息提取模型进行测试。
在较佳的实施例中，初始视差信息提取模型以四个残差学习神经网络组成为最佳，初始视差信息提取模型的训练过程如下：
利用预处理后的训练样本数据对第一级残差学习神经网络参数进行拟合，得到第一级残差学习神经网络模型,第一级残差学习神经网络模型可以从原始2D图像提取较为粗糙的视差信息图像。将第一级残差学习神经网络模型获取的较为粗糙的视差信息图像和原始2D图像作为第二级残差学习神经网络的输入样本，将预处理后的训练样本输入第二级残差学习神经网络，并利用较为粗糙的视差信息图像对第二级残差学习神经网络参数进行拟合，得到第二级残差学习神经网络模型。第二级残差学习神经网络模型可以从原始2D图像及第一级残差学习神经网络模型的结果提取相较于第一级残差学习神经网络模型更为准确的视差信息图像。将第二级残差学习神经网络模型获取的较为准确的视差信息图像和原始2D图像作为第三级残差学习神经网络的输入样本，将预处理后的训练样本输入第三级残差学习神经网络，并利用较为准确的视差信息图像对第三级残差学习神经网络参数进行拟合，得到第三级残差学习神经网络模型，第三级残差学习神经网络模型可以从原始2D图像及第二级残差学习神经网络模型的结果提取到相较于第二级残差学习神经网络模型更为合理的视差信息图像。将第三级残差学习神经网络模型获取的更为合理的视差信息图像和原始2D图像作为第四级残差学习神经网络的输入样本，将预处理后的训练样本输入第四级残差学习神经网络，并利用更为合理的视差信息图像对第四级残差学习神经网络参数进行拟合，得到第四级残差学习神经网络模型，第四级残差学习神经网络模型可以从原始2D图像及第三级残差学习神经网络模型的结果提取到相对专业级别的深度信息图像。由于残差学习神经网络级别越多，耗费的计算资源和时间也就越长，因此，本发明以残差学习神经网络达到四级为最优作为初始视差信息提取模型的网络层级限定，在提升深度信息图像获取质量时，同时也降低了资源损耗和时间损耗。
进一步的, 所述图像样本数据包括2D图像；
所述对所述图像样本数据进行预处理，包括：
通过对所述2D图像进行缩放；
对缩放后的2D图像提取像素均值，将所述缩放后的2D图像进行减均值操作；
将所述2D图像中像素值归一化为统一分布，其中，所述减均值操作为每个像素点的值减去提取的像素均值。
进一步的,得到第二预估3D医学图像，包括：
基于所述深度估计图像构建3 D模型生成第二预估3D医学图像。
进一步的,在获取待处理2D图像之前，还包括：
获取图像样本数据中每一个2D图像对应的RGB图像、与所述RGB图像对应的深度图像；
将所述RGB图像、与所述RGB图像对应的深度图像划分为样本训练集和样本测试集；
构建初始深度信息处理模型；
利用所述样本训练集对所述初始深度信息处理模型进行训练，并利用样本测试集对训练后的初始深度信息处理模型进行验证，得到最终的深度信息处理模型。
在较佳的实施例中，图像样本数据中每一个2D图像对应的RGB图像、与所述RGB图像对应的深度图像；其中，RGB图像指具有三个彩色通道的真彩图像，深度图像(depthimage)也被称为距离影像(range image)，是指将从图像采集器到场景中各点的距离作为像素值的图像，它直接反映了景物可见表面的几何形状。深度图像经过坐标转换可以计算为点云数据，有规则及必要信息的点云数据也可以反算为深度图像数据。
利用样本训练集结合迁移学习法对初始深度信息处理模型进行训练，并利用样本测试集对训练后的初始深度信息处理模型进行验证，以获取最终的深度信息处理模型，其中，一般获取至少几千个2D图像对应的RGB图像、与所述RGB图像对应的深度图像所组成的样本训练集。 本实施例采用迁移学习训练的方法可以快速的训练好模型，同时提升模型效果。其中，在获取样本训练集时，可以通过图像增强的方法对训练集中的图像进行扩展，以增加训练集中的图像，例如对训练样本集中的图像进行缩放、旋转、翻转和改变亮度以扩展该训练样本集，这样使得训练好的模型鲁棒性更好，且检测结果更加精确，或者采用自注意力机制对样本训练集进行数据清洗，以提升样本训练集质量。
本发明分别通过视差信息提取模型、深度估计神经网络模型将待处理2D医学图像转化成两个预估3D医学图像，然后利用深度信息处理模型分别对两个预估3D医学图像进行处理，得到两个3D医学图像深度信息；之后，根据预设图像深度信息权重，结合两个3D医学图像深度信息进行计算，得到最终的3D医学图像的深度信息，基于最终的3D医学图像的深度信息、待处理2D图像重建3D医学图像。本发明通过上述方式能够优化3D医学图像的深度信息，提升3D医学图像的重建效果，为医学诊断提供更精确的数据支持。
图2为本说明书实施例提供的3D医学图像的深度信息处理装置的结构示意图，包括：
第一预估3D医学图像获取模块201，用于获取待处理2D图像，将所述待处理2D图像输入视差信息提取模型，并利用所述视差信息提取模型中的初始视差信息提取模型基于所述待处理2D图像进行逐级提取，得到视差信息图像，基于待处理2D图像、视差信息图像构建第一预估3D医学图像；
第二预估3D医学图像获取模块202，用于在所述待处理2D图像周围选取多个候选图像，对所述候选图像进行边缘处理，利用图像拼接将边缘处理后的候选图像与所述待处理2D图像进行合并处理，得到第二预估3D医学图像；
医学图像处理模块203，用于将所述第一预估3D医学图像、所述第二预估3D医学图像分别输入深度信息处理模型，得到第一3D医学图像深度信息、第二3D医学图像深度信息；
医学图像深度信息计算模块204，用于根据预设图像深度信息权重，结合所述第一3D医学图像深度信息、所述第二3D医学图像深度信息进行计算，得到第三3D医学图像的深度信息；
3D医学图像构建模块205，基于第三3D医学图像的深度信息、所述待处理2D图像重建3D医学图像。
进一步的，在获取待处理2D图像之前，包括：
数据预处理模块，用于收集图像样本数据，对所述图像样本数据进行预处理；
神经网络构建模块，用于构建初始视差信息提取模型；
神经网络训练模块，用于利用预处理后的图像样本数据对所述初始视差信息提取模型进行训练，得到视差信息提取模型，所述初始视差信息提取模型包括至少一个残差学习神经网络，将所述至少一个残差学习神经网络分为多个级别，第一级残差学习神经网络的输入为减均值操作后2D图像，除第一级残差学习神经网络以外各级残差学习神经网络的输入均包含前一级残差学习神经网络的输出结果和所述减均值操作后2D图像。
进一步的，所述第一预估3D医学图像获取模块201，包括：
视差信息图像获取单元，用于利用所述视差信息提取模型对所述待处理2D图像进行逐级提取，得到视差信息图像。
进一步的，所述图像样本数据包括2D图像；
所述数据预处理模块，包括：
图像缩放单元，用于通过对所述2D图像进行缩放；
像素均值提取单元，用于对缩放后的2D图像提取像素均值，将所述缩放后的2D图像进行减均值操作；
归一化单元，用于将所述2D图像中像素值归一化为统一分布。
进一步的，所述第二预估3D医学图像获取模块202，包括：
图像范围确定单元，用于确定所述待处理2D图像的范围；
环境图像获取单元，用于获取所述待处理2D图像的范围外的图像以得到环境图像；
图像划分单元，用于对所述环境图像进行划分以得到多个区域图像；
图像筛选单元，用于对多个所述区域图像进行筛选，得到多个候选图像。
进一步的，所述第二预估3D医学图像获取模块202，还包括：
阈值处理单元，用于利用sobel算子计算所述候选图像的图像梯度，并进行阈值处理。
进一步的，所述第二预估3D医学图像获取模块202，还包括：
图像配准处理单元，用于采用SURF算法将所述候选图像与所述待处理2D图像进行配准处理；
图像融合单元，用于对配准处理后的所述候选图像与所述待处理2D图像进行图像融合，得到合并图像；
平滑处理单元，用于对所述合并图像进行平滑处理，得到平滑图像；
图像深度处理单元，用于对所述平滑图像进行图像深度处理。
进一步的，所述图像深度处理单元，包括：
深度信息获取子单元，用于获取所述平滑图像的深度信息；
模型构建子单元，用于基于所述深度信息建立图像深度估计神经网络模型；
深度估计图像获取单元，用于将所述平滑图像输入所述图像深度估计神经网络模型以得到深度估计图像。
进一步的，所述第二预估3D医学图像获取模块202，还包括：
3 D模型构建单元，用于基于所述深度估计图像构建3 D模型生成第二预估3D医学图像。
进一步的，在获取待处理2D图像之前，还包括：
数据获取模块，用于获取图像样本数据中每一个2D图像对应的RGB图像、与所述RGB图像对应的深度图像；
数据划分模块，用于将所述RGB图像、与所述RGB图像对应的深度图像划分为样本训练集和样本测试集；
初始深度信息处理模型构建模块，用于构建初始深度信息处理模型；
深度信息处理模型获取模
块，用于利用所述样本训练集对所述初始深度信息处理模型进行训练，并利用样本测试集对训练后的初始深度信息处理模型进行验证，得到最终的深度信息处理模型。
基于同一发明构思，本说明书实施例还提供一种电子设备。
下面描述本发明的电子设备实施例，该电子设备可以视为对于上述本发明的方法和装置实施例的具体实体实施方式。对于本发明电子设备实施例中描述的细节，应视为对于上述方法或装置实施例的补充；对于在本发明电子设备实施例中未披露的细节，可以参照上述方法或装置实施例来实现。
参照图3为本说明书实施例提供的一种电子设备的结构示意图。下面参照图3来描述根据本发明该实施例的电子设备300。图3显示的电子设备300仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图3所示，电子设备300以通用计算设备的形式表现。电子设备300的组件可以包括但不限于：至少一个处理单元310、至少一个存储单元320、连接不同装置组件（包括存储单元320和处理单元310）的总线330、显示单元340等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元310执行，使得所述处理单元310执行本说明书上述处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元310可以执行如图1所示的步骤。
所述存储单元320可以包括易失性存储单元形式的可读介质，例如随机存取存储单元（RAM）3201和/或高速缓存存储单元3202，还可以进一步包括只读存储单元（ROM）3203。
所述存储单元320还可以包括具有一组（至少一个）程序模块3205的程序/实用工具3204，这样的程序模块3205包括但不限于：操作装置、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线330可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备300也可以与一个或多个外部设备400（例如键盘、指向设备、蓝牙设备等）通信，还可与一个或者多个使得用户能与该电子设备300交互的设备通信，和/或与使得该电子设备300能与一个或多个其它计算设备进行通信的任何设备（例如路由器、调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口350进行。并且，电子设备300还可以通过网络适配器360与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。网络适配器360可以通过总线330与电子设备300的其它模块通信。应当明白，尽管图3中未示出，可以结合电子设备300使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID装置、磁带驱动器以及数据备份存储装置等。
通过以上的实施方式的描述，本领域的技术人员易于理解，本发明描述的示例性实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个计算机可读的存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、或者网络设备等）执行根据本发明的上述方法。当所述计算机程序被一个数据处理设备执行时，使得该计算机可读介质能够实现本发明的上述方法，即：如图1所示的方法。
参照图4为本说明书实施例提供的一种计算机可读介质的原理示意图。
实现图1所示方法的计算机程序可以存储于一个或多个计算机可读介质上。计算机可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的装置、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网（LAN）或广域网（WAN），连接到用户计算设备，或者，可以连接到外部计算设备（例如利用因特网服务提供商来通过因特网连接）。
综上所述，本发明可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）等通用数据处理设备来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，本发明不与任何特定计算机、虚拟装置或者电子设备固有相关，各种通用装置也可以实现本发明。以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (13)
1.3D医学图像的深度信息处理方法，包括：
获取待处理2D图像，将所述待处理2D图像输入视差信息提取模型，得到视差信息图像，基于待处理2D图像、视差信息图像构建第一预估3D医学图像；
在所述待处理2D图像周围选取多个候选图像，对所述候选图像进行边缘处理，利用图像拼接将边缘处理后的候选图像与所述待处理2D图像进行合并处理，得到第二预估3D医学图像；
将所述第一预估3D医学图像、所述第二预估3D医学图像分别输入深度信息处理模型，得到第一3D医学图像深度信息、第二3D医学图像深度信息；
根据预设图像深度信息权重，结合所述第一3D医学图像深度信息、所述第二3D医学图像深度信息进行计算，得到第三3D医学图像的深度信息；
基于第三3D医学图像的深度信息、所述待处理2D图像重建3D医学图像。
2.如权利要求1所述的3D医学图像的深度信息处理方法，其特征在于,在获取待处理2D图像之前，包括：
收集图像样本数据，对所述图像样本数据进行预处理；
构建初始视差信息提取模型；
利用预处理后的图像样本数据对所述初始视差信息提取模型进行训练，得到视差信息提取模型，所述初始视差信息提取模型包括至少一个残差学习神经网络，将所述至少一个残差学习神经网络分为多个级别，第一级残差学习神经网络的输入为减均值操作后2D图像，除第一级残差学习神经网络以外各级残差学习神经网络的输入均包含前一级残差学习神经网络的输出结果和所述减均值操作后2D图像。
3.如权利要求1所述的3D医学图像的深度信息处理方法，其特征在于,所述得到视差信息图像，包括：
利用所述视差信息提取模型对所述待处理2D图像进行逐级提取，得到视差信息图像。
4.如权利要求2所述的3D医学图像的深度信息处理方法，其特征在于, 所述图像样本数据包括2D图像；
所述对所述图像样本数据进行预处理，包括：
通过对所述2D图像进行缩放；
对缩放后的2D图像提取像素均值，将所述缩放后的2D图像进行减均值操作；
将所述2D图像中像素值归一化为统一分布。
5.如权利要求1所述的3D医学图像的深度信息处理方法，其特征在于,所述在所述待处理2D图像周围选取多个候选图像，包括：
确定所述待处理2D图像的范围；
获取所述待处理2D图像的范围外的图像以得到环境图像；
对所述环境图像进行划分以得到多个区域图像；
对多个所述区域图像进行筛选，得到多个候选图像。
6.如权利要求1所述的3D医学图像的深度信息处理方法，其特征在于, 所述对所述候选图像进行边缘处理，包括：
利用sobel算子计算所述候选图像的图像梯度，并进行阈值处理。
7.如权利要求1所述的3D医学图像的深度信息处理方法，其特征在于, 所述利用图像拼接将边缘处理后的候选图像与所述待处理2D图像进行合并处理，包括：
采用SURF算法将所述候选图像与所述待处理2D图像进行配准处理；
对配准处理后的所述候选图像与所述待处理2D图像进行图像融合，得到合并图像；
对所述合并图像进行平滑处理，得到平滑图像；
对所述平滑图像进行图像深度处理。
8.如权利要求7所述的3D医学图像的深度信息处理方法，其特征在于, 所述对所述平滑图像进行图像深度处理，包括：
获取所述平滑图像的深度信息；
基于所述深度信息建立图像深度估计神经网络模型；
将所述平滑图像输入所述图像深度估计神经网络模型以得到深度估计图像。
9.如权利要求8所述的3D医学图像的深度信息处理方法，其特征在于,所述得到第二预估3D医学图像，包括：
基于所述深度估计图像构建3 D模型生成第二预估3D医学图像。
10.如权利要求2所述的3D医学图像的深度信息处理方法，其特征在于, 在获取待处理2D图像之前，还包括：
获取图像样本数据中每一个2D图像对应的RGB图像、与所述RGB图像对应的深度图像；
将所述RGB图像、与所述RGB图像对应的深度图像划分为样本训练集和样本测试集；
构建初始深度信息处理模型；
利用所述样本训练集对所述初始深度信息处理模型进行训练，并利用样本测试集对训练后的初始深度信息处理模型进行验证，得到最终的深度信息处理模型。
11.3D医学图像的深度信息处理装置，其基于权利要求1-10中任一项所述的3D医学图像的深度信息处理方法实现，其特征在于,包括：
第一预估3D医学图像获取模块，用于获取待处理2D图像，将所述待处理2D图像输入视差信息提取模型，并利用所述视差信息提取模型中的初始视差信息提取模型基于所述待处理2D图像进行逐级提取，得到视差信息图像，基于待处理2D图像、视差信息图像构建第一预估3D医学图像；
第二预估3D医学图像获取模块，用于在所述待处理2D图像周围选取多个候选图像，对所述候选图像进行边缘处理，利用图像拼接将边缘处理后的候选图像与所述待处理2D图像进行合并处理，得到第二预估3D医学图像；
医学图像处理模块，用于将所述第一预估3D医学图像、所述第二预估3D医学图像分别输入深度信息处理模型，得到第一3D医学图像深度信息、第二3D医学图像深度信息；
医学图像深度信息计算模块，用于根据预设图像深度信息权重，结合所述第一3D医学图像深度信息、所述第二3D医学图像深度信息进行计算，得到第三3D医学图像的深度信息；
3D医学图像构建模块，基于第三3D医学图像的深度信息、所述待处理2D图像重建3D医学图像。
12.一种电子设备，其中，该电子设备包括：
处理器以及存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据权利要求1-10中任一项所述的方法。
13.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个指令，所述一个或多个指令当被处理器执行时，实现权利要求1-10中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310973959.2A CN116721143B (zh) | 2023-08-04 | 2023-08-04 | 3d医学图像的深度信息处理装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310973959.2A CN116721143B (zh) | 2023-08-04 | 2023-08-04 | 3d医学图像的深度信息处理装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116721143A true CN116721143A (zh) | 2023-09-08 |
| CN116721143B CN116721143B (zh) | 2023-10-20 |
Family
ID=87871864
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310973959.2A Active CN116721143B (zh) | 2023-08-04 | 2023-08-04 | 3d医学图像的深度信息处理装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116721143B (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101682794A (zh) * | 2007-05-11 | 2010-03-24 | 皇家飞利浦电子股份有限公司 | 用于处理深度相关信息的方法、装置和系统 |
| US20130083162A1 (en) * | 2011-09-30 | 2013-04-04 | Novatek Microelectronics Corp. | Depth fusion method and apparatus using the same |
| CN107578435A (zh) * | 2017-09-11 | 2018-01-12 | 清华-伯克利深圳学院筹备办公室 | 一种图像深度预测方法及装置 |
| CN107833253A (zh) * | 2017-09-22 | 2018-03-23 | 北京航空航天大学青岛研究院 | 一种面向rgbd三维重建纹理生成的相机姿态优化方法 |
| CN108648221A (zh) * | 2018-05-10 | 2018-10-12 | 重庆大学 | 一种基于混合滤波的深度图空洞修复方法 |
| CN108921942A (zh) * | 2018-07-11 | 2018-11-30 | 北京聚力维度科技有限公司 | 对图像进行2d转制3d的方法及装置 |
| US10682108B1 (en) * | 2019-07-16 | 2020-06-16 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for three-dimensional (3D) reconstruction of colonoscopic surfaces for determining missing regions |
| KR20200080970A (ko) * | 2018-12-27 | 2020-07-07 | 포항공과대학교 산학협력단 | 이차원 의미론적 분할 정보의 점진적인 혼합을 통한 삼차원 복원 모델의 의미론적 분할 방법 |
| CN111612831A (zh) * | 2020-05-22 | 2020-09-01 | 创新奇智(北京)科技有限公司 | 一种深度估计方法、装置、电子设备及存储介质 |
| US20210074012A1 (en) * | 2018-02-23 | 2021-03-11 | Tsinghua University | Dynamic scene three-dimensional reconstruction method, apparatus and system, server, and medium |
| CN112734915A (zh) * | 2021-01-19 | 2021-04-30 | 北京工业大学 | 一种基于深度学习的多视角立体视觉三维场景重建方法 |
| CN114556422A (zh) * | 2019-10-14 | 2022-05-27 | 谷歌有限责任公司 | 来自双相机与双像素的联合深度预测 |
| CN115345897A (zh) * | 2022-07-19 | 2022-11-15 | 土豆数据科技集团有限公司 | 三维重建的深度图优化方法及装置 |
| CN115867940A (zh) * | 2020-06-23 | 2023-03-28 | 丰田自动车株式会社 | 从3d边界框的单眼深度监督 |
| CN116129534A (zh) * | 2022-09-07 | 2023-05-16 | 支付宝(杭州)信息技术有限公司 | 一种图像活体检测方法、装置、存储介质及电子设备 |
-
2023
- 2023-08-04 CN CN202310973959.2A patent/CN116721143B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101682794A (zh) * | 2007-05-11 | 2010-03-24 | 皇家飞利浦电子股份有限公司 | 用于处理深度相关信息的方法、装置和系统 |
| US20130083162A1 (en) * | 2011-09-30 | 2013-04-04 | Novatek Microelectronics Corp. | Depth fusion method and apparatus using the same |
| CN107578435A (zh) * | 2017-09-11 | 2018-01-12 | 清华-伯克利深圳学院筹备办公室 | 一种图像深度预测方法及装置 |
| CN107833253A (zh) * | 2017-09-22 | 2018-03-23 | 北京航空航天大学青岛研究院 | 一种面向rgbd三维重建纹理生成的相机姿态优化方法 |
| US20210074012A1 (en) * | 2018-02-23 | 2021-03-11 | Tsinghua University | Dynamic scene three-dimensional reconstruction method, apparatus and system, server, and medium |
| CN108648221A (zh) * | 2018-05-10 | 2018-10-12 | 重庆大学 | 一种基于混合滤波的深度图空洞修复方法 |
| CN108921942A (zh) * | 2018-07-11 | 2018-11-30 | 北京聚力维度科技有限公司 | 对图像进行2d转制3d的方法及装置 |
| KR20200080970A (ko) * | 2018-12-27 | 2020-07-07 | 포항공과대학교 산학협력단 | 이차원 의미론적 분할 정보의 점진적인 혼합을 통한 삼차원 복원 모델의 의미론적 분할 방법 |
| US10682108B1 (en) * | 2019-07-16 | 2020-06-16 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for three-dimensional (3D) reconstruction of colonoscopic surfaces for determining missing regions |
| CN114556422A (zh) * | 2019-10-14 | 2022-05-27 | 谷歌有限责任公司 | 来自双相机与双像素的联合深度预测 |
| CN111612831A (zh) * | 2020-05-22 | 2020-09-01 | 创新奇智(北京)科技有限公司 | 一种深度估计方法、装置、电子设备及存储介质 |
| CN115867940A (zh) * | 2020-06-23 | 2023-03-28 | 丰田自动车株式会社 | 从3d边界框的单眼深度监督 |
| CN112734915A (zh) * | 2021-01-19 | 2021-04-30 | 北京工业大学 | 一种基于深度学习的多视角立体视觉三维场景重建方法 |
| CN115345897A (zh) * | 2022-07-19 | 2022-11-15 | 土豆数据科技集团有限公司 | 三维重建的深度图优化方法及装置 |
| CN116129534A (zh) * | 2022-09-07 | 2023-05-16 | 支付宝(杭州)信息技术有限公司 | 一种图像活体检测方法、装置、存储介质及电子设备 |
Non-Patent Citations (4)
| Title |
|---|
| CHI-HAN PENG 等: "High-Resolution Depth Estimation for 360 Panoramas through Perspective and Panoramic Depth Images Registration", 《2023 IEEE/CVF WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION》, pages 3116 - 3125 * |
| RUYU LIU 等: "Cross-modal 360 depth completion and reconstruction for large-scale indoor environment", 《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》, vol. 23, no. 12, pages 25180 - 25190, XP011929694, DOI: 10.1109/TITS.2022.3155925 * |
| 李健;杨苏;刘富强;何斌;: "RGBD融合明暗恢复形状的全视角三维重建技术研究", 《数据采集与处理》, vol. 35, no. 01, pages 53 - 64 * |
| 王高飞 等: "基于摄像机跟踪和深度信息的三维合成", 《电视技术》, vol. 39, no. 02, pages 44 - 46 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116721143B (zh) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111127466B (zh) | 医学图像检测方法、装置、设备及存储介质 | |
| Bui et al. | Single image dehazing using color ellipsoid prior | |
| CN110705583B (zh) | 细胞检测模型训练方法、装置、计算机设备及存储介质 | |
| US20190102878A1 (en) | Method and apparatus for analyzing medical image | |
| CN107665736B (zh) | 用于生成信息的方法和装置 | |
| KR20210002606A (ko) | 의료 영상 처리 방법 및 장치, 전자 기기 및 저장 매체 | |
| CN112435341B (zh) | 三维重建网络的训练方法及装置、三维重建方法及装置 | |
| CN110176010B (zh) | 一种图像检测方法、装置、设备及存储介质 | |
| CN109741312A (zh) | 一种肺结节鉴别方法、装置、设备及介质 | |
| CN111798424B (zh) | 一种基于医学图像的结节检测方法、装置及电子设备 | |
| CN110728673A (zh) | 一种目标部位分析方法、装置、计算机设备及存储介质 | |
| CN111161268B (zh) | 图像处理方法、装置、电子设备及计算机存储介质 | |
| CN109671055B (zh) | 肺结节检测方法及装置 | |
| CN112949654A (zh) | 图像检测方法及相关装置、设备 | |
| WO2021184195A1 (zh) | 医学图像重建方法、医学图像重建网络训练方法和装置 | |
| CN113888566B (zh) | 目标轮廓曲线确定方法、装置、电子设备以及存储介质 | |
| US20080075345A1 (en) | Method and System For Lymph Node Segmentation In Computed Tomography Images | |
| CN111325675A (zh) | 图像处理方法、装置、设备和存储介质 | |
| CN115601299A (zh) | 基于图像的肝硬化状态智能评估系统及其方法 | |
| CN115100494A (zh) | 一种病灶图像的识别方法、装置、设备及可读存储介质 | |
| JP2018185265A (ja) | 情報処理装置、制御方法、及びプログラム | |
| WO2020087434A1 (zh) | 一种人脸图像清晰度评价方法及装置 | |
| CN113850796A (zh) | 基于ct数据的肺部疾病识别方法及装置、介质和电子设备 | |
| CN116721143B (zh) | 3d医学图像的深度信息处理装置及方法 | |
| EP4167184A1 (en) | Systems and methods for plaque identification, plaque composition analysis, and plaque stability detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |