CN115082616B - 一种基于深度学习的超声图像生成3d点云模型的方法 - Google Patents

一种基于深度学习的超声图像生成3d点云模型的方法 Download PDF

Info

Publication number
CN115082616B
CN115082616B CN202210539968.6A CN202210539968A CN115082616B CN 115082616 B CN115082616 B CN 115082616B CN 202210539968 A CN202210539968 A CN 202210539968A CN 115082616 B CN115082616 B CN 115082616B
Authority
CN
China
Prior art keywords
point cloud
cloud model
generating
projection
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210539968.6A
Other languages
English (en)
Other versions
CN115082616A (zh
Inventor
石宇
陈芸
刘俐
吴雅林
孔凤贝
吴国儒
闫林杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Hospital
Original Assignee
Peking University Shenzhen Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Hospital filed Critical Peking University Shenzhen Hospital
Priority to CN202210539968.6A priority Critical patent/CN115082616B/zh
Publication of CN115082616A publication Critical patent/CN115082616A/zh
Application granted granted Critical
Publication of CN115082616B publication Critical patent/CN115082616B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Abstract

本发明公开了一种基于深度学习的超声图像生成3D点云模型的方法，该方法通过以下步骤实现：将采集到的通信文件传输到计算机上，并通过还原像素进行解析，生成二维码数据；将所述二维码数据通过2D卷积运算在预定的视角生成2D投影；将所述2D投影生成密集的预测点云模型，并使用CAD建模生成真实点云模型；所述预测点云模型利用伪渲染计算出N个新视角下生成的像素化图像；计算每个新视角下所述伪渲染生成的图像和所述真实点云模型在相应同一视角下的2D投影图像之间的损失值，并求每个所述损失值的总和，根据所述总和进行反向传播优化。本发明方法有效的实现了基于2D超声图像向3D点云转换，为医护工作者提供辅助决策便利的一种工具。

Description

一种基于深度学习的超声图像生成3D点云模型的方法
技术领域
本发明属于3D点云模型技术领域，具体涉及一种基于深度学习的超声图像生成3D点云模型的方法。
背景技术
传统的三维建模方法是使用3D卷积运算的深度网络学习体积预测，预测了大量无用数据，这样不仅导致了在计算和内存方面都极为浪费，而且还严重限制了3D体积形状的粒度，因为只有表面上的信息丰富，超声图像想要得到更精确丰富的图像还需要运用更有效地方法；因此，研发一种新的三维建模方法的方法是现阶段研发人员主要攻克的主题之一。
发明内容
有鉴于此，本发明的目的是提供一种基于深度学习的超声图像生成3D点云模型的方法，解决了现有技术所得到的点云密度不佳、精准度不佳的问题。
为达到上述目的，本发明的技术方案是这样实现的：一种基于深度学习的超声图像生成3D点云模型的方法，该方法通过以下步骤实现：
S1、将采集到的通信文件传输到计算机上，并通过还原像素进行解析，生成二维码数据；
S2、将所述二维码数据通过2D卷积运算在预定的视角生成2D投影；
S3、将所述2D投影生成密集的预测点云模型，并使用CAD建模生成真实点云模型；
S4、所述预测点云模型利用伪渲染计算出N个新视角下生成的像素化图像；
S5、计算每个新视角下所述伪渲染生成的图像和所述真实点云模型在相应同一视角下的2D投影图像之间的损失值，并求每个所述损失值的总和，根据所述总和进行反向传播优化。
优选地，所述S1中，所述通信文件为DICOM超声通信文件。
优选地，所述S2中，所述预定的视角至少为8个。
优选地，所述预定的视角为8～24个。
优选地，所述预定的视角为12个或20个；所述12个视角为立方体8个顶点和4个面的中心点位置看向中心；所述20个视角为正十二面体的20个顶点位置看向中心。
优选地，所述S2中，所述生成2D投影是指将三维空间投影到二维平面上。
优选地，所述S4中，所述N≥24。
优选地，所述S5中，所述损失值为N个新视角下的2D投影与CAD模型中选取相对应视角的2D投影之间的损失。
优选地，所述新视角为在所述3D点云模型生成后，随机在3D空间中对3D点云模型进行的2D投影，同时CAD模型也进行相同视角下的2D投影。
优选地，所述S5中，根据所述总和进行反向传播优化的具体方法为：计算预测值和真实值之间的距离；所述预测值是每个所述新视角下伪渲染生成的图像的像素值；所述真实值是所述真实点云模型在相应视角下的2D投影图像的像素值。
与现有技术相比，本发明利用2D卷积深度学习运算来预测生成3D模型的点云，从而生成更密集、更精确的形状，从而有效的实现了基于2D超声图像向3D点云转换，为医护工作者提供辅助决策便利的一种工具。
附图说明
图1为本发明实施例提供的一种基于深度学习的超声图像生成3D点云模型的方法的逻辑框图；
图2为本发明实施例提供的一种基于深度学习的超声图像生成3D点云模型的方法各步骤之间的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例和附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供了一种基于深度学习的超声图像生成3D点云模型的方法，如图1和图2所示，该方法通过以下步骤实现：
S1、将超声设备上采集到的DICOM超声通信文件传输到计算机上，并通过还原像素进行解析，生成二维码数据；
S2、将所述二维码数据通过2D卷积运算在至少8个(优选为8～24个)预定的视角生成2D投影；所述预定的视角为12个或20个；所述12个视角为立方体8个顶点和4个面的中心点位置看向中心；所述20个视角为正十二面体的20个顶点位置看向中心；所述生成2D投影是指将三维空间投影到二维平面上；
S3、将所述2D投影生成密集的预测点云模型，并使用CAD建模生成真实点云模型；
S4、所述预测点云模型利用伪渲染计算出N(N≥24)个新视角下生成的像素化图像；
S5、计算每个新视角下所述伪渲染生成的图像和所述真实点云模型在相应同一视角下的2D投影图像之间的损失值，并求每个所述损失值的总和，根据所述总和进行反向传播优化；
所述损失值为N个新视角下的2D投影与CAD模型中选取相对应视角的2D投影之间的损失；根据所述总和进行反向传播优化的具体方法为：计算预测值和真实值之间的距离；所述新视角为在所述3D点云模型生成后，随机在3D空间中对3D点云模型进行的2D投影，同时CAD模型也进行相同视角下的2D投影；所述预测值是每个所述新视角下伪渲染生成的图像的像素值；所述真实值是所述真实点云模型在相应视角下的2D投影图像的像素值。
采用上述方案后，利用2D卷积深度学习运算来预测生成3D模型的点云，从而生成更密集、更精确的形状，从而有效的实现了基于2D超声图像向3D点云转换，为医护工作者提供辅助决策便利的一种工具；具体为：1)本发明方法提倡使用2D卷积运算的深度网络能够生成密集的点云，从而在未细分的3D空间中塑造3D对象的表面；2)使用伪渲染能够从新的视点合成近似深度图像；并且进一步地利用伪渲染深度图像进行二维投影优化，学习生成密集的三维形状；3)本申请方法在单图像3D重建问题上的有效性，其在于点云融合和新角度的渲染生成，产生了差异以及几何意义，从而实现了从2D投影学习到3D点云的目的。
以下为具体实施例
将超声扫描设备采集的医学成像文件，解析为数据，建立对应的三维CAD模型，进一步建立数据集。将数据集用于上述附图结构之中进行深度网络的评估和训练；具体实施方式如下：
1)将2D超声图像作为输入，通过2D卷积的编码和解码来预测多个2D投影，此处的2D投影结构是N个视角的三维结构；
2)将每个视角处的三维结构转换为标准坐标来融合点云，将点云视为二维网格上的(x、y、z)多通道图像；
3)伪渲染器从新的视点合成深度图像，进一步用于联合2D投影优化；
4)优化后的上述结构，可以将新到来的2D超声图像预测出对应的点云模型。
其中，2D投影是在不同视角下看到的，标准坐标指的是统一的坐标系统
综上所述，本发明用2D卷积深度学习运算来预测生成3D模型的点云，从而生成更密集、更精确的形状，从而有效的实现了基于2D超声图像向3D点云转换，为医护工作者提供辅助决策便利的一种工具，进而为医学的进一步发展奠定了坚实的基础。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (7)

1.一种基于深度学习的超声图像生成3D点云模型的方法，其特征在于，该方法通过以下步骤实现：
S1、将采集到的通信文件传输到计算机上，并通过还原像素进行解析，生成二维码数据；
S2、将所述二维码数据通过2D卷积运算在预定的视角生成2D投影；所述预定的视角至少为8个；所述生成2D投影是指将三维空间投影到二维平面上
S3、将所述2D投影生成密集的预测点云模型，并使用CAD建模生成真实点云模型；
S4、所述预测点云模型利用伪渲染计算出N个新视角下生成的像素化图像；
S5、计算每个新视角下所述伪渲染生成的图像和所述真实点云模型在相应同一视角下的2D投影图像之间的损失值，并求每个所述损失值的总和，根据所述总和进行反向传播优化；所述损失值为N个新视角下的2D投影与CAD模型中选取相对应视角的2D投影之间的损失。
2.根据权利要求1所述的一种基于深度学习的超声图像生成3D点云模型的方法，其特征在于，所述S1中，所述通信文件为DICOM超声通信文件。
3.根据权利要求2所述的一种基于深度学习的超声图像生成3D点云模型的方法，其特征在于，所述预定的视角为8～24个。
4.根据权利要求3所述的一种基于深度学习的超声图像生成3D点云模型的方法，其特征在于，所述预定的视角为12个或20个；所述12个视角为立方体8个顶点和4个面的中心点位置看向中心；所述20个视角为正十二面体的20个顶点位置看向中心。
5.根据权利要求1所述的一种基于深度学习的超声图像生成3D点云模型的方法，其特征在于，所述S4中，所述N≥24。
6.根据权利要求1所述的一种基于深度学习的超声图像生成3D点云模型的方法，其特征在于，所述新视角为在所述3D点云模型生成后，随机在3D空间中对3D点云模型进行的2D投影，同时CAD模型也进行相同视角下的2D投影。
7.根据权利要求1所述的一种基于深度学习的超声图像生成3D点云模型的方法，其特征在于，所述S5中，根据所述总和进行反向传播优化的具体方法为：计算预测值和真实值之间的距离；所述预测值是每个所述新视角下伪渲染生成的图像的像素值；所述真实值是所述真实点云模型在相应视角下的2D投影图像的像素值。
CN202210539968.6A 2022-05-18 2022-05-18 一种基于深度学习的超声图像生成3d点云模型的方法 Active CN115082616B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210539968.6A CN115082616B (zh) 2022-05-18 2022-05-18 一种基于深度学习的超声图像生成3d点云模型的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210539968.6A CN115082616B (zh) 2022-05-18 2022-05-18 一种基于深度学习的超声图像生成3d点云模型的方法

Publications (2)

Publication Number Publication Date
CN115082616A CN115082616A (zh) 2022-09-20
CN115082616B true CN115082616B (zh) 2023-05-12

Family

ID=83248209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210539968.6A Active CN115082616B (zh) 2022-05-18 2022-05-18 一种基于深度学习的超声图像生成3d点云模型的方法

Country Status (1)

Country Link
CN (1) CN115082616B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794756A (zh) * 2014-01-20 2015-07-22 鸿富锦精密工业（深圳）有限公司 点云模型贴图系统及方法
CN109993825B (zh) * 2019-03-11 2023-06-20 北京工业大学 一种基于深度学习的三维重建方法
CN111695494A (zh) * 2020-06-10 2020-09-22 上海理工大学 一种基于多视角卷积池化的三维点云数据分类方法
CN112396703B (zh) * 2020-11-18 2024-01-12 北京工商大学 一种单图像三维点云模型重建方法
CN112800524A (zh) * 2021-02-05 2021-05-14 河北工业大学 一种基于深度学习的路面病害三维重建方法

Also Published As

Publication number Publication date
CN115082616A (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
US20190385355A1 (en) Three-dimensional representation by multi-scale voxel hashing
US20080246836A1 (en) System and method for processing video images for camera recreation
WO2008112806A2 (en) System and method for processing video images using point clouds
CN104754359A (zh) 一种二维自由视点视频的深度图编码失真预测方法
CN116310076A (zh) 基于神经辐射场的三维重建方法、装置、设备及存储介质
WO2023241097A1 (zh) 一种语义实例重建方法、装置、设备及介质
CN103414853A (zh) 支持多自由度运动的视频图像序列实时稳定装置与方法
CN115359173A (zh) 虚拟多视点视频生成方法、装置、电子设备和存储介质
CN115346000A (zh) 三维人体重建方法、装置、计算机可读介质及电子设备
CN115082616B (zh) 一种基于深度学习的超声图像生成3d点云模型的方法
CN109448135B (zh) 一种基于多源数据的三维模型修补的方法
CN112700548A (zh) 一种bim模型在可视化变电站中与视频信息的融合方法
CN117058334A (zh) 一种室内场景表面重建的方法、装置、设备及存储介质
CN116086306A (zh) 坝体的监测信息的生成方法、装置、设备及可读存储介质
Kim et al. Automated two-dimensional geometric model reconstruction from point cloud data for construction quality inspection and maintenance
JP2010237941A (ja) マスク画像生成装置、３次元物体モデル情報生成装置及びプログラム
CN112150628A (zh) Bim数据在gis平台中构建三维体数据模型的方法
Xu et al. Out-of-core surface reconstruction from large point sets for infrastructure inspection
CN111143959A (zh) 一种变电站三维设计中电缆沟接头自动建模方法及系统
CN115774896B (zh) 数据仿真方法、装置、设备以及存储介质
CN112767224B (zh) 一种图像处理方法及系统
EP4227904A2 (en) Method and apparatus for determining image depth information, electronic device, and media
CN113591369B (zh) 一种基于先验约束的单帧视图三维模型点云重建方法和存储设备
CN118071952A (zh) 三维模型生成方法、装置、电子设备及存储介质
US20240087231A1 (en) Method, apparatus, computer device and storage medium for three-dimensional reconstruction of indoor structure

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant