CN114863061A - 一种远程监护医学图像处理的三维重建方法及系统 - Google Patents

一种远程监护医学图像处理的三维重建方法及系统 Download PDF

Info

Publication number
CN114863061A
CN114863061A CN202210562999.3A CN202210562999A CN114863061A CN 114863061 A CN114863061 A CN 114863061A CN 202210562999 A CN202210562999 A CN 202210562999A CN 114863061 A CN114863061 A CN 114863061A
Authority
CN
China
Prior art keywords
point cloud
cloud data
data
point
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210562999.3A
Other languages
English (en)
Inventor
姜帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Weiying Zhejiang Medical Technology Co Ltd
Original Assignee
Zhongke Weiying Zhejiang Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Weiying Zhejiang Medical Technology Co Ltd filed Critical Zhongke Weiying Zhejiang Medical Technology Co Ltd
Priority to CN202210562999.3A priority Critical patent/CN114863061A/zh
Publication of CN114863061A publication Critical patent/CN114863061A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种远程监护医学图像处理的三维重建方法及系统，所述方法包括以下步骤：获取被监护者的深度图像和彩色图像数据，预处理得到点云数据；计算各点的法向量；获取全局数据立方体，计算预测点云数据和预测点云各点的法向量；基于ICP算法计算点云配准变换矩阵；采用TSDF算法将当前帧融合到全局数据立方体的体素中，计算下一个预测点云数据和预测点云各点法向量，逐帧获取点云数据，将新获取每一帧融合到全局数据立方体中，将所有帧都融合完成；提取全局点云数据，采用MC算法进行曲面重建。本发明对系统各个功能组成做算法改进设计，具有更低计算开销以及更高精度，实现对远程医疗监护的多用户实时性数据分析服务的应用。

Description

一种远程监护医学图像处理的三维重建方法及系统
技术领域
本发明涉及远程监护技术领域，具体而言，涉及一种远程监护医学图像处理的三维重建方法及系统。
背景技术
基于家庭的远程医疗监护渐已成为重要的医疗模式，远程医疗监护系统作为多用户、多平台、多场景的信息网络系统，对医学图像处理和数据分析的效率和实时性提出了非常高的要求。
然而，传统图像或影像包括监护录制的视频文件其中的对于医学诊判有价值的关键信息是很分散的，关键信息只是很零散的散布在整个视频文件中。视频文件的大部分内容是无医学价值信息，对医疗诊断没有实际用途，而且使得视频文件体量很大，医疗监护人员需要从视频文件里面提取关键信息串接在一起，才能重建出可供医学诊判的图像数据模型。比如，一个被监护人的体态骨架关节点有大大小小20多处，每处理一位被监护人的步态信息，医生就要花费至少30分钟，多的甚至要几个小时。而整个远程监护系统的被监护人多达数千甚至数万人，这样的耗时对于庞大的远程监护系统的多人同时监护，既无法实现被监护人体态图像数据的关键信息的准确获取，而且对被监护人数据信息分析的实时性效果也比较差。
为提高医学图像处理的效率，三维重建技术在医学图像数据的处理方面得到了应用，三维重建作为计算机视觉技术中最热门的研究方向之一，是对现实客观的物体场景在计算机中的数字化处理，进而在计算机中实现场景可视化，利用计算机建立表达被监护者在居家环境中的关键信息的三维体态图像模型，以此来满足医疗诊判的需要，通过计算机数模的自动构建避免医生人工处理图像数据的随机误差，并且缩短了图像数据模型的建模时间。三维重建技术的采用一定程度上提高了医学诊判的准确性和时效性。
但是目前，现有的远程医疗监护系统在多人监护应用场景仍然存在很多难关，如：众多的被监护人的图像数据信息量很大，系统网络负载过大，数据传输和数据处理分析仍然会有很大的延时；并且，现有的三维重建方法也存在一些瓶颈，如：对视频文件采样的精度不够，建立的数据模型产生变形、误差大，图像数据分析的质量差；构建的图像数据模型仍比较大，占用系统资源比较大，导致整个系统处理速率较慢。
发明内容
鉴于此，本发明的目的旨在对三维重建系统其中的各个功能组成设计改进算法，改进TSDF模型，将体素哈希技术用于三维数据的实时管理，在更新过程中加入体素哈希算法，改进ICP算法的采样方法及对应点匹配方法，使整套三维重建系统具有更低的计算开销以及更高的求解精度，以实现对远程医疗监护的多用户实时性数据分析服务的应用。
本发明在传统图像视频文件的基础上，把改进的三维重建技术更精准地应用于人体体态模型的重建，相对于传统医学影像更加立体、直观、清晰，全信息、多细节的展现被监护人的体态关节点结构和步态信息，便于医生更加精准地作出诊判，更好地提高远程监护的效率。
本发明提供一种远程监护医学图像处理的三维重建方法，包括以下步骤：
S1、通过Kinect(一种3D体感摄影机)获取深度图像(即距离影像，是指将图像采集器采集到的场景中各点的距离深度值作为像素值的图像，它直接反映了景物可见表面的几何形状，利用它可以很方便地解决3D目标描述中的许多问题)和彩色图像数据，并对深度图像进行预处理，得到点云数据；
S2、通过所述点云数据的各点坐标信息计算各点的法向量，用于之后点云配准过程中的对应点匹配；获取所述点云数据的全局数据立方体，利用光线投影算法结合初始的单位矩阵，计算得到全局数据立方体的预测点云数据和预测点云各点的法向量；
S3、基于ICP算法结合当前帧的点云数据、点云的法向量和当前帧获取的所述预测点云数据和预测点云各点的法向量，计算得到点云配准变换矩阵，并用所述点云配准变换矩阵更新初始的单位矩阵；
所述ICP算法包括：分别在待匹配的目标点云p和源点云q中，找到最邻近点(pi，qi)，然后计算出最优匹配参数R和t，使得误差函数最小，误差函数为E(R,t)的表达式为：
Figure BDA0003656938290000031
式(1)中n为最邻近点对的个数，pi为目标点云p中的一点，qi为源点云q中与pi对应的最近点，R为旋转矩阵，t为平移向量；
S4、根据所述点云配准变换矩阵采用TSDF算法将所述当前帧的点云数据融合到所述全局数据立方体的体素中，并通过光线投射算法结合所述点云配准变换矩阵计算出下一个预测点云数据和预测点云各点的法向量，用于与下一帧的点云数据进行配准，同时渲染出当前视角下全局数据立方体的表面，用于实时观察三维重建的情况；
实时观察三维重建的情况，便于依据三维重建的效果修改融合次数等相关参数，使三维重建的效果达到最优；
所述TSDF算法(基于截断的带符号距离函数)包括以下步骤：
S41、构建被监护者图像的体素的三维位置点；
S42、计算所述体素的TSDF值以及权重；
遍历所有的体素，由深度数据的相机位姿矩阵，求世界坐标系下一个体素的三维位置点p在相机坐标系下的映射点v，并由相机内参矩阵，反投影v点求深度图像中的对应像素点x，像素点x的深度值为value(x)，点v到相机坐标原点的距离为distance(v)；
所述三维位置点p的sdf值的表达式为：
sdf(p)＝value(x)-distance(v) (2)
计算TSDF值tsdf(p)：
在截断距离u以内，
Figure BDA0003656938290000041
否则，如果sdf(p)＞0，tsdf(p)＝1，sdf(p)＜0，tsdf(p)＝-1；
权重w(p)的计算公式为：
Figure BDA0003656938290000042
式(3)中θ为投影光线与表面法向量的夹角；
计算出这一帧的所有体素的tsdf值以及权重值；
S43、将下一帧的点云数据与当前帧的全局数据立方体的融合结果进行融合；
S5、重复执行步骤S42-S43，逐帧获取点云数据，将新获取的每一帧点云数据融合到全局数据立方体中，直到达到设定时间，停止获取点云数据，得到配准好的点云数据，直至所有帧的点云数据都融合完成；
S6、从全局数据立方体中提取出全局点云数据，由所述全局点云数据生成多边形网格，采用MC(Marching Cubes，移动立方体)算法对全局点云数据进行曲面重建，得到被监护者图像的三维模型；
MC算法的核心思想是在三维离散数据场中通过线性插值来逼近等值面，具体如下：将三维数据分割为多个体素，每个体素有8个顶点，每个顶点都有一标量值，需要根据体素顶点上标量值的大小对其进行标记，标记分为“O”和“1”，如果标量值大于等于等值面值，则标记为“O”，表示该顶点位于等值面外部；否则，则标记为“1”，表示该顶点位于等值面内部。由于体素有8个顶点，那么体素中等值面的位置共存在256种情形。
进一步地，所述S1步骤的所述对深度图像进行预处理的方法包括：采用双边滤波的去噪算法，分析深度图像中产生噪声的原因，比较中值滤波、高斯滤波、联合双边滤波和双边滤波的去噪效果，最终选用双边滤波；完成Kinect相机的标定，获得相机的参数，为点云的获取提供前提；将进行去噪后的深度图像通过相机内参矩阵得到点云数据，彩色图像用于之后生成模型纹理。
进一步地，所述S41步骤的所述构建被监护者图像的体素的三维位置点的方法包括以下步骤：
S411、建立包围盒，所述包围盒完全包围要重建的被监护者的图像轮廓；
S412、对所述包围盒划分n等分的体素，将整个空间的体素全部存入GPU运算，每个线程处理一条(x,y)，对于(x,y,z)的晶格坐标，每个GPU进程扫描处理一个(x,y)坐标下的晶格柱；
具体地，所述体素的大小取决于包围盒和划分体素的数目决定；
S413、对于建立的包围盒中的每个体素g，根据体素的大小，以及体素的数目，将g转化为世界坐标系下的三维位置点p。
进一步地，所述S43步骤的所述融合的方法包括：
设TSDF(p)为体素p的融合TSDF值，W(p)为融合权重值，tsdf(p)为体素p当前帧的TSDF值，w(p)为当前帧的权重值，通过tsdf(p)更新TSDF(p)，公式如下：
Figure BDA0003656938290000051
W(p)＝W(p)+w(p)
通过式(4)将新的帧融合进融合帧内。
进一步地，所述S6步骤的所述采用MC算法对全局点云数据进行曲面重建的方法包括：
S61、由点云数据获取体素的网格数据；
S62、在每个所述体素中使用插值法抽取等值面；
S63、通过将所述等值面三角化生成曲面网格，重构出被监护者图像的三维模型。
进一步地，所述S6步骤之后还包括：生成模型纹理，通过S6步骤获得的三维模型和之前获得的彩色图像得到具有彩色纹理的三维模型。
本发明还提供一种远程监护医学图像处理的三维重建系统，执行上述所述的远程监护医学图像处理的三维重建方法，包括：
获取点云数据模块：通过Kinect 3D体感摄影机获取被监护者的深度图像和彩色图像数据，并对深度图像进行预处理，得到点云数据；
计算点云配准变换矩阵模块：通过所述点云数据的各点坐标信息计算各点的法向量；基于ICP算法结合当前帧的点云数据、点云的法向量和当前帧获取的所述预测点云数据和预测点云各点的法向量，计算得到点云配准变换矩阵，并用所述点云配准变换矩阵更新初始的单位矩阵；
点云数据融合模块：根据点云配准变换矩阵将所述当前帧的点云数据融合到所述全局数据立方体的体素中，并通过光线投射算法结合所述点云配准变换矩阵计算出下一个预测点云数据和预测点云各点的法向量，用于与下一帧的点云数据进行配准，同时渲染出当前视角下全局数据立方体的表面，用于实时观察三维重建的情况；
曲面重建模块：用于从全局数据立方体中提取出全局点云数据，通过曲面重建算法重建被监护者的表面，由点云数据生成多边形网格，采用MC算法对点云数据进行曲面重建，得到被监护者图像的三维模型；
生成模型纹理模块：通过曲面重建获得的三维模型和之前获得的彩色图像得到具有彩色纹理的三维模型。
进一步地，所述点云数据融合模块包括：
逐帧融合子模块：用于逐帧获取点云数据，将新获取的每一帧点云数据融合到全局数据立方体中，直到达到设定时间，停止获取点云数据，得到配准好的点云数据，直至所有帧的点云数据都融合完成。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述所述的远程监护医学图像处理的三维重建方法，以及如上述所述的远程监护医学图像处理的三维重建系统。
本发明还提供一种计算机设备，所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的远程监护医学图像处理的三维重建方法，以及如上述所述的远程监护医学图像处理的三维重建系统。
与现有技术相比，本发明的有益效果在于：
本发明基于深度相机的实时稠密大尺度建模，将Kinect 3D重建作为基础，对三维重建系统其中的各个功能组成做出相应的算法设计，使整套三维重建系统具有了更高的精度以及更低的计算开销，能够实现对远程医疗监护的多用户实时性数据分析服务的应用。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。
在附图中：
图1为本发明一种远程监护医学图像处理的三维重建方法的流程图；
图2为本发明实施例计算机设备的构成示意图；
图3为本发明实施例TSDF算法(基于截断的带符号距离函数)的方法流程图；
图4为本发明实施例构建被监护者图像的体素的三维位置点的方法流程图；
图5为本发明实施例采用MC算法对全局点云数据进行曲面重建的方法流程图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和产品的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
下面结合附图对本发明实施例作进一步详细说明。
本发明实施例提供一种远程监护医学图像处理的三维重建方法，参见图1所示，包括如下步骤：
S1、通过Kinect(一种3D体感摄影机)获取深度图像(即距离影像，是指将图像采集器采集到的场景中各点的距离深度值作为像素值的图像，它直接反映了景物可见表面的几何形状，利用它可以很方便地解决3D目标描述中的许多问题)和彩色图像数据，并对深度图像进行预处理，得到点云数据；
S2、通过所述点云数据的各点坐标信息计算各点的法向量，用于之后点云配准过程中的对应点匹配；获取所述点云数据的全局数据立方体，利用光线投影算法结合初始的单位矩阵，计算得到全局数据立方体的预测点云数据和预测点云各点的法向量；
S3、基于ICP算法结合当前帧的点云数据、点云的法向量和当前帧获取的所述预测点云数据和预测点云各点的法向量，计算得到点云配准变换矩阵，并用所述点云配准变换矩阵更新初始的单位矩阵；
所述ICP算法包括：分别在待匹配的目标点云p和源点云q中，找到最邻近点(pi，qi)，然后计算出最优匹配参数R和t，使得误差函数最小，误差函数为E(R,t)的表达式为：
Figure BDA0003656938290000091
式(1)中n为最邻近点对的个数，pi为目标点云p中的一点，qi为源点云q中与pi对应的最近点，R为旋转矩阵，t为平移向量；
S4、根据所述点云配准变换矩阵采用TSDF算法将所述当前帧的点云数据融合到所述全局数据立方体的体素中，并通过光线投射算法结合所述点云配准变换矩阵计算出下一个预测点云数据和预测点云各点的法向量，用于与下一帧的点云数据进行配准，同时渲染出当前视角下全局数据立方体的表面，用于实时观察三维重建的情况；
实时观察三维重建的情况，便于依据三维重建的效果修改融合次数等相关参数，使三维重建的效果达到最优；
所述TSDF算法(基于截断的带符号距离函数)参见图3所示，包括以下步骤：
S41、构建被监护者图像的体素的三维位置点；
S42、计算所述体素的TSDF值以及权重；
遍历所有的体素，由深度数据的相机位姿矩阵，求世界坐标系下一个体素的三维位置点p在相机坐标系下的映射点v，并由相机内参矩阵，反投影v点求深度图像中的对应像素点x，像素点x的深度值为value(x)，点v到相机坐标原点的距离为distance(v)；
所述三维位置点p的sdf值的表达式为：
sdf(p)＝value(x)-distance(v) (2)
计算TSDF值tsdf(p)：在截断距离u以内，
Figure BDA0003656938290000101
否则，如果sdf(p)＞0，tsdf(p)＝1，sdf(p)＜0，tsdf(p)＝-1；
权重w(p)的计算公式为：
Figure BDA0003656938290000102
式(3)中θ为投影光线与表面法向量的夹角；
计算出这一帧的所有体素的tsdf值以及权重值；
S43、将下一帧的点云数据与当前帧的全局数据立方体的融合结果进行融合；
S5、重复执行步骤S42-S43，逐帧获取点云数据，将新获取的每一帧点云数据融合到全局数据立方体中，直到达到设定时间，停止获取点云数据，得到配准好的点云数据，直至所有帧的点云数据都融合完成；
S6、从全局数据立方体中提取出全局点云数据，由所述全局点云数据生成多边形网格，采用MC(Marching Cubes，移动立方体)算法对全局点云数据进行曲面重建，得到被监护者图像的三维模型；
MC算法的核心思想是在三维离散数据场中通过线性插值来逼近等值面，具体如下：将三维数据分割为多个体素，每个体素有8个顶点，每个顶点都有一标量值，需要根据体素顶点上标量值的大小对其进行标记，标记分为“O”和“1”，如果标量值大于等于等值面值，则标记为“O”，表示该顶点位于等值面外部；否则，则标记为“1”，表示该顶点位于等值面内部。由于体素有8个顶点，那么体素中等值面的位置共存在256种情形。
所述S1步骤的所述对深度图像进行预处理的方法包括：采用双边滤波的去噪算法，分析深度图像中产生噪声的原因，比较中值滤波、高斯滤波、联合双边滤波和双边滤波的去噪效果，最终选用双边滤波；完成Kinect相机的标定，获得相机的参数，为点云的获取提供前提；将进行去噪后的深度图像通过相机内参矩阵得到点云数据，彩色图像用于之后生成模型纹理。
所述S41步骤的所述构建被监护者图像的体素的三维位置点的方法，参见图4所示，包括以下步骤：
S411、建立包围盒，所述包围盒完全包围要重建的被监护者的图像轮廓；
优选地，所述包围盒为长方体包围盒；
S412、对所述包围盒划分n等分的体素，将整个空间的体素全部存入GPU运算，每个线程处理一条(x,y)，对于(x,y,z)的晶格坐标，每个GPU进程扫描处理一个(x,y)坐标下的晶格柱；
具体地，所述体素的大小取决于包围盒和划分体素的数目决定；
S413、对于建立的包围盒中的每个体素g，根据体素的大小，以及体素的数目，将g转化为世界坐标系下的三维位置点p。
所述S43步骤的所述融合的方法包括：
设TSDF(p)为体素p的融合TSDF值，W(p)为融合权重值，tsdf(p)为体素p当前帧的TSDF值，w(p)为当前帧的权重值，通过tsdf(p)更新TSDF(p)，公式如下：
Figure BDA0003656938290000111
W(p)＝W(p)+w(p)
通过式(4)将新的帧融合进融合帧内。
所述S6步骤的所述采用MC算法对全局点云数据进行曲面重建的方法，参见图5所示，包括：
S61、由点云数据获取体素的网格数据；
S62、在每个所述体素中使用插值法抽取等值面；
S63、通过将所述等值面三角化生成曲面网格，重构出被监护者图像的三维模型。
所述S6步骤之后还包括：生成模型纹理，通过S6步骤获得的三维模型和之前获得的彩色图像得到具有彩色纹理的三维模型。
本发明实施例还提供一种远程监护医学图像处理的三维重建系统，执行上述所述的远程监护医学图像处理的三维重建方法，包括：
获取点云数据模块：通过Kinect 3D体感摄影机获取被监护者的深度图像和彩色图像数据，并对深度图像进行预处理，得到点云数据；
计算点云配准变换矩阵模块：通过所述点云数据的各点坐标信息计算各点的法向量；基于ICP算法结合当前帧的点云数据、点云的法向量和当前帧获取的所述预测点云数据和预测点云各点的法向量，计算得到点云配准变换矩阵，并用所述点云配准变换矩阵更新初始的单位矩阵；
点云数据融合模块：根据点云配准变换矩阵将所述当前帧的点云数据融合到所述全局数据立方体的体素中，并通过光线投射算法结合所述点云配准变换矩阵计算出下一个预测点云数据和预测点云各点的法向量，用于与下一帧的点云数据进行配准，同时渲染出当前视角下全局数据立方体的表面，用于实时观察三维重建的情况；
所述点云数据融合模块包括：
逐帧融合子模块：用于逐帧获取点云数据，将新获取的每一帧点云数据融合到全局数据立方体中，直到达到设定时间，停止获取点云数据，得到配准好的点云数据，直至所有帧的点云数据都融合完成；
曲面重建模块：用于从全局数据立方体中提取出全局点云数据，通过曲面重建算法重建被监护者的表面，由点云数据生成多边形网格，采用MC算法对点云数据进行曲面重建，得到被监护者图像的三维模型；
生成模型纹理模块：通过曲面重建获得的三维模型和之前获得的彩色图像得到具有彩色纹理的三维模型。
本发明实施例基于深度相机的实时稠密大尺度建模，将Kinect 3D重建作为基础，对三维重建系统其中的各个功能组成做出相应的算法设计，使整套三维重建系统具有更高的精度和更低的计算开销，能够实现对远程医疗监护的多用户实时性数据分析服务的应用。
本发明实施例可在3分钟之内完成一位被监护人的立体高清图像数据模型，并进行数据分析，整理出初步诊判报告，对众多被监护人的远程监护系统已经具备应用的条件。
本发明实施例还提供一种计算机设备，图2是本发明实施例提供的一种计算机设备的结构示意图；参见附图图2所示，该计算机设备包括：输入装置23、输出装置24、存储器22和处理器21；所述存储器22，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器21执行，使得所述一个或多个处理器21实现如上述实施例提供的远程监护医学图像处理的三维重建方法；其中输入装置23、输出装置24、存储器22和处理器21可以通过总线或者其他方式连接，图2中以通过总线连接为例。
存储器22作为一种计算设备可读写存储介质，可用于存储软件程序、计算机可执行程序，如本发明实施例所述的远程监护医学图像处理的三维重建方法对应的程序指令；存储器22可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等；此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件；在一些实例中，存储器22可进一步包括相对于处理器21远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置23可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入；输出装置24可包括显示屏等显示设备。
处理器21通过运行存储在存储器22中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的远程监护医学图像处理的三维重建方法。
上述提供的计算机设备可用于执行上述实施例提供的远程监护医学图像处理的三维重建方法，具备相应的功能和有益效果。
本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上述实施例提供的远程监护医学图像处理的三维重建方法，存储介质是任何的各种类型的存储器设备或存储设备，存储介质包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDRRAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等；存储介质可以还包括其它类型的存储器或其组合；另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统；第二计算机系统可以提供程序指令给第一计算机用于执行。存储介质包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上实施例所述的远程监护医学图像处理的三维重建方法，还可以执行本发明任意实施例所提供的远程监护医学图像处理的三维重建方法中的相关操作。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种远程监护医学图像处理的三维重建方法，其特征在于，包括以下步骤：
S1、通过Kinect 3D体感摄影机获取被监护者的深度图像和彩色图像数据，并对深度图像进行预处理，得到点云数据；
S2、通过所述点云数据的各点坐标信息计算各点的法向量；获取所述点云数据的全局数据立方体，利用光线投影算法结合初始的单位矩阵，计算得到全局数据立方体的预测点云数据和预测点云各点的法向量；
S3、基于ICP算法结合当前帧的点云数据、点云的法向量和上一帧获取的所述预测点云数据和预测点云各点的法向量，计算得到点云配准变换矩阵，并用所述点云配准变换矩阵更新初始的单位矩阵；
所述ICP算法包括：分别在待匹配的目标点云p和源点云q中，找到最邻近点(pi，qi)，然后计算出最优匹配参数R和t，使得误差函数最小，误差函数为E(R,t)的表达式为：
Figure FDA0003656938280000011
式(1)中n为最邻近点对的个数，pi为目标点云p中的一点，qi为源点云q中与pi对应的最近点，R为旋转矩阵，t为平移向量；
S4、根据所述点云配准变换矩阵采用TSDF算法将所述当前帧的点云数据融合到所述全局数据立方体的体素中，并通过光线投射算法结合所述点云配准变换矩阵计算出下一个预测点云数据和预测点云各点的法向量，用于与下一帧的点云数据进行配准，同时渲染出当前视角下全局数据立方体的表面，用于实时观察三维重建的情况；
所述TSDF算法包括以下步骤：
S41、构建被监护者图像的体素的三维位置点；
S42、计算所述体素的TSDF值以及权重；
遍历所有的体素，由深度数据的相机位姿矩阵，求世界坐标系下一个体素的三维位置点p在相机坐标系下的映射点v，并由相机内参矩阵，反投影v点求深度图像中的对应像素点x，像素点x的深度值为value(x)，点v到相机坐标原点的距离为distance(v)；
所述三维位置点p的sdf值的表达式为：
sdf(p)＝value(x)-distance(v) (2)
计算TSDF值tsdf(p)：
在截断距离u以内，
Figure FDA0003656938280000021
否则，如果sdf(p)＞0，tsdf(p)＝1，sdf(p)＜0，tsdf(p)＝-1；
权重w(p)的计算公式为：
Figure FDA0003656938280000022
式(3)中θ为投影光线与表面法向量的夹角；
计算出这一帧的所有体素的tsdf值以及权重值；
S43、将下一帧的点云数据与当前帧的全局数据立方体的融合结果进行融合；
S5、重复执行步骤S42-S43，逐帧获取点云数据，将新获取的每一帧点云数据融合到全局数据立方体中，直到达到设定时间，停止获取点云数据，得到配准好的点云数据，直至所有帧的点云数据都融合完成；
S6、从全局数据立方体中提取出全局点云数据，由所述全局点云数据生成多边形网格，采用MC算法对全局点云数据进行曲面重建，得到被监护者图像的三维模型。
2.根据权利要求1所述的远程监护医学图像处理的三维重建方法，其特征在于，所述S1步骤的所述对深度图像进行预处理的方法包括：采用双边滤波的去噪算法；完成Kinect相机的标定，获得相机的参数，将进行去噪后的深度图像通过相机内参矩阵得到点云数据，彩色图像用于之后生成模型纹理。
3.根据权利要求1所述的远程监护医学图像处理的三维重建方法，其特征在于，所述S41步骤的所述构建被监护者图像的体素的三维位置点的方法包括以下步骤：
S411、建立包围盒，所述包围盒完全包围要重建的被监护者的图像轮廓；
S412、对所述包围盒划分n等分的体素，将整个空间的体素全部存入GPU运算，每个线程处理一条(x,y)，对于(x,y,z)的晶格坐标，每个GPU进程扫描处理一个(x,y)坐标下的晶格柱；
S413、对于建立的包围盒中的每个体素g，根据体素的大小，以及体素的数目，将g转化为世界坐标系下的三维位置点p。
4.根据权利要求1所述的远程监护医学图像处理的三维重建方法，其特征在于，所述S43步骤的所述融合的方法包括：
设TSDF(p)为体素p的融合TSDF值，W(p)为融合权重值，tsdf(p)为体素p当前帧的TSDF值，w(p)为当前帧的权重值，通过tsdf(p)更新TSDF(p)，公式如下：
Figure FDA0003656938280000031
W(p)＝W(p)+w(p)
通过式(4)将新的帧融合进融合帧内。
5.根据权利要求1所述的远程监护医学图像处理的三维重建方法，其特征在于，所述S6步骤的所述采用MC算法对全局点云数据进行曲面重建的方法包括：
S61、由点云数据获取体素的网格数据；
S62、在每个所述体素中使用插值法抽取等值面；
S63、通过将所述等值面三角化生成曲面网格，重构出被监护者图像的三维模型。
6.根据权利要求1所述的远程监护医学图像处理的三维重建方法，其特征在于，所述S6步骤之后还包括：生成模型纹理，通过S6步骤获得的三维模型和之前获得的彩色图像得到具有彩色纹理的三维模型。
7.一种远程监护医学图像处理的三维重建系统，其特征在于，执行权利要求1-6任一项所述的远程监护医学图像处理的三维重建方法，包括：
获取点云数据模块：通过Kinect 3D体感摄影机获取被监护者的深度图像和彩色图像数据，并对深度图像进行预处理，得到点云数据；
计算点云配准变换矩阵模块：通过所述点云数据的各点坐标信息计算各点的法向量；基于ICP算法结合当前帧的点云数据、点云的法向量和当前帧获取的所述预测点云数据和预测点云各点的法向量，计算得到点云配准变换矩阵，并用所述点云配准变换矩阵更新初始的单位矩阵；
点云数据融合模块：根据点云配准变换矩阵将所述当前帧的点云数据融合到所述全局数据立方体的体素中，并通过光线投射算法结合所述点云配准变换矩阵计算出下一个预测点云数据和预测点云各点的法向量，用于与下一帧的点云数据进行配准，同时渲染出当前视角下全局数据立方体的表面，用于实时观察三维重建的情况；
曲面重建模块：用于从全局数据立方体中提取出全局点云数据，通过曲面重建算法重建被监护者的表面，由点云数据生成多边形网格，采用MC算法对点云数据进行曲面重建，得到被监护者图像的三维模型；
生成模型纹理模块：通过曲面重建获得的三维模型和之前获得的彩色图像得到具有彩色纹理的三维模型。
8.根据权利要求7所述的远程监护医学图像处理的三维重建系统，其特征在于，所述点云数据融合模块包括：
逐帧融合子模块：用于逐帧获取点云数据，将新获取的每一帧点云数据融合到全局数据立方体中，直到达到设定时间，停止获取点云数据，得到配准好的点云数据，直至所有帧的点云数据都融合完成。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1-6任一项所述的远程监护医学图像处理的三维重建方法，以及权利要求7或8所述的远程监护医学图像处理的三维重建系统。
10.一种计算机设备，所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6任一项所述的远程监护医学图像处理的三维重建方法，以及权利要求7或8所述的远程监护医学图像处理的三维重建系统。
CN202210562999.3A 2022-05-23 2022-05-23 一种远程监护医学图像处理的三维重建方法及系统 Withdrawn CN114863061A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210562999.3A CN114863061A (zh) 2022-05-23 2022-05-23 一种远程监护医学图像处理的三维重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210562999.3A CN114863061A (zh) 2022-05-23 2022-05-23 一种远程监护医学图像处理的三维重建方法及系统

Publications (1)

Publication Number Publication Date
CN114863061A true CN114863061A (zh) 2022-08-05

Family

ID=82639621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210562999.3A Withdrawn CN114863061A (zh) 2022-05-23 2022-05-23 一种远程监护医学图像处理的三维重建方法及系统

Country Status (1)

Country Link
CN (1) CN114863061A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908708A (zh) * 2022-11-16 2023-04-04 南京农业大学 基于Kinect的植物群体全局三维重建方法
CN116437063A (zh) * 2023-06-15 2023-07-14 广州科伊斯数字技术有限公司 一种三维图像显示系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908708A (zh) * 2022-11-16 2023-04-04 南京农业大学 基于Kinect的植物群体全局三维重建方法
CN115908708B (zh) * 2022-11-16 2023-08-15 南京农业大学 基于Kinect的植物群体全局三维重建方法
CN116437063A (zh) * 2023-06-15 2023-07-14 广州科伊斯数字技术有限公司 一种三维图像显示系统及方法

Similar Documents

Publication Publication Date Title
CN106803267B (zh) 基于Kinect的室内场景三维重建方法
CN108898630B (zh) 一种三维重建方法、装置、设备和存储介质
CN111598998B (zh) 三维虚拟模型重建方法、装置、计算机设备和存储介质
CN108648269B (zh) 三维建筑物模型的单体化方法和系统
CN109461180B (zh) 一种基于深度学习的三维场景重建方法
CN109118582B (zh) 一种商品三维重建系统及重建方法
Zhang et al. Image engineering
WO2021093453A1 (zh) 三维表情基的生成方法、语音互动方法、装置及介质
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
CN105378796B (zh) 可伸缩体积3d重构
US7961934B2 (en) Probable reconstruction of surfaces in occluded regions by computed symmetry
JP2021507409A (ja) レイキャスティングおよびライブ深度を使用したオクルージョンレンダリングの方法
CN114863061A (zh) 一种远程监护医学图像处理的三维重建方法及系统
WO2018075053A1 (en) Object pose based on matching 2.5d depth information to 3d information
CN113421328B (zh) 一种三维人体虚拟化重建方法及装置
CN113628348A (zh) 一种确定三维场景中视点路径的方法及设备
CN111739167B (zh) 3d人头重建方法、装置、设备和介质
CN109448136B (zh) 一种基于感兴趣区域的虚拟场景浏览方法
CN114329747A (zh) 一种面向建筑数字孪生的虚实实体坐标映射方法及系统
CN116977522A (zh) 三维模型的渲染方法、装置、计算机设备和存储介质
CN114863038A (zh) 基于显式几何形变的实时动态自由视角合成方法及装置
WO2020208976A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN116822100B (zh) 一种数字孪生建模方法及其仿真试验系统
CN113989434A (zh) 一种人体三维重建方法及设备
WO2019148311A1 (zh) 信息处理方法和系统、云处理设备及计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20220805