CN111028328B - 基于Unity3D采集数据的模拟成像方法 - Google Patents

基于Unity3D采集数据的模拟成像方法 Download PDF

Info

Publication number
CN111028328B
CN111028328B CN201911303311.4A CN201911303311A CN111028328B CN 111028328 B CN111028328 B CN 111028328B CN 201911303311 A CN201911303311 A CN 201911303311A CN 111028328 B CN111028328 B CN 111028328B
Authority
CN
China
Prior art keywords
parameter
cube
acquiring
information
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911303311.4A
Other languages
English (en)
Other versions
CN111028328A (zh
Inventor
肖建如
吕天予
周振华
马科威
刘铁龙
邵帅
曹佳实
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaao Information Technology Development Co ltd
Original Assignee
Shanghai Jiaao Information Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaao Information Technology Development Co ltd filed Critical Shanghai Jiaao Information Technology Development Co ltd
Priority to CN201911303311.4A priority Critical patent/CN111028328B/zh
Publication of CN111028328A publication Critical patent/CN111028328A/zh
Application granted granted Critical
Publication of CN111028328B publication Critical patent/CN111028328B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/06Ray-tracing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于Unity3D采集数据的模拟成像方法,包括:建模步骤:根据采集数据,获取采集数据集;通过采集数据集生成以下任一个或者任多个模型:‑立方体;‑Unity3D中的Texture3D;采样像素点步骤:立方体的坐标映射到Texture3D里从而生成像素点;利用光线追踪采样像素点信息,获取采样像素点信息;拟合成像步骤:根据采样像素点信息,获取像素集信息;综合处理像素集信息,获取成像信息。以达到近似X光的效果。本发明以相对简单便捷的方式去获得CT数据对骨骼X光的模拟成像,不需要考虑的人体各个组织对放射衰减系数的不同,运算量相对较小。

Description

基于Unity3D采集数据的模拟成像方法
技术领域
本发明涉及模拟成像领域,具体地,涉及一种基于Unity3D采集数据的模拟成像方法,尤其是一种基于Unity3D人体医学CT数据模拟骨骼X光成像的方法。
背景技术
在CT等检查中使用的X光,和可见光一样,都是一种电磁辐射,但是它们具有较高的穿透能力并且可以穿过人体。通过使用适当的装置和技术,X光可以用来观察身体内部结构,并生成图像来检查疾病或其他问题。在大多数X光检查中,无论传统技术还是现代的数码检查设备中,所用到辐射剂量都相当小。需要注意的是减少不必要的重复检查,同时慎重对待高辐射剂量的检查,如CT和介入性手术,因为高辐射检查会提升相关癌症的风险。如何以相对简单便捷的方式去获得CT数据对骨骼X光的模拟成像无疑是亟需解决的技术问题。
专利文献109223016A公开了一种CT成像方法,包括如下步骤:S1,利用X射线对成像物进行扫描,获取初始投影数据,所述初始投影数据包括至少一个成像几何参数的数据;S2,对所述至少一个成像几何参数进行参数采样并逐次进行模拟CT投影,以获取对应的一系列模拟CT投影数据;S3,在所述一系列模拟CT投影数据中寻找到与所述初始投影数据最接近的两个模拟CT投影数据;S4,通过差值算法计算获得所述至少一个成像几何参数的更新值;S5,基于所述至少一个成像几何参数的更新值,进行图像重建,获得所述成像物的CT断层图像;S6,评价所述CT断层图像,若符合要求,则输出结果;若不符合要求,则返回至步骤S2重新执行。该专利无法将对骨骼轮廓细节表现更加清晰,需要考虑人体各个组织对放射衰减系数的不同,不能以相对简单便捷的方式去获得CT数据对骨骼X光的模拟成像,不能方便医生从各个方位去观察病人的X光图像,不能有效减少病人受到的辐射量。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种基于Unity3D采集数据的模拟成像方法。
根据本发明提供的一种基于Unity3D采集数据的模拟成像方法,包括:建模步骤:根据采集数据,获取采集数据集;通过采集数据集生成以下任一个或者任多个模型:-立方体;-Unity3D中的Texture3D;采集像素点步骤:立方体的坐标映射到Texture3D里从而生成像素点;利用光线追踪采样像素点信息;拟合成像步骤:根据像素点信息,获取采样像素点信息;综合处理采样像素点信息,获取成像信息,从而以达到近似X光的效果。
优选地,建模步骤包括:第一读取Dicom文件步骤:根据采集数据集的Dicom文件的Tag,获取生成立方体相关参数;第二读取Dicom文件步骤:根据采集数据集的有效dicom文件数,获取断层图数量参数;所述生成立方体相关参数包括:像素列数参数、像素行数参数、像素间距参数、以及图间间距参数。
优选地,建模步骤还包括:获取立方体实际尺寸步骤:根据生成立方体相关参数、断层图数量参数,获取立方体实际尺寸参数。
优选地,像素间距参数包括:像素间距行参数和像素间距列参数;所述立方体实际尺寸参数包括:立方体实际长度参数、立方体实际宽度参数以及立方体实际高度参数。
优选地,建模步骤还包括:存放数据步骤:在Unity中创建特定尺寸的Texture3D;在CPU内存中声明特定长度的Color数组;读取采集数据集中灰度值参数,将灰度值参数存放于Color数组中;将存放于Color数组中的灰度值参数应用到Texture3D。
优选地,采集像素点步骤包括:坐标映射步骤:获取立方体姿态矩阵的逆参数,在光线中,将所述立方体姿态矩阵的逆参数空间中的点转换到立方体的本地坐标下;Texture3D像素采集步骤:根据存放于Color数组中的灰度值,获取灰度最大值参数或者灰度最小值参数;采集自定义步骤:根据采集步长参数、成像亮度参数,获取采集步长信息、像素亮度系数信息。
优选地,采集像素点步骤还包括:输出到平面片元步骤:生成特定平面;根据采集步长信息,利用光线追踪算法,以当前观察的位置作为光线发射的起点,特定平面上的片元到起点的方向作为光线发射方向,将当前光线穿过立方体的部分按特定步长采集,输出到平面的片元上。
优选地,拟合成像步骤还包括:空间转换步骤:将平面当前片元的位置由模型本地空间转换到世界空间,获取光源在世界空间中的位置,再将光源以及片元都转换到立方体的模型空间下;判断相交步骤:判断光线与立方体的位置关系状态,获得判断相交信息或者判断不相交信息;近、远点采集步骤:根据判断相交信息,得到光线与立方体相交的交点信息;所述交点信息包括:近点信息和远点信息;根据采集步长信息,将交集从近点按特定采集步长取到的点的三维坐标向Texture3D持续采样,得到灰度值集合参数,直到超出远点结束;
优选地,拟合成像步骤还包括:归一化步骤:根据灰度值集合参数、灰度最大值参数、灰度最小值参数以及阈值参数,获取灰度值归一化参数;加权步骤:灰度值归一化参数按越接近光源的权重越大的方式叠加处理,获取灰度值归一化加权参数;最后输出步骤:根据灰度值归一化加权参数、采集亮度系数,获取最终输出信息。
优选地,所述采集数据为CT数据,所述采集数据集为CT数据集;所述光线为GPU光线。
与现有技术相比,本发明具有如下的有益效果:
1、本发明以相对简单便捷的方式去获得CT数据对骨骼X光的模拟成像,不需要考虑的人体各个组织对放射衰减系数的不同,运算量相对较小;
2、本发明中由于渲染几乎只针对骨骼,所以对骨骼轮廓细节表现的也更加清晰;
3、本发明方便医生从各个方位去观察病人的X光图像,减少病人受到的辐射量,可以术中利用X光与术前CT数据配准。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明的流程图;
图2为本发明中的取样输出流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种基于Unity3D采集数据的模拟成像方法,包括:建模步骤:根据采集数据,获取采集数据集;通过采集数据集生成以下任一个或者任多个模型:-立方体;-Unity3D中的Texture3D;采集像素点步骤:立方体的坐标映射到Texture3D里从而生成像素点;利用光线追踪采样像素点信息;拟合成像步骤:根据像素点信息,获取采样像素点信息;综合处理采样像素点信息,获取成像信息,从而以达到近似X光的效果。
本发明采用的技术方案总概:通过CT数据集生成一个立方体和unity的Texture3D,利用GPU光线追踪采样到的立方体的坐标映射到Texture3D里的像素点,再通过对光线上的像素集进行处理以达到近似X光的效果。
建模步骤包括:第一读取Dicom文件步骤:根据采集数据集的Dicom文件的Tag,获取生成立方体相关参数;第二读取Dicom文件步骤:根据采集数据集的有效dicom文件数,获取断层图数量参数;所述生成立方体相关参数包括:像素列数参数、像素行数参数、像素间距参数、以及图间间距参数。建模步骤还包括:获取立方体实际尺寸步骤:根据生成立方体相关参数、断层图数量参数,获取立方体实际尺寸参数。具体地,在一个实施例中,生成立方体:在CT数据集的Dicom文件的Tag中我们可以读到以下信息:像素列数(Tag==Columns(0028,0011))(nx)、行数(Tag==Rows(0028,0010))(ny),像素间距(Tag==PixelSpacing(0028,0030)):列(dx)、行(dy),以及每张图之间的间距(Tag==SliceThickness(0018,0050))(dz)。在通过数据集的有效dicom文件数得到断层图数量(nz)。通过这些数据就可以得到立方体的实际尺寸,长(nx*dx(mm))、宽(ny*dy(mm))、高(nz*dz(mm))。
像素间距参数包括:像素间距行参数和像素间距列参数;所述立方体实际尺寸参数包括:立方体实际长度参数、立方体实际宽度参数以及立方体实际高度参数。
建模步骤还包括:存放数据步骤:在Unity中创建特定尺寸的Texture3D;在CPU内存中声明特定长度的Color数组;读取采集数据集中灰度值参数,将灰度值参数存放于Color数组中;将存放于Color数组中的灰度值参数应用到Texture3D。具体地,在一个实施例中,生成Texture3D:在unity中创建一个尺寸为nx*ny*nz的Texture3D,在CPU内存中声明一个长度为nx*ny*nz的Color数组存放CT数据集中读到的灰度值,将Color数组中的值应用到Texture3D。
采集像素点步骤包括:坐标映射步骤:获取立方体姿态矩阵的逆参数,在光线中,将所述立方体姿态矩阵的逆参数空间中的点转换到立方体的本地坐标下;Texture3D像素采集步骤:根据存放于Color数组中的灰度值,获取灰度最大值参数或者灰度最小值参数;采集自定义步骤:根据采集步长参数、成像亮度参数,获取采集步长信息、像素亮度系数信息。具体地,在一个实施例中,CPU和GPU数据传递:立方体的姿态矩阵的逆(unity下的worldToLocalMatrix矩阵),在GPU中需要将空间中的点转换到立方体的本地坐标下。Texture3D,像素采样需要CT数据灰度值的最大最小值,需要对采集到的像素值归一化。自定义变量采样步长,自定义变量成像亮度。
采集像素点步骤还包括:输出到平面片元步骤:生成特定平面;根据采集步长信息,利用光线追踪算法,以当前观察的位置作为光线发射的起点,特定平面上的片元到起点的方向作为光线发射方向,将当前光线穿过立方体的部分按特定步长采集,输出到平面的片元上。
拟合成像步骤还包括:空间转换步骤:将平面当前片元的位置由模型本地空间转换到世界空间,获取光源在世界空间中的位置,再将光源以及片元都转换到立方体的模型空间下;判断相交步骤:判断光线与立方体的位置关系状态,获得判断相交信息或者判断不相交信息;近、远点采集步骤:根据判断相交信息,得到光线与立方体相交的交点信息;所述交点信息包括:近点信息和远点信息;根据采集步长信息,将交集从近点按特定采集步长取到的点的三维坐标向Texture3D持续采样,得到灰度值集合参数,直到超出远点结束;
拟合成像步骤还包括:归一化步骤:根据灰度值集合参数、灰度最大值参数、灰度最小值参数以及阈值参数,获取灰度值归一化参数;加权步骤:灰度值归一化参数按越接近光源的权重越大的方式叠加处理,获取灰度值归一化加权参数;最后输出步骤:根据灰度值归一化加权参数、采集亮度系数,获取最终输出信息。
所述采集数据为CT数据,所述采集数据集为CT数据集;所述光线为GPU光线。
具体地,在一个实施例中,在unity渲染平面的shader里编程,将平面当前片元的位置由模型本地空间转换到世界空间,获取光源在世界空间中的位置。再将光源以及片元都转换到立方体的模型空间下。计算光线与立方体是否相交,若相交,得到与立方体相交的两个交点:近点,远点。将交集从近点按一定的步长取到的点的三维坐标向Texture3D采样,得到灰度值,直到超出远点结束。通常人体骨骼的灰度值在150以上,我们将150以下的灰度值丢弃,150以上的灰度值归一化后按越接近光源的权重越大叠加,最后乘上一个亮度系数后输出。
本发明以相对简单便捷的方式去获得CT数据对骨骼X光的模拟成像,不需要考虑的人体各个组织对放射衰减系数的不同,运算量相对较小;本发明中由于渲染几乎只针对骨骼,所以对骨骼轮廓细节表现的也更加清晰;本发明方便医生从各个方位去观察病人的X光图像,减少病人受到的辐射量,可以术中利用X光与术前CT数据配准。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以,本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构;也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。

Claims (6)

1.一种基于Unity3D采集数据的模拟成像方法,其特征在于,包括:
建模步骤:根据采集数据,获取采集数据集;
通过采集数据集生成以下模型:
-立方体;
-Unity3D中的Texture3D;
采样像素点步骤:立方体的坐标映射到Texture3D里从而生成像素点;
利用光线追踪采样像素点信息,获取采样像素点信息;
拟合成像步骤:根据采样像素点信息,获取像素集信息;
综合处理像素集信息,获取成像信息;
第一读取Dicom文件步骤:根据采集数据集的Dicom文件的Tag,获取生成立方体相关参数;
第二读取Dicom文件步骤:根据采集数据集的有效Dicom文件数,获取断层图数量参数;
所述生成立方体相关参数包括:像素列数参数、像素行数参数、像素间距参数、以及图间间距参数;
获取立方体实际尺寸步骤:根据生成立方体相关参数、断层图数量参数,获取立方体实际尺寸参数;
像素间距参数包括:像素间距行参数和像素间距列参数;
所述立方体实际尺寸参数包括:立方体实际长度参数、立方体实际宽度参数以及立方体实际高度参数;
建模步骤还包括:存放数据步骤:在Unity中创建特定尺寸的Texture3D;在CPU内存中声明特定长度的Color数组;读取采集数据的灰度值参数,将灰度值参数存放于Color数组中;将存放于Color数组中的灰度值参数应用到Texture3D。
2.根据权利要求1所述的基于Unity3D采集数据的模拟成像方法,其特征在于,采集像素点步骤包括:
坐标映射步骤:获取立方体姿态矩阵的逆参数,在GPU中,将所述立方体姿态矩阵的逆参数空间中的点转换到立方体的本地坐标下;
Texture3D像素采集步骤:根据存放于Color数组中的灰度值参数,获取灰度最大值参数或者灰度最小值参数;
采集自定义步骤:根据采集步长参数、成像亮度参数,获取采集步长信息、像素亮度系数信息。
3.根据权利要求2所述的基于Unity3D采集数据的模拟成像方法,其特征在于,采集像素点步骤还包括:
输出到平面片元步骤:生成特定平面;根据采集步长信息,利用光线追踪算法,以当前观察的位置作为光线发射的起点,特定平面上的片元到起点的方向作为光线发射方向,将当前光线穿过立方体的部分按特定步长采集,输出到平面的片元上。
4.根据权利要求3所述的基于Unity3D采集数据的模拟成像方法,其特征在于,拟合成像步骤还包括:
空间转换步骤:将平面当前片元的位置由模型本地空间转换到世界空间,获取光源在世界空间中的位置,再将光源以及片元都转换到立方体的模型空间下;
判断相交步骤:判断光线与立方体的位置关系状态,获得判断相交信息或者判断不相交信息;
近、远点采集步骤:根据判断相交信息,得到光线与立方体相交的交点信息;
所述交点信息包括:近点信息和远点信息;
根据采集步长信息,将交集从近点按特定采集步长取到的点的三维坐标向Texture3D持续采样,得到灰度值集合参数,直到超出远点结束。
5.根据权利要求4所述的基于Unity3D采集数据的模拟成像方法,其特征在于,拟合成像步骤还包括:
归一化步骤:根据灰度值集合参数、灰度最大值参数、灰度最小值参数以及阈值参数,获取灰度值归一化参数;
加权步骤:灰度值归一化参数按越接近光源的权重越大的方式叠加处理,获取灰度值归一化加权参数;
最后输出步骤:根据灰度值归一化加权参数、采集亮度系数,获取最终输出信息。
6.根据权利要求1至5任一权利要求所述的基于Unity3D采集数据的模拟成像方法,其特征在于,所述采集数据为CT数据,所述采集数据集为CT数据集;
所述光线为GPU光线。
CN201911303311.4A 2019-12-17 2019-12-17 基于Unity3D采集数据的模拟成像方法 Active CN111028328B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911303311.4A CN111028328B (zh) 2019-12-17 2019-12-17 基于Unity3D采集数据的模拟成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911303311.4A CN111028328B (zh) 2019-12-17 2019-12-17 基于Unity3D采集数据的模拟成像方法

Publications (2)

Publication Number Publication Date
CN111028328A CN111028328A (zh) 2020-04-17
CN111028328B true CN111028328B (zh) 2024-03-15

Family

ID=70210055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911303311.4A Active CN111028328B (zh) 2019-12-17 2019-12-17 基于Unity3D采集数据的模拟成像方法

Country Status (1)

Country Link
CN (1) CN111028328B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570515A (zh) * 2019-09-03 2019-12-13 天津工业大学 一种利用ct图像进行人体骨骼三维建模的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015519687A (ja) * 2012-04-20 2015-07-09 レンセレイアー ポリテクニック インスティテュート 照明空間を特性評価するための検知照明システム及び方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570515A (zh) * 2019-09-03 2019-12-13 天津工业大学 一种利用ct图像进行人体骨骼三维建模的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
闫天峰 ; 孙岩 ; 孙怡 ; .基于GPU实现的数字合成X射线体层成像投影数据的模拟方法.CT理论与应用研究.2011,(01),全文. *

Also Published As

Publication number Publication date
CN111028328A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
Segars et al. 4D XCAT phantom for multimodality imaging research
Li et al. Methodology for generating a 3D computerized breast phantom from empirical data
US7953260B2 (en) Predicting movement of soft tissue of the face in response to movement of underlying bone
CN102667857B (zh) X射线照片中的骨抑制
US7978886B2 (en) System and method for anatomy based reconstruction
US10867375B2 (en) Forecasting images for image processing
CN103295234B (zh) 基于形变表面模型的医学图像分割系统及方法
CN110678906B (zh) 用于定量分子成像的准确混合数据集的生成
US20210077050A1 (en) Systems and methods for controllinig an x-ray imaging device
CN114548238A (zh) 图像三维重建方法、装置、电子设备及存储介质
CN115131487A (zh) 医学影像处理方法、系统、计算机设备、存储介质
Chang et al. Development of realistic multi-contrast textured XCAT (MT-XCAT) phantoms using a dual-discriminator conditional-generative adversarial network (D-CGAN)
CN113989231A (zh) 动力学参数的确定方法、装置、计算机设备和存储介质
CN113920243A (zh) 极端环境下脑结构的三维重建方法、装置及可读存储介质
Nassef et al. Extraction of human mandible bones from multi-slice computed tomographic data
CN111028328B (zh) 基于Unity3D采集数据的模拟成像方法
Chen et al. The research and practice of medical image enhancement and 3D reconstruction system
CN116563246A (zh) 一种用于医学影像辅助诊断的训练样本生成方法及装置
CN110473241A (zh) 图像配准方法、存储介质及计算机设备
CN107799166B (zh) 医学成像系统
Li et al. Three-dimensional computer generated breast phantom based on empirical data
US20230270391A1 (en) Apparatus, method and computer program for processing computed tomography (ct) scan data
Al-Dhamari et al. Automatic cochlear multimodal 3D image segmentation and analysis using atlas–model-based method
US20240029415A1 (en) Simulating pathology images based on anatomy data
US20220378383A1 (en) Target area determination method and medical imaging system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant