CN109389669A - 虚拟环境中人体三维模型构建方法及系统 - Google Patents

Abstract

本申请实施例公开了虚拟环境中人体三维模型构建方法及系统。所述方法包括：获取目标人体组织和/或器官的二维切片图像序列；确定与所述目标人体组织和/或器官的生物特征相匹配的三维模型重建方式；利用所述三维模型重建方式对所述二维切片图像序列进行重建，生成所述目标人体组织和/或器官的虚拟三维模型。利用本申请实施例，可以提高人体器官或者组织在虚拟环境中的成像质量。

Description

虚拟环境中人体三维模型构建方法及系统

技术领域

本申请涉及虚拟医疗技术领域，特别涉及虚拟环境中人体三维模型重构建方法及系统。

背景技术

医学影像的三维构建技术在医学医疗领域具有重要的价值，典型地，如辅助诊断、仿真角度扫描、数字化解剖模型、数字化手术教学训练、虚拟手术、手术规划、手术导航放射治疗、虚拟内窥镜、脑功能结构研究、远程医疗等。

现有技术中的三维构建工作往往是在专用影像软件中完成的，且生成的三维模型往往通过平面投射方式供用户观看。用户通过裸眼观看平面的三维模型图像缺乏立体感，在观看器官、病灶大小、相对位置等诸多方面不够直观，前后位置关系等不能清晰地体现。在需要测量器官或者病灶大小、相对位置等数据时，需要通过鼠标、键盘等进行联合操作以切换不同的视角。甚至，当病灶等被外骨骼遮挡时，还需要在软件中重新修改三维模型。现有技术中的人体三维构建方法都是基于标准人体数据，例如标准人类大脑数据，标准心脏数据。但不同用户的身体结构之间具有差异性，因此现有技术中的三维构建方法无法快速构建出用户个性化的人体三维模型。由此，医生在进行操作时，无法针对符合用户生理特征的人体三维结构进行针对性操作。例如，具有特定大小脑内血管瘤患者的大脑和血管瘤的位置是非常精密的，如果要模拟这名患者人体的脑内血管瘤切除手术，使用标准人体模型显然是不合适的。需要构建针对该患者的个性化模型，以进行手术练习和预测。综上所述，现有技术中构建的人体三维模型缺乏立体感、操作繁琐、不够人性化。另外，现有技术中的人体三维构建方法无法快速构建出用户个性化的人体三维模型。因此，现有技术中亟需一种能够具有沉浸感的、针对特定人体生理特征的人体三维模型构建方法，可以供用户进行各种操作。

发明内容

本申请实施例的目的在于提供一种虚拟环境中人体三维模型重构建方法及系统，可以提高人体器官或者组织在虚拟环境中的成像质量。

本申请实施例提供的一种虚拟环境中人体三维模型重构建方法及系统具体是这样实现的：

一种虚拟环境中人体三维模型构建方法，所述方法包括：

获取目标人体组织和/或器官的二维切片图像序列；

确定与所述目标人体组织和/或器官的生物特征相匹配的三维模型重建方式；

利用所述三维模型重建方式对所述二维切片图像序列进行重建，生成所述目标人体组织和/或器官的虚拟三维模型。

一种虚拟环境中人体三维模型构建系统，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现：

获取目标人体组织和/或器官的二维切片图像序列；

确定与所述目标人体组织和/或器官的生物特征相匹配的三维模型重建方式；

利用所述三维模型重建方式对所述二维切片图像序列进行重建，生成所述目标人体组织和/或器官的虚拟三维模型。

一种虚拟环境中生物体三维模型的构建方法，所述方法包括：

获取目标生物体的组织和/或器官的二维切片图像序列；

确定与所述目标生物体的组织和/或器官的生物特征相匹配的三维模型重建方式；

利用所述三维模型重建方式对所述二维切片图像序列进行重建，生成所述目标生物体的组织和/或器官的虚拟三维模型，用于呈现在所述虚拟环境中。

本申请提供的虚拟环境中人体三维模型构建方法及系统，可以选取与目标人体组织和/或器官的生物特征相匹配的三维模型重建方式对所述目标人体组织和/或器官进行虚拟三维模型重建。由于不同的三维重建方法具有各自的成像特征，也适用于不同人体组织或器官的三维重建。反之，不同的人体组织或器官具有各自的生物特性，那么，可以对根据所述生物特性进行分析，获取得到目标人体组织和/或器官的成像要求，则可以根据所述成像要求获取满足所述成像要求的三维重建方法。本申请实施例可以根据各个器官和/或组织的生物特征，选取适合于所述器官和/或组织的三维重建方法，这样，可以提高后续所述器官和/或组织在虚拟空间中的成像精度，便于医生身临其境地观看目标器官和/或组织，准确地发现患者的病灶，及时地为患者提供治疗方案，提高诊疗效率，减轻患者的痛苦。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请提供的虚拟环境中人体三维模型构建方法的一种实施例的流程图；

图2是本申请提供的人脑三维模型重建方法的一种实施例的示意图；

图3a是利用MPR重构得到的肝部三维模型的横截面图；

图3b是利用MIP重构得到的肝部三维模型的横截面图；

图4是本申请提供的虚拟三维模型的操作系统400的系统框图；

图5是本申请提供的一个示例场景示意图；

图6是本申请提供的一个示例场景示意图；

图7是本申请提供的一个示例场景示意图；

图8是本申请提供的一个示例场景示意图；

图9是本申请提供的虚拟环境中人体三维模型构建方法的一种实施例的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

图1是本申请提供的虚拟环境中人体三维模型重构建方法的流程图。如图1所示，首先，可以获取目标人体组织和/或器官的二维切片图像序列。所述二维切片图像可以包括利用计算机技术、核磁共振、光学相干等技术获取的目标人体组织和/或器官的断层图像。所述断层图像可以包括利用X线束、γ射线、超声波等精确信号与灵敏度较高的探测器一同围绕人体的某一部位作断面扫描所生成的图像。为了能够重建真实的人体某部位整体的结构，需要对该部位进行连续的断面扫描，这样可以生成人体部位的二维切片图像序列，通过所述二维切片图像序列即可以重建断面扫描的人体部位。所述二维切片图像诸如计算机断层扫描(Computed Tomography，CT)成像、核磁共振成像(Magnetic Resonance Imaging，MRI)、磁共振动脉成像(Magnetic Resonance Angiography，MRA)、磁共振静脉成像(Magnetic Resonance Venography，MRV)、光学相干断层扫描(Optical CoherenceTomography，OCT)成像等等。所述二维切片图像序列可以通过相应成像仪器实时扫描得到，以CT成像举例说明，可以通过CT扫描仪对目标人体组织和/或器官进行相互平行、连续、无间隔、无重叠地薄层扫描。在扫描过程中，可以根据计算精度、计算成本等需求设置CT扫描的扫描层厚、图像像素等参数。其他二维切片图像的获取方式可以按照扫描仪器的特征进行设置，本申请在此不再赘述。

在一个实施例中，所述二维切片图像序列可以为实时获取的针对用户人体组织和/或器官的扫描数据，如实时获取的用户肝部的二维切片图像序列。当然，在其他实施例中，所述二维切片图像序列还可以包括存储的该用户人体组织和/或器官的扫描数据。总之，所述二维切片图像序列为用户的个性化数据，即各个用户的二维切片图像序列能够反映用户本身的人体组织和/或器官的真实构造，为后续进行三维模型重建提供真实可靠的数据基础。

在获取到所述目标人体组织和/或器官的二维切片图像序列之后，可以对所述二维图像切片集进行三维重建，以获取所述目标人体组织和/或器官的三维模型。本申请中，所述目标人体组织可以包括上皮组织、结缔组织、肌肉组织、神经组织等，所述目标人体器官可以包括感觉器官、内脏器官、血管、皮肤、骨骼等。目前，现有技术中包括多种三维重建方法，诸如多平面重建法(MPR)、曲面重建法(CPR)、多层面容积重建法(MPVR)、表面遮盖显示法(SSD)、虚拟内窥镜成像法(VE)、容积再现法(VRT)等等。

为了能够说明上述不同的三维重建方法的成像特征，下面对上述几种三维重建方法进行简单介绍。在上述的多种三维重建方法中，MPR的应用较为广泛，该方法可以将二维切片图像以像素为单位，将二维切片图像序列重建为以体素为单位的三维数据，再在容积数据的基础上，重建任意平面的冠状位、矢状位、斜位的二维图像。MPR可以以任意角度观察正常组织、器官或病变，尤其可以显示腔性结构的横截面以观察腔隙的狭窄程度等。因此，MPR对于判断病变的侵及范围、毗邻关系、动脉夹层破口、胆道、输尿管结石定位等具有优势。而CPR是MPR的一种特殊方式，在容积数据的基础上，可以沿感兴趣区划分曲线，将扭曲的组织显示于同一平面上，以显示其全景。因此，CPR相对比较适用于展示人体曲面结构的器官或组织，例如额面骨、输尿管、血管、脾动脉、胰管、冠状动脉、腰椎、肠胃等曲度较大的器官或组织。MPVR可以将不同角度或者某一平面选取的原始数据，采用最大密度(MIP)或者最小密度(Min-IP)投影法进行运算得到图像。MIP是取每一线束的最大密度进行投影，常用于密度较高的组织结构，如注射造影剂的血管、明显强化的组织、骨骼等。Min-IP是取每一线束的最小密度进行投影，常用于观察气道、肺、胆道等含气空腔的三维重建。SSD可以通过计算被观察物体表面所有相关像素的最高和最低CT值，保留所选CT阈值范围内像素的影像，将超出限定的CT阈值的像素透明处理后重组成二维图像。SSD的优势在于立体感较强，能够直观地显示骨骼、大血管、结肠等器官组织的全景，有利于病变的定位和测量。VE可以在容积数据的基础上，采用SSD和VRT相结合的方式，模拟出三维立体空间环境，在目标器官的腔内进行计算机数据后处理，显示出图像，与光纤内窥镜效果相似，常用于喉部、支气管、结肠、胆道、胃等管腔脏器的三维重建。VRT可以对不同CT值的组织、器官赋予不同的亮度、颜色，以易于区分。透明成像(RaySum)是VRT技术中的一种显示方法，经过透明成像(RaySum)处理之后的图像可呈现透明影像，和双对比消化道造影的效果相似。另外，VRT可以根据需要切割掉兴趣区以外的组织结构和相邻器官的重叠影像，而且可任意角度旋转图像，可让病灶充分暴露出来。

表1三维重建法与适用人体器官组织关系表

基于对上述几种三维重建方法的简单介绍，可以利用如表1所示的表格说明各种三维重建方法的特征以及适用的人体器官或者组织。通过表1可以发现，不同的三维重建方法具有各自的成像特征，也适用于不同人体组织或器官的三维重建。反之，不同的人体组织或器官具有各自的生物特性。基于此，本申请提出一种人体三维模型的重建方法，图2是本申请提供的人体三维模型重建方法的一个实施例的方法流程图，如图2所示，所述方法可以包括：

S21：获取所述目标人体组织和/或器官的生物特征。

本实施例中，可以获取目标人体组织和/或器官的生物特征，所述生物特征例如可以包括识别出该目标人体组织和/或器官的具体结构、密度、尺寸等信息，还可以包括血管的密集程度、与周围器官或者组织的位置关系等。

S22：根据所述生物特征获取目标人体组织和/或器官的成像要求。

本实施例中，在获取到所述目标人体组织和/或器官的生物特征之后，可以根据所述生物特征获取目标人体组织和/或器官的成像要求。例如，对于一些人体组织和/或器官，覆盖的血管较为密集，因此若要对该组织或者器官进行精确成像，则需要清晰地展示血管的分布。

S23：获取能够满足所述成像要求的三维模型重建方式。

根据上述示例中的成像要求，通过表1的对比可以发现，MIP比较适用于对血管的强化，因此，可以采用MIP投影法对该人体组织和/或器官进行三维模型重建。

为了清楚地示出上述三维模型的重建过程，下面首先通过一个人脑三维模型重建的示例进行说明。如图2所示，本示例中，首先获取患者头颅的一簇二维切片图像序列，所述二维切片图像序列可以包括CT、MRI等多种格式的扫描成像结果。例如所述二维切片图像序列可以为200张层厚为1.25mm的CT图像，扫描成像结果的输出格式可以包括数字影像和通信标准格式(Digital Imaging and Communications in Medicine，DICOM)，在此不做限制。然后，可以对所述二维切片图像序列进行图像预处理，图像预处理主要可以包括滤波处理和插值处理。在滤波处理过程中，可以分别去除二维切片图像中由扫描设备等产生的随机噪声，增强图像特征，提高图像信噪比。在插值过程中，由于CT图像的层厚远远大于层间像素距离，因此可以通过插值来弥补CT图像之间的空间信息。由于处理的是整个头颅的二维切片图像序列，而本示例中需要获取人脑的三维模型。因此，需要对所述二维切片图像进行分割、提取处理，从而分割出不同的器官或者组织。在一些实施例中，可以根据灰度、颜色、纹理等特征参数进行提取，例如骨骼的CT阈值范围为507～3071Hu，肌肉的CT阈值范围为35～50Hu、脑室的CT阈值范围为0～12Hu。如图2所示，例如可以根据CT值的阈值范围(即0～12Hu)提取出人脑的三维模型。

在另一个示例中，某患者遭受比较严重的外伤，在医院进行诊断时，医生为了全面确认患者内部脏器是否发生血管破裂、器官损害等异常状况，需要为该患者的各个脏器建立三维模型。首先对该患者的整个内脏进行连续CT扫描，生成一簇人体内脏的CT扫描图像序列。然后，通过图2所示的三维重建的方法对各个脏器进行三维重建，构建得到各个脏器的三维模型。其中，在对肝部进行三维重建时，考虑到肝部血管比较密集，需要对肝部及其周围组织的血管有清晰地成像，通过表1的对比可以发现，MIP比较适用于对血管的强化。本实施例中，通过MPR和MIP两种方式对肝部进行三维重建，分别得到图3a、图3b两种肝部三维模型的横截面图。其中，图3a是利用MPR重构得到的肝部三维模型的横截面图，图3b是利用MIP重构得到的肝部三维模型的横截面图。通过对比发现，针对该名患者的生理和/或病理情况，利用MIP重构得到的肝部三维模型中的血管成像(图中白色部分)比MPR重构得到的肝部三维模型要清晰、准确很多。

通过上述示例，本申请实施例可以根据各个器官和/或组织的生物特征，选取适合于所述器官和/或组织的三维重建方法，这样可以提高后续所述器官和/或组织在虚拟空间中的成像精度。对于用户来说，本申请提供的人体三维模型重建方式根据器官和/或组织的生物特征，具有针对性地强化某些器官和/或组织的成像因素，这样可以清晰地展示器官和/或组织的构造、分布等特征，更加接近于真实器官和/或组织的特征。对于医生来说，则可以更好地利用重建的三维模型，及时、准确地发现患者的病灶，为患者提供准确的治疗方式。

需要说明的是，所述三维重建方法不限于上述举例，当然还可以包括很多自定义方式，如对于不同的器官或者组织，对CT中预设CT值范围的像素点进行强化，所述预设CT值范围可以自定义设置。

如图1所示，在构建得到目标器官和/或组织的三维模型之后，可以利用所述三维模型构建所述目标器官和/或组织的虚拟三维模型。所述虚拟三维模型可以通过Unity 3D、Unreal Engine、Cry Engine等虚拟平台构建完成。构建所述虚拟三维模型主要包括下述步骤：

设置交互逻辑

除了以上的优势和效果之外，本方案还有如下进一步的优势效果。

例如，本实施例中，为了使得用户能够在虚拟环境中对所述虚拟三维模型进行操作，可以设置相应的交互逻辑。在本申请的一个实施例中，用户可以对所述虚拟三维模型实施的操作包括下述中的至少一种：旋转、标记、测距、测角、开窗、解剖、模拟手术、分离出部分器官或者组织，以实现诸如以下功能：

获取器官、组织、病灶的尺寸；

获取所述目标器官和/或组织的任意截面的截面图像、CT图像等；

设置手术时进入所述进入目标器官和/或组织的路径。

在具体的一个实施例中，可以设置当用户通过射线笔、触控板、手柄、感应手套等辅助工具在虚拟空间中对所述三维虚拟模型进行操作时，能够监测到各个辅助工具在三维空间中发出的信号，如射线笔发出的虚拟射线(如红外线)、触控板发出的虚拟平面、手柄或者感应手套的运动状态(如翻转、水平移动等)。根据所述辅助工具发出的信号与所述虚拟三维模型之间的接触等预设动作关系，可以对所述虚拟三维模型实施相应的操作。

在一个实施例中，可以利用射线笔对所述虚拟三维模型进行旋转、标记、测距、测角、开窗、解剖等操作。例如，可以设置当短按所述射线笔上的按钮，并将所述射线笔发出的虚拟射线接触所述虚拟三维模型上的某一点时，则可以在该点上进行标记。还可以设置当长按所述射线笔上的按钮，并将所述射线笔发出的虚拟射线圈定所述虚拟三维模型上的某个区域时，则可以对该区域进行开窗；还可以设置在长按所述射线笔上的按钮，在所述虚拟三维模型上划分一条切割线，则可以对所述虚拟三维模型沿着该切割线进行解剖。另外，所述射线笔可以包括6轴陀螺仪的笔状硬件，用户可以利用所述射线笔发出一条射线，并控制所述虚拟三维模型围绕所述射线进行旋转，以观察所述所述虚拟三维模型在不同角度的形态。

在一个实施例中，可以利用触控板对所述虚拟三维模型进行旋转、标记、测距、测角、开窗、解剖等操作。对于所述触控板，可以设置当利用所述触控板发出虚拟平面时，则可以利用所述虚拟平面切割所述虚拟三维模型，并通过所述触控板上的按键等获取切割后的模型截面的CT图像等。用户还可以在所述触控板上通过手指或者触控笔滑动，对所述虚拟三维模型进行旋转、标记、测距、测角等操作。

在一个实施例中，可以利用手柄或者感应手套握持所述虚拟三维模型。当利用手柄或者感应手套接触所述虚拟三维模型时，可以使用户感觉到所述虚拟三维模型的触感，与真实世界中用户手持物品的触感相同。当用户手持手柄时，可以设置用户可以通过所述手柄拿起所述三维虚拟模型，用户可以所述手柄翻转、移动所述虚拟三维模型。用户还可以通过所述手柄获取“剪切板”，并利用所述“剪切板”对所述虚拟三维模型进行任意角度的切割，并获取到切割后横截面的CT成像等数据。同样地，用户在戴上所述感应手套时，可以设置用户能够通过所述感应手套手持所述虚拟三维模型，用户还可以旋转、移动所述三维虚拟模型。另外，用户还可以通过所述感应手台手持虚拟手术刀，对所述三维虚拟模型进行模拟手术，利用虚拟手术刀可以对所述虚拟三维模型进行任意角度的切割、分解、缝合等操作。

当然，对于上述各个辅助工具的交互逻辑设置不限于上述举例，当需要对所述虚拟三维模型的操作类型越多，设置的交互逻辑随之也就越多，本申请在此不再累述。需要说明的是，所述辅助工具不限于所述射线笔、触控板、手柄、感应手套等，还可以包括六角陀螺仪或者包含六角陀螺仪的任何辅助工具等，甚至还可以包括安装在用户身体或者衣服上的IC芯片，如贴在指甲上的具有感应功能的IC芯片等，当然，还可以包括现有的辅助工具，如HTC Vive手柄、Oculus Rift等。

渲染画面

本实施例中，为了能够展示所述虚拟三维模型，需要对所述虚拟三维模型进行画面渲染。在一个实施例中，可以预先在Unity 3D、Unreal Engine、Cry Engine等虚拟平台上渲染完成，待用户沉浸于虚拟环境中时，可以将渲染生成的虚拟三维模型画面展示于画布中，如球形画布、半球形画布、环形画布等。在另一个实施例中，可以对所述虚拟三维模型进行实时渲染，也就是说，用户在沉浸于虚拟环境的时刻，所述虚拟平台或者图像程序(如OpenGL等)开始渲染所述虚拟三维模型。例如在一种具体的实施例中，所述虚拟平台或者所述图像程序可以分别对双眼所看到的虚拟三维模型进行体绘制，然后基于模拟双眼的立体视差(stereo)效果进行体渲染。需要说明的是，实时渲染相对于非实时渲染需要较快的帧渲染速度，例如，在本实施例中，所述帧渲染速度可以至少达到双眼180帧/s，即单眼90帧/s时才不会造成用户的眩晕感，因此，渲染所述虚拟三维模型的设备可以具有性能较高的显卡。另外，在进行图像扫描时，需要具有较快的扫描速度，以节省扫描时间，具体地，可以通过设置针对医学图像的优化扫描算法等方式解决，本申请在此不做限制。

如图1所示的流程图，在构建完成所述虚拟三维模型之后，可以对所述虚拟三维模型进行各种操作。图4是本申请提供的所述虚拟三维模型的操作系统400的系统框图，如图4所示，所述操作系统400可以包括主机系统401、显示模块403、跟踪模块405以及控制模块407。其中，所述主机系统401可以包括智能手机、PC、视频游戏机等设备，所述设备上可以安装有Unity 3D、Unreal Engine、Cry Engine等虚拟平台。所述显示模块403与所述主机系统401相耦合，例如可以包括头戴式VR显示设备，如HTC Vive头显等，还可以包括虚拟教室等。所述跟踪模块405与所述显示模块403相耦合，用于确定用户所在的位置，以及确定用户所使用辅助工具所在的位置。所述跟踪模块405中可以包括摄像头、红外线等装置，本实施例中，所述跟踪模块405可以包括下述中的一种：机械式跟踪器、电磁式跟踪器、超声波跟踪器、惯性跟踪器、光学跟踪器、视觉跟踪器等。所述跟踪模块405可以被耦合至所述显示模块403的内部，也可以作为单独的外部设备，本申请在此不做限制。所述控制模块407可以包括所述辅助工具，如所述射线笔、触控板、手柄、感应手套等，用于对所述虚拟三维模型进行控制、操作等。

在其他实施例中，所述控制模块407中还可以包括触觉反馈模块，所述触觉反馈模块可以用于当用户接触所述虚拟三维模型时，设置所述控制模块407可以得到适当的力反馈，使得用户感受到所述虚拟三维模型的质感和力度阻挡感。

下面通过几个示例性的场景说明上述对所述虚拟三维模型的操作。

在一个示例中，骨科医生小王医生需要对某患者的颈椎进行诊疗，在诊疗过程中，小王医生发现通过简单的二维CT图像无法确定该患者的具体病情。因此，小王医生决定构建该患者的头骨虚拟三维模型，以进行进一步地诊断。首先，小王医生通过计算机断层扫描仪(CT)对该患者的头部进行断层扫描，共获取到200张层厚为1.25mm的CT图像。小王医生将200张CT图像输入至构建三维虚拟模型的软件中，并选择获取头骨的虚拟三维模型。所述软件中设置有如图1所示的方法流程的计算机程序，根据所述计算机程序，分析得到头骨的生物特征是立体感强，定位测量相对困难。根据预先设置的算法，经过匹配发现，表面遮盖显示算法(SDD)具有立体感较强，有利于病变的定位和测量的优势。因此，可以选择利用SDD算法对患者的头骨模型进行三维重建。此后，根据所述计算机程序或者人工操作，将三维重建得到的头骨三维模型数据输入至虚拟平台中进行渲染，得到如图5所示的头骨虚拟三维模型。

如图5所示，当小王医生需要观看所述头骨虚拟三维模型的图像时，可以佩戴显示模块403，如头戴式VR眼镜等。在展示所述头骨虚拟三维模型的图像时，可以将所述图像展示于画布501上，这样，小王医生的双目视感可以如图5的左上角所示。小王医生可以左手捧着控制模块407，如图5所示的触控板等，例如，所述触控板大小为37厘米*27厘米，质量轻，操作简便。小王医生可以在所述触控板上进行点击、滑动等操作以控制所述头骨虚拟三维模型的旋转、移动、测距、测角、切割、开窗等操作。

通过上述示例，可以发现，选取适合于目标器官和/或组织的三维重建方式，有助于显示出成像质量较高的虚拟三维模型的图像。这样，医生在虚拟环境中对所述虚拟三维模型进行操作时，可以身临其境地观看目标器官和/或组织，准确地发现患者的病灶，及时地为患者提供治疗方案，提高诊疗效率，减轻患者的痛苦。

在另一个示例中，妇科医生小张医生需要对李女士进行孕检，但是，李女士夫妇觉得通过简单的二维B超图像不能形象地观看到子宫内胎儿的具体状况。小张医生提议医院可以提供观看子宫虚拟三维模型的服务，李女士夫妇欣然答应，表示愿意购买该服务。于是，小张医生获取到李女士子宫的300张二维切片图，然后将300张二维切片图像输入至构建三维虚拟模型的软件中，并选择获取子宫的虚拟三维模型。同样地，所述软件中设置有如图1所示的方法流程的计算机程序，根据所述计算机程序，分析得到子宫在孕期时的生物特征是内部结构复杂、胎儿尺寸较小。根据预先设置的算法，经过匹配发现，容积再现算法(VRT)具有对不同CT值的组织、器官赋予不同的亮度、颜色，对于复杂结构的成像有一定优势，同时对胎儿的成像也足够生动形象。因此，可以选择利用VRT算法对李女士的子宫模型进行三维重建。此后，根据所述计算机程序或者人工操作，将三维重建得到的子宫三维模型数据输入至虚拟平台中进行渲染，得到如图6所示的子宫虚拟三维模型。

在观看所述子宫虚拟三维模型时，小张医生和李女士夫妇均戴上了VR眼镜，小张医生的左手戴了感应手套，所述感应手套上安装有力反馈传感器，因此，小张医生可以手持所述子宫虚拟三维模型。所述如图6所示，李女士夫妇在小张医生的指点下，可以清楚地观看到李女士子宫内的结构以及胎儿的状况。

上述示例中，医院可以为用户提供观看虚拟三维模型的服务，那么用户可以通过所述三维模型了解身体内部器官或者组织，尤其如胎儿的检查等，不仅可以帮助医生及时、准确地检查胎儿的健康状况，还可以帮助用户了解到胎儿的生长状态等。

在另一个示例中，骨科医生小王医生需要对患者的肋骨进行诊断，但是患者的病情较为复杂，肋骨及其周边的部分组织可能发生病变。在进行三维重建时，小王医生选择肋骨和部分组织的成像，计算机程序根据图1所示的流程，选择采用VRT算法对所述肋骨和周边组织进行成像。所述肋骨和周边组织的虚拟三维模型的图像如图7所示，小王医生可以通过手柄407对所述虚拟三维模型进行操作，如旋转、移动、测距、测角、切割、开窗等操作。如图7所示，小王医生可以通过手柄407夹持虚拟切割平面对所述虚拟三维模型进行任意角度的切割。本示例中，通过所述虚拟切割平面不仅可以获取所述虚拟三维模型的解剖图像，还可以获取所述虚拟三维模型任意截面的CT图像等。另外，在观看图像的同时，还可以实时保存所述解剖图像或者所述CT图像等。

下面结合附图9对本申请所述的虚拟环境中人体三维模型构建方法进行说明。图9是本申请提供的虚拟环境中人体三维模型构建方法的一种实施例的方法流程示意图。虽然本申请提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑性上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。所述方法在实际中的虚拟环境中人体三维模型构建过程中，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

具体的本申请提供的虚拟环境中人体三维模型构建方法的一种实施例如图9所示，所述方法可以包括：

S91：获取目标人体组织和/或器官的二维切片图像序列；

S92：确定与所述目标人体组织和/或器官的生物特征相匹配的三维模型重建方式；

S93：利用所述三维模型重建方式对所述二维切片图像序列进行重建，生成所述目标人体组织和/或器官的虚拟三维模型。

有关于上述方法步骤的实施方式请参考上述实施例和示例，在此不再赘述。

本申请提供的虚拟环境中人体三维模型构建方法，可以选取与目标人体组织和/或器官的生物特征相匹配的三维模型重建方式对所述目标人体组织和/或器官进行虚拟三维模型重建。由于不同的三维重建方法具有各自的成像特征，也适用于不同人体组织或器官的三维重建。反之，不同的人体组织或器官具有各自的生物特性，那么，可以对根据所述生物特性进行分析，获取得到目标人体组织和/或器官的成像要求，则可以根据所述成像要求获取满足所述成像要求的三维重建方法。本申请实施例可以根据各个器官和/或组织的生物特征，选取适合于所述器官和/或组织的三维重建方法，这样，可以提高后续所述器官和/或组织在虚拟空间中的成像精度，便于医生身临其境地观看目标器官和/或组织，准确地发现患者的病灶，及时地为患者提供治疗方案，提高诊疗效率，减轻患者的痛苦。

可选的，在本申请的一个实施例中，所述利用与所述目标人体组织和/或器官的特征相匹配的三维模型重建方式对所述二维切片图像序列进行虚拟三维模型重建可以包括：

获取所述目标人体组织和/或器官的生物特征；

根据所述生物特征获取目标人体组织和/或器官的成像要求；

获取能够满足所述成像要求的三维模型重建方式；

利用所述三维模型重建方式对所述二维切片图像序列进行虚拟三维模型重建。

可选的，在本申请的一个实施例中，所述生物特征可以包括下述中的至少一种：形状、位置、尺寸、密度、曲度、与相邻组织和/或器官的密度差异值、与相邻组织和/或器官的位置关系。

可选的，在本申请的一个实施例中，所述三维模型重建方式可以包括下述中的至少一种：多平面重建法、曲面重建法、多层面容积重建法、表面遮盖显示法、仿真内窥镜成像法、容积再现法。

可选的，在本申请的一个实施例中，所述利用与所述目标人体组织和/或器官的特征相匹配的三维模型重建方式对所述二维切片图像序列进行虚拟三维模型重建可以包括：

获取所述目标人体组织和/或器官的生物特征；

根据所述生物特征获取目标人体组织和/或器官的成像特征；

根据所述成像特征设置所述二维切片图像序列特征参数的提取阈值范围；

根据所述特征参数的提取阈值范围对所述二维切片图像序列进行特征提取，并对特征提取后的二维切片图像序列进行虚拟三维模型重建。

本实施例中，还可以根据所述目标人体组织和/或器官的成像特征，设置所述二维切片图像序列特征参数的提取阈值范围。在二维切片图像中，可以包括多种特征参数，如灰度、颜色、纹理等，不同器官或者组织的灰度、颜色、纹理等特征参数值是不同的，因此，可以通过设置不同的阈值范围可以将相应的器官和/或组织提取出来。例如基于灰度值的阈值分割提取，可以使不同器官或者组织轻松地从原始的二维切片图像中独立出来。这样，就可以更加智能化地对所述二维切片图像序列进行提取，生成更加准确、生动的三维模型。

可选的，在本申请的一个实施例中，所述特征参数可以包括下述中的至少一种：灰度、颜色、纹理。

可选的，在本申请的一个实施例中，所述二维切片图像序列可以包括下述中的至少一种：计算机断层扫描图像序列、核磁共振图像序列、磁共振动脉成像集、磁共振静脉成像集、光学相干断层扫描图像序列。

可选的，在本申请的一个实施例中，所述利用与所述目标人体组织和/或器官的特征相匹配利用所述三维模型重建方式对所述目标人体组织和/或器官进行三维重建，生成所述目标人体组织和/或器官的三维模型；

基于虚拟环境渲染所述三维模型，生成所述目标人体组织和/或器官的虚拟三维模型。

可选的，在本申请的一个实施例中，所述方法还可以包括：

将所述虚拟三维模型展示于虚拟环境中，生成虚拟三维模型图像；

在所述虚拟环境中对所述虚拟三维模型图像进行操作。

可选的，在本申请的一个实施例中，所述在所述虚拟环境中对所述虚拟三维模型图像进行的操作可以包括下述中的至少一种：旋转、标记、测距、测角、开窗、解剖、模拟手术、分离出部分器官或者组织。

可选的，在本申请的一个实施例中，所述获取目标人体组织和/或器官的二维切片图像序列可以包括：

按照预设步长对目标人体组织和/或器官进行连续断层扫描，生成图像厚度为所述预设步长的二维切片图像序列。

本申请另一方面还提供一种虚拟环境中人体三维模型构建系统，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时可以实现：

获取目标人体组织和/或器官的二维切片图像序列；

确定与所述目标人体组织和/或器官的生物特征相匹配的三维模型重建方式；

利用所述三维模型重建方式对所述二维切片图像序列进行重建，生成所述目标人体组织和/或器官的虚拟三维模型。

可选的，在本申请的一个实施例中，所述处理器在实现步骤确定与所述目标人体组织和/或器官的生物特征相匹配的三维模型重建方式时可以包括：

获取所述目标人体组织和/或器官的生物特征；

根据所述生物特征获取目标人体组织和/或器官的成像要求；

获取能够满足所述成像要求的三维模型重建方式。

可选的，在本申请的一个实施例中，所述生物特征可以包括下述中的至少一种：形状、位置、尺寸、密度、曲度、与相邻组织和/或器官的密度差异值、与相邻组织和/或器官的位置关系。

可选的，在本申请的一个实施例中，所述三维模型重建方式可以包括下述中的至少一种：多平面重建法、曲面重建法、多层面容积重建法、表面遮盖显示法、仿真内窥镜成像法、容积再现法。

可选的，在本申请的一个实施例中，所述处理器在实现步骤确定与所述目标人体组织和/或器官的生物特征相匹配的三维模型重建方式时可以包括：

获取所述目标人体组织和/或器官的生物特征；

根据所述生物特征获取目标人体组织和/或器官的成像特征；

根据所述成像特征设置所述二维切片图像序列特征参数的提取阈值范围；

根据所述特征参数的提取阈值范围对所述二维切片图像序列进行特征提取。

可选的，在本申请的一个实施例中，所述特征参数可以包括下述中的至少一种：灰度、颜色、纹理。

可选的，在本申请的一个实施例中，所述二维切片图像序列可以包括下述中的至少一种：计算机断层扫描图像序列、核磁共振图像序列、磁共振动脉成像序列、磁共振静脉成像序列、光学相干断层扫描图像序列。

可选的，在本申请的一个实施例中，所述处理器在实现步骤利用所述三维模型重建方式对所述二维切片图像序列进行虚拟三维模型重建，生成所述目标人体组织和/或器官的虚拟三维模型时可以包括：

利用所述三维模型重建方式对所述目标人体组织和/或器官进行三维重建，生成所述目标人体组织和/或器官的三维模型；

基于虚拟环境渲染所述三维模型，生成所述目标人体组织和/或器官的虚拟三维模型。

可选的，在本申请的一个实施例中，所述处理器在实现步骤利用所述三维模型重建方式对所述二维切片图像序列进行虚拟三维模型重建，生成所述目标人体组织和/或器官的虚拟三维模型之后，还可以包括：

将所述虚拟三维模型展示于虚拟环境中，生成虚拟三维模型图像；

在所述虚拟环境中对所述虚拟三维模型图像进行操作。

可选的，在本申请的一个实施例中，所述在所述虚拟环境中对所述虚拟三维模型图像进行的操作可以包括下述中的至少一种：旋转、标记、测距、测角、开窗、解剖、模拟手术、分离出部分器官或者组织。

可选的，在本申请的一个实施例中，所述处理器在实现步骤获取目标人体组织和/或器官的二维切片图像序列时可以包括：

按照预设步长对目标人体组织和/或器官进行连续断层扫描，生成图像厚度为所述预设步长的二维切片图像序列。

需要说明的是，本申请各个实施例提到在虚拟环境中构建人体三维模型，当然，在其他实施例中，还可以在虚拟环境中构建生物体的三维模型，所述生物体不仅可以包括人体，还可以包括动物(如猫咪、小狗、昆虫等)、植物、微生物等。

尽管本申请内容中提到实施例中的生成三维模型重建、图像特征提取、展示虚拟三维模型等之类的数据展示、处理描述，但是，本申请并不局限于必须是完全符合行业编程语言设计标准或实施例所描述的数据展示、处理的情况。某些页面设计语言或实施例描述的基础上略加修改后的实施方案也可以实行上述实施例相同、等同或相近、或变形后可预料的实施效果。当然，即使不采用上数据处理、展示的方式，只要符合本申请上述各实施例的三维模型重建、图像特征提取、展示虚拟三维模型方式，仍然可以实现相同的申请，在此不再赘述。

虽然本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

上述实施例阐明的模块，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现。当然，本申请中所述的某一单元模块也可以将实现同一功能的模块由多个子模块或子模块的组合实现。

本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，移动终端，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

虽然通过实施例描绘了本申请，本领域普通技术人员知道，本申请有许多变形和变化而不脱离本申请的精神，希望所附的权利要求包括这些变形和变化而不脱离本申请的精神。

Claims (23)

1.一种虚拟环境中人体三维模型构建方法，其特征在于，所述方法包括：

获取目标人体组织和/或器官的二维切片图像序列；

确定与所述目标人体组织和/或器官的生物特征相匹配的三维模型重建方式；

利用所述三维模型重建方式对所述二维切片图像序列进行重建，生成所述目标人体组织和/或器官的虚拟三维模型。

2.根据权利要求1所述的方法，其特征在于，所述确定与所述目标人体组织和/或器官的生物特征相匹配的三维模型重建方式包括：

获取所述目标人体组织和/或器官的生物特征；

根据所述生物特征获取目标人体组织和/或器官的成像要求；

获取能够满足所述成像要求的三维模型重建方式。

3.根据权利要求2所述的方法，其特征在于，所述生物特征包括下述中的至少一种：形状、位置、尺寸、密度、曲度、与相邻组织和/或器官的密度差异值、与相邻组织和/或器官的位置关系。

4.根据权利要求1-3任意一项所述的方法，其特征在于，所述三维模型重建方式包括下述中的至少一种：多平面重建法、曲面重建法、多层面容积重建法、表面遮盖显示法、仿真内窥镜成像法、容积再现法。

5.根据权利要求1所述的方法，其特征在于，所述确定与所述目标人体组织和/或器官的生物特征相匹配的三维模型重建方式包括：

获取所述目标人体组织和/或器官的生物特征；

根据所述生物特征获取目标人体组织和/或器官的成像特征；

根据所述成像特征设置所述二维切片图像序列特征参数的提取阈值范围；

根据所述特征参数的提取阈值范围对所述二维切片图像序列进行特征提取。

6.根据权利要求5所述的方法，其特征在于，所述特征参数包括下述中的至少一种：灰度、颜色、纹理。

7.根据权利要求1-3任意一项所述的方法，其特征在于，所述二维切片图像序列包括下述中的至少一种：计算机断层扫描图像序列、核磁共振图像序列、磁共振动脉成像序列、磁共振静脉成像序列、光学相干断层扫描图像序列。

8.根据权利要求1所述的方法，其特征在于，所述利用所述三维模型重建方式对所述二维切片图像序列进行虚拟三维模型重建，生成所述目标人体组织和/或器官的虚拟三维模型包括：

利用所述三维模型重建方式对所述目标人体组织和/或器官进行三维重建，生成所述目标人体组织和/或器官的三维模型；

基于虚拟环境渲染所述三维模型，生成所述目标人体组织和/或器官的虚拟三维模型。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述虚拟三维模型展示于虚拟环境中，生成虚拟三维模型图像；

在所述虚拟环境中对所述虚拟三维模型图像进行操作。

10.根据权利要求9所述的方法，其特征在于，所述在所述虚拟环境中对所述虚拟三维模型图像进行的操作包括下述中的至少一种：旋转、标记、测距、测角、开窗、解剖、模拟手术、分离出部分器官或者组织。

11.根据权利要求1所述的方法，其特征在于，所述获取目标人体组织和/或器官的二维切片图像序列包括：

按照预设步长对目标人体组织和/或器官进行连续断层扫描，生成图像厚度为所述预设步长的二维切片图像序列。

12.一种虚拟环境中人体三维模型构建系统，其特征在于，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现：

获取目标人体组织和/或器官的二维切片图像序列；

确定与所述目标人体组织和/或器官的生物特征相匹配的三维模型重建方式；

利用所述三维模型重建方式对所述二维切片图像序列进行重建，生成所述目标人体组织和/或器官的虚拟三维模型。

13.根据权利要求12所述的系统，其特征在于，所述处理器在实现步骤确定与所述目标人体组织和/或器官的生物特征相匹配的三维模型重建方式时包括：

获取所述目标人体组织和/或器官的生物特征；

根据所述生物特征获取目标人体组织和/或器官的成像要求；

获取能够满足所述成像要求的三维模型重建方式。

14.根据权利要求13所述的系统，其特征在于，所述生物特征包括下述中的至少一种：形状、位置、尺寸、密度、曲度、与相邻组织和/或器官的密度差异值、与相邻组织和/或器官的位置关系。

15.根据权利要求12-14任意一项所述的系统，其特征在于，所述三维模型重建方式包括下述中的至少一种：多平面重建法、曲面重建法、多层面容积重建法、表面遮盖显示法、仿真内窥镜成像法、容积再现法。

16.根据权利要求12所述的系统，其特征在于，所述处理器在实现步骤确定与所述目标人体组织和/或器官的生物特征相匹配的三维模型重建方式时包括：

获取所述目标人体组织和/或器官的生物特征；

根据所述生物特征获取目标人体组织和/或器官的成像特征；

根据所述成像特征设置所述二维切片图像序列特征参数的提取阈值范围；

根据所述特征参数的提取阈值范围对所述二维切片图像序列进行特征提取。

17.根据权利要求16所述的系统，其特征在于，所述特征参数包括下述中的至少一种：灰度、颜色、纹理。

18.根据权利要求12-14任意一项所述的系统，其特征在于，所述二维切片图像序列包括下述中的至少一种：计算机断层扫描图像序列、核磁共振图像序列、磁共振动脉成像序列、磁共振静脉成像序列、光学相干断层扫描图像序列。

19.根据权利要求12所述的系统，其特征在于，所述处理器在实现步骤利用所述三维模型重建方式对所述二维切片图像序列进行虚拟三维模型重建，生成所述目标人体组织和/或器官的虚拟三维模型时包括：

利用所述三维模型重建方式对所述目标人体组织和/或器官进行三维重建，生成所述目标人体组织和/或器官的三维模型；

基于虚拟环境渲染所述三维模型，生成所述目标人体组织和/或器官的虚拟三维模型。

20.根据权利要求12所述的系统，其特征在于，所述处理器在实现步骤利用所述三维模型重建方式对所述二维切片图像序列进行虚拟三维模型重建，生成所述目标人体组织和/或器官的虚拟三维模型之后，还包括：

将所述虚拟三维模型展示于虚拟环境中，生成虚拟三维模型图像；

在所述虚拟环境中对所述虚拟三维模型图像进行操作。

21.根据权利要求20所述的系统，其特征在于，所述在所述虚拟环境中对所述虚拟三维模型图像进行的操作包括下述中的至少一种：旋转、标记、测距、测角、开窗、解剖、模拟手术、分离出部分器官或者组织。

22.根据权利要求12所述的系统，其特征在于，所述处理器在实现步骤获取目标人体组织和/或器官的二维切片图像序列时包括：

按照预设步长对目标人体组织和/或器官进行连续断层扫描，生成图像厚度为所述预设步长的二维切片图像序列。

23.一种虚拟环境中生物体三维模型的构建方法，其特征在于，所述方法包括：

获取目标生物体的组织和/或器官的二维切片图像序列；

确定与所述目标生物体的组织和/或器官的生物特征相匹配的三维模型重建方式；

利用所述三维模型重建方式对所述二维切片图像序列进行重建，生成所述目标生物体的组织和/或器官的虚拟三维模型，用于呈现在所述虚拟环境中。