CN109410337A - 一种基于vr模型的人工智能医疗系统实现方法、系统 - Google Patents

Abstract

本发明公开了一种基于VR模型的人工智能医疗系统实现方法、系统，方法包括：S1导入CT影像文件，S2根据所述CT影像文件图像重建，并提取得到空间信息，S3图像重建后输入CNN卷积神经网络得到相应患处的图像分割，S4按照所述空间信息生成曲面模型，S5将曲面模型导入虚拟现实环境，S6在所述虚拟现实环境中实时渲染出结果。通过本发明可进一步在此模型上进行模拟各种治疗手段的操作，改变了现有技术中的医疗影像阅片方式，进行手术规划，从而大幅度降低治疗的风险。本发明采用基于神经卷积网络的人工智能算法，能够准确、更有效、更具有可分性的筛选并分割出患处图像。

Description

一种基于VR模型的人工智能医疗系统实现方法、系统

技术领域

本发明涉及VR虚拟现实领域和人工智能领域，特别涉及一种基于VR模型的人工智能医疗系统实现方法、系统。

背景技术

VR技术是人类对突破自身局限的美好愿望的一种尝试。它最大的价值就是让眼见为实变成眼见为虚。目前，VR和治疗结合的应用有很多，首先是心理治疗，VR最大的特点是环境再现，而环境对人最大的作用就是心理作用。很多心理治疗师和精神专家常用的方式是通过在治疗过程中去引导患者回忆或者想象场景，以此来达到治疗的目的。这种方式的缺点是患者的想象和回忆难于把控，所以效果很难评估。VR的好处在于它能够让这种环境场景变得可视化和标准化。因此在心理治疗领域，比如说创伤应急、障碍症、恐惧症、自闭症、恐高症、幽闭症、公开演讲恐惧症、密集恐惧症等都可以通过VR技术的环境再现以达到治疗的目的。再比如说，焦虑症、注意力缺陷以及精神分裂症也可以通过VR来虚拟特定的人或是特效来改善相关的一些症状。

比如，2015年，美国路易斯维尔大学的精神病专家首次利用虚拟现实来帮助患者克服恐惧症，为幽闭症患者创建一个可控的模拟环境，使患者可以打破逃避心理面对他的恐惧。又比如，在美国的德克萨斯州，有一个叫达拉斯的教授创建了一个培训项目——帮助自闭症儿童学习社会技能。这个项目利用大脑成像和脑电波监测技术，用虚拟现实呈现小孩子常见的学习、社交、工作方面的情形，帮助他们了解社会状况，使他们的情感表达更具社会认可，能更好地融入社会。通过让这些参与测试的儿童进行脑部扫描，发现经过VR培训后这些自闭症孩子对社会的理解能力有所提高，从而得出结论，VR技术对于自闭症孩子是有一定帮助的。

VR和治疗结合的应用还包括：跟视觉相关的。VR本身是直接作用于人的视觉，视觉治疗方案与VR技术很容易匹配。VR在治疗眼部的疾病，比如儿童的斜视、近视以及立体视力的缺陷上有很好的效果。另外，烧伤后的疼痛管理。对于烧伤患者而言，疼痛是一个不得不面临的问题，医生希望通过虚拟现实的技术来分散患者的注意力，帮助他们处理疼痛。比如，美国的华盛顿大学就推出了一款虚拟现实的游戏，这个游戏虚拟了南极洲的冰雪环境，患者可以与企鹅进行互动，也可以听音乐，通过环境来抑制疼痛感，阻碍大脑中的通路，以此减轻治疗过程中的疼痛。此外，美国军方对爆炸烧伤的士兵也做过测试，用分散注意力的方式来止痛效果甚至好于吗啡。再比如说，幻肢症对于截肢患者来说是一个常见的医疗问题，很多人因为没有手臂，会感觉自己一直紧握拳头无法放松。以前都是用镜像的治疗方法来解决幻肢的问题，也就是让患者看见自己健康的镜像，这样有可能使大脑与真实的幻肢运动同步，从而去缓解疼痛。

人工智能对于医疗健康领域中的应用已经非常广泛，从应用场景来看主要分成了虚拟助理、医学影像、药物挖掘、营养学、生物技术、急救室/医院管理、健康管理、精神健康、可穿戴设备、风险管理和病理学。医疗机器人机器人技术在医疗领域的应用并不少见，比如智能假肢、外骨骼和辅助设备等技术修复人类受损身体，医疗保健机器人辅助医护人员的工作等。

人工智能在生物科技领域的应用包括：通过收集人们各种各样的生物数据，然后在这个数据基础上建立一个人工智能的内核模型，然后把它对接起来，做这样一个整合。主要利用人工智能技术处理这些数据，帮助人们做健康管理。比如，国内的公司碳云智能的数据来源包括两部分，一部分靠自己的技术能力获取，一部分靠合作伙伴获取。靠该团队的核心技术获取的有基因数据、微生物数据(肠道、口腔、皮肤等)、蛋白及代谢数据(尿液、汗液、血液等)等。碳云智能要做的事情主要是将生物技术、生命大数据、人工智能和互联网+结合起来。

人工智能在急救室/医院管理领域的应用包括：在大型医院中，急诊科的管理往往非常混乱。从普通连锁医院到顶尖医疗机构，管理者和前线的医护人员每天面对数以千计的诸如怎么配备人员、手术室、占用时间预估问题，整个管理和看病流程效率偏低，对医生经验非常要求高。目前，一家名叫 AnalyticsMD的公司开发符合HIPAA标准的SaaS，已经使用在了旧金山的医疗机构。它从美国政府医疗网站收集详细数据，美国所有接受医疗保险以及医疗补助基金的医疗机构数据都汇聚于此。利用实时分析的saas平台分析这些数据，可输出辅助性的推荐信息，帮助医院管理者、医护人员决策。

人工智能在健康管理领域的应用包括：生命数据化有不同维度的数据：基因数据、生理数据(比如血压、脉搏)、环境数据(比如每天呼吸的空气)、社交数据、蛋白数据等。有了生命科学大数据，加上人工智能最终可以实现人们对健康的前瞻性管理。目前，一家名叫Welltoks的一家健康管理公司，主要关注个人健康管理和生活习惯提升，它本身不仅做健康数据分析或者专业健康管理建议，还将此作为平台切入点，接入其他服务商，比如硬件、保险公司、内容、应用等，同时帮助一些群体健康管理公司提供管理办法。

人工智能精神健康领域的应用包括：一个是针对正常人的应用，一个是针对有精神疾病的患者的应用。对于我们普通人来说，人工智能在精神健康方面最大的用处就是情绪识别能力。情绪识别主要是通过收集人的外在表情和行为变化，对人的心理状态进行推断。能通过面部表情、声音、行为、心率、甚至笔迹，来判断人的情绪变化。最常规的方式通过摄像头来捕捉记录人们的表情，并通过面部表情的变化，分析判断出人的情绪是高兴、生气、厌恶还是困惑等。另一种方式是通过人的声音，说话声音的高低、语速、口气词汇的变化进行智能识别。

现有技术中，也有一些解决方法，比如，中国专利申请CN201610891628.4，一种基于VR技术的医疗手术模拟仿真系统，包括：数据库存储单元：其存储有多种医疗器械的模型元素信息、对应该医疗器械的性能信息和涉及到该医疗器械的手术类型信息。场景构建单元：在虚拟环境区域调取数据库存储单元内的数据信息将每个医疗手术对应的全部操作过程进行图像视频编辑和虚拟现实成像单元。但是缺点在于：场景建模方式单一，主要针对医疗器械进行仿真建模，用户沉浸感较差。

又比如，中国专利申请CN201620169337.X，一种虚拟现实医疗系统，包括：储存单元，储存特定部位的三维模型影像资料；显示单元，接收储存单元的影像资料，以显示特定部位的影像；三维视觉成像单元，供使用者就显示单元显示的影像产生三维视觉成像效果；输入单元，接收使用者针对显示单元的影像而输入预定的进刀方式信息，并将该信息输出至该显示单元；运算单元，输入单元接收预定进刀方式的信息并配合所述储存单元储存的三维模型影像资料，并运算相应的预定进刀方，得出手术模拟结果，并将模拟结果输出并显示在显示单元。但是缺点在于：缺少了机器自学习过程，使得医疗系统需要重复建模、计算操作，智能性较差。

再比如，中国专利申请CN201611148112.7，一种基于虚拟现实的医疗设备操控系统，包括有中央处理器，分别与中央处理器连接的虚拟现实交互模块、存储器和第一无线通信模块，以及医疗设备智能控制器；医疗设备智能控制器包括有可编程逻辑控制器，分别与可编程逻辑控制器连接的第二无线通信模块、 A/D转换器和D/A转换器，以及与A/D转换器连接的模拟量采集模块，与D/A 转换器连接的模拟量输出模块；第二无线通信模块与第一无线通信模块无线通信连接。但是缺点在于：交互模块缺乏三维模型的关键步骤，无法实现三维可视化。

发明内容

本发明要解决的技术问题是，解决自主学习较差、三维可视化效果不佳的医疗方式，提供一种自主学习能力较强、三维模型可视化效果佳且具有伪彩编辑功能的基于VR模型的人工智能医疗方法。

解决上述技术问题，本发明提供了一种基于VR模型的人工智能医疗系统实现方法，包括如下步骤：

S1导入CT影像文件，

S2根据所述CT影像文件图像重建，并提取得到空间信息，

S3图像重建后输入CNN卷积神经网络得到相应患处的图像分割，

S4按照所述空间信息生成曲面模型，

S5将曲面模型导入虚拟现实环境，

S6在所述虚拟现实环境中实时渲染出结果。

更进一步，所述S4之后还包括如下步骤：

S41对所述曲面模型进行伪彩处理，

S42自定义编辑伪彩处理，

S43按照标准格式进行储存。

更进一步，所述S2采用中滤波反投影算法、迭代重建算法、有序子集算法中的任一一种或者多种算法进行图像重建。

更进一步，所述S3中的CNN卷积神经网络基于一多层的神经网络，每个神经元采用sigmoid函数，包括：

交替作用的卷积层和下采样层，全连接层以及Softmax分类层，

应用随机梯度下降法最小化损失函数训练所述神经网络，

反向逐层调节并求解上述神经网络的权重参数。

更进一步，所述S4生成曲面模型采用OpenGL的API。

基于上述，本发明还提供了一种基于VR模型的人工智能医疗系统，包括：影像文件单元、图像重建单元、卷积神经网络单元、曲面模型单元、三维模型单元、

所述影像文件单元，用以导入CT影像文件，

所述图像重建单元，用以根据所述CT影像文件图像重建，并提取得到空间信息，

所述卷积神经网络单元，用以图像重建后输入CNN卷积神经网络得到相应患处的图像分割，

所述曲面模型单元，用以按照所述空间信息生成曲面模型，

所述三维模型重建单元，用以将曲面模型导入虚拟现实环境，并在所述虚拟现实环境中实时渲染出结果。

更进一步，所述三维模型重建单元包括：模型拆解模块、模型组合模块、模型分类模块、模型伪彩编辑模块，

所述模型拆解模块，用以拆解三维模型中可拆分的患病部位，

所述模型组合模块，用以组合三维模型中的患病部位，

所述模型分类模块，用以分类三维模型的对应的患病部位，

所述模型伪彩编辑模块，用以编辑三维模型的伪彩处理方式。

更进一步，系统还包括：DICOM处理单元，用以提供医疗需要的用于数据交换的统一医学图像格式的云储存空间。云储存空间将医疗图像按照统一格式DICOM进行储存，并可用以CNN卷积神经网络进行图像分割处理时进行调用以及伪彩处理时进行调用。

更进一步，系统还包括：体绘制单元，所述体绘制单元用以基于图像空间扫描的绘制或者基于物体空间扫描的绘制。

更进一步，系统还包括VR环境浏览单元，包括：VR眼镜、VR头盔、VR 投影机中的一种或者多种VR设备。

本发明的有益效果：

本发明中的基于VR模型的人工智能医疗系统实现方法，由于包括：步骤 S1导入CT影像文件，S2根据所述CT影像文件图像重建，并提取得到空间信息，能够根据患者的影像检查资料，比如CT影像，提取得到空间信息用以三维模型重建。由于包括步骤S3图像重建后输入CNN卷积神经网络得到相应患处的图像分割，S4按照所述空间信息生成曲面模型，通过上述步骤能够生成曲面模型，同时通过CNN神经卷积网络实现相应患处的图像的，从而实现机器自学习的人工智能目的。由于还包括步骤：S5将曲面模型导入虚拟现实环境， S6在所述虚拟现实环境中实时渲染出结果，能够实时输出渲染后的3D模型，医生可进一步在此模型上进行模拟各种治疗手段的操作，改变了现有技术中的医疗影像阅片方式，进行手术规划，从而大幅度降低治疗的风险。

更进一步，通过渲染出结果的3D模型，可用于向病人或家属解释病情同时演示对于患处的治疗方案，更加便于取得用户的理解和信任。

更进一步，本发明中的方法还能够使用到心理治疗中。VR技术的安全和有效地帮助当事人聚焦行为，体验不同自我，挑战原有假设，因此，在心理治疗中使用VR技术，可有效支持当事人，增强当事人在咨询情境中和咨询情境外的自我效能感。

更进一步，本发明中的系统还能够应用到VR整形手术方向，由于本发明能够技术3D扫描、模型重建过程，并基于3D扫描技术的患者面部模型重建；最后采用三维图形技术对模型进行编辑，变形、切割、在模型之上展示术后效果。所以，本发明的系统进行面部模型重建过程十分简单，从开始扫描到模型成型不足1分钟，可以100％还原患者面部特征和皮肤质感，对模型各部位自由编辑。此外，可基于骨骼、肌肉与皮肤信息关联；基于3D模型进行面部整形手术(削骨、垫鼻)手术全程模拟。

本系统应用范围较广，比如可以是整形医院为客户定制手术效果预览，客户可以从整形大数据中挑选不同手术方案，在虚拟的面部进行试验。

附图说明

图1是本发明一实施例中的方法流程示意图；

图2是图1中的优选实施方式的流程示意图；

图3是本发明一实施例中的系统结构示意图；

图4是图3中的三维模型重建单元结构示意图；

图5是本发明一优选实施例中的系统结构示意图。

具体实施方式

现在将参考一些示例实施例描述本公开的原理。可以理解，这些实施例仅出于说明并且帮助本领域的技术人员理解和实施例本公开的目的而描述，而非建议对本公开的范围的任何限制。在此描述的本公开的内容可以以下文描述的方式之外的各种方式实施。

如本文中所述，术语“包括”及其各种变体可以被理解为开放式术语，其意味着“包括但不限于”。术语“基于”可以被理解为“至少部分地基于”。术语“一个实施例”可以被理解为“至少一个实施例”。术语“另一实施例”可以被理解为“至少一个其它实施例”。

本申请中的CT影像是“X—my Computerized Tomography Scanner”的英文简称，即计算机x线断层扫描摄影术，是近代飞速发展的电子计算机控制技术和X线检查摄影技术相结合的产物。CT于1972年由英国物理学家研制成功，这是x线在放射学中的一大革命。目前CT检查已成为医学诊断中不可缺少的设备。CT是从x线机发展而来的，但其分辨率和定性诊断准确率大大高于一般x线机，从而开阔了x线检查的适应范围。Cr是用x线束对人体的某一部分按一定厚度的层面进行扫描，当x线射向人体组织时，部分射线被组织吸收，部分射线穿过人体被检测器官接收，产生信号。

在本申请中的图像重建是指，因为人体各种组织的疏密程度不同，x线的穿透能力不同，所以检测器接收到的射线就有了差异。将所接收的这种有差异的射线信号，转变为数字信息后由计算机进行处理，输出到显示的荧光屏上显示出图像，这种图像被称为横断面图像。而如何把这些数字信息在荧光屏上作为图像进行显示即为图像重建。

在本申请中的DICOM(Digital Imaging and Communications in Medicine) 即医学数字成像和通信，是医学图像和相关信息的国际标准(ISO 12052)。它定义了质量能满足临床需要的可用于数据交换的医学图像格式。目前，DICOM 被广泛应用于放射医疗，心血管成像以及放射诊疗诊断设备(X射线，CT，核磁共振，超声等)，并且在眼科和牙科等其它医学领域得到越来越深入广泛的应用。在数以万计的在用医学成像设备中，DICOM是部署最为广泛的医疗信息标准之一。当前大约有百亿级符合DICOM标准的医学图像用于临床使用。

在本申请中的CNN卷积神经网络，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。一般地，CNN的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来。其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构减小了特征分辨率。

本申请中的VR是Virtual Reality的缩写，意为“虚拟现实”，是利用电脑模拟产生一个三维空间的虚拟世界，提供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如同身临其境一般，可以及时、没有限制地观察三度空间内的事物。

本申请中的AR是Augmented Reality的缩写，意为“混合现实”或“增强现实”，指通过电脑技术将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时叠加到了同一个画面或空间。

VR与心理治疗的结合也可以让患者更易于接受,有心理疾病或障碍的人群不愿去面对的现实体验。虚拟现实则能够在心理治疗上为心理医生和患者搭建一个桥梁，使心理治疗能够在虚拟现实的帮助下更好地进行。采用本实施例中的基于VR模型的人工智能医疗系统，当病人被诊断出患有心理焦虑的病症之后，就会被带到一个装有虚拟现实设备的房间里，让患者坐在一个很舒服的椅子上，打开设备，让患者进入到一个崭新的、安详的环境中去，比如森林或海边。如果患者焦虑程度比较深，光融入到景色当中还不能释怀，就需要心理医生的引导，运用心理医生的专业知识，通过虚拟现实设备传导给患者语音信息，配和着身临其景的环境，使得心理焦虑能有一个更好的治疗效果。

请参考图1是本发明一实施例中的方法流程示意图，本实施例中的一种基于VR模型的人工智能医疗系统实现方法，包括如下步骤：

步骤S1导入CT影像文件，

步骤S2根据所述CT影像文件图像重建，并提取得到空间信息，

步骤S3图像重建后输入CNN卷积神经网络得到相应患处的图像分割，

步骤S4按照所述空间信息生成曲面模型，

步骤S5将曲面模型导入虚拟现实环境，

步骤S6在所述虚拟现实环境中实时渲染出结果。

在上述步骤S1需要获得CT医学影像文件，获得的方式包括但不限于，医疗数据库以及与医疗仪器实时对接，实现医学影像文件的实时更新和获取。

在上述步骤S2中需要根据所述CT医学影像文件进行图像重建，作为本实施例中的优选，在所述S2采用中滤波反投影算法、迭代重建算法、有序子集算法中的任一一种或者多种算法进行图像重建。所述的滤波反投影算法，以傅里叶切片定理为基础，能够用快速傅里叶变换，既快速又可信；然而，滤波反投影要求数据是完全的，受噪声影响也较大。一般使用场景在于：快速图像重建。上述迭代重建算法，适合于各种几何学并允许从不完全投影数据和噪声投影数据重建，能够减少金属伪像，更好地处理有限角度的断层成像。常用的迭代算法有包括但不限于：ART、SART、Cimmino’Smethod、DWE和CAV等，但迭代算法重建速度慢。一般使用场景在于：精度要求较高的图像重建。上述有序子集算法大大减少了重建时间，加快了迭代重建的速度。虽然增加子集的数目可以加速迭代收敛，然而子集个数太多会由于子集内缺少统计信息而导致图像质量下降。一般使用场景在于：常规的患处CT医学影像文件的图像重建。

作为本实施例中的优选，上述图像重建的Volume Rendering体绘制包括但不限于：基于图像空间扫描的绘制。

在一些实施例中，基于图像空间扫描的绘制为：光线投射(Ray Casting) 算法，通过对射入观察者眼睛的所有光线，沿着光线路径对所有体元按照颜色和不透明度积分得到最后射出的颜色。

在一些实施例中基于图像空间扫描的绘制为：光线逆向跟踪Ray tracing：逆向跟踪射入的光线，遇到交点时类似积分。

作为本实施例中的优选，上述提取空间信息是指Volume Rendering体绘制包操作，其包括但不限于：基于物体空间扫描的绘制。

在一些实施例中，上述基于物体空间扫描的绘制为：足迹表法(splatting 算法)。

在一些实施例中，上述基于物体空间扫描的绘制为：错切变形(Shear-Warp)算法。其中Shear-Warp算法把三维投影变为三维数据场错切 shear和二维图像变形warp两步实现，是目前最快的Volume Rendering算法。详见Philippe Lacroute和Marc Levoy的论文Fast Volume Rendering Using a Shear-Warp Factor ization of the ViewingTransformation。具体地，根据透明度阈值在体素 (物体的像素别称)数据结构中作记录，跳过透明的体素，在rendering之前进行，对于三种矩阵P形式，及三种切片方式都要计算。此外，对于中间图像，在像素数据结构中保存此不透明像素到可透光像素位移，在rendering同时进行。最后只处理不完全透明和可视的体素。

开始重采样和组合，采用双线性插值滤波器(bilinear interp)，每两个相邻扫描线计算得到一个中间图像扫描线。背光用聚合卷积，正面光用散射卷积。用查找表的方法实现透明度处理。再次，用双线性滤波器把大的中间图像变为最终小图像。再采用alpha传递函数，通过递归的办法实现透明度可变时的行程编码。先得到一个立方体八个顶点确定的八叉树，查表计算立方体是否透明，不透明则继续递归计算更小立方体，直到体积小到一定值。

在一些实施例中，上述基于物体空间扫描的绘制为：体元投射(Cell Projection)法。

在上述步骤S3中，将图像重建后的图像信息直接输入CNN卷积神经网络，能够对相应患处进行图像分割。作为本实施例中的优选，在所述步骤S3中的 CNN卷积神经网络基于一多层的神经网络，每个神经元采用sigmoid函数，包括：交替作用的卷积层和下采样层，全连接层以及Softmax分类层，应用随机梯度下降法最小化损失函数训练所述神经网络，反向逐层调节并求解上述神经网络的权重参数。

在一些实施例中，对CT图像预处理后，提取训练输入数据二维图像数据块，然后经过训练深度卷积神经网络模型，得到分割结构。

在一些实施例中，上述卷积层，用以对一副输入图像经过多个卷积核的卷积运算，得到多个卷积特征图，是特征提取层。

在一些实施例中，上述最大池化的下采样层，用以计算图像一个区域上的某个特定的特征的最大值，进行最大池化pooling操作。通过上述池化操作后，特征维数会降低很多，不容易造成过拟合。最大池化过程即是特征映射层。

在一些实施例中，上述的全连接层，是指上层的每个神经元与下层的每个节点都有连接，层与层之间采用全连接。

在一些实施例中，上述CNN深度卷积模型为：卷积层、下采样层、全连接层以及softmax分类层，通过所述卷积层进行卷积运算，得到图像特征。比如，图像边缘、图像纹理特征。下采样层对得到的特征图像进行子抽样，从而减少数据处理量的同时保持有用的特征信息，所述下采样层是对得到的特征图像进行子抽样，减少数据处理量的同时保持有用的特征信息，所述全连接层用于捕获输出特征之间的复杂关系。softmax分类层是一个多类分类器，患病处和正正组织处，并输出0-1之间的概率值。在上述网络中采用sigmiod转移函数将网络中神经元节点的输出值转化在0-1之间。最后再利用随机梯度下降法来最小化损失函数，得到网络模型。softmax分类器将图像中的概率值，根据概率值的大小分类，从而获得分割二值图像集像素分类的概率图像。

作为本实施例中的优选，所述步骤S4中的生成曲面模型采用OpenGL的 API，OpenGL是指定义了一个跨编程语言、跨平台的编程接口规格的专业的图形程序接口，也是行业领域中最为广泛接纳的2D/3D图形API。

OpenGL的曲面模型操作包括但不限于：模型变换和视图变换

从“相对移动”的观点来看，改变观察点的位置与方向和改变物体本身的位置与方向具有等效性。在OpenGL中，实现这两种功能甚至使用的是同样的函数。由于模型和视图的变换都通过矩阵运算来实现，在进行变换前，应先设置当前操作的矩阵为“模型视图矩阵”。设置的方法是以GL_MODELVIEW为参数调用glMatrixMode函数，比如：

glMatrixMode(GL_MODELVIEW)；

通常，需要在进行变换前把当前矩阵设置为单位矩阵。这也只需要一行代码：

glLoadIdentity()；

然后，就可以进行模型变换和视图变换了。进行模型和视图变换，主要涉及到三个函数：

glTranslate*，把当前矩阵和一个表示移动物体的矩阵相乘。三个参数分别表示了在三个坐标上的位移值。

glRotate*，把当前矩阵和一个表示旋转物体的矩阵相乘。物体将绕着 (0,0,0)到(x,y,z)的直线以逆时针旋转，参数angle表示旋转的角度。

glScale*，把当前矩阵和一个表示缩放物体的矩阵相乘。x,y,z分别表示在该方向上的缩放比例。

OpenGL的曲面模型操作包括但不限于：投影变换

投影变换就是定义一个可视空间，可视空间以外的物体不会被绘制到屏幕上。OpenGL支持两种类型的投影变换，即透视投影和正投影。投影也是使用矩阵来实现的。如果需要操作投影矩阵，需要以GL_PROJECTION为参数调用 glMatrixMode函数。

glMatrixMode(GL_PROJECTION)；

通常需要在进行变换前把当前矩阵设置为单位矩阵。

glLoadIdentity()。

在一些实施例中，将3DS文件转换成OpenGL程序,再对其进行控制和交互操作。

在一些实施例中，将OBJ文件转换成OpenGL程序,再对其进行控制和交互操作。

在一些实施例中，将WRL文件转换成OpenGL程序,再对其进行控制和交互操作。

作为本实施例中的优选，如图2所示是图1中的优选实施方式的流程示意图，在所述步骤S4之后还包括如下步骤：

步骤S41对所述曲面模型进行伪彩处理，

步骤S42自定义编辑伪彩处理，

步骤S43按照标准格式进行储存。

将DICOM医学图像转换为DIB位图，将DICOM文件的相关数据元素完成数据结构的和图像数据的转换。数据结构包括：位图文件头、位图信息头、颜色表、图像数据等。位图文件头说明了文件的组成信息，位图信息头说明了图像数据的基本信息，颜色表则描述了图像显示的色彩信息。所述伪彩处理用以将一副灰度图像映射为一副彩色图像的增强方式。步骤S42中对伪彩处理进行自定义编辑，然后按照DIB位图的方式存放。通过构造传递函数，建立RGB三基色与灰度级之间的映射关系，再合成为伪彩色图像，从而达到彩色增强的目的。步骤S43中按照DIB位图的方式进行统一存放。

图3是本发明一实施例中的系统结构示意图，本实施例中的一种基于VR 模型的人工智能医疗系统，包括：影像文件单元1、图像重建单元2、卷积神经网络单元3、曲面模型单元4、三维模型单元5、

所述影像文件单元1，用以导入CT影像文件，

所述图像重建单元2，用以根据所述CT影像文件图像重建，并提取得到空间信息，

所述卷积神经网络单元3，用以图像重建后输入CNN卷积神经网络得到相应患处的图像分割，

所述曲面模型单元4，用以按照所述空间信息生成曲面模型，

所述三维模型重建单元5，用以将曲面模型导入虚拟现实环境，并在所述虚拟现实环境中实时渲染出结果。

请参考图4是图3中的三维模型重建单元结构示意图，作为本实施例中的优选，所述三维模型重建单元5包括：模型拆解模块51、模型组合模块52、模型分类模块53、模型伪彩编辑模块54，

所述模型拆解模块51，用以拆解三维模型中可拆分的患病部位，

所述模型组合模块52，用以组合三维模型中的患病部位，

所述模型分类模块53，用以分类三维模型的对应的患病部位，

所述模型伪彩编辑模块54，用以编辑三维模型的伪彩处理方式。

作为本实施例中的优选，如图5所示是本发明一优选实施例中的系统结构示意图，系统还包括：DICOM处理单元6，用以提供医疗需要的用于数据交换的统一医学图像格式的云储存空间。

作为本实施例中的优选，如图5所示是本发明一优选实施例中的系统结构示意图，系统还包括：体绘制单元7，所述体绘制单元用以基于图像空间扫描的绘制或者基于物体空间扫描的绘制。体绘制单元7采用直接由三维数据场产生屏幕上二维图像的技术。其优点是可以探索物体的内部结构，可以描述非常定形的物体；缺点是数据存储量大，计算时间较长。数字图像对应的是描述数据元素的颜色和光强的二维阵列，这些元素成为像素，同理，一个三维数据场可以用一个具有相应值的三维阵列来描述，这些值称为体素。类似于数字图像的二维光栅，可以把体数据场看为一个三维光栅。一个典型的三维数据场是医学图像三维数据场，由CT(计算机断层成像)或MRI(核磁共振)扫描获得一系列的医学图像切片数据，把这些切片数据按照位置和角度信息进行规则化处理，然后就形成一个三维空间中由均匀网格组成的规则的数据场，网格上的每个节点为一个体素，描述了对象的密度等属性信息。体绘制以这种体素为基本操作单位，计算出每个体素对显示图像的影响。体绘制技术最大的优点是可以探索物体的内部结构，可以描述非常定形的物体，如肌肉，烟云等，而面绘制在这些方面比较弱。缺点是数据存储量大，计算时间较长。

具体地，按照一定规则将三维数据存放在XY像素平面所得到的纹理，称之为volume texture，体数据通常是由CT仪器进行扫描得到的，然后保存在图片的像素点上。目前国际上比较常用的体纹理格式有，基于DirectX 的.dds格式和.raw格式。需要说明的是，用于体纹理的.raw格式，存放的是三维数据。

体绘制形成的图像一般是半透明的图像，颜色一般是人工指定的伪彩色。体绘制首先需要对数据进行分类处理，不同类别赋予不同的颜色和不透明度值，然后根据空间中视点和体数据的相对位置确定最终的成像效果。体绘制常用的算法有光线投射法，足迹表法，错切变形法，三维纹理贴图法等。当前的热点是基于可编程图形显卡的体绘制算法和并行化的体绘制算法。

作为本实施例中的优选，体绘制单元7被配置为采用如下的算法：光线投射算法(Ray-casting)、错切-变形算法(Shear-warp)、频域体绘制算法(Frequency Domain)或抛雪球算法(Splatting)中的一种或者多种算法。

在一些实施例中，系统还包括VR环境浏览单元，包括：VR眼镜、VR头盔、 VR投影机中的一种或者多种VR设备，所述的VR眼镜、所述的VR头盔、所述的VR投影机轻便可携带，可根据需要移动。

所述三维模型重建单元5中，基于MIMICS软件，可以用CT机和MRI机甚至三维彩超的断层图像进行三维重建，输出为通用的三维格式，可以进行三维打印、医疗、有限元分析等应用。首先输入CT的原始图片，即CT层扫出来的断层图片，或者MRI、三维彩超导出的断层图像，优选统一格式的Dicom格式或者其他JPG格式也可以，断层图像不止是用户通常在医院看到的在CT或MRI 胶片上的那几张，那些打印在胶片上的只是挑选了典型的具有诊断意义的层面，实际要用于三维重建的断层图像数量会很多，根据扫描时选择的层厚和扫描范围的大小，每个患者的断层图像通常有几百幅到上千幅不等。采用软件 MIMICS10.01导入自己保存的Dicom文件，然后在mimics内用thresholding 通过区分出密度较高的骨组织部分并提取，然后Calculate 3D from mask进行三维重建，这样便简单的重建了患者的骨质部分，其余软组织未作重建。重建后显示包括从胸9椎体至骶尾椎和骨盆和部分股骨头的重建模型。在 MIMICS10.01里用FEA/CFD模块的Remesh将重建的三维模型转换为多边形模型。用MIMICS10.01的export导出为3d软件能够读取的文件，包括但不限于 ACSII STL格式。若有3D打印机，则使用stl文件可以直接进行3D打印。

在一些实施例中，所述图像重建单元2采用中滤波反投影算法、迭代重建算法、有序子集算法中的任一一种或者多种算法进行图像重建。

在一些实施例中，所述卷积神经网络单元3中CNN卷积神经网络基于一多层的神经网络，每个神经元采用sigmoid函数，包括：

交替作用的卷积层和下采样层，全连接层以及Softmax分类层，

应用随机梯度下降法最小化损失函数训练所述神经网络，

反向逐层调节并求解上述神经网络的权重参数。

在一些实施例中，所述曲面模型单元4中生成的曲面模型采用OpenGL的 API。

本实施例中的系统，由于进行了三维模型重建，改善了CT影像资料的阅片方式，根据患者的影像检查资料，生成的VR三维模型，医生可以在此模型上进行模拟各种治疗手段的凑哦，可大幅度降低治疗风险，减少医患纠纷。通过向病人或家属解释病情的同时可以演示治疗方案，更加便于取得患者以及家属的理解和信任。同时，增加了医生处理影像检查资料的方式，比如采用VR 眼镜、VR头盔，便于携带和跟随不同场景移动。

在一些实施例中，把患者置于焦虑的来源中，使得他们能够面对以后现实世界中的恐惧。如恐高、飞行、动物(如蜘蛛)、驾驶、幽闭、公开演讲恐惧症等。

在一些实施例中，针对压力过大引起的心理失衡、抑郁,人在日常生活和工作中特别容易有压力，尤其是在创伤后或重大灾难后。通过VR帮助患者解决心理压力问题。诸如惧公开演讲、工作面试、参加入学考试等恐惧心理，也可以通过VR来训练。通过VR的环境，利用“暴露性治疗”的方法，让他们了解、熟悉，怎么应对这些场景带来的压力。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA) 等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

总体而言，本公开的各种实施例可以以硬件或专用电路、软件、逻辑或其任意组合实施。一些方面可以以硬件实施，而其它一些方面可以以固件或软件实施，该固件或软件可以由控制器、微处理器或其它计算设备执行。虽然本公开的各种方面被示出和描述为框图、流程图或使用其它一些绘图表示，但是可以理解本文描述的框、设备、系统、技术或方法可以以非限制性的方式以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其它计算设备或其一些组合实施。

此外，虽然操作以特定顺序描述，但是这不应被理解为要求这类操作以所示的顺序执行或是以顺序序列执行，或是要求所有所示的操作被执行以实现期望结果。在一些情形下，多任务或并行处理可以是有利的。类似地，虽然若干具体实现方式的细节在上面的讨论中被包含，但是这些不应被解释为对本公开的范围的任何限制，而是特征的描述仅是针对具体实施例。在分离的一些实施例中描述的某些特征也可以在单个实施例中组合地执行。相反对，在单个实施例中描述的各种特征也可以在多个实施例中分离地实施或是以任何合适的子组合的方式实施。

Claims (10)

1.一种基于VR模型的人工智能医疗系统实现方法，其特征在于，包括如下步骤：

S1导入CT影像文件，

S2根据所述CT影像文件图像重建，并提取得到空间信息，

S3图像重建后输入CNN卷积神经网络得到相应患处的图像分割，

S4按照所述空间信息生成曲面模型，

S5将曲面模型导入虚拟现实环境，

S6在所述虚拟现实环境中实时渲染出结果。

2.根据权利要求1所述的人工智能医疗系统实现方法，其特征在于，所述S4之后还包括如下步骤：

S41对所述曲面模型进行伪彩处理，

S42自定义编辑伪彩处理，

S43按照标准格式进行储存。

3.根据权利要求1所述的人工智能医疗系统实现方法，其特征在于，所述S2采用中滤波反投影算法、迭代重建算法、有序子集算法中的任一一种或者多种算法进行图像重建。

4.根据权利要求1所述的人工智能医疗系统实现方法，其特征在于，所述S3中的CNN卷积神经网络基于一多层的神经网络，每个神经元采用s i gmo i d函数，包括：

交替作用的卷积层和下采样层，全连接层以及Softmax分类层，

应用随机梯度下降法最小化损失函数训练所述神经网络，

反向逐层调节并求解上述神经网络的权重参数。

5.根据权利要求1所述的人工智能医疗系统实现方法，其特征在于，所述S4生成曲面模型采用OpenGL的AP I。

6.一种基于VR模型的人工智能医疗系统，其特征在于，包括：影像文件单元、图像重建单元、卷积神经网络单元、曲面模型单元、三维模型单元、

所述影像文件单元，用以导入CT影像文件，

所述图像重建单元，用以根据所述CT影像文件图像重建，并提取得到空间信息，

所述卷积神经网络单元，用以图像重建后输入CNN卷积神经网络得到相应患处的图像分割，

所述曲面模型单元，用以按照所述空间信息生成曲面模型，

所述三维模型重建单元，用以将曲面模型导入虚拟现实环境，并在所述虚拟现实环境中实时渲染出结果。

7.根据权利要求6所述的人工智能医疗系统，其特征在于，所述三维模型重建单元包括：模型拆解模块、模型组合模块、模型分类模块、模型伪彩编辑模块，

所述模型拆解模块，用以拆解三维模型中可拆分的患病部位，

所述模型组合模块，用以组合三维模型中的患病部位，

所述模型分类模块，用以分类三维模型的对应的患病部位，

所述模型伪彩编辑模块，用以编辑三维模型的伪彩处理方式。

8.根据权利要求6所述的人工智能医疗系统，其特征在于，还包括：DI COM处理单元，

用以提供医疗需要的用于数据交换的统一医学图像格式的云储存空间。

9.根据权利要求6所述的人工智能医疗系统，其特征在于，还包括：体绘制单元，所述体绘制单元用以基于图像空间扫描的绘制或者基于物体空间扫描的绘制。

10.根据权利要求6所述的人工智能医疗系统，其特征在于，还包括VR环境浏览单元，包括：VR眼镜、VR头盔、VR投影机中的一种或者多种VR设备。