CN106372390B - 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统 - Google Patents
一种基于深度卷积神经网络的预防肺癌自助健康云服务系统 Download PDFInfo
- Publication number
- CN106372390B CN106372390B CN201610734382.XA CN201610734382A CN106372390B CN 106372390 B CN106372390 B CN 106372390B CN 201610734382 A CN201610734382 A CN 201610734382A CN 106372390 B CN106372390 B CN 106372390B
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- convolutional neural
- neural networks
- lung cancer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明公开一种基于深度卷积神经网络的预防肺癌自助健康云服务系统，包括用于深度学习和训练识别的卷积神经网络、基于全卷积神经网络的从CT影像图像中分割出肺部区域的分割模块、用于肺癌诊断分类的深度卷积神经网络和一种用于根据所识别的疑似肺癌类型进行早期预防和治疗的自助健康云服务平台。本发明能有效提高基于移动互联网肺癌筛查的自动化和智能化水平、能让更多国民了解并参与自助健康检测、评估、指导，提高早期肺癌筛检临床诊断的敏感性、特异性和准确性，实现肺癌的“早发现早诊断早治疗”，增加自我健康管理能力。
Description
技术领域
本发明涉及医学影像诊断、移动互联网、数据库管理、计算机视觉、图像处理、模式识别、深度神经网络和深度学习等技术在自助式健康保健领域的应用，尤其涉及一种基于深度卷积神经网络的肺癌早期发现和早期诊断的自助健康云服务系统。
背景技术
肺癌是当今世界各国最常见的恶性肿瘤，其死亡率居于各种肿瘤的首位，对人类健康和生命构成极大威胁。在我国，肺癌每年约致50万例患者死亡，占整个癌症病例的28％，而肺癌病人的5年存活率只有14％。然而，研究显示I期肺癌术后10年生存率可达到92％。因此，降低肺癌患者死亡率的关键在于早期诊断和早期治疗，早期肺癌的肺结节检测成为关键，配合适当的治疗，病人的存活率可以提高到50％。
肺癌是指肺的恶性上皮性肿瘤，它起源于支气管上皮、支气管粘液腺、细支气管上皮及肺泡上皮等，可分为原发性肺癌和转移性肺癌。
原发性肺癌是肺内的癌肿为原发性，由于肺的各级组织发生了异常增长，产生癌变。
转移性肺癌是由于原发于其他器官系统的癌肿经过直接浸润蔓延或气道种植或淋巴管或血管等途径转移至肺并继续增殖生长，形成与原发肿瘤同样性质的癌肿。
肺癌根据发生部位分为3型：中央型、周围型及弥漫型。肿瘤根据形态分为6型：中央管内型、中央管壁型、中央管外型、周围肿块型、周围肺炎型以及弥漫型。
从病理学上分，肺癌又被分为：小细胞癌和非小细胞癌。非小细胞癌又可细分为：大细胞癌、腺癌、鳞癌和腺鳞癌。这些不同类型或类别的病变影像学表现各不相同。不仅如此，即使是同一类别的病变，其病理变化也是千差万别，它们在病变的部位，大小，形态等方面也各不相同，因而疾病的影像学表现非常复杂，这也是目前病变检测研究多针对单一病变的原因。然而，要尽可能提高计算机辅助诊断的智能化水平，就需要一种能够自动检测多种不同类型病变、相对通用的病变检测算法。
图20所示的是目前筛查诊断肺癌5种基本的方法，X光胸片是首选筛查手段，其次就是CT、MIR和PET。CT被认为是检测肺结节的最佳方法——“金标准”。然而，因为经济、方便和放射剂量适中等原因，X光胸片更常用，事实上，几乎所有的早期肺癌都是通过胸片发现的，但对放射科医生来说，基于胸片发现早期肺癌是一件很困难的任务。当今公认的世界上最为普及的、经济的和传统的肺癌诊断方法是通过胸部X-光射线图像(主要是用CR/DR技术所产生的数字化的X-光射线图像)来诊断早期肺癌。目前在经济比较发达地区，在健康普查时都进行胸部X光技术来检查是否有肺部疾病。然而对大量普查胸部图片进行诊断，对于放射科医生来说是一项艰巨任务。
这是因为这些检查只能够提供最直观的图像，受限于检查的直接显示效果和影像医师的自身水平以及其经验，人眼分辨能力以及人为疏忽等原因，没能够将影像图片所包含的更多信息充分的利用起来，如作为判断癌症的小病灶/小结节，影像医生用传统的读片方式通常会漏读30％～55％，这个现象在健康普查中尤为突出。另一方面，由于X光胸片上会有人体器官前后结构的重叠，这也给影像医生在诊断上带来了很大的困难。
肺结节被认为是肺癌的早期病变，而CT被认为是检测肺结节的最佳方法，目前CT检查对于肺癌的诊断是最佳的检查手段：CT是横断面检查，完全消除了前后结构的重叠，可发现体层及胸片不能看到的病变；通过薄层高分辨力及局部放大扫描可清晰显示肺内肿块的细节；增强扫描可通过肿块CT值的变化提供诊断信息。
肺癌早期多以孤立性肺结节(Solitary Pulmonary Nodule，SPN)的形式出现，尔后才演变为多发性的。孤立性肺结节通常是指直径小于或等于3cm、圆形或类圆形的肺内病灶，无肺不张、卫星灶亦无局部淋巴结肿大，也有学者将直径小于4cm的单个肺内类圆形病灶统称为SPN。SPN在临床上并不少见，但患者通常没有临床症状，多数为体检时被影像学检查偶然发现，对于SPN的定性诊断和鉴别诊断一直是临床关注的焦点。
由于肺部结构复杂，肺结节本身形状、大小各不相同，并且肺结节的CT值与肺部某些组织较为相似，因此仅凭肉眼判断有很大的难度。同时，胸部CT扫描会产生大量影像数据，特别在肺癌早期筛检阶段，结节通常处于比较小的状态(直径小于1cm)，因此要求CT扫描过程中层厚数值设定不能太大，以层厚2mm的胸部CT图像为例，平均每例病例会产生140层左右的二维影像，大量的图像数据给放射科医生阅片带来了巨大的工作量，容易造成疲劳引起的主观误诊，使得漏诊和误诊的几率增加。
由于肺癌疾病种类的多样性，病理组织变化的复杂性，在没有经过病理学确诊之前，临床上判断方法主要是依据专家经验，带有很大主观性，导致同一个放射科医生在不同的时期或不同的放射科医生对同一CT影像的阅片结果经常存在不一致。同时由于肺癌的异质性，同一治疗手段的治疗效果往往是南辕北辙。因此，在肺癌的临床研究和临床处理中，重要的一环是对肺癌进行正确的分类与分期研究。随着计算机技术、图像处理技术、机器学习等理论的发展，计算机辅助诊断发挥了重要作用。
CT检查被认为是筛查和早期诊断肺癌类型的有效工具。目前国内外开展了很多有关肺癌的计算机辅助诊断方面的研究，目的在于帮助医生检测CT图像中的原发性肿瘤或对肺结节进行良恶性的智能检测与识别。
研究表明两位放射科医师对同一病例进行诊断可以明显提高诊断的准确率。为缓解放射科医师的工作强度以及提高临床诊断的准确性，特别是降低真阳性病例误诊的概率，计算机辅助诊断开始被广泛应用于临床诊断中。
目前，医学影像学中的计算机辅助诊断技术通常可以分为三类：(1)图像分割处理。图像处理的是让计算机易于识别可能存在的病变，让计算机从复杂的解剖背景中将病变及可疑结构识别出来。如肺癌图像，需要先分割出肺部部位；然后针对各种病变运用不同的图像处理方法，基本原则是图像增强与过滤将可疑病变从正常解剖背景中分离、显示出来；(2)特征描述与图像分析。对图像中感兴趣的目标进行检测和测量(特征提取)，它是一个从图像到数据的过程。最为典型的就是运用计算机视觉进行辅助检测(Computer AidedDetection)。当进行诊断工作时，计算机视觉提取出感兴趣区域(Range Of Interest，ROI)，提醒要特别注意这些区域的细微改变。而对于感兴趣区域的性质的识别，还是需要人工判断，这样可以减轻放射科医生的工作强度；(3)图像理解。研究图像中各目标的性质和相互关系、理解图像含义。它是一个从图像到高级描述、识别的过程，这就是计算机人工智能的高级阶段-计算机辅助诊断。这个阶段计算机收集大量同病种、同部位的影像学信息建立“知识库”。利用机器学习技术针对“知识库”进行训练，使计算机“学会”根据以往的“经验”对当前的影像病变做出诊断建议。这些医学影像学中的计算机辅助诊断技术属于前深度学习时代的计算机视觉技术。
放射科医生需要一种高级的辅助技术将各种检查信息综合起来，X射线图像经处理后，对肿瘤、结节、空洞、炎症，以及纤维化等病变都能提高检出率。这种计算机辅助诊断技术(CAD技术)可识别出人眼所不能识别的诊断信息，可作为医生的第二双眼睛，使疑似肺癌病灶的漏诊率下降了60％以上，在肺癌的早期诊断过程中起着越来越重要的作用。总之，目前预防与治疗肺癌的关键还是在于“早发现、早诊断，早治疗”。
中国发明专利申请号为201510130828.3公开了一种计算机辅助诊断技术(CAD)检测放射图像发现病灶的方法和系统是一种使用计算机辅助诊断技术用于检测和显示(标示)一系列疾病的方法和系统，其中包括检测肺癌肿瘤和钙化灶和/或数字X射线照片上的肿块。对于数字X射线图像会自动由计算机辅助诊断系统(CAD)在不同的阶段进行处理从而产生各种中间结果。原始图像也同时会发送给操作人员进行分析以做出人工诊断。来自于计算机辅助诊断系统的各处理阶段的中间结果会被最优地与人工诊断结果进行对照从而产生较优结果。
中国发明专利申请号为201110453048.4公开了一种基于虚拟软组织图像的计算机辅助检测早期肺癌结节的方法，包括：通过虚拟双能量技术获取基于胸片的肺区软组织的图像；通过灰度形态学，将所述肺区软组织图像转化为第一结节增强图像和线性结构增强图像；通过对比，将所述第一结节增强图像中包含的线性结构增强图案去除，生成第二结节增强图像；通过统计方法，将所述第二结节增强图像转换为结节可能性图像；从所述结节可能性图像中获取可疑节点，并从可疑结节中识别出真实结节并标识。
中国发明专利申请号为201610038042.3公开了一种基于LBP和小波矩融合特征的肺癌图像精细分类方法，该方法包括以下步骤：步骤一、对输入图像进行病灶定位。步骤二、病灶部位随机生成大量模板。步骤三、输入图像进行不同尺度缩放，分别对图像块与模板块进行纹理特征MB-LBP与形状特征小波矩的提取，通过实验调整权重参数融合两种特征。步骤四、图像不同位置匹配，得到特征响应图。步骤五、使用改进的均值空间金字塔模型将响应图转化成特征向量。步骤六、利用支持向量机实现精细分类。本发明提出的算法，是精细分类思想在医学领域的尝试，减少冗余模板的产生；LBP纹理特征与小波矩特征的融合良好的表示肺癌图像信息；金字塔模型抽取特征保留了有力的特征，提高识别精度。
上述几项发明所公开的医学影像学中的计算机辅助诊断技术属于前深度学习时代的计算机视觉技术，在肺癌病理学图像的特征描述、特征提取以及识别分类方面需要人工方式来实现，虽然对减轻放射科医生的工作强度有一定的帮助。
目前己有的肺癌病理细胞图像识别工作都是基于错误分类代价相同的假设。然而在实际医疗应用中，这一假设却面临问题，将癌症图像错分为正常图像往往比将正常图像错分为癌症图像严重许多，因为治疗癌症的关键在于早期发现和早期治疗，而前者将意味着病人可能失去最佳的治疗机会，甚至有可能带来生命危险；而对于后者而言，通过治疗设备检测出的癌症图像无论如何都将由具有丰富经验的病理学家进行必要的确诊，而这不会花费医生很多时间。进一步，以往的方法都是需要医生对大量图像标记其类别来学习分类器，然而当训练图像数据量有限时候，如何利用大量没有医生标记的图像样本来提高分类器性能也是需要解决的问题。
目前己有的肺癌病理细胞图像识别工作大多数在癌症类型分类上效果并不理想。主要原因是往方法将从不同模态(颜色、形状、纹理)提取特征作为单一模态进行考虑，忽略了模态之间的互补性。根据深度学习中的理论研究结果，合理利用多模态数据之间的关系将会有利于提高分类器的泛化性能，对于肺癌辅助诊断具有重要的应用意义。
自助健康的目的是让更多国民了解并参与自助健康检测、评估、指导，进而提高国民的健康意识，增加自我健康管理能力。自助健康检测设备最好是要简单易行，民众容易掌握的设备，要充分鼓励和提高自我管理的参与能力。
自助健康检测不是一般意义上的健康检测，是肩负着具有一定公共卫生职能的自助健康检测，是卫生部门根据控制慢性病，解决人们的不良生活方式提出来的，是将传统的医生管理病人模式转变成医患结合、病人自助和主动参与的新的管理模式。在内容上就不仅仅是“体检”这样简单了，还应包括慢病干预，疾病指导。
国民随时通过手机等通信设备查阅这个平台相关的健康知识、危险因素评估、健康自诊和获得“健康处方”，形成了一套以“医患合作、人机互动、健康自理”为核心内容的行为干预服务模式。随着移动互联网技术的发展和智能手机的普及，基于移动互联网的自助健康云服务行业将在这个背景下诞生与发展。
管理科学和行为医学的发展也为健康管理学的出现提供了理论和实践基础。移动互联网的出现和信息产业的兴起为健康管理学的起飞安上了翅膀。健康管理作为一门新兴学科对我国的健康资源管理和可持续发展将起到不可替代的作用。
作为基于移动互联网的自助健康云服务，首先是具有健康精准营销的意义。将其作为一种医疗增值服务，看重的是背后的用户数据；用户可以用自己的手机拍摄胸部X光片图像或者CT影像，发送给自助健康云服务平台，健康云服务平台根据用户不同的健康评估结果，推送不同产品，包括各种的快速诊所服务；然后，具有健康服务入口的意义。而对于药房或者药品生产厂商，早期肺癌自诊自测和健康评估结果可以成为药品和后续服务的入口；最后，是让用户通过健康云服务平台实现各种互动。正因为自测用户大都是有健康风险，如保险公司将自测作为和用户互动的前端，保险公司根据用户的测评情况，为其推荐健康管理等服务；最重要的是通过健康云服务平台可以建立医患合作的信任基础，即实现一种自助式的智能导医，推动移动医疗产业的发展和应用。
自助健康＝①网上的计算机辅助诊断服务(包括健康指导)+②专家临床诊断门诊治疗服务+③自助和主动参与；自助健康云服务平台将整合上述三个内容；
深度学习是一种目的在于建立、模拟人脑进行分析学习的深度网络，它模仿人脑的机制来解释图像数据，为网上的计算机辅助诊断服务奠定了坚实的技术基础。
深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。它显著的优点是可抽象出高级特征，构建出复杂高性能的模型。鉴于深度学习这些优点是非常适合于肺癌早期特征的描述和提取的。
卷积神经网络，即CNN，是深度学习算法的一种，是专门处理图像领域中的模式识别，同时也是目前图像模式识别中成果最惊人的算法。卷积神经网络算法的好处在于训练模型的时候不需要使用任何人工特征，算法可以自动探索图像所隐含的特征，可以作为一种十分理想的胸部X光片或者CT影像的辅助诊断技术。
随着社会各方面的进步，人们生活水平的提高，大家也越来越关注越发突出的亚健康问题和自身保健问题，愿意为个人健康投资，更希望能简单地从肺癌筛查从而了解身体的健康状态；另一方面，信息科学技术的飞速发展，移动互联网、深度学习、计算机视觉等技术的成熟与发展，基于深度卷积神经网络的预防肺癌自助健康云服务系统的建设具有十分重要的社会意义和应用价值。
综上所述，采用基于深度学习的卷积神经网络进行肺癌早期诊断，目前尚存在着如下若干个棘手的问题：1)如何从复杂的背景中准确分割出肺部的整体图像；2)如何尽可能采用极少的标签肺癌图像数据来准确获得肺癌的各种特征数据；3)如何构建一个高度自动化的预防肺癌自助健康云服务系统；4)如何通过深度学习和网络训练来自动获取肺癌特征数据；5)如何使得用户方便地利用移动互联网和智能手机实现自身保健，实现肺癌的早发现、早诊断及早治疗；6)如何为用户提供更为精准、更为方便、更为廉价、更为有效的健康云服务。
发明内容
为了克服已有的基于计算机视觉的胸部X光片或者CT影像辅助诊断技术中的自动化和智能化水平低、缺乏深度学习、难以描述肺癌特征数据、难以用最简单的方式实现早期肺癌发现、难以为用户提供更为方便廉价精准专业的健康云服务等不足，本发明提供一种基于深度卷积神经网络的预防肺癌自助云服务平台，能有效提高基于移动互联网胸部X光片或者CT影像辅助诊断的自动化和智能化水平、能让更多国民了解并参与自助健康检测、评估、指导，进而提高民众的健康意识，增加自我健康管理能力，实现肺癌的早发现、早诊断及早治疗。
健康管理服务的特点是标准化、量化、个体化和系统化。健康管理的具体服务内容和工作流程必须依据循证医学和循证公共卫生的标准和学术界已经公认的预防和控制指南及规范等来确定和实施。
受检者就诊后就会有胸部X线片或者CT影像图像及检查报告，影像医生用传统的读片方式通常会漏读30％～55％，由于计算机辅助诊断技术可识别出人眼所不能识别的诊断信息，可作为放射科医生的第二双眼睛，使疑似肺癌病灶的漏诊率下降60％以上。受检者可以访问预防肺癌自助健康云服务系统来获取自助健康的服务。
预防肺癌自助健康云服务系统的使用及准备工作：用手机或者其他移动设备拍摄获取胸部X光片或者CT影像图像时，用户先将电脑屏幕打开空白的word或者PPT，全屏显示后，将片子放置在电脑屏幕前，然后打开智能手机上的相机软件；在影像片拍照时，要看清上面的汉字或英文字母，字的方向通常就是片子的正确方向，要放正位置拍照；然后在手机或数码相机上进行预览，质量好的标准是能够清晰地看见英文字母；如果显示模糊，说明拍照时手抖动了或没有正确对焦，需要删除重拍；最后将胸部X光片或者CT影像图像通过手机上的微信或者彩信或者QQ发送给健康云服务平台；
肺部CT图像中，肺血管、支气管和肺结节在灰度级分布上非常相似，因此使得临床上对于肺结节的判断容易产生误诊或漏诊，即将肺血管或支气管等组织误判成肺结节而造成误诊，或者将肺结节误判成肺血管等其他正常组织而不加以提示处理造成漏诊。在临床上，误诊和漏诊的代价是巨大的，误诊往往导致不必要的组织活检或者错误的治疗方案，给患者带来身体和精神双重伤害，而漏诊则使得疾病得不到应有的处理和治疗，贻误治疗时机而导致不可预测的后果。实际上，肺血管、支气管以及肺结节在空间形态上是不同的，肺血管和支气管等往往呈现出管状结构，通过人体解剖学可知肺内血管和气管按照连通性可以构造出完整的血管树、气管树，而肺结节在空间中大多呈类似于球体或者边缘带有毛刺征的类球体结构，这就使得使用计算机来对肺部CT图像中肺结节进行识别成为可能。
本发明要实现上述发明内容，必须要解决几个核心问题：(1)设计一种基于深度卷积神经网络的CT影像图像的肺部分割方法；(2)研发一种深度学习方法，实现基于深度卷积神经网络对各种肺癌特征，如肺部内球体结构的肺结节自动描述和特征提取；(3)设计一种用于肺部病灶识别分类的深度卷积神经网络方法，形成一种实用的给肺部病灶作完整的分类和评估及肺癌自动识别和辅助诊断技术；(4)实现一个真正意义上的基于深度卷积神经网络的预防肺癌自助云服务平台的框架。
本发明解决其技术问题所采用的技术方案是：
一种基于深度卷积神经网络的预防肺癌自助健康云服务系统，包括用于深度学习和训练识别的卷积神经网络、基于全卷积神经网络的从CT影像图像中肺部区域的分割模板、用于肺部病灶诊断分类的深度卷积神经网络和用于根据所识别的疑似肺癌类型进行早期预防和治疗的健康云服务平台；
所述的卷积神经网络，共分为八层，由卷积层、激活层和下采样层交替构成的深度结构；输入图像在网络中进行层层映射，得到各层对于图像不同的表示形式，实现图像的深度表示；
所述的基于全卷积神经网络的从CT影像图像中肺部区域的分割模块，采用全卷积神经网络，就是将所述的卷积神经网络改为全卷积神经网络，在所述的卷积神经网络的全连接层改为反卷积层，这样输入一幅图像后直接在输出端得到密集预测，也就是每个像素所属的类，从而得到一个端对端的方法来实现肺部对象图像语义分割；
所述的深度卷积神经网络是在所述的卷积神经网络的第八层的全连接层后连接了一个Softmax分类器，用于对疑似肺癌类型进行分类识别；
所述的健康云服务平台，主要包括了接收和读取用户发送过来的胸部X光片或者CT影像图像的图像读取模块，以用户访问平台的装备的用户名或号码为文件夹名的文件夹生成模块，基于深度卷积神经网络对分割后的肺部区域图像进行分类的疑似肺癌类型分类模块，存放有以疑似肺癌类型为索引的生成健康咨询文件的早期预防和治疗的健康文件生成模块，用于将用户的健康咨询文件反馈给访问用户的文件自动传输模块，用于将早期预防和治疗的健康文件提供给用户到所述的健康云服务平台的网站上下载的下载服务模块。
所述的卷积神经网络，共分为八层，卷积神经网络是由卷积层、激活层和下采样层交替构成的深度结构；
第一层：输入图像数据为224×224像素图像，填充值是3，输出数据227×227×3；然后经过96个过滤器、窗口大小为11×11、步长为4的卷积层1处理，得到[(227-11)/4]+1＝55个特征，以后的层就分为两组处理，输出特征为55×55×96，然后进行ReLU激活层1处理，输出特征为55×55×96，经过池化层1进行最大池化3×3的核，步长为2，得到[(55-3+1)/2]+1＝27个特征，总的特征数为27×27×96，然后进行正则化处理，用于求和的通道数为5，最后得到27×27×96数据；
第二层：输入数据27×27×96，填充值是2，256个过滤器，窗口大小为5×5，得到[(27-5+2×2)/1]+1＝27个特征，输出特征为27×27×256，然后进行ReLU激活层2处理，输出特征为27×27×256，经过池化层2进行最大池化3×3的核，步长为2，得到[(27-3)/2]+1＝13个特征，总的特征数为13×13×256，然后进行正则化处理，用于求和的通道数为5，最后得到13×13×256数据；
第三层：输入数据13×13×256，填充值是1，384个过滤器，窗口大小为3×3，得到[(13-3+1×2)/1]+1＝13个特征，输出特征为13×13×384，然后进行ReLU激活层3处理，最后得到13×13×384数据；
第四层：输入数据13×13×384，填充值是1，384个过滤器，窗口大小为3×3，得到[(13-3+2×1)/1]+1＝13个特征，输出特征为13×13×384，然后进行ReLU激活层4处理，最后得到13×13×384数据；
第五层：输入数据13×13×384，填充值是1，256个过滤器，窗口大小为3×3，得到[(13-3+2×1)/1]+1＝13个特征，输出特征为13×13×256，然后进行ReLU激活层5处理，输出特征为13×13×256，经过池化层5进行最大池化3×3的核，步长为2，得到[(13-3)/2]+1＝6个特征，总的特征数为6×6×256，最后得到6×6×256数据；
第六层：输入数据6×6×256，全连接，得到4096个特征，然后进行ReLU激活层6处理，输出特征为4096，经过dropout6处理，最后得到4096数据；
第七层：输入数据4096，全连接，得到4096个特征，然后进行ReLU激活层7处理，输出特征为4096，经过dropout7处理，最后得到4096数据；
第八层：输入数据4096，全连接，得到1000个特征数据。
所述的卷积神经网络，其学习过程是一个前向传播过程，上一层的输出即为当前层的输入，并通过激活函数逐层传递，因此整个网络的实际计算输出用公式(1)表示，
Op＝Fn(…(F2(F1(XW1)W2)…)Wn) (1)
式中，X表示原始输入，Fl表示第l层的激活函数，Wl表示第l层的映射权值矩阵，Op表示整个网络的实际计算输出；
当前层的输出用(2)表示，
Xl＝fl(WlXl-1+bl) (2)
式中，l代表网络层数，Xl表示当前层的输出，Xl-1表示上一层的输出，即当前层的输入，Wl代表已经训练好的、当前网络层的映射权值矩阵，bl为当前网络的加性偏执，fl是当前网络层的激活函数；采用的激活函数fl为纠正线性单元，即ReLU，用公式(3)表示，
式中，l代表网络层数，Wl代表已经训练好的、当前网络层的映射权值矩阵，fl是当前网络层的激活函数；其作用是如果卷积计算结果小于0，则让其为0；否则保持其值不变。
所述的卷积神经网络，对所述的卷积神经网络训练是一个反向传播过程，通过误差函数反向传播，利用随机梯度下降法对卷积参数和偏置进行优化调整，直到网络收敛或者达到最大迭代次数停止；
反向传播需要通过对带有标签的训练样本进行比较，采用平方误差代价函数，对于c个类别，N个训练样本的多类别进行识别，网络最终输出误差函数用公式(4)来计算误差，
式中，EN为平方误差代价函数，为第n个样本对应标签的第k维，为第n个样本对应网络预测的第k个输出；
对误差函数进行反向传播时，采用传统的BP算法类似的计算方法，如公式(5)所示，
式中，δl代表当前层的误差函数，δl+1代表上一层的误差函数，Wl+1为上一层映射矩阵，f'表示激活函数的反函数，即上采样，ul表示未通过激活函数的上一层的输出，xl-1表示下一层的输入，Wl为本层映射权值矩阵。
所述的肺部分割方法，采用全卷积神经网络，将所述的卷积神经网络改为全卷积神经网络，即FCN，在所述的卷积神经网络的全连接层改为反卷积层，这样输入一幅图像后直接在输出端得到密集预测，也就是每个像素所属的类，从而得到一个端对端的方法来实现肺部对象图像语义分割；
在FCN中，将肺部对象进行定位和分割算法分为从大到小再从小到大的两个过程；从大到小是由所述的卷积神经网络中的下采样层作用所致，而从小到大需要由上采样层来实现；在上采样过程中，这里采用了分阶段增大的方法，并且在上采样的每个阶段，使用下采样对应层的特征进行辅助；所谓辅助就是采用跳层上采样融合的方法，在浅层处减小上采样的步长，得到的细层和高层得到的粗层做融合，然后再上采样得到输出；这种跳层上采样融合的方法兼顾了局部和全局信息，实现比较精准的肺部分割。
所述的深度卷积神经网络是在所述的卷积神经网络的第八层的全连接层后连接了一个Softmax分类器，用于依照疑似肺癌类型进行分类识别；
所述的Softmax分类器，将深度神经网络中的学习结果作为softmax分类器的输入数据；Softmax回归是面向多类分类问题的Logistic回归，是Logistic回归的一般形式，适用于类别之间互斥的情况；假设对于训练集{(x(1),y(1),…,x(m),y(m))}，有y(1)∈{1,2,…,k}，对于给定的样本输入x，输出一个k维的向量来表示每一种分类结果出现的概率为p(y＝i|x)，假设函数h(x)如下：
θ1,θ2,…θk是模型的参数，并且所有的概率和为1；加入规则项后的代价函数为：
代价函数对第j个类别的第l个参数的偏导数为：
式中，j为类别数，m为训练集的类别数，p(y(i)＝j|x(i)；θ))}为x分为类别j的概率，λ为规则项参数，也称为权重衰减项，该规则项参数主要是防止过拟合的；
最后，通过最小化J(θ)，实现softmax的分类回归，将分类回归结果保存到特征库中；
在依据疑似肺癌类型对被检肺部对象图像识别分类时，将提取到的输入数据特征与学习训练得到肺癌类型特征库中的数据进行比对，计算出每一个分类结果的概率，然后取概率最高的前5个结果进行输出，并标出疑似肺癌的位置、类型及概率，以提高影像学临床诊断效率。
所述的预防肺癌自助健康云服务系统，其健康云服务方式是用户将胸部X光片或者CT影像图像通过手机上的微信或者彩信或者QQ发送给健康云服务平台；对于一些用户没有胸部X光片或者CT影像数字图像时，用户用手机或者其他移动设备拍摄来获取胸部X光片或者CT影像数字图像，首先用户先将电脑屏幕打开空白的word或者PPT，全屏显示后，将片子放置在电脑屏幕前，然后打开智能手机上的相机软件；在影像片拍照时，要看清上面的汉字或英文字母，字的方向通常就是片子的正确方向，要放正位置拍照；然后在手机或数码相机上进行预览，质量好的标准是能够清晰地看见英文字母；如果显示模糊，说明拍照时手抖动了或没有正确对焦，需要删除重拍；最后将胸部X光片或者CT影像图像通过手机上的微信或者彩信或者QQ发送给健康云服务平台；健康云服务平台自动读取从微信或彩信或者QQ发送过来的图像，同时生成一个微信或彩信或者QQ号的文件夹，将原始图像保存在该文件夹内；
所述的预防肺癌自助健康云服务系统根据用户发送过来的胸部X光片或者CT影像图像，采用基于全卷积神经网络的从CT影像图像中肺部区域的分割方法对CT影像图像进行肺部对象的分割，得到分割后的肺部图像；然后根据疑似肺癌类型分类规范用深度卷积神经网络对分割后的肺部图像进行识别分类；如果该用户有历史胸部X光片或者CT影像图像，就再与该用户的历史胸部X光片或者CT影像图像进行比对，对比其不同点；如果该用户有病理学专家临床诊断报告，就结合这些信息进行综合分析，提出诊断和治疗建议，参照美国放射学会的肺部影像报告的格式要求自动生成自助健康检测结果报告，然后将健康检测结果报告递交给资深放射科医生进行确认，最后将健康检测结果报告信息反馈给用户。健康咨询文件名是以用户传输给健康云服务平台微信号、或者手机号、或者QQ号来命名；最后将健康咨询文件以用户的微信号、或者手机号、或者QQ号反馈给访问用户并保存在服务器中，或者通知用户来访问健康云服务平台获取用户的自助健康检测结果报告。
考虑到预防肺癌自助健康云服务系统本身也是一种高效地收集胸部X光片或者CT影像图像方法，在预防肺癌自助健康云服务系统运行过程中，会产生一些难以分类识别胸部X光片或者CT影像图像；对于这些难辨的胸部X光片或者CT影像图像，通过与资深放射科医生的合作，对这些胸部X光片或者CT影像图像数据样本标上类别标签，不断丰富和完善肺癌图像数据集，以不断提升疑似肺癌类型的分类精度。
自助健康是以下述流程来实现的，用户将胸部X光片或者CT影像图像通过手机上的微信或者彩信或者QQ发送给健康云服务平台；健康云服务平台根据用户发送过来的胸部X光片或者CT影像图像，进行肺部对象的分割、与该用户的历史胸部X光片或者CT影像图像进行比对，然后进行分类处理，然后根据疑似肺癌类型自动进行综合分析，提出诊断和治疗建议，参照美国放射学会的肺部影像报告的格式要求自动生成自助健康检测结果报告，然后将健康检测结果报告递交给资深放射科医生进行确认，最后将健康检测结果报告信息反馈给用户。
本发明的有益效果主要表现在：
1)提供了一种基于深度卷积神经网络的预防肺癌自助健康云服务系统；
2)提供了一种全自动端对端全卷积神经网络的从CT影像图像中肺部区域的分割方法；
3)实现了一种给每1个病变作完整的分类和评估及肺癌自动识别和辅助诊断技术；
4)利用移动互联网、云计算、大数据挖掘、深度学习和深度卷积神经网络提升肺癌筛查手段的全面信息化、客观化、标准化和全民自助化，提高了肺癌筛查精度，降低了放射科医生的工作强度，提升了民众的健康意识，增加自我健康管理能力，通过早检查、早诊断和早治疗将肺癌消灭在萌芽状态；
5)减少放射科医生阅片压力，仅将含疑似病灶的CT图像序列呈现给医生，并对疑似区域进行标注，使得诊断更加有针对性，消除重复、单调、耗时的事务，提高影像学临床诊断效率；
6)降低影像学临床诊断的个体差异性和主观性，使诊断结果更加客观，减少漏诊率和误诊率，从而提高医疗诊断水平。由于放射科医生的阅片诊断是主观判断过程，因而容易受到医生经验及知识水平的限制和影响导致误诊或遗漏某些图像细节，而计算机在规避这些错误和不足方面具有很大优势；
7)提高早期肺癌筛检临床诊断的敏感性(Sensitivity)、特异性(Specificity)和准确性(Accuracy)，能做到“早发现早诊断早治疗”，延长患者长期生存率；
8)避免了不必要的活组织检查，能减轻就诊者痛苦；
9)构建了一个海量的胸部X光片或者CT影像图像库，为人类攻克癌症的各项科学研究提供强大的数据支撑，通过大数据分析手段有助于发现更为深层次肺癌发病规律、病理和疗效。
附图说明
图1为一种基于深度卷积神经网络的预防肺癌自助健康云服务系统处理框图；
图2为一种基于深度卷积神经网络的肺部病灶识别训练框图；
图3为深度卷积神经网络图；
图4为深度卷积神经网络中第一层处理的流程图；
图5为深度卷积神经网络中第二层处理的流程图；
图6为深度卷积神经网络中第三层处理的流程图；
图7为深度卷积神经网络中第四层处理的流程图；
图8为深度卷积神经网络中第五处理的流程图；
图9为深度卷积神经网络中第六层处理的流程图；
图10为深度卷积神经网络中第七层处理的流程图；
图11为深度卷积神经网络中第八层处理的流程图；
图12为基于全卷积神经网络的对象分割框图；
图13为深度卷积神经网络的各层处理结果图；
图14为全卷积神经网络FCN-32s各层处理结果图；
图15为全卷积神经网络FCN-16s各层处理结果图；
图16为全卷积神经网络FCN-8s各层处理结果图；
图17为一种基于深度卷积神经网络的肺部病灶识别分类框图；
图18为用于肺部病变识别分类的深度卷积神经网络；
图19为推荐给用户的肺癌诊断流程图解；
图20为肺癌诊断的5种方法；
图21为诱发肺癌的内因和外因的主要因子。
具体实施方式
下面结合附图对本发明作进一步描述。
实施例1
参照图1～21，本发明解决其技术问题所采用的技术方案是：
基于深度卷积神经网络的预防肺癌自助健康云服务系统包括一个用于深度学习和训练识别的卷积神经网络、一种基于全卷积神经网络的从CT影像图像中分割出肺部区域的分割算法、一种用于肺癌诊断分类的深度卷积神经网络和一种用于根据所识别的疑似肺癌类型进行早期预防和治疗的自助健康云服务平台；预防肺癌自助健康云服务系统的框图如图1所示；
预防肺癌自助健康云服务系统的使用及准备工作：用户用手机或者其他移动设备拍摄来获取胸部X光片或者CT影像数字图像，首先用户先将电脑屏幕打开空白的word或者PPT，全屏显示后，将片子放置在电脑屏幕前，然后打开智能手机上的相机软件；在影像片拍照时，要看清上面的汉字或英文字母，字的方向通常就是片子的正确方向，要放正位置拍照；然后在手机或数码相机上进行预览，质量好的标准是能够清晰地看见英文字母；如果显示模糊，说明拍照时手抖动了或没有正确对焦，需要删除重拍；最后将胸部X光片或者CT影像图像通过手机上的微信或者彩信或者QQ发送给健康云服务平台；
(1)关于设计一个用于深度学习和训练识别的卷积神经网络
卷积神经网本质上是一种深度映射的网络结构，如图2所示，输入信号通过在网络中进行层层映射，不断进行分解和表示，最终形成关于肺癌的多层表达，其最主要特点就是不必再人为的选取和构建肺癌的各种特征，而是通过机器自动学习，得到关于肺癌的深层表示。
对于胸部X光片正侧位图像和CT图像各自都对应着一个卷积神经网络进行学习和训练；
第一层：如图4所示，输入图像数据为224×224像素图像，填充值是3，输出数据227×227×3；然后经过96个过滤器、窗口大小为11×11、步长为4的卷积层1处理，得到[(227-11)/4]+1＝55个特征，以后的层就分为两组处理，输出特征为55×55×96，然后进行ReLU激活层1处理，输出特征为55×55×96，经过池化层1进行最大池化3×3的核，步长为2，得到[(55-3+1)/2]+1＝27个特征，总的特征数为27×27×96，然后进行正则化处理，用于求和的通道数为5，最后得到27×27×96数据；
第二层：如图5所示，输入数据27×27×96，填充值是2，256个过滤器，窗口大小为5×5，得到[(27-5+2×2)/1]+1＝27个特征，输出特征为27×27×256，然后进行ReLU激活层2处理，输出特征为27×27×256，经过池化层2进行最大池化3×3的核，步长为2，得到[(27-3)/2]+1＝13个特征，总的特征数为13×13×256，然后进行正则化处理，用于求和的通道数为5，最后得到13×13×256数据；
第三层：如图6所示，输入数据13×13×256，填充值是1，384个过滤器，窗口大小为3×3，得到[(13-3+1×2)/1]+1＝13个特征，输出特征为13×13×384，然后进行ReLU激活层3处理，最后得到13×13×384数据；
第四层：如图7所示，输入数据13×13×384，填充值是1，384个过滤器，窗口大小为3×3，得到[(13-3+2×1)/1]+1＝13个特征，输出特征为13×13×384，然后进行ReLU激活层4处理，最后得到13×13×384数据；
第五层：如图8所示，输入数据13×13×384，填充值是1，256个过滤器，窗口大小为3×3，得到[(13-3+2×1)/1]+1＝13个特征，输出特征为13×13×256，然后进行ReLU激活层5处理，输出特征为13×13×256，经过池化层5进行最大池化3×3的核，步长为2，得到[(13-3)/2]+1＝6个特征，总的特征数为6×6×256，最后得到6×6×256数据；
第六层：如图9所示，输入数据6×6×256，全连接，得到4096个特征，然后进行ReLU激活层6处理，输出特征为4096，经过dropout6处理，最后得到4096数据；
第七层：如图10所示，输入数据4096，全连接，得到4096个特征，然后进行ReLU激活层7处理，输出特征为4096，经过dropout7处理，最后得到4096数据；
第八层：如图11所示，输入数据4096，全连接，得到1000个特征数据；
卷积神经网络的预测过程是一个前向传播过程，上一层的输出即为当前层的输入，并通过激活函数逐层传递，因此整个网络的实际计算输出用公式(1)表示，
Op＝Fn(…(F2(F1(XW1)W2)…)Wn) (1)
式中，X表示原始输入，Fl表示第l层的激活函数，Wl表示第l层的映射权值矩阵，Op表示整个网络的实际计算输出；
当前层的输出用(2)表示，
Xl＝fl(WlXl-1+bl) (2)
式中，l代表网络层数，Xl表示当前层的输出，Xl-1表示上一层的输出，即当前层的输入，Wl代表已经训练好的、当前网络层的映射权值矩阵，bl为当前网络的加性偏执，fl是当前网络层的激活函数；采用的激活函数fl为纠正线性单元，即ReLU，用公式(3)表示，
式中，l代表网络层数，Wl代表已经训练好的、当前网络层的映射权值矩阵，fl是当前网络层的激活函数；其作用是如果卷积计算结果小于0，则让其为0；否则保持其值不变。
卷积神经网络训练是一个反向传播过程，与BP算法类似，通过误差函数反向传播，利用随机梯度下降法对卷积参数和偏置进行优化调整，直到网络收敛或者达到最大迭代次数停止。
该神经网络训练是一个反向传播过程，通过误差函数反向传播，利用随机梯度下降法对卷积参数和偏置进行优化调整，直到网络收敛或者达到最大迭代次数停止；
反向传播需要通过对带有标签的训练样本进行比较，采用平方误差代价函数，对于c个类别，N个训练样本的多类别进行识别，网络最终输出误差函数用公式(4)来计算误差，
式中，EN为平方误差代价函数，为第n个样本对应标签的第k维，为第n个样本对应网络预测的第k个输出；
对误差函数进行反向传播时，采用传统的BP算法类似的计算方法，如公式(5)所示，
式中，δl代表当前层的误差函数，δl+1代表上一层的误差函数，Wl+1为上一层映射矩阵，f'表示激活函数的反函数，即上采样，ul表示未通过激活函数的上一层的输出，xl-1表示下一层的输入，Wl为本层映射权值矩阵。
卷积神经网络学习和训练的算法思想是：1)首先逐层构建单层神经元，这样每次都是训练一个单层网络；2)当所有层训练完后，使用wake-sleep算法进行调优。
深度学习训练过程具体如下：
STEP21：使用自下而上的非监督学习，即从底层开始，一层一层的往顶层训练，学习肺部图像特征：先用无标签肺部图像数据训练第一层，训练时先学习第一层的参数，由于模型容量的限制以及稀疏性约束，使得得到的模型能够学习到数据本身的结构，从而得到比输入更具有表示能力的特征；在学习得到第l-1层后，将l-1层的输出作为第l层的输入，训练第l层，由此分别得到各层的参数；具体计算如公式(2)、(3)所示；
STEP22：自顶向下的监督学习，即通过带标签的肺部图像数据去训练，误差自顶向下传输，对网络进行微调：具体计算如公式(4)、(5)所示；
基于STEP21得到的各层参数进一步微调整个多层模型的参数，这一步是一个有监督训练过程；STEP21类似神经网络的随机初始化初值过程，由于深度学习的STEP21不是随机初始化，而是通过学习输入数据的结构得到的，因而这个初值更接近全局最优，从而能够取得更好的效果。
这里带标签的胸部X光片和CT图像数据是肺癌辅助诊断的关键，需要由资深放射科医生对收集到的各种胸部X光片和CT图像进行甄别，专家对所拍摄的胸部X光片和CT图像的肺部内深分叶征、空泡征、空气支气管征、毛刺、棘状突起、血管支气管集束征、钙化、卫星灶和周围支扩征进行辨识和分类；具体做法是由二位超过20年诊断经验的放射科医生负责，由他们确定每一个样本的类别标签；这种通过对专家的看片经验及意见进行分析综合，获得较为科学和准确的肺癌特征的分类依据及诊断结果；为深度卷积神经网络提供训练和学习的肺癌图像数据；
本发明将经专家诊断后的胸部X光片和CT影像图片做上标签，然后将这些带有标签的胸部X光片和CT影像让深度卷积神经网络学习，在胸部X光片中主要自动提取出疑似中心型肺癌、外围型肺癌和周围性肺癌带有标签的肺部病变特征；在CT影像中自动提取出带有标签的肺部病变特征；肺部病变特征包括了深分叶征、空泡征、空气支气管征、毛刺、棘状突起、血管支气管集束征、钙化、卫星灶和周围支扩征的病灶；
实验研究表明，肺部病灶数据集越大、肺部病灶样本类别越丰富肺癌诊断越精准；因此做好有标签的胸部x线片和CT影像数据集是一个关键；
胸部x线片和CT影像数据集的准备；一类数据通过专业书刊获取带有标签的胸部x线片和CT影像数据，如《胸部影像诊断及鉴别》，书刊内的这类数据直接可以作为肺部病变数据集中的数据；另一类，是通过网络上的一些开源资源；
在上述肺部x线影像图像数据基础上，通过以下数据增强变换技术中的一种或者组合来增加输入数据的量；①旋转|反射变换：随机旋转图像一定角度，改变图像内容的朝向；②翻转变换：沿着水平或者垂直方向翻转图像；③缩放变换：按照一定的比例放大或者缩小图像；④平移变换：在图像平面上对图像以一定方式进行平移；⑤可以采用随机或人为定义的方式指定平移范围和平移步长，沿水平或竖直方向进行平移，改变图像内容的位置；⑥尺度变换：对图像按照指定的尺度因子，进行放大或缩小；或者参照SIFT特征提取思想，利用指定的尺度因子对图像滤波构造尺度空间；改变图像内容的大小或模糊程度；⑦对比度变换：在图像的HSV颜色空间，改变饱和度S和V亮度分量，保持色调H不变；对每个像素的S和V分量进行指数运算，指数因子在0.25到4之间，增加光照变化；⑧噪声扰动：对图像的每个像素RGB进行随机扰动；常用的噪声模式是椒盐噪声和高斯噪声；⑨颜色变换：在训练集像素值的RGB颜色空间进行PCA，得到RGB空间的3个主方向向量，3个特征值，p1，p2，p3，λ1，λ2，λ3；每幅图像的每个像素Ixy＝[IRxy，IGxy，IBxy]T进行加上如下的变化：[p1，p2，p3][α1λ1，α2λ2，α3λ3]T；
严格意义上说，每个人的肺部x线影像图像都是不一样的，随着自助健康云服务平台的应用面扩大，带标签的胸部X光片和CT图像数据将是一个非常庞大的海量数据，通过大数据的处理方式能归纳出一些新的肺癌类型，当然在此过程中必须由资深放射科主任医师和病理医师的参与；
(2)关于设计一种基于全卷积神经网络的从CT影像图像中分割出肺部区域的分割算法；
由于胸部X光片图像中不仅仅是肺部区域部分的图像，在胸部X光片中会出现人体多种器官的重叠，因此，本发明不对胸部X光片图像进行分割处理；
在CT影像图像中由于反映的是从肺部某一个横截面的图像，从该图像中分割出肺部是肺部病变诊断的重要前提工作，因此必须设计一种基于全卷积神经网络的肺部区域分割算法；
首先，设计一种基于全卷积神经网络的从CT影像图像中分割出肺部区域的分割算法，即对胸部CT影像图像中肺部对象进行区域选择和定位；
为了对CT影像图像中肺部对象的位置进行定位；由于肺部对象可能出现在图像的任何位置，而且肺部目标的大小、长宽比例也不确定，原有的技术是最初采用滑动窗口的策略对整幅图像进行遍历，而且需要设置不同的尺度，不同的长宽比；这种穷举的策略虽然包含了肺部目标所有可能出现的位置，但是缺点也是显而易见的：时间复杂度太高，产生冗余窗口太多，这也严重影响后续特征提取和分类的速度和性能；因此，如何用语义概念对肺部对象进行定位和分割至关重要；
在二维CT断层图像上，CT图像序列中包括了背景、躯干和含有气管/支气管的肺部区域；肺部区域具有低CT值和其周围胸腔壁具有高CT值的特点可以用来引导肺部区域的分割；
深度卷积神经网络一个重要优点是从像素级原始数据到抽象的语义概念逐层提取信息，这使得它在提取图像的全局特征和上下文信息方面具有突出的优势，为解决图像语义分割带来了突破；卷积神经网络层数越高越能表达图像的全局特征及语义概念，但是深度卷积神经网络经过多层的下采样使得卷积神经网络层数越高的图像比原图像要小若干倍，如果用卷积神经网络的最高层作为分割预测由此带来的是分割后的对象比较粗糙，一般都是大致轮廓，这样得到的肺部对象会严重影响后续肺部病变诊断的准确性；本发明提出的基于全卷积神经网络的从CT影像图像中分割出肺部区域的分割算法是建立在卷积神经网络的基础上的，下面首先介绍卷积神经网络；
图3所示的是卷积神经网络图，共分为八层，卷积神经网络是由卷积层、激活层和下采样层交替构成的深度结构，这种深度结构能够有效减少计算时间并建立空间结构上的不变性。输入图像在网络中进行层层映射，最终得到各层对于图像不同的表示形式，实现图像的深度表示，其中卷积核以及下采样的方式直接决定图像的映射方式。
为了精准地分割肺部对象，本发明的主要思路是把深度卷积神经网络改为全卷积神经网络，即FCN，输入一幅图像后直接在输出端得到密集预测，也就是每个像素所属的类，从而得到一个端对端的方法来实现肺部对象图像语义分割；
包括肺部的图像经过深度卷积神经网络的多次卷积以后，得到的图像越来越小，分辨率越来越低，那么FCN是如何得到图像中每一个像素的类别的呢？为了从这个分辨率低的粗略图像恢复到原图的分辨率，FCN使用了上采样。例如经过5次卷积以后，图像的分辨率依次缩小了2、4、8、16、32倍；对于最后一层的输出图像，需要进行32倍的上采样，才能得到原图一样的大小，如图14所示，本发明中采用步长为32对最后一层的输出图像进行上采样；对于最后第二层的输出图像，需要进行16倍的上采样，才能得到原图一样的大小，如图15所示，本发明中采用步长为16对最后第二层的输出图像进行上采样；对于最后第三层的输出图像，需要进行8倍的上采样，才能得到原图一样的大小，如图16所示，本发明中采用步长为8对最后第三层的输出图像进行上采样；这里的上采样操作可以看成是反卷积，卷积运算的参数和CNN的参数一样是在训练FCN模型的过程中通过BP算法学习得到；
为了要精确预测每个像素的分割结果，本发明中将肺部对象进行定位和分割算法分为从大到小(即从输入的大图像到定位分类后的小图像)，再从小到大(与原始输入的图像大小一致)的两个过程；从大到小是由深度卷积神经网络中的下采样层作用所致，而从小到大需要由上采样层来实现；在上采样过程中，本发明采用了分阶段增大的方法，并且在上采样的每个阶段，使用下采样对应层的特征进行辅助；所谓辅助就是采用跳层的方法，在浅层处减小上采样的步长，得到的细层和高层得到的粗层做融合，然后再上采样得到输出；这种跳层的方法兼顾了局部和全局信息；
首先把图3所示的卷积神经网络的全连接层，图中的第六层、第七层和第八层，这里将其作为卷积层，卷积模板大小就是输入的特征图的大小，也就是说把全连接网络看成是对整张输入图做卷积，全连接层分别有4096个1×1的卷积核，4096个1×1的卷积核，1000个1×1的卷积核；
图13所示的输出就是1000个1×1的卷积核，最后两级是全连接，参数弃去不用；
图14所示，从第七层1×1×4096的特征图预测分割成16×16×6的小图，之后直接上采样为500×500×6的大图；这里500×500为原图像的大小，本发明中根据原图像的大小就能恢复出其原图像一样的尺寸；6为深度值，这里表示肺部对象+背景+躯干+气管+支气管+动脉；反卷积的步长为32，这个网络称为FCN-32s；
图15所示，上采样分为两次完成；在第二次升采样前，把第4个池化层的预测结果融合进来，之后上采样为500×500×6的大图；使用跳级结构提升精确性；第二次反卷积步长为16，这个网络称为FCN-16s；
图16所示，上采样分为三次完成；进一步融合了第3个池化层的预测结果，之后上采样为500×500×6的大图；；第三次反卷积步长为8，记为FCN-8s。
网络结构归纳如下；输入可为任意尺寸图像灰色图像；输出与输入尺寸相同，深度为：肺部对象+背景+躯干+气管+支气管+动脉＝6；通过用FCN-8s的全卷积神经网络分割出肺部对象；这里要强调的是首先用图14所示训练FCN-32s全卷积神经网络，然后用图15所示训练FCN-16s全卷积神经网络，最后用图16所示训练FCN-8s全卷积神经网络；
在用FCN-8s的全卷积神经网络分割出肺部对象后就是要通过一个深度卷积神经网络对肺癌进行辅助诊断分类；CT图像序列中包括了背景、躯干和含有气管/支气管的肺部区域；
(3)关于设计一种用于肺癌辅助诊断分类的深度卷积神经网络；
肺癌根据发生部位分为3型：中央型、周围型及弥漫型；肿瘤根据形态分为6型：中央管内型、中央管壁型、中央管外型、周围肿块型、周围肺炎型以及弥漫型；从病理学上分，肺癌又被分为：小细胞癌和非小细胞癌；非小细胞癌又可细分为：大细胞癌、腺癌、鳞癌和腺鳞癌；这些不同类型或类别的病变影像学表现各不相同；不仅如此，即使是同一类别的病变，其病理变化也是千差万别，它们在病变的部位、大小、形态方面也各不相同，因而疾病的影像学表现非常复杂；本发明通过带标签的胸部X光片和CT图像数据对深度卷积神经网络进行学习和训练，使得深度卷积神经网络能自动提取出不同类型或类别的特征数据，作为分类器的输入数据；
用于肺癌辅助诊断分类的深度卷积神经网络，如图18所示，与图3所示的卷积神经网络完全相同，只是在第八层的全连接层后连接了一个Softmax分类器；
所述的Softmax分类器，将深度神经网络中的学习结果作为softmax分类器的输入数据；Softmax回归是面向多类分类问题的Logistic回归，是Logistic回归的一般形式，适用于类别之间互斥的情况；假设对于训练集{(x(1),y(1),…,x(m),y(m))}，有y(1)∈{1,2,…,k}，对于给定的样本输入x，输出一个k维的向量来表示每一种分类结果出现的概率为p(y＝i|x)，假设函数h(x)如下：
θ1,θ2,…θk是模型的参数，并且所有的概率和为1；加入规则项后的代价函数为：
代价函数对第j个类别的第l个参数的偏导数为：
式中，j为类别数，m为训练集的类别数，p(y(i)＝j|x(i)；θ))}为x分为类别j的概率，λ为规则项参数，也称为权重衰减项，该规则项参数主要是防止过拟合的；
最后，通过最小化J(θ)，实现softmax的分类回归，将分类回归结果保存到特征库中；
在依据疑似肺癌类型对被检肺部对象图像识别分类时，如图17所示，将提取到的输入数据特征与学习训练得到肺癌类型特征库中的数据进行比对，计算出每一个分类结果的概率，然后取概率最高的前5个结果进行输出，并标出疑似肺癌的位置、类型及概率，以提高影像学临床诊断效率。
进一步，在分割出肺部对象图像后，本发明中设计了一种在肺部对象检索肺结节的方法；这是因为提高肺结节的检出率对于提高早期肺癌的发现有重大作用，由于肺结节的直径分布从3mm到3cm不等，在CT图像上很容易与血管相混淆；为了解决肺结节与肺血管在二维层片上灰度级相似而难以区分的问题，在本发明中首先在所有CT图像上标示出疑似肺结节或者肺血管的位置，然后通过不同CT截面图像来排除肺血管；排除肺血管的算法思想是：肺血管在两个或者多个相邻层的CT截面图像基本上都是在相同位置上，如果在两个或者多个相邻层的CT截面图像的相同位置上出现类圆形区域就判断为肺血管，否则初步判定为疑似肺结节，即孤立性结节。当然这种检测精度是与CT图像的扫描精度相关，如果CT图像的扫描步长设置为2mm，那么理论上能检测出直径为3mm左右的肺结节，一个病例检查会产生140层左右的二维CT影像。
(4)关于构建一种用于根据所诊断结果进行自助健康云服务平台；
首先是自助健康云服务平台的工作原理：如图1所示，所述的预防肺癌自助健康云服务系统，其健康云服务方式是用户将胸部X光片或者CT图像通过手机上的微信或者彩信或者QQ发送给健康云服务平台；对于一些用户没有胸部X光片或者CT数字图像时，用户用手机或者其他移动设备拍摄来获取胸部X光片或者CT数字图像，首先用户先将电脑屏幕打开空白的word或者PPT，全屏显示后，将片子放置在电脑屏幕前，然后打开智能手机上的相机软件；在影像片拍照时，要看清上面的汉字或英文字母，字的方向通常就是片子的正确方向，要放正位置拍照；然后在手机或数码相机上进行预览，质量好的标准是能够清晰地看见英文字母；如果显示模糊，说明拍照时手抖动了或没有正确对焦，需要删除重拍；最后将胸部X光片或者CT图像通过手机上的微信或者彩信或者QQ发送给健康云服务平台；健康云服务平台自动读取从微信或彩信或者QQ发送过来的图像，同时生成一个微信或彩信或者QQ号的文件夹，将原始图像保存在该文件夹内；
要求用户上传的图像文件名根据胸部X光片及CT图像的类型进行命名，胸部X光正面位片的文件名用胸部X光正.jpg，胸部X光侧面位片的文件名用胸部X光侧.jpg，CT图像的文件名用CT+层.jpg，比如第一层的CT图像的文件名为CT1.jpg；
所述的预防肺癌自助健康云服务系统根据用户发送过来的胸部X光片或者CT图像，采用基于全卷积神经网络的从CT图像中肺部区域的分割方法对CT图像进行肺部对象的分割，得到分割后的肺部图像；然后根据肺癌类型分类规范用深度卷积神经网络对分割后的肺部图像进行识别分类；如果该用户有历史胸部X光片或者CT图像，就再与该用户的历史胸部X光片或者CT图像进行比对，对比其不同点；如果该用户有病理学专家临床诊断报告，就结合这些信息进行综合分析，提出诊断和治疗建议，参照美国放射学会的肺部影像报告的格式要求自动生成自助健康检测结果报告，然后将健康检测结果报告递交给资深放射科医生进行确认，最后将健康检测结果报告信息反馈给用户。健康咨询文件名是以用户传输给健康云服务平台微信号、或者手机号、或者QQ号来命名；最后将健康咨询文件以用户的微信号、或者手机号、或者QQ号反馈给访问用户并保存在服务器中，或者通知用户来访问健康云服务平台获取用户的自助健康检测结果报告。
由于诱发肺癌既有外因条件也有内因条件，如图21所示；为了能更为精准的识别和分类判断，平台要求用户在提交胸部X光片或者CT图像的同时还需要用户提交年龄、吸烟史(现在和既往)、氡暴露史、职业史、患癌史、肺癌家族史、疾病史(慢阻肺或肺结核)、烟雾接触史(被动吸烟暴露)的信息以及用户目前的常见体征。
健康咨询文件中还包括了中医治疗肺癌早期和食疗方面的健康指导。
实施例2
其余与实施例1相同，所不同的是本发明的基于深度卷积神经网络的预防肺癌自助健康云服务系统可以直接应用于医院和各级卫生院，为医生进一步临床病例检查和诊断提供参考；也可以在肺癌筛查的健康体检中应用本平台，在减轻放射科医生的工作强度同时提高了肺癌筛查精度，全面提升了肺癌筛查手段的全面信息化、客观化和标准化水平。
实施例3
其余与实施例1相同，所不同的是本发明的基于深度卷积神经网络的预防肺癌自助健康云服务系统可以用于肺部病变的动态分析；由于自助健康云服务平台详细记录了访问平台的用户的详细影像资料，对每个时间段的影像资料可以进行对比分析，观察肺部相关疾病随病情的发展而有相应的变化，观察时亦应随病情发展变化而作动态分析，尤其是与原有历史胸部X光片或者CT图像比对中发现有新的变化点；据此为早期诊断和早期治疗提供重要依据；本发明中详细记录了用户访问健康云服务平台的肺部自诊所有结果，并记录的访问的时间，这些信息有助于肺部病变的动态分析。
以上所述仅为本发明的较佳实施举例，并不用于限制本发明，凡在本发明精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于深度卷积神经网络的预防肺癌自助健康云服务系统，其特征在于：包括用于深度学习和训练识别的卷积神经网络、基于全卷积神经网络的从CT影像图像中分割出肺部区域的分割模板、用于肺部病灶诊断分类的深度卷积神经网络和用于根据所识别的疑似肺癌类型进行早期预防和治疗的健康云服务平台；
所述的卷积神经网络，共分为八层，由卷积层、激活层和下采样层交替构成的深度结构；输入图像在网络中进行层层映射，得到各层对于图像不同的表示形式，实现图像的深度表示；
所述的基于全卷积神经网络的从CT影像图像中分割出肺部区域的分割模块，采用全卷积神经网络，就是将所述的卷积神经网络改为全卷积神经网络，将所述的卷积神经网络的全连接层改为反卷积层，这样输入一幅图像后直接在输出端得到密集预测，也就是每个像素所属的类，从而得到一个端对端的方法来实现肺部对象图像语义分割；
所述的深度卷积神经网络是在所述的卷积神经网络的第八层的反卷积层后连接了一个Softmax分类器，用于对疑似肺癌类型进行分类识别；
所述的健康云服务平台，主要包括了接收和读取用户发送过来的胸部X光片或者CT影像图像的图像读取模块，以用户访问平台的装备的用户名或号码为文件夹名的文件夹生成模块，基于深度卷积神经网络对分割后的肺部区域图像进行分类的疑似肺癌类型分类模块，生成早期预防和治疗的健康文件的健康文件生成模块，用于将用户的健康咨询文件反馈给访问用户的文件自动传输模块，用于将早期预防和治疗的健康文件提供给用户到所述的健康云服务平台的网站上下载的下载服务模块；
所述的卷积神经网络，对所述的卷积神经网络训练是一个反向传播过程，通过误差函数反向传播，利用随机梯度下降法对卷积参数和偏置进行优化调整，直到网络收敛或者达到最大迭代次数停止；
反向传播需要通过对带有标签的训练样本进行比较，采用平方误差代价函数，对于c个类别，N个训练样本的多类别进行识别，网络最终输出误差函数用公式(4)来计算误差，
式中，EN为平方误差代价函数，为第n个样本对应标签的第k维，为第n个样本对应网络预测的第k个输出；
对误差函数进行反向传播时，采用BP计算方法，如公式(5)所示，
式中，δl代表当前层的误差函数，δl+1代表上一层的误差函数，Wl+1为上一层映射矩阵，f'表示激活函数的反函数，即上采样，ul表示未通过激活函数的上一层的输出，xl-1表示下一层的输入，Wl为本层映射权值矩阵，bl为当前网络的加性偏置。
2.如权利要求1所述的基于深度卷积神经网络的预防肺癌自助健康云服务系统，其特征在于：所述的卷积神经网络，共分为八层，卷积神经网络是由卷积层、激活层和下采样层交替构成的深度结构；
第一层：输入图像数据为224×224像素图像，填充值是3，输出数据227×227×3；然后经过96个过滤器、窗口大小为11×11、步长为4的卷积层1处理，得到[(227-11)/4]+1＝55个特征，以后的层就分为两组处理，输出特征为55×55×96，然后进行ReLU激活层1处理，输出特征为55×55×96，经过池化层1进行最大池化3×3的核，步长为2，得到[(55-3)/2]+1＝27个特征，总的特征数为27×27×96，然后进行正则化处理，用于求和的通道数为5，最后得到27×27×96数据；
第二层：输入数据27×27×96，填充值是2，256个过滤器，窗口大小为5×5，得到[(27-5+2×2)/1]+1＝27个特征，输出特征为27×27×256，然后进行ReLU激活层2处理，输出特征为27×27×256，经过池化层2进行最大池化3×3的核，步长为2，得到[(27-3)/2]+1＝13个特征，总的特征数为13×13×256，然后进行正则化处理，用于求和的通道数为5，最后得到13×13×256数据；
第三层：输入数据13×13×256，填充值是1，384个过滤器，窗口大小为3×3，得到[(13-3+1×2)/1]+1＝13个特征，输出特征为13×13×384，然后进行ReLU激活层3处理，最后得到13×13×384数据；
第四层：输入数据13×13×384，填充值是1，384个过滤器，窗口大小为3×3，得到[(13-3+2×1)/1]+1＝13个特征，输出特征为13×13×384，然后进行ReLU激活层4处理，最后得到13×13×384数据；
第五层：输入数据13×13×384，填充值是1，256个过滤器，窗口大小为3×3，得到[(13-3+2×1)/1]+1＝13个特征，输出特征为13×13×256，然后进行ReLU激活层5处理，输出特征为13×13×256，经过池化层5进行最大池化3×3的核，步长为2，得到[(13-3)/2]+1＝6个特征，总的特征数为6×6×256，最后得到6×6×256数据；
第六层：输入数据6×6×256，全连接，得到4096个特征，然后进行ReLU激活层6处理，输出特征为4096，经过dropout6处理，最后得到4096数据；
第七层：输入数据4096，全连接，得到4096个特征，然后进行ReLU激活层7处理，输出特征为4096，经过dropout7处理，最后得到4096数据；
第八层：输入数据4096，全连接，得到1000个特征数据。
3.如权利要求1所述的基于深度卷积神经网络的预防肺癌自助健康云服务系统，其特征在于：所述的卷积神经网络，其学习过程是一个前向传播过程，上一层的输出即为当前层的输入，并通过激活函数逐层传递，因此整个网络的实际计算输出用公式(1)表示，
Op＝Fn(…(F2(F1(XW1)W2)…)Wn) (1)
式中，X表示原始输入，Fl表示第l层的激活函数，Wl表示第l层的映射权值矩阵，Op表示整个网络的实际计算输出，l＝1，2，…，n；
当前层的输出用(2)表示，
Xl＝fl(WlXl-1+bl) (2)
式中，l代表网络层数，Xl表示当前层的输出，Xl-1表示上一层的输出，即当前层的输入，Wl代表已经训练好的、当前网络层的映射权值矩阵，bl为当前网络的加性偏置，fl是当前网络层的激活函数；采用的激活函数fl为纠正线性单元，即ReLU，用公式(3)表示，
式中，l代表网络层数，Wl代表已经训练好的、当前网络层的映射权值矩阵，fl是当前网络层的激活函数；其作用是如果卷积计算结果小于0，则让其为0；否则保持其值不变。
4.如权利要求1所述的基于深度卷积神经网络的预防肺癌自助健康云服务系统，其特征在于：所述的深度卷积神经网络是在所述的卷积神经网络的第八层的反卷积层后连接了一个Softmax分类器，用于依据疑似肺癌类型进行分类识别；
所述的Softmax分类器，将深度神经网络中的学习结果作为softmax分类器的输入数据；Softmax回归是面向多类分类问题的Logistic回归；
对于训练集{(x(1),y(1),…,x(m),y(m))}，有y(1)∈{1,2,…,k}，对于给定的样本输入x，输出一个k维的向量来表示每一种分类结果出现的概率为p(y＝i|x)，假设函数h(x)如下：
θ1,θ2,…θk是模型的参数，并且所有的概率和为1；加入规则项后的代价函数为：
代价函数对第j个类别的第l个参数的偏导数为：
式中，j为类别数，m为训练集的类别数，p(y(i)＝j|x(i)；θ)为x分为类别j的概率，λ为规则项参数，也称为权重衰减项，该规则项参数主要是防止过拟合的；
最后，通过最小化J(θ)，实现softmax的分类回归，将分类回归结果保存到特征库中；
在依据疑似肺癌类型对被检肺部对象图像识别分类时，将提取到的输入数据特征与学习训练得到肺癌类型特征库中的数据进行比对，计算出每一个分类结果的概率，然后取概率最高的前5个结果进行输出，并标出疑似肺癌的位置、类型及概率，以提高影像学临床诊断效率。
5.如权利要求1所述的基于深度卷积神经网络的预防肺癌自助健康云服务系统，其特征在于：所述的预防肺癌自助健康云服务系统根据用户发送过来的胸部X光片或者CT影像图像，采用基于全卷积神经网络的从CT影像图像中分割出肺部区域的分割方法对CT影像图像进行肺部对象的分割，得到分割后的肺部图像；然后根据疑似肺癌类型分类规范用深度卷积神经网络对分割后的肺部图像进行识别分类；如果该用户有历史胸部X光片或者CT影像图像，就再与该用户的历史胸部X光片或者CT影像图像进行比对，对比其不同点；如果该用户有病理学专家临床诊断报告，就结合病理学专家临床诊断报告进行综合分析，提出诊断和治疗建议，自动生成自助健康检测结果报告，然后将健康检测结果报告递交给资深放射科医生进行确认，最后将健康检测结果报告信息反馈给用户；
所述的预防肺癌自助健康云服务系统还包括用户传输胸部X光片或者CT影像图像给健康云服务平台或从云服务平台接受健康检测结果报告的用户端。
6.如权利要求1所述的基于深度卷积神经网络的预防肺癌自助健康云服务系统，其特征在于：所述的肺部病灶诊断分类的深度卷积神经网络，为解决肺结节与肺血管在二维层片上灰度级相似而难以区分的问题，首先在所有CT图像上标示出疑似肺结节或者肺血管的位置，然后通过不同CT截面图像来排除肺血管；排除肺血管的算法思想是：肺血管在两个或者多个相邻层的CT截面图像都是在相同位置上，如果在两个或者多个相邻层的CT截面图像的相同位置上出现类圆形区域就判断为肺血管，否则初步判定为疑似肺结节，即孤立性结节；当然这种检测精度是与CT图像的扫描精度相关，如果CT图像的扫描步长设置为2mm，那么能检测出直径为3mm的肺结节，一个病例检查会产生140层的二维CT影像。
7.如权利要求1或5或6所述的基于深度卷积神经网络的预防肺癌自助健康云服务系统，其特征在于：所述的深度卷积神经网络中的疑似肺癌类型图像特征数据集，包括了各种疑似肺癌类型图像数据，在这些疑似肺癌类型图像中既包括了疑似肺癌类型的某个特征，又包括了疑似肺癌类型的二个和二个以上特征的组合；
为了得到的疑似肺癌类型识别精度，要求疑似肺癌类型特征图像至少在3000个以上，可采用数据增强变换技术来增加输入数据的量；
采用如下图像数据增强变换方法中的一种或几种增加输入数据的量：①旋转|反射变换：随机旋转图像一定角度，改变图像内容的朝向；②翻转变换：沿着水平或者垂直方向翻转图像；③缩放变换：按照一定的比例放大或者缩小图像；④平移变换：在图像平面上对图像以一定方式进行平移；⑤可以采用随机或人为定义的方式指定平移范围和平移步长，沿水平或竖直方向进行平移，改变图像内容的位置；⑥尺度变换：对图像按照指定的尺度因子，进行放大或缩小；或者参照SIFT特征提取思想，利用指定的尺度因子对图像滤波构造尺度空间；改变图像内容的大小或模糊程度；⑦对比度变换：在图像的HSV颜色空间，改变饱和度S和V亮度分量，保持色调H不变；对每个像素的S和V分量进行指数运算，指数因子在0.25到4之间，增加光照变化；⑧噪声扰动：采用椒盐噪声或高斯噪声对图像的每个像素RGB进行随机扰动；⑨颜色变换。
8.如权利要求1所述的基于深度卷积神经网络的预防肺癌自助健康云服务系统，其特征在于：用户端将胸部X光片或者CT图像通过移动端发送给健康云服务平台；对于一些用户没有胸部X光片或者CT数字图像时，用户用手机或者其他移动设备拍摄来获取胸部X光片或者CT数字图像，首先用户先将电脑屏幕打开空白的word或者PPT，全屏显示后，将片子放置在电脑屏幕前，然后打开智能手机上的相机软件；在影像片拍照时，要看清上面的汉字或英文字母，字的方向通常就是片子的正确方向，要放正位置拍照；然后在手机或数码相机上进行预览，质量好的标准是能够清晰地看见英文字母；如果显示模糊，说明拍照时手抖动了或没有正确对焦，需要删除重拍；最后将胸部X光片或者CT图像通过用户端发送给健康云服务平台。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610734382.XA CN106372390B (zh) | 2016-08-25 | 2016-08-25 | 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610734382.XA CN106372390B (zh) | 2016-08-25 | 2016-08-25 | 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106372390A CN106372390A (zh) | 2017-02-01 |
| CN106372390B true CN106372390B (zh) | 2019-04-02 |
Family
ID=57904219
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610734382.XA Active CN106372390B (zh) | 2016-08-25 | 2016-08-25 | 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106372390B (zh) |
Families Citing this family (114)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106909778B (zh) * | 2017-02-09 | 2019-08-27 | 北京市计算中心 | 一种基于深度学习的多模态医学影像识别方法及装置 |
| CN106875445A (zh) * | 2017-02-15 | 2017-06-20 | 深圳市中科微光医疗器械技术有限公司 | 基于oct影像的支架检测与评估的深度学习方法及系统 |
| CN107016665B (zh) * | 2017-02-16 | 2021-05-04 | 浙江大学 | 一种基于深度卷积神经网络的ct肺结节检测方法 |
| CN107016405B (zh) * | 2017-02-24 | 2019-08-30 | 中国科学院合肥物质科学研究院 | 一种基于分级预测卷积神经网络的害虫图像分类方法 |
| CN106971198A (zh) * | 2017-03-03 | 2017-07-21 | 北京市计算中心 | 一种基于深度学习的尘肺病等级判定方法及系统 |
| CN106952229A (zh) * | 2017-03-15 | 2017-07-14 | 桂林电子科技大学 | 基于数据增强的改进型卷积网络的图像超分辨率重建方法 |
| KR102000745B1 (ko) * | 2017-03-17 | 2019-07-16 | (주) 프로큐라티오 | 개인의료정보데이터 관리방법 및 시스템 |
| CN106940816B (zh) * | 2017-03-22 | 2020-06-09 | 杭州健培科技有限公司 | 基于3d全卷积神经网络的ct图像肺结节检测系统 |
| CN107871136A (zh) * | 2017-03-22 | 2018-04-03 | 中山大学 | 基于稀疏性随机池化的卷积神经网络的图像识别方法 |
| WO2018176035A1 (en) * | 2017-03-24 | 2018-09-27 | The United Of America, As Represented By The Secretary, Department Of Health And Human Services | Method and system of building hospital-scale chest x-ray database for entity extraction and weakly-supervised classification and localization of common thorax diseases |
| CN107203989A (zh) * | 2017-04-01 | 2017-09-26 | 南京邮电大学 | 基于全卷积神经网络的端对端胸部ct图像分割方法 |
| CN106951928A (zh) * | 2017-04-05 | 2017-07-14 | 广东工业大学 | 一种甲状腺乳头状癌的超声图像识别方法及装置 |
| CN107103334A (zh) * | 2017-04-26 | 2017-08-29 | 太原理工大学 | 一种基于卷积神经网络和字典对学习的肺结节分类方法 |
| CN106951724B (zh) * | 2017-05-09 | 2019-03-19 | 山东省千佛山医院 | 适用于肝癌及消化道癌的病理诊断报告生成系统及方法 |
| CN107280697A (zh) * | 2017-05-15 | 2017-10-24 | 北京市计算中心 | 基于深度学习和数据融合的肺结节分级判定方法和系统 |
| CN107180430A (zh) * | 2017-05-16 | 2017-09-19 | 华中科技大学 | 一种适用于语义分割的深度学习网络构建方法及系统 |
| CN107145756A (zh) * | 2017-05-17 | 2017-09-08 | 上海辉明软件有限公司 | 一种脑卒中类型预测方法以及装置 |
| CN107194407B (zh) * | 2017-05-18 | 2020-04-07 | 网易（杭州）网络有限公司 | 一种图像理解的方法和装置 |
| CN107220971A (zh) * | 2017-06-02 | 2017-09-29 | 太原理工大学 | 一种基于卷积神经网络和主成分分析法的肺结节特征提取方法 |
| CN107154043B (zh) * | 2017-06-05 | 2020-03-24 | 杭州健培科技有限公司 | 一种基于3dcnn的肺结节假阳性样本抑制方法 |
| SG11201911791RA (en) | 2017-06-09 | 2020-01-30 | Ai Medical Service Inc | A disease diagnosis support method employing endoscopic images of a digestive organ, a diagnosis support system, a diagnosis support program and a computer-readable recording medium having the diagnosis support program stored therein |
| CN107273925B (zh) * | 2017-06-12 | 2020-10-09 | 太原理工大学 | 基于局部感受野和半监督深度自编码的肺实质ct影像处理装置 |
| CN107330449A (zh) * | 2017-06-13 | 2017-11-07 | 瑞达昇科技(大连)有限公司 | 一种糖尿病性视网膜病变体征检测方法及装置 |
| WO2018232388A1 (en) | 2017-06-16 | 2018-12-20 | Rensselaer Polytechnic Institute | Systems and methods for integrating tomographic image reconstruction and radiomics using neural networks |
| CN107330900A (zh) * | 2017-06-22 | 2017-11-07 | 成都品果科技有限公司 | 一种自动人像分割方法 |
| CN110537204A (zh) * | 2017-06-28 | 2019-12-03 | 渊慧科技有限公司 | 使用分割和分类神经网络的可泛化医学图像分析 |
| CN108596868A (zh) * | 2017-07-26 | 2018-09-28 | 江西中科九峰智慧医疗科技有限公司 | 一种基于深度学习的胸部dr中肺结节识别方法及系统 |
| CN107730484A (zh) * | 2017-07-26 | 2018-02-23 | 江西中科九峰智慧医疗科技有限公司 | 一种基于深度学习的异常胸片智能识别方法及系统 |
| CN107729911A (zh) * | 2017-07-26 | 2018-02-23 | 江西中科九峰智慧医疗科技有限公司 | 一种基于dr的肺结核智能识别方法及系统 |
| CN107424152B (zh) * | 2017-08-11 | 2020-12-18 | 联想(北京)有限公司 | 器官病变的检测装置、训练神经元网络的方法和电子设备 |
| CN107507197B (zh) * | 2017-08-18 | 2020-11-24 | 东北大学 | 一种基于聚类算法和卷积神经网络的肺实质提取方法 |
| CN109426776A (zh) * | 2017-08-25 | 2019-03-05 | 微软技术许可有限责任公司 | 基于深度神经网络的对象检测 |
| CN107423576A (zh) * | 2017-08-28 | 2017-12-01 | 厦门市厦之医生物科技有限公司 | 一种基于深度神经网络的肺癌识别系统 |
| CN107578405A (zh) * | 2017-08-30 | 2018-01-12 | 北京网医智捷科技有限公司 | 一种基于深度卷积神经网络的肺部结节自动检测方法 |
| CN107563434B (zh) * | 2017-08-30 | 2020-12-15 | 山东大学 | 一种基于三维卷积神经网络的脑部mri图像分类方法、装置 |
| CN107616796B (zh) * | 2017-08-31 | 2020-09-11 | 北京医拍智能科技有限公司 | 基于深度神经网络的肺结节良恶性检测方法及装置 |
| CN107610773A (zh) * | 2017-09-12 | 2018-01-19 | 北京即刻叁维数据科技股份有限公司 | 一种基于主动脉医学影像的血管夹层辅助诊断方法 |
| CN107658004A (zh) * | 2017-09-14 | 2018-02-02 | 武汉互创科技有限公司 | 一种在移动终端上查看云端医学影像信息的方法及系统 |
| CN107562940A (zh) * | 2017-09-22 | 2018-01-09 | 四川省艾普网络股份有限公司 | 大数据信息获取方法及系统 |
| CN107977661B (zh) * | 2017-10-13 | 2022-05-03 | 天津工业大学 | 基于fcn与低秩稀疏分解的感兴趣区域检测方法 |
| CN107808157B (zh) * | 2017-11-08 | 2021-08-13 | 广东工业大学 | 一种雷管编码定位及识别的方法及装置 |
| TWI683276B (zh) | 2017-11-10 | 2020-01-21 | 太豪生醫股份有限公司 | 病灶偵測裝置及其方法 |
| CN107945875A (zh) * | 2017-11-17 | 2018-04-20 | 合肥工业大学 | 基于数据增强的肺结节检测方法及系统 |
| CN107909572A (zh) * | 2017-11-17 | 2018-04-13 | 合肥工业大学 | 基于图像增强的肺结节检测方法及系统 |
| CN109830284A (zh) * | 2017-11-23 | 2019-05-31 | 天启慧眼(北京)信息技术有限公司 | 医学影像的分析方法及装置 |
| EP3489861A1 (en) * | 2017-11-24 | 2019-05-29 | Siemens Healthcare GmbH | Computer-based diagnostic system |
| CN109872812A (zh) * | 2017-12-05 | 2019-06-11 | 航天信息股份有限公司 | 一种基于卷积神经网络的虚拟医生诊断系统及方法 |
| CN108078581B (zh) * | 2017-12-12 | 2019-02-12 | 北京青燕祥云科技有限公司 | 基于卷积神经网络的肺癌良恶性判别系统和实现装置 |
| CN107993217B (zh) * | 2017-12-22 | 2021-04-09 | 北京奇虎科技有限公司 | 视频数据实时处理方法及装置、计算设备 |
| CN108198210B (zh) * | 2017-12-28 | 2021-12-21 | 中科微光医疗研究中心(西安)有限公司 | 一种基于移动设备的oct影像判图方法及其系统 |
| CN108109152A (zh) * | 2018-01-03 | 2018-06-01 | 深圳北航新兴产业技术研究院 | 医学图像分类和分割方法和装置 |
| CN108280320B (zh) * | 2018-01-23 | 2020-12-29 | 上海市同济医院 | 一种基于深度学习的快速精准高通量药物筛选系统 |
| CN108280827B (zh) * | 2018-01-24 | 2020-11-24 | 北京红云视界技术有限公司 | 基于深度学习的冠状动脉病变自动检测方法、系统和设备 |
| CN108542390A (zh) * | 2018-03-07 | 2018-09-18 | 清华大学 | 基于多对比度磁共振影像的血管斑块成分识别方法 |
| CN108509991A (zh) * | 2018-03-29 | 2018-09-07 | 青岛全维医疗科技有限公司 | 基于卷积神经网络的肝部病理图像分类方法 |
| CN108461148A (zh) * | 2018-03-30 | 2018-08-28 | 张淼 | 一种筛查癌症的小程序 |
| CN108510495A (zh) * | 2018-04-09 | 2018-09-07 | 沈阳东软医疗系统有限公司 | 一种基于人工智能的肺部影像数据处理方法、装置及系统 |
| CN108806793A (zh) * | 2018-04-17 | 2018-11-13 | 平安科技（深圳）有限公司 | 病变监测方法、装置、计算机设备和存储介质 |
| CN108926341A (zh) * | 2018-04-20 | 2018-12-04 | 平安科技（深圳）有限公司 | Ecg信号的检测方法、装置、计算机设备和存储介质 |
| CN108573490B (zh) * | 2018-04-25 | 2020-06-05 | 王成彦 | 一种针对肿瘤影像数据的智能读片系统 |
| CN108647263B (zh) * | 2018-04-28 | 2022-04-12 | 淮阴工学院 | 一种基于网页切分爬取的网络地址置信度评估方法 |
| CN108630303A (zh) * | 2018-04-28 | 2018-10-09 | 江苏医像信息技术有限公司 | 云标注系统 |
| US20190341150A1 (en) * | 2018-05-01 | 2019-11-07 | Google Llc | Automated Radiographic Diagnosis Using a Mobile Device |
| CN108830155B (zh) * | 2018-05-10 | 2021-10-15 | 北京红云智胜科技有限公司 | 一种基于深度学习的心脏冠状动脉分割及识别的方法 |
| CN108875734B (zh) * | 2018-05-23 | 2021-07-23 | 平安科技（深圳）有限公司 | 肝脏癌变定位方法、装置及存储介质 |
| CN108876772B (zh) * | 2018-06-05 | 2021-10-12 | 南华大学 | 一种基于大数据的肺癌图像诊断系统及方法 |
| CN112639482A (zh) * | 2018-06-15 | 2021-04-09 | 美国西门子医学诊断股份有限公司 | 以端到端训练方式使用单深度神经网络的样本容器表征 |
| CN108899087A (zh) * | 2018-06-22 | 2018-11-27 | 中山仰视科技有限公司 | 基于深度学习的x光片智能诊断方法 |
| CN108985194B (zh) * | 2018-06-29 | 2022-06-10 | 华南理工大学 | 一种基于图像语义分割的智能车辆可行驶区域的识别方法 |
| CN109308495B (zh) * | 2018-07-05 | 2021-07-02 | 科亚医疗科技股份有限公司 | 从患者的医学图像自动预测生理状况的装置和系统 |
| CN109003672A (zh) * | 2018-07-16 | 2018-12-14 | 北京睿客邦科技有限公司 | 一种基于深度学习的早期肺癌检测分类一体化设备及系统 |
| CN109117871A (zh) * | 2018-07-20 | 2019-01-01 | 上海市肺科医院 | 一种通过深度学习获取肺部病灶恶性概率的系统和方法 |
| DE102018213056A1 (de) * | 2018-08-03 | 2020-02-06 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Ermitteln einer Erklärungskarte |
| KR102185893B1 (ko) * | 2018-08-07 | 2020-12-02 | 주식회사 딥바이오 | 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 방법 |
| CN109285142B (zh) * | 2018-08-07 | 2023-01-06 | 广州智能装备研究院有限公司 | 一种头颈部肿瘤检测方法、装置及计算机可读存储介质 |
| CN109378068B (zh) * | 2018-08-21 | 2022-02-18 | 深圳大学 | 一种鼻咽癌疗效的自动评测方法及系统 |
| CN109146899A (zh) * | 2018-08-28 | 2019-01-04 | 众安信息技术服务有限公司 | Ct图像的危及器官分割方法及装置 |
| CN109199424B (zh) * | 2018-09-05 | 2022-05-06 | 赛诺联合医疗科技（北京）有限公司 | 一种基于pet-ct图像确定待消融区域的方法及手术引导方法 |
| CN109345540B (zh) * | 2018-09-15 | 2021-07-13 | 北京市商汤科技开发有限公司 | 一种图像处理方法、电子设备及存储介质 |
| CN109544468B (zh) * | 2018-10-26 | 2023-10-13 | 浙江师范大学 | 一种图像数据扩增方法 |
| CN109685765B (zh) * | 2018-11-21 | 2023-03-14 | 浙江大学山东工业技术研究院 | 一种基于卷积神经网络的x光片肺炎结果预测装置 |
| CN109598719A (zh) * | 2018-12-06 | 2019-04-09 | 中山大学 | 一种基于深度学习的肺部疾病检测方法 |
| CN109686444A (zh) | 2018-12-27 | 2019-04-26 | 上海联影智能医疗科技有限公司 | 用于医学图像分级的系统和方法 |
| CN109902755B (zh) * | 2019-03-05 | 2019-10-11 | 南京航空航天大学 | 一种用于xct切片的多层信息分享与纠正方法 |
| CN110265141B (zh) * | 2019-05-13 | 2023-04-18 | 上海大学 | 一种肝脏肿瘤ct影像计算机辅助诊断方法 |
| CN110197722B (zh) * | 2019-05-31 | 2022-06-07 | 贵州精准健康数据有限公司 | Ai-cpu系统平台 |
| CN110246578A (zh) * | 2019-06-12 | 2019-09-17 | 吉林大学第一医院 | 一种肺癌样本快速检测方法 |
| CN110265118A (zh) * | 2019-06-14 | 2019-09-20 | 吉林大学第一医院 | 一种肺部影像诊断报告质量的评估方法和系统 |
| CN110335256A (zh) * | 2019-06-18 | 2019-10-15 | 广州智睿医疗科技有限公司 | 一种病理辅助诊断方法 |
| CN110277166B (zh) * | 2019-06-28 | 2020-05-15 | 屈兴玲 | 一种宫腹腔镜辅助诊断系统及方法 |
| CN110400297A (zh) * | 2019-07-22 | 2019-11-01 | 中国石油大学(华东) | 一种基于深度学习的肺癌分期预测方法 |
| CN110504027A (zh) * | 2019-08-20 | 2019-11-26 | 东北大学 | 一种基于深度学习的X-Ray胸片肺炎智能诊断系统与方法 |
| CN110689112A (zh) * | 2019-09-02 | 2020-01-14 | 杭州深睿博联科技有限公司 | 数据处理的方法及装置 |
| CN110619947A (zh) * | 2019-09-19 | 2019-12-27 | 南京工程学院 | 基于轻量级深度学习的肺部ct辅助筛查系统及筛查方法 |
| CN110853738B (zh) * | 2019-10-12 | 2023-08-18 | 拜耳股份有限公司 | 一种造影剂作用下的成像方法与设备 |
| US11501424B2 (en) | 2019-11-18 | 2022-11-15 | Stmicroelectronics (Rousset) Sas | Neural network training device, system and method |
| US11200659B2 (en) | 2019-11-18 | 2021-12-14 | Stmicroelectronics (Rousset) Sas | Neural network training device, system and method |
| CN111179252B (zh) * | 2019-12-30 | 2021-02-05 | 山东大学齐鲁医院 | 基于云平台的消化道病灶辅助识别与正反馈系统 |
| TWI753361B (zh) | 2020-02-06 | 2022-01-21 | 商之器科技股份有限公司 | 用於醫療影像存取系統與輔助診斷的整合系統 |
| CN111340770B (zh) * | 2020-02-22 | 2020-11-24 | 太原理工大学 | 结合全局加权lbp和纹理分析的癌症预后模型构建方法 |
| CN111275707B (zh) * | 2020-03-13 | 2023-08-25 | 北京深睿博联科技有限责任公司 | 肺炎病灶分割方法和装置 |
| CN111476775B (zh) * | 2020-04-07 | 2021-11-16 | 广州柏视医疗科技有限公司 | Dr征象识别装置和方法 |
| CN111652226A (zh) * | 2020-04-30 | 2020-09-11 | 平安科技（深圳）有限公司 | 基于图片的目标识别方法、装置及可读存储介质 |
| CN113706434B (zh) * | 2020-05-09 | 2023-11-07 | 北京康兴顺达科贸有限公司 | 基于深度学习对胸部增强ct图像的后处理方法 |
| CN111755131A (zh) * | 2020-06-22 | 2020-10-09 | 武汉大学 | 一种基于注意力引导的covid-19早筛和严重程度评估方法和系统 |
| CN112133426A (zh) * | 2020-09-11 | 2020-12-25 | 上海朔茂网络科技有限公司 | 一种基于深度学习的呼吸系统疾病辅助诊断方法 |
| CN112530580A (zh) * | 2020-12-03 | 2021-03-19 | 上海联影智能医疗科技有限公司 | 医疗影像图片的处理方法和计算机可读存储介质 |
| CN114587397B (zh) * | 2020-12-07 | 2023-12-26 | 四川大学 | 一种基于神经网络的计算机辅助术前肺癌患者n2期淋巴结预测系统 |
| CN112530598B (zh) * | 2020-12-11 | 2023-07-25 | 万达信息股份有限公司 | 一种基于健康数据的健康风险自测量表推荐方法 |
| CN113129277A (zh) * | 2021-04-01 | 2021-07-16 | 清华大学深圳国际研究生院 | 基于卷积神经网络的舌苔检测系统 |
| CN113705442A (zh) * | 2021-10-09 | 2021-11-26 | 广东博媒广告传播有限公司 | 一种户外大牌广告画面监控识别系统及方法 |
| CN115620899B (zh) * | 2022-12-01 | 2023-04-07 | 首都医科大学附属北京朝阳医院 | 基于多视野的3d卷积神经网络集成模型肺结节诊断系统 |
| CN116779170A (zh) * | 2023-08-24 | 2023-09-19 | 济南市人民医院 | 一种基于自适应深度学习的肺功能衰减预测系统及设备 |
| CN117174257B (zh) * | 2023-11-03 | 2024-02-27 | 福建自贸试验区厦门片区Manteia数据科技有限公司 | 医疗影像的处理装置、电子设备及计算机可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101366660A (zh) * | 2007-08-09 | 2009-02-18 | 东芝医疗系统株式会社 | 图像诊断辅助系统、处理装置及方法及医用图像管理装置 |
| CN103530873A (zh) * | 2013-09-18 | 2014-01-22 | 中国人民解放军第四军医大学 | 一种基于三维纹理信息的辅助检测系统及方法 |
| CN104732086A (zh) * | 2015-03-23 | 2015-06-24 | 深圳市智影医疗科技有限公司 | 基于云计算的疾病计算机辅助检测系统 |
| CN105354565A (zh) * | 2015-12-23 | 2016-02-24 | 北京市商汤科技开发有限公司 | 基于全卷积网络人脸五官定位与判别的方法及系统 |
-
2016
- 2016-08-25 CN CN201610734382.XA patent/CN106372390B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101366660A (zh) * | 2007-08-09 | 2009-02-18 | 东芝医疗系统株式会社 | 图像诊断辅助系统、处理装置及方法及医用图像管理装置 |
| CN103530873A (zh) * | 2013-09-18 | 2014-01-22 | 中国人民解放军第四军医大学 | 一种基于三维纹理信息的辅助检测系统及方法 |
| CN104732086A (zh) * | 2015-03-23 | 2015-06-24 | 深圳市智影医疗科技有限公司 | 基于云计算的疾病计算机辅助检测系统 |
| CN105354565A (zh) * | 2015-12-23 | 2016-02-24 | 北京市商汤科技开发有限公司 | 基于全卷积网络人脸五官定位与判别的方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106372390A (zh) | 2017-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106372390B (zh) | 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统 | |
| Masood et al. | Computer-assisted decision support system in pulmonary cancer detection and stage classification on CT images | |
| Murtaza et al. | Deep learning-based breast cancer classification through medical imaging modalities: state of the art and research challenges | |
| Tang et al. | Computer-aided detection and diagnosis of breast cancer with mammography: recent advances | |
| He et al. | Image segmentation algorithm of lung cancer based on neural network model | |
| US20090082637A1 (en) | Multi-modality fusion classifier with integrated non-imaging factors | |
| Shubbar | Ultrasound medical imaging systems using telemedicine and blockchain for remote monitoring of responses to neoadjuvant chemotherapy in women’s breast cancer: concept and implementation | |
| Ahmed et al. | Using Machine Learning via Deep Learning Algorithms to Diagnose the Lung Disease Based on Chest Imaging: A Survey. | |
| Pandian et al. | Detection and classification of lung cancer using CNN and Google net | |
| Yunchao et al. | Application of computer vision and deep learning in breast cancer assisted diagnosis | |
| Afaq et al. | MAMMO-Net: An Approach for Classification of Breast Cancer using CNN with Gabor Filter in Mammographic Images | |
| Huang et al. | Breast cancer diagnosis based on hybrid SqueezeNet and improved chef-based optimizer | |
| CN112508943A (zh) | 基于超声影像的乳腺肿瘤识别方法 | |
| Kumaraswamy et al. | A review on cancer detection strategies with help of biomedical images using machine learning techniques | |
| Dheeba et al. | Computer aided intelligent breast cancer detection: second opinion for radiologists—a prospective study | |
| Wankhade et al. | Lung cell cancer identification mechanism using deep learning approach | |
| Srinivasan et al. | A comprehensive diagnostic tool for skin cancer using a multifaceted computer vision approach | |
| Shehzad et al. | Breast Cancer CT-Scan Image Classification Using Transfer Learning | |
| Umamaheswari et al. | Literature review on breast cancer diagnosis using 3D images: methods and performance analysis | |
| Nallasivan et al. | Liver Tumors Segmentation Using 3D SegNet Deep Learning Approach. | |
| Jadhav et al. | Comparative Study of breast cancer detection methods | |
| Ramteke et al. | A Critical Analysis of The Methods Used To Classify Medical Data | |
| Malarvizhi et al. | A Machine Learning Method for Early Detection of Breast Masses on Screening Mammography | |
| Chaudhury et al. | Transforming Breast Cancer İmage Classification With Vision Transformers and LSTM İntegration | |
| Ajmani et al. | Machine learning and deep learning techniques for breast cancer detection using ultrasound imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230913 Address after: Room 701, 7th Floor, Building 10, Jingshun Platinum Yuecheng, Xihu District, Hangzhou City, Zhejiang Province, 310023 Patentee after: Hangzhou Yixun Technology Service Co.,Ltd. Address before: No. 64 Xinshi Street, Xiacheng District, Hangzhou City, Zhejiang Province, 310014 Patentee before: Tang Yiping |
|
| TR01 | Transfer of patent right |