CN111913871A - 一种基于深度学习的肺结节检出软件测试方法 - Google Patents
一种基于深度学习的肺结节检出软件测试方法 Download PDFInfo
- Publication number
- CN111913871A CN111913871A CN201910388216.2A CN201910388216A CN111913871A CN 111913871 A CN111913871 A CN 111913871A CN 201910388216 A CN201910388216 A CN 201910388216A CN 111913871 A CN111913871 A CN 111913871A
- Authority
- CN
- China
- Prior art keywords
- lung
- detection software
- nodule detection
- pulmonary nodule
- tested
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002685 pulmonary effect Effects 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013135 deep learning Methods 0.000 title claims abstract description 11
- 238000013522 software testing Methods 0.000 title claims abstract description 9
- 238000012360 testing method Methods 0.000 claims abstract description 85
- 238000011056 performance test Methods 0.000 claims abstract description 19
- 210000004072 lung Anatomy 0.000 claims description 116
- 230000002159 abnormal effect Effects 0.000 claims description 32
- 206010056342 Pulmonary mass Diseases 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 17
- 230000035945 sensitivity Effects 0.000 claims description 15
- 238000011156 evaluation Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 9
- 238000003745 diagnosis Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 5
- 238000011990 functional testing Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 210000003205 muscle Anatomy 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012905 input function Methods 0.000 claims description 2
- 238000000554 physical therapy Methods 0.000 claims description 2
- 238000011084 recovery Methods 0.000 claims description 2
- 230000007170 pathology Effects 0.000 claims 1
- 238000012552 review Methods 0.000 claims 1
- 201000010099 disease Diseases 0.000 description 11
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 11
- 208000019693 Lung disease Diseases 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 4
- 238000000586 desensitisation Methods 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 230000006854 communication Effects 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 238000009781 safety test method Methods 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000002308 calcification Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000005337 ground glass Substances 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 201000005202 lung cancer Diseases 0.000 description 2
- 208000020816 lung neoplasm Diseases 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000005338 frosted glass Substances 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 210000005015 mediastinal lymph node Anatomy 0.000 description 1
- 230000029052 metamorphosis Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011076 safety test Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
- 210000003437 trachea Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000003934 vacuole Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3604—Software analysis for verifying properties of programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/008—Reliability or availability analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请提供了一种基于深度学习的肺结节检出软件测试方法，所述方法包括：建立多样性的测试样本集，基于所述测试样本集对被测试的肺结节检出软件进行性能测试，其中，所述性能测试指标包括：准确率；若性能测试中的每项指标均满足对应的预设指标，则确定该肺结节检出软件的性能达标；否则，确定该肺结节检出软件的性能不达标，并提示不达标的性能测试指标。该方法能够全面、客观地评价一个肺结节检出软件是否达标。
Description
技术领域
本发明涉及软件测试技术领域，特别涉及一种基于深度学习的肺结节检出软件测试方法。
背景技术
医学影像诊断对疾病的判断起着至关重要的作用，因此，通过影像判断是否发生疾病，以及疾病程度如果通过人工判断的话，由于大量影像的存在，会存在人工成本高，且会有误判情况的发生。
目前，深度学习与医疗影像诊断的结合在一定程度上缓解了此类问题。通过深度学习海量的影像数据和临床诊断数据，模型不断进行迭代训练，优化其预测能力。
目前市场上的肺结节检出软件，宣传的准确率一般为95％以上，但是作为能够实际应用于医疗机构的医学肺部图像检测系统中，该软件的实际检测能力并不能通过客观的方式给出，也就说没有一个测试系统能够客观地给出肺结节检出软件是否达标。
发明内容
有鉴于此，本申请提供一种基于深度学习的肺结节检出软件测试方法，能够全面、客观地评价一个肺结节检出软件是否达标。
为解决上述技术问题，本申请的技术方案是这样实现的：
由上面的技术方案可见，上述实施例中通过构建多样性的测试样本，对肺结节检出软件进行性能测试，来全面、客观地评价一个肺结节检出软件是否达标。
附图说明
以下附图仅对本发明做示意性说明和解释，并不限定本发明的范围：
图1为本申请实施例中针对肺结节检出软件进行性能测试的流程示意图；
图2为本申请实施例中ROC曲线示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图并举实施例，对本发明的技术方案进行详细说明。
本申请实施例中提供一种基于深度学习的肺结节检出软件测试方法，通过构建多样性的测试样本，来对肺结节检出软件进行性能测试、功能测试、可靠性测试、易用性测试、兼容性测试、安全性测试，来客观、全面地评价一个肺结节检出软件是否达标，也就是说是否能够满足实际使用需求。
对肺结节检出软件进行测试的设备主体可以简称为测试设备，如一台PC等。
该测试方法适用于使用基于深度学习开发的肺结节检出软件。
下面分别给出性能测试、功能测试、可靠性测试、易用性测试、兼容性测试、安全性测试的具体过程：
实施例一、性能测试：
针对性能测试，需要先建立多样性的测试样本集，所述测试样本集中包括多张肺部图像，且每张肺部图像对应文本信息；其中，所述文本信息包括分类信息和辅助诊断信息。
这里的文本信息中的分类信息为正常肺部图像和异常肺部图像，实际应用中正常肺部图像为未检出疾病的肺部图像，异常肺部图像为检出疾病的肺部图像；
检测出肺部结节的肺部图像为异常肺部图像，未检出肺部结节的肺部图像为正常肺部图像。
针对正常肺部图像的辅助诊断信息为未检出疾病、无异常等；
针对异常肺部图像的辅助诊断信息为检测出的异常的具体情况，给出结节所对应的区域范围、大小，形态等。
多样性的测试样本集的多样性包括如下几方面：
第一方面，阶段的多样性：
第一预设比例的初诊肺部图像和第二预设比例的复诊及病理肺部图像；其中，第一预设比例与第二预设比例的和为1；
如75％的初诊肺部图像，和25％的复诊及病理肺部图像，这里的肺部图像通常指肺部CT影像数据。
第二方面，肺部图像分布具有多样性：
(1)、异常点模态的多样性：
该多样性主要针对异常肺部图像检测出的异常点的多样性；
仍然以肺部结节为例，异常点模态即结节模态，包括实性结节、部分实性结节、磨玻璃结节、无肺结节。其中，根据临床统计，肺癌筛查中阳性比例(至少发现一个≥6mm的结节)占总筛查人数的比例约为10-15％，肺癌约为0.5-1.5％。为提高测试效率，筛查阳性的比例在数据库中进行放大，其中实性结节占数据集比例为30％(小于4mm占比5％，4-6mm占比5％，≥6mm占比20％)，部分实性结节占数据集比例为15％(小于6mm占比5％，≥6mm占比10％)，磨玻璃结节占数据集比例为15％(小于5mm占比5％，≥5mm占比10％)，无肺结节占数据集比例为40％(无明显异常占比20％，其他病变占比20％)。
(2)、地域分布的多样性，如选择的肺部图像来源于华东地区、华南地区、华中地区、华北地区、西北地区、西南地区、东北地区具有代表性的医疗异构，如三甲医院等。
(3)、肺部图像属性：
肺部图像属性根据对应疾病确定，这里以肺病为例，包括层厚(以小于等1.5mm的层厚为主，结合低剂量筛查实际情况，选取小于3mm的薄层和大于5mm的厚层)、设备厂商(包括但不限于GE、Philips、Siemens、东芝、联影、东软，且必须符合DICOM3.0协议标准数据)、探测器(16排-320排)、扫描参数(管电压70kV-140kV，管电流10mA-400mA)、辐射剂量(0.4mSv-8mSv)、窗宽窗位(窗位-700HU-500HU，窗宽1500HU-2000HU)。
(4)人群分布：
肺部图像对应的人群性别比例按男女1:1比例分布，根据临床上高发年龄段分布，18-40岁占数据集25％，40-65岁占数据集50％，大于等于65岁占数据集25％。此处给出的比例为一种举例，实际应用中可以按照疾病对应的实际年龄、性别进行获取对应的样本肺部图像。
本申请具体实现时，直接从医疗机构的数据库中获取肺部图像，以及肺部图像的文本信息。
为了保证肺部图像的文本信息的准确性，可以通过组织专家等方式多次标注文本信息，且对不一致的给出商议结果，具体如下：
针对每张肺部图像，获取多个人工标注的文本信息，当多个人工(标注团队)标注的文本信息均相同时，确定获取的人工标注的文本信息为该张肺部图像的文本信息；否则，再次获取该肺部图像对应的人工标注的文本信息(再次通过表述团队重新进行文本信息的标注)，直到获取的多个人工标注的文本信息均相同时，确定该肺部图像的文本信息。
这样实现，相当于对样本的文本信息的准确度有一个保证，如组织数据标注团队，审核标注人员资质，建立争议仲裁机制，降低由于个人疏忽导致的随机性错误，降低由于团队知识技能水平导致的系统性错误。标注过程分为三轮。第一轮标注团队内专家平均分配，单独复核。第二轮将个别专家与团队标注不一致的进行再次复核。第三轮对仍无法确认的进行集体阅片。
本申请具体实现时，还可以对测试样本集进行扩容，针对肺部疾病，可以其他疾病、正常组织、正常组织的异变都有可能引起要检测的疾病的图像特征，根据具体情况进行样本图像的补充。
由于其他疾病、正常组织、正常组织的异变都有可能在CT图像上表现出类似肺部结节的图像特征，对于考察利用深度学习技术检测肺结节的软件准确性仍具有意义，因此数据集还应根据实际情况适当补充具备以下特征的数据(钙化、胸膜结节特别叶间胸膜结节、肺实变、肺门及肺内血管扩张、肺门或纵隔淋巴结突出、肋骨头突入肺内、小叶间隔局限性增厚等)。
在具体实现时，如果直接从医疗机构的数据库中获取肺部图像，以及肺部图像对应的文本信息，则会存储在一些患者的私人信息，这时就需要对文本信息进行脱敏，脱敏的信息具体可以为：患者隐私有关的任何信息，如姓名、电子病历、病史、医疗保险信息、用药历史、化验单号、测试报告号、联系方式、就诊记录等。
如果仅从医疗机构获取肺部图像，进行人工标注文本信息，则不需要进行文本信息的脱敏。
至此，完成多样性测试样本集的建立。
下面结合附图给出性能测试的过程。
参见图1，图1为本申请实施例中针对肺结节检出软件进行性能测试的流程示意图。具体步骤为：
步骤101，测试设备基于测试样本集对被测试的肺结节检出软件进行性能测试。
其中，所述性能测试指标包括：准确率，就是被分对的样本数除以所有的样本数，通常来说，正确率越高，性能越好。
所述性能测试指标还包括：检测每张肺部图像的平均时间、增益率、检测每张肺部图像消耗的平均资源、灵敏度、特效率、精确率和综合评价指标；
所述准确率为：使用所述被测试的肺结节检出软件的检测结果与对应分类信息匹配的肺部图像的张数与所述测试样本集中肺部图像的总张数的比值；
所述检测每张肺部图像的平均时间为：检测所述测试样本集中的所有肺部图像的时间与肺部图像的总张数的比值；
所述预设增益率为：M-N/M，其中，M为人工检测准确率与使用所述被测试的肺结节检出软件检测的准确率中大的准确率；N为人工检测准确率与使用所述被测试的肺结节检出软件检测的准确率中小的准确率；
所述检测每张肺部图像消耗的平均资源为：检测所述测试样本集中的所有肺部图像的资源消耗与肺部图像的总张数的比值；
所述灵敏度为：A/(A+C)；
所述精确率为：A/(A+B)；
所述特效率为：D/(B+D)；
所述综合评价指标为：2×P×R/(P+R)；
其中，P为精确率，R为灵敏度；A为异常肺部图像，且使用所述被测试的肺结节检出软件测试结果为异常肺部图像的张数；B为正常肺部图像，且使用所述被测试的肺结节检出软件测试结果为异常肺部图像的张数；C为异常肺部图像，且使用所述被测试的肺结节检出软件测试结果为正常肺部图像的张数；D为正常肺部图像，且使用所述被测试的肺结节检出软件测试结果为正常肺部图像的张数。
在医学领域，针对肺病异常则检出的结果对应阳性，针对肺病正常则检出的结果对应阴性。
步骤102，确定性能测试中的每项指标是否均满足对应的预设指标，如果是，执行步骤103；否则，执行步骤104。
所述准确率、检测每张肺部图像的平均时间、增益率和检测每张肺部图像消耗的平均资源对应的预设指标分别为：预设准确率、预设平均时间、预设增益率、预设资源值、预设灵敏度、预设特效率、预设精确率和预设综合评价指标。
若所述准确率大于预设准确率，则所述准确率满足对应的预设指标。
若所述检测每张肺部图像的平均时间大于预设平均时间，则所述检测每张肺部图像的平均时间满足对应的预设指标；
若所述增益率大于预设增益率，则所述增益率满足对应的预设指标；
若所述检测每张肺部图像消耗的平均资源大于预设资源值，则所述检测每张肺部图像消耗的平均资源满足对应的预设指标；
若所述灵敏度大于预设灵敏度，则所述灵敏度满足对应的预设指标；
若所述特效率大于预设特效率，则所述特效率满足对应的预设指标；
若所述精确率大于预设精确率，则所述精确率满足对应的预设指标；
若所述综合评价指标大于预设综合评价指标，则所述综合评价指标满足对应的预设指标。
步骤103，确定该肺结节检出软件的性能达标，结束本流程。
步骤104，确定该肺结节检出软件的性能不达标，并提示不达标的性能测试指标。
针对功能性测试，还可以考虑测试ROC曲线来衡量一个肺结节检出软件的性能是否达标。
参见图2，图2为本申请实施例中ROC曲线示意图。图2中的ROC曲线的横坐标对应假阳性的个数，即实际为正常肺部图像，肺结节检出软件检出的接口为异常肺部图像；ROC曲线纵坐标对应灵敏度。
ROC曲线与纵坐标所围成的区域面积为AUC，则AUC对应的值越大，该肺结节检出软件的性能越好。
实施例二、功能测试：
基于所述测试样本集对被测试的肺结节检出软件进行功能测试，所述功能测试具体包括：
(1)、是否能够检测影像归档和通信(PACS)系统获取的肺部图像；
如针对胸部CT，是否能提取其中的有效肺部区域；
(2)、是否能够针对检测结果给出辅助诊断信息；
给出无异常，或异常的部位和描述，针对异常肺部图像，自动标记异常区域，并给予建议性说明；
如针对肺部的检查，检查出肺结节时，记录肺结节的大小、灰度等信息，标记内容包括结节的边缘特征(如是否有分叶、毛刺等)、内部特征(如空泡和胸膜凹陷征等)、是否有钙化、密度(实性、半实性、磨玻璃)等。
(3)、针对检测结果为异常肺部图像时，是否能够标记出异常结构的显示范围；
上文给出的多样性测试样本集中，针对异常样本肺部图像，所述辅助诊断信息包括使用4个顶点坐标值标识的异常结构的范围的DICOM标记框文件。
也就是说在肺部图像异常时，可以使用4个顶点坐标值标识异常结构的范围；
(4)、是否能够对影像进行预处理，且在预处理过程中过滤脂肪和肌肉的干扰，以及孤立的小面积闭合区域；
具体实现为通过算法(灰度变换、直方图修正、肺部图像平滑去噪、归一化等)对影像进行肺部图像预处理的功能，过滤脂肪和肌肉等的干扰，去除主气管，心脏血管等孤立小面积闭合区域。
(5)、是否提供人工输入功能，以修改检测结果对应的文字说明。
软件应提供标准化的标记工具，标记工具应提供医生端介入功能，使医生可以对机器自动标记病灶区域标注有误的情况进行反馈及修正。
当功能测试中的所有项测试均满足预设功能指标(即所有功能是否都能实现)，则确定该肺结节检出软件的功能达标；否则，确定该肺结节检出软件的功能不达标，并提示不达标的功能测试指标。
实施例三、可靠性测试：
对所述被测试的肺结节检出软件的可靠性进行测试，所述可靠性测试包括：
所述被测试的肺结节检出软件无故障运行时间，以及故障恢复能力；
多次无故障运行时间达到预设时长，且故障后能自动恢复，则确定该被测试的肺结节检出软件的可靠性达标；否则，确定可靠性不达标，并给出不达标的项目，无故障运行时长，还是故障恢复。
实施例四、易用性测试：
对所述被测试的肺结节检出软件的易用性进行测试；所述易用性测试包括：
接收医用人员使用所述被测试的肺结节检出软件的反馈信息，确定所述被测试的肺结节检出软件的反馈信息。
当用户反馈信息为好的比例达到预设值，则确定该肺结节检出软件的易用性达标；否则，不达标。
易用性的测试具体可以为用户界面的友好性，包括信息及数据的展示方式，UI交互方式等，只能通过用户使用，反馈信息来确定易用性的好坏。
用户体验好坏，主要是肺结节检出软件显示肺部图像的方式是否符合医生阅片习惯，肺结节检出软件的使用是否符合医生日程操作流程。
实施例五、兼容性测试：
对所述被测试的肺结节检出软件的兼容性进行测试，所述兼容性测试包括：
测试所述被测试的肺结节检出软件支持的理疗器械类型，医疗系统业务数据接口，以及支持的数据格式。
即肺结节检出软件是否支持DICOM以及其他通用医学影像数据格式；是否具有对不同CT设备(厂商、机型)、不同参数、不同扫描方式等的适应能力。软件至少可以支持GE、Philips、Siemens、东芝、联影、东软厂商的主流机型。
当支持测试接口，以及数据格式，则确定该肺结节检出软件兼容性达标；否则，确定该肺结节检出软件兼容性不达标。
实施例六、安全性测试：
对所述被测试的肺结节检出软件的安全性进行测试。具体包括如下几方面：
第一部分：物理环境。测试软件的硬件环境安全，包括电力供应、电磁防护、访问控制、环境条件。
第二部分：身份鉴别。身份鉴别指用户向软件以一种安全的方式提交自己的身份证实，然后由软件确认用户身份是否属实的过程。测试内容包括：
(1)、操作软件及数据库的用户身份标识应具有不易被冒用的特点，口令应具备一定复杂度且定期更换。以Linux操作系统为例，可通过#more/etc/default/passwd查询密码长度、有效期、复杂度等相关参数。
(2)、应启用登陆失败处理功能，可采取结束会话、限制非法登录次数和自动退出等措施。以Linux操作系统为例，可通过#more/etc/login.defs查询密码长度、有效期、复杂度等相关参数。
(3)、当服务器需要进行远程管理时，应采取必要措施，防止鉴别信息在网络传输过程中被窃听。以Linux操作系统为例，可通过#service-status-all|grep ssh查看是否运行了sshd服务。
(4)、为操作系统和数据库的不同用户分配不同的用户名，确保用户名具有唯一性。以Linux操作系统为例，可通过#cat/etc/passwd查看是否存在UID相同账户。
第三部分、访问控制。访问控制指通过限制用户对特定资源的访问保护资源。测试内容包括：
(1)、根据使用软件实际用户的岗位职责、级别职称等按角色分配用户权限。
(2)、操作系统和数据库系统特权用户权限分离。
(3)、限制默认用户权限，重命名默认账户，并修改口令。以Linux操作系统为例，查看密码文件内容，除了ROOT账户，其他默认账户是否已重命名，是否已修改默认口令，可通过#cat/etc/shadow查询。
(4)、应及时删除多余的、过期的账户，避免共享账户的存在。以Linux操作系统为例，查看games、lp等默认账户是否已禁用，特权账户halt、shutdown是否已被删除。#more/etc/passwd
第四部分、入侵防范。检测软件是否能够记录入侵、攻击服务器的行为，并在严重入侵时提出报警。以Linux操作系统为例，可通过#more/var/log/secure|grep refused查看入侵防范措施，包括是否启用了防火墙、TCP SYN保护机制等。
第五部分、恶意代码防范。检测是否安装防恶意代码软件，并及时更新恶意代码库。
第六部分、完整性校验。软件应采用密码技术保证通信过程中数据的完整性，可利用Hash函数用于完整性校验。
第七部分、容错性校验。为了防止SQL注入等攻击，软件应对用户输入数据的长度和格式等进行限制，应提供数据有效性检验功能，保证通过人机接口输入或通过通信接口输入的数据格式或长度符合系统设定要求。
第八部分、隐私保护。软件具有数据传输、数据存储的加密功能，确保涉及患者基本信息、检查申请信息、检查过程信息、检查报告以及影像等信息的完整归档。测试内容包括：
第九部分、检测软件是否建立了用户个人信息收集保护及用户授权告知制度，数据分析结果是否包含超出明确告知给用户的信息收集范围、类型及使用目的等内容。
(1)、检测软件内每个患者的基本信息、病历资料与影像数据是否采取隔离措施，是否实现分别存储。
(2)、检测软件在进行数据分析和挖掘的过程中，是否进行了数据脱敏。
当通过上述安全性测试，则确定该肺结节检出软件的安全性达标；否则，确定该肺结节检出软件的安全性不达标，并提示不达标的安全内容。
综上所述，本申请通过构造多样性的测试样本集；对肺结节检出软件从数据提取、数据处理、数据分析、操作流程标准化方面进行功能测试；对肺结节检出软件从准确率、平均时长、增益率、资源消耗方面进行性能测试；以及件可靠性、易用性、兼容性、安全性方面分别进行测试。本申请实施例提供的技术方案针对目前市场上同类软件测试方法缺乏客观性、一致性的缺陷，以临床数据为准建立数据集，同时丰富数据多样性，以软件行业国家标准为要求对软件的功能、性能、可靠性、易用性、兼容性、安全性等进行全方位测试，能够对软件实际临床应用效果进行评价。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (10)
1.一种基于深度学习的肺结节检出软件测试方法，其特征在于，所述方法包括：
建立多样性的测试样本集，所述测试样本集中包括针对肺部的多张肺部图像，且每张肺部图像对应文本信息；其中，所述文本信息包括分类信息和辅助诊断信息；
基于所述测试样本集对被测试的肺结节检出软件进行性能测试，其中，所述性能测试指标包括：准确率；
若性能测试中的每项指标均满足对应的预设指标，则确定该肺结节检出软件的性能达标；否则，确定该肺结节检出软件的性能不达标，并提示不达标的性能测试指标。
2.根据权利要求1所述的方法，其特征在于，所述多样性的测试样本集中的肺部图像包括第一预设比例的初诊肺部图像和第二预设比例的复诊及病理肺部图像；其中，第一预设比例与第二预设比例的和为1；
所述多样性的测试样本集中的肺部图像分布具有多样性，所述分布包括：异常点模态、地域分布、肺部图像属性和人群分布。
3.根据权利要求1所述的方法，其特征在于，建立的多样性的测试样本集中的肺部图像，以及肺部图像对应的文本信息为DICOM格式的数据；
针对异常样本肺部图像，所述辅助诊断信息包括使用4个顶点坐标值标识的异常结构的范围的DICOM标记框文件。
4.根据权利要求1所述的方法，其特征在于，针对每张肺部图像，获取多个人工标注的文本信息，当多个人工标注的文本信息均相同时，确定获取的人工标注的文本信息为该张肺部图像的文本信息；否则，再次获取该肺部图像对应的人工标注的文本信息，直到获取的多个人工标注的文本信息均相同时，确定该肺部图像的文本信息。
5.根据权利要求1所述的方法，其特征在于，所述准确率对应的预设指标为：预设准确率；
所述准确率为：使用所述被测试的肺结节检出软件的检测结果与对应分类信息匹配的肺部图像的张数与所述测试样本集中肺部图像的总张数的比值；
若所述准确率大于预设准确率，则所述准确率满足对应的预设指标。
6.根据权利要求1所述的方法，其特征在于，所述性能检测指标还包括：检测每张肺部图像的平均时间、增益率、检测每张肺部图像消耗的平均资源、灵敏度、特效率、精确率和综合评价指标；针对检测每张肺部图像的平均时间、增益率和检测每张肺部图像消耗的平均资源对应的预设指标为：预设准确率、预设平均时间、预设增益率、预设资源值、预设灵敏度、预设特效率、预设精确率和预设综合评价指标；
若所述检测每张肺部图像的平均时间大于预设平均时间，则所述检测每张肺部图像的平均时间满足对应的预设指标；
若所述增益率大于预设增益率，则所述增益率满足对应的预设指标；
若所述检测每张肺部图像消耗的平均资源大于预设资源值，则所述检测每张肺部图像消耗的平均资源满足对应的预设指标；
若所述灵敏度大于预设灵敏度，则所述灵敏度满足对应的预设指标；
若所述特效率大于预设特效率，则所述特效率满足对应的预设指标；
若所述精确率大于预设精确率，则所述精确率满足对应的预设指标；
若所述综合评价指标大于预设综合评价指标，则所述综合评价指标满足对应的预设指标。
7.根据权利要求6所述的方法，其特征在于，
所述检测每张肺部图像的平均时间为：检测所述测试样本集中的所有肺部图像的时间与肺部图像的总张数的比值；
所述预设增益率为：M-N/M，其中，M为人工检测准确率与使用所述被测试的肺结节检出软件检测的准确率中大的准确率；N为人工检测准确率与使用所述被测试的肺结节检出软件检测的准确率中小的准确率；
所述检测每张肺部图像消耗的平均资源为：检测所述测试样本集中的所有肺部图像的资源消耗与肺部图像的总张数的比值；
所述灵敏度为：A/(A+C)；
所述精确率为：A/(A+B)；
所述特效率为：D/(B+D)；
所述综合评价指标为：2×P×R/(P+R)；
其中，P为精确率，R为灵敏度；A为异常肺部图像，且使用所述被测试的肺结节检出软件测试结果为异常肺部图像的张数；B为正常肺部图像，且使用所述被测试的肺结节检出软件测试结果为异常肺部图像的张数；C为异常肺部图像，且使用所述被测试的肺结节检出软件测试结果为正常肺部图像的张数；D为正常肺部图像，且使用所述被测试的肺结节检出软件测试结果为正常肺部图像的张数。
8.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：基于所述测试样本集对被测试的肺结节检出软件进行功能测试，所述功能测试包括：
是否能够检测PACS系统获取的肺部图像；
是否能够针对检测结果给出辅助诊断信息；
针对检测结果为异常肺部图像时，是否能够标记出异常结构的显示范围；
是否能够对影像进行预处理，且在预处理过程中过滤脂肪和肌肉的干扰，以及孤立的小面积闭合区域；
是否提供人工输入功能，以修改检测结果对应的文字说明；
当功能测试中的所有项测试均满足预设功能指标，则确定该肺结节检出软件的功能达标；否则，确定该肺结节检出软件的功能不达标，并提示不达标的功能测试指标。
9.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
对所述被测试的肺结节检出软件的易用性进行测试；所述易用性测试包括：
接收医用人员使用所述被测试的肺结节检出软件的反馈信息，确定所述被测试的肺结节检出软件的反馈信息；
对所述被测试的肺结节检出软件的兼容性进行测试，所述兼容性测试包括：
测试所述被测试的肺结节检出软件支持的理疗器械类型，医疗系统业务数据接口，以及支持的数据格式。
10.根据权利要求1-9任一项所述的方法，其特征在于，所述方法进一步包括：
对所述被测试的肺结节检出软件的可靠性进行测试，所述可靠性测试包括：
所述被测试的肺结节检出软件无故障运行时间，以及故障恢复能力；
对所述被测试的肺结节检出软件的安全性进行测试。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910388216.2A CN111913871A (zh) | 2019-05-10 | 2019-05-10 | 一种基于深度学习的肺结节检出软件测试方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910388216.2A CN111913871A (zh) | 2019-05-10 | 2019-05-10 | 一种基于深度学习的肺结节检出软件测试方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111913871A true CN111913871A (zh) | 2020-11-10 |
Family
ID=73242513
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910388216.2A Pending CN111913871A (zh) | 2019-05-10 | 2019-05-10 | 一种基于深度学习的肺结节检出软件测试方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111913871A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113127360A (zh) * | 2021-04-23 | 2021-07-16 | 中国科学院上海技术物理研究所 | 一种医学影像人工智能辅助诊断软件测试服务方法及系统 |
| CN113538696A (zh) * | 2021-07-20 | 2021-10-22 | 广州博冠信息科技有限公司 | 特效生成方法、装置、存储介质及电子设备 |
| CN118553396A (zh) * | 2024-07-29 | 2024-08-27 | 北京华益精点生物技术有限公司 | 仪器评价方法及相关设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1808465A (zh) * | 2005-01-21 | 2006-07-26 | 中国科学院计算技术研究所 | 一种人脸检测系统的评测方法及评测系统 |
| CN102136024A (zh) * | 2010-01-27 | 2011-07-27 | 中国科学院自动化研究所 | 生物特征识别性能测评和诊断优化系统 |
| CN104182338A (zh) * | 2014-08-19 | 2014-12-03 | 苏州清研微视电子科技有限公司 | 一种疲劳驾驶预警产品检测精度的测试方法 |
| CN106067043A (zh) * | 2016-06-01 | 2016-11-02 | 重庆中科云丛科技有限公司 | 一种性能测试方法及系统 |
| CN106097340A (zh) * | 2016-06-12 | 2016-11-09 | 山东大学 | 一种基于卷积分类器的自动检测并勾画肺结节所在位置的方法 |
| CN106874306A (zh) * | 2015-12-14 | 2017-06-20 | 公安部户政管理研究中心 | 人口信息人像比对系统关键性能指标评测方法 |
-
2019
- 2019-05-10 CN CN201910388216.2A patent/CN111913871A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1808465A (zh) * | 2005-01-21 | 2006-07-26 | 中国科学院计算技术研究所 | 一种人脸检测系统的评测方法及评测系统 |
| CN102136024A (zh) * | 2010-01-27 | 2011-07-27 | 中国科学院自动化研究所 | 生物特征识别性能测评和诊断优化系统 |
| CN104182338A (zh) * | 2014-08-19 | 2014-12-03 | 苏州清研微视电子科技有限公司 | 一种疲劳驾驶预警产品检测精度的测试方法 |
| CN106874306A (zh) * | 2015-12-14 | 2017-06-20 | 公安部户政管理研究中心 | 人口信息人像比对系统关键性能指标评测方法 |
| CN106067043A (zh) * | 2016-06-01 | 2016-11-02 | 重庆中科云丛科技有限公司 | 一种性能测试方法及系统 |
| CN106097340A (zh) * | 2016-06-12 | 2016-11-09 | 山东大学 | 一种基于卷积分类器的自动检测并勾画肺结节所在位置的方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113127360A (zh) * | 2021-04-23 | 2021-07-16 | 中国科学院上海技术物理研究所 | 一种医学影像人工智能辅助诊断软件测试服务方法及系统 |
| CN113538696A (zh) * | 2021-07-20 | 2021-10-22 | 广州博冠信息科技有限公司 | 特效生成方法、装置、存储介质及电子设备 |
| CN118553396A (zh) * | 2024-07-29 | 2024-08-27 | 北京华益精点生物技术有限公司 | 仪器评价方法及相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11462310B2 (en) | Medical scan and report anonymizer and methods for use therewith | |
| US7711404B2 (en) | Patient data mining for lung cancer screening | |
| US20220172809A9 (en) | Report generating system and methods for use therewith | |
| US11462315B2 (en) | Medical scan co-registration and methods for use therewith | |
| JP5952835B2 (ja) | 撮像プロトコルの更新及び／又はリコメンダ | |
| CN109544550B (zh) | 基于ct影像智能检测和识别方法及系统 | |
| JP7082993B2 (ja) | 医療画像処理装置、方法及びプログラム、診断支援装置、方法及びプログラム並びに医療支援システム及び方法 | |
| Kang et al. | Natural language processing for identification of incidental pulmonary nodules in radiology reports | |
| Newhauser et al. | Anonymization of DICOM electronic medical records for radiation therapy | |
| US20180166162A1 (en) | Medical system | |
| CN111913871A (zh) | 一种基于深度学习的肺结节检出软件测试方法 | |
| JP2006500124A (ja) | 医療画像をコンピュータ支援検出（ｃａｄ）のガイドによって読み取る方法及びシステム | |
| Mabotuwana et al. | Automated tracking of follow-up imaging recommendations | |
| Choi et al. | Evaluation of a deep learning-based computer-aided detection algorithm on chest radiographs: Case–control study | |
| Kim et al. | Applications of artificial intelligence in the thorax: a narrative review focusing on thoracic radiology | |
| Cohen et al. | Transfusion safety: the nature and outcomes of errors in patient registration | |
| Hickman et al. | Mammography breast cancer screening triage using deep learning: a UK retrospective study | |
| WO2022005934A1 (en) | Medical scan viewing system with roc adjustment and methods for use therewith | |
| JP5501491B2 (ja) | 診断支援装置及び制御方法 | |
| Tang et al. | Impact of different artificial intelligence user interfaces on lung nodule and mass detection on chest radiographs | |
| KR101938376B1 (ko) | 웹기반으로 임상시험 의료영상을 관리하는 시스템, 방법 및 프로그램 | |
| US10839299B2 (en) | Non-leading computer aided detection of features of interest in imagery | |
| Li et al. | Curating retrospective multimodal and longitudinal data for community cohorts at risk for lung cancer | |
| Wang et al. | Standardization of AI Products for Medical Imaging Processing | |
| Khouadja et al. | Tunisian Lung Cancer Dataset: Collection, Annotation and Validation with Transfer Learning. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201110 |