CN113962992A - 基于深度学习的泌尿结石平扫ct图像识别系统及训练方法 - Google Patents
基于深度学习的泌尿结石平扫ct图像识别系统及训练方法 Download PDFInfo
- Publication number
- CN113962992A CN113962992A CN202111568501.6A CN202111568501A CN113962992A CN 113962992 A CN113962992 A CN 113962992A CN 202111568501 A CN202111568501 A CN 202111568501A CN 113962992 A CN113962992 A CN 113962992A
- Authority
- CN
- China
- Prior art keywords
- module
- image
- model
- deep learning
- calculus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000009911 Urinary Calculi Diseases 0.000 title claims abstract description 93
- 206010007027 Calculus urinary Diseases 0.000 title claims abstract description 89
- 238000013135 deep learning Methods 0.000 title claims abstract description 69
- 238000012549 training Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 49
- 238000012795 verification Methods 0.000 claims abstract description 32
- 230000006870 function Effects 0.000 claims abstract description 26
- 238000005516 engineering process Methods 0.000 claims abstract description 13
- 238000009430 construction management Methods 0.000 claims abstract description 8
- 230000001737 promoting effect Effects 0.000 claims abstract description 4
- 238000002591 computed tomography Methods 0.000 claims description 74
- 238000011156 evaluation Methods 0.000 claims description 34
- 238000004458 analytical method Methods 0.000 claims description 24
- 238000012216 screening Methods 0.000 claims description 22
- 238000012360 testing method Methods 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 10
- 238000009826 distribution Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000006698 induction Effects 0.000 claims description 9
- 230000002980 postoperative effect Effects 0.000 claims description 9
- 230000014509 gene expression Effects 0.000 claims description 6
- 210000001015 abdomen Anatomy 0.000 claims description 5
- 230000003187 abdominal effect Effects 0.000 claims description 5
- 230000003416 augmentation Effects 0.000 claims description 5
- 230000007717 exclusion Effects 0.000 claims description 5
- 208000024891 symptom Diseases 0.000 claims description 5
- 239000000969 carrier Substances 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 238000013210 evaluation model Methods 0.000 claims description 3
- 238000011068 loading method Methods 0.000 claims description 3
- 238000011112 process operation Methods 0.000 claims description 3
- 238000007619 statistical method Methods 0.000 claims description 3
- 208000008281 urolithiasis Diseases 0.000 claims description 3
- 238000002560 therapeutic procedure Methods 0.000 claims 1
- 238000003745 diagnosis Methods 0.000 abstract description 8
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 239000004575 stone Substances 0.000 description 10
- 238000004590 computer program Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000006872 improvement Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- MUBZPKHOEPUJKR-UHFFFAOYSA-N Oxalic acid Chemical compound OC(=O)C(O)=O MUBZPKHOEPUJKR-UHFFFAOYSA-N 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- LEHOTFFKMJEONL-UHFFFAOYSA-N Uric Acid Chemical compound N1C(=O)NC(=O)C2=C1NC(=O)N2 LEHOTFFKMJEONL-UHFFFAOYSA-N 0.000 description 4
- TVWHNULVHGKJHS-UHFFFAOYSA-N Uric acid Natural products N1C(=O)NC(=O)C2NC(=O)NC21 TVWHNULVHGKJHS-UHFFFAOYSA-N 0.000 description 4
- 238000007635 classification algorithm Methods 0.000 description 4
- 229940116269 uric acid Drugs 0.000 description 4
- QXDMQSPYEZFLGF-UHFFFAOYSA-L calcium oxalate Chemical compound [Ca+2].[O-]C(=O)C([O-])=O QXDMQSPYEZFLGF-UHFFFAOYSA-L 0.000 description 3
- KRKNYBCHXYNGOX-UHFFFAOYSA-N citric acid Chemical compound OC(=O)CC(O)(C(O)=O)CC(O)=O KRKNYBCHXYNGOX-UHFFFAOYSA-N 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 235000013305 food Nutrition 0.000 description 3
- 210000002700 urine Anatomy 0.000 description 3
- DFYULHRIYLAUJM-UHFFFAOYSA-N 3,4-diiodobenzoic acid Chemical compound OC(=O)C1=CC=C(I)C(I)=C1 DFYULHRIYLAUJM-UHFFFAOYSA-N 0.000 description 2
- BVKZGUZCCUSVTD-UHFFFAOYSA-L Carbonate Chemical compound [O-]C([O-])=O BVKZGUZCCUSVTD-UHFFFAOYSA-L 0.000 description 2
- CKMXBZGNNVIXHC-UHFFFAOYSA-L ammonium magnesium phosphate hexahydrate Chemical compound [NH4+].O.O.O.O.O.O.[Mg+2].[O-]P([O-])([O-])=O CKMXBZGNNVIXHC-UHFFFAOYSA-L 0.000 description 2
- 229910052586 apatite Inorganic materials 0.000 description 2
- FOFYPMPFTYORPL-UHFFFAOYSA-N azanium;2,8-dioxo-7,9-dihydro-3h-purin-6-olate Chemical compound N.N1C(=O)NC(=O)C2=C1NC(=O)N2 FOFYPMPFTYORPL-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000011575 calcium Substances 0.000 description 2
- 229910052791 calcium Inorganic materials 0.000 description 2
- UGSQEBVMGSXVSH-UHFFFAOYSA-L calcium;oxalate;dihydrate Chemical compound O.O.[Ca+2].[O-]C(=O)C([O-])=O UGSQEBVMGSXVSH-UHFFFAOYSA-L 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 235000005911 diet Nutrition 0.000 description 2
- 230000037213 diet Effects 0.000 description 2
- 230000029142 excretion Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- VSIIXMUUUJUKCM-UHFFFAOYSA-D pentacalcium;fluoride;triphosphate Chemical compound [F-].[Ca+2].[Ca+2].[Ca+2].[Ca+2].[Ca+2].[O-]P([O-])([O-])=O.[O-]P([O-])([O-])=O.[O-]P([O-])([O-])=O VSIIXMUUUJUKCM-UHFFFAOYSA-D 0.000 description 2
- 238000004393 prognosis Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 240000007124 Brassica oleracea Species 0.000 description 1
- 235000003899 Brassica oleracea var acephala Nutrition 0.000 description 1
- 235000011301 Brassica oleracea var capitata Nutrition 0.000 description 1
- 235000001169 Brassica oleracea var oleracea Nutrition 0.000 description 1
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 1
- KRKNYBCHXYNGOX-UHFFFAOYSA-K Citrate Chemical compound [O-]C(=O)CC(O)(CC([O-])=O)C([O-])=O KRKNYBCHXYNGOX-UHFFFAOYSA-K 0.000 description 1
- 206010010356 Congenital anomaly Diseases 0.000 description 1
- 206010011778 Cystinuria Diseases 0.000 description 1
- LEVWYRKDKASIDU-QWWZWVQMSA-N D-cystine Chemical compound OC(=O)[C@H](N)CSSC[C@@H](N)C(O)=O LEVWYRKDKASIDU-QWWZWVQMSA-N 0.000 description 1
- 208000000461 Esophageal Neoplasms Diseases 0.000 description 1
- 208000026350 Inborn Genetic disease Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 1
- 208000015634 Rectal Neoplasms Diseases 0.000 description 1
- 208000000453 Skin Neoplasms Diseases 0.000 description 1
- 235000009337 Spinacia oleracea Nutrition 0.000 description 1
- 244000300264 Spinacia oleracea Species 0.000 description 1
- 244000269722 Thea sinensis Species 0.000 description 1
- 235000006468 Thea sinensis Nutrition 0.000 description 1
- 238000002441 X-ray diffraction Methods 0.000 description 1
- 238000001675 atomic spectrum Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012742 biochemical analysis Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 235000020279 black tea Nutrition 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 229960003067 cystine Drugs 0.000 description 1
- 231100000433 cytotoxic Toxicity 0.000 description 1
- 230000001472 cytotoxic effect Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 235000013601 eggs Nutrition 0.000 description 1
- 210000002919 epithelial cell Anatomy 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 208000016361 genetic disease Diseases 0.000 description 1
- 238000000227 grinding Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 235000006408 oxalic acid Nutrition 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 210000002307 prostate Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 238000002076 thermal analysis method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/12—Arrangements for detecting or locating foreign bodies
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Artificial Intelligence (AREA)
- Optics & Photonics (AREA)
- High Energy & Nuclear Physics (AREA)
- Veterinary Medicine (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Pulmonology (AREA)
- Physiology (AREA)
Abstract
本发明涉及应用人工智能技术的综合生物验证系统技术领域，具体地说，涉及基于深度学习的泌尿结石平扫CT图像识别系统及训练方法。包括基建管理单元、数据处理单元、模型识别单元和功能服务单元；基建管理单元用于对基建设备进行管理；数据处理单元用于对数据进行处理；模型识别单元用于搭建模型并通过深度学习来促进系统的运行；功能服务单元用于提高系统的功能性。本发明设计的系统可以提前无创地预测泌尿系结石的成分类型，同时提高诊疗效率，减轻医师的工作负担，另外其可集成于各类型CT摄片仪器，并可广泛应用于基层医院；其训练方法可以系统的识别精度，提高泌尿系结石成分类型诊断的效率及准确率，达到良好的综合生物验证的效果。
Description
技术领域
本发明涉及应用人工智能技术的综合生物验证系统技术领域，具体地说，涉及基于深度学习的泌尿结石平扫CT图像识别系统及训练方法。
背景技术
对结石进行成分分析，根据分析结果，通过控制饮食等方式对预防结石的复发有重要意义。系统性或者家族性的代谢性结石往往含有某种特定成分，可以通过特异性饮食或者药物来治疗或减少结石的复发，如尿酸结石。我国泌尿系结石成分中草酸钙结石最为常见，尿液中晶体抑制物质如枸橼酸不足、高钙尿、高草酸尿、细胞毒性物质损伤肾乳头上皮细胞等因素都是草酸钙结石形成的危险因素。患有此类结石的患者应避免摄入富含草酸的食物如甘蓝、菠菜、红茶等；高蛋白、高钙、高磷和高草酸食品的过分摄入，可导致尿酸排泄量增加，枸橼酸盐的排泌降低，故使草酸钙结石发病率增高；胱氨酸结石由先天性胱氨酸尿症所致，为常染色体隐性遗传病，此类患者应大量、均匀的饮水，素食为主，避免大量食用蛋、鱼等。
常见的结石成分分析方法有化学分析法、物理分析法、分子生物学方法和生物化学方法等，物理分析法包括X线衍射分析法、原子光谱分析法、热分析法及红外光谱分析法等。这些方法都需要术后将结石取出才可得到成分结果，使得临床医生无法在术前根据结石的成分调整治疗方案与手术方案，也限制了与结石成分相关的各种临床指标及预后的前瞻性研究的开展。传统的物理鉴别方法需要对结石进行清洗、烘干、与对比剂混合、研磨、制片等诸多流程，制备方法慢，患者等待时间长，对操作人员要求高。
目前，深度学习算法已广泛应用于医学领域，为解决临床医师和影像科医师的培训周期和工作量问题提供了可靠的方法。斯坦福大学研究人员的一项研究表明，它在识别皮肤癌方面达到了与皮肤科医生相当的准确性，在肺癌、直肠癌、前列腺癌和食道癌的图像分类和识别方面也显示出了较高的准确性。Faster-RCNN将特征提取、区域建议、边界盒回归、分类等功能整合为一个网络，这与医学影像诊断的过程非常相似。若可以将Faster-RCNN等人工智能技术应用在泌尿系结石平扫CT中对结石区域进行自动鉴别，以用于辅助影像诊断，进而指导临床决策，则可以有效达到良好的综合生物验证效果。然而，目前却没有较为完善的基于深度学习的泌尿结石平扫CT图像识别系统及训练方法。
发明内容
本发明的目的在于提供了基于深度学习的泌尿结石平扫CT图像识别系统及训练方法，以解决上述背景技术中提出的问题。
为实现上述技术问题的解决，本发明的目的之一在于，提供了基于深度学习的泌尿结石平扫CT图像识别系统，包括
基建管理单元、数据处理单元、模型识别单元和功能服务单元；所述基建管理单元、所述数据处理单元、所述模型识别单元与所述功能服务单元依次通过网络通信连接；所述基建管理单元用于对支撑系统运行的基建设备、技术、服务等进行管理分配；所述数据处理单元用于对大量的与泌尿系结石病症相关的图像及报告等数据进行处理；所述模型识别单元用于搭建自动识别模型并通过深度学习来促进识别系统的运行以提高识别精度；所述功能服务单元用于在基础功能上增设多种服务应用来提高系统的功能性；
所述基建管理单元包括设备管理模块、技术支撑模块、原始数库模块和专家服务模块；
所述数据处理单元包括数据采集模块、图像数库模块、目标勾画模块和泛化处理模块；
所述模型识别单元包括模型搭建模块、数集划分模块、模型训练模块和评估验证模块；
所述功能服务单元包括深度学习模块、结果对比模块、治疗参考模块和统计上报模块；
该基于深度学习的泌尿结石平扫CT图像识别系统在运行时，先通过所述基建管理单元构建支撑系统运行的基础网络架构，再通过所述数据处理单元采集获取大量原始的泌尿系结石病例，对病例图像进行筛选、分类及图像处理，并由对应专家医师对图像进行勾画处理，然后通过所述模型识别单元搭建自动识别模型，导入划分好的数据集，通过深度学习来实现模型的训练和验证评估，最后通过所述功能服务单元对识别结果进行对比评估，给当下病例提供治疗参考，并定期对系统的运作情况、识别评估精确度进行统计以上报。
作为本技术方案的进一步改进，所述设备管理模块、所述技术支撑模块、所述原始数库模块与所述专家服务模块依次通过网络通信连接且并列运行；所述设备管理模块用于对各种可对数据进行传感及处理的设备载体进行管控；所述技术支撑模块用于载入多种智能技术及基础软件来支撑系统的流程运行；所述原始数库模块用于对收集存储有大量的现有泌尿系结石病历资料的原始数据库进行管理；所述专家服务模块用于给多个具有权限的专家医师提供访问系统并记录其对病例类型进行评估的工作报告以提供对比服务。
其中，处理设备包括但不限于处理主机、显示终端、CT检查仪器、数据采集装置等。
其中，智能技术包括但不限于Faster-RCNN算法、Resnet-50、RPN、Fast R-CNN、ImageNet等。
其中，专家医师包括但不限于高年资影像科医师、10年工作经验的腹部影像科医师、20年工作经验的泌尿外科医师等。
作为本技术方案的进一步改进，所述数据采集模块、所述图像数库模块、所述目标勾画模块与所述泛化处理模块依次通过网络通信连接；所述数据采集模块用于直接采集或通过第三方数据采集装置导入患者的CT检查图像、电子病例及对应的术后结石成分报告等数据；所述图像数库模块用于对采集的图像数据进行筛选分类以建立泌尿系结石平扫CT图像数据库；所述目标勾画模块用于由高年资的影像科专家医师对每张图像中的感兴趣区或结石部位进行勾画标记；所述泛化处理模块用于对图像进行裁切、缩放等图像扩增处理以提高模型的泛化能力。
其中，图像扩增处理包括但不限于将图像缩小到512×512像素的正方形，水平翻转、垂直翻转、剪切、缩放转换、色彩过滤、特征提取等，其中图像随机转动角度为优选为40°，水平、竖直偏移、剪切变换、随机缩放的幅度均优选为0.2。
作为本技术方案的进一步改进，所述图像数库模块包括图像筛选模块、碰撞分析模块、分类归纳模块和分布存储模块；所述图像筛选模块的信号输出端与所述碰撞分析模块的信号输入端连接，所述碰撞分析模块的信号输出端与所述分类归纳模块的信号输入端连接，所述分类归纳模块的信号输出端与所述分布存储模块的信号输入端连接；所述图像筛选模块用于根据预设的纳入排除标准对病例及图像进行筛选；所述碰撞分析模块用于将图像及对应病例的电子病历信息、术后结石成本报告等数据进行碰撞分析以获取各数据之间的相关性并发现图像对应病征的特征点；所述分类归纳模块用于以图像对应的泌尿系结石成分为类型作为图像标签来对所有图像进行分类；所述分布存储模块用于将分类好的图像分别进行存储并集中起来建立图像数据库。
其中，图像筛选过程中，纳入标准包括但不限于经结石成分学证实的泌尿系结石、术前15日内于本院行下腹部平扫CT检查的病例等；排除标准包括但不限于患者仅行X线或CT平片图像不全、图像存在伪影或质量不佳、术前结石成分结果不明确的病例等。
作为本技术方案的进一步改进，所述模型搭建模块的信号输出端与所述数集划分模块的信号输入端连接，所述数集划分模块的信号输出端与所述模型训练模块的信号输入端连接，所述模型训练模块的信号输出端与所述评估验证模块的信号输入端连接；所述模型搭建模块用于以Faster-RCNN算法为基础搭建深度学习的自动图像识别模型；所述数集划分模块用于依据4:1的比例将图像数据库中来自本院的泌尿系结石图像数据分为训练集和测试集，同时将来自多家其他医学中心的泌尿系结石图像数据作为外部验证集；所述模型训练模块用于通过预先编设的训练方式将训练集数据导入模型来进行图像特征识别的训练；所述评估验证模块用于通过预留的测试集和外部验证集来验证评估模型的鲁棒性及预测效能。
作为本技术方案的进一步改进，所述深度学习模块、所述结果对比模块、所述治疗参考模块与所述统计上报模块；所述深度学习模块用于对自动图像识别模型进行深度学习来提高模型识别准确率，并在输入泌尿系结石患者平扫CT图像后输出相应的结石成分类型结果；所述结果对比模块用于将高年资的专家医师对泌尿系结石平扫CT图像进行分类识别的评估结果作为医生组与识别模型输出的结果进行对比以评价识别系统的预测性能；所述治疗参考模块用于根据判识出的图像结石类型及数据库中往期病历治疗记录来作为当下病例的治疗参考数据；所述统计上报模块用于定期统计分析系统对泌尿系结石平扫CT图像进行病征判识预测频次统计及对应的准确率。
本发明的目的之二在于，提供了基于深度学习的泌尿结石平扫CT图像识别系统的训练方法，包括上述所述的基于深度学习的泌尿结石平扫CT图像识别系统，包括如下步骤：
S1、回顾性收集本院及国内其他多家医疗水平较高的可靠性医学中心的泌尿系结石病人术前下腹部平扫CT图像，依据纳入排出标准，对病例及图像进行筛选；
S2、同时收集患者术后结石成分报告数据，将结石成分类型作为图像标签进行分类，建立泌尿系结石平扫CT图像数据库；
S3、利用LabelIMG软件对每张图像的结石部位进行勾画，勾画工作由两位高年资影像科医师共同完成；
S4、依据4:1的比例将来自本院的泌尿系结石图像数据分为训练集和测试集，将其他多家医学中心的泌尿系结石图像作为外部验证集；
S5、使用双线性插值法将图像缩小到512×512像素的正方形，并进行图像扩增，增强模型的泛化能力；
S6、利用当前深度学习领域前沿的Faster-RCNN算法作为模型基础，以Resnet-50为主网，将训练集数据纳入模型进行训练，以此建立泌尿系结石成分识别系统；
S7、利用测试集和外部验证集数据评估模型的鲁棒性及预测效能，以受试者工作特征曲线下面积、准确率、精确率、召回率和F1-指数作为量化的模型评价指标；
S8、由一名10年工作经验的腹部影像科医师及一名20年工作经验的泌尿外科医师分别对泌尿系结石平扫CT图像进行分类，评估结果作为医生组与深度学习系统进行对比，以此评价系统预测性能；
S9、成型的系统在输入泌尿系结石患者平扫CT图像后，可输出结石成分类型及预测准确度。
其中，所述S1中，数据库中应至少包含500余例泌尿系结石的患者CT数据，通过足够的数据基础来保证模型的识别精度。
其中，所述S2中，勾画的方式为精细勾画，数据工作者需要对结石的边缘进行精细的描记，每张图片勾画后的信息以.nrrd格式的文件形式保存，每个.nrrd文件中记录了勾画的坐标信息以及分类的标签信息。
其中，所述S6中，具体操作为：利用当前深度学习领域前沿的Faster-RCNN算法作为模型基础，整个模型的框架应用Resnet-50为主网构架进行特征提取、RPN生成特征区域提议、Fast R-CNN网络完成边界框的分类和回归；该网络已在ImageNet图像数据库中完成预训练；将训练集数据纳入模型进行训练，多次调整神经元层数、卷积核大小、损失函数值等模型参数，使模型在各分类组均达到收敛，以此建立泌尿系结石成分识别系统。
其中，所述S7中，可输出的结果包含临床所见的绝大多数泌尿系结石成分类型，包括：一水草酸钙、碳酸磷灰石、二水草酸钙、六水磷酸铵镁、无水尿酸、尿酸铵等。
作为本技术方案的进一步改进，所述S5中，双线性插值法的计算步骤如下：
假如我们想得到未知函数f在点
的值，假设我们已知函数f在
、
、
以及
四个点的值，而最常见的情况为f就是一个像素点的像素值；
则首先在x方向进行线性插值，得到：
然后在 y 方向进行线性插值，得到：
综合起来就是双线性插值最后的结果：
其中，由于图像双线性插值只会用相邻的4个点，因此上述公式的分母都是1，则上式简化为：
式中，
为所求的点P的像素值。
作为本技术方案的进一步改进，所述S7中，以曲线下面积（AUC）作为评价指标的计算表达式为：
首先对每个测试样本属于正样本的概率从大到小排序，然后令最大概率对应的样本的等级为n，第二大概率对应样本的等级为n-1，以此类推；然后把所有的正类样本的等级相加，再减去M-1种两个正样本组合的情况，得到的就是所有的样本中有多少对正类样本的概率大于负类样本的概率，然后再除以M×N，即:
式中：Class表示每个测试样本真正的标签，M为正类样本的数目，N为负类样本的数目；
为了求得组合中正样本的概率值大于负样本，如果所有的正样本概率值都是大于负样本的，那么第一位与任意的进行组合概率值都要大，我们取它的等级值为n，但是n-1中有M-1是正样例和正样例的组合这种是不在统计范围内的（为计算方便我们取n组，相应的不符合的有M个），所以要减掉，那么同理排在第二位的n-1，会有M-1个是不满足的，依次类推，故得到后面的公式M*(M+1)/2，我们可以验证在正样本概率都大于负样本的假设下，AUC的值为1；
其中，AUC值是一个概率值，介于0.1和1之间。
具体地，当你随机挑选一个正样本以及负样本，当前的分类算法根据计算得到的概率值将这个正样本排在负样本前面的概率就是AUC值，AUC值越大，当前分类算法越有可能将正样本排在负样本前面，从而能够更好地分类；AUC作为数值可以直观的评价分类器的好坏，值越大越好。
作为本技术方案的进一步改进，所述S7中，以准确率、 精确率、 召回率和F1-指数作为评价指标的计算表达式分别为：
设TP为真正类，即一个实例为正类并且被预测为正类的正确数目；FN为假负类，即一个实例为正类但被预测为负类的数目；FP为假正类，即一个实例为负类但被预测为正类的数目；TN为真负类，即一个实例为负类并且被预测为负类的数目，则有：
准确率(Accuracy)为所有预测正确的占总的比重：
精确率(Precision)为正确预测为正的占全部预测为正的比例：
召回率(Recall)为正确预测为正的占全部实际为正的比例：
F1-指数：
公式转化之后为：
其中，F1值为算数平均数除以几何平均数，且越大越好，将精确率和召回率的公式代入会发现，当F1值小时TP相对增加，而FP相对减少，即精确率和召回率都相对增加，即F1对精确率和召回率都进行了加权。
本发明的目的之三在于，提供了基于深度学习的泌尿结石平扫CT图像识别系统的运行装置，包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序，处理器用于执行计算机程序时实现上述任一的基于深度学习的泌尿结石平扫CT图像识别系统及训练方法。
本发明的目的之四在于，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一的基于深度学习的泌尿结石平扫CT图像识别系统及训练方法。
与现有技术相比，本发明的有益效果：
1.该基于深度学习的泌尿结石平扫CT图像识别系统可以提前在无创的情况下预测泌尿系结石患者的结石成分类型，极大加宽了影像学诊断的边界，对临床诊疗方案的指导有重要意义，可使病人显著获益，如避免行不必要的手术、提高患者无瘤生存期与总生存期、节约患者开支与医保预算等，同时系统极大提高了诊疗效率，自动化的诊断过程也减轻了影像科医师与结石成分科医师的工作负担，另外其对硬件无特殊要求，可集成于各类型CT摄片仪器，且对操作者要求较低，可广泛应用于基层医院，有利于缓解当前人民群众看病难、医疗资源分配不均的问题，贯彻落实分级诊疗制度；
2.该基于深度学习的泌尿结石平扫CT图像识别系统的训练方法结合大量权威可靠性病例数据，并合理划分训练集、测试集及外部验证集的数据量，可以快速进行训练学习，进而提高图像识别系统的识别精度，提高泌尿系结石成分类型诊断的效率及准确率，达到良好的综合生物验证的效果，从而可以快速准确地调整治疗与手术方案，提高患者的治疗体感，促进了与结石成分相关的各种临床指标及预后的前瞻性研究的开展。
附图说明
图1为本发明的示例性产品架构图；
图2为本发明的整体系统装置结构图；
图3为本发明的局部系统装置结构图之一；
图4为本发明的局部系统装置结构图之二；
图5为本发明的局部系统装置结构图之三；
图6为本发明的局部系统装置结构图之四；
图7为本发明的局部系统装置结构图之五；
图8为本发明的示例性方法流程框图；
图9为本发明中双线性插值法的运算原理图；
图10为本发明的示例性电子计算机产品装置结构示意图。
图中各个标号意义为：
1、处理器；2、显示器；3、原始数据库；4、图像数据库；5、图像自动识别模型；
100、基建管理单元；101、设备管理模块；102、技术支撑模块；103、原始数库模块；104、专家服务模块；
200、数据处理单元；201、数据采集模块；202、图像数库模块；2021、图像筛选模块；2022、碰撞分析模块；2023、分类归纳模块；2024、分布存储模块；203、目标勾画模块；204、泛化处理模块；
300、模型识别单元；301、模型搭建模块；302、数集划分模块；303、模型训练模块；304、评估验证模块；
400、功能服务单元；401、深度学习模块；402、结果对比模块；403、治疗参考模块；404、统计上报模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1-图10所示，本实施例提供了基于深度学习的泌尿结石平扫CT图像识别系统，包括
基建管理单元100、数据处理单元200、模型识别单元300和功能服务单元400；基建管理单元100、数据处理单元200、模型识别单元300与功能服务单元400依次通过网络通信连接；基建管理单元100用于对支撑系统运行的基建设备、技术、服务等进行管理分配；数据处理单元200用于对大量的与泌尿系结石病症相关的图像及报告等数据进行处理；模型识别单元300用于搭建自动识别模型并通过深度学习来促进识别系统的运行以提高识别精度；功能服务单元400用于在基础功能上增设多种服务应用来提高系统的功能性；
基建管理单元100包括设备管理模块101、技术支撑模块102、原始数库模块103和专家服务模块104；
数据处理单元200包括数据采集模块201、图像数库模块202、目标勾画模块203和泛化处理模块204；
模型识别单元300包括模型搭建模块301、数集划分模块302、模型训练模块303和评估验证模块304；
功能服务单元400包括深度学习模块401、结果对比模块402、治疗参考模块403和统计上报模块404；
该基于深度学习的泌尿结石平扫CT图像识别系统在运行时，先通过基建管理单元100构建支撑系统运行的基础网络架构，再通过数据处理单元200采集获取大量原始的泌尿系结石病例，对病例图像进行筛选、分类及图像处理，并由对应专家医师对图像进行勾画处理，然后通过模型识别单元300搭建自动识别模型，导入划分好的数据集，通过深度学习来实现模型的训练和验证评估，最后通过功能服务单元400对识别结果进行对比评估，给当下病例提供治疗参考，并定期对系统的运作情况、识别评估精确度进行统计以上报。
本实施例中，设备管理模块101、技术支撑模块102、原始数库模块103与专家服务模块104依次通过网络通信连接且并列运行；设备管理模块101用于对各种可对数据进行传感及处理的设备载体进行管控；技术支撑模块102用于载入多种智能技术及基础软件来支撑系统的流程运行；原始数库模块103用于对收集存储有大量的现有泌尿系结石病历资料的原始数据库进行管理；专家服务模块104用于给多个具有权限的专家医师提供访问系统并记录其对病例类型进行评估的工作报告以提供对比服务。
其中，处理设备包括但不限于处理主机、显示终端、CT检查仪器、数据采集装置等。
其中，智能技术包括但不限于Faster-RCNN算法、Resnet-50、RPN、Fast R-CNN、ImageNet等。
其中，专家医师包括但不限于高年资影像科医师、10年工作经验的腹部影像科医师、20年工作经验的泌尿外科医师等。
本实施例中，数据采集模块201、图像数库模块202、目标勾画模块203与泛化处理模块204依次通过网络通信连接；数据采集模块201用于直接采集或通过第三方数据采集装置导入患者的CT检查图像、电子病例及对应的术后结石成分报告等数据；图像数库模块202用于对采集的图像数据进行筛选分类以建立泌尿系结石平扫CT图像数据库；目标勾画模块203用于由高年资的影像科专家医师对每张图像中的感兴趣区或结石部位进行勾画标记；泛化处理模块204用于对图像进行裁切、缩放等图像扩增处理以提高模型的泛化能力。
其中，图像扩增处理包括但不限于将图像缩小到512×512像素的正方形，水平翻转、垂直翻转、剪切、缩放转换、色彩过滤、特征提取等，其中图像随机转动角度为优选为40°，水平、竖直偏移、剪切变换、随机缩放的幅度均优选为0.2。
进一步地，图像数库模块202包括图像筛选模块2021、碰撞分析模块2022、分类归纳模块2023和分布存储模块2024；图像筛选模块2021的信号输出端与碰撞分析模块2022的信号输入端连接，碰撞分析模块2022的信号输出端与分类归纳模块2023的信号输入端连接，分类归纳模块2023的信号输出端与分布存储模块2024的信号输入端连接；图像筛选模块2021用于根据预设的纳入排除标准对病例及图像进行筛选；碰撞分析模块2022用于将图像及对应病例的电子病历信息、术后结石成本报告等数据进行碰撞分析以获取各数据之间的相关性并发现图像对应病征的特征点；分类归纳模块2023用于以图像对应的泌尿系结石成分为类型作为图像标签来对所有图像进行分类；分布存储模块2024用于将分类好的图像分别进行存储并集中起来建立图像数据库。
其中，图像筛选过程中，纳入标准包括但不限于经结石成分学证实的泌尿系结石、术前15日内于本院行下腹部平扫CT检查的病例等；排除标准包括但不限于患者仅行X线或CT平片图像不全、图像存在伪影或质量不佳、术前结石成分结果不明确的病例等。
本实施例中，模型搭建模块301的信号输出端与数集划分模块302的信号输入端连接，数集划分模块302的信号输出端与模型训练模块303的信号输入端连接，模型训练模块303的信号输出端与评估验证模块304的信号输入端连接；模型搭建模块301用于以Faster-RCNN算法为基础搭建深度学习的自动图像识别模型；数集划分模块302用于依据4:1的比例将图像数据库中来自本院的泌尿系结石图像数据分为训练集和测试集，同时将来自多家其他医学中心的泌尿系结石图像数据作为外部验证集；模型训练模块303用于通过预先编设的训练方式将训练集数据导入模型来进行图像特征识别的训练；评估验证模块304用于通过预留的测试集和外部验证集来验证评估模型的鲁棒性及预测效能。
本实施例中，深度学习模块401、结果对比模块402、治疗参考模块403与统计上报模块404；深度学习模块401用于对自动图像识别模型进行深度学习来提高模型识别准确率，并在输入泌尿系结石患者平扫CT图像后输出相应的结石成分类型结果；结果对比模块402用于将高年资的专家医师对泌尿系结石平扫CT图像进行分类识别的评估结果作为医生组与识别模型输出的结果进行对比以评价识别系统的预测性能；治疗参考模块403用于根据判识出的图像结石类型及数据库中往期病历治疗记录来作为当下病例的治疗参考数据；统计上报模块404用于定期统计分析系统对泌尿系结石平扫CT图像进行病征判识预测频次统计及对应的准确率。
如图8-图9所示，本实施例还提供了基于深度学习的泌尿结石平扫CT图像识别系统的训练方法，包括上述的基于深度学习的泌尿结石平扫CT图像识别系统，包括如下步骤：
S1、回顾性收集本院及国内其他多家医疗水平较高的可靠性医学中心的泌尿系结石病人术前下腹部平扫CT图像，依据纳入排出标准，对病例及图像进行筛选；
S2、同时收集患者术后结石成分报告数据，将结石成分类型作为图像标签进行分类，建立泌尿系结石平扫CT图像数据库；
S3、利用LabelIMG软件对每张图像的结石部位进行勾画，勾画工作由两位高年资影像科医师共同完成；
S4、依据4:1的比例将来自本院的泌尿系结石图像数据分为训练集和测试集，将其他多家医学中心的泌尿系结石图像作为外部验证集；
S5、使用双线性插值法将图像缩小到512×512像素的正方形，并进行图像扩增，增强模型的泛化能力；
S6、利用当前深度学习领域前沿的Faster-RCNN算法作为模型基础，以Resnet-50为主网，将训练集数据纳入模型进行训练，以此建立泌尿系结石成分识别系统；
S7、利用测试集和外部验证集数据评估模型的鲁棒性及预测效能，以受试者工作特征曲线下面积、准确率、精确率、召回率和F1-指数作为量化的模型评价指标；
S8、由一名10年工作经验的腹部影像科医师及一名20年工作经验的泌尿外科医师分别对泌尿系结石平扫CT图像进行分类，评估结果作为医生组与深度学习系统进行对比，以此评价系统预测性能；
S9、成型的系统在输入泌尿系结石患者平扫CT图像后，可输出结石成分类型及预测准确度。
其中，S1中，数据库中应至少包含500余例泌尿系结石的患者CT数据，通过足够的数据基础来保证模型的识别精度。
其中，S2中，勾画的方式为精细勾画，数据工作者需要对结石的边缘进行精细的描记，每张图片勾画后的信息以.nrrd格式的文件形式保存，每个.nrrd文件中记录了勾画的坐标信息以及分类的标签信息。
其中，S6中，具体操作为：利用当前深度学习领域前沿的Faster-RCNN算法作为模型基础，整个模型的框架应用Resnet-50为主网构架进行特征提取、RPN生成特征区域提议、Fast R-CNN网络完成边界框的分类和回归；该网络已在ImageNet图像数据库中完成预训练；将训练集数据纳入模型进行训练，多次调整神经元层数、卷积核大小、损失函数值等模型参数，使模型在各分类组均达到收敛，以此建立泌尿系结石成分识别系统。
其中，S7中，可输出的结果包含临床所见的绝大多数泌尿系结石成分类型，包括：一水草酸钙、碳酸磷灰石、二水草酸钙、六水磷酸铵镁、无水尿酸、尿酸铵等。
本实施例中，S5中，双线性插值法的计算步骤如下：
如图9所示，假如我们想得到未知函数f在点
的值，假设我们已知函数f在
、
、
以及
四个点的值，而最常见的情况为f就是一个像素点的像素值；
则首先在x方向进行线性插值，得到：
然后在 y 方向进行线性插值，得到：
综合起来就是双线性插值最后的结果：
其中，由于图像双线性插值只会用相邻的4个点，因此上述公式的分母都是1，则上式简化为：
式中，
为所求的点P的像素值。
本实施例中，S7中，以曲线下面积（AUC）作为评价指标的计算表达式为：
首先对每个测试样本属于正样本的概率从大到小排序，然后令最大概率对应的样本的等级为n，第二大概率对应样本的等级为n-1，以此类推；然后把所有的正类样本的等级相加，再减去M-1种两个正样本组合的情况，得到的就是所有的样本中有多少对正类样本的概率大于负类样本的概率，然后再除以M×N，即:
式中：Class表示每个测试样本真正的标签，M为正类样本的数目，N为负类样本的数目；
为了求得组合中正样本的概率值大于负样本，如果所有的正样本概率值都是大于负样本的，那么第一位与任意的进行组合概率值都要大，我们取它的等级值为n，但是n-1中有M-1是正样例和正样例的组合这种是不在统计范围内的（为计算方便我们取n组，相应的不符合的有M个），所以要减掉，那么同理排在第二位的n-1，会有M-1个是不满足的，依次类推，故得到后面的公式M*(M+1)/2，我们可以验证在正样本概率都大于负样本的假设下，AUC的值为1；
其中，AUC值是一个概率值，介于0.1和1之间。
具体地，当你随机挑选一个正样本以及负样本，当前的分类算法根据计算得到的概率值将这个正样本排在负样本前面的概率就是AUC值，AUC值越大，当前分类算法越有可能将正样本排在负样本前面，从而能够更好地分类；AUC作为数值可以直观的评价分类器的好坏，值越大越好。
进一步地，S7中，以准确率、 精确率、 召回率和F1-指数作为评价指标的计算表达式分别为：
设TP为真正类，即一个实例为正类并且被预测为正类的正确数目；FN为假负类，即一个实例为正类但被预测为负类的数目；FP为假正类，即一个实例为负类但被预测为正类的数目；TN为真负类，即一个实例为负类并且被预测为负类的数目，则有：
准确率(Accuracy)为所有预测正确的占总的比重：
精确率(Precision)为正确预测为正的占全部预测为正的比例：
召回率(Recall)为正确预测为正的占全部实际为正的比例：
F1-指数：
公式转化之后为：
其中，F1值为算数平均数除以几何平均数，且越大越好，将精确率和召回率的公式代入会发现，当F1值小时TP相对增加，而FP相对减少，即精确率和召回率都相对增加，即F1对精确率和召回率都进行了加权。
如图1所示，本实施例还提供了基于深度学习的泌尿结石平扫CT图像识别系统的示例性产品架构，包括处理器1及其配套的显示器2，处理器1外通讯连接有原始数据库3，处理器1从原始数据库3中获取大量的原始数据，对原始数据进行处理后建立图像数据库4，同时在处理器1内搭建图像自动识别模型5，图像自动识别模型5以图像数据库4内的数据集为基础，经训练、深度学习及验证评估后，可自动对输入的图像进行识别并输出识别结果。
如图10所示，本实施例还提供了基于深度学习的泌尿结石平扫CT图像识别系统的运行装置，该装置包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序。
处理器包括一个或一个以上处理核心，处理器通过总线与存储器相连，存储器用于存储程序指令，处理器执行存储器中的程序指令时实现上述的基于深度学习的泌尿结石平扫CT图像识别系统及训练方法。
可选的，存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随时存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。
此外，本发明还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的基于深度学习的泌尿结石平扫CT图像识别系统及训练方法。
可选的，本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面基于深度学习的泌尿结石平扫CT图像识别系统及训练方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (10)
1.基于深度学习的泌尿结石平扫CT图像识别系统，其特征在于：包括
基建管理单元（100）、数据处理单元（200）、模型识别单元（300）和功能服务单元（400）；所述基建管理单元（100）、所述数据处理单元（200）、所述模型识别单元（300）与所述功能服务单元（400）依次通过网络通信连接；所述基建管理单元（100）用于对支撑系统运行的基建设备、技术、服务等进行管理分配；所述数据处理单元（200）用于对大量的与泌尿系结石病症相关的图像及报告等数据进行处理；所述模型识别单元（300）用于搭建自动识别模型并通过深度学习来促进识别系统的运行以提高识别精度；所述功能服务单元（400）用于在基础功能上增设多种服务应用来提高系统的功能性；
所述基建管理单元（100）包括设备管理模块（101）、技术支撑模块（102）、原始数库模块（103）和专家服务模块（104）；
所述数据处理单元（200）包括数据采集模块（201）、图像数库模块（202）、目标勾画模块（203）和泛化处理模块（204）；
所述模型识别单元（300）包括模型搭建模块（301）、数集划分模块（302）、模型训练模块（303）和评估验证模块（304）；
所述功能服务单元（400）包括深度学习模块（401）、结果对比模块（402）、治疗参考模块（403）和统计上报模块（404）；
该基于深度学习的泌尿结石平扫CT图像识别系统在运行时，先通过所述基建管理单元（100）构建支撑系统运行的基础网络架构，再通过所述数据处理单元（200）采集获取大量原始的泌尿系结石病例，对病例图像进行筛选、分类及图像处理，并由对应专家医师对图像进行勾画处理，然后通过所述模型识别单元（300）搭建自动识别模型，导入划分好的数据集，通过深度学习来实现模型的训练和验证评估，最后通过所述功能服务单元（400）对识别结果进行对比评估，给当下病例提供治疗参考，并定期对系统的运作情况、识别评估精确度进行统计以上报。
2.根据权利要求1所述的基于深度学习的泌尿结石平扫CT图像识别系统，其特征在于：所述设备管理模块（101）、所述技术支撑模块（102）、所述原始数库模块（103）与所述专家服务模块（104）依次通过网络通信连接且并列运行；所述设备管理模块（101）用于对各种可对数据进行传感及处理的设备载体进行管控；所述技术支撑模块（102）用于载入多种智能技术及基础软件来支撑系统的流程运行；所述原始数库模块（103）用于对收集存储有大量的现有泌尿系结石病历资料的原始数据库进行管理；所述专家服务模块（104）用于给多个具有权限的专家医师提供访问系统并记录其对病例类型进行评估的工作报告以提供对比服务。
3.根据权利要求2所述的基于深度学习的泌尿结石平扫CT图像识别系统，其特征在于：所述数据采集模块（201）、所述图像数库模块（202）、所述目标勾画模块（203）与所述泛化处理模块（204）依次通过网络通信连接；所述数据采集模块（201）用于直接采集或通过第三方数据采集装置导入患者的CT检查图像、电子病例及对应的术后结石成分报告等数据；所述图像数库模块（202）用于对采集的图像数据进行筛选分类以建立泌尿系结石平扫CT图像数据库；所述目标勾画模块（203）用于由高年资的影像科专家医师对每张图像中的感兴趣区或结石部位进行勾画标记；所述泛化处理模块（204）用于对图像进行裁切、缩放等图像扩增处理以提高模型的泛化能力。
4.根据权利要求3所述的基于深度学习的泌尿结石平扫CT图像识别系统，其特征在于：所述图像数库模块（202）包括图像筛选模块（2021）、碰撞分析模块（2022）、分类归纳模块（2023）和分布存储模块（2024）；所述图像筛选模块（2021）的信号输出端与所述碰撞分析模块（2022）的信号输入端连接，所述碰撞分析模块（2022）的信号输出端与所述分类归纳模块（2023）的信号输入端连接，所述分类归纳模块（2023）的信号输出端与所述分布存储模块（2024）的信号输入端连接；所述图像筛选模块（2021）用于根据预设的纳入排除标准对病例及图像进行筛选；所述碰撞分析模块（2022）用于将图像及对应病例的电子病历信息、术后结石成本报告等数据进行碰撞分析以获取各数据之间的相关性并发现图像对应病征的特征点；所述分类归纳模块（2023）用于以图像对应的泌尿系结石成分为类型作为图像标签来对所有图像进行分类；所述分布存储模块（2024）用于将分类好的图像分别进行存储并集中起来建立图像数据库。
5.根据权利要求4所述的基于深度学习的泌尿结石平扫CT图像识别系统，其特征在于：所述模型搭建模块（301）的信号输出端与所述数集划分模块（302）的信号输入端连接，所述数集划分模块（302）的信号输出端与所述模型训练模块（303）的信号输入端连接，所述模型训练模块（303）的信号输出端与所述评估验证模块（304）的信号输入端连接；所述模型搭建模块（301）用于以Faster-RCNN算法为基础搭建深度学习的自动图像识别模型；所述数集划分模块（302）用于依据4:1的比例将图像数据库中来自本院的泌尿系结石图像数据分为训练集和测试集，同时将来自多家其他医学中心的泌尿系结石图像数据作为外部验证集；所述模型训练模块（303）用于通过预先编设的训练方式将训练集数据导入模型来进行图像特征识别的训练；所述评估验证模块（304）用于通过预留的测试集和外部验证集来验证评估模型的鲁棒性及预测效能。
6.根据权利要求5所述的基于深度学习的泌尿结石平扫CT图像识别系统，其特征在于：所述深度学习模块（401）、所述结果对比模块（402）、所述治疗参考模块（403）与所述统计上报模块（404）；所述深度学习模块（401）用于对自动图像识别模型进行深度学习来提高模型识别准确率，并在输入泌尿系结石患者平扫CT图像后输出相应的结石成分类型结果；所述结果对比模块（402）用于将高年资的专家医师对泌尿系结石平扫CT图像进行分类识别的评估结果作为医生组与识别模型输出的结果进行对比以评价识别系统的预测性能；所述治疗参考模块（403）用于根据判识出的图像结石类型及数据库中往期病历治疗记录来作为当下病例的治疗参考数据；所述统计上报模块（404）用于定期统计分析系统对泌尿系结石平扫CT图像进行病征判识预测频次统计及对应的准确率。
7.基于深度学习的泌尿结石平扫CT图像识别系统的训练方法，包括权利要求6所述的基于深度学习的泌尿结石平扫CT图像识别系统，其特征在于：包括如下步骤：
S1、回顾性收集本院及国内其他多家医疗水平较高的可靠性医学中心的泌尿系结石病人术前下腹部平扫CT图像，依据纳入排出标准，对病例及图像进行筛选；
S2、同时收集患者术后结石成分报告数据，将结石成分类型作为图像标签进行分类，建立泌尿系结石平扫CT图像数据库；
S3、利用LabelIMG软件对每张图像的结石部位进行勾画，勾画工作由两位高年资影像科医师共同完成；
S4、依据4:1的比例将来自本院的泌尿系结石图像数据分为训练集和测试集，将其他多家医学中心的泌尿系结石图像作为外部验证集；
S5、使用双线性插值法将图像缩小到512×512像素的正方形，并进行图像扩增，增强模型的泛化能力；
S6、利用当前深度学习领域前沿的Faster-RCNN算法作为模型基础，以Resnet-50为主网，将训练集数据纳入模型进行训练，以此建立泌尿系结石成分识别系统；
S7、利用测试集和外部验证集数据评估模型的鲁棒性及预测效能，以受试者工作特征曲线下面积、准确率、精确率、召回率和F1-指数作为量化的模型评价指标；
S8、由一名10年工作经验的腹部影像科医师及一名20年工作经验的泌尿外科医师分别对泌尿系结石平扫CT图像进行分类，评估结果作为医生组与深度学习系统进行对比，以此评价系统预测性能；
S9、成型的系统在输入泌尿系结石患者平扫CT图像后，可输出结石成分类型及预测准确度。
8.根据权利要求7所述的基于深度学习的泌尿结石平扫CT图像识别系统的训练方法，其特征在于：所述S5中，双线性插值法的计算步骤如下：
假如我们想得到未知函数f在点
的值，假设我们已知函数f在
、
、
以及
四个点的值，而最常见的情况为f就是一个像素点的像素值；
则首先在x方向进行线性插值，得到：
然后在 y 方向进行线性插值，得到：
综合起来就是双线性插值最后的结果：
其中，由于图像双线性插值只会用相邻的4个点，因此上述公式的分母都是1，则上式简化为：
式中，
为所求的点P的像素值。
9.根据权利要求7所述的基于深度学习的泌尿结石平扫CT图像识别系统的训练方法，其特征在于：所述S7中，以曲线下面积（AUC）作为评价指标的计算表达式为：
首先对每个测试样本属于正样本的概率从大到小排序，然后令最大概率对应的样本的等级为n，第二大概率对应样本的等级为n-1，以此类推；然后把所有的正类样本的等级相加，再减去M-1种两个正样本组合的情况，得到的就是所有的样本中有多少对正类样本的概率大于负类样本的概率，然后再除以M×N，即:
式中：Class表示每个测试样本真正的标签，M为正类样本的数目，N为负类样本的数目；
为了求得组合中正样本的概率值大于负样本，如果所有的正样本概率值都是大于负样本的，那么第一位与任意的进行组合概率值都要大，我们取它的等级值为n，但是n-1中有M-1是正样例和正样例的组合这种是不在统计范围内的（为计算方便我们取n组，相应的不符合的有M个），所以要减掉，那么同理排在第二位的n-1，会有M-1个是不满足的，依次类推，故得到后面的公式M*(M+1)/2，我们可以验证在正样本概率都大于负样本的假设下，AUC的值为1；
其中，AUC值是一个概率值，介于0.1和1之间。
10.根据权利要求7所述的基于深度学习的泌尿结石平扫CT图像识别系统的训练方法，其特征在于：所述S7中，以准确率、 精确率、 召回率和F1-指数作为评价指标的计算表达式分别为：
设TP为真正类，即一个实例为正类并且被预测为正类的正确数目；FN为假负类，即一个实例为正类但被预测为负类的数目；FP为假正类，即一个实例为负类但被预测为正类的数目；TN为真负类，即一个实例为负类并且被预测为负类的数目，则有：
准确率(Accuracy)为所有预测正确的占总的比重：
精确率(Precision)为正确预测为正的占全部预测为正的比例：
召回率(Recall)为正确预测为正的占全部实际为正的比例：
F1-指数：
公式转化之后为：
其中，F1值为算数平均数除以几何平均数，且越大越好，将精确率和召回率的公式代入会发现，当F1值小时TP相对增加，而FP相对减少，即精确率和召回率都相对增加，即F1对精确率和召回率都进行了加权。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111568501.6A CN113962992A (zh) | 2021-12-21 | 2021-12-21 | 基于深度学习的泌尿结石平扫ct图像识别系统及训练方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111568501.6A CN113962992A (zh) | 2021-12-21 | 2021-12-21 | 基于深度学习的泌尿结石平扫ct图像识别系统及训练方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113962992A true CN113962992A (zh) | 2022-01-21 |
Family
ID=79473406
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111568501.6A Pending CN113962992A (zh) | 2021-12-21 | 2021-12-21 | 基于深度学习的泌尿结石平扫ct图像识别系统及训练方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113962992A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI836884B (zh) * | 2023-01-31 | 2024-03-21 | 高雄醫學大學 | 人工智慧尿酸結石預測方法 |
| TWI846052B (zh) * | 2022-09-12 | 2024-06-21 | 長庚醫療財團法人林口長庚紀念醫院 | 利用人工智慧分析泌尿系統結石之方法及泌尿系統結石分析系統 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109242844A (zh) * | 2018-09-04 | 2019-01-18 | 青岛大学附属医院 | 基于深度学习的胰腺癌肿瘤自动识别系统、计算机设备、存储介质 |
| CN111340130A (zh) * | 2020-03-09 | 2020-06-26 | 江西省人民医院 | 一种基于深度学习和影像组学的泌尿结石检测分类方法 |
| CN112233777A (zh) * | 2020-11-19 | 2021-01-15 | 中国石油大学(华东) | 基于深度学习的胆结石自动识别及分割系统、计算机设备、存储介质 |
| CN113205504A (zh) * | 2021-05-12 | 2021-08-03 | 青岛大学附属医院 | 基于知识图谱的人工智能肾肿瘤预测系统 |
| CN113326745A (zh) * | 2021-05-13 | 2021-08-31 | 青岛大学附属医院 | 一种通过图像识别技术判识造口情况应用系统 |
| CN113435469A (zh) * | 2021-04-29 | 2021-09-24 | 青岛大学附属医院 | 一种基于深度学习的肾肿瘤增强ct图像自动识别系统及其训练方法 |
| CN113781477A (zh) * | 2021-10-29 | 2021-12-10 | 平安科技（深圳）有限公司 | 基于人工智能的结石图像识别方法、装置及设备 |
| CN113780902A (zh) * | 2021-11-12 | 2021-12-10 | 江西省国土空间调查规划研究院 | 一种基于云计算的灾害风险预警管理系统 |
-
2021
- 2021-12-21 CN CN202111568501.6A patent/CN113962992A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109242844A (zh) * | 2018-09-04 | 2019-01-18 | 青岛大学附属医院 | 基于深度学习的胰腺癌肿瘤自动识别系统、计算机设备、存储介质 |
| CN111340130A (zh) * | 2020-03-09 | 2020-06-26 | 江西省人民医院 | 一种基于深度学习和影像组学的泌尿结石检测分类方法 |
| CN112233777A (zh) * | 2020-11-19 | 2021-01-15 | 中国石油大学(华东) | 基于深度学习的胆结石自动识别及分割系统、计算机设备、存储介质 |
| CN113435469A (zh) * | 2021-04-29 | 2021-09-24 | 青岛大学附属医院 | 一种基于深度学习的肾肿瘤增强ct图像自动识别系统及其训练方法 |
| CN113205504A (zh) * | 2021-05-12 | 2021-08-03 | 青岛大学附属医院 | 基于知识图谱的人工智能肾肿瘤预测系统 |
| CN113326745A (zh) * | 2021-05-13 | 2021-08-31 | 青岛大学附属医院 | 一种通过图像识别技术判识造口情况应用系统 |
| CN113781477A (zh) * | 2021-10-29 | 2021-12-10 | 平安科技（深圳）有限公司 | 基于人工智能的结石图像识别方法、装置及设备 |
| CN113780902A (zh) * | 2021-11-12 | 2021-12-10 | 江西省国土空间调查规划研究院 | 一种基于云计算的灾害风险预警管理系统 |
Non-Patent Citations (4)
| Title |
|---|
| 张朝阳 著: "《深入浅出 工业机器学习算法详解与实战》", 31 January 2020, 北京：机械工业出版社 * |
| 徐振强 等编著: "《数字中国 智慧城市高质量案例精选》", 31 March 2019, 北京：中国质检出版社 * |
| 李勇 等著: "《复杂情感分析方法及其应用》", 30 April 2020, 北京：冶金工业出版社 * |
| 邹秀芬 等编著: "《计算方法及应用软件》", 31 March 1996, 武汉：武汉大学出版社 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI846052B (zh) * | 2022-09-12 | 2024-06-21 | 長庚醫療財團法人林口長庚紀念醫院 | 利用人工智慧分析泌尿系統結石之方法及泌尿系統結石分析系統 |
| TWI836884B (zh) * | 2023-01-31 | 2024-03-21 | 高雄醫學大學 | 人工智慧尿酸結石預測方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tagliafico et al. | Overview of radiomics in breast cancer diagnosis and prognostication | |
| García-Gallo et al. | A machine learning-based model for 1-year mortality prediction in patients admitted to an Intensive Care Unit with a diagnosis of sepsis | |
| US20230248998A1 (en) | System and method for predicting diseases in its early phase using artificial intelligence | |
| CA2530595A1 (en) | Automated regional myocardial assessment for cardiac imaging | |
| WO2022110525A1 (zh) | 一种癌变区域综合检测装置及方法 | |
| CN113962992A (zh) | 基于深度学习的泌尿结石平扫ct图像识别系统及训练方法 | |
| Pareek et al. | [Retracted] Predicting the Spread of Vessels in Initial Stage Cervical Cancer through Radiomics Strategy Based on Deep Learning Approach | |
| EP4002387A1 (en) | Cad device and method for analysing medical images | |
| Lin et al. | How much can AI see in early pregnancy: A multi‐center study of fetus head characterization in week 10–14 in ultrasound using deep learning | |
| CN115205213A (zh) | 一种体内泌尿系结石成分预测系统 | |
| Sharma et al. | An adaptive framework for predicting breast cancer at an early stage | |
| Kadhim et al. | A Comprehensive Review of Artificial Intelligence Approaches in Kidney Cancer Medical Images Diagnosis, Datasets, Challenges and Issues and Future Directions | |
| CN113435469A (zh) | 一种基于深度学习的肾肿瘤增强ct图像自动识别系统及其训练方法 | |
| Li et al. | Development and validation of an artificial intelligence-powered acne grading system incorporating lesion identification | |
| Loménie et al. | Can AI predict epithelial lesion categories via automated analysis of cervical biopsies: The TissueNet challenge? | |
| CN115762788A (zh) | 基于肿瘤细胞检测的肿瘤复发转移风险评估系统 | |
| Díaz Cao et al. | Application of bayesian regression for the identification of a catchment area for cancer cases in dogs and cats | |
| US20230268072A1 (en) | CADx DEVICE AND A METHOD OF CALIBRATION OF THE DEVICE | |
| Hovakimyan et al. | Artificial Intelligence Methods in Osteoporosis Prediction Problem | |
| CN117594200A (zh) | 一种基于影像组学知识库的肿瘤影像辅助解读系统 | |
| BR et al. | A Deep Evaluation of Digital Image based Bone Cancer Prediction using Modified Machine Learning Strategy | |
| Bharathi | Neural Network based Earlier Stage Lung Cancer Prediction Scheme with Differential Learning Assistance | |
| Yao et al. | Construction and Validation of Two-Level CT-Based Radiomics Models Used for Thyroid Cancer Screening in the Population | |
| Oliveira | Performance of Radiomic Models in the Prediction of Lymph Node Metastasis in Papillary Thyroid Cancer Patients | |
| Röthlin | Deep-Learning based Identification of Suspicious Areas in Breast MRIs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220121 |
|
| RJ01 | Rejection of invention patent application after publication |