CN116167990A - 基于图像的目标识别、神经网络模型处理方法 - Google Patents
基于图像的目标识别、神经网络模型处理方法 Download PDFInfo
- Publication number
- CN116167990A CN116167990A CN202310101130.3A CN202310101130A CN116167990A CN 116167990 A CN116167990 A CN 116167990A CN 202310101130 A CN202310101130 A CN 202310101130A CN 116167990 A CN116167990 A CN 116167990A
- Authority
- CN
- China
- Prior art keywords
- target
- decoders
- image
- decoder
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003062 neural network model Methods 0.000 title claims abstract description 151
- 238000003672 processing method Methods 0.000 title abstract description 6
- 238000000034 method Methods 0.000 claims abstract description 120
- 210000000056 organ Anatomy 0.000 claims description 263
- 238000012549 training Methods 0.000 claims description 158
- 210000000746 body region Anatomy 0.000 claims description 46
- 230000011218 segmentation Effects 0.000 claims description 45
- 238000012545 processing Methods 0.000 claims description 37
- 238000000605 extraction Methods 0.000 claims description 34
- 230000002159 abnormal effect Effects 0.000 claims description 33
- 230000015654 memory Effects 0.000 claims description 29
- 238000010586 diagram Methods 0.000 claims description 23
- 230000000694 effects Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 230000005856 abnormality Effects 0.000 claims description 12
- 230000008014 freezing Effects 0.000 claims description 8
- 238000007710 freezing Methods 0.000 claims description 8
- 238000004821 distillation Methods 0.000 claims description 5
- 238000002059 diagnostic imaging Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 37
- 210000003739 neck Anatomy 0.000 description 35
- 210000003128 head Anatomy 0.000 description 31
- 230000006870 function Effects 0.000 description 22
- 210000000038 chest Anatomy 0.000 description 21
- 230000003902 lesion Effects 0.000 description 20
- 238000013528 artificial neural network Methods 0.000 description 19
- 206010028980 Neoplasm Diseases 0.000 description 17
- 210000001015 abdomen Anatomy 0.000 description 17
- 230000036961 partial effect Effects 0.000 description 17
- 238000001514 detection method Methods 0.000 description 15
- 239000010410 layer Substances 0.000 description 14
- 210000002569 neuron Anatomy 0.000 description 11
- 210000004556 brain Anatomy 0.000 description 9
- 238000002591 computed tomography Methods 0.000 description 9
- 210000002414 leg Anatomy 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 208000000461 Esophageal Neoplasms Diseases 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 230000007547 defect Effects 0.000 description 5
- 210000003238 esophagus Anatomy 0.000 description 5
- 238000013140 knowledge distillation Methods 0.000 description 5
- 210000003205 muscle Anatomy 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 206010030155 Oesophageal carcinoma Diseases 0.000 description 4
- 238000002583 angiography Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 4
- 210000001217 buttock Anatomy 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 201000004101 esophageal cancer Diseases 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 210000000689 upper leg Anatomy 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 239000000945 filler Substances 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000002600 positron emission tomography Methods 0.000 description 3
- 210000001562 sternum Anatomy 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 210000000709 aorta Anatomy 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000003129 brachiocephalic vein Anatomy 0.000 description 2
- 210000000621 bronchi Anatomy 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 230000000747 cardiac effect Effects 0.000 description 2
- 210000001168 carotid artery common Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 210000004731 jugular vein Anatomy 0.000 description 2
- 210000002429 large intestine Anatomy 0.000 description 2
- 210000004185 liver Anatomy 0.000 description 2
- 208000020816 lung neoplasm Diseases 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000013138 pruning Methods 0.000 description 2
- 210000001147 pulmonary artery Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 210000000813 small intestine Anatomy 0.000 description 2
- 210000002784 stomach Anatomy 0.000 description 2
- 210000003270 subclavian artery Anatomy 0.000 description 2
- 210000001321 subclavian vein Anatomy 0.000 description 2
- 210000001685 thyroid gland Anatomy 0.000 description 2
- 210000003437 trachea Anatomy 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 210000003462 vein Anatomy 0.000 description 2
- 210000002620 vena cava superior Anatomy 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 210000002385 vertebral artery Anatomy 0.000 description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 210000001557 animal structure Anatomy 0.000 description 1
- 210000002376 aorta thoracic Anatomy 0.000 description 1
- 210000000617 arm Anatomy 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000000133 brain stem Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 210000001513 elbow Anatomy 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005251 gamma ray Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000003800 pharynx Anatomy 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 210000003492 pulmonary vein Anatomy 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 210000002832 shoulder Anatomy 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 210000000278 spinal cord Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 210000001738 temporomandibular joint Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 210000001631 vena cava inferior Anatomy 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Radiology & Medical Imaging (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种基于图像的目标识别方法、神经网络模型的处理方法、医学影像的器官识别方法、装置、电子设备以及存储介质，依据本申请实施例，可以调用神经网络模型中的编码器，提取待识别图像的全量特征数据，然后将至少部分全量特征数据输入神经网络模型中的多个解码器，获得对应解码器的目标识别结果，进而结合不同解码器的目标识别结果，得到对应于待识别图像的目标识别结果集合。采用上述方案可以识别的图像中的目标类型较多，识别结果全面、准确、无遗漏。另外，使用本申请实施例的神经网络模型的处理方法还可以获得一个无遗忘的神经网络模型，即该神经网络模型对网络已经学习的知识无遗忘。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及基于图像的目标识别方法、神经网络模型的处理方法、医学影像的器官识别方法、装置、电子设备以及存储介质。
背景技术
近年来，对图像中的目标识别是图像处理技术领域的一个研究热点，而在这其中，对医学影像中器官的识别也即器官分割，即如何将医学影像中的器官还原到三维立体的人体对应部位，是图像处理技术领域的一个研究难点。
医学影像的器官分割是医学影像分析中的重要领域，通过对医学影像进行器官分割可以获得器官相关的各种信息，对定量疾病分析、计算机辅助诊断、癌症放疗规划等下游任务具有非常重要的价值。随着深度学习技术的快速发展，相关技术中，用于多器官分割的网络模型一般只能识别某一特定区域的器官，可以识别的器官类型范围较窄，已经不能满足临床实践的需要，且存在识别结果不够精准等技术问题。
发明内容
本申请实施例提供基于图像的目标识别方法、神经网络模型处理方法、医学影像的器官识别方法、装置、电子设备以及存储介质，以解决上述一个或多个技术问题。
第一方面，本申请实施例提供了一种基于图像的目标识别方法，包括：
调用神经网络模型中的编码器，提取待识别图像的全量特征数据，所述编码器训练为通用于多个目标的特征提取；
将至少部分全量特征数据输入所述神经网络模型中的多个解码器，获得对应解码器的目标识别结果，不同解码器对应识别的目标种类不同；
结合不同解码器的目标识别结果，得到对应于所述待识别图像的目标识别结果集合。
第二方面，本申请实施例提供了一种神经网络模型的处理方法，包括：
使用第一图像样本集合训练通用于多个目标的特征提取的编码器，所述第一图像样本集合包括全目标图像样本集合；
使用多个第二图像样本集合，训练用于进行目标识别的多个解码器，其中，至少一个第二图像样本集合包括部分目标图像样本集合，不同解码器对应识别的目标种类不同，不同解码器的目标识别结果组合为待识别图像的目标识别结果集合；
基于所述编码器和至少一个解码器构建所述神经网络模型。
第三方面，本申请实施例提供了一种神经网络模型的处理方法，包括：
获取新增图像样本集合，并使用所述新增图像样本集合训练新增解码器，所述新增解码器用于对所述新增图像样本集合对应的区域进行目标识别；
将所述新增解码器添加至原始神经网络模型，获得目标神经网络模型，其中，所述原始神经网络模型包括多个原始解码器，不同原始解码器对应识别的目标种类不同，不同原始解码器的目标识别结果组合为目标识别结果集合。
第四方面，本申请实施例提供了一种医学影像的器官识别方法，包括：
调用神经网络模型中的编码器，提取医学影像的全量特征数据，所述编码器训练为通用于全身区域的特征提取；
将至少部分全量特征数据输入所述神经网络模型中的多个解码器，获得对应解码器的器官识别结果，不同解码器对应识别的器官种类不同；
结合不同解码器的器官识别结果，生成对应于所述医学影像的器官识别结果集合。
第五方面，本申请实施例提供了一种基于图像的目标识别装置，包括：
特征提取模块，用于调用神经网络模型中的编码器，提取待识别图像的全量特征数据，所述编码器训练为通用于多个目标的特征提取；
目标识别模块，用于将至少部分全量特征数据输入所述神经网络模型中的多个解码器，获得对应解码器的目标识别结果，不同解码器对应识别的目标种类不同；
结果获得模块，用于结合不同解码器的目标识别结果，得到对应于所述待识别图像的目标识别结果集合。
第六方面，本申请实施例提供了一种神经网络模型的处理装置，包括：
编码器训练模块，用于使用第一图像样本集合训练通用于多个目标的特征提取的编码器，所述第一图像样本集合包括全目标图像样本集合；
解码器训练模块，用于使用多个第二图像样本集合，训练用于进行目标识别的多个解码器，其中，至少一个第二图像样本集合包括部分目标图像样本集合，不同解码器对应识别的目标种类不同，不同解码器的目标识别结果组合为待识别图像的目标识别结果集合；
网络模型构建模块，用于基于所述编码器和至少一个解码器构建所述神经网络模型。
第七方面，本申请实施例提供了一种神经网络模型的处理装置，包括：
集合获取模块，用于获取新增图像样本集合，并使用所述新增图像样本集合训练新增解码器，所述新增解码器用于对所述新增图像样本集合对应的区域进行目标识别；
解码器添加模块，用于将所述新增解码器添加至原始神经网络模型，获得目标神经网络模型，其中，所述原始神经网络模型包括多个原始解码器，不同原始解码器对应识别的目标种类不同，不同原始解码器的目标识别结果组合为目标识别结果集合。
第八方面，本申请实施例提供了一种医学影像的器官识别装置，包括：
特征提取模块，用于调用神经网络模型中的编码器，提取医学影像的全量特征数据，所述编码器训练为通用于全身区域的特征提取；
器官识别模块，用于将至少部分全量特征数据输入所述神经网络模型中的多个解码器，获得对应解码器的器官识别结果，不同解码器对应识别的器官种类不同；
结果获得模块，用于结合不同解码器的器官识别结果，生成对应于所述医学影像的器官识别结果集合。
第九方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器在执行所述计算机程序时实现上述任一项所述的方法。
第十方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法。
与相关技术相比，本申请具有如下优点：
依据本申请实施例，可以调用神经网络模型中的编码器，提取待识别图像的全量特征数据，然后将至少部分全量特征数据输入神经网络模型中的多个解码器，获得对应解码器的目标识别结果，进而结合不同解码器的目标识别结果，得到对应于待识别图像的目标识别结果集合。一方面，由于提取图像特征数据的编码器可以通用于图像中全部目标的特征提取，例如可以通用于医学影像中人体所有器官的特征提取，使得该神经网络模型可以识别的目标范围较广，并且可以满足被用作识别图像中不同区域范围的解码器对于特征数据的需求，在增加新的解码器时也无需对编码器进行重新训练，进而可以令神经网络模型具有可扩展性。另一方面，该神经网络模型中使用了多个解码器，用于对应识别图像中不同区域范围内的目标，也即每个解码器都是识别某一部分目标的专用解码器，使得识别结果更精准。并且，通过结合不同解码器的目标识别结果，进一步生成对应于待识别图像中的目标识别结果集合，使得整个神经网络模型输出的目标识别结果更为全面、准确、无遗漏，且方便客户端进行待识别图像上目标识别结果的整体查看，为后续的目标识别结果分析提供便利，例如可以对医学影像中的器官分割结果做进一步的临床医疗诊断等提供便利。
其次，本申请实施例的编码器还可以对待识别图像进行区域识别，获得不同类型区域对应的区域范围，根据区域识别结果将区域范围内的局部特征数据输入对应的解码器，使得解码器可以根据接收的局部特征数据识别对应的目标，进而可以避免由于接收的特征数据较多而将不属于本区域内的其他相似目标识别为所需目标而造成的误判；在上述多个解码器的基础上，还可以添加轻量级的解码器用来专门识别目标的异常位置或某一个异常目标，比如医学影像中的某一个身体异常部位(例如肿瘤)，进而将该识别结果与其他解码器的识别结果进行融合，排除异常位置或异常目标对目标识别结果准确性的影响。
采用本申请实施例获得的融合后的目标识别结果集合可以表征为3D立体图像，例如3D立体的器官识别示意图，以更加直观地查看到所有的目标识别结果，并进一步对图像中的目标进行分析。例如，可以根据查看到的器官分割结果进行进一步的医疗检测或者诊断识别操作。
另外，在本方案的神经网络模型训练过程中，在对编码器进行训练后，可以将编码器对应的至少部分编码器参数进行冻结，如果使用的是与训练编码器时不同的训练数据集训练的解码器，那么在对此类解码器进行训练的过程中，编码器的参数不会进行权重参数的更新，这样可以避免不同解码器对应的训练数据集对编码器的参数带来影响，克服了持续学习过程中可能带来的遗忘问题。根据实际应用的需要，还可以在神经网络模型训练完成后动态添加新的解码器，使得神经网络模型的识别能力扩展到更多方面，具有较强的可扩展性，可以满足各种场景下的不同需求。为了令神经网络模型在后续可能的扩展中具有较强的稳定性，本申请实施例在对解码器进行训练后，还可以对解码器的网络结构进行优化以减少网络参数，或者可以通过知识蒸馏的方式对解码器进行剪枝，以避免神经网络模型复杂性的升级。同时，训练过程中所使用的图像样本，可以包含有各种不同阶段或状态下的目标，以训练神经网络模型更准确的识别不同的目标。例如，如果训练过程中使用的是医学影像样本，该医学影像样本中可以包括器官在各种生理状态下的样本，比如健康状态的样本、发生病变的样本、病变不同时期的样本等，通过这些样本可以训练神经网络模型识别更多不同状态下的器官，使得器官识别结果更为精准。采用上述训练方式，可以获得能够持续学习、动态扩展、无遗忘的神经网络模型，无需访问旧数据集或对模型的原有结构进行重新训练，可以使得经训练后的神经网络模型在实际的应用部署中更加便利。例如，在训练用以识别医学影像样本的神经网络模型的场景下，使用本方案可以较好的保护患者隐私，有利于临床应用中的模型部署。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，可依照说明书的内容予以实施，并且为了让本申请的上述和其他目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请的一些实施方式，而不应将其视为是对本申请范围的限制。
图1示出了本申请一实施例的基于图像的目标识别方法的一个应用示例的示意图；
图2示出了本申请一实施例中提供的一种基于图像的目标识别方法的流程图；
图3示出了本申请一实施例中提供的一种神经网络模型的处理方法的流程图；
图4示出了本申请一实施例中提供的一种神经网络模型的处理方法的流程图；
图5示出了本申请一实施例中提供的一种医学影像的器官识别方法的流程图；
图6示出了本申请一实施例中提供的一种基于图像的目标识别装置的结构框图；
图7示出了本申请一实施例中提供的一种神经网络模型的处理装置的结构框图；
图8示出了本申请一实施例中提供的一种神经网络模型的处理装置的结构框图；
图9示出了本申请一实施例中提供的一种医学影像的器官识别装置的结构框图；
图10示出了用来实现本申请实施例的电子设备的框图。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本申请的构思或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的，而非限制性的。
为便于理解本申请实施例的技术方案，以下对本申请实施例的相关技术进行说明。以下相关技术作为可选方案与本申请实施例的技术方案可以进行任意结合，其均属于本申请实施例的保护范围。
本申请实施例提供了一种基于图像的目标识别方法、神经网络模型的处理方法、医学影像的器官识别方法、装置、电子设备以及存储介质，以解决上述全部或部分技术问题。图1是本申请实施例的基于图像的目标识别方案的一个应用示例的示意图，本申请实施例提供的对于图像中的目标识别方案可以应用于对图像中的目标进行识别，其中，图像可以是各种图形或影像，例如照片、绘画、地图、传真、影视画面、X光片、脑电图、心电图等，图像中的目标可以是在图像中显示出来的物体或人物等，例如2D图像中的人物、车辆、楼房、花草树木，3D图像中的动物、植物、解剖图中的生物器官、细胞形态等，或者是医学影像中的人体器官、肿瘤、人工支架等。下面以医学影像中对人体器官的识别为例，结合图1进行示例性说明。
在采集并识别医学影像的过程中，使用到影像采集装置与医学影像识别装置，其中影像采集装置可以主动或被动获取医学影像，并可与医学影像识别装置进行网络连接，以便进行通信互联。医学影像识别装置可以用来识别医学影像中不同器官、肿瘤或异物等所处的位置、形状、大小等，并在医学影像中分割出待识别的目标。
在影像采集装置将采集到的目标医学影像发送至医学影像识别装置后，医学影像识别装置通过以下识别过程对医学影像进行识别：
首先，调用神经网络模型的编码器，提取目标医学影像的全量特征数据，这里的编码器是预先被训练为可以通用于待识别图像的全量特征数据的提取的编码器，例如被训练为可以提取全身区域的特征的编码器，所提取的全量特征数据可以是目标医学影像中全部的特征数据，这样可以提取到目标医学影像中更全面的特征数据，为后续多个对应识别不同身体区域范围的解码器提供足够多的特征数据，便于解码器进一步的识别。
其次，将至少部分全量特征数据输入该神经网络模型的多个解码器，获得对应解码器的目标识别结果，例如对应解码器的器官识别结果。这里不同的解码器可以是被预先训练好的，不同的解码器对应识别的目标种类不同，在识别医学影像时，不同的解码器可以被训练为对应识别的身体区域的范围不同，这将使得每一个解码器都有其擅长识别的器官类型，在识别对应的器官时将获得更为精准的结果。例如，解码器1可以识别全身范围内的多种器官，因此解码器1需处理的特征数据为编码器提取的目标医学影像中的全量特征数据；解码器2是专门识别头颈部位器官的，无法识别其他身体区域的器官，因此解码器2的需处理的特征数据仅为编码器提取的目标医学影像中属于头颈部的特征数据；解码器3只能识别胸部区域的器官，而不能识别其他部位，因此解码器3需处理的仅为胸部的特征数据。不过，解码器1虽然识别的区域范围大，但精度不够高；解码器2和解码器3虽然识别的区域范围小，但对于对应身体区域范围内的器官识别精度要高于解码器1。
因此，可以在解码器1、解码器2、解码器3均识别完成后，将不同解码器的器官识别结果中重叠区域的部分器官识别结果进行级联，也即可以对不同解码器的目标识别结果中对应相同目标的识别结果进行级联，例如解码器1的头颈部分的器官识别结果与解码器2的器官识别结果进行级联，解码器1的胸部器官识别结果与解码器3的器官识别结果进行级联，以加强重叠区域的部分器官的识别效果；然后，可以根据级联后的目标识别结果以及对应不同目标的识别任务的识别结果进行融合，获得对应于所述待识别图像的目标识别结果集合，例如在对医学影像进行识别时，可以将级联后的器官识别结果以及对应非重叠区域的其他器官识别结果进行融合，获得对应于目标医学影像的器官识别结果集合。这种结合不同解码器的目标识别结果，生成对应于待识别图像的目标识别结果集合的方式，可以令最终输出的目标识别结果更为全面、准确、无遗漏，在对医学影像的识别中，这种优势更为明显，将不同解码器的器官识别结果生成对应于医学影像的器官识别结果集合，可以令输出的器官识别结果全面准确无遗漏，便于应用于临床实践并有利于市场的推广与使用。
再次，图1中所示的医学影像识别装置中，还可以包含有身体区域划分模块、异常检测模块，其中，身体区域划分模块可以将人体区域大致划分成头颈、胸部、腹部、臀腿四个部分，以避免解码器可能会产生的器官识别结果区域错误的问题，例如错误的将位于腹部的器官识别为位于脑部的相似器官；异常检测模块可以用于识别目标医学影像中的异常部位，包括但不限于肿瘤、人工支架、基础填充物、器官缺陷等。待检测完成后，可以将异常检测模块识别出的异常部位与身体区域划分模块的划分结果组合，可以作为融合不同解码器的器官识别结果时的置信度之一，进而获得最终的目标医学影像识别结果集合，这样可以有效地降低器官识别的误识别率，进一步提高器官识别效果的准确性。
采用上述方法获得的融合后的目标识别结果集合，可以表征为3D立体的目标识别示意图，在这个目标识别示意图中可以至少有两个目标对应不同的显示效果，其中，目标识别结果可以包括目标分割结果和/或状态分割结果，目标分割结果可以包括目标类型和目标所处区域范围，状态分割结果可以包括目标所处的状态类型、目标异常位置、目标异常程度和目标异常阶段中的至少一种。具体而言，可以将医学影像识别中器官识别结果的集合表征为3D立体的器官识别示意图，在该示意图中标记有器官识别结果，该器官识别结果中可以包括器官分割结果和/或病变识别结果，器官分割结果可以包括器官类型和器官所处区域范围，病变识别结果可以包括器官病变类型、器官病变位置、病变严重程度和病变发展阶段中至少一种，例如图1中的“食管”、“胸骨”、“肝脏”、“胃部”、“大肠”、“小肠”、“股骨”都属于器官分割结果，图1中的“肿瘤”属于病变识别结果。同时，不同的器官可能采用不同的效果进行显示，例如对属于头颈部的器官显示为白色、胸部的器官显示为蓝色、腹部显示为紫色、臀腿显示为红色等。最终，医学影像识别装置将该器官识别示意图输出。这样的处理方式可以更加直观地查看到所有的器官分割结果，以便于进行进一步的医疗检测或者诊断识别操作。
另外，在本方案的神经网络模型训练过程中，在对编码器进行训练后，可以将编码器对应的至少部分编码参数进行冻结，例如可以将编码器参数配置为不可修改的状态，如果使用的是与训练编码器时不同的训练数据集训练解码器，那么在对此类解码器进行训练的过程中，编码器的参数不会进行权重参数的更新，这样可以克服持续学习过程中可能带来的遗忘问题；在对解码器进行训练后，可以对每个解码器进行优化和剪枝，以避免模型复杂性的升级。并可以在训练完成后添加新的解码器，也即当出现新增的图像例如医学影像样本集合时，可以通过添加解码器的形式，使得神经网络模型进行进一步的学习。
在模型训练过程中，本方案实施例采用了多个医学影像数据集分别对多个解码器进行了训练，这些数据集包括被标记出103个全身主要器官的数据集，标记有13个头颈器官的数据集，标记31个胸部器官的数据集(其中4个与头颈器官数据集有重叠)以及其他癌症数据集等，因此，在经过现有数据集的训练后，本方案实施例中的神经网络模型可以识别全身143个主要器官类别，包括可以识别癌变情况下的器官，且后续还可以再添加新的解码器以识别更多类别的器官。
采用上述方案，可以获得一个能够持续学习、动态扩展、无遗忘的神经网络模型，使得该模型可以识别图像中的全部目标，例如医学影像中的全部器官，并可以根据临床实践进行实时更新，而无需访问旧数据集或对模型进行重新训练，可以较好的保护患者隐私，有利于临床应用中的模型部署。
本申请实施例涉及的医学影像是反映解剖区域内部结构或内部功能的图像，它一般是以二维像素(2D)或者三维体素(3D)的形式呈现。可以通过各种常见的医学影像获得，包括但不限于：血管摄影(Angiography)、心血管造影(Cardiac angiography)、电脑断层扫描(CT，Computerized tomography)、正子发射断层扫描(PET,Positron emissiontomography)、核磁共振成像(NMRI，Nuclear magnetic resonance imaging)、医学超音波检查(Medical ultrasonography)等等。其中，血管摄影即使用x光照射人体内部，观察血管分布的情形；电脑断层扫描或称电子计算机断层扫描，根据所采用的射线不同又可以分为X射线CT(X-CT)、超声CT(UCT)以及γ射线CT(γ-CT)等；心血管造影即将造影剂通过心导管快速注入心腔或血管，使心脏和血管腔在X线照射下显影；正子发射断层扫描是一种核医学成像技术，它为全身提供三维的和功能运作的图像；核磁共振成像即通过外加梯度磁场检测所发射出的电磁波，据此绘制人体内部结构；医学超音波检查即运用超声波的物理特性，通过电子工程技术对超声波发射、接收、转换及电子计算机的快速分析、处理和显象，从而对人体软组织的物理特性、形态结构与功能状态做出判断的一种非创伤性检查方式。
本申请实施例的执行主体可以是应用程序、服务、实例、软件形态的功能模块、虚拟机(Virtual Machine，VM)、容器或云服务器等，或者具有数据处理功能的硬件设备(如服务器或终端设备)或硬件芯片(如CPU、GPU、FPGA、NPU、AI加速卡或DPU)等。实现基于图像的目标识别装置或医学影像的器官识别的装置可以部署在提供相应服务的应用方的计算设备或提供算力、存储和网络资源的云计算平台上，云计算平台对外提供服务的模式可以是IaaS(Infrastructure as a Service，基础设施即服务)、PaaS(Platform as a Service，平台即服务)、SaaS(Software-as-a-service，软件即服务)或DaaS(Data-as-a-service，数据即服务)。以平台提供SaaS软件即服务(Software-as-a-Service)为例，云计算平台可以利用自身的计算资源提供模型的训练或部署基于图像的目标识别装置或医学影像的器官识别装置，具体的应用架构可以根据服务需求进行搭建。例如，平台可以向使用平台资源的应用方或个人提供基于上述模型的构建服务，进一步基于相关客户端或服务器等设备提交的基于图像的目标识别请求或医学影像的器官识别请求调用上述模型和实现识别的功能。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
下面以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决前述技术问题进行详细说明。所列举的若干具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。以下将结合附图，对本申请的实施例进行详细描述。
本申请实施例提供了一种基于图像的目标识别方法，如图2所示为本申请一实施例的基于图像的目标识别方法的流程图，该方法可以包括：
在步骤S201中，调用神经网络模型中的编码器，提取待识别图像的全量特征数据，所述编码器训练为通用于多个目标的特征提取。在这一步骤中，由于提取图像特征数据的编码器可以通用于图像中全部目标的特征提取，例如可以通用于医学影像中人体全身区域所有器官的特征提取，使得该神经网络模型可以识别的目标范围较广，并且可以满足被用作识别图像中不同区域范围的解码器对于特征数据的需求，在增加新的解码器时也无需对编码器进行重新训练，进而可以令神经网络模型具有可扩展性。
本申请实施例涉及到的待识别图像，可以是任何图像或影像，待识别图像中的目标，可以是待识别图像中的任何物体、人物等，这些目标可以包含生物对象的至少一种器官，本申请对此并不做任何限定。例如，当待识别图像是待检测的医学影像时，识别目标就可以是这类医学影像中的器官，对其进行器官识别可以包括从医学影像中标记该目标器官在人体中的大小、形状、位置、周围环境等，还可以进一步识别该目标器官是否发生病变、病变类型、位置、严重程度和/或发展阶段等信息。
本申请实施例可以采用神经网络模型对待识别图像进行目标识别，这种神经网络模型可以是一种通过模拟人的大脑神经结构去实现人脑智能活动功能的信息处理系统，由大量的、简单的处理单元(称为神经元)广泛地互相连接而形成，具有大规模并行、分布式存储和处理、自组织、自适应和自学能力，适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。本申请中的神经网络模型通过预先训练获得，并用以识别图像中的目标，例如医学影像中的器官。
神经网络模型可使用的网络结构包括但不限于：径向基神经网络、感知器神经网络、线性神经网络、自组织神经网络、反馈神经网络等。其中，RBF(Radial Basis Functio，径向基)神经网络是具有单隐层的三层前馈网络，模拟了人脑中局部调整、相互覆盖接收域(或称感受野)的神经网络结构，是一种局部逼近网络，能够以任意精度逼近任意连续函数，适合于解决分类问题；感知器神经网络是一个具有单层计算神经元的神经网络，网络的传递函数是线性阈值单元，主要用来模拟人脑的感知特征，由于采取阈值单元作为传递函数，所以只能输出两个值，适合简单的模式分类问题；线性神经网络，由一个或者多个线性神经元构成，采用线性函数作为传递函数，只能处理反应输入输出样本向量空间的线性映射关系，即只能处理线性可分问题；自组织神经网络包括自组织竞争网络、自组织特征映射网络、学习向量量化等网络结构形式。这种神经网络会自适应的对输入信号的特征进行学习，进而自组织成不同的区域，并且在各个区域对输入模式具有不同的响应特征。在输出空间中，这些神经元将形成一张映射图，映射图中功能相同的神经元靠的比较近，功能不同的神经元分的比较开。其中，自组织映射过程是通过竞争学习完成的，所谓竞争学习是指同一层神经元之间相互竞争，竞争胜利的神经元修改与其连接的连接权值的过程，是一种无监督学习方法。在学习过程中，只需要向网络提供一些学习样本，而无需提供理想的目标输出，网络根据输入样本的特性进行自组织映射，从而对样本进行自动排序和分类；反馈神经网络在这种网络结构中，信息在前向传递的同时还要进行反向传递，这种信息的反馈可以发生在不同网络层的神经元之间，也可以只局限于某一层神经元上。由于反馈网络属于动态网络，只有满足了稳定条件，网络才能在工作了一段时间之后达到稳定状态。
本申请实施例涉及到的编码器，是神经网络模型中用于提取图像特征的模块，用于提取输入神经网络模型中的图像的特征数据，可以提取待识别图像的全量特征数据。其中，全量特征数据可以是待识别图像中所有目标的全部特征数据。例如用于识别医学影像的神经网络模型，该神经网络模型中的编码器被训练为通用于医学影像中人体全身区域的特征提取，这种适用全身区域特征提取的编码器是使用全身医学影像数据集进行训练得到的，由此提取到的医学影像的特征数据可以记为全量特征数据。相比于不能通用于多个目标特征提取的编码器，本申请实施例的编码器可以提取到待识别图像中的目标上足够多的特征，可以满足识别不同区域范围的多个解码器对于特征数据的需求，在增加新的解码器时也无需对编码器进行重新训练，使得该神经网络模型可以识别的目标范围较广，并具有可扩展性。
一种实现方式中，编码器中可以包括多个编码单元，每个编码单元可以对应提取部分区域范围内的特征数据，所有编码单元提取的特征数据总和，作为全部区域的特征数据，若多个编码单元并行执行特征数据提取的动作，则进一步可以提高特征数据的提取效率。
在步骤S202中，将至少部分全量特征数据输入所述神经网络模型中的多个解码器，获得对应解码器的目标识别结果，不同解码器对应识别的目标种类不同。在这一步骤中，由于使用了多个解码器，用于对应识别不同的目标种类，也即每个解码器都是识别某一部分目标(例如器官)的专用解码器，可以使得识别结果更精准。
其中，解码器是指在神经网络模型中用于根据编码器提取的图像特征识别对应目标的模块。例如，解码器对从编码器获得的目标医学影像中的特征数据进行进一步的加工识别，根据这些特征数据表示的内容以及预先训练中学习到的对应身体区域范围内的器官特征，预测出对应器官的位置信息、形状、大小等，获得对应的器官识别结果。
上述获取到的全量特征数据可以部分或全部输入解码器，由于部分解码器仅仅用于部分目标的识别，例如对部分身体区域的器官进行分割，因此可以仅输入对应区域或是超出该区域的特征数据即可，数据的多少取决于解码器可以对应识别的区域的范围与待识别图像中显示的区域范围的重合度。
本申请实施例的不同解码器对应识别的目标种类可能不同，例如对于医学影像而言，本申请实施例中不同的解码器对应识别的身体区域的范围可能不同，这个识别的范围可以根据需要预先设定，以减少单个解码器处理的特征数据数量，在对解码器进行训练时也可以使用针对区域范围内的图像样本集合进行训练，使得解码器的识别结果更精准。具体而言，有的解码器可以用于识别全身区域所有器官，有的解码器可以用于识别身体局部区域的器官(例如腹部)，不同的解码器之间可以识别的器官范围也可以重叠(例如解码器A用于识别头部和颈部器官，解码器B用于识别食管和胸部器官，那么解码器A和解码器B都可以识别食管)。进而，可以根据不同解码器识别的目标种类确定输入的特征数据，例如可以根据不同解码器识别的身体区域的范围确定输入的特征数据的范围，这样可以减少单个解码器处理的特征数据数量，在对解码器进行训练时也可以使用针对某一身体区域范围内的医学影像样本集合进行训练，使得解码器的识别结果更精准。
在一种可能的实现方式中，可以通过对待识别图像进行区域识别，获得不同类型区域对应的第一区域范围，再将第一区域范围内对应的局部特征数据作为上述至少部分全量特征数据输入神经网络模型中的多个解码器，获得对应解码器的目标识别结果。划分不同类型的区域范围，可以纠正解码器在目标识别时可能出现的识别结果区域错误的问题，进一步提高目标识别的准确性。
在一些实施例中，可以通过对医学影像中的人体进行身体区域划分的方式，先将身体划分成几个不同的区域，再使用解码器进行器官识别，以纠正解码器可能产生的器官识别结果区域错误的问题，例如将腹部器官识别为头部某一相像的器官，以进一步提高器官识别的准确性，因此，还可以对目标医学影像进行身体区域划分，获得不同身体区域对应的区域范围，记为第一区域范围，并从目标医学影像的全量特征数据中确定第一区域范围内对应的局部特征数据，然后将第一区域范围内对应的局部特征数据输入该神经网络模型的多个解码器，获得对应的器官分割结果。
例如本来用于识别脑部器官的解码器，由于腹部中的某器官与待识别的脑部器官特征较为相像，在没有对目标医学影像进行身体区域划分的时候，若目标医学影像中既含有该脑部器官，也含有该腹部器官，那么编码器将会把其提取的目标医学影像的全量特征数据全部输入该解码器中，进而使得该解码器可能会将该腹部器官识别为该脑部器官，导致识别结果的误判。因此，有必要对目标医学影像进行身体区域划分。在对目标医学影像进行身体区域划分后，可以获得不同身体区域对应的第一区域范围，例如胸部、腹部、咽部、腿部等不同身体区域，区域范围可以是在目标医学影像中的2D的区域范围，也可以是3D的区域范围，本申请对此并不做任何限定。
其中，对待识别图像进行区域识别，可以将位置距离较近的目标划分到同一个区域。例如在对目标医学影像进行身体区域划分时，可以将位置距离较近的器官划分到同一个身体区域，可以将身体区域范围大致划分为头颈部、胸部、腹部、臀腿部四个部分；也可以将属于同一个类型的器官划分到同一个身体区域范围，例如人体中的肩、臂、肘、腕、手部、臀部、股部、膝部、胫部、足部等，均属于四肢，虽然在人体中的位置不邻近，也可以将其划分到同一个身体区域范围。也即进行区域划分可以根据目标识别的需求而定，本申请对此并不做任何限定。
在对待识别图像进行区域识别，获得不同类型区域对应的第一区域范围后，可以将第一区域范围内对应的局部特征数据输入神经网络模型中的多个解码器，获得对应解码器的目标识别结果。其中，局部特征数据可以是指在第一区域范围内的所有目标的特征数据。例如，在对目标医学影像进行身体区域划分，获得不同身体区域对应的第一区域范围后，可以从目标医学影像的全量特征数据中确定第一区域范围内对应的局部特征数据，然后将相应的局部特征数据输入对应识别该第一区域范围内的身体区域的一个或多个解码器，并获得对应的器官分割结果。具体来说，可以使用神经网络模型中的身体区域划分模块，将目标医学影像中的人体区域大致划分成头颈、胸部、腹部、臀腿四个部分，分别获得头颈、胸部、腹部、臀腿四个部分在目标医学影像中的区域范围，这些范围统称为第一区域范围，然后确定分别属于这四个区域范围内的局部特征数据，将头颈的局部特征数据输入可以识别头颈的解码器中，该解码器可以是单独识别头颈的，也可以是可以同时识别头颈、胸部等多个部分的，最后获得每个解码器对于头颈器官的分割结果。
在一些实施例中，至少两个解码器对应相同目标的识别任务，通过结合不同解码器的目标识别结果，可以得到对应于待识别图像的目标识别结果集合，具体结合不同解码器的目标识别结果的方式，可以是先将不同解码器的目标识别结果中对应相同目标的识别结果进行级联，后根据级联后的目标识别结果以及对应不同目标的识别任务的识别结果进行融合，获得对应于待识别图像的目标识别结果集合。其中，可以先计算出待识别图像中的不同目标的置信度，再对相同目标的识别结果进行级联处理。
具体而言，在对医学影像进行识别的场景中，可以有至少两个解码器对应识别的身体区域具有重叠区域，可以将不同解码器的器官识别结果中对应重叠区域的部分器官识别结果进行级联，并根据级联后的器官识别结果以及对应非重叠区域的其他器官识别结果进行融合，获得对应于目标医学影像的器官识别结果集合。例如，可以先计算出目标医学影像中全身头颈部的器官的置信度，再对相同器官的识别结果进行级联处理。由此可以对重叠区域的器官识别结果做加强，进而得到更准确的结果。
例如，解码器A对应识别的身体区域为头部和颈部，解码器B对应识别的身体区域为颈部和胸部，在这种情况下，解码器A与解码器B都会对颈部器官进行识别，这里的颈部就是重叠区域。因此，可以将不同解码器的器官识别结果中对应重叠区域的部分器官的置信度做出计算，并对器官识别结果进行级联，根据级联后的器官识别结果以及对应非重叠区域的其他器官识别结果进行融合，获得目标医学影像的器官识别结果集合。也即，最终获得的目标医学影像的器官识别结果集合可以包括头部、颈部、胸部三个部分，且颈部的器官识别结果是经过级联后的结果，相当于对于颈部的器官识别结果做了加强处理，使得颈部的器官识别结果更加准确。
在步骤S203中，结合不同解码器的目标识别结果，得到对应于所述待识别图像的目标识别结果集合。由于本申请实施例中的神经网络模型采用了多个解码器的结构，每个解码器对应识别的目标种类不同。因此在各个解码器对待识别图像中的目标进行识别后，可以结合所有解码器的识别结果，这相当于综合了所有解码器对不同目标的精准识别结果，并进一步生成了对应于待识别图像的目标识别结果集合，这样可以使得不同的解码器的识别结果做叠加加强或补充、纠正，以获得效果加强后的目标识别结果，使得整个神经网络模型输出的目标识别结果更为全面、准确、无遗漏。例如，在对医学影像进行器官分割的神经网络模型中，每个解码器对应识别的身体区域的范围不同，因此在各个解码器对目标医学影像中的器官进行识别后，可以结合所有解码器的器官识别结果，相当于综合了所有解码器对不同器官的精准识别结果，并进一步生成对应于目标医学影像的器官识别结果集合，这样可以使得不同的解码器的识别结果做加强或补充、纠正，以获得效果加强后的器官识别结果，使得整个神经网络模型输出的器官识别结果更为全面、准确、无遗漏。
可选地，在结合不同解码器的识别结果之前，还可以在神经网络模型中预先配置一个异常检测模块，用于检测待识别图像中的异常目标。其中，待识别图像中的异常目标可以是待识别图像中的目标的异常位置，也可以是某一个异常目标，这种异常目标可能与正常的目标形状不同，本申请对此并不做任何限制。具体而言，在用以识别医学影像的神经网络模型中，可以配置一个异常检测模块，用于检测目标医学影像中的异常部位，例如肿瘤、人工支架、基础填充物、器官缺陷等，由于这类异常部位可能会导致原本健康的器官发生形变，若不进行异常检测，将无法预测器官的真正形状或位置等，进而导致器官识别结果的不准确。该异常检测模块可以是一个轻量级的解码器，用于识别待识别图像中的异常目标，待检测完成后，可以将异常检测模块识别出的异常部位与区域划分模块的划分结果组合，作为融合不同解码器的目标识别结果时的置信度之一，与其他解码器的目标识别结果融合，进而获得最终的目标识别结果集合，以进一步提高目标识别效果的准确性。
在一种可能的实现方式中，可以根据目标识别结果集合，生成待识别图像的目标识别示意图，该目标识别示意图可以表征为3D立体图像，在该目标识别示意图中可以至少有两个目标对应不同的显示效果。不同的显示效果可以是对不同的目标采用不同的颜色、线条等表示，这样可以更加直观的看到所有目标的识别结果，便于进一步的对识别结果进行加工或判断。具体而言，可以将医学影像识别中器官识别结果的集合表征为3D立体的器官识别示意图，在该示意图中标记有器官识别结果，同时，不同的显示效果可以是对不同身体部位的器官使用不同的颜色表示，例如对属于头颈部的器官显示为白色、胸部的器官显示为蓝色、腹部显示为紫色、臀腿显示为红色等；可以对不同的器官外形轮廓做加粗显示，并使用标注的形式标记出不同器官的位置、名称、大小、有无病变、病变类型、位置、严重程度等。这样的处理方式可以更加直观地查看到所有的器官分割结果，以便于进行进一步的医疗检测或者诊断识别操作。
进一步地，在一些实施例中，上述目标识别结果可以包括目标分割结果和/或状态分割结果，目标分割结果可以包括目标类型和目标所处区域范围，状态分割结果可以包括目标所处的状态类型、目标异常位置、目标异常程度和目标异常阶段中的至少一种。在对医学影像进行器官识别的场景中，该器官识别结果可以包括器官分割结果和/或病变识别结果，其中，器官分割结果可以包括器官类型和器官所处区域范围，病变识别结果可以包括器官病变类型、器官病变位置、病变严重程度和病变发展阶段中至少一种。例如图1中的“食管”、“胸骨”、“肝脏”、“胃部”、“大肠”、“小肠”、“股骨”都属于器官分割结果，图1中的“肿瘤”属于病变识别结果。
可选的，上述待识别图像中可以包含生物对象的至少一种器官。例如前述各个实施例中列举的人体器官，也可以是动物器官、植物的不同组成部分等，本申请对此并不做任何限定。
本申请实施例还提供了一种神经网络模型的处理方法，如图3所示为本申请一实施例中提供的一种神经网络模型的处理方法的流程图，该方法可以包括：
在步骤S301中，使用第一图像样本集合训练通用于多个目标的特征提取的编码器，所述第一图像样本集合包括全目标图像样本集合。使用全目标样本集合训练编码器，可以使编码器通用于图像中全部目标的特征提取，进而可以得到用来识别的目标范围较广的神经网络模型，并且可以满足被用作识别图像中不同区域范围的解码器对于特征数据的需求，在增加新的解码器时也无需对编码器进行重新训练，进而可以令神经网络模型具有可扩展性。其中，全目标图像样本集合可以是指，该集合中的图像样本含有待识别的所有目标，使用全目标图像样本集合对编码器进行训练，可以令编码器识别出所有待识别目标的所有特征。由此，在训练完成后，使用该神经网络模型时，可以对待识别图像无任何特殊要求，并且可以识别出待识别图像中所有待识别目标的全部特征。
本申请实施例中涉及到的第一图像样本集合，可以是状态正常的图像样本和状态异常的图像样本中至少一种。状态正常的图像样本可以指待识别图像中的目标没有发生异常改变的样本，状态异常的图像样本可以指图像样本中含有发生异常改变的目标的样本。
例如在对识别医学影像的申请网络模型中的编码器进行训练时，采用的第一医学影像样本集合，可以包括健康状态的医学影像样本和发生病变的医学影像样本中至少一种。其中，健康状态的医学影像样本可以指医学影像样本的受试者在该医学影像样本中所显示的器官无异常；发生病变的医学影像样本可以指该医学影像样本中的部分器官处于异常现象，例如包含疑似肿瘤、器官缺陷等现象的样本。
该第一医学影像样本集合可以是全身医学影像样本集合。其中，全身医学影像样本集合可以采用全身医学影像数据集，例如TotalSegmentator数据集(一个全身数据集)，该数据集中包括1204个不同身体部位的常规诊断CT扫描的医学影像样本，这些样本中共包括103个标记的全身器官(26个主要器官、59个骨骼实例、10个肌肉和8个血管)。在删除用于保护患者隐私的面部类别后，可以将该数据集中的医学影像样本按照4:1的比例分别作为训练集和验证集。
另外，本申请实施例涉及到的编码器是通用于全部区域的特征提取的编码器，可选的，在该编码器中可以包括多个编码单元，在进行训练后，每个编码单元可以对应提取待识别图像中部分区域范围内的特征数据，所有编码单元可以提取的特征数据总和，为全部区域的特征数据总和。
在一种训练方式中，可选地，用于训练编码器和解码器的主干网络可以采用3D全分辨率设置中默认的nnUNet主干框架(no-new-Net，一种包括编码器和解码器的神经网络主干框架)，由于多数图像例如医学影像有边界不清晰的特点，就需要高分辨率信息来精准分割；同时又由于部分图像例如医学影像内部结构固定有规律，只需要低分辨率的信息就能够识别物体。而nnUNet主干框架结合了低分辨率信息(提供物体识别依据)和高分辨率信息(提供精准分割定位依据)，很符合含有多个目标的待识别图像尤其是医学图像的特点。该框架中每个编码单元可以由以下连续操作组成：卷积、实例归一化、Leaky ReLU单元(随机纠正线性单元)以及最大池操作符。其中，可以使用TotalSegmentator数据集对编码器进行训练，一种示例中，训练周期为2000，每个周期1000次迭代，每个内部数据集(用作性能上限)的训练周期为1000，每个周期250次迭代。优化器采用多项式学习率策略进行随机梯度下降，初始学习率可以设置为0.01。Nesterov动量(内斯特罗夫动量，梯度下降优化算法的扩展)可以为0.99。可以采用nnUNet主干框架中默认的数据增强功能对特征数据进行加强，例如可以通过对特征数据进行水平翻转、x-y平面内±10度的随机旋转、比率为[0.75，1.25]的强度缩放、添加均值为零、方差为[0,0.1]的高斯噪声等处理来进行数据增强。如此一来，这种训练方式的总平均训练时间约为每1000个周期2.5个GPU天。经过这种方式训练后的编码器，可以获得更多更深层次的图像特征尤其是医学影像特征数据，可以识别的目标范围尤其是器官的范围较广，并且可以满足被用作识别不同目标或不同身体区域范围的解码器对于特征数据的需求，便于为多个解码器提供所需特征数据，在增加新的解码器时也无需对编码器进行重新训练，进而可以令神经网络模型具有可扩展性。因此，可以将经过训练后的编码器作为通用编码器，用于后续多个解码器的训练。其中，上述训练周期、迭代次数等参数，可以在训练时根据实际需要确定，本申请对此并不做任何限定。
此外，除了使用上述数据集对编码器进行训练外，还可以考虑为通用编码器补充辅助的区域划分任务。例如在对用以识别医学影像的通用编码器进行训练时，可以补充辅助的身体部位划分任务，可以使用自动身体部位回归算法将人体内的像素标记为四个主要类别，即通过线性回归的计算方式，从人体不同的层上得到身体部位，并将这些处于不同层的身体部位标记为属于头部和颈部、胸部、腹部、臀部和大腿中的某一类。通过设计此附加任务，该通用编码器可以明确识别待识别图像中每个像素的区域位置或目标医学影像中每个体素的解剖区域位置，这种方式有助于通用编码器学习更准确的像素或体素表示。
在步骤S302中，使用多个第二图像样本集合，训练用于进行目标识别的多个解码器，其中，至少一个第二图像样本集合包括部分目标图像样本集合，不同解码器对应识别的目标种类不同，不同解码器的目标识别结果组合为待识别图像的目标识别结果集合。这里的第二医学影像样本集合，可以包括第一医学影像样本集合。其中，部分目标图像样本集合可以是只含有待识别图像中的部分目标的图像样本，这些样本中也可以包括状态正常的图像样本和状态异常的图像样本。使用多个第二图像样本集合，训练用于进行目标识别的多个解码器，可以使得不同的解码器在各自对应识别的目标种类上进行更加深入的学习，提高对应目标识别的准确率。进而，可以将不同解码器的目标识别结果组合为待识别图像的目标识别结果集合，得到全面、准确、无遗漏的目标识别结果。
例如，在训练用以识别医学影像样本的多个解码器时，可以使用多个第二医学影像样本集合，训练用于进行器官分割的多个解码器，其中，至少一个第二医学样本影像样本集合包括局部医学影像样本集合，不同解码器对应识别的身体区域的范围不同，不同解码器的器官识别结果组合为医学影像的器官识别结果集合。由于现在被完全标记的医学影像样本集合非常少见，在一个样本集合中一般只标注一部分器官，有时还会出现标注不准确的情况，这就可能带来不同样本集合中标签冲突的问题，即样本集合A中的标记器官，可能在样本集合B中未被标记，进而成为样本集合B中的背景，而若将这两个集合中的样本合并后训练解码器，可能使得训练后的解码器无法准确识别标记器官，因此可以使用多个样本集合分别对多个解码器进行训练。使用多个第二医学影像样本集合，训练用于进行器官分割的多个解码器，可以使得不同的解码器在各自对应识别的身体区域范围内进行更加深入的学习，提高对应身体区域范围内器官识别的准确率。进而，可以将不同解码器的器官识别结果组合为医学影像的器官识别结果集合，得到全面、准确、无遗漏的器官识别结果。
在一种可能的实现方式中，在使用多个第二图像样本集合，训练用于进行目标识别的多个解码器之前，例如使用多个第二医学影像样本集合训练用于进行器官分割的多个解码器之前，上述方案可能还包括：将编码器对应的至少部分编码器参数进行冻结。由于对多个解码器依次训练的过程中，需要使用不同的图像样本集合对多个解码器进行训练，若每次训练过程中均同时使用这些数据集对编码器、解码器一同进行训练，可能导致编码器在后面的训练中的编码参数被修改，进而使得编码器再次用于提取在先训练的样本集合中的特征数据时，提取的特征数据发生改变导致结果不准确，因此，可以在对解码器进行模型训练前，除了使用第一图像样本集合训练解码器时可以更新编码器参数之外，对其他解码器进行训练的过程中，不会对编码器的参数进行权重参数的更新。例如，在训练用于识别医学影像的神经网络模型时，模型训练的过程中，除使用第一医学影像样本集合训练的解码器以外，在对其他解码器的进行训练的过程中，编码器的参数不会进行权重参数更新。
这种实现方式可以应用在使用多个数据集对神经网络模型进行持续训练的情况下，例如，在使用旧数据集A对通用编码器和解码器训练完成后，若使用新数据集B对通用编码器和解码器再进行训练，很可能在训练完成后导致整个神经网络模型忘记学习旧数据集A时获得的知识，这是由于神经网络本身的特性产生的，但由此产生的问题就是同时对编码器和解码器进行训练会使得整个网络模型无法进行持续性的学习。因此，在使用多个第二图像样本集合训练用于进行目标识别的多个解码器之前，可以将编码器对应的至少部分编码器参数冻结，以得到一个可以持续学习的模型。
本申请实施例中涉及到的第二图像样本集合，可以包括状态正常的图像样本和状态异常的图像样本中至少一种。例如在对医学影像进行器官分割的场景中，使用的第二医学影像样本集合，可以包括健康状态的医学影像样本和发生病变的医学影像样本中至少一种。健康状态的医学影像样本可以指医学影像样本的受试者在该医学影像样本中所显示的器官无异常；发生病变的医学影像样本可以指该医学影像样本中的部分器官处于异常现象，例如包含疑似肿瘤、器官缺陷等现象的样本。
其中，至少一个第二图像样本集合包括部分目标图像样本集合，用以训练至少一个对应识别的部分区域的解码器。第二图像样本集合可以包括一个或多个图像样本集合，这些图像样本集合中也可以包括能够识别全部目标的全部目标图像样本集合。这些不同集合内的图像样本包含的目标或区域可以存在重叠的现象。
例如，在识别医学影像的应用场景中，第二图像样本集合可以表述为第二医学影像样本集合，这一样本集合可以包括：头颈器官数据集(记作HNOrgan)、胸部器官数据集(记作ChestOrgan)和专用食管癌数据集(记作EsoOrgan)。其中，头颈器官数据集可以包括447张头颈CT扫描，每一张CT扫描上都有13个头颈器官，标记为：脑干、眼睛(左和右)、晶状体(左和右)、视神经(左和右)、视交叉、腮腺(左和右)、脊髓、颞下颌关节(左和右)。胸部数据集可以包含292个胸部CT扫描图，其中大部分属于早期食管癌或肺癌的CT扫描图，在像素级别标记了31个详细的胸部解剖结构，包括主要器官、肌肉、动脉和静脉，其中4个与前述TotalSegmentator数据集中的器官(食管、气管、上腔静脉、肺动脉)重叠，具体器官包括：食管、胸骨、甲状腺左、甲状腺右、气管、支气管左、支气管右、颈前肌、斜角肌、胸锁乳突肌、升主动脉、降主动脉、弓主动脉、颈总动脉左、颈总动脉右、肺动脉、锁骨下动脉左、锁骨下动脉右、椎动脉左、椎动脉右、奇静脉、头臂静脉左、头臂静脉右、颈内静脉左、右颈内静脉，肺静脉，左锁骨下静脉，右锁骨下静脉，下腔静脉，上腔静脉。专用食管癌数据集可以包含640个晚期食管癌的CT扫描图，其中只有食管被标记。通过结合所有数据集，可以获得103+27+13＝143个器官类别。在这四个数据集中，可以从每个数据集中随机选择20％作为测试集，而其余的用作训练和验证。
在一些实施例中，使用多个第二图像样本集合，训练用于进行目标识别的多个解码器，可以针对各个解码器，获取上述编码器对相应的第二图像样本集合提取的全量特征数据，再使用至少部分全量特征数据以及第二图像样本集合标记的目标识别结果，训练解码器。例如在训练用于识别医学影像样本的神经网络模型时，使用多个第二医学影像样本集合训练用于进行器官分割的多个解码器，可以先针对各个解码器，使用上述编码器对相应的第二医学影像样本集合进行全量特征数据的提取；再使用至少部分全量特征数据以及第二医学影像样本集合标记的器官识别结果，训练解码器。其中，全量特征数据可以是在编码器训练过程中生成的，也可以是在解码器训练时临时调用编码器生成的。具体而言，一种可选的方式中，可以对编码器和解码器同时进行训练(例如在使用全目标图像样本集合训练神经网络模型时可以采用这种方案)，解码器训练时可以直接使用编码器输出的全量特征数据；另一种可选的方式中，可以先后对编码器和解码器进行训练，在解码器训练中使用到全量特征数据时，可以临时调用编码器在先生成的全量特征数据。其中，可以分别使用不同的数据集对不同的解码器进行训练，可以使用前述的第一图像样本集合，例如使用TotalSegmentator数据集训练第一解码器，同时可以使用其他的第二图像样本集合，例如使用头颈器官数据集训练第二解码器、使用胸部器官数据集训练第三解码器、使用专用食管癌数据集训练第四解码器。以训练第一解码器为例，在训练的过程中，可以首先由编码器从TotalSegmentator数据集中逐个提取该数据集中医学影像样本的全量特征数据，然后使用编码器向第一解码器输入的特征数据与TotalSegmentator数据集中该医学影像样本中标记的器官识别结果，训练解码器的器官识别能力，即编码器输出的特征数据是解码器的输入，解码器利用这些输入的特征数据进行计算，进而识别医学影像样本中标记的器官，并在训练中使用该医学影像样本中标记的器官识别结果，验证解码器识别结果的准确性，并不断调试解码器的网络参数以达到较优的识别效果。
可选的，在进行下一个解码器的训练任务时，该解码器可以使用其他已训练的解码器的模型，但只能访问训练自身的数据集，无法访问训练其他解码器时使用的数据集，由此可以很好的保护数据集中患者的隐私。另外，本申请实施例对于不同数据集的训练顺序没有特殊的要求，也即，采用不同的训练顺序对本申请中解码器最终的识别结果不会产生较大影响。这有助于在实践中部署神经网络模型。
一种可能的实现方式是，使用多个第二图像样本集合，训练用于进行目标识别的多个解码器的方式，还可以使用上述编码器对第二图像样本集合中的图像样本进行区域识别，获得不同类型区域对应的第二区域范围，然后使用至少部分全量特征数据以及第二图像样本集合标记的目标识别结果训练解码器，可以根据第二区域范围内对应的特征数据，以及第二图像样本集合标记的目标识别结果训练解码器。这样可以根据区域识别的结果，防止训练时可能出现的目标识别区域错误的情况，以提高训练的效率及目标识别结果的准确性。
例如在训练用于识别医学影像样本的神经网络模型时，使用多个第二医学影像样本集合，训练用于进行器官分割的多个解码器，可以使用上述编码器对第二医学影像样本集合中的医学影像样本进行身体区域划分，获得不同身体区域对应的第二区域范围，然后使用至少部分全量特征数据以及第二医学影像样本集合标记的器官识别结果，训练解码器，可以从第二医学影像样本集合中的医学影像样本的全量特征数据中，确定第二区域范围内对应的局部特征数据；将第二区域范围内对应的局部特征数据，以及第二医学影像样本集合标记的器官识别结果，训练解码器。
其中，可以先对身体区域进行划分，根据划分结果与所需训练的解码器类型，有针对性的将局部特征数据发送给解码器，以防止训练时可能出现的器官假阳性，提高训练的效率及器官识别结果的准确性。例如可以将身体区域划分为头部和颈部、胸部、腹部、臀部和腿部四个部分，如果解码器A是专门用于训练识别颈部器官的解码器，那么可以将编码器提取的属于头部和颈部这一身体区域的局部特征数据提供给解码器A，同时根据训练解码器A使用的医学影像样本集合标记的器官识别结果，训练解码器。这里的头部和颈部、胸部、腹部、臀部和腿部对应的区域范围，可以记为第二区域范围，第二区域范围可以有一个也可以有多个；训练解码器A使用的医学影像样本集合，可以记为第二医学影像样本集合，即第二医学影像样本集合是用以训练解码器的样本集合，可以有一个也可以有多个。
在一些实施方式中，使用多个第二图像样本集合，训练用于进行目标识别(例如器官分割)的多个解码器之后，上述方案还可以通过确定解码器对应的多种网络架构来对解码器的网络结构进行优化以减少网络参数，避免神经网络模型复杂性的升级。该网络架构可以包括多个解码块，每个解码块可以包括多个卷积层，在同一个卷积块中的卷积层可以配置为包括同类型的卷积核。例如对于上述解码器的多个解码块可以通过自动网络搜索(NAS)的方法来进行确定，自动网络搜索空间可以包括投影卷积块(卷积核为1x1x1)，2D卷积块(卷积核为3x3x1)，伪3D卷积块(连接的3x3x1和1x1x3卷积)，以及3D卷积块(卷积核为3x3x3)。进而，可以将对应最低维度卷积核的网络架构确定为对应解码器选用的目标网络架构。
随着神经网络模型的扩展，解码器的数量将会越来越多，模型复杂度可能会升级，但是如果无限增加解码器，任由模型的复杂度升级，将会导致模型中的参数爆炸。因此，为了使神经网络模型具有可扩展性，在对每个解码器进行训练之后，可以对解码器进行优化和/或剪枝，目标是在连续学习后保持与单个模型(编码器+解码器)相当的整体模型复杂度，并尽量不降低模型的性能。
相应的，对解码器进行优化，可以采用神经网络的结构搜索(NAS)方法，对解码器进行优化。原因是在构建神经网络模型的过程中需要确定一些超参数，比如卷积核的大小、数量、移动的步长等等。这些超参数对神经网络模型的训练和最终的性能都有很大的影响，而进行神经网络结构搜索的目的就是选择合适的超参数来更好的完成学习任务。
具体而言，使用神经网络的结构搜索方法对本申请实施例中的解码器进行优化的时候，可以使用连续操作的合成函数来进行搜索，即批量归一化、校正线性单元和具有x×y×z维卷积核的卷积层的合成函数。但在实际的搜索过程中，上述合成参数中批量归一化和校正线性单元一般不会改变，而由于不同的卷积层可能需要各种2D/3D内核类型来分割3D器官，故具有x×y×z维卷积核的卷积层有较大可能会发生变化。因此，举个例子，可以将用于训练解码器的每个数据集分成60％用于网络训练，30％用于NAS训练，10％用于验证和消融评估。为了训练用于选择每个解码块的架构的可学习权重，可以先将卷积核选择权重固定为1/Ct，其中Ct表示第t个任务的类的数量。可以在40％的训练总周期内使用这个固定权重进行训练，然后可以交替更新其余时期的卷积核选择权重和解码器参数。对于所有任务，初始学习率可以设置为0.01。学习率可以按照多项式学习率策略衰减。NAS训练完成后，遵循数据增强方案，并使用重新划分的数据集以4:1的“训练-验证”比例从头开始重新训练搜索到的解码路径。为了简化搜索过程，可以只使用一种卷积核来构建每个解码块。在搜索结束时，通过选择对应于最大权重值的连续操作的合成函数来确定每个解码块的架构，最终将对应最低维度卷积核的网络架构确定为该解码器选用的目标网络架构。通过这种方式，除了优化解码器的性能外，还可能会减少网络参数的数量，对模型进行一定程度上的压缩。上述方案中涉及到的百分比、初始学习率等参数，在实际训练时可以根据训练的实际需要进行调整，本申请对此并不做任何限制。
在另一些实施方式中，在使用多个图像样本集合训练用于进行目标识别的多个解码器之后，上述方案还可以通过知识蒸馏的方式对解码器进行剪枝，以避免神经网络模型复杂性的升级。具体可以是在确定性能下降1％的条件下，对解码器的网络进行压缩，这种对解码器网络压缩的方式可以通过逐块的网络蒸馏的方法得到。可以先对解码器的网络架构中的卷积块进行冻结并用作教师块，将投影卷积块作为学生块，再通过逐块的网络蒸馏的方式对学生块的参数进行优化训练，最后确定使用优化后的学生块替换教师块，判断是否替换的方式，可以进行逐块判断，这里的教师块可以比学生块对应更多的参数个数。这种可能的实施方式的目的也是为了应对模型复杂度升级可能带来的参数爆炸问题。
相应的，可以考虑采用知识蒸馏的方法进行模型剪枝。可以基于卷积块的师生知识蒸馏(KD，Knowledge Distillation)方法来对解码器进行剪枝，即通过用投影核替换搜索的卷积核进而压缩解码器。首先可以使用NAS搜索，将解码器训练到较佳性能，虽然使用NAS搜索训练后的解码器有了一定程度上的压缩，且已达到了较佳性能，但是若希望在容忍一部分性能下降的前提下对解码器进一步压缩，则需要将NAS搜索出的网络结构中部分不属于1×1×1的卷积核进一步压缩至1×1×1。具体步骤可以是：可以对上述解码器的网络架构中的卷积核进行冻结并用作教师块，将教师块替换为对应的卷积核大小为一的卷积核，这里卷积核大小为一的卷积核即为该教师块投影核；确定与替换后的教师块所匹配的学生块，并使用学生块替换教师块，其中教师块比学生块对应更多的参数个数。其中，可以采用均方误差损失来匹配教师块和学生块的特征图(学生块之间没有路径连接，因此没有梯度反向传播)。
为了降低剪枝难度，首先可以提取更深的解码块(具有较低分辨率)，一旦较深区块的KD训练饱和，可以冻结较深的学生区块，并转移到较浅的区块。在执行这种块级的KD时，较浅的卷积块需要选择是接收来自较深的教师块的输出特征映射还是来自学生块的输出特征映射。在此设置下，如果之前的师生块的特征图差异较大，会影响下一个较浅块的后续特征响应，导致分割退化。为了克服这个问题，可以采用如下方法：一旦学生块的蒸馏完成，可以使用更小的学习率，并使用较深的学生块的输出特征映射微调较浅的教师块，同时可以监测前后的性能下降。如果Dice(Dice Similariy Coefficient，Dice相似系数，图像分割评价指标)分数的下降低于1％，保留较深的学生块，否则恢复教师块。为了加快训练过程，在训练过程中还可以使用分段侧监督。
在经过上述步骤后，可以将上述不同解码器的目标识别结果组合为待识别图像的目标识别结果集合。具体的组合方式可以有：
在一些实施例中，为了生成较为全面和精准的目标识别结果，需要合并来自所有解码器的预测。这一步可以有两个辅助模块。首先，由于每个数据集/解码器训练任务对应识别的区域的范围通常不同，因此部分解码器由于仅能识别到部分区域，其预测可能会在该解码器可识别的区域外识别到类似的“目标”，例如在对医学影像进行器官识别的场景中，某解码器识别的目标器官在脑部，但因为腹部某器官与目标器官相像，该解码器将位于腹部的器官识别成了目标器官，造成这种现象的原因是该解码器并未识别过不属于其可识别的身体区域外的器官。为了减少这种原因导致的识别结果错误的概率，对于每个特定的解码器，可以使用此数据集/解码器训练任务中的所有数据来预测待识别图像中的区域覆盖率，将不属于该特定解码器可识别的区域范围外的像素或体素赋值较低的权重或零权重，具体而言，可以使用回归算法生成待识别图像区域图(例如身体区域图)，然后将所有标记的目标的边界框重叠到待识别图像区域图中，计算标记目标的边界框与待识别图像区域图之间的体积重叠比率，计算单张图像样本中的目标分布图(例如单张医学影像样本中的身体器官分布图，在这一过程中可以使用高斯滤波、加权映射、熵函数方程等计算方法)，再对该数据集中的所有样本重复该计算，最终得到每一个数据集/解码器任务中的样本平均区域分布图。
其次，部分解码器由于训练时未加入负样本(例如具有病变器官的医学影像样本)，可能无法检测到目标中的异常部分或异常目标(例如器官中的异常部分肿瘤等)，导致目标识别不准确。因此，可以调用神经网络模型中的异常检测模块，该异常检测模块可以是一个轻量级的解码器，用于识别待识别图像中的异常目标，例如医学影像中的肿瘤、人工支架、基础填充物、器官缺陷等。对该异常检测模块进行训练的方式可以参照上述针对解码器的训练方式，使用的图像样本集合可以是区别于第一图像样本集合与第二图像样本集合的其他图像样本集合。例如，在对医学影像进行器官分割的神经网络模型中的异常检测模块进行训练时，使用的数据集可以是与前述所有的数据集均不相同的其他数据集，该数据集中可以包括其他304个食管癌和625个肺癌的CT扫描图，其中在像素级别注释了CT扫描图中的3D肿瘤掩模。使用这些带注释的肿瘤掩模预先计算平均肿瘤大小，并将其用作零均值高斯滤波器的标准差，以进一步平滑肿瘤预测，利用肿瘤预测生成异常加权图。
由此，可以在对上述不同解码器的器官识别结果组合为医学影像的器官识别结果集合的过程中，考虑平均身体区域分布图与异常加权图(可以将它们作为融合不同解码器的器官识别结果时的置信度之一)，来执行体素选择。同时，可以使用熵函数帮助选择较佳的器官识别结果预测，例如当熵函数输入接近0或1时较佳，当熵函数在输入接近0.5时可能属于最不确定的预测。
在步骤S303中，基于所述编码器和至少一个解码器构建所述神经网络模型。
在本申请实施例中，神经网络模型中的编码器可以是被训练为通用于多个目标的特征提取例如全身区域的特征提取的通用编码器，在编码器中可以包括多个编码单元，不同的编码单元可能被训练为提取某一部分目标或全身区域中的某一部分特征数据，全部的编码单元可提取的特征数据总和组成全部或全身区域的特征数据。
本申请实施例还可以包括至少一个解码器，其中，不同解码器对应识别的目标种类或身体区域的范围不同，不同解码器的目标识别结果例如器官识别结果组合为待识别图像的目标识别结果集合，例如医学影像的器官识别结果集合。在对多个解码器进行训练后，可以对其优化和剪枝，进而使得整个神经网络模型与一个仅由一个编码器和一个解码器组成的单一神经网络模型的复杂度相当。
本申请实施例还提供了一种神经网络模型的处理方法，如图4所示为本申请一实施例中提供的一种神经网络模型的处理方法的流程图，该方法可以包括：
在步骤S401中，获取新增图像样本集合，并使用所述新增图像样本集合训练新增解码器，所述新增解码器用于对所述新增图像样本集合对应的区域进行目标识别。
在步骤S402中，将所述新增解码器添加至原始神经网络模型，获得目标神经网络模型，其中，所述原始神经网络模型包括多个原始解码器，不同原始解码器对应识别的目标种类不同，不同原始解码器的目标识别结果组合为目标识别结果集合。
其中，新增图像样本集合可以是对应待识别图像中某一区域范围的图像样本集合，例如新增的图像样本集合可以是对应身体局部区域的医学影像样本集合，也可以是全部身体区域的医学影像样本集合；目标解码器对应识别的图像中的区域范围，例如对应识别的身体区域的范围，与原始解码器对应识别的身体区域范围可以有重叠的部分，也可以没有，本申请对此并不做任何限制。
若目标解码器对应识别的身体区域的范围与某一个原始解码器对应识别的身体区域范围完全相同，那么既可以通过使用新增医学影像样本集合训练目标解码器，再通过将目标解码器添加至原始神经网络模型的方式更新原始神经网络模型，也可以通过使用新增医学影像样本集合训练原始神经网络模型中与该数据集对应的身体区域的范围相同的原始解码器的方式更新原始神经网络模型，可以将新增数据集与该原始解码器训练时的旧数据集合并后，对该原始解码器进行训练。
本申请实施例还提供了一种医学影像的器官识别方法，如图5所示为本申请一实施例中提供的一种医学影像的器官识别方法的流程图，该方法可以包括：
在步骤S501中，调用神经网络模型中的编码器，提取医学影像的全量特征数据，所述编码器训练为通用于全身区域的特征提取。
在步骤S502中，将至少部分全量特征数据输入所述神经网络模型中的多个解码器，获得对应解码器的器官识别结果，不同解码器对应识别的器官种类不同。
其中，解码器的数量可以根据训练样本的数量进一步添加，以及时更新神经网络模型。
在步骤S503中，结合不同解码器的器官识别结果，生成对应于所述医学影像的器官识别结果集合。
使用多个对应识别的身体区域的范围不同的解码器，对医学影像中的器官进行识别，进而结合不同解码器的识别结果生成对应的结果集合，有助于提高器官分割的准确性。
与本申请实施例提供的方法的应用场景以及方法相对应地，本申请实施例还提供一种基于图像的目标识别装置。如图6所示为本申请一实施例中提供的一种基于图像的目标识别装置的结构框图，该装置可以包括：
特征提取模块601，用于调用神经网络模型中的编码器，提取待识别图像的全量特征数据，所述编码器训练为通用于多个目标的特征提取；
目标识别模块602，用于将至少部分全量特征数据输入所述神经网络模型中的多个解码器，获得对应解码器的目标识别结果，不同解码器对应识别的目标种类不同；
结果获得模块603，用于结合不同解码器的目标识别结果，得到对应于所述待识别图像的目标识别结果集合。
在一种可能的实现方式中，该装置还可以包括：
区域划分模块，用于对所述待识别图像进行区域识别，获得不同类型区域对应的第一区域范围。
可选的，上述目标识别模块602可以包括：
特征输入子模块，用于将所述第一区域范围内对应的局部特征数据输入所述神经网络模型中的多个解码器，获得对应解码器的目标识别结果。
在一种可能的实现方式中，该装置中至少两个解码器对应相同目标的识别任务；上述结果获得模块603可以包括：
结果级联子模块，用于将所述不同解码器的目标识别结果中对应相同目标的识别结果进行级联；
结果融合子模块，用于根据级联后的目标识别结果以及对应不同目标的识别任务的识别结果进行融合，获得对应于所述待识别图像的目标识别结果集合。
在一种可能的实现方式中，该装置还可以包括：
效果显示模块，用于根据所述目标识别结果集合生成所述待识别图像的目标识别示意图，所述目标识别示意图为3D立体图像，所述目标识别示意图中至少两个目标对应不同的显示效果。
在一种可能的实现方式中，所述目标识别结果包括目标分割结果和/或状态分割结果，所述目标分割结果包括目标类型和目标所处区域范围，所述状态分割结果包括目标所处的状态类型、目标异常位置、目标异常程度和目标异常阶段中至少一种，所述待识别图像中包含生物对象的至少一种器官。
与本申请实施例提供的方法的应用场景以及方法相对应地，本申请实施例还提供一种神经网络模型的处理装置。如图7所示为本申请一实施例中提供的一种神经网络模型的处理装置的结构框图，该装置可以包括：
编码器训练模块701，用于使用第一图像样本集合训练通用于多个目标的特征提取的编码器，所述第一图像样本集合包括全目标图像样本集合；
解码器训练模块702，用于使用多个第二图像样本集合，训练用于进行目标识别的多个解码器，其中，至少一个第二图像样本集合包括部分目标图像样本集合，不同解码器对应识别的目标种类不同，不同解码器的目标识别结果组合为待识别图像的目标识别结果集合；
网络模型构建模块703，用于基于所述编码器和至少一个解码器构建所述神经网络模型。
在一种可能的实现方式中，在所述使用多个第二图像样本集合，训练用于进行目标识别的多个解码器之前，该装置还可以包括：
编码参数冻结模块，用于将所述编码器对应的至少部分编码器参数进行冻结。
在一种可能的实现方式中，所述第一图像样本集合和/或所述第二图像样本集合包括：状态正常的图像样本和状态异常的图像样本中至少一种。
在一种可能的实现方式中，上述解码器训练模块702可以包括：
全量特征提取子模块，用于针对各个解码器，获取所述编码器对相应的第二图像样本集合提取的全量特征数据；
解码器精细训练子模块，用于使用至少部分全量特征数据以及所述第二图像样本集合标记的目标识别结果，训练所述解码器。
在一种可能的实现方式中，上述解码器训练模块702还可以包括：
区域识别子模块，用于使用所述编码器对所述第二图像样本集合中的图像样本进行区域识别，获得不同类型区域对应的第二区域范围。
在一种可能的实现方式中，上述解码器精细训练子模块可以包括：
解码器训练单元，用于根据所述第二区域范围内对应的特征数据，以及所述第二图像样本集合标记的目标识别结果，训练所述解码器。
在一种可能的实现方式中，在所述使用多个第二医学影像样本集合，训练用于进行器官分割的多个解码器之后，该装置还可以包括：
网络架构确定模块，用于确定所述解码器对应的多种网络架构，所述网络架构包括多个解码块，所述解码块包括多个卷积层，在同一个卷积块中的卷积层配置为包括同类型的卷积核；
网络架构选择模块，用于将对应最低维度卷积核的网络架构确定为所述解码器选用的目标网络架构。
在一种可能的实现方式中，在所述使用多个图像样本集合，训练用于进行目标识别的多个解码器之后，该装置还可以包括：
卷积核冻结模块，用于对解码器的网络架构中的卷积块进行冻结并用作教师块，将投影卷积块作为学生块；
卷积核优化模块，用于通过网络蒸馏的方式对学生块的参数进行优化训练；
学生块替换模块，用于确定使用优化后的学生块替换教师块，所述教师块比所述学生块对应更多的参数个数。
与本申请实施例提供的方法的应用场景以及方法相对应地，本申请实施例还提供一种神经网络模型的处理装置。如图8所示为本申请一实施例中提供的一种神经网络模型的处理装置的结构框图，该装置可以包括：
集合获取模块801，用于获取新增图像样本集合，并使用所述新增图像样本集合训练新增解码器，所述新增解码器用于对所述新增图像样本集合对应的区域进行目标识别；
解码器添加模块802，用于将所述新增解码器添加至原始神经网络模型，获得目标神经网络模型，其中，所述原始神经网络模型包括多个原始解码器，不同原始解码器对应识别的目标种类不同，不同原始解码器的目标识别结果组合为目标识别结果集合。
与本申请实施例提供的方法的应用场景以及方法相对应地，本申请实施例还提供一种医学影像的器官识别装置。如图9所示为本申请一实施例中提供的一种医学影像的器官识别装置的结构框图，该装置可以包括：
特征提取模块901，用于调用神经网络模型中的编码器，提取医学影像的全量特征数据，所述编码器训练为通用于全身区域的特征提取；
器官识别模块902，用于将至少部分全量特征数据输入所述神经网络模型中的多个解码器，获得对应解码器的器官识别结果，不同解码器对应识别的器官种类不同；
结果获得模块903，用于结合不同解码器的器官识别结果，生成对应于所述医学影像的器官识别结果集合。
本申请实施例各装置中的各模块的功能可以参见上述方法中的对应描述，并具备相应的有益效果，在此不再赘述。
图10为用来实现本申请实施例的电子设备的框图。如图10所示，该电子设备包括：存储器1001和处理器1002，存储器1001内存储有可在处理器1002上运行的计算机程序。处理器1002执行该计算机程序时实现上述实施例中的方法。存储器1001和处理器1002的数量可以为一个或多个。
该电子设备还包括：
通信接口1003，用于与外界设备进行通信，进行数据交互传输。
如果存储器1001、处理器1002和通信接口1003独立实现，则存储器1001、处理器1002和通信接口1003可以通过总线相互连接并完成相互间的通信。该总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(PeripheralComponent Interconnect，PCI)总线或扩展工业标准体系结构(Extended IndustryStandard Architecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器1001、处理器1002及通信接口1003集成在一块芯片上，则存储器1001、处理器1002及通信接口1003可以通过内部接口完成相互间的通信。
本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现本申请实施例中提供的方法。
本申请实施例还提供了一种计算机程序产品，其包括计算机指令，其中，该计算机指令被处理器执行时实现本申请实施例中提供的方法。
本申请实施例还提供了一种芯片，该芯片包括处理器，用于从存储器中调用并运行存储器中存储的指令，使得安装有芯片的通信设备执行本申请实施例提供的方法。
本申请实施例还提供了一种芯片，包括：输入接口、输出接口、处理器和存储器，输入接口、输出接口、处理器以及存储器之间通过内部连接通路相连，处理器用于执行存储器中的代码，当代码被执行时，处理器用于执行申请实施例提供的方法。
应理解的是，上述处理器可以是中央处理器(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是，处理器可以是支持进阶精简指令集机器(Advanced RISC Machines，ARM)架构的处理器。
进一步地，可选的，上述存储器可以包括只读存储器和随机访问存储器。该存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以包括只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以包括随机访问存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM均可用。例如，静态随机访问存储器(Static RAM，SRAM)、动态随机访问存储器(Dynamic Random Access Memory，DRAM)、同步动态随机访问存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机访问存储器(Double Data RateSDRAM，DDR SDRAM)、增强型同步动态随机访问存储器(Enhanced SDRAM，ESDRAM)、同步链接动态随机访问存储器(Sync link DRAM，SLDRAM)和直接内存总线随机访问存储器(DirectRambus RAM，DR RAM)。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生依照本申请的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
流程图中描述的或在此以其他方式描述的任何过程或方法可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能。
在流程图中描述的或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。
应理解的是，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。上述实施例方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。上述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器，磁盘或光盘等。
以上所述，仅为本申请的示例性实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请记载的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (20)
1.一种基于图像的目标识别方法，包括：
调用神经网络模型中的编码器，提取待识别图像的全量特征数据，所述编码器训练为通用于多个目标的特征提取；
将至少部分全量特征数据输入所述神经网络模型中的多个解码器，获得对应解码器的目标识别结果，不同解码器对应识别的目标种类不同；
结合不同解码器的目标识别结果，得到对应于所述待识别图像的目标识别结果集合。
2.根据权利要求1所述的方法，其中，所述方法还包括：
对所述待识别图像进行区域识别，获得不同类型区域对应的第一区域范围；
所述将至少部分全量特征数据输入所述神经网络模型中的多个解码器，获得对应解码器的目标识别结果包括：
将所述第一区域范围内对应的局部特征数据输入所述神经网络模型中的多个解码器，获得对应解码器的目标识别结果。
3.根据权利要求1所述的方法，其中，至少两个解码器对应相同目标的识别任务；
所述结合不同解码器的目标识别结果，得到对应于所述待识别图像的目标识别结果集合包括：
将所述不同解码器的目标识别结果中对应相同目标的识别结果进行级联；
根据级联后的目标识别结果以及对应不同目标的识别任务的识别结果进行融合，获得对应于所述待识别图像的目标识别结果集合。
4.根据权利要求1所述的方法，其中，所述方法还包括：
根据所述目标识别结果集合生成所述待识别图像的目标识别示意图，所述目标识别示意图为3D立体图像，所述目标识别示意图中至少两个目标对应不同的显示效果。
5.根据权利要求1所述的方法，其中，所述目标识别结果包括目标分割结果和/或状态分割结果，所述目标分割结果包括目标类型和目标所处区域范围，所述状态分割结果包括目标所处的状态类型、目标异常位置、目标异常程度和目标异常阶段中至少一种，所述待识别图像中包含生物对象的至少一种器官。
6.一种神经网络模型的处理方法，包括：
使用第一图像样本集合训练通用于多个目标的特征提取的编码器，所述第一图像样本集合包括全目标图像样本集合；
使用多个第二图像样本集合，训练用于进行目标识别的多个解码器，其中，至少一个第二图像样本集合包括部分目标图像样本集合，不同解码器对应识别的目标种类不同，不同解码器的目标识别结果组合为待识别图像的目标识别结果集合；
基于所述编码器和至少一个解码器构建所述神经网络模型。
7.根据权利要求6所述的方法，其中，在所述使用多个第二图像样本集合，训练用于进行目标识别的多个解码器之前，所述方法还包括：
将所述编码器对应的至少部分编码器参数进行冻结。
8.根据权利要求6所述的方法，其中，所述第一图像样本集合和/或所述第二图像样本集合包括：状态正常的图像样本和状态异常的图像样本中至少一种。
9.根据权利要求6所述的方法，其中，所述使用多个第二图像样本集合，训练用于进行目标识别的多个解码器包括：
针对各个解码器，获取所述编码器对相应的第二图像样本集合提取的全量特征数据；
使用至少部分全量特征数据以及所述第二图像样本集合标记的目标识别结果，训练所述解码器。
10.根据权利要求9所述的方法，其中，还包括：
使用所述编码器对所述第二图像样本集合中的图像样本进行区域识别，获得不同类型区域对应的第二区域范围；
所述使用至少部分全量特征数据以及所述第二图像样本集合标记的目标识别结果，训练所述解码器包括：
根据所述第二区域范围内对应的特征数据，以及所述第二图像样本集合标记的目标识别结果，训练所述解码器。
11.根据权利要求6所述的方法，其中，在所述使用多个第二图像样本集合，训练用于进行目标识别的多个解码器之后，所述方法还包括：
确定所述解码器对应的多种网络架构，所述网络架构包括多个解码块，所述解码块包括多个卷积层，在同一个卷积块中的卷积层配置为包括同类型的卷积核；
将对应最低维度卷积核的网络架构确定为所述解码器选用的目标网络架构。
12.根据权利要求6所述的方法，其中，在所述使用多个图像样本集合，训练用于进行目标识别的多个解码器之后，所述方法还包括：
对解码器的网络架构中的卷积块进行冻结并用作教师块，将投影卷积块作为学生块；
通过网络蒸馏的方式对学生块的参数进行优化训练；
确定使用优化后的学生块替换教师块，所述教师块比所述学生块对应更多的参数个数。
13.一种神经网络模型的处理方法，包括：
获取新增图像样本集合，并使用所述新增图像样本集合训练新增解码器，所述新增解码器用于对所述新增图像样本集合对应的区域进行目标识别；
将所述新增解码器添加至原始神经网络模型，获得目标神经网络模型，其中，所述原始神经网络模型包括多个原始解码器，不同原始解码器对应识别的目标种类不同，不同原始解码器的目标识别结果组合为目标识别结果集合。
14.一种医学影像的器官识别方法，包括：
调用神经网络模型中的编码器，提取医学影像的全量特征数据，所述编码器训练为通用于全身区域的特征提取；
将至少部分全量特征数据输入所述神经网络模型中的多个解码器，获得对应解码器的器官识别结果，不同解码器对应识别的器官种类不同；
结合不同解码器的器官识别结果，生成对应于所述医学影像的器官识别结果集合。
15.一种基于图像的目标识别装置，包括：
特征提取模块，用于调用神经网络模型中的编码器，提取待识别图像的全量特征数据，所述编码器训练为通用于多个目标的特征提取；
目标识别模块，用于将至少部分全量特征数据输入所述神经网络模型中的多个解码器，获得对应解码器的目标识别结果，不同解码器对应识别的目标种类不同；
结果获得模块，用于结合不同解码器的目标识别结果，得到对应于所述待识别图像的目标识别结果集合。
16.一种神经网络模型的处理装置，包括：
编码器训练模块，用于使用第一图像样本集合训练通用于多个目标的特征提取的编码器，所述第一图像样本集合包括全目标图像样本集合；
解码器训练模块，用于使用多个第二图像样本集合，训练用于进行目标识别的多个解码器，其中，至少一个第二图像样本集合包括部分目标图像样本集合，不同解码器对应识别的目标种类不同，不同解码器的目标识别结果组合为待识别图像的目标识别结果集合；
网络模型构建模块，用于基于所述编码器和至少一个解码器构建所述神经网络模型。
17.一种神经网络模型的处理装置，包括：
集合获取模块，用于获取新增图像样本集合，并使用所述新增图像样本集合训练新增解码器，所述新增解码器用于对所述新增图像样本集合对应的区域进行目标识别；
解码器添加模块，用于将所述新增解码器添加至原始神经网络模型，获得目标神经网络模型，其中，所述原始神经网络模型包括多个原始解码器，不同原始解码器对应识别的目标种类不同，不同原始解码器的目标识别结果组合为目标识别结果集合。
18.一种医学影像的器官识别装置，包括：
特征提取模块，用于调用神经网络模型中的编码器，提取医学影像的全量特征数据，所述编码器训练为通用于全身区域的特征提取；
器官识别模块，用于将至少部分全量特征数据输入所述神经网络模型中的多个解码器，获得对应解码器的器官识别结果，不同解码器对应识别的器官种类不同；
结果获得模块，用于结合不同解码器的器官识别结果，生成对应于所述医学影像的器官识别结果集合。
19.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器在执行所述计算机程序时实现权利要求1-14中任一项所述的方法。
20.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-14中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310101130.3A CN116167990A (zh) | 2023-01-28 | 2023-01-28 | 基于图像的目标识别、神经网络模型处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310101130.3A CN116167990A (zh) | 2023-01-28 | 2023-01-28 | 基于图像的目标识别、神经网络模型处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116167990A true CN116167990A (zh) | 2023-05-26 |
Family
ID=86412827
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310101130.3A Pending CN116167990A (zh) | 2023-01-28 | 2023-01-28 | 基于图像的目标识别、神经网络模型处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116167990A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108304846A (zh) * | 2017-09-11 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置及存储介质 |
| US20200082534A1 (en) * | 2018-09-10 | 2020-03-12 | Deepmind Technologies Limited | 3-d convolutional neural networks for organ segmentation in medical images for radiotherapy planning |
| US20200250821A1 (en) * | 2017-11-30 | 2020-08-06 | Tencent Technology(Shenzhen) Company Limited | Image feature recognition method and apparatus, storage medium, and electronic apparatus |
| CN113947681A (zh) * | 2021-10-18 | 2022-01-18 | 柏意慧心(杭州)网络科技有限公司 | 用于分割医学影像的方法、设备和介质 |
| CN114693830A (zh) * | 2022-05-27 | 2022-07-01 | 阿里巴巴达摩院(杭州)科技有限公司 | 医学影像的多器官分割、模型训练方法、设备及介质 |
| CN114724145A (zh) * | 2022-04-12 | 2022-07-08 | 济南博观智能科技有限公司 | 一种字符图像识别方法、装置、设备及介质 |
| CN115272176A (zh) * | 2022-06-15 | 2022-11-01 | 中国人民解放军陆军军医大学第一附属医院 | 一种基于髋关节dr图像的骨折识别模型及方法 |
| CN115439471A (zh) * | 2022-10-18 | 2022-12-06 | 谢振年 | 一种面向肠道部位ct影像的图像处理方法及系统 |
| US11526994B1 (en) * | 2021-09-10 | 2022-12-13 | Neosoma, Inc. | Labeling, visualization, and volumetric quantification of high-grade brain glioma from MRI images |
| CN115471508A (zh) * | 2021-05-24 | 2022-12-13 | 上海微创卜算子医疗科技有限公司 | 医学图像分割方法、电子设备和存储介质 |
-
2023
- 2023-01-28 CN CN202310101130.3A patent/CN116167990A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108304846A (zh) * | 2017-09-11 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置及存储介质 |
| US20200250821A1 (en) * | 2017-11-30 | 2020-08-06 | Tencent Technology(Shenzhen) Company Limited | Image feature recognition method and apparatus, storage medium, and electronic apparatus |
| US20200082534A1 (en) * | 2018-09-10 | 2020-03-12 | Deepmind Technologies Limited | 3-d convolutional neural networks for organ segmentation in medical images for radiotherapy planning |
| CN115471508A (zh) * | 2021-05-24 | 2022-12-13 | 上海微创卜算子医疗科技有限公司 | 医学图像分割方法、电子设备和存储介质 |
| US11526994B1 (en) * | 2021-09-10 | 2022-12-13 | Neosoma, Inc. | Labeling, visualization, and volumetric quantification of high-grade brain glioma from MRI images |
| CN113947681A (zh) * | 2021-10-18 | 2022-01-18 | 柏意慧心(杭州)网络科技有限公司 | 用于分割医学影像的方法、设备和介质 |
| CN114724145A (zh) * | 2022-04-12 | 2022-07-08 | 济南博观智能科技有限公司 | 一种字符图像识别方法、装置、设备及介质 |
| CN114693830A (zh) * | 2022-05-27 | 2022-07-01 | 阿里巴巴达摩院(杭州)科技有限公司 | 医学影像的多器官分割、模型训练方法、设备及介质 |
| CN115272176A (zh) * | 2022-06-15 | 2022-11-01 | 中国人民解放军陆军军医大学第一附属医院 | 一种基于髋关节dr图像的骨折识别模型及方法 |
| CN115439471A (zh) * | 2022-10-18 | 2022-12-06 | 谢振年 | 一种面向肠道部位ct影像的图像处理方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| FABIAN ISENSEE .ETAL: "nnu-net: a self-configuring method for deep learning-based biomedical image segmentation", NATURE METHODS, vol. 18, no. 02, 31 December 2021 (2021-12-31) * |
| GUOBIN ZHANG .ETAL: "Automatic segmentation of organs at risk and tumors in CT images of lung cancer from partially labelled datasets with a semi-supervised conditional nnU-Net", COMPUTER METHODS AND PROGRAMS IN BIOMEDICINE, vol. 211, 30 November 2021 (2021-11-30), pages 2 * |
| 胡屹杉 等: "结合分段频域和局部注意力的超声甲状腺分割", 中国图象图形学报, 31 October 2020 (2020-10-31) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110838124B (zh) | 用于分割具有稀疏分布的对象的图像的方法、系统和介质 | |
| US20220284584A1 (en) | Computerised tomography image processing | |
| CN111008984B (zh) | 医学影像中正常器官的轮廓线自动勾画方法 | |
| US11080895B2 (en) | Generating simulated body parts for images | |
| CN108815721B (zh) | 一种照射剂量确定方法及系统 | |
| CN112215858A (zh) | 用于图像分割和识别的方法和系统 | |
| CN113496494A (zh) | 基于drr模拟数据生成的二维骨骼分割方法及装置 | |
| Davamani et al. | Biomedical image segmentation by deep learning methods | |
| US11704796B2 (en) | Estimating bone mineral density from plain radiograph by assessing bone texture with deep learning | |
| Kyung et al. | Perspective projection-based 3d ct reconstruction from biplanar x-rays | |
| CN113436187A (zh) | 颅脑ct血管造影图像的处理方法、装置、介质及电子设备 | |
| CN112750110A (zh) | 基于神经网络对肺部病灶区进行评估的评估系统和相关产品 | |
| CN112330640A (zh) | 医学图像中结节区域的分割方法、装置及设备 | |
| CN110992312A (zh) | 医学图像处理方法、装置、存储介质及计算机设备 | |
| CN116824173A (zh) | 医学图像的处理方法、设备及存储介质 | |
| CN116167990A (zh) | 基于图像的目标识别、神经网络模型处理方法 | |
| CN116433620A (zh) | 基于ct图像的骨密度预测及骨质疏松智能筛查方法和系统 | |
| Pereira | Deep Learning techniques for the evaluation of response to treatment in Hogdkin Lymphoma | |
| CN112884706B (zh) | 一种基于神经网络模型的图像评估系统和相关产品 | |
| CN112541909B (zh) | 基于切片感知的三维神经网络的肺结节探测方法及系统 | |
| CN113538451B (zh) | 一种深静脉血栓的磁共振图像分割方法及装置，电子设备及存储介质 | |
| CN116580133B (zh) | 图像合成方法、装置、电子设备和存储介质 | |
| CN117726633B (zh) | 基于特征融合的双分支冠状动脉图像的分割方法、系统 | |
| US20230281842A1 (en) | Generation of 3d models of anatomical structures from 2d radiographs | |
| RU2801420C1 (ru) | Система и способ диагностики тазобедренных суставов |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |