CN112037305A - 对图像中的树状组织进行重建的方法、设备及存储介质 - Google Patents
对图像中的树状组织进行重建的方法、设备及存储介质 Download PDFInfo
- Publication number
- CN112037305A CN112037305A CN202011238994.2A CN202011238994A CN112037305A CN 112037305 A CN112037305 A CN 112037305A CN 202011238994 A CN202011238994 A CN 202011238994A CN 112037305 A CN112037305 A CN 112037305A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- tree
- reconstruction
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008520 organization Effects 0.000 title claims abstract description 216
- 238000000034 method Methods 0.000 title claims abstract description 208
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 230000011218 segmentation Effects 0.000 claims abstract description 376
- 230000008569 process Effects 0.000 claims abstract description 139
- 239000000523 sample Substances 0.000 claims description 303
- 238000012545 processing Methods 0.000 claims description 149
- 238000013145 classification model Methods 0.000 claims description 138
- 210000002569 neuron Anatomy 0.000 claims description 105
- 238000012549 training Methods 0.000 claims description 63
- 238000011176 pooling Methods 0.000 claims description 60
- 230000006870 function Effects 0.000 claims description 58
- 239000013074 reference sample Substances 0.000 claims description 36
- 238000005070 sampling Methods 0.000 claims description 25
- 230000015654 memory Effects 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 17
- 210000004556 brain Anatomy 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 description 29
- 238000013473 artificial intelligence Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 16
- 241000282414 Homo sapiens Species 0.000 description 10
- 210000004204 blood vessel Anatomy 0.000 description 10
- 238000002372 labelling Methods 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 210000003050 axon Anatomy 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 210000001787 dendrite Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请公开了对图像中的树状组织进行重建的方法、设备及存储介质。方法包括:获取目标树状组织对应的目标图像、目标图像对应的原始图像数据以及目标图像对应的重建参考数据,重建参考数据基于局部重建结果确定;调用目标分割模型,基于原始图像数据和重建参考数据,获取目标图像对应的目标分割结果,目标分割结果用于指示各个像素点的目标类别;基于目标分割结果,在目标图像中对目标树状组织进行重建,得到目标树状组织在目标图像中的完整重建结果。基于此种过程,能够实现对树状组织的自动重建,树状组织的重建过程无需依赖人工,有利于提高对图像中的树状组织进行重建的效率,得到的树状组织的重建结果的可靠性较高。
Description
技术领域
本申请实施例涉及计算机技术领域,特别涉及一种对图像中的树状组织进行重建的方法、设备及存储介质。
背景技术
树状组织是指生物体中具有树状结构的组织,例如,人体中的神经元、人体中的血管等。对图像中的树状组织进行重建是指在包含树状组织的图像中标记出树状组织,以得到树状组织的重建结果。对图像中的树状组织进行重建能够为人工智能的实现提供关键数据。
相关技术中,由标注人员人工对图像中的树状组织进行重建,重建效率较低,得到的树状组织的重建结果的可靠性较差。
发明内容
本申请实施例提供了一种对图像中的树状组织进行重建的方法、设备及存储介质,可用于提高对图像中的树状组织进行重建的效率。
一方面,本申请实施例提供了一种对图像中的树状组织进行重建的方法,所述方法包括:
获取目标树状组织对应的目标图像、所述目标图像对应的原始图像数据以及所述目标图像对应的重建参考数据,所述重建参考数据基于所述目标树状组织在所述目标图像中的局部重建结果确定;
调用目标分割模型,基于所述原始图像数据和所述重建参考数据,获取所述目标图像对应的目标分割结果,所述目标分割结果用于指示所述目标图像中的各个像素点的目标类别,任一像素点的目标类别用于指示所述任一像素点属于所述目标树状组织或者所述任一像素点不属于所述目标树状组织;
基于所述目标分割结果,在所述目标图像中对所述目标树状组织进行重建,得到所述目标树状组织在所述目标图像中的完整重建结果。
另一方面,提供了一种对图像中的树状组织进行重建的装置,所述装置包括:
第一获取单元,用于获取目标树状组织对应的目标图像、所述目标图像对应的原始图像数据以及所述目标图像对应的重建参考数据,所述重建参考数据基于所述目标树状组织在所述目标图像中的局部重建结果确定;
第二获取单元,用于调用目标分割模型,基于所述原始图像数据和所述重建参考数据,获取所述目标图像对应的目标分割结果,所述目标分割结果用于指示所述目标图像中的各个像素点的目标类别,任一像素点的目标类别用于指示所述任一像素点属于所述目标树状组织或者所述任一像素点不属于所述目标树状组织;
重建单元,用于基于所述目标分割结果,在所述目标图像中对所述目标树状组织进行重建,得到所述目标树状组织在所述目标图像中的完整重建结果。
在一种可能实现方式中,所述第二获取单元,用于调用目标分割模型,基于所述原始图像数据和所述重建参考数据的融合数据,依次执行第一参考数量次下采样处理,得到所述目标图像对应的第一目标特征;基于所述第一目标特征对应的目标卷积特征,依次执行所述第一参考数量次上采样处理,得到所述目标图像对应的第二目标特征;对所述第二目标特征进行目标卷积处理,得到所述目标图像对应的目标分割结果。
在一种可能实现方式中,所述第一参考数量次为三次,任一次下采样处理包括一次卷积处理和一次池化处理;所述第二获取单元,还用于对所述原始图像数据和所述重建参考数据的融合数据进行第一卷积处理,得到所述目标图像对应的第一卷积特征;对所述第一卷积特征进行第一池化处理,得到所述目标图像对应的第一池化特征;对所述第一池化特征进行第二卷积处理,得到所述目标图像对应的第二卷积特征;对所述第二卷积特征进行第二池化处理,得到所述目标图像对应的第二池化特征;对所述第二池化特征进行第三卷积处理,得到所述目标图像对应的第三卷积特征;对所述第三卷积特征进行第三池化处理,得到所述目标图像对应的第一目标特征。
在一种可能实现方式中,任一次上采样处理包括一次反卷积处理和一次卷积处理;所述第二获取单元,还用于对所述第一目标特征对应的目标卷积特征进行第一反卷积处理,得到所述目标图像对应的第一上采样特征;对所述第一上采样特征和所述第三卷积特征的拼接特征进行第四卷积处理,得到所述目标图像对应的第四卷积特征;对所述第四卷积特征进行第二反卷积处理,得到所述目标图像对应的第二上采样特征;对所述第二上采样特征和所述第二卷积特征的拼接特征进行第五卷积处理,得到所述目标图像对应的第五卷积特征;对所述第五卷积特征进行第三反卷积处理,得到所述目标图像对应的第三上采样特征;对所述第三上采样特征和所述第一卷积特征的拼接特征进行第六卷积处理,得到所述目标图像对应的第二目标特征。
在一种可能实现方式中,所述装置还包括:
第三获取单元,用于调用目标分类模型,基于所述原始图像数据和所述目标分割结果,获取目标重建置信度信息。
在一种可能实现方式中,所述目标分类模型包括依次连接的至少一个卷积子模型、至少一个全连接子模型和一个置信度预测子模型;所述第三获取单元,用于将所述原始图像数据和所述目标分割结果输入所述目标分类模型中的第一个卷积子模型进行处理,得到所述第一个卷积子模型输出的分类特征;从第二个卷积子模型起,将上一个卷积子模型输出的分类特征输入下一个卷积子模型进行处理,得到下一个卷积子模型输出的分类特征;将最后一个卷积子模型输出的分类特征输入第一个全连接子模型进行处理,得到所述第一个全连接子模型输出的全连接特征;从第二个全连接子模型起,将上一个全连接子模型输出的全连接特征输入下一个全连接子模型进行处理,得到下一个全连接子模型输出的全连接特征;将最后一个全连接子模型输出的全连接特征输入所述置信度预测子模型进行处理,得到所述置信度预测子模型输出的所述目标重建置信度信息。
在一种可能实现方式中,所述第一获取单元,还用于获取至少一个样本图像、所述至少一个样本图像分别对应的原始样本图像数据、所述至少一个样本图像分别对应的重建参考样本数据以及所述至少一个样本图像分别对应的标准分割结果;
所述装置还包括:
训练单元,用于基于所述至少一个样本图像分别对应的原始样本图像数据、所述至少一个样本图像分别对应的重建参考样本数据以及所述至少一个样本图像分别对应的标准分割结果对初始分割模型进行监督训练,得到所述目标分割模型。
在一种可能实现方式中,所述第一获取单元,还用于获取至少一个样本图像、所述至少一个样本图像分别对应的原始样本图像数据、所述至少一个样本图像分别对应的重建参考样本数据以及所述至少一个样本图像分别对应的标准分割结果;
所述训练单元,还用于基于所述至少一个样本图像分别对应的原始样本图像数据、所述至少一个样本图像分别对应的重建参考样本数据以及所述至少一个样本图像分别对应的标准分割结果对初始分割模型和初始分类模型进行对抗训练,得到所述目标分割模型和所述目标分类模型。
在一种可能实现方式中,所述训练单元,还用于调用所述初始分割模型,基于所述至少一个样本图像中的第一样本图像对应的原始样本图像数据和所述第一样本图像对应的重建参考样本数据,获取所述第一样本图像对应的预测分割结果;调用所述初始分类模型,基于所述第一样本图像对应的原始样本图像数据和所述第一样本图像对应的预测分割结果,获取第一重建置信度信息;基于所述第一样本图像对应的原始样本图像数据和所述第一样本图像对应的标准分割结果,获取第二重建置信度信息;基于所述第一重建置信度信息和所述第二重建置信度信息,确定第一损失函数;基于所述第一损失函数更新所述初始分类模型的参数;响应于所述初始分类模型的参数的更新过程满足第一终止条件,得到第一分类模型;调用所述初始分割模型,基于所述至少一个第一样本图像中的第二样本图像对应的原始样本图像数据和所述第二样本图像对应的重建参考样本数据,获取所述第二样本图像对应的预测分割结果;调用所述第一分类模型,基于所述第二样本图像对应的原始样本图像数据和所述第二样本图像对应的预测分割结果,获取第三重建置信度信息;基于所述第三重建置信度信息、所述第二样本图像对应的预测分割结果和所述第二样本图像对应的标准分割结果,确定第二损失函数;基于所述第二损失函数更新所述初始分割模型的参数;响应于所述初始分割模型的参数的更新过程满足第二终止条件,得到第一分割模型;响应于对抗训练过程不满足目标终止条件,继续对所述第一分类模型和所述第一分割模型进行对抗训练,直至对抗训练过程满足所述目标终止条件,得到所述目标分类模型和所述目标分割模型。
在一种可能实现方式中,所述第一获取单元,还用于响应于所述目标树状组织在所述目标图像中的完整重建结果不满足重建终止条件,基于所述目标树状组织在所述目标图像中的完整重建结果,在所述初始图像中获取与所述目标树状组织对应的下一个局部图像;获取所述目标树状组织在所述下一个局部图像中的完整重建结果;响应于所述目标树状组织在所述下一个局部图像中的完整重建结果满足所述重建终止条件,基于已获取的所述目标树状组织在各个局部图像中的完整重建结果,获取所述目标树状组织在所述初始图像中的完整重建结果。
在一种可能实现方式中,所述目标树状组织为目标神经元,所述目标图像从包含所述目标神经元的大脑三维图像中获取得到。
在一种可能实现方式中,所述任一像素点的目标类别用于指示所述任一像素点属于所述目标神经元或者所述任一像素点不属于所述目标神经元;
所述重建单元,用于基于所述目标分割结果,在所述目标图像中的各个像素点中确定属于所述目标神经元的目标像素点;基于所述目标像素点,在所述目标图像中标记出所述目标神经元的神经元节点以及所述目标神经元的神经元节点之间的连接关系,得到目标标记结果;基于所述目标标记结果,确定所述目标神经元在所述目标图像中的完整重建结果。
另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述至少一条程序代码由所述处理器加载并执行,以实现上述任一所述的对图像中的树状组织进行重建的方法。
另一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行,以实现上述任一所述的对图像中的树状组织进行重建的方法。
另一方面,还提供了一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机指令,所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令,处理器执行所述计算机指令,使得所述计算机设备执行上述任一所述的对图像中的树状组织进行重建的方法。
本申请实施例提供的技术方案至少带来如下有益效果:
在本申请实施例中,先基于目标图像对应的原始图像数据和重建参考数据自动获取目标图像对应的目标分割结果,然后基于目标分割结果自动得到目标树状组织在目标图像中的完整重建结果。基于此种过程,能够实现对树状组织的自动重建,树状组织的重建过程无需依赖人工,有利于提高对图像中的树状组织进行重建的效率,得到的树状组织的重建结果的可靠性较高。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种对图像中的树状组织进行重建的方法的实施环境的示意图;
图2是本申请实施例提供的一种对图像中的树状组织进行重建的方法的流程图;
图3是本申请实施例提供的一种包含神经元的图像的示意图;
图4是本申请实施例提供的一种获取目标图像对应的目标分割结果的过程的示意图;
图5是本申请实施例提供的一种获取目标重建置信度信息的过程的流程图;
图6是本申请实施例提供的一种目标分类模型的结构示意图;
图7是本申请实施例提供的一种对图像中的树状组织进行重建的过程的示意图;
图8是本申请实施例提供的一种包括不同的标记结果的目标图像的示意图;
图9是本申请实施例提供的一种用于存储神经元的完整重建结果的SWC文件的示意图;
图10是本申请实施例提供的一种三维点云数据的示意图;
图11是本申请实施例提供的一种对图像中的树状组织进行重建的装置的示意图;
图12是本申请实施例提供的另一种对图像中的树状组织进行重建的装置的示意图;
图13是本申请实施例提供的一种服务器的结构示意图;
图14是本申请实施例提供的一种终端的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
本申请实施例提供的对图像中的树状组织进行重建的方法涉及人工智能技术领域。人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
其中,计算机视觉(Computer Vision,CV)是一门研究如何使机器“看”的科学,更进一步地说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition,光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(Three Dimensional,三维)技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
在示例性实施例中,本申请实施例中涉及的人工智能技术可基于云技术领域中的人工智能云服务实现。
云技术(Cloud Technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。
云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的系统后盾支撑,只能通过云计算来实现。
云技术领域中的人工智能云服务,一般也被称作是AIaaS(AI as a Service,AI即服务)。这是目前主流的一种人工智能平台的服务方式,具体来说AIaaS平台会把几类常见的AI服务进行拆分,并在云端提供独立或者打包的服务。这种服务模式类似于开了一个AI主题商城:所有的开发者都可以通过API(Application Programming Interface,应用程序接口)接口的方式来接入使用平台提供的一种或者是多种人工智能服务,部分资深的开发者还可以使用平台提供的AI框架和AI基础设施来部署和运维自已专属的云人工智能服务。
本申请实施例提供了一种对图像中的树状组织进行重建的方法,请参考图1,其示出了本申请实施例提供的对图像中的树状组织进行重建的方法的实施环境的示意图。该实施环境包括:终端11和服务器12。
本申请实施例提供的对图像中的树状组织进行重建的方法由终端11执行或者由服务器12执行,本申请实施例对此不加以限定。示例性地,对于本申请实施例提供的对图像中的树状组织进行重建的方法由终端11执行的情况,在得到目标树状组织在目标图像中的完整重建结果后,终端11能够展示该目标树状组织在目标图像中的完整重建结果。当然,终端11还能够将目标树状组织在目标图像中的完整重建结果发送至服务器12进行存储。
示例性地,对于本申请实施例提供的对图像中的树状组织进行重建的方法由服务器12执行的情况,在得到目标树状组织在目标图像中的完整重建结果之后,服务器12能够将目标树状组织在目标图像中的完整重建结果发送至终端11进行展示。
在一种可能实现方式中,终端11是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。服务器12是独立的物理服务器,或者是多个物理服务器构成的服务器集群或者分布式系统,再或者是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content DeliveryNetwork,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端11以及服务器12通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
本领域技术人员应能理解上述终端11和服务器12仅为举例,其他现有的或今后可能出现的终端或服务器如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
基于上述图1所示的实施环境,本申请实施例提供一种对图像中的树状组织进行重建的方法,以该方法应用于服务器12为例。如图2所示,本申请实施例提供的方法包括如下步骤201至步骤203。
在步骤201中,获取目标树状组织对应的目标图像、目标图像对应的原始图像数据以及目标图像对应的重建参考数据,重建参考数据基于目标树状组织在目标图像中的局部重建结果确定。
目标树状组织是指待重建的任一树状组织。树状组织是指生物体中具有树状结构的组织,本申请实施例对待重建的树状组织的类型不加以限定,示例性地,待重建的树状组织是指人体中的神经元,或者待重建的树状组织是指人体中的血管等。其中,神经元是构成神经系统结构和功能的基本单位。当待重建的树状组织是指神经元时,树状组织的重建是指神经元的重建。神经元的重建是建立脑科学大数据、理解人类智能和情绪的关键之一。
目标树状组织对应的目标图像是指包含完整或者局部目标树状组织、且包括的完整或者局部目标树状组织未完整重建出来的图像。通过对图像中的树状组织进行重建的方法,能够将目标图像中包含的完整或者局部目标树状组织完整重建出来,以得到目标树状组织在目标图像中的完整重建结果。
在一种可能实现方式中,目标图像是从包含完整目标树状组织的初始图像中获取的,初始图像可以为二维图像,也可以为三维图像,本申请实施例对此不加以限定。在示例性实施例中,当目标树状组织为目标神经元时,包含目标神经元的初始图像为大脑三维图像,也就是说,目标图像从包含目标神经元的大脑三维图像中获取得到。在示例性实施例中,当目标树状组织为目标血管时,包含目标血管的初始图像为血管三维图像,也就是说,目标图像从包含目标血管的血管三维图像中获取得到。
在一种可能实现方式中,获取目标树状组织对应的目标图像的过程包括以下步骤2011至步骤2013。
步骤2011:获取目标树状组织在初始图像中的初始重建结果。
目标树状组织在初始图像中的初始重建结果是指在初始图像中对目标树状组织进行初步重建后得到的结果。本申请实施例对目标树状组织在初始图像中的初始重建结果的表现形式不加以限定,示例性地,目标树状组织在初始图像中的初始重建结果是指标记有初始重建节点以及初始重建节点之间的连接关系的图像;或者,目标树状组织在初始图像中的初始重建结果是指包括初始重建节点的相关数据的文件。任一初始重建节点的相关数据包括但不限于该任一初始重建节点在初始图像中的位置数据、该任一初始重建节点与其他初始重建节点之间的关联数据等。其中,任一初始重建节点与其他初始重建节点之间的关联数据用于指示该任一初始重建节点与其他初始重建节点之间的连接关系。
初始重建节点是指在初始图像中对目标树状结果进行初步重建后标记出的重建节点。需要说明的是,一个初始重建节点对应初始图像中的一个属于目标树状组织的像素点。
在示例性实施例中,目标树状组织在初始图像中的初始重建结果是从初始图像中的起始像素点开始对目标树状组织进行初步重建后得到的结果。本申请实施例对起始像素点的位置不加以限定。示例性地,假设初始图像是指处于三维坐标系下的三维图像且初始图像的一个角点位于三维坐标系的原点处,则起始像素点是指初始图像中的三维坐标为(0,0,0)的像素点。
在一种可能实现方式中,获取目标树状组织在初始图像中的初始重建结果的方式包括但不限于以下两种。
方式1:直接提取目标树状组织在初始图像中的初始重建结果。
此种方式1发生在预先获取并存储了目标树状组织在初始图像中的初始重建结果的情况下。
方式2:获取通过人工标注的方式得到的目标树状组织在初始图像中的初始重建结果。
此种方式2发生在未预先获取并存储了目标树状组织在初始图像中的初始重建结果的情况下。在未预先获取并存储了目标树状组织在初始图像中的初始重建结果的情况下,需要通过人工在初始图像中手动标记出目标树状组织的初始重建节点以及初始重建节点之间的连接关系,来获取目标树状组织在初始图像中的初始重建结果。
示例性地,手动标记出目标树状组织的初始重建节点以及初始重建节点之间的连接关系的过程为:人工手动在初始图像中连续确定出属于目标树状组织的k(k为大于1的整数)个像素点,将该k个像素点标记为目标树状组织的初始重建节点,根据目标树状组织的整体走向建立标记出的初始重建节点之间的连接关系。在示例性实施例中,在连续确定出属于目标树状组织的k个像素点的过程中,从初始图像中的起始像素点开始依次判断各个像素点是否属于目标树状组织。
步骤2012:基于目标树状组织在初始图像中的初始重建结果,在初始图像中确定属于目标树状组织的像素点,在属于目标树状组织的像素点中确定满足条件的像素点。
根据目标树状组织在初始图像中的初始重建结果能够确定出已经在初始图像中重建出的目标树状组织的初始重建节点,目标树状组织的每个初始重建节点均对应初始图像中的一个属于目标树状组织的像素点。将已经在初始图像中重建出的目标树状组织的初始重建节点对应的像素点作为属于目标树状组织的像素点,进而在属于目标树状组织的像素点中确定满足条件的像素点。
满足条件根据经验设置或者根据应用场景灵活调整,本申请实施例对此不加以限定。示例性地,对于目标树状组织在初始图像中的初始重建结果是从初始图像中的起始像素点开始对目标树状组织进行初步重建后得到的结果的情况,满足条件的像素点是指属于目标树状组织的像素点中距离初始图像的起始像素点距离最远的像素点。
步骤2013:以满足条件的像素点为中心点,在初始图像中截取目标尺寸的图像作为目标图像。
目标尺寸根据经验设置,或者根据可用计算资源灵活调整,本申请实施例对此不加以限定。示例性地,对于初始图像为三维图像的情况,目标尺寸为32×32×32(单位为像素)。通过以满足条件的像素点为中心点,在初始图像中截取一张目标尺寸的图像,即可得到目标图像。
需要说明的是,以上步骤2011至步骤2013仅为获取目标树状组织对应的目标图像的方式的一种示例性描述,本申请实施例并不局限于此。在示例性实施例中,获取目标树状组织对应的目标图像的方式为:在初始图像中确定出属于目标树状组织的任一像素点,以该任一像素点为中心点截取目标尺寸的图像作为目标图像。
在示例性实施例中,目标图像为初始图像中的局部图像。以树状组织为神经元为例,神经元对应的三维图像占用空间过大,神经元本身在图像中非常稀疏(如图3所示),三维图像中会存在很多冗余信息,直接针对整张图像进行重建容易造成重建效率低和重建精度差的问题。因此,本申请实施例针对局部图像进行树状组织的重建,有利于提高重建效率和重建精度。
在获取目标树状组织对应的目标图像后,进一步获取目标图像对应的原始图像数据以及目标图像对应的重建参考数据。接下来分别介绍获取目标图像对应的原始图像数据以及目标图像对应的重建参考数据的相关内容。
目标图像对应的原始图像数据用于表征目标图像的原始图像特征。在示例性实施例中,目标图像对应的原始图像数据的获取方式为:获取目标图像中的各个像素点的灰度特征;基于各个像素点的灰度特征确定目标图像对应的原始图像数据。示例性地,任一像素点的灰度特征基于该任一像素点在目标图像中的灰度值确定,例如,将任一像素点在目标图像中的灰度值作为该任一像素点的灰度特征;或者,对任一像素点在目标图像中的灰度值进行标准化,将标准化的值作为该任一像素点的灰度特征。
在示例性实施例中,对于目标图像为三维图像的情况,目标图像对应的原始图像数据为三维数据,该三维的原始图像数据中包括目标图像中的各个像素点的灰度特征。
目标图像对应的重建参考数据用于为在目标图像中对目标树状组织进行的重建的过程提供数据参考。重建参考数据基于目标树状组织在目标图像中的局部重建结果确定。也就是说,在获取目标图像对应的重建参考数据之前,需要先获取目标树状组织在目标图像中的局部重结果。
目标树状组织在目标图像中的局部重建结果能够为获取目标树状组织在目标图像中的完整重建结果的重建过程提供数据参考。在示例性实施例中,对于目标树状组织对应的目标图像基于目标树状组织在初始图像中的初始重建结果确定的情况,目标树状组织在目标图像中的局部重建结果的获取方式为:在目标树状组织在初始图像中的初始重建结果中,确定与目标图像对应的初始重建结果;基于与目标图像对应的初始重建结果,确定目标树状组织在目标图像中的局部重建结果。
在一种可能实现方式中,基于与目标图像对应的初始重建结果,确定目标树状组织在目标图像中的局部重建结果的方式为:将与目标图像对应的初始重建结果作为目标树状组织在目标图像中的局部重建结果。
在另一种可能实现方式中,基于与目标图像对应的初始重建结果,确定目标树状组织在目标图像中的局部重建结果的方式为:获取目标树状组织在目标图像中的增量重建结果,将与目标图像对应的初始重建结果和增量重建结果的汇总结果作为目标树状组织在目标图像中的局部重建结果。在示例性实施例中,当与目标图像对应的初始重建结果无法为自动重建过程提供足够的数据参考时,进一步获取目标树状组织在目标图像中的增量重建结果,进而将与目标图像对应的重建结果和增量重建结果的汇总结果作为用于为自动重建过程提供数据参考的局部重建结果。在示例性实施例中,目标树状组织在目标图像中的增量重建结果由人工在与目标图像对应的初始重建结果的基础上进行额外标记得到。
在示例性实施例中,目标图像对应的重建参考数据中包括目标图像中的各个像素点的重建参考特征,任一像素点的重建参考特征用于指示该任一像素点是否为根据局部重建结果确定出的属于目标树状组织的重建参考像素点。
在一种可能实现方式中,获取目标图像对应的重建参考数据的过程为:基于局部重建结果,在目标图像中的各个像素点中确定出属于目标树状组织的重建参考像素点;将基于局部重建结果确定出的重建参考像素点和其他像素点进行二值化处理,得到目标图像中的各个像素点的重建参考特征;将包括目标图像中的各个像素点的重建参考特征的数据作为目标图像对应的重建参考数据。
需要说明的是,根据局部重建结果能够准确确定出重建参考像素点属于目标树状组织,但是无法准确确定出除重建参考像素点外的其他像素点是否属于目标树状组织,也就是说,其他像素点实际上可能属于目标树状组织,也可能不属于目标树状组织,在重建参考数据中暂时默认其他像素点不属于目标树状组织,在后续的重建过程中,其他像素点的类别可能会发生变化。
在示例性实施例中,将基于局部重建结果确定出的重建参考像素点和其他像素点进行二值化处理,得到目标图像中的各个像素点的重建参考特征的方式为:将基于局部重建结果确定出的重建参考像素点赋予第一数值,将其他像素点赋予第二数值。也就是说,目标图像中的重建参考像素点的重建参考特征为第一数值,目标图像中的除重建参考像素点外的其他像素点的重建参考特征为第二数值。第一数值和第二数值根据经验设置,或者根据应用场景灵活调整,本申请实施例对此不加以限定。示例性地,第一数值为1,第二数值为0。
在将包括图像中的各个像素点的重建参考特征的数据作为目标图像对应的重建参考数据后,目标图像对应的重建参考数据能够直观表示出目标图像中的哪个或者哪些像素点为基于局部重建结果确定出的属于目标树状组织的重建参考像素点,进而为后续针对目标树状组织的重建过程提供数据参考。
在示例性实施例中,对于目标图像为三维图像的情况,目标图像的重建参考数据为三维数据。该三维的重建参考数据中包括每个像素点的重建参考特征。
示例性地,以树状组织为神经元为例,如图3所示,不同的神经元可能会非常接近,若直接基于初始图像数据进行重建,可能会将多个接近的神经元重建为一个神经元,导致神经元的重建精度较差。本申请实施例通过获取针对某一个神经元的重建参考数据,能够为在目标图像中准确重建出该一个神经元提供有力的数据参考,从而能够在目标图像中精准的针对该一个神经元进行重建。
在步骤202中,调用目标分割模型,基于原始图像数据和重建参考数据,获取目标图像对应的目标分割结果,目标分割结果用于指示目标图像中的各个像素点的目标类别。
其中,任一像素点的目标类别用于指示任一像素点属于目标树状组织或者任一像素点不属于目标树状组织。
在获取目标图像对应的原始图像数据和目标图像对应的重建参考数据后,将原始图像数据和重建参考数据输入目标分割模型进行分割处理,得到目标图像对应的目标分割结果。目标分割结果用于指示目标图像中的各个像素点的目标类别,任一像素点的目标类别用于指示该任一像素点是否属于目标树状组织。需要说明的是,此处的任一像素点的目标类别是指在目标图像对应的原始图像数据和重建参考数据的基础上调用目标分割模型得到的该任一像素点的实际类别。
需要说明的是,对于重建参考数据指示的基于局部重建结果确定出的属于目标树状组织的重建参考像素点,重建参考像素点的目标类别用于指示重建参考像素点属于目标树状组织;对于除重建参考数据指示的基于局部重建结果确定出的属于目标树状组织的重建参考像素点外的其他像素点,任一其他像素点的目标类别可能用于指示该任一其他像素点属于目标树状组织,也可能用于指示该任一其他像素点不属于目标树状组织。
由于目标图像对应的目标分割结果能够指示出目标图像中的各个像素点实际上是否属于目标树状组织,所以目标分割结果能够为目标树状组织的自动重建提供直接的数据支持。
在示例性实施例中,目标分割模型的输入为原始图像数据和重建参考数据。原始图像数据和重建参考数据可视为双通道的图像数据。也就是说,目标分割模型的输入为双通道的图像数据,双通道中的一个通道为原始图像特征通道,双通道中的另外一个通道为重建参考特征通道。原始图像特征通道对应的数据为原始图像数据,重建参考特征通道对应的数据为重建参考数据。通过输入此种双通道的图像数据,能够为目标分割模型提供更全面的初始信息,从而使得目标分割模型输出更为精准的目标分割结果。
示例性地,以目标图像为三维图像为例,目标分割模型的输入为双通道的三维图像数据,三维均为空间坐标,双通道中的一个通道为三维原始图像特征通道,双通道中的另外一个通道为三维重建参考特征通道。
本申请实施例对目标分割模型的模型结构不加以限定,只要能够基于原始图像数据和重建参考数据实现对目标图像中的各个像素点的分割即可。示例性地,对于目标图像为三维图像的情况,目标分割模型的模型结构为3D-UNet(三维U型网络)结构。
在一种可能实现方式中,调用目标分割模型,基于原始图像数据和重建参考数据,获取目标图像对应的目标分割结果的过程包括以下步骤2021至步骤2023。
步骤2021:调用目标分割模型,基于原始图像数据和重建参考数据的融合数据,依次执行第一参考数量次下采样处理,得到目标图像对应的第一目标特征。
原始图像数据和重建参考数据的融合数据是指将原始图像数据和重建参考数据进行融合后得到的数据,本申请实施例对将原始图像数据和重建参考数据进行融合的方式不加以限定。示例性地,目标分割模型中包括数据融合层,将原始图像数据和重建参考数据进行融合的过程在目标分割模型中的数据融合层执行。
在得到原始图像数据和重建参考数据的融合数据后,基于融合数据依次执行第一参考数量次下采样处理,以得到目标图像对应的第一目标特征。目标图像对应的第一目标特征是指通过对原始图像数据和重建参考数据的融合数据进行下采样处理后得到的深层次的特征。
第一参考数量根据经验设置,或者根据应用场景灵活调整,本申请实施例对此不加以限定。例如,第一参考数量次为三次,或者,第一参考数量次为四次。在示例性实施例中,通过合理设置目标分割模型的模型结构实现基于融合数据依次执行第一参考数量次下采样处理的过程。
在示例性实施例中,任一次下采样处理包括一次卷积处理和一次池化处理。以第一参考数量次为三次为例,基于原始图像数据和重建参考数据的融合数据,依次执行第一参考数量次下采样处理,得到目标图像对应的第一目标特征的过程包括以下步骤a至步骤c。
步骤a:对原始图像数据和重建参考数据的融合数据进行第一卷积处理,得到目标图像对应的第一卷积特征;对第一卷积特征进行第一池化处理,得到目标图像对应的第一池化特征。
本申请实施例对第一卷积处理的实现方式不加以限定,示例性地,第一卷积处理的实现方式为:通过两个级联的卷积层对原始图像数据和重建参考数据的融合数据进行特征提取。在示例性实施例中,每个卷积层由卷积函数、BN(Batch Normalization,批量标准化)函数和ReLU(Rectified Linear Unit,线性整流单元)函数构成。示例性地,当目标图像为三维图像数,级联的卷积层为3D卷积层。本申请实施例对卷积层的卷积核的大小不加以限定,示例性地,卷积层的卷积核的大小为3×3×3。
在得到第一卷积特征后,对第一卷积特征进行第一池化处理,以减小第一卷积特征的尺寸。在示例性实施例中,第一池化处理的方式为:通过最大池化层对第一卷积特征进行特征提取。示例性地,最大池化层的核大小为2×2×2。
步骤b:对第一池化特征进行第二卷积处理,得到目标图像对应的第二卷积特征;对第二卷积特征进行第二池化处理,得到目标图像对应的第二池化特征。
步骤c:对第二池化特征进行卷积处理,得到目标图像对应的第三卷积特征;对第三卷积特征进行池化处理,得到目标图像对应的第一目标特征。
上述步骤b和步骤c的实现方式参见步骤a的实现方式,此处不再赘述。需要说明的是,第一卷积处理、第二卷积处理和第三卷积处理的处理参数可以相同,也可以不同,本申请实施例对此不加以限定。在示例性实施例中,第一卷积处理、第二卷积处理和第三卷积处理的处理参数不同,以使经过不同的卷积处理后提取的特征的特征维数不同。在示例性实施例中,第一池化处理、第二池化处理和第三池化处理的处理参数相同,均用于以相同的比例减小特征的尺寸。
步骤2022:基于第一目标特征对应的目标卷积特征,依次执行第一参考数量次上采样处理,得到目标图像对应的第二目标特征。
第一目标特征对应的目标卷积特征是指对第一目标特征进行卷积处理后得到的特征,对第一目标特征进行卷积处理的过程由目标分割模型的模型结构决定,本申请实施例对此不加以限定。在示例性实施例中,对第一目标特征进行卷积处理的过程为:通过两个级联的卷积层对第一目标特征进行特征提取。
在得到第一目标特征对应的目标卷积特征后,依次执行第一参考数量次上采样处理,以得到目标图像对应的第二目标特征。需要说明的是,此处基于目标卷积特征执行的上采样处理的次数与步骤2021中基于原始图像数据和重建参数数据的融合数据依次执行的下采样处理的次数相同。
在示例性实施例中,任一次下采样处理包括一次反卷积处理和一次卷积处理,对于第一参考数量次为三次的情况,基于第一目标特征对应的目标卷积特征,依次执行第一参考数量次上采样处理,得到目标图像对应的第二目标特征的过程包括以下步骤A至步骤C。
步骤A:对第一目标特征对应的目标卷积特征进行第一反卷积处理,得到目标图像对应的第一上采样特征;对第一上采样特征和第三卷积特征的拼接特征进行第四卷积处理,得到目标图像对应的第四卷积特征。
通过对目标卷积特征进行第一反卷积处理,能够扩大目标卷积特征的尺寸且减少特征维数。本申请实施例对第一反卷积处理的实现方式不加以限定,示例性地,第一反卷积处理的实现方式为:通过反卷积层对目标卷积特征进行反卷积。
对目标卷积特征进行第一反卷积处理后,得到第一上采样特征。第一上采样特征与步骤2021中的步骤c中得到的第三卷积特征的尺寸和特征维数均相同,因此,第一上采样特征和第三卷积特征可以进行拼接,从而得到第一上采样特征和第三卷积特征的拼接特征。在示例性实施例中,第一上采样特征和第三卷积特征的拼接特征是将第一上采样特征和第三卷积特征在特征维数上进行拼接后得到的特征。
在得到第一上采样特征和第三卷积特征的拼接特征后,对第一上采样特征和第三卷积特征的拼接特征进行第四卷积处理,得到目标图像对应的第四卷积特征。在示例性实施例中,第四卷积处理的方式为:通过两个级联的卷积层对第一上采样特征和第三卷积特征的拼接特征进行特征提取。
步骤B:对第四卷积特征进行第二反卷积处理,得到目标图像对应的第二上采样特征;对第二上采样特征和第二卷积特征的拼接特征进行第五卷积处理,得到目标图像对应的第五卷积特征。
步骤C:对第五卷积特征进行第三反卷积处理,得到目标图像对应的第三上采样特征;对第三上采样特征和第一卷积特征的拼接特征进行第六卷积处理,得到目标图像对应的第二目标特征。
上述步骤B和步骤C的实现方式参见步骤A的实现方式,此处不再赘述。在示例性实施例中,第一反卷积处理、第二反卷积处理和第三反卷积处理的处理参数不同,以使经过不同的反卷积处理后得到特征的特征维数不同。在示例性实施例中,第四卷积处理、第五卷积处理和第六卷积处理的处理参数不同,以使经过不同的卷积处理后得到特征的特征维数不同。
步骤2023:对第二目标特征进行目标卷积处理,得到目标图像对应的目标分割结果。
在得到目标图像对应的第二目标特征后,对第二目标特征进行目标卷积处理,得到目标图像对应的目标分割结果。对第二目标特征进行目标卷积处理的过程由目标分割模型的模型结构决定,本申请实施例对此不加以限定。在示例性实施例中,对第二目标特征进行目标卷积处理的方式与对其他特征进行卷积处理的方式不同,对第二目标特征进行目标卷积处理是为了得到能够指示出目标图像中的各个像素点的目标类别的目标分割结果。
示例性地,调用目标分割模型,基于原始图像数据和重建参考数据,获取目标图像对应的目标分割结果的过程如图4所示。在将原始图像数据和重建参考数据输入目标分割模型后,对原始图像数据和重建参考数据的融合数据401进行第一卷积处理,得到目标图像对应的第一卷积特征402;对第一卷积特征402进行第一池化处理,得到目标图像对应的第一池化特征403;对第一池化特征403进行第二卷积处理,得到目标图像对应的第二卷积特征404;对第二卷积特征404进行第二池化处理,得到目标图像对应的第二池化特征405;对第二池化特征405进行第三卷积处理,得到目标图像对应的第三卷积特征406;对第三卷积特征406进行第三池化处理,得到目标图像对应的第一目标特征407。
在得到第一目标特征407后,通过对第一目标特征407进行卷积处理,得到第一目标特征对应的目标卷积特征408。对目标卷积特征408进行第一反卷积处理,得到目标图像对应的第一上采样特征409;对第一上采样特征409和第三卷积特征406的拼接特征进行第四卷积处理,得到目标图像对应的第四卷积特征410。对第四卷积特征410进行第二反卷积处理,得到目标图像对应的第二上采样特征411;对第二上采样特征411和第二卷积特征404的拼接特征进行第五卷积处理,得到目标图像对应的第五卷积特征412。对第五卷积特征412进行第三反卷积处理,得到目标图像对应的第三上采样特征413,对第三上采样特征413和第一卷积特征402的拼接特征进行第六卷积处理,得到目标图像对应的第二目标特征414。在得到第二目标特征414后,对第二目标特征414进行目标卷积处理,得到目标图像对应的目标分割结果415。
需要说明的是,图4中的各个特征上标记的数字表示各个特征的特征维数。例如,第一卷积特征402上标记的数字48表示第一卷积特征402的特征维数为48;第二卷积特征404上标记的数字96表示第二卷积特征404的特征维数为96。需要进一步说明的是,目标分割结果415上标记的数字2表示目标分割结果的维数为2,也就是说,目标分割结果中包括目标图像中的各个像素点分别对应的属于目标树状组织的概率值和不属于目标树状组织的概率值。
在一种可能实现方式中,在获取目标图像对应的目标分割结果之后,还包括:调用目标分类模型,基于原始图像数据和目标分割结果,获取目标重建置信度信息。目标重建置信度信息用于指示基于目标分割结果得到的完整重建结果的可靠性。
示例性地,目标重建置信度信息包括目标分割结果为正确分割结果的概率值和目标分割结果为错误分割结果的概率值,目标分割结果为正确分割结果的概率值和目标分割结果为错误分割结果的概率值的和为1。若目标分割结果为正确分割的概率值不小于目标分割结果为错误分割结果的概率值,则认为基于目标分割结果得到的完整重建结果的可靠性较高;若目标分割结果为正确分割的概率值小于目标分割结果为错误分割结果的概率值,则认为基于目标分割结果确定的完整重建结果的可靠性较低,此时说明基于目标分割结果确定的目标树状组织在目标图像中的完整重建结果可能有误,需要人为纠正。
本申请实施例对目标分类模型的模型结构不加以限定,只要能够根据原始图像数据和目标分割结果确定出目标重建置信度信息即可。示例性地,目标分类模型的模型结构为CNN(Convolutional Neural Network,卷积神经网络)结构。在示例性实施例中,对于目标图像为三维图像的情况,目标分类模型的模型结构为3D-CNN(三维卷积神经网络)结构。示例性地,当目标分类模型的模型结构为3D-CNN结构时,目标分类模型为3D-VGG11(3DVisual Geometry Group 11,三维视觉几何组11)模型。需要说明的是,目标分类模型的模型结构并不局限于此。
在一种可能实现方式中,目标分类模型包括依次连接的至少一个卷积子模型、至少一个全连接子模型和一个置信度预测子模型。此种情况下,参见图5,调用目标分类模型,基于原始图像数据和目标分割结果,获取目标重建置信度信息的过程包括以下步骤501至步骤505。
步骤501:将原始图像数据和目标分割结果输入目标分类模型中的第一个卷积子模型进行处理,得到第一个卷积子模型输出的分类特征。
在示例性实施例中,第一个卷积子模型包括依次连接的至少一个卷积层和一个池化层,将原始图像数据和目标分割结果输入目标分类模型中的第一个卷积子模型进行处理的过程为:基于依次连接的至少一个卷积层和一个池化层对原始图像数据和目标分割结果的融合数据进行处理。本申请实施例对第一卷积子模型中包括的卷积层的数量、每个卷积层的卷积核大小、池化层的类型以及池化层的核大小均不加以限定。例如,第一卷积子模型中包括的卷积层的数量为1个,每个卷积层的卷积和大小为3×3×3,池化层的类型为最大池化层,池化层的核大小为2×2×2。
步骤502:从第二个卷积子模型起,将上一个卷积子模型输出的分类特征输入下一个卷积子模型进行处理,得到下一个卷积子模型输出的分类特征。
在得到第一个卷积子模型输出的分类特征后,将第一个卷积子模型输出的分类特征输入第二个卷积子模型进行处理,得到第二个卷积子模型输出的分类特征,以此类推,直至得到最后一个卷积子模型输出的分类特征。
需要说明的是,本申请实施例对目标分类模型包括的卷积子模型的数量不加以限定,对于目标分类模型包括多个卷积子模型的情况,不同的卷积子模型中包括的卷积层的数量可能相同,也可能不同,本申请实施例对此不加以限定。需要进一步说明的是,本申请实施例对卷积层以及池化层的处理参数的设置方式不加以限定,不同的处理参数能够得到不同维数的特征。
步骤503:将最后一个卷积子模型输出的分类特征输入第一个全连接子模型进行处理,得到第一个全连接子模型输出的全连接特征。
在得到最后一个卷积子模型输出的分类特征后,将最后一个卷积子模型输出的分类特征作为第一个全连接子模型的输入,进而由第一个全连接子模型对最后一个卷积子模型输出的分类特征进行处理,得到第一个全连接子模型输出的全连接特征。
示例性地,第一个全连接子模型包括一个全连接层,通过该全连接层对最后一个卷积子模型输出的分类特征进行处理。本申请实施例对第一全连接子模型包括的全连接层的处理参数的设置方式不加以限定,可以根据经验设置。
步骤504:从第二个全连接子模型起,将上一个全连接子模型输出的全连接特征输入下一个全连接子模型进行处理,得到下一个全连接子模型输出的全连接特征。
在得到第一个全连接子模型输出的全连接特征后,将第一个全连接子模型输出的全连接特征输入第二个全连接子模型进行处理,得到第二个全连接子模型输出的全连接特征,以此类推,直至得到最后一个全连接子模型输出的全连接特征。
需要说明的是,本申请实施例对目标分类模型包括的全连接子模型的数量不加以限定,对于目标分类模型包括多个全连接子模型的情况,不同的全连接子模型中的全连接层的处理参数可能相同,也可能不同,本申请实施例对此不加以限定。
步骤505:将最后一个全连接子模型输出的全连接特征输入置信度预测子模型进行处理,得到置信度预测子模型输出的目标重建置信度信息。
在得到最后一个全连接子模型输出的全连接特征后,将最后一个全连接子模型输出的全连接特征作为置信度预测子模型的输入,进而由置信度预测子模型对最后一个全连接子模型输出的全连接特征进行处理,得到置信度预测子模型输出的目标重建置信度信息。本申请实施例对置信度预测子模型的结构不加以限定,只要能够输出重建置信度信息即可。示例性地,置信度预测子模型包括一个全连接层,通过该全连接层的处理输出目标重建置信度信息。
在示例性实施例中,目标分类模型中所使用的激活函数为ReLU函数。
在示例性实施例中,以目标图像为三维图像为例,如图6所示,目标分类模型包括依次连接的五个卷积子模型、两个全连接子模型和一个置信度预测子模型。五个卷积子模型中的每个卷积子模型中包括的卷积层的数量分别为1、1、2、2和2,每个卷积子模型中均包括一个池化层。示例性地,所有卷积层的卷积核大小均为3×3×3,所有池化层均为核大小为2×2×2的池化层,池化层为最大池化层或者平均池化层等,本申请实施例对此不加以限定。也就是说,第一个卷积子模型601中包括一个卷积层和一个池化层,第二个卷积子模型602中包括一个卷积层和一个池化层,第三个卷积子模型603中包括两个卷积层和一个池化层,第四个卷积子模型604中包括两个卷积层和一个池化层,第五个卷积子模型605中包括两个卷积层和一个池化层。
目标分类模型的输入为具有双通道的三维图像数据(即原始图像数据和目标重建结果),假设目标图像的尺寸为32×32×32,则输入目标分类模型的双通道的三维图像数据的大小为32×32×32×2,目标分类模型的输出为用于指示基于目标分割结果得到的完整重建结果的可靠性高低的目标重建置信度信息。
双通道的三维图像数据经过第一个卷积子模型601中的卷积层后,在每个像素点上会提取64维特征,各个方向上的尺寸会通过池化层下降为原本的1/2,即经过第一卷积子模型的处理后,输出的分类特征的大小为16×16×16×64。此后,每个卷积子模型输出的分类特征的特征维数依次为128、256、512和512。在最后通过两个输出特征维数分别为4096和4096的全连接子模型以及输出特征维数为2的置信度预测子模型的处理后,得到目标重建置信度信息。
在示例性实施例中,对于获取目标分割结果后,无需调用目标分类模型获取目标重建置信度信息的情况,在调用目标分割模型获取目标分割结果之前,需要先训练得到目标分割模型。在一种可能实现方式中,此种情况下,训练得到目标分割模型的过程包括以下步骤1-1和步骤1-2。
步骤1-1:获取至少一个样本图像、至少一个样本图像分别对应的原始样本图像数据、至少一个样本图像分别对应的重建参考样本数据以及至少一个样本图像分别对应的标准分割结果。
样本图像是指用于对分割模型进行训练的图像,一个样本图像对应一个样本树状组织,不同的样本图像可以对应相同的样本树状组织,也可以对应不同的样本树状组织,本申请实施例对此不加以限定。任一样本图像对应的样本树状组织在该任一样本图像中真实的完整重建结果是已知的,将任一样本图像对应的样本树状组织在该任一样本图像中真实的完整重建结果作为该任一样本图像对应的样本树状组织在任一样本图像中的标准完整重建结果。
本申请实施例对样本图像的获取方式不加以限定,只要保证样本图像对应的样本树状组织在该样本图像中的标准完整重建结果已知即可。
在示例性实施例中,样本图像为整个图像中的局部图像,样本图像的尺寸为32×32×32。在确定出样本图像后,能够直接获取样本图像对应的原始样本图像数据。
任一样本图像对应的重建参考样本数据用于为调用分割模型获取该任一样本图像的预测分割结果提供数据参考。示例性地,任一样本图像对应的重建参考样本数据基于该任一样本图像对应的样本树状组织在该任一样本图像中的标准完整重建结果中的局部重建结果确定。
保留任一样本图像对应的样本树状组织在任一样本图像中的标准完整重建结果中的局部重建结果,基于该保留的局部重建结果,确定任一样本图像对应的重建参考样本数据。标准完整重建结果能够指示出全部属于任一样本图像对应的样本树状组织的像素点,保留的局部重建结果能够指示出部分属于任一样本图像对应的样本树状组织的像素点,利用保留的部分属于任一样本图像对应的样本树状组织的像素点能够为调用分割模型实现在样本树状组织的重建过程提供数据参考。
本申请实施例对保留的局部重建结果与标准完整重建结果的关系不加以限定,示例性地,保留的局部重建结果指示出的部分属于任一样本图像对应的样本树状组织的像素点为标准完整重建结果指示出的全部属于任一样本图像对应的样本树状组织的像素点中的前参考数量个像素点。示例性地,全部属于任一样本图像对应的样本树状组织的像素点中的前参考数量个像素点是指全部属于任一样本图像对应的样本树状组织的像素点中的距离样本图像的起始像素点距离最近的前参考数量个像素点。参考数量根据经验设置,或者根据全部属于任一样本图像对应的样本树状组织的像素点的数量灵活调整,本申请实施例对此不加以限定。示例性地,参考数量为全部属于任一样本图像对应的样本树状组织的像素点的数量的一半。
基于任一样本图像对应的样本树状组织在任一样本图像中的标准完整重建结果中的局部重建结果,确定任一样本图像对应的重建参考样本数据的方式参见步骤201中获取目标图像对应的重建参考数据的方式,此处不再赘述。
任一样本图像对应的标准分割结果用于指示任一样本图像中的各个像素点分别对应的标准类别,任一像素点对应的标准类别用于指示该任一像素点实际上是否属于该任一样本图像对应的样本树状组织。任一样本图像对应的标准分割结果能够基于任一样本图像对应的样本树状组织在任一样本图像中的标准完整重建结果直接确定。
步骤1-2:基于至少一个样本图像分别对应的原始样本图像数据、至少一个样本图像分别对应的重建参考样本数据以及至少一个样本图像分别对应的标准分割结果对初始分割模型进行监督训练,得到目标分割模型。
初始分割模型是指需要进行训练的分割模型,目标分割模型是指训练好的分割模型。在一种可能实现方式中,基于至少一个样本图像分别对应的原始样本图像数据、至少一个样本图像分别对应的重建参考样本数据以及至少一个样本图像分别对应的标准分割结果对初始分割模型进行监督训练,得到目标分割模型的过程为:1、调用初始分类模型,基于至少一个样本图像中的目标样本图像对应的原始样本图像数据和重建参考样本数据,获取目标样本图像对应的预测分割结果,目标样本图像为至少一个样本图像中用于更新一次分类模型的参数的样本图像;2、基于目标样本图像对应的预测分割结果和目标样本图像对应的标准分割结果,确定目标损失函数,基于目标损失函数反向更新初始分类模型的参数,得到更新参数后的分类模型;3、响应于不满足参数更新终止条件,基于更新参数后的分类模型执行步骤1和步骤2,直至满足参数更新终止条件,得到目标分类模型。
需要说明的是,基于更新参数后的分类模型执行步骤1和步骤2的过程中利用的目标样本图像可以与基于初始分类模型执行步骤1和步骤2的过程中利用的目标样本图像相同,也可以不同,本申请实施例对此不加以限定。每次执行步骤1和步骤2的过程中利用的目标样本图像的数量可以为一个或多个,本申请实施例对此不加以限定。在示例性实施例中,每次执行步骤1和步骤2的过程中利用的目标样本图像的数量相同。
在一种可能实现方式中,满足参数更新终止条件包括但不限于以下任一种:目标损失函数收敛、目标损失函数小于参考损失阈值、参数更新次数达到次数阈值。在示例性实施例中,在训练分类模型的过程中,每次利用各个样本图像中的小批量样本图像更新一次模型参数,当全部样本图像均参与一次模型参数的更新时,完成一次完整训练(即一次epoch(时期)),此种情况下,满足参数更新终止条件还包括:完整训练的次数达到指定阈值。例如,指定阈值为50。
在示例性实施例中,基于目标样本图像对应的预测分割结果和目标样本图像对应的标准分割结果,确定目标损失函数的过程基于公式1实现。
需要说明的是,确定目标损失函数的方式还可以基于其他方式实现,本申请实施例对此不加以限定。
在示例性实施例中,对于获取目标分割结果后,还调用目标分类模型获取目标重建置信度信息的情况,除了需要获取训练得到的目标分割模型外,还需要获取训练得到的目标分类模型。需要说明的是,目标分割模型和目标分类模型可以通过对抗训练的方式统一训练得到,也可分开训练得到,本申请实施例对此不加以限定。
在一种可能实现方式中,对于目标分割模型和目标分类模型通过对抗训练的方式统一训练得到的情况,训练得到目标分割模型和目标分类模型的过程包括以下步骤2-1和步骤2-2。
步骤2-1:获取至少一个样本图像、至少一个样本图像分别对应的原始样本图像数据、至少一个样本图像分别对应的重建参考样本数据以及至少一个样本图像分别对应的标准分割结果。
此步骤2-1的实现方式参见上述步骤1-1,此处不再赘述。
步骤2-2:基于至少一个样本图像分别对应的原始样本图像数据、至少一个样本图像分别对应的重建参考样本数据以及至少一个样本图像分别对应的标准分割结果对初始分割模型和初始分类模型进行对抗训练,得到目标分割模型和目标分类模型。
初始分割模型是指需要训练的分割模型,初始分类模型是指需要训练的分类模型;目标分割模型是指训练好的分割模型,目标分类模型是指训练好的分类模型。在一种可能实现方式中,该步骤2-2的实现过程包括以下步骤2-2a至步骤2-2g。
2-2a:调用初始分割模型,基于至少一个样本图像中的第一样本图像对应的原始样本图像数据和第一样本图像对应的重建参考样本数据,获取第一样本图像对应的预测分割结果。
第一样本图像是指至少一个样本图像中用于在一次对抗训练中更新一次分类模型的参数的样本图像。第一样本图像的数量可以为一个或多个,本申请实施例对此不加以限定。该步骤2-2a的实现过程参见步骤202中调用目标分割模型获取目标图像对应的目标分割结果的过程,此处不再赘述。
2-2b:调用初始分类模型,基于第一样本图像对应的原始样本图像数据和第一样本图像对应的预测分割结果,获取第一重建置信度信息;基于第一样本图像对应的原始样本图像数据和第一样本图像对应的标准分割结果,获取第二重建置信度信息。
第一重建置信度信息是指初始分类模型基于第一样本图像对应的原始样本图像数据和第一样本图像对应的预测分割结果预测的用于指示根据第一样本图像对应的预测分割结果得到的重建结果的可靠性高低的信息;第二重建置信度信息是指初始分类模型基于第一样本图像对应的原始样本图像数据和第一样本图像对应的标准分割结果预测的用于指示根据第一样本图像对应的标准分割结果得到的重建结果的可靠性高低的信息。
示例性地,第一重建置信度信息包括第一样本图像对应的预测分割结果为正确分割结果的概率值和第一样本图像对应的预测分割结果为错误分割结果的概率值;第二重建置信度信息包括第一样本图像对应的标准分割结果为正确分割结果的概率值和第一样本图像对应的标准分割结果为错误分割结果的概率值。
此步骤2-2b的实现过程参见步骤202中调用目标分类模型获取目标置信度信息的过程,此处不再赘述。
2-2c:基于第一重建置信度信息和第二重建置信度信息,确定第一损失函数;基于第一损失函数更新初始分类模型的参数;响应于初始分类模型的参数的更新过程满足第一终止条件,得到第一分类模型。
示例性地,基于第一重建置信度信息和第二重建置信度信息,确定第一损失函数的过程基于公式2实现。
其中,表示第一损失函数;z表示第一样本图像对应的重建参考样本数据;I表示第一样本图像对应的原始样本图像数据;表示第一样本图像对应的预测分割结果;表示第一重建置信度信息中包括的第一样本图像对应的预测分割结果为正确分割结果的概率值;y表示第一样本图像对应的标准分割结果;表示第二重建置信度信息中包括的第一样本图像对应的标准分割结果为正确分割结果的概率值。
在基于第一损失函数更新初始分类模型的参数的过程中,更新目标为最大化第一损失函数,也就是说,更新目标为使分类模型将第一样本图像对应的标准分割结果为正确分割结果的概率值尽量预测为1,将第一样本图像对应的预测分割结果为正确分割结果的概率值尽量预测为0。
需要说明的是,在基于第一损失函数更新初始分类模型的参数的过程中,初始分割模型的参数保持不变。
在基于第一损失函数更新一次初始分类模型的参数后,判断初始分类模型的参数的更新过程是否满足第一终止条件。当初始分类模型的参数的更新过程满足第一终止条件时,得到第一分类模型,进而执行后续的步骤2-2d。当初始分类模型的参数的更新过程不满足第一终止条件时,继续基于上述步骤2-2a至步骤2-2c的步骤对初始分类模型的参数进行再次更新,直至初始分类模型的参数的更新过程满足第一终止条件,再执行后续的步骤2-2d。
在示例性实施例中,初始分类模型的参数的更新过程满足第一终止条件是指初始分类模型的参数的更新次数达到第一阈值。第一阈值根据经验设置或者根据应用场景灵活调整,本申请实施例对此不加以限定。
当初始分类模型的参数的更新过程满足第一终止条件时,完成一次对抗训练中对分类模型的训练。一次完整的对抗训练除包括对分类模型的训练外,还包括对分割模型的训练,一次完整的对抗训练中对分割模型的训练基于后续步骤2-2d至步骤2-2f实现。
2-2d:调用初始分割模型,基于至少一个第一样本图像中的第二样本图像对应的原始样本图像数据和第二样本图像对应的重建参考样本数据,获取第二样本图像对应的预测分割结果。
第二样本图像是指至少一个样本图像中用于在一次对抗训练中更新一次分割模型的参数的样本图像。第二样本图像可以与第一样本图像相同,也可以与第一样本图像不同,本申请实施例对此不加以限定。此外,第二样本图像的数量可以为一个或多个。该步骤2-2d的实现过程参见步骤202中调用目标分割模型获取目标图像对应的目标分割结果的过程,此处不再赘述。
2-2e:调用第一分类模型,基于第二样本图像对应的原始样本图像数据和第二样本图像对应的预测分割结果,获取第三重建置信度信息。
第三重建置信度信息是指第一分类模型基于第二样本图像对应的原始样本图像数据和第二样本图像对应的预测分割结果预测的用于指示根据第二样本图像对应的预测分割结果得到的重建结果的可靠性高低的信息。示例性地,第三重建置信度信息包括第二样本图像对应的预测分割结果为正确分割结果的概率值和第二样本图像对应的预测分割结果为错误分割结果的概率值。此步骤2-2e的实现过程参见步骤202中调用目标分类模型获取目标置信度信息的过程,此处不再赘述。
2-2f:基于第三重建置信度信息、第二样本图像对应的预测分割结果和第二样本图像对应的标准分割结果,确定第二损失函数;基于第二损失函数更新初始分割模型的参数;响应于初始分割模型的参数的更新过程满足第二终止条件,得到第一分割模型。
示例性地,基于第三重建置信度信息、第二样本图像对应的预测分割结果和第二样本图像对应的标准分割结果,确定第二损失函数的过程基于公式3实现。
其中,表示第二损失函数;z表示第二样本图像对应的重建参考样本数据;I表示第二样本图像对应的原始样本图像数据;表示第二样本图像对应的预测分割结果;y表示第二样本图像对应的标准分割结果;表示第三重建置信度信息中包括的第二样本图像对应的预测分割结果为正确分割结果的概率值。
在基于第二损失函数更新初始分割模型的参数的过程中,更新目标为最小化第二损失函数,也就是说,更新目标为使分类模型将第二样本图像对应的预测分割结果为正确分割结果的概率值尽量预测为1,使分割模型预测的预测分割结果尽量接近标准分割结果。
基于公式3确定的第二损失函数,不仅利用分类模型的反馈来训练分割模型,还利用标准重建结果的约束来训练分割模型,有利于提高分割模型的训练精度。
需要说明的是,在基于第二损失函数更新初始分割模型的参数的过程中,第一分类模型的参数保持不变。
在基于第二损失函数更新一次初始分割模型的参数后,判断初始分割模型的参数的更新过程是否满足第二终止条件。当初始分割模型的参数的更新过程满足第二终止条件时,得到第一分割模型,进而执行后续的步骤2-2g。当初始分割模型的参数的更新过程不满足第二终止条件时,继续基于上述步骤2-2d至步骤2-2f的步骤对初始分割模型的参数进行再次更新,直至初始分割模型的参数的更新过程满足第二终止条件,再执行后续的步骤2-2g。
在示例性实施例中,初始分割模型的参数的更新过程满足第二终止条件是指初始分割模型的参数的更新次数达到第二阈值。第二阈值根据经验设置或者根据应用场景灵活调整,本申请实施例对此不加以限定。第二阈值与第一阈值相同,或者与第一阈值不同,本申请实施例对此不加以限定。
当初始分割模型的参数的更新过程满足第二终止条件时,完成一次完整的对抗训练中对分类模型的训练。完成一次完整的对抗训练后,得到第一分类模型和第一分割模型。
2-2g:响应于对抗训练过程不满足目标终止条件,继续对第一分类模型和第一分割模型进行对抗训练,直至对抗训练过程满足目标终止条件,得到目标分类模型和目标分割模型。
在得到第一分类模型和第一分割模型,即完成一次完整的对抗训练后,判断对抗训练过程是否满足目标终止条件。当对抗训练过程满足目标终止条件时,直接将第一分割模型作为目标分割模型,将第一分类模型作为目标分类模型。
当对抗训练过程不满足目标终止条件时,继续基于步骤2-2a至步骤2-2f对第一分类模型和第二分割模型进行对抗训练,直至对抗训练过程满足目标终止条件,将满足目标终止条件时得到的分割模型作为目标分割模型,将满足目标终止条件时得到的分类模型作为目标分类模型。
在示例性实施例中,对抗过程满足目标终止条件包括但不限于以下任一种:对抗训练的次数达到第三阈值;指定损失函数收敛;指定损失函数不大于指定损失阈值。其中,指定损失函数是指在一次完整对抗训练完成时的第二损失函数。
示例性地,在基于对抗训练的方式得到目标分类模型和目标分割模型的过程中,分割模型和分类模型构成一个GAN(Generative Adversary Network,生成对抗网络)网络框架。分割模型的输入为原始样本图像数据和重建参考样本数据,输出为样本图像对应的预测分割结果;分类模型的输入为原始样本图像数据、标准分割结果和分割网络输出的预测分割结果,输出为重建置信度信息。基于预测分割结果确定的重建置信度信息包括的预测分割结果为正确分割结果的概率值越接近于0,说明分类模型认为基于分割模型预测的分割结果得到的重建结果的可靠性越差;基于预测分割结果确定的重建置信度信息包括预测分割结果为正确分割结果的概率越接近于1,说明分类模型认为基于分割模型预测的分割结果得到重建结果的可靠性越高。通过此种GAN网络框架,不仅能够提供分割模型的分割精度,还能够给出较为精准的重建置信度信息,从而能够帮助研究人员快速定位可能重建错误的区域。
示例性地,利用D代表分类模型,利用G代表分割模型,I代表原始样本图像数据,y代表标准分割结果,z表示重建参考样本数据,则对抗训练分类模型和分割模型的整体优化函数表示为公式4。
公式4中涉及的参数的含义参见公式2和公式3。在基于公式4所示的整体优化函数进行对抗训练的过程中,先固定分割模型G的参数,更新分类模型D的参数,以使分类模型D将基于预测分割结果确定的重建置信度信息包括的预测分割结果为正确分割结果的概率值尽量接近于0,将基于标准分割结果确定的重建置信度信息包括标准分割结果为正确分割结果的概率尽量接近于1。然后固定分类模型D的参数,更新分割模型G的参数,以使分割模型G预测的预测分割结果尽量接近标准分割结果,能够使分类模型D将基于预测分割结果确定的重建置信度信息包括的预测分割结果为正确分割结果的概率值接近1。
需要说明的是,以上所述仅为训练得到目标分类模型和目标分割模型的方式的一种示例性描述,本申请实施例并不局限于此。示例性地,目标分割模型和目标分类模型还可以通过分开训练的方式得到,只要能够保证目标分割模型能够基于原始图像数据和重建参考数据预测出精准的分割结果,保证目标分类模型能够基于原始图像数据和分割结果预测出精准的重建置信度信息即可。
在示例性实施例中,本申请实施例在训练过程中采用基于Adam(一种随机优化算法)优化算法的梯度下降法更新模型的参数。Adam中的betas(衰减)=(0.95,0.9995),即一阶矩估计的指数衰减率为0.95,二阶矩估计的指数衰减率为0.995。不使用weight decay(权重衰减)。训练时,初始学习率设置为0.10001,每经过10个epoch缩小为原来的十分之一,总共训练50个epoch。为了避免过拟合,在任两个全连接层中间加入drop out(退出)层,drop out rate(退出率)设为0.5,即在每次迭代的时候,只有随机挑选的50%的特征被用于训练。
在步骤203中,基于目标分割结果,在目标图像中对目标树状组织进行重建,得到目标树状组织在目标图像中的完整重建结果。
目标分割结果能够指示出目标图像中的各个像素点是否属于目标树状组织,在得到目标分割结果后,能够基于目标分割结果,在目标图像中对目标树状组织进行自动重建,将重建后得到的结果作为目标树状组织在目标图像中的完整重建结果。
在一种可能实现方式中,基于目标分割结果,在目标图像中对目标树状组织进行重建的方式包括但不限于以下两种。
方式一:直接基于目标分割结果,在目标图像中对目标树状组织进行重建。
在此种方式一下,直接基于目标分割结果指示的各个像素点的目标类别,确定全部属于目标树状组织的像素点,每个属于目标树状组织的像素点均对应目标树状组织的一个节点。直接根据全部属于目标树状组织的像素点,在目标图像中标记出目标树状组织的节点,以实现直接基于目标分割结果在目标图像中对目标树状组织进行重建的过程。在示例性实施例中,除了在目标图像中标记出目标树状组织的节点外,还标记出目标树状组织的节点之间的连接关系,以实现直接基于目标分割结果在目标图像中对目标树状组织进行重建的过程。
需要说明的是,当目标树状组织为目标神经元时,目标树状组织的节点是指目标神经元的神经元节点;当目标树状组织为目标血管时,目标树状组织的节点是指目标血管的血管节点。
方式二:基于目标分割结果和目标树状组织在目标图像中的局部重建结果,在目标图像中对目标树状组织进行重建。
在此种方式二下,基于目标分割结果,在目标树状组织在目标图像中的局部重建结果的基础上,实现在目标图像中对目标树状组织进行重建的过程。基于此,在目标图像中对目标树状组织进行重建的过程相当于对目标树状组织在目标图像中的局部重建结果指示的标记结果进行补充的过程。
在一种可能实现方式中,基于目标分割结果和目标树状组织在目标图像中的局部重建结果,在目标图像中对目标树状组织进行重建的过程为:基于目标分割结果,确定全部属于目标树状组织的像素点;基于目标树状组织在目标图像中的局部重建结果,确定已重建像素点;在目标树状组织在目标图像中的局部重建结果指示的标记结果的基础上,基于全部属于目标树状组织的像素点中除已重建像素点外的其他像素点,在目标图像中标记出目标树状组织的其他节点。在示例性实施例中,除在目标图像中标记出目标树状组织的其他节点外,还标记出其他节点之间的连接关系。
无论基于上述哪种方式进行重建,在完成在目标图像中对目标树状组织进行重建的过程之后,均能够得到目标标记结果,该目标标记结果为目标树状组织在目标图像中的完整标记结果。在得到目标标记结果后,基于目标标记结果,获取目标树状组织在目标图像中的完整重建结果。在示例性实施例中,基于目标标记结果,获取目标树状组织在目标图像中的完整重建结果的方式为:将包括目标标记结果的目标图像作为目标树状组织在目标图像中的完整重建结果。在另一种示例性实施例中,基于目标标记结果,得到目标树状组织在目标图像中的完整重建结果的方式为:基于目标标记结果,确定目标树状组织的各个节点的相关数据,将包括各个节点的相关数据的文件作为目标树状组织在目标图像中的完整重建结果。
在示例性实施例中,目标树状组织可能为目标神经元,也可能为目标血管,本申请实施例以目标树状组织为目标神经元为例进行说明。当目标树状组织为目标神经元时,任一像素点的目标类别用于指示该任一像素点属于目标神经元或者任一像素点不属于目标神经元。在此种情况下,基于目标分割结果,在目标图像中对目标树状组织进行重建,得到目标树状组织在目标图像中的完整重建结果的过程包括:基于目标分割结果,在目标图像中的各个像素点中确定属于目标神经元的目标像素点;基于目标像素点,在目标图像中标记出目标神经元的神经元节点以及目标神经元的神经元节点之间的连接关系,得到目标标记结果;基于目标标记结果,获取目标神经元在目标图像中的完整重建结果。
目标像素点是指目标图像中的各个像素点中全部属于目标神经元的像素点。在一种可能实现方式中,基于目标像素点,在目标图像中标记出目标神经元的神经元节点以及目标神经元的神经元节点之间的连接关系,得到目标标记结果的实现方式为:直接根据目标像素点,在目标图像中标记出目标神经元的全部神经元节点以及目标神经元的全部神经元节点之间的连接关系,得到目标标记结果。
在另一种可能实现方式中,基于目标像素点,在目标图像中标记出目标神经元的神经元节点以及目标神经元的神经元节点之间的连接关系,得到目标标记结果的实现方式为:基于目标神经元在目标图像中的局部重建结果,确定已重建像素点;在目标神经元在目标图像中的局部重建结果指示的标记结果的基础上,基于目标像素点中除已重建像素点外的其他像素点,在目标图像中标记出目标神经元的其他神经元节点以及其他神经元节点之间的连接关系,得到目标标记结果。
在示例性实施例中,对图像中的树状组织进行重建的过程如图7所示。将目标图像对应的原始图像数据和重建参考数据输入目标分割模型进行处理,得到目标分割模型输出的目标图像对应的目标分割结果;将目标图像对应的目标分割结果和目标图像对应的原始图像数据输入目标分类模型进行处理,得到目标分类模型输出的目标重建置信度信息;基于目标图像对应的目标分割结果,在目标图像中对目标树状组织进行重建,得到目标树状组织在目标图像中的完整重建结果。根据目标重建置信度信息评判目标树状组织在目标图像中的完整重建结果的可靠性高低,进而由研究人员对可靠性较低的完整重建结果进行修正。
在示例性实施例中,目标树状组织在目标图像中的完整重建结果指示的标记结果相比于目标树状组织在目标图像中的局部重建结果指示的标记结果增加了新的节点。示例性地,不包括任何标记结果的目标图像、包括目标树状组织在目标图像中的部分重建结果指示的标记结果的目标图像以及包括目标树状组织在目标图像中的完整重建结果指示的标记结果的目标图像的示意图分别如图8的(1)、图8中的(2)和图8中的(3)所示。图8中的(3)所示的目标图像中标记出的节点的数量比图8中的(2)所示的目标图像中标记出的节点的数量多。
在一种可能实现方式中,目标图像为包括完整目标树状组织的初始图像中与目标树状组织对应的起始局部图像,也就是说,目标图像中包括完整目标树状组织中的起始部分。此种情况下,在得到目标树状组织在目标图像中的完整重建结果之后,还包括以下步骤204至步骤205。
步骤204:响应于目标树状组织在目标图像中的完整重建结果不满足重建终止条件,基于目标树状组织在目标图像中的完整重建结果,在初始图像中获取与目标树状组织对应的下一个局部图像;获取目标树状组织在下一个局部图像中的完整重建结果。
在得到目标树状组织在目标图像中的完整重建结果之后,判断目标树状组织在目标图像中的完整重建结果是否满足重建终止条件。判断目标树状组织在目标图像中的完整重建结果是否满足重建终止条件的方式根据经验设置,或者根据应用场景灵活调整,本申请实施例对此不加以限定。
在示例性实施例中,判断目标树状组织在目标图像中的完整重建结果是否满足重建终止条件的方式为:响应于目标树状组织在目标图像中的完整重建结果中不存在除目标树状组织在目标图像中的局部重建结果外的补充重建结果,确定目标树状组织在目标图像中的完整重建结果满足重建终止条件;响应于目标树状组织在目标图像中的完整重建结果中存在除目标树状组织在目标图像中的局部重建结果外的补充重建结果,确定目标树状组织在目标图像中的完整重建结果不满足重建终止条件。
若目标树状组织在目标图像中的完整重建结果不满足重建终止条件,说明需要继续对目标树状组织进行重建,才能得到目标树状组织在初始图像中的完整重建结果,对目标树状组织继续进行重建的方式为:基于目标树状组织在目标图像中的完整重建结果,在初始图像中获取与目标树状组织对应的下一个局部图像;获取目标树状组织在下一个局部图像中的完整重建结果。
在示例性实施例中,基于目标树状组织在目标图像中的完整重建结果,在初始图像中获取与目标树状组织对应的下一个局部图像的方式为:确定目标树状组织在目标图像中的完整重建结果指示出的各个属于目标树状组织的像素点中距离初始图像的起始像素点最远的像素点作为指定像素点,以该指定像素点为中心点,截取目标尺寸的图像作为下一个局部图像。
获取目标树状组织在下一个局部图像中的完整重建结果的过程参见步骤201至步骤203中所述的获取目标树状组织在目标图像中的完整重建结果的过程,此处不再赘述。
在示例性实施例中,在确定目标树状组织在目标图像中的完整重建结果满足重建终止条件时,直接基于目标树状组织在目标图像中的完整重建结果,获取目标图像在初始图像中的完整重建结果。由于目标图像为目标树状组织在初始图像中对应的起始图像,所以此时直接将目标树状组织在目标图像中的完整重建结果作为目标树状组织在初始图像中的完整重建结果。
步骤205:响应于目标树状组织在下一个局部图像中的完整重建结果满足重建终止条件,基于已获取的目标树状组织在各个局部图像中的完整重建结果,获取目标树状组织在初始图像中的完整重建结果。
在获取目标树状组织在下一个局部图像中的完整重建结果之后,判断目标树状组织在下一个局部图像中的完整重建结果是否满足重建终止条件,当目标树状组织在下一个局部图像中的完整重建结果满足重建终止条件时,基于已获取的目标树状组织在各个局部图像中的完整重建结果,获取目标树状组织在初始图像中的完整重建结果。
目标树状组织在初始图像中的完整重建结果是指在初始图像中将目标树状组织完整标记出来后得到的结果。已获取的目标树状组织在各个局部图像中的完整重建结果均能够指示出在初始图像中标记出的局部的目标树状组织,需要说明的是,目标树状组织在相邻的两个局部图像中的完整重建结果可能存在重叠部分。
在一种可能实现方式中,基于已获取的目标树状组织在各个局部图像中的完整重建结果,获取目标树状组织在初始图像中的完整重建结果的方式为:将已获取的目标树状组织在各个局部图像中的完整重建结果按照各个局部图像之间的关联关系进行合并处理,得到目标树状组织在初始图像中的完整重建结果。
当目标树状组织在下一个局部图像中的完整重建结果不满足重建终止条件时,继续基于目标树状组织在下一个局部图像中的完整重建结果,在初始图像中获取与目标树状组织对应的再下一个局部图像,以及获取目标树状组织在再下一下局部图像中的完整重建结果,以此类推,直至目标树状组织在某个局部图像中的完整重建结果满足重建终止条件,基于已获取的目标树状组织在各个局部图像中的完整重建结果,获取目标树状组织在初始图像中的完整重建结果。
在一种可能实现方式中,在获取目标树状组织在初始图像中的完整重建结果后,将目标树状组织在初始图像中的完整重建结果进行存储,以便于研究人员直接提取并进行进一步的研究。本申请实施例对存储目标树状组织在初始图像中的完整重建结果的方式不加以限定。
在示例性实施例中,以树状组织为神经元为例,神经元的重建是基于显微镜下高分辨率的大脑三维图像进行的,重建后的神经元的某一维长度可达数千像素,即使只截取神经元所在区域的图像也会占用上T(容量单位)的空间,而单个神经元只占了图像中极小的位置,基于此,使用SWC(文件类型的名称)文件存储神经元的完整重建结果。每个SWC文件代表一个神经元,SWC文件中的每行代表神经元中的一个神经元节点。
例如,用于存储神经元的完整重建结果的SWC文件如图9所示,在图9所示的SWC文件中,包括神经元节点在图像中的坐标(x,y,z),神经元节点的类型,神经元节点的半径(r)、神经元节点的编号(id)及神经元节点的父节点的编号(pid)。神经元节点的编号(id)及神经元节点的父节点的编号(pid)能够体现神经元节点之间的连接关系。需要说明的是,对于神经元而言,神经元节点的类型为轴突或树突,在存储神经元节点的类型时可以利用数字标识代替具体的类型。在示例性实施例中,基于存储神经元的完整重建结果的SWC文件能够生成如图10所示的三维点云数据。
在本申请实施例中,根据树状组织的局部重建结果指示出的已有重建节点中的最后一个节点为中心点,截取一张较小的图像(例如,32×32×32),根据截取的图像对应的原始图像数据以及重建参考数据,预测树状组织的后续的节点,进而根据后续的节点来截取下一张图像,继续补全,直至树状组织完整重建出来。预测后的分割结果能够输入到分类模型中获取重建置信度,以判断基于分割结果得到的重建结果是否可靠。基于本申请实施例提供的方法,能够实现树状组织的自动重建,能够提升重建的速度和精度,此外,还能给出分割结果的重建置信度信息,以便帮助研究人员判定重建是否可靠,并迅速定位可能出错、需要人工修正的图像区域。
在本申请实施例中,先基于目标图像对应的原始图像数据和重建参考数据自动获取目标图像对应的目标分割结果,然后基于目标分割结果自动得到目标树状组织在目标图像中的完整重建结果。基于此种过程,能够实现对树状组织的自动重建,树状组织的重建过程无需依赖人工,有利于提高对图像中的树状组织进行重建的效率,得到的树状组织的重建结果的可靠性较高。
参见图11,本申请实施例提供了一种对图像中的树状组织进行重建的装置,该装置包括:
第一获取单元1101,用于获取目标树状组织对应的目标图像、目标图像对应的原始图像数据以及目标图像对应的重建参考数据,重建参考数据基于目标树状组织在目标图像中的局部重建结果确定;
第二获取单元1102,用于调用目标分割模型,基于原始图像数据和重建参考数据,获取目标图像对应的目标分割结果,目标分割结果用于指示目标图像中的各个像素点的目标类别,任一像素点的目标类别用于指示任一像素点属于目标树状组织或者任一像素点不属于目标树状组织;
重建单元1103,用于基于目标分割结果,在目标图像中对目标树状组织进行重建,得到目标树状组织在目标图像中的完整重建结果。
在一种可能实现方式中,第二获取单元1102,用于调用目标分割模型,基于原始图像数据和重建参考数据的融合数据,依次执行第一参考数量次下采样处理,得到目标图像对应的第一目标特征;基于第一目标特征对应的目标卷积特征,依次执行第一参考数量次上采样处理,得到目标图像对应的第二目标特征;对第二目标特征进行目标卷积处理,得到目标图像对应的目标分割结果。
在一种可能实现方式中,第一参考数量次为三次,任一次下采样处理包括一次卷积处理和一次池化处理;第二获取单元1102,还用于对原始图像数据和重建参考数据的融合数据进行第一卷积处理,得到目标图像对应的第一卷积特征;对第一卷积特征进行第一池化处理,得到目标图像对应的第一池化特征;对第一池化特征进行第二卷积处理,得到目标图像对应的第二卷积特征;对第二卷积特征进行第二池化处理,得到目标图像对应的第二池化特征;对第二池化特征进行第三卷积处理,得到目标图像对应的第三卷积特征;对第三卷积特征进行第三池化处理,得到目标图像对应的第一目标特征。
在一种可能实现方式中,任一次上采样处理包括一次反卷积处理和一次卷积处理;第二获取单元1102,还用于对第一目标特征对应的目标卷积特征进行第一反卷积处理,得到目标图像对应的第一上采样特征;对第一上采样特征和第三卷积特征的拼接特征进行第四卷积处理,得到目标图像对应的第四卷积特征;对第四卷积特征进行第二反卷积处理,得到目标图像对应的第二上采样特征;对第二上采样特征和第二卷积特征的拼接特征进行第五卷积处理,得到目标图像对应的第五卷积特征;对第五卷积特征进行第三反卷积处理,得到目标图像对应的第三上采样特征;对第三上采样特征和第一卷积特征的拼接特征进行第六卷积处理,得到目标图像对应的第二目标特征。
在一种可能实现方式中,参见图12,该装置还包括:
第三获取单元1104,用于调用目标分类模型,基于原始图像数据和目标分割结果,获取目标重建置信度信息。
在一种可能实现方式中,目标分类模型包括依次连接的至少一个卷积子模型、至少一个全连接子模型和一个置信度预测子模型;第三获取单元1104,用于将原始图像数据和目标分割结果输入目标分类模型中的第一个卷积子模型进行处理,得到第一个卷积子模型输出的分类特征;从第二个卷积子模型起,将上一个卷积子模型输出的分类特征输入下一个卷积子模型进行处理,得到下一个卷积子模型输出的分类特征;将最后一个卷积子模型输出的分类特征输入第一个全连接子模型进行处理,得到第一个全连接子模型输出的全连接特征;从第二个全连接子模型起,将上一个全连接子模型输出的全连接特征输入下一个全连接子模型进行处理,得到下一个全连接子模型输出的全连接特征;将最后一个全连接子模型输出的全连接特征输入置信度预测子模型进行处理,得到置信度预测子模型输出的目标重建置信度信息。
在一种可能实现方式中,第一获取单元1101,还用于获取至少一个样本图像、至少一个样本图像分别对应的原始样本图像数据、至少一个样本图像分别对应的重建参考样本数据以及至少一个样本图像分别对应的标准分割结果;
参见图12,该装置还包括:
训练单元1105,用于基于至少一个样本图像分别对应的原始样本图像数据、至少一个样本图像分别对应的重建参考样本数据以及至少一个样本图像分别对应的标准分割结果对初始分割模型进行监督训练,得到目标分割模型。
在一种可能实现方式中,第一获取单元1101,还用于获取至少一个样本图像、至少一个样本图像分别对应的原始样本图像数据、至少一个样本图像分别对应的重建参考样本数据以及至少一个样本图像分别对应的标准分割结果;
训练单元1105,还用于基于至少一个样本图像分别对应的原始样本图像数据、至少一个样本图像分别对应的重建参考样本数据以及至少一个样本图像分别对应的标准分割结果对初始分割模型和初始分类模型进行对抗训练,得到目标分割模型和目标分类模型。
在一种可能实现方式中,训练单元1105,还用于调用初始分割模型,基于至少一个样本图像中的第一样本图像对应的原始样本图像数据和第一样本图像对应的重建参考样本数据,获取第一样本图像对应的预测分割结果;调用初始分类模型,基于第一样本图像对应的原始样本图像数据和第一样本图像对应的预测分割结果,获取第一重建置信度信息;基于第一样本图像对应的原始样本图像数据和第一样本图像对应的标准分割结果,获取第二重建置信度信息;基于第一重建置信度信息和第二重建置信度信息,确定第一损失函数;基于第一损失函数更新初始分类模型的参数;响应于初始分类模型的参数的更新过程满足第一终止条件,得到第一分类模型;调用初始分割模型,基于至少一个第一样本图像中的第二样本图像对应的原始样本图像数据和第二样本图像对应的重建参考样本数据,获取第二样本图像对应的预测分割结果;调用第一分类模型,基于第二样本图像对应的原始样本图像数据和第二样本图像对应的预测分割结果,获取第三重建置信度信息;基于第三重建置信度信息、第二样本图像对应的预测分割结果和第二样本图像对应的标准分割结果,确定第二损失函数;基于第二损失函数更新初始分割模型的参数;响应于初始分割模型的参数的更新过程满足第二终止条件,得到第一分割模型;响应于对抗训练过程不满足目标终止条件,继续对第一分类模型和第一分割模型进行对抗训练,直至对抗训练过程满足目标终止条件,得到目标分类模型和目标分割模型。
在一种可能实现方式中,第一获取单元1101,还用于响应于目标树状组织在目标图像中的完整重建结果不满足重建终止条件,基于目标树状组织在目标图像中的完整重建结果,在初始图像中获取与目标树状组织对应的下一个局部图像;获取目标树状组织在下一个局部图像中的完整重建结果;响应于目标树状组织在下一个局部图像中的完整重建结果满足重建终止条件,基于已获取的目标树状组织在各个局部图像中的完整重建结果,获取目标树状组织在初始图像中的完整重建结果。
在一种可能实现方式中,目标树状组织为目标神经元,目标图像从包含目标神经元的大脑三维图像中获取得到。
在一种可能实现方式中,任一像素点的目标类别用于指示任一像素点属于目标神经元或者任一像素点不属于目标神经元;
重建单元1103,用于基于目标分割结果,在目标图像中的各个像素点中确定属于目标神经元的目标像素点;基于目标像素点,在目标图像中标记出目标神经元的神经元节点以及目标神经元的神经元节点之间的连接关系,得到目标标记结果;基于目标标记结果,确定目标神经元在目标图像中的完整重建结果。
在本申请实施例中,先基于目标图像对应的原始图像数据和重建参考数据自动获取目标图像对应的目标分割结果,然后基于目标分割结果自动得到目标树状组织在目标图像中的完整重建结果。基于此种过程,能够实现对树状组织的自动重建,树状组织的重建过程无需依赖人工,有利于提高对图像中的树状组织进行重建的效率,得到的树状组织的重建结果的可靠性较高。
需要说明的是,上述实施例提供的装置在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图13是本申请实施例提供的一种服务器的结构示意图,该服务器可因配置或性能不同而产生比较大的差异,可以包括一个或多个处理器(Central Processing Units,CPU)1301和一个或多个存储器1302,其中,该一个或多个存储器1302中存储有至少一条程序代码,该至少一条程序代码由该一个或多个处理器1301加载并执行,以实现上述各个方法实施例提供的对图像中的树状组织进行重建的方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
图14是本申请实施例提供的一种终端的结构示意图。示例性地,该终端是:智能手机、平板电脑、笔记本电脑或台式电脑。终端还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端包括有:处理器1401和存储器1402。
处理器1401可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1401可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1401也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1401可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1401还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1402可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1402还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1402中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1401所执行以实现本申请中方法实施例提供的对图像中的树状组织进行重建的方法。
在一些实施例中,终端还可选包括有:外围设备接口1403和至少一个外围设备。处理器1401、存储器1402和外围设备接口1403之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1403相连。具体地,外围设备包括:射频电路1404、显示屏1405、摄像头组件1406、音频电路1407、定位组件1408和电源1409中的至少一种。
外围设备接口1403可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1401和存储器1402。在一些实施例中,处理器1401、存储器1402和外围设备接口1403被集成在同一芯片或电路板上;在一些其他实施例中,处理器1401、存储器1402和外围设备接口1403中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1404用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1404通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1404将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1404包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1404可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1404还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1405用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1405是触摸显示屏时,显示屏1405还具有采集在显示屏1405的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1401进行处理。此时,显示屏1405还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1405可以为一个,设置在终端的前面板;在另一些实施例中,显示屏1405可以为至少两个,分别设置在终端的不同表面或呈折叠设计;在另一些实施例中,显示屏1405可以是柔性显示屏,设置在终端的弯曲表面上或折叠面上。甚至,显示屏1405还可以设置成非矩形的不规则图形,也即异形屏。显示屏1405可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1406用于采集图像或视频。可选地,摄像头组件1406包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1406还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1407可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1401进行处理,或者输入至射频电路1404以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1401或射频电路1404的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1407还可以包括耳机插孔。
定位组件1408用于定位终端的当前地理位置,以实现导航或LBS(Location BasedService,基于位置的服务)。定位组件1408可以是基于美国的GPS(Global PositioningSystem,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源1409用于为终端中的各个组件进行供电。电源1409可以是交流电、直流电、一次性电池或可充电电池。当电源1409包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端还包括有一个或多个传感器1410。该一个或多个传感器1410包括但不限于:加速度传感器1411、陀螺仪传感器1412、压力传感器1413、指纹传感器1414、光学传感器1415以及接近传感器1416。
加速度传感器1411可以检测以终端建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1411可以用于检测重力加速度在三个坐标轴上的分量。处理器1401可以根据加速度传感器1411采集的重力加速度信号,控制显示屏1405以横向视图或纵向视图进行用户界面的显示。加速度传感器1411还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1412可以检测终端的机体方向及转动角度,陀螺仪传感器1412可以与加速度传感器1411协同采集用户对终端的3D动作。处理器1401根据陀螺仪传感器1412采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1413可以设置在终端的侧边框和/或显示屏1405的下层。当压力传感器1413设置在终端的侧边框时,可以检测用户对终端的握持信号,由处理器1401根据压力传感器1413采集的握持信号进行左右手识别或快捷操作。当压力传感器1413设置在显示屏1405的下层时,由处理器1401根据用户对显示屏1405的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1414用于采集用户的指纹,由处理器1401根据指纹传感器1414采集到的指纹识别用户的身份,或者,由指纹传感器1414根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1401授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1414可以被设置在终端的正面、背面或侧面。当终端上设置有物理按键或厂商Logo时,指纹传感器1414可以与物理按键或厂商Logo集成在一起。
光学传感器1415用于采集环境光强度。在一个实施例中,处理器1401可以根据光学传感器1415采集的环境光强度,控制显示屏1405的显示亮度。具体地,当环境光强度较高时,调高显示屏1405的显示亮度;当环境光强度较低时,调低显示屏1405的显示亮度。在另一个实施例中,处理器1401还可以根据光学传感器1415采集的环境光强度,动态调整摄像头组件1406的拍摄参数。
接近传感器1416,也称距离传感器,通常设置在终端的前面板。接近传感器1416用于采集用户与终端的正面之间的距离。在一个实施例中,当接近传感器1416检测到用户与终端的正面之间的距离逐渐变小时,由处理器1401控制显示屏1405从亮屏状态切换为息屏状态;当接近传感器1416检测到用户与终端的正面之间的距离逐渐变大时,由处理器1401控制显示屏1405从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图14中示出的结构并不构成对终端的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在示例性实施例中,还提供了一种计算机设备,该计算机设备包括处理器和存储器,该存储器中存储有至少一条程序代码。该至少一条程序代码由一个或者一个以上处理器加载并执行,以实现上述任一种对图像中的树状组织进行重建的方法。
在示例性实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条程序代码,该至少一条程序代码由计算机设备的处理器加载并执行,以实现上述任一种对图像中的树状组织进行重建的方法。
在一种可能实现方式中,上述计算机可读存储介质可以是只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、只读光盘(Compact DiscRead-Only Memory,CD-ROM)、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述任一种对图像中的树状组织进行重建的方法。
需要说明的是,本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以上示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
以上所述仅为本申请的示例性实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (15)
1.一种对图像中的树状组织进行重建的方法,其特征在于,所述方法包括:
获取目标树状组织对应的目标图像、所述目标图像对应的原始图像数据以及所述目标图像对应的重建参考数据,所述重建参考数据基于所述目标树状组织在所述目标图像中的局部重建结果确定;
调用目标分割模型,基于所述原始图像数据和所述重建参考数据,获取所述目标图像对应的目标分割结果,所述目标分割结果用于指示所述目标图像中的各个像素点的目标类别,任一像素点的目标类别用于指示所述任一像素点属于所述目标树状组织或者所述任一像素点不属于所述目标树状组织;
基于所述目标分割结果,在所述目标图像中对所述目标树状组织进行重建,得到所述目标树状组织在所述目标图像中的完整重建结果。
2.根据权利要求1所述的方法,其特征在于,所述调用目标分割模型,基于所述原始图像数据和所述重建参考数据,获取所述目标图像对应的目标分割结果,包括:
调用目标分割模型,基于所述原始图像数据和所述重建参考数据的融合数据,依次执行第一参考数量次下采样处理,得到所述目标图像对应的第一目标特征;
基于所述第一目标特征对应的目标卷积特征,依次执行所述第一参考数量次上采样处理,得到所述目标图像对应的第二目标特征;
对所述第二目标特征进行目标卷积处理,得到所述目标图像对应的目标分割结果。
3.根据权利要求2所述的方法,其特征在于,所述第一参考数量次为三次,任一次下采样处理包括一次卷积处理和一次池化处理;所述基于所述原始图像数据和所述重建参考数据的融合数据,依次执行第一参考数量次下采样处理,得到所述目标图像对应的第一目标特征,包括:
对所述原始图像数据和所述重建参考数据的融合数据进行第一卷积处理,得到所述目标图像对应的第一卷积特征;对所述第一卷积特征进行第一池化处理,得到所述目标图像对应的第一池化特征;
对所述第一池化特征进行第二卷积处理,得到所述目标图像对应的第二卷积特征;对所述第二卷积特征进行第二池化处理,得到所述目标图像对应的第二池化特征;
对所述第二池化特征进行第三卷积处理,得到所述目标图像对应的第三卷积特征;对所述第三卷积特征进行第三池化处理,得到所述目标图像对应的第一目标特征。
4.根据权利要求3所述的方法,其特征在于,任一次上采样处理包括一次反卷积处理和一次卷积处理;所述基于所述第一目标特征对应的目标卷积特征,依次执行所述第一参考数量次上采样处理,得到所述目标图像对应的第二目标特征,包括:
对所述第一目标特征对应的目标卷积特征进行第一反卷积处理,得到所述目标图像对应的第一上采样特征;对所述第一上采样特征和所述第三卷积特征的拼接特征进行第四卷积处理,得到所述目标图像对应的第四卷积特征;
对所述第四卷积特征进行第二反卷积处理,得到所述目标图像对应的第二上采样特征;对所述第二上采样特征和所述第二卷积特征的拼接特征进行第五卷积处理,得到所述目标图像对应的第五卷积特征;
对所述第五卷积特征进行第三反卷积处理,得到所述目标图像对应的第三上采样特征;对所述第三上采样特征和所述第一卷积特征的拼接特征进行第六卷积处理,得到所述目标图像对应的第二目标特征。
5.根据权利要求1-4任一所述的方法,其特征在于,所述调用目标分割模型,基于所述原始图像数据和所述重建参考数据,获取所述目标图像对应的目标分割结果之后,所述方法还包括:
调用目标分类模型,基于所述原始图像数据和所述目标分割结果,获取目标重建置信度信息。
6.根据权利要求5所述的方法,其特征在于,所述目标分类模型包括依次连接的至少一个卷积子模型、至少一个全连接子模型和一个置信度预测子模型;所述调用目标分类模型,基于所述原始图像数据和所述目标分割结果,获取目标重建置信度信息,包括:
将所述原始图像数据和所述目标分割结果输入所述目标分类模型中的第一个卷积子模型进行处理,得到所述第一个卷积子模型输出的分类特征;
从第二个卷积子模型起,将上一个卷积子模型输出的分类特征输入下一个卷积子模型进行处理,得到下一个卷积子模型输出的分类特征;
将最后一个卷积子模型输出的分类特征输入第一个全连接子模型进行处理,得到所述第一个全连接子模型输出的全连接特征;
从第二个全连接子模型起,将上一个全连接子模型输出的全连接特征输入下一个全连接子模型进行处理,得到下一个全连接子模型输出的全连接特征;
将最后一个全连接子模型输出的全连接特征输入所述置信度预测子模型进行处理,得到所述置信度预测子模型输出的所述目标重建置信度信息。
7.根据权利要求1-4任一所述的方法,其特征在于,所述调用目标分割模型,基于所述原始图像数据和所述重建参考数据,获取所述目标图像对应的目标分割结果之前,所述方法还包括:
获取至少一个样本图像、所述至少一个样本图像分别对应的原始样本图像数据、所述至少一个样本图像分别对应的重建参考样本数据以及所述至少一个样本图像分别对应的标准分割结果;
基于所述至少一个样本图像分别对应的原始样本图像数据、所述至少一个样本图像分别对应的重建参考样本数据以及所述至少一个样本图像分别对应的标准分割结果对初始分割模型进行监督训练,得到所述目标分割模型。
8.根据权利要求5所述的方法,其特征在于,所述调用目标分割模型,基于所述原始图像数据和所述重建参考数据,获取所述目标图像对应的目标分割结果之前,所述方法还包括:
获取至少一个样本图像、所述至少一个样本图像分别对应的原始样本图像数据、所述至少一个样本图像分别对应的重建参考样本数据以及所述至少一个样本图像分别对应的标准分割结果;
基于所述至少一个样本图像分别对应的原始样本图像数据、所述至少一个样本图像分别对应的重建参考样本数据以及所述至少一个样本图像分别对应的标准分割结果对初始分割模型和初始分类模型进行对抗训练,得到所述目标分割模型和所述目标分类模型。
9.根据权利要求8所述的方法,其特征在于,所述基于所述至少一个样本图像分别对应的原始样本图像数据、所述至少一个样本图像分别对应的重建参考样本数据以及所述至少一个样本图像分别对应的标准分割结果对初始分割模型和初始分类模型进行对抗训练,得到所述目标分割模型和所述目标分类模型,包括:
调用所述初始分割模型,基于所述至少一个样本图像中的第一样本图像对应的原始样本图像数据和所述第一样本图像对应的重建参考样本数据,获取所述第一样本图像对应的预测分割结果;
调用所述初始分类模型,基于所述第一样本图像对应的原始样本图像数据和所述第一样本图像对应的预测分割结果,获取第一重建置信度信息;基于所述第一样本图像对应的原始样本图像数据和所述第一样本图像对应的标准分割结果,获取第二重建置信度信息;
基于所述第一重建置信度信息和所述第二重建置信度信息,确定第一损失函数;基于所述第一损失函数更新所述初始分类模型的参数;响应于所述初始分类模型的参数的更新过程满足第一终止条件,得到第一分类模型;
调用所述初始分割模型,基于所述至少一个第一样本图像中的第二样本图像对应的原始样本图像数据和所述第二样本图像对应的重建参考样本数据,获取所述第二样本图像对应的预测分割结果;
调用所述第一分类模型,基于所述第二样本图像对应的原始样本图像数据和所述第二样本图像对应的预测分割结果,获取第三重建置信度信息;
基于所述第三重建置信度信息、所述第二样本图像对应的预测分割结果和所述第二样本图像对应的标准分割结果,确定第二损失函数;基于所述第二损失函数更新所述初始分割模型的参数;响应于所述初始分割模型的参数的更新过程满足第二终止条件,得到第一分割模型;
响应于对抗训练过程不满足目标终止条件,继续对所述第一分类模型和所述第一分割模型进行对抗训练,直至对抗训练过程满足所述目标终止条件,得到所述目标分类模型和所述目标分割模型。
10.根据权利要求1-4任一所述的方法,其特征在于,所述目标图像为初始图像中与所述目标树状组织对应的起始局部图像;所述基于所述目标分割结果,在所述目标图像中对所述目标树状组织进行重建,得到所述目标树状组织在所述目标图像中的完整重建结果之后,所述方法还包括:
响应于所述目标树状组织在所述目标图像中的完整重建结果不满足重建终止条件,基于所述目标树状组织在所述目标图像中的完整重建结果,在所述初始图像中获取与所述目标树状组织对应的下一个局部图像;获取所述目标树状组织在所述下一个局部图像中的完整重建结果;
响应于所述目标树状组织在所述下一个局部图像中的完整重建结果满足所述重建终止条件,基于已获取的所述目标树状组织在各个局部图像中的完整重建结果,获取所述目标树状组织在所述初始图像中的完整重建结果。
11.根据权利要求1-4任一所述的方法,其特征在于,所述目标树状组织为目标神经元,所述目标图像从包含所述目标神经元的大脑三维图像中获取得到。
12.根据权利要求11所述的方法,其特征在于,所述任一像素点的目标类别用于指示所述任一像素点属于所述目标神经元或者所述任一像素点不属于所述目标神经元;
所述基于所述目标分割结果,在所述目标图像中对所述目标树状组织进行重建,得到所述目标树状组织在所述目标图像中的完整重建结果,包括:
基于所述目标分割结果,在所述目标图像中的各个像素点中确定属于所述目标神经元的目标像素点;
基于所述目标像素点,在所述目标图像中标记出所述目标神经元的神经元节点以及所述目标神经元的神经元节点之间的连接关系,得到目标标记结果;
基于所述目标标记结果,获取所述目标神经元在所述目标图像中的完整重建结果。
13.一种对图像中的树状组织进行重建的装置,其特征在于,所述装置包括:
第一获取单元,用于获取目标树状组织对应的目标图像、所述目标图像对应的原始图像数据以及所述目标图像对应的重建参考数据,所述重建参考数据基于所述目标树状组织在所述目标图像中的局部重建结果确定;
第二获取单元,用于调用目标分割模型,基于所述原始图像数据和所述重建参考数据,获取所述目标图像对应的目标分割结果,所述目标分割结果用于指示所述目标图像中的各个像素点的目标类别,任一像素点的目标类别用于指示所述任一像素点属于所述目标树状组织或者所述任一像素点不属于所述目标树状组织;
重建单元,用于基于所述目标分割结果,在所述目标图像中对所述目标树状组织进行重建,得到所述目标树状组织在所述目标图像中的完整重建结果。
14.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述至少一条程序代码由所述处理器加载并执行,以实现如权利要求1至12任一所述的对图像中的树状组织进行重建的方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行,以实现如权利要求1至12任一所述的对图像中的树状组织进行重建的方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011238994.2A CN112037305B (zh) | 2020-11-09 | 2020-11-09 | 对图像中的树状组织进行重建的方法、设备及存储介质 |
PCT/CN2021/121600 WO2022095640A1 (zh) | 2020-11-09 | 2021-09-29 | 对图像中的树状组织进行重建的方法、设备及存储介质 |
EP21888337.9A EP4181061A4 (en) | 2020-11-09 | 2021-09-29 | TREE-SHAPED TISSUE RECONSTRUCTION METHOD, DEVICE AND STORAGE MEDIUM |
US17/964,705 US20230032683A1 (en) | 2020-11-09 | 2022-10-12 | Method for reconstructing dendritic tissue in image, device and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011238994.2A CN112037305B (zh) | 2020-11-09 | 2020-11-09 | 对图像中的树状组织进行重建的方法、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112037305A true CN112037305A (zh) | 2020-12-04 |
CN112037305B CN112037305B (zh) | 2021-03-19 |
Family
ID=73572797
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011238994.2A Active CN112037305B (zh) | 2020-11-09 | 2020-11-09 | 对图像中的树状组织进行重建的方法、设备及存储介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230032683A1 (zh) |
EP (1) | EP4181061A4 (zh) |
CN (1) | CN112037305B (zh) |
WO (1) | WO2022095640A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022095640A1 (zh) * | 2020-11-09 | 2022-05-12 | 腾讯科技(深圳)有限公司 | 对图像中的树状组织进行重建的方法、设备及存储介质 |
CN114494711A (zh) * | 2022-02-25 | 2022-05-13 | 南京星环智能科技有限公司 | 一种图像特征的提取方法、装置、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109871896A (zh) * | 2019-02-26 | 2019-06-11 | 北京达佳互联信息技术有限公司 | 数据分类方法、装置、电子设备及存储介质 |
CN110009656A (zh) * | 2019-03-05 | 2019-07-12 | 腾讯科技(深圳)有限公司 | 目标对象的确定方法、装置、存储介质及电子装置 |
CN110533113A (zh) * | 2019-09-04 | 2019-12-03 | 湖南大学 | 一种数字图像中树状结构的分支点检测方法 |
CN111612068A (zh) * | 2020-05-21 | 2020-09-01 | 腾讯科技(深圳)有限公司 | 图像标注方法、装置、计算机设备及存储介质 |
CN111696089A (zh) * | 2020-06-05 | 2020-09-22 | 上海联影医疗科技有限公司 | 一种动静脉确定方法、装置、设备和存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104036484B (zh) * | 2013-03-06 | 2017-08-08 | 东芝医疗系统株式会社 | 图像分割装置、图像分割方法和医学图像设备 |
CN110838124B (zh) * | 2017-09-12 | 2021-06-18 | 深圳科亚医疗科技有限公司 | 用于分割具有稀疏分布的对象的图像的方法、系统和介质 |
CN107862695A (zh) * | 2017-12-06 | 2018-03-30 | 电子科技大学 | 一种基于全卷积神经网络的改进型图像分割训练方法 |
US10430949B1 (en) * | 2018-04-24 | 2019-10-01 | Shenzhen Keya Medical Technology Corporation | Automatic method and system for vessel refine segmentation in biomedical images using tree structure based deep learning model |
CN109345538B (zh) * | 2018-08-30 | 2021-08-10 | 华南理工大学 | 一种基于卷积神经网络的视网膜血管分割方法 |
CN112037305B (zh) * | 2020-11-09 | 2021-03-19 | 腾讯科技(深圳)有限公司 | 对图像中的树状组织进行重建的方法、设备及存储介质 |
-
2020
- 2020-11-09 CN CN202011238994.2A patent/CN112037305B/zh active Active
-
2021
- 2021-09-29 EP EP21888337.9A patent/EP4181061A4/en active Pending
- 2021-09-29 WO PCT/CN2021/121600 patent/WO2022095640A1/zh unknown
-
2022
- 2022-10-12 US US17/964,705 patent/US20230032683A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109871896A (zh) * | 2019-02-26 | 2019-06-11 | 北京达佳互联信息技术有限公司 | 数据分类方法、装置、电子设备及存储介质 |
CN110009656A (zh) * | 2019-03-05 | 2019-07-12 | 腾讯科技(深圳)有限公司 | 目标对象的确定方法、装置、存储介质及电子装置 |
CN110533113A (zh) * | 2019-09-04 | 2019-12-03 | 湖南大学 | 一种数字图像中树状结构的分支点检测方法 |
CN111612068A (zh) * | 2020-05-21 | 2020-09-01 | 腾讯科技(深圳)有限公司 | 图像标注方法、装置、计算机设备及存储介质 |
CN111696089A (zh) * | 2020-06-05 | 2020-09-22 | 上海联影医疗科技有限公司 | 一种动静脉确定方法、装置、设备和存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022095640A1 (zh) * | 2020-11-09 | 2022-05-12 | 腾讯科技(深圳)有限公司 | 对图像中的树状组织进行重建的方法、设备及存储介质 |
CN114494711A (zh) * | 2022-02-25 | 2022-05-13 | 南京星环智能科技有限公司 | 一种图像特征的提取方法、装置、设备及存储介质 |
CN114494711B (zh) * | 2022-02-25 | 2023-10-31 | 南京星环智能科技有限公司 | 一种图像特征的提取方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
EP4181061A4 (en) | 2024-01-03 |
WO2022095640A1 (zh) | 2022-05-12 |
EP4181061A1 (en) | 2023-05-17 |
US20230032683A1 (en) | 2023-02-02 |
CN112037305B (zh) | 2021-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111091166B (zh) | 图像处理模型训练方法、图像处理方法、设备及存储介质 | |
CN111739035B (zh) | 基于人工智能的图像处理方法、装置、设备及存储介质 | |
CN111325726A (zh) | 模型训练方法、图像处理方法、装置、设备及存储介质 | |
CN111243668B (zh) | 分子结合位点检测方法、装置、电子设备及存储介质 | |
CN111598168B (zh) | 图像分类方法、装置、计算机设备及介质 | |
CN111930964B (zh) | 内容处理方法、装置、设备及存储介质 | |
CN112989767B (zh) | 医学词语标注方法、医学词语映射方法、装置及设备 | |
CN112381707B (zh) | 图像生成方法、装置、设备以及存储介质 | |
CN111753498A (zh) | 文本处理方法、装置、设备及存储介质 | |
CN112115900B (zh) | 图像处理方法、装置、设备及存储介质 | |
US20230032683A1 (en) | Method for reconstructing dendritic tissue in image, device and storage medium | |
CN111597922A (zh) | 细胞图像的识别方法、系统、装置、设备及介质 | |
CN111967515A (zh) | 图像信息提取方法、训练方法及装置、介质和电子设备 | |
CN112990053A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN113822263A (zh) | 图像标注方法、装置、计算机设备及存储介质 | |
CN113705302A (zh) | 图像生成模型的训练方法、装置、计算机设备及存储介质 | |
CN114677350B (zh) | 连接点提取方法、装置、计算机设备及存储介质 | |
CN114283299A (zh) | 图像聚类方法、装置、计算机设备及存储介质 | |
CN113257412B (zh) | 信息处理方法、装置、计算机设备及存储介质 | |
CN113821658A (zh) | 对编码器进行训练的方法、装置、设备及存储介质 | |
CN113569052A (zh) | 知识图谱的表示学习方法及装置 | |
CN112561084A (zh) | 特征提取方法、装置、计算机设备及存储介质 | |
CN112527104A (zh) | 确定参数确定方法、装置、设备及存储介质 | |
CN113743186B (zh) | 医学图像的处理方法、装置、设备及存储介质 | |
CN111582208B (zh) | 用于生成生物体姿态关键点信息的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40034943 Country of ref document: HK |