CN109313627A - 对丢失的输入信息具有鲁棒性的用于处理任务的方法和系统 - Google Patents

对丢失的输入信息具有鲁棒性的用于处理任务的方法和系统 Download PDF

Info

Publication number
CN109313627A
CN109313627A CN201780029595.5A CN201780029595A CN109313627A CN 109313627 A CN109313627 A CN 109313627A CN 201780029595 A CN201780029595 A CN 201780029595A CN 109313627 A CN109313627 A CN 109313627A
Authority
CN
China
Prior art keywords
unit
characteristic pattern
characteristic
numerical value
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780029595.5A
Other languages
English (en)
Inventor
尼古拉斯·沙帕多斯
尼古拉斯·吉扎德
穆罕默德·哈瓦艾
约舒亚·本希奥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yingjia Control Co
Original Assignee
Yingjia Control Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yingjia Control Co filed Critical Yingjia Control Co
Publication of CN109313627A publication Critical patent/CN109313627A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

公开了根据要执行的处理任务生成组合特征图的单元，该单元包括特征图生成单元，该特征图生成单元用于接收多于一个的模态并且使用多于一个的对应变换生成多于一个的对应特征图；其中，通过将给定的对应变换应用在给定的对应模态上执行多于一个的对应特征图中的每一个的生成，其中，在根据要执行的处理任务执行初始训练后生成多于一个的对应变换并且组合单元用于根据至少一个组合运算选择和组合通过特征图生成单元生成的对应的多于一个的特征图并且用于提供至少一个对应的组合特征图；其中，组合单元根据要执行的处理任务进行运算并且组合运算将通过特征图生成单元生成的多于一个的特征图中的每一个的每个对应数值减少到至少一个对应的组合特征图中的一个数值。

Description

对丢失的输入信息具有鲁棒性的用于处理任务的方法和系统
相关申请的交叉引证
本专利申请要求于2016年3月17日提交的美国临时专利申请No.62/309,682的优先权，其主要内容通过引证结合于本文中。
技术领域
本发明涉及数据处理。更确切地，本发明涉及一种对丢失的输入信息具有鲁棒性的用于处理任务的方法和系统。
背景技术
在医疗图像分析中，诸如图像分割等图像处理是重要任务并且是在临床实践中直观和量化病理的严重性的基础。多模态影像提供区分特定组织、剖析和病理的补充信息。然而，手动分割时间长、辛苦且易受人类易变性的影响。近十年来，已经开发了使医疗图像分割自动化的许多分割方法。
这些方法可以分为两种类别，即多图谱的和基于模型的。
多图谱方法在线估计被分割的对象和具有专家标签的多图谱或图像之间的强度相似性。这些多图谱技术示出了当使用非线性注册时的结构分割中的优良结果[Iglesias,J.E.,Sabuncu,M.R.:Multi-atlas segmentation of biomedical images:Asurvey.Medical image analysis 24(1),205-219(2015)]；当结合非局部方法时，它们在分割弥漫性和稀少病理(即，多发性硬化(MS)病灶[Guizard,N.,Coupe,P.,Fonov,V.S.,Manjon,J.V.,Arnold,D.L.,Collins,D.L.:Rotation-invariant multi-contrast non-local means for ms lesion segmentation.Neurolmage:Clinical 8,376-389(2015)])以及更复杂的多标签病理(即，胶质母细胞瘤[Cordier,N.,Delingette,H.,Ayache,N.:Apatch-based approach for the segmentation of pathologies:Application toglioma labelling.IEEE Transactions on Medical Imaging PP(99),1-1(2016)])证明有效。多图谱方法依赖图像亮度和空间相似性，这可能难以通过图谱进行充分描述并且主要取决于图像预处理。
相反，基于模型的方法一般离线训练以识别图像亮度特征的区别模型。这些特征可以通过(例如，在随机决策森林(RDF)[Geremia,E.,Menze,B.H.,Ayache,N.:Spatiallyadaptive random forests pp.1344-1347(2013)]内)的使用者预定义或者从图像自动提取和直接分级学习[Brosch,T.,Yoo,Y.,Tang,L.Y.W.,Li,D.K.B.,Traboulsee,A.,Tarn,R.:Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015:18th International Conference,Munich,Germany,October 5-9,2015,Proceedings,Part III,chap.Deep Convolutional Encoder Networks for Multiple SclerosisLesion Segmentation,pp.3-11.Springer International Publishing,Cham(2015)]。
这两个策略一般优化用于特定集的多模式图像并且通常要求这些模态是可用的。在临床设置中，图像获取和患者伪像以及栅格(hurdle)，使其难以完全采用全部模态；因而，在特定情况下丢失一个或多个模态是常见的。这个不是新问题，并且丢失数据分析的主题在统计中已经产生巨大的文献价值(例如，[Van Buuren,S.:Flexible imputation ofmissing data.CRC press(2012)])。在医学影像中，已经提出了多个方法，其中有一些要求利用丢失的模态重新训练特定模型或者合成它们[Hofmann,M.,Steinke,F.,Scheel,V.,Charpiat,G.,Farquhar,J.,Aschoff,P.,Brady,M.,Scholkopf,B.,Pichler,B.J.:MRI-based attenuation correction for PET/MRI:a novel approach combining patternrecognition and atlas registration.Journal of Nuclear Medicine 49(11),1875-1883(2008)]。合成可以通过在普通分类型(例如，RDF)的背景下添加丢失模态的信息来改善多模式分类[Tulder,G.,Bruijne,M.:Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015:18th International Conference,Munich,Germany,October 5-9,2015,Proceedings,Part I,chap.Why Does Synthesized DataImprove Multi-sequence Classification？,pp.531-538.Springer InternationalPublishing,Cham(2015)]。还提出了利用局部特征模仿利用整套特征训练的分类器的方法[Hor,S.,Moradi,M.:Scandent tree:A random forest learning method forincomplete multimodal datasets.In:Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015,pp.694-701.Springer(2015)]。
一般的卷积神经网络(CNN)结构采用多平面图像作为输入并且通过与可选的池化层交替的一系列卷积层(后面是非线性诸如，ReLU(-)≡max(0，-))将其处理，以便产生每个像素或每个图像输出[Goodfellow,I.,Bengio,Y.,Courville,A.:Deep learning(2016),http://goodfeli.github.io/dlbook/,book in preparation for MIT Press]。在这种网络中，每个输入平面被假设为在特定情况下呈现：因为最先的卷积层使来自全部平面的输入值混合，任何丢失平面将偏置引入该网络不具有处理的计算中。
因此需要克服以上确定的缺点中的至少一个的方法和系统。
通过浏览下面的本发明的公开内容、附图和具体实施方式，本发明的特征将变得明了。
发明内容
根据广泛的方面，公开了用于生成用于处理任务的至少一个数值的向量的单元，用于生成向量的单元包括：用于生成组合特征图的单元，该用于生成组合特征图的单元包括特征图生成单元，特征图生成单元用于接收多于一个的模态并且使用彼此独立运算的多于一个的对应变换生成多于一个的对应特征图；其中，通过将给定的对应变换应用在给定的对应模态上执行多于一个的对应特征图中的每一个的生成，其中，在根据要执行的处理任务执行初始训练后生成多于一个的对应变换并且组合单元用于根据至少一个组合运算选择和组合通过特征图生成单元生成的对应的多于一个的特征图并且用于提供至少一个对应的组合特征图；其中，组合单元根据要执行的处理任务进行运算并且组合运算将通过特征图生成单元生成的多于一个的特征图中的每一个的每个对应数值减少到至少一个对应的组合特征图中的一个数值；第二特征图生成单元，第二特征图生成单元用于从用于生成组合特征图的单元接收至少一个对应的组合特征图并且使用至少一个对应变换生成至少一个最终特征图；其中，通过将至少一个对应变换中的每一个应用于从用于生成组合特征图的单元接收的至少一个对应特征图的至少一个上执行至少一个最终特征图的生成；其中，在根据要执行的处理任务执行初始训练后生成至少一个对应变换以及特征图处理单元，用于从第二特征图生成单元接收所生成的至少一个最终特征图并且用于处理所生成的至少一个最终特征图以提供要用于处理任务的生成的至少一个数值的向量。
根据实施方式，根据伪课程学习方案执行初始训练，其中，在全部模态被呈现的几次迭代之后，模态被随机丢弃。
根据实施方式，多于一个的对应变换中的每一个包括由至少多个层次的非线性运算组成的机器学习模型。
根据实施方式，多于一个的对应变换中的每一个包括后面是全连接层的多于一层的卷积神经网络。
根据实施方式，所生成的多于一个的对应特征图中的每一个使用多项式、径向基函数和Sigmond核函数中的一个表示。
根据实施方式，要执行的处理任务包括从如下组合中选择的图像处理任务，该组合由图像分割、图像分类、图像检测、按像素分类和图像中的块的检测组成。
根据实施方式，第二特征图生成单元的至少一个对应变换中的每一个包括机器学习模型，其由至少一个层次的非线性运算和线性运算中的至少一个组成。
根据广泛方面，公开了用于存储计算机可执行指令的非易失性计算机可读存储介质，当执行时，该指令使得处理装置执行用于处理任务的方法，该方法包括：提供用于生成用于处理任务的至少一个数值的向量的单元，，该用于生成用于处理任务的至少一个数值的向量的单元包括：用于生成组合特征图的单元，该用于生成组合特征图的单元包括特征图生成单元，该特征图生成单元用于接收多于一个的模态并且使用彼此独立运算的多于一个的对应变换生成多于一个的对应特征图；其中，通过将给定的对应变换应用在给定的对应模态上来执行多于一个的对应特征图中的每一个的生成，其中，在根据要执行的处理任务执行初始训练后生成多于一个的对应变换并且组合单元用于根据至少一个组合运算选择和组合通过特征图生成单元生成的对应的多于一个的特征图并且用于提供至少一个对应的组合特征图；其中，组合单元根据要执行的处理任务进行运算并且组合运算将通过特征图生成单元生成的多于一个的特征图中的每一个的每个对应数值减少到至少一个对应的组合特征图中的一个数值，第二特征图生成单元，该第二特征图生成单元用于从用于生成组合特征图的单元接收至少一个对应的组合特征图并且使用至少一个对应变换生成至少一个最终特征图；其中，通过将至少一个对应变换中的每一个应用于从用于生成组合特征图的单元接收的至少一个对应特征图的至少一个上执行至少一个最终特征图的生成；其中，在根据要执行的处理任务执行初始训练后生成至少一个对应变换，以及特征图处理单元，用于从第二特征图生成单元接收所生成的至少一个最终特征图并且用于处理所生成的至少一个最终特征图以提供要用于处理任务的生成的至少一个数值的向量；使用训练数据训练用于生成组合特征图的单元和第二特征图生成单元；将至少一个模态提供至用于生成用于处理任务的至少一个数值的向量的单元；以及获得至少一个数值的对应向量。
根据广泛方面，公开了用于存储计算机可执行指令的非易失性计算机可读存储介质，当执行时，该指令使得处理装置执行用于执行任务的方法，该方法包括：提供训练的、用于生成用于处理任务的至少一个数值的向量的单元，该用于生成用于处理任务的至少一个数值的向量的单元包括：用于生成组合特征图的单元，该用于生成组合特征图的单元包括特征图生成单元，该特征图生成单元用于接收多于一个的模态并且使用彼此独立运算的多于一个的对应变换生成多于一个的对应特征图；其中，通过将给定的对应变换应用在给定的对应模态上执行多于一个的对应特征图中的每一个的生成，其中，在根据要执行的所述处理任务执行初始训练后生成多于一个的对应变换并且组合单元用于根据至少一个组合运算选择和组合通过特征图生成单元生成的对应的多于一个的特征图并且用于提供至少一个对应的组合特征图；其中，组合单元根据要执行的处理任务进行运算并且组合运算将通过特征图生成单元生成的多于一个的特征图中的每一个的每个对应数值减少到至少一个对应的组合特征图中的一个数值，第二特征图生成单元，第二特征图生成单元用于从用于生成组合特征图的单元接收至少一个对应的组合特征图并且使用至少一个对应变换生成至少一个最终特征图；其中，通过将至少一个对应变换中的每一个应用于从用于生成组合特征图的单元接收的至少一个对应特征图的至少一个上执行至少一个最终特征图的生成；其中，在根据要执行的处理任务执行初始训练后生成至少一个对应变换，以及特征图处理单元，用于从第二特征图生成单元接收所生成的至少一个最终特征图并且用于处理所生成的至少一个最终特征图以提供要用于处理任务的生成的至少一个数值的向量；将至少一个模态提供至用于生成用于处理任务的至少一个数值的向量的训练单元；获得至少一个数值的对应向量。
根据广泛方面，公开了处理装置，该处理装置包括：中央处理单元；显示装置；通信端口，用于将处理装置操作性地连接至多个移动处理装置，每个移动处理装置由使用者携带；包括用于处理任务的应用的存储单元，该应用包括：提供用于生成用于处理任务的至少一个数值的向量的单元的指令，用于生成用于处理任务的至少一个数值的向量的单元包括：用于生成组合特征图的单元，该用于生成组合特征图的单元包括特征图生成单元，该特征图生成单元用于接收多于一个的模态并且使用彼此独立运算的多于一个的对应变换生成多于一个的对应特征图；其中，通过将给定的对应变换应用在给定的对应模态上执行多于一个的对应特征图中的每一个的生成，其中，在根据要执行的所述处理任务执行初始训练后生成多于一个的对应变换并且组合单元用于根据至少一个组合运算选择和组合通过所述特征图生成单元生成的对应的多于一个的特征图并且用于提供至少一个对应的组合特征图；其中，组合单元根据要执行的处理任务进行运算并且组合运算将通过特征图生成单元生成的多于一个的特征图中的每一个的每个对应数值减少到至少一个对应的组合特征图中的一个数值，第二特征图生成单元，第二特征图生成单元用于从用于生成组合特征图的单元接收至少一个对应的组合特征图并且使用至少一个对应变换生成至少一个最终特征图；其中，通过将至少一个对应变换中的每一个应用于从用于生成组合特征图的单元接收的至少一个对应特征图的至少一个上执行至少一个最终特征图的生成；其中，在根据要执行的任务执行初始训练后生成至少一个对应变换；以及特征图处理单元，用于从第二特征图生成单元接收所生成的至少一个最终特征图并且用于处理所生成的至少一个最终特征图以提供要用于处理任务的生成的至少一个数值的向量；用于使用训练数据训练用于生成组合特征图的单元和第二特征图生成单元的指令；用于将至少一个模态提供至用于生成用于处理任务的至少一个数值的向量的单元的指令以及用于获得至少一个数值的对应向量的指令。
根据广泛方面，公开了用于处理多个模态的方法，其中，该处理对于缺少至少一个模态具有鲁棒性，该方法包括：接收多个模态；使用相应变换处理多个模态的每个模态以生成包括至少一个对应数值的相应特征图，其中，相应变换彼此独立运算，进一步地，其中，相应变换包括机器学习模型，其由至少多个层次的非线性运算组成的；使用至少一个组合运算处理获得的数值以生成获得的数值的至少一个组合表示，其中，至少一个组合运算包括将所生成的多于一个的特征图中的每一个的每个对应数值减少到获得的数值的至少一个组合表示中的数值以及使用由用于执行多个模态的处理的至少一个层次的非线性运算和线性运算中的至少一个组成的机器学习模型处理获得的数值的至少一个组合表示。
根据广泛方面，公开了根据要执行的处理任务用于生成组合特征图的单元，该用于生成组合特征图的单元包括：特征图生成单元，该特征图生成单元用于接收多于一个的模态并且使用彼此独立运算的多于一个的对应变换生成多于一个的对应特征图；其中，将给定的对应变换应用于给定的对应模态上执行多于一个的对应特征图中的每一个的生成，其中，在根据要执行的处理任务执行初始训练后生成多于一个的对应变换以及组合单元，根据至少一个组合运算选择和组合通过特征图生成单元生成的对应的多于一个的特征图并且用于提供至少一个对应的组合特征图；其中，组合单元根据要执行的处理任务进行运算并且组合运算将通过特征图生成单元生成的多于一个的特征图中的每一个的每个对应数值减少到至少一个对应的组合特征图中的一个数值。
根据一个实施方式，根据多于一个的组合运算执行通过特征图生成单元生成的对应的多于一个的特征图的组合；其中，每个组合运算彼此独立。
根据广泛方面，公开了用于生成图像的分割掩模的分割单元，该分割单元包括：第一组内核，包括至少一层内核，每个层包括多于一个的要训练的多个卷积核的集合；每个集合用于接收图像的特定模态并且用于生成多个对应的特征图；组合单元，对于多个要训练的卷积核中的每个要训练的卷积核，将由要训练的特定的卷积核生成的每个特征图组合在多个要训练的卷积核的多于一个的集合的每个集合中，以此提供多个对应的组合特征图；第二组内核，包括至少一层内核，每个层包括要训练的多个卷积核的一个集合；要训练的多个卷积核每个集合的用于接收通过组合单元生成的对应的组合特征图并且用于生成多个特征图，以及特征图处理单元，用于从第二卷积核组接收多个生成的特征图并且用于处理多个生成的特征图以提供图像的分割掩模。
根据另一个广泛方面，公开了用于存储计算机可执行指令的非易失性计算机可读存储介质，当执行时，该指令使得处理装置执行用于分割图像的方法，该方法包括：提供用于生成图像的分割掩模的分割单元，该分割单元包括：第一卷积核组，包括至少一层卷积核，每层包括多个要训练的卷积核的多于一个的集合；每个集合用于接收图像的特定模态并且用于生成多个对应的特征图；组合单元，对于多个要训练的卷积核中的每个要训练的卷积核，将通过要训练的特定的卷积核生成的每个特征图组合在多个要训练的卷积核的多于一个的集合的每个集合中，因此提供多个对应的组合特征图；第二卷积核组，包括至少一层卷积核，每个层包括多个要训练的卷积核的一个集合；多个要训练的卷积核的每个集合用于接收通过组合单元生成的对应的组合特征图并且用于生成多个特征图；以及特征图处理单元，用于从第二卷积核组接收多个生成的特征图并且用于处理多个生成的特征图以提供图像的分割掩模；使用训练数据训练每个卷积核；将分割的图像的至少一个模态提供至分割并且提供图像的对应的分割掩模。
根据另一个广泛方面，公开了用于存储计算机可执行指令的非易失性计算机可读存储介质，当执行时，该指令使得处理装置执行用于分割图像的方法，该方法包括：提供用于生成图像的分割掩模的训练的分割单元，该分割单元包括：第一卷积核组，包括至少一层卷积核，每个层包括多个卷积核的多于一个的集合；每个集合用于接收图像的特定模态并且用于生成多个对应的特征图；组合单元，对于多个卷积核的每个卷积核，将通过特定的卷积核生成的每个特征图组合在多个卷积核的多于一个的集合的每个集合中，以便因此提供多个对应的组合特征图；第二卷积核组，包括至少一层卷积核，每层包括多个卷积核的一个集合；多个卷积核的每个集合用于接收通过组合单元生成的对应的组合特征图并且用于生成多个特征图以及特征图处理单元，用于从第二卷积核组接收多个生成的特征图并且用于处理多个生成的特征图以提供图像的分割掩模；将分割的图像的至少一个模态提供至分割并且提供图像的对应的分割掩模。
根据另一个广泛方面，公开了处理装置，该处理装置包括：中央处理单元；显示装置；通信端口，用于将处理装置操作性地连接至多个移动处理装置，每个移动处理装置由使用者携带；存储单元，包括用于执行图像分割的应用，该应用包括：训练的用于提供生成图像的分割掩模的分割单元的指令，该分割单元包括：第一卷积核组，包括至少一层卷积核，每层包括多个要训练的卷积核的多于一个的集合；每个集合用于接收图像的特定模态并且用于生成多个对应的特征图；组合单元，对于多个要训练的卷积核中的每个要训练的卷积核，将通过要训练的特定的卷积核生成的每个特征图组合在多个要训练的卷积核的多于一个的集合的每个集合中，因此提供多个对应的组合特征图；第二卷积核组，包括至少一层卷积核，每层包括多个要训练的卷积核的一个集合；多个要训练的卷积核的每个集合用于接收由组合单元生成的对应的组合特征图并且用于生成多个特征图，以及特征图处理单元，用于从第二卷积核组接收多个生成的特征图并且用于处理多个生成的特征图以提供图像的分割掩模；使用训练数据训练分割单元的每个卷积核的指令；用于将待分割的图像的至少一个模态提供至分割的指令以及用于提供图像的对应分割掩模的指令。
用于处理本文中公开的多个模态的方法的优势在于在不需要学习组合的多个计算模型的情况下设置为输入的可用模态的任何组合的子集具有鲁棒性。
用于处理本文中公开的多个模态的方法的另一个优势在于丢失模态的任何子集具有鲁棒性。
用于处理本文中公开的多个模态的方法的另一个优势在于它利用可以是改变的实例的几个模态。
用于处理本文中公开的多个模态的方法的另一个优势在于不要求为每个实例绝对必须呈现的“最小公分母”模态。
附图说明
为了使本发明可以被容易地理解，通过在附图中举例的方式示出本发明的实施方式。
图1是示出了用于分割作为用于处理任务的方法的实施方式的图像的方法的实施方式的流程图，其中，任务的处理包括图像分割。
图2是示出了用于分割图像的方法中的分割单元的第一实施方式的框图。应当理解，分割单元是用于生成用于处理任务的至少一个数值的向量的单元的实施方式，其中，任务的处理包括图像分割。
图3是示出了用于分割图像的方法中的分割单元的第二实施方式的框图。
图4是示出了可用于实现用于处理任务的方法的处理装置的实施方式的示图，其中，任务的处理包括分割图像。
本发明的更多细节及其优点将从下文所包括的详细说明中变得明了。
具体实施方式
在实施方式的以下描述中，参照的附图通过举例方式示出，藉此可实施本发明。
术语
术语“发明”和类似术语是指“在本申请中所公开的一个或多个发明，”除非另有明确规定。
术语“一方面”、“一个实施实施方式、“实施方式”、“多个实施方式”、“所述实施方式”、“所述多个实施方式”、“一个或多个实施方式”、“一些实施方式”、“某些实施方式”、“一个实施方式”、“另一实施方式”和类似术语是指“所公开的发明的一个或多个(但不是全部)实施方式”，除非另有明确规定。
在描述一个实施方式时对“另一实施方式”或“另一方面”的引用不意味着所引用的实施方式与另一实施方式(例如，在所引用的实施方式之前描述的实施方式)互斥，除非另有明确规定。
术语“包括”、“包含”及其变形是指“包括但不限于”，除非另有明确规定。
术语“一”、“一个”和“所述”是指“一个或多个”，除非另有明确规定。
术语“多个”是指“两个或更多个”，除非另有明确规定。
术语“本文中”是指“在本申请中，包括可通过引证结合的任何内容”，除非另有明确规定。
术语“因此”在本文中仅用于在仅表达先前和明确陈述的一些内容的预期结果、目标或后果的分句或其他词语组之前。因此，当术语“因此”在权利要求中使用时，术语“因此”修饰的分句或其他词语不对权利要求构成特定的进一步局限或者以其他方式限制权利要求的含义或范围。
术语“例如(e.g.)”和类似的术语是指“例如(for example)”，且因此不限制它们说明的术语或短语。例如，在句子“计算机通过互联网发送数据(例如，指令、数据结构)”中，术语“例如”解释了“指令”是计算机可通过互联网发送的“数据”，并且还解释了“数据结构”是计算机可通过互联网发送的“数据”的实例。然而，“指令”和“数据结构”这两者仅是“数据”的实例，并且除了“指令”和“数据结构”之外的其他内容也可以是“数据”。
术语“即”等类似术语是指“也就是”，并且因此限制了它们所解释的术语或短语。
术语“多模式数据集”和类似术语是指每种情况包括具有不同模态(或类型)的数据的数据集。例如，在医学影像中，多模式数据集包括具有同时用于每个患者情况的不同的影像模态，诸如，计算机断层扫描(CT)、超声或各种类型的磁共振(MR)图像。
术语“处理任务”是指将训练的机器学习模型应用于给定的数据集上，其中，机器学习任务取决于可用于训练期间的学习算法的学习“信号”或“反馈”的性质，取决于特定数据集相关的模态集。从多个模态中，医疗保健中的“处理任务”的非限制性实例包括图像分割、图像分类、按像素分类、图像中的块的检测、图像中的块的分类、使患者分层、识别与生物分布有关的无线话筒表型、目标占用率、药效、肿瘤异质性和预测治疗响应。
术语“模态”是指用于直接或间接获取用于要执行的任务的相关目标或现象的信息的各种类型的设备或探针中的任一个。医疗保健中的“模态”的非限制性实例包括射线照相影像、超声影像、磁共振影像、基因检测、病理检测和生物传感器。
术语“特征图”是指将函数应用于数字的拓扑排列的向量以获得保持拓扑的对应输出数字的向量的结果。“特征图”的非限制性实例是使用卷积神经网络层将输入特征图至隐藏单元以形成要反馈至卷积神经网络的下一层的新的特征的结果。
术语“训练”是指训练提供具有一组模态以学习的机器学习算法的机器学习模型的过程，其中，该组模态包含目标属性，并且进一步地，其中，机器学习模型找到将输入数据属性映射至目标或任务属性的该组模态中的模式。“训练”输出捕捉这些模式的机器学习模型。“训练”的非限制性实例包括监督训练、非监督训练以及特别在非凸训练标准的背景下的课程训练。
术语“组合运算”是指数字之间的计算，从零或更多输入运算数至输出值。“组合运算”的非限制性实例是算术和高等算术运算。
标题和摘要都不应被理解为以任何方式限制公开的发明的范围。本申请的标题和本申请中提供的部分的标头仅为方便起见，并且不应被理解为以任何方式限制本公开内容。
本申请中描述了许多实施方式，并且仅为了说明性目的呈现。在任何情况下，所描述的实施方式不是限制性的并且不旨在限制。如从公开内容容易清晰可见的，目前公开的说明广泛适用于许多实施方式。本领域的普通技术人员应认识到，所公开的发明可以各种修改和更改(诸如，结构上的和逻辑上的修改)来实践。尽管可参考一个或多个具体实施方式和/或附图来描述所公开的发明的具体特征，但是应理解，这样的特征不限于在参考它们所描述的一个或多个具体实施方式或附图中的使用，除非另有明确规定。
现在参考图1，示出了用于分割图像的方法的实施方式。
本领域技术人员将理解，图像的分割是要执行的处理任务的一个实施方式。在可替换的实施方式中，图像处理任务是图像分类、图像检测、按像素分类和图像中的块检测中的一个。在可替换的实施方式中，要执行的处理任务包括来自多个模态的治疗响应预测。
根据处理步骤102，提供了分割单元。
应当理解，分割单元是用于生成用于处理任务的至少一个数值的向量的单元的实施方式，其中，任务的处理包括图像分割。
应当理解，本文中公开的分割单元用于分割具有模态的任何子集的图像，即，具有不完整的多模式数据集的图像。
在一个实施方式中，图像是医疗图像。
本领域技术人员应当理解，可提供用于图像的各种可替换的实施方式。
更确切地并且如以下进一步说明的，本文中公开的分割单元使用深度学习框架实现分割具有模态的任何子集的图像的目的。
如以下公开的，每个模态由独立于所有其他的它自身的卷积管线(pipeline)进行初始处理。在至少一个单独阶段之后，来自全部可用模态的特征图通过计算逐个图的统计量(诸如，平均值和方差)合并，其预计值不取决于提供的项(即，模态)的数量。在合并之后，平均值和方差特征图连结并馈入最终集合的卷积阶段以获得网络输出。
因此，在本文中公开的方法中，将理解，每个模态将一个独立项提供给平均值和方差；与现有技术中的普通卷积神经网络结构相反，丢失的模态摆脱不了计算；平均值和方差就变成利用更宽泛的标准误差来估计的。
现在参考图2，示出了用于生成图像的分割掩模的分割单元199的第一实施方式。
将理解，第一卷积核组200是特征图生成单元的实施方式。特征图生成单元用于接收多于一个的模态并且用于使用彼此独立运算的多于一个的对应变换生成多于一个的对应特征图。将理解，通过将给定的对应变换应用于给定的对应模态执行多于一个的对应特征图中的每一个的生成。将进一步理解，在根据要执行的处理任务执行初始训练后生成多于一个的对应变换。如以下进一步说明的，根据伪课程学习方案执行初始训练，其中，在全部模态被呈现的几次重复之后，模态被随机丢弃。
更确切地，并且仍然参考图2，分割单元199包括第一卷积核组200。
第一卷积核组包括至少一个卷积核的层206。
将理解，每层卷积核包括多个要训练的卷积核的多于一个的集合。
更确切地，要训练的多个卷积核的每个集合用于接收图像的特定模态并且用于生成多个对应特征图。
在图2的实施方式中，第一卷积核组200包括卷积核的第一层206。
内核的第一层206包括卷积核的第一集合216。
仍然参考图2，卷积核的第一集合216包括卷积核218、卷积核220...以及卷积核222。
将理解，卷积核218、卷积核220和卷积核222中的每一个接收图像的给定模态210。
生成了对应的多个特征图。更确切地，特征图224是图像的特定模态210乘以卷积核218的卷积结果，同时特征图226是图像的特定模态210乘以卷积核220的卷积结果，并且特征图228是图像的特定模态210乘以卷积核222的卷积结果。
类似地，特征图236是图像的特定模态212乘以卷积核230的卷积结果，同时特征图238是图像的特定模态212乘以卷积核232的卷积结果，并且特征图240是图像的特定模态212乘以卷积核234的卷积结果。
因此图像的第二模态单独地与卷积核230、232和234中的每一个进行卷积。
类似地，特征图248是图像的特定模态214乘以卷积核242的卷积结果，同时特征图250是图像的特定模态214乘以卷积核244的卷积结果，并且特征图252是图像的特定模态214乘以卷积核246的卷积结果。
因此图像的第三模态单独地与卷积核242、244和246中的每一个进行卷积。
此时应当理解，尽管公开了具有图像的三个模态的实施方式，但是本领域技术人员将理解可使用大于或等于两个的任何数量的模态。
还应当理解，尽管在一个实施方式中，可利用图像的三个模态，但也可以使用一个或多个模态的任意组合作为输入。
例如，在一个实施方式中，仅模态210是可用的。在可替换的实施方式中，仅模态214和210是可用的，等等。
仍然参考图2，将理解，分割单元199进一步包括组合单元202。
将理解，组合单元202是用于根据至少一个组合运算选择和组合通过特征图生成单元生成的对应的多于一个的特征图并且用于提供至少一个对应的组合特征图的组合单元的实施方式。此外，将理解，组合单元根据要执行的处理任务进行运算并且组合运算将由特征图生成单元生成的多于一个的特征图中的每一个的每个对应数值减少到至少一个对应的组合特征图中的一个数值。
将理解，在一个实施方式中，根据多于一个的组合运算执行通过特征图生成单元生成的对应的多于一个的特征图的组合。将理解，在一个实施方式中，其中，使用多于一个的组合运算，每个组合运算彼此无关。
更确切地并且在图2中示出的实施方式中，对于多个要训练的卷积核的每个要训练的卷积核，组合单元202用于将通过给定的要训练的卷积核生成的每个特征图，组合在多个要训练的卷积核的多于一个的集中的每个集中，因此提供多个对应的组合特征图。
更确切地，在组合单元202中，特征图260由特征图224与特征图236与特征图248的组合的结果生成。
在组合单元202中，特征图262由特征图226与特征图238与特征图250的组合的结果生成。
在组合单元202中，特征图264由特征图228与特征图240与特征图252的组合的结果生成。
将理解，可根据各种实施方式执行特征图的组合。
例如，该组合可以从由平均值的计算、方差的计算和诸如偏斜度或峭度等高阶统计的计算、以及分位数统计的计算、以及将无序非空集的数字降至一个数字的任何计算组合的组合中选择。实际上且如上所述，该组合使用将通过特征图生成单元生成的多于一个的特征图中的每一个的每个对应数值减少到至少一个对应的组合特征图中的一个数值的组合运算执行。
本领域技术人员将理解，组合的目的是创建抽象层。
在一个实施方式中，在图2中未示出，执行两个不同的组合。执行的第一组合是平均值，然而执行的第二组合是方差。每个不同的组合负责生成对应的特征图。
仍然参考图2，分割单元199进一步包括第二卷积核组204。
第二卷积核组204包括至少一个卷积核层。
将理解，第二卷积核组是第二特征图生成单元的实施方式。第二特征图生成单元是用于从用于生成组合特征图的单元接收至少一个对应的组合特征图并且使用至少一个对应变换生成至少一个最终特征图。将进一步理解，通过将至少一个对应变换中的每一个应用于从用于生成组合特征图的单元接收的至少一个对应特征图的至少一个上来执行至少一个最终特征图的生成。此外，将理解，在根据要执行的处理任务执行初始训练后生成至少一个对应变换。
更确切地并且在图2中公开的实施方式中，每个卷积核层包括要训练的多个卷积核。每个要训练的卷积核用于接收通过组合单元生成的对应的组合特征图并且用于生成图像的分割掩模。
更确切地并且在图2中示出的实施方式中，第二组内核包括一个卷积核层208。
该卷积核层208包括卷积核266、卷积核268...和卷积核270。
将理解，特征图利用特定的内核卷积以生成新的特征图。
例如，特征图260与卷积核266进行卷积以生成特征图272。
类似地，特征图262与卷积核268进行卷积以生成特征图274。
特征图264与卷积核270进行卷积以生成特征图276。
将理解，分割单元199还包括(在图2中未示出的)特征图处理单元。
特征图处理单元用于从第二特征图生成单元接收所生成的至少一个最终特征图并且用于处理所生成的至少一个最终特征图以提供要用于处理任务的生成的至少一个数值的向量。
在图2中公开的实施方式中，生成的至少一个数值的向量包括图像的分割掩模。
更确切地并且在图2中公开的实施方式中，特征图处理单元接收特征图272、特征图274和特征图276并且生成对应的分割掩模。
将理解，分割掩模是在特征图上使用“softmax”计算而生成的。
本领域技术人员将理解，可以提供各种可替换的实施方式。
现在参考图3，示出了用于生成图像的分割掩模的分割单元299的第二实施方式。
在这个实施方式中，分割单元299包括第一卷积核组300、组合单元302、第二卷积核组304和图3中未示出的特征图处理单元。
第一卷积核组300包括(未示出的)分别生成多于一个的集的多个特征图的两个卷积核层。在图3中公开了第一特征图集合306和第二特征图集合308。
将理解，两个卷积核层被分别称为和
第一集特征图306包括根据相应的图像320的第一模态、图像322的第二模态、图像324的第n个模态分别乘以多个卷积核的卷积而生成的特征图。在这个实施方式中，多个卷积核中的每一个都包括48个卷积核，各个卷积核具有(5，5)的大小。
特征图308的第二集合包括根据特征图的每个集合与卷积核的对应集合的卷积而生成的特征图。如以上概括的，将理解，每个卷积操作后面是ReLU操作以产生特征图。
除了组合单元中，这个应用于各个地方。在这种情况下，以下公开的最大池化操作在ReLU之后。更确切地并且在这个实施方式中，多个卷积核中的每一个包括48个卷积核，各个卷积核具有(5，5)的大小以及池化(2，2)，步长(stride)为1。将理解，紧跟ReLU操作，最大池化操作被应用于每个特征图。在一个实施方式中，这个操作具有2x2的池化窗口，以及步长为1。这意味着特征图中的全部2x2区域被访问，并且采用每个区域内的最大值，由此得名“最大池化”，以便每个2x2区域产生一个值。步长为“1”意味着我们单独在水平方向和垂直方向上移动一个像素，使得输出处存在的像素与输入处存在的一样多。此外，为了保证获得正确数量的像素，在每个特征图周围的边界处存在零填充。这种最大池化的目的是在通过卷积核识别的特征的位置中引入一些鲁棒性。
组合单元302包括第一多个特征图310和第二多个特征图312。
第一多个特征图310对应于对应特征图的算术平均值，同时第二多个特征图312包括多个输入特征图的方差。
更确切地，在此计算模态融合，因为在C(2)中可用模态上的第一矩量和第二矩量分别用于每个特征图I。
其中，如果|K|＝1，则被限定为零。
第二组内核304包括至少一个卷积核层。
在图3中示出的实施方式中，提供了多个卷积核的两个层。
第一层多个卷积核用于生成第一多个特征图314。
第一层多个卷积核包括具有(5，5)大小的16个内核。本领域技术人员将理解，可为卷积核的数量以及每个卷积核的大小提供各种可替换的实施方式。
第二层多个卷积核用于生成第二多个特征图316。
将理解，最后一层的第二组内核304、即这个实施方式中的第二层多个卷积核包括等于多个类别的数量的多个内核。将理解，类别的数量表示我们想要生产的分割的类型。在简单情况下，提供两个类别，例如，“肿瘤”和“非肿瘤”。在更复杂的情况下，我们可具有取决于图像的纹理特征的肿瘤子类型，并且那些将与额外的类别对应。将理解，在这个实施方式中，第二层卷积核的每个卷积核的大小是(21，21)。本领域技术人员将理解，可为卷积核的大小提供各种可替换的实施方式。
更确切地并且在图3中公开的实施方式中，第二组内核304结合合并的模态产生最终的模型输出。
全部和特征图联络并且经过具有ReLU激活的卷积滤波器C(3)，以便结束具有与存在的分割类别一样多的特征图的最后一层C(4)。
在一个实施方式中，按像素后部类别概率通过在C(4)特征图上应用softmax函数给出，并且通过在特征图处理单元中大概采用按像素后部类别来获得全部分割。
根据处理步骤104，分割单元被训练。
将理解，可根据各种实施方式训练分割单元。
在一个实施方式中，分割单元使用后向传播算法训练。
如本领域技术人员已知的，许多算法可用于训练分割单元。
在一个实施方式中，该训练在必须学习困难情形之前以最容易的情形开始。
例如，该训练以伪课程学习方案开始，其中，在全部模态呈现给分割单元的几次迭代之后，模态被随机丢弃，保证更高的仅丢弃零或一个模态的概率。
一般地，数百至数万实例可用于训练分割单元。
仍然参考图1并且根据处理步骤106，使用分割单元。将理解，可根据各种实施方式使用分割单元。
实际上，将理解，可在使用图像的至少一个模态的集合的情况下来使用分割单元。
将理解，可根据各种实施方式提供图像的至少一个模态的集合。
现在参考图4，示出了用于分割图像400的处理装置的实施方式。
将理解，用于分割图像400的处理装置是用于处理任务的处理装置的实施方式，其中，任务的处理包括分割图像。
用于分割图像的处理装置400包括中央处理单元402、显示装置404、输入装置410、通信端口406、数据总线408、存储单元412和图形处理单元(GPU)422。
中央处理单元402、显示装置404、输入装置410、通信端口406、存储单元412和图形处理单元422使用数据总线408相互连接。
中央处理单元402用于处理计算机指令。本领域技术人员将理解，可以提供中央处理单元402的各种实施方式。
在一个实施方式中，中央处理单元是以3.4GHz运行且由Intel(TM)制造的CPU核i7CPU。
在一个实施方式中，图形处理单元422是由Nvidia(TM)制造的Titan X GPU。
显示装置404用于向用户显示数据。本领域技术人员将理解，可以使用各种类型的显示装置404。
在一个实施方式中，显示装置404是标准的液晶显示器(LCD)监视器。
通信端口406用于与用于分割图像的处理装置400共享数据。
例如，通信端口406可包括用于将键盘和鼠标连接至用于分割图像的处理装置400的通用串行总线(USB)端口。
通信端口406可以进一步包括用于使用于分割图像的处理装置400能够与另一个处理装置经由(未示出的)数据网络连接的数据网络通信端口，诸如，IEEE 802.3端口。
本领域技术人员将理解，可以提供通信端口406的各种可替换的实施方式。
在一个实施方式中，通信端口406包括以太网端口和鼠标端口(例如，Logitech(TM))。
存储单元412用于存储计算机可执行指令。
将理解，在一个实施方式中，存储单元412包括还称为bios 414的基本输入/输出系统。
存储单元412进一步包括操作系统416。
本领域的技术人员应理解，操作系统416可以是各种类型。
在实施方式中，操作系统416是Linux Ubuntu操作系统版本15.10或最新的版本。
存储单元412进一步包括用于分割图像的应用418。将理解，用于分割图像的应用418是用于处理任务的应用的实施方法，其中，任务的处理包括分割图像。
存储单元412进一步包括训练数据420。
将理解，训练数据420用于训练在用于分割图像的应用418中实现的分割单元。
在可替换的实施方式中，存储单元412不包括训练数据420。将理解，这是当分割单元已经被充分训练的情况。
用于分割图像的应用418包括用于提供用于生成图像的分割掩模的分割单元的指令，该分割单元包括：第一卷积核组，包括至少一个卷积核层，每个层包括多个要训练的卷积核的多于一个的集合；每个集合用于接收图像的特定模态并且用于生成多个对应的特征图；组合单元，对于多个要训练的卷积核中的每个要训练的卷积核，将通过要训练的给定的卷积核生成的每个特征图组合在要训练的多个卷积核的多于一个的集合的每个集合中，因此提供多个对应的组合特征图；以及第二卷积核组，包括至少一个卷积核层，每个层包括多个要训练的卷积核的一个集合；要训练的多个卷积核的每个集合用于接收通过组合单元生成的对应的组合特征图并且用于生成图像的分割掩模。
在分割单元未被充分训练的情况下，用于分割图像的应用418包括使用训练数据训练分割单元的每个卷积核的指令。
用于分割图像的应用418进一步包括用于将待分割的图像的至少一个模态提供至分割单元的指令。
用于分割图像418的应用进一步包括用于提供待分割的图像的对应分割掩模的指令。
将理解，用于分割图像的应用418是用于处理任务的应用的实施方式。用于处理任务的应用包括：提供用于生成用于处理任务的至少一个数值的向量的单元的指令，用于生成用于处理任务的至少一个数值的向量的单元包括：特征图生成单元，该特征图生成单元用于接收多于一个的模态并且使用彼此独立运算的多于一个的对应变换生成多于一个的对应特征图；其中，通过将给定的对应变换应用于给定的对应模态上执行多于一个的对应特征图中的每一个的生成，其中，在根据要执行的处理任务执行初始训练后生成多于一个的对应变换；以及组合单元，根据至少一个组合运算选择和组合通过特征图生成单元生成的对应的多于一个的特征图并且用于提供至少一个对应的组合特征图；其中，组合单元根据要执行的处理任务进行运算并且组合运算将通过特征图生成单元生成的多于一个的特征图中的每一个的每个对应数值减少到至少一个对应的组合特征图中的一个数值，第二特征图生成单元，第二特征图生成单元用于从用于生成组合特征图的单元接收至少一个对应的组合特征图并且使用至少一个对应变换生成至少一个最终特征图；其中，通过将至少一个对应变换中的每一个应用于从用于生成组合特征图的单元接收的至少一个对应特征图的至少一个上执行至少一个最终特征图的生成；其中，在根据要执行的任务执行初始训练后生成至少一个对应变换；以及特征图处理单元，用于从第二特征图生成单元接收所生成的至少一个最终特征图并且用于处理所生成的至少一个最终特征图以提供要用于处理任务的至少一个数值的生成的向量。用于处理任务的应用进一步包括使用训练数据训练用于生成组合特征图的单元和第二特征图生成单元的指令。用于处理任务的应用进一步包括用于将至少一个模态提供至用于生成用于处理任务的至少一个数值的向量的单元的指令以及用于获得至少一个数值的对应向量的指令。
将理解，还公开了用于存储计算机可执行指令的非易失性计算机可读存储介质，当执行时，该指令使得处理装置执行用于分割图像的方法，该方法包括：提供用于生成图像的分割掩模的训练的分割单元，该分割单元包括：第一卷积核组，包括至少一层卷积核，每层包括多个卷积核的多于一个的集合；每个集合用于接收图的像特定模态并且用于生成多个对应的特征图；组合单元，至于多个卷积核的每个卷积核，将通过特定的卷积核生成的每个特征图组合在多个卷积核的多于一个的集合的每个集合中，以便因此提供多个对应的组合特征图；以及第二卷积核组，包括至少一层卷积核，每层包括多个卷积核的一个集合；多个卷积核的每个集合用于接收通过组合单元生成的对应的组合特征图并且用于生成图像的分割掩模；将待分割的图像的至少一个模态提供至分割并且提供图像的对应的分割掩模。
将理解，还公开了用于存储计算机可执行指令的非易失性计算机可读存储介质，当执行时，该指令使得处理装置执行用于处理任务的方法，该方法包括：提供用于生成用于处理任务的至少一个数值的向量的单元，该用于生成用于处理任务的至少一个数值的向量的单元包括：用于生成组合特征图的单元，包括特征图生成单元，该特征图生成单元用于接收多于一个的模态并且使用彼此独立运算的多于一个的对应变换生成多于一个的对应特征图；其中，通过将给定的对应变换应用在给定的对应模态上执行多于一个的对应特征图中的每一个的生成，其中，在根据要执行的处理任务执行初始训练后生成多于一个的对应变换并且组合单元用于根据至少一个组合运算选择和组合通过特征图生成单元生成的对应的多于一个的特征图并且用于提供至少一个对应的组合特征图；其中，组合单元根据要执行的处理任务进行运算并且组合运算将通过特征图生成单元生成的多于一个的特征图中的每一个的每个对应数值减少到至少一个对应的组合特征图中的一个数值，第二特征图生成单元，该第二特征图生成单元用于从用于生成组合特征图的单元接收至少一个对应的组合特征图并且使用至少一个对应变换生成至少一个最终特征图；其中，通过将至少一个对应变换中的每一个应用于从用于生成组合特征图的单元接收的至少一个对应特征图的至少一个上执行至少一个最终特征图的生成；其中，在根据要执行的处理任务执行初始训练后生成至少一个对应变换，以及特征图处理单元，用于从第二特征图生成单元接收所生成的至少一个最终特征图并且用于处理所生成的至少一个最终特征图以提供要用于处理任务的生成的至少一个数值的向量；使用训练数据训练用于生成组合特征图的单元和第二特征图生成单元；将至少一个模态提供至用于生成用于处理任务的至少一个数值的向量的单元以及获得至少一个数值的对应向量。
将理解，还公开了用于存储计算机可执行指令的非易失性计算机可读存储介质，当执行时，该指令使得处理装置执行用于分割图像的方法，该方法包括：提供用于生成图像的分割掩模的分割单元，该分割单元包括：第一卷积核组，包括至少一层卷积核，每层包括要训练的多个卷积核的多于一个的集合；每个集合用于接收图的像特定模态并且用于生成多个对应的特征图；组合单元，至于要训练的多个卷积核中的每个要训练的卷积核，将通过要训练的特定的卷积核生成的每个特征图组合在要训练的多个卷积核的多于一个的集合的每个集合中，因此提供多个对应的组合特征图；以及第二卷积核组，包括至少一层卷积核，每层包括要训练的多个卷积核的一个集合；要训练的多个卷积核的每个集合用于接收通过组合单元生成的对应的组合特征图并且用于生成图像的分割掩模；使用训练数据训练每个卷积核；将待分割的图像的至少一个模态提供至分割；提供图像的对应的分割掩模。
还将理解，公开了用于存储计算机可执行指令的非易失性计算机可读存储介质，当执行时，该指令使得处理装置执行用于执行任务的方法，该方法包括：提供用于生成用于处理任务的至少一个数值的向量的训练单元，该用于生成用于处理任务的至少一个数值的向量的单元包括：用于生成组合特征图的单元，该用于生成组合特征图的单元包括特征图生成单元，该特征图生成单元用于接收多于一个的模态并且使用彼此独立运算的多于一个的对应变换生成多于一个的对应特征图；通过将给定的对应变换应用于给定的对应模态上执行多于一个的对应特征图中的每一个的生成，其中，在根据要执行的处理任务执行初始训练后生成多于一个的对应变换以及组合单元，根据至少一个组合运算选择和组合通过特征图生成单元生成的对应的多于一个的特征图并且用于提供至少一个对应的组合特征图；其中，组合单元根据要执行的处理任务进行运算并且组合运算将通过特征图生成单元生成的多于一个的特征图中的每一个的每个对应数值减少到至少一个对应的组合特征图中的一个数值，第二特征图生成单元，该第二特征图生成单元用于从用于生成组合特征图的单元接收至少一个对应的组合特征图并且使用至少一个对应变换生成至少一个最终特征图；其中，通过将至少一个对应变换中的每一个应用于从用于生成组合特征图的单元接收的至少一个对应特征图的至少一个上执行至少一个最终特征图的生成；其中，在根据要执行的任务执行初始训练后生成至少一个对应变换；以及特征图处理单元，用于从第二特征图生成单元接收所生成的至少一个最终特征图并且用于处理所生成的至少一个最终特征图以提供要用于处理任务的至少一个数值的生成的向量；将至少一个模态提供至用于生成用于处理任务的至少一个数值的向量的训练单元以及获得至少一个数值的对应向量。
将理解，至于图像的每个模态，本文中公开的分割单元学习将图像嵌入抽象层空间中。在这个隐藏空间中，诸如计算第一和第二矩量的算术运算被良好地定义并且可以在推断时间接收可用的不同模态。然后可以进一步处理这个更高层次的特征空间以估计分割。
还公开了用于处理多个模态的方法。在这个方法中，该处理对缺少至少一个模态具有鲁棒性。该方法包括接收多个模态。该方法进一步包括使用相应变换处理多个模态的每个模态以生成包括至少一个对应数值的相应特征图，其中，相应变换彼此独立运算，进一步地，其中，相应变换包括由至少多个层次的非线性运算组成的机器学习模型。该方法进一步包括处理使用至少一个组合运算获得的数值以生成获得的数值的至少一个组合表示，其中，至少一个组合运算包括将所生成的多于一个的特征图中的每一个的每个对应数值减少到所获得的数值的至少一个组合表示中的数值。最后，该方法包括使用由用于执行多个模态的处理的至少一个层次的非线性运算和线性运算中的至少一个组成的机器学习模型处理获得的数值的至少一个组合表示。
用于处理本文中公开的任务的方法的优势在于在不需要学习组合的多个计算模型的情况下对可用模态的任何组合的子集设置为输入具有鲁棒性。
尽管以上描述涉及到如发明者目前所设想的特定的优选实施方式，但是应理解，本发明在其广泛方面包括在本文中描述的元件的功能等同物。
项1.一种用于生成用于处理任务的至少一个数值的向量的单元，该用于生成向量的单元包括：
用于生成组合特征图的单元，该用于生成组合特征图的单元包括特征图生成单元，该特征图生成单元用于接收多于一个的模态并且使用彼此独立运算的多于一个的对应变换来生成多于一个的对应特征图；其中，通过将给定的对应变换应用在给定的对应模态上执行多于一个的对应特征图中的每一个的生成，其中，在根据要执行的处理任务执行初始训练后生成多于一个的对应变换并且组合单元用于根据至少一个组合运算选择和组合通过特征图生成单元生成的对应的多于一个的特征图并且用于提供至少一个对应的组合特征图；其中，组合单元根据要执行的处理任务进行运算并且组合运算将通过特征图生成单元生成的多于一个的特征图中的每一个的每个对应数值减少到至少一个对应的组合特征图中的一个数值；
第二特征图生成单元，该第二特征图生成单元用于从用于生成组合特征图的单元接收至少一个对应的组合特征图并且使用至少一个对应变换生成至少一个最终特征图；其中，通过将至少一个对应变换中的每一个应用于从用于生成组合特征图的单元接收的至少一个对应特征图的至少一个上来执行至少一个最终特征图的生成；其中，在根据要执行的处理任务执行初始训练后生成至少一个对应变换；以及
特征图处理单元，用于从第二特征图生成单元接收所生成的至少一个最终特征图并且用于处理所生成的至少一个最终特征图以提供要用于处理任务所生成的至少一个数值的向量。
项2.根据项1所述的用于生成组合特征图的单元，其中，根据伪课程学习方案执行初始训练，其中，在全部模态被呈现的几次迭代之后，模态被随机丢弃。
项3.根据项1所述的用于生成组合特征图的单元，其中，多于一个的对应变换中的每一个包括由至少多个层次的非线性运算组成的机器学习模型。
项4.根据项1所述的用于生成组合特征图的单元，其中，多于一个的对应变换中的每一个包括后面是全连接层的多于一层的卷积神经网络。
项5.根据项1所述的用于生成组合特征图的单元，其中，使用多项式、径向基函数和Sigmond核函数中的一个来表示所生成的多于一个的对应特征图中的每一个。
项6.根据项1所述的用于生成组合特征图的单元，其中，要执行的处理任务包括从以下各项组成的组中选择的图像处理任务：该组合由图像分割、图像分类、图像检测、按像素分类和图像中的块的检测组成。
项7.根据项1所述的用于生成用于处理任务的至少一个数值的向量的单元，其中，第二特征图生成单元的至少一个对应变换中的每一个包括由至少一个层次的非线性运算和线性运算中的至少一个组成的机器学习模型。
项8.一种用于存储计算机可执行指令的非易失性计算机可读存储介质，，该指令在被执行时使得处理装置执行用于处理任务的方法，该方法包括：
提供用于生成用于处理任务的至少一个数值的向量的单元，用于生成用于处理任务的至少一个数值的向量的单元包括：
用于生成组合特征图的单元，该用于生成组合特征图的单元包括特征图生成单元，该特征图生成单元用于接收多于一个的模态并且使用彼此独立运算的多于一个的对应变换生成多于一个的对应特征图；其中，通过将给定的对应变换应用在给定的对应模态上执行多于一个的对应特征图中的每一个的生成，其中，在根据要执行的处理任务执行初始训练后生成多于一个的对应变换并且组合单元用于根据至少一个组合运算选择和组合通过特征图生成单元生成的对应的多于一个的特征图并且用于提供至少一个对应的组合特征图；其中，组合单元根据要执行的处理任务进行运算并且组合运算将通过特征图生成单元生成的多于一个的特征图中的每一个的每个对应数值减少到至少一个对应的组合特征图中的一个数值，
第二特征图生成单元，该第二特征图生成单元用于从用于生成组合特征图的单元接收至少一个对应的组合特征图并且使用至少一个对应变换生成至少一个最终特征图；其中，通过将至少一个对应变换中的每一个应用于从用于生成组合特征图的单元接收的至少一个对应特征图的至少一个上执行至少一个最终特征图的生成；其中，在根据要执行的处理任务执行初始训练后生成至少一个对应变换，以及
特征图处理单元，用于从第二特征图生成单元接收所生成的至少一个最终特征图并且用于处理所生成的至少一个最终特征图以提供所生成的用于处理任务的至少一个数值的向量；
使用训练数据训练用于生成组合特征图的单元和第二特征图生成单元；
将至少一个模态提供至用于生成用于处理任务的至少一个数值的向量的单元；以及
获得至少一个数值的对应向量。
项9.一种用于存储计算机可执行指令的非易失性计算机可读存储介质，该指令在被执行时使得处理装置执行用于执行任务的方法，该方法包括：
提供用于生成用于处理任务的至少一个数值的向量的训练单元，该用于生成用于处理任务的至少一个数值的向量的单元包括：
用于生成组合特征图的单元，该用于生成组合特征图的单元包括特征图生成单元，该特征图生成单元用于接收多于一个的模态并且使用彼此独立运算的多于一个的对应变换生成多于一个的对应特征图；其中，通过将给定的对应变换应用在给定的对应模态上执行多于一个的对应特征图中的每一个的生成，其中，在根据要执行的处理任务执行初始训练后生成多于一个的对应变换并且组合单元用于根据至少一个组合运算选择和组合通过特征图生成单元生成的对应的多于一个的特征图并且用于提供至少一个对应的组合特征图；其中，组合单元根据要执行的处理任务进行运算并且组合运算将通过特征图生成单元生成的多于一个的特征图中的每一个的每个对应数值减少到至少一个对应的组合特征图中的一个数值，
第二特征图生成单元，该第二特征图生成单元用于从用于生成结合特征图的单元接收至少一个对应的组合特征图并且使用至少一个对应变换生成至少一个最终特征图；其中，通过将至少一个对应变换中的每一个应用于从用于生成组合特征图的单元接收的至少一个对应特征图的至少一个上执行至少一个最终特征图的生成；其中，在根据要执行的任务执行初始训练后生成至少一个对应变换；以及
特征图处理单元，用于从第二特征图生成单元接收所生成的至少一个最终特征图并且用于处理所生成的至少一个最终特征图以提供所生成的用于处理任务的至少一个数值的向量；
将至少一个模态提供至用于生成用于处理任务的至少一个数值的向量的训练单元；
获得至少一个数值的对应向量。
项10.一种处理装置，包括：
中央处理单元；
显示装置；
通信端口，用于将处理装置操作性地连接至多个移动处理装置，每个移动处理装置由使用者携带；
存储单元，包括用于处理任务的应用，该应用包括：
用于提供用于生成用于处理任务的至少一个数值的向量的单元的指令，该用于生成用于处理任务的至少一个数值的向量的单元包括：用于生成组合特征图的单元，该用于生成组合特征图的单元包括特征图生成单元，该特征图生成单元用于接收多于一个的模态并且使用彼此独立运算的多于一个的对应变换生成多于一个的对应特征图，其中，通过将给定的对应变换应用在给定的对应模态上执行多于一个的对应特征图中的每一个的生成，其中，在根据要执行的处理任务执行初始训练后生成多于一个的对应变换；以及组合单元用于根据至少一个组合运算选择和组合通过特征图生成单元生成的对应的多于一个的特征图并且用于提供至少一个对应的组合特征图，其中，组合单元根据要执行的处理任务进行运算并且组合运算将通过特征图生成单元生成的多于一个的特征图中的每一个的每个对应数值减少到至少一个对应的组合特征图中的一个数值；第二特征图生成单元，该第二特征图生成单元用于从用于生成结合特征图的单元接收至少一个对应的组合特征图并且使用至少一个对应变换生成至少一个最终特征图，其中，通过将至少一个对应变换中的每一个应用于从用于生成组合特征图的单元接收的至少一个对应特征图的至少一个上执行至少一个最终特征图的生成，其中，在根据要执行的任务执行初始训练后生成至少一个对应变换；以及特征图处理单元，用于从第二特征图生成单元接收所生成的至少一个最终特征图并且用于处理所生成的至少一个最终特征图以提供要用于处理任务的生成的至少一个数值的向量；
用于使用训练数据训练用于生成组合特征图的单元和第二特征图生成单元的指令；
用于将至少一个模态提供至用于生成用于处理任务的至少一个数值的向量的单元的指令；以及
用于获得至少一个数值的对应向量的指令。
项11.一种用于处理多个模态的方法，其中，处理对缺少至少一个模态具有鲁棒性，该方法包括：
接收多个模态；
使用相应变换处理多个模态中的每个模态以生成包括至少一个对应数值的相应特征图，其中，相应变换彼此独立运算，进一步地，其中，相应变换包括由至少多个层次的非线性运算组成的机器学习模型；
使用至少一个组合运算处理获得的数值以生成获得的数值的至少一个组合表示，其中，至少一个组合运算包括将所生成的多于一个的特征图中的每一个的每个对应数值减少到获得的数值的至少一个组合表示中的数值；以及
使用由用于执行多个模态的处理的至少一个层次的非线性运算和线性运算中的至少一个组成的机器学习模型处理获得的数值的至少一个组合表示。
项12.一种根据要执行的处理任务用于生成组合特征图的单元，该用于生成组合特征图的单元包括：
特征图生成单元，该特征图生成单元用于接收多于一个的模态并且使用彼此独立运算的多于一个的对应变换生成多于一个的对应特征图；其中，将给定的对应变换应用于给定的对应模态上执行多于一个的对应特征图中的每一个的生成，其中，在根据要执行的处理任务执行初始训练后生成多于一个的对应变换；以及
组合单元，根据至少一个组合运算选择和组合通过特征图生成单元生成的对应的多于一个的特征图并且用于提供至少一个对应的组合特征图；其中，组合单元根据要执行的处理任务进行运算并且组合运算将通过特征图生成单元生成的多于一个的特征图中的每一个的每个对应数值减少到至少一个对应的组合特征图中的一个数值。
项13.根据项1所述的用于生成组合特征图的单元，其中，根据多于一个的组合运算执行通过特征图生成单元生成的对应的多于一个的特征图的组合；其中，每个组合运算彼此独立。
参考文献
1.Bengio,Y.,Louradour,J.,Collobert,R.,Weston,J.:Curriculumlearning.In:Proceedings of the 26th annual international conference onmachine learning,pp.41-48.ACM(2009)
2.Brosch,T.,Yoo,Y.,Tang,L.Y.W.,Li,D.K.B.,Traboulsee,A.,Tarn,R.:Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015:18thInternational Conference,Munich,Germany,October 5-9,2015,Proceedings,PartIII,chap.Deep Convolutional Encoder Networks for Multiple Sclerosis LesionSegmentation,pp.3-1 1.Springer International Publishing,Cham(2015)
3.Chollet,F.:keras.https://github.com/fchollet/keras(2015)
4.Cordier,N.,Delingette,H.,Ayache,N.:A patch-based approach for thesegmentation of pathologies:Application to glioma labelling.IEEE Transactionson Medical Imaging PP(99),1-1(2016)
5.Geremia,E.,Menze,B.H.,Ayache,N.:Spatially adaptive random forestspp.1344-1347(2013)
6.Goodfellow,I.,Bengio,Y.,Courville,A.:Deep learning(2016),http://goodfeli.github.io/dlbook/,book in preparation for MIT Press
7.Guizard,N.,Coupe,P.,Fonov,V.S.,Manjon,J.V.,Arnold,D.L.,Collins,D.L.:Rotation-invariant multi-contrast non-local means for ms lesionsegmentation.Neurolmage:Clinical 8,376-389(2015)
8.Havaei,M.,Davy,A.,Warde-Farley,D.,Biard,A.,Courville,A.,Bengio,Y.,Pal,C,Jodoin,P.M.,Larochelle,H.:Brain tumor segmentation with deep neuralnetworks.arXiv preprint arXiv:1505.03540(2015)
9.Hofmann,M.,Steinke,F.,Scheel,V.,Charpiat,G.,Farquhar,J.,Aschoff,P.,Brady,M.,Scholkopf,B.,Pichler,B.J.:MRI-based attenuation correction for PET/MRI:a novel approach combining pattern recognition and atlasregistration.Journal of Nuclear Medicine 49(11),1875-1883(2008)
10.Hor,S.,Moradi,M.:Scandent tree:A random forest learning method forincomplete multimodal datasets.In:Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015,pp.694-701.Springer(2015)
11.Iglesias,J.E.,Sabuncu,M.R.:Multi-atlas segmentation of biomedicalimages:A survey.Medical image analysis 24(1),205-219(2015)
12.Long,J.,Shelhamer,E.,Darrell,T.:Fully convolutional networks forsemantic segmentation.In:Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition,pp.3431-3440(2015)
13.Menze,B.,Jakab,A.,Bauer,S.,Kalpathy-Cramer,J.,Farahani,K.,Kirby,J.e.a.:The multimodal brain tumor image segmentation benchmark(brats).MedicalImaging,IEEE Transactions on 34(10),1993-2024(Oct 2015)
14.Mikolov,T.,Sutskever,I.,Chen,K.,Corrado,G.S.,Dean,J.:Distributedrepresentations of words and phrases and their compositionality.In:Advancesin neural information processing systems,pp.31 1 1-31 19(2013)
15.Sled,J.G.,Zijdenbos,A.P.,Evans,A.C.:A nonparametric method forautomatic correction of intensity nonuniformity in mri data.Medical Imaging,IEEE Trans-actions on 17(1),87-97(1998)
16.Souplet,J.,Lebrun,C,Ayache,N.,Malandain,G.:An automaticsegmentation of T2-FLAIR multiple sclerosis lesions(07 2008)
17.Srivastava,N.,Hinton,G.,Krizhevsky,A.,Sutskever,I.,Salakhutdinov,R.:Dropout:A simple way to prevent neural networks from overfitting.TheJournal of Machine Learning Research 15(1),1929-1958(2014)
18.Styner,M.,Lee,J.,Chin,B.,Chin,M.,Commowick,O.,Tran,H.,Markovic-Plese,S.,Jewells,V.,Warfield,S.:3d segmentation in the clinic:A grandchallenge ii:Ms lesion segmentation.MIDAS Journal 2008,1-6(2008)
19.Sutskever,I.,Martens,J.,Dahl,G.,Hinton,G.:On the importance ofinitialization and momentum in deep learning.In:Proceedings of the 30thinternational conference on machine learning(ICML-13).pp.1139-1 147(2013)
20.Sutskever,I.,Vinyals,O.,Le,Q.V.:Sequence to sequence learning withneural networks.In:Advances in neural information processing systems,pp.3104-31 12(2014)
21.Tulder,G.,Bruijne,M.:Medical Image Computing and Computer-AssistedIntervention-MICCAI 2015:18th International Conference,Munich,Germany,October5-9,2015,Proceedings,Part I,chap.Why Does Synthesized Data Improve Multi-sequence Classification？,pp.531-538.Springer International Publishing,Cham(2015)
22.Tustison,N.J.,Shrinidhi,K.,Wintermark,M.,Durst,C.R.,Kandel,B.M.,Gee,J.C.,Grossman,M.C.,Avants,B.B.:Optimal symmetric multimodal templates andconcatenated random forests for supervised brain tumor segmentation(simplified)with antsr.Neuroinformatics 13(2),209-225(2015)
23.Van Buuren,S.:Flexible imputation of missing data.CRC press(2012)
24.Vincent,P.,Larochelle,H.,Bengio,Y.,Manzagol,P.A.:Extracting andcomposing robust features with denoising autoencoders.In:Proceedings of the25th international conference on Machine learning,pp.1096-1 103.ACM(2008)
25.Xu,K.,Ba,J.,Kiros,R.,Cho,K.,Courville,A.,Salakhudinov,R.,Zemel,R.,Ben-gio,Y.:Show,attend and tell:Neural image caption generation with visualattention.In:Blei,D.,Bach,F.(eds.)Proceedings of the 32nd InternationalConference on Machine Learning(ICML-15).pp.2048-2057.JMLR Workshop andConference Proceedings(2015),http://jmlr.org/proceedings/papers/v37/xuc15.pdf
26.Zhao,L,Wu,W.,Corso,J.J.:Medical Image Computing and Computer-Assisted Intervention-MICCAI 2013:16th International Conference,Nagoya,Japan,September 22-26,2013,Proceedings,Part III,chap.Semiautomatic Brain TumorSegmentation by Constrained MRFs Using Structural Trajectories,pp.567-575.Springer Berlin Heidelberg,Berlin,Heidelberg(2013),http://dx.doi.Org/10.1007/978-3-642-40760-4_71。

Claims (13)

1.一种用于生成向量的单元，所述向量是用于处理任务的至少一个数值的向量，所述用于生成向量的单元包括：
用于生成组合特征图的单元，所述用于生成组合特征图的单元包括：特征图生成单元，所述特征图生成单元用于接收多于一个的模态并且用于使用彼此独立运算的多于一个的对应变换来生成多于一个的对应特征图，其中，通过将给定的对应变换应用在给定的对应模态上来执行所述多于一个的对应特征图中的每一个的生成，其中，在根据要执行的所述处理任务执行初始训练后生成所述多于一个的对应变换；以及组合单元，用于根据至少一个组合运算选择并组合通过所述特征图生成单元生成的对应的多于一个的特征图，并且用于提供至少一个对应的组合特征图；其中，所述组合单元根据要执行的所述处理任务进行运算并且所述组合运算将通过所述特征图生成单元生成的所述多于一个的特征图中的每一个的每个对应数值减少到所述至少一个对应的组合特征图中的一个数值；
第二特征图生成单元，所述第二特征图生成单元用于从所述用于生成组合特征图的单元接收所述至少一个对应的组合特征图并且用于使用至少一个对应变换生成至少一个最终特征图；其中，通过将所述至少一个对应变换中的每一个应用于从所述用于生成组合特征图的单元接收的所述至少一个对应特征图的至少一个上来执行所述至少一个最终特征图的生成；其中，在根据要执行的所述处理任务执行初始训练后生成所述至少一个对应变换；以及
特征图处理单元，用于从所述第二特征图生成单元接收所生成的至少一个最终特征图并且用于处理所生成的至少一个最终特征图以提供所生成的用于处理所述任务的至少一个数值的向量。
2.根据权利要求1所述的用于生成组合特征图的单元，其中，根据伪课程学习方案执行所述初始训练，其中，在全部模态被呈现的几次迭代之后，模态被随机丢弃。
3.根据权利要求1所述的用于生成组合特征图的单元，其中，所述多于一个的对应变换中的每一个包括由至少多个层次的非线性运算组成的机器学习模型。
4.根据权利要求1所述的用于生成组合特征图的单元，其中，所述多于一个的对应变换中的每一个包括后面是全连接的层的多于一层的卷积神经网络。
5.根据权利要求1所述的用于生成组合特征图的单元，其中，使用多项式、径向基函数和Sigmond核函数中的一个表示所生成的多于一个的对应特征图中的每一个。
6.根据权利要求1所述的用于生成组合特征图的单元，其中，要执行的所述处理任务包括从由以下各项组成的组中选择的图像处理任务：图像分割、图像分类、图像检测、按像素的分类和图像中分块的检测组成。
7.根据权利要求1所述的用于生成用于处理任务的至少一个数值的向量的单元，其中，所述第二特征图生成单元的所述至少一个对应变换中的每一个包括由至少一个层次的非线性运算和线性运算中的至少一个组成的机器学习模型。
8.一种用于存储计算机可执行指令的非易失性计算机可读存储介质，所述计算机可执行指令在被执行时使得处理装置执行用于处理任务的方法，所述方法包括：
提供用于生成用于处理任务的至少一个数值的向量的单元，所述用于生成用于处理任务的至少一个数值的向量的单元包括：
用于生成组合特征图的单元，所述用于生成组合特征图的单元包括：特征图生成单元，所述特征图生成单元用于接收多于一个的模态并且使用彼此独立运算的多于一个的对应变换生成多于一个的对应特征图；其中，通过将给定的对应变换应用在给定的对应模态上执行所述多于一个的对应特征图中的每一个的生成，其中，在根据要执行的所述处理任务执行初始训练后生成所述多于一个的对应变换；以及组合单元，用于根据至少一个组合运算选择并组合通过所述特征图生成单元生成的所述对应的多于一个的特征图并且用于提供至少一个对应的组合特征图；其中，所述组合单元根据要执行的所述处理任务进行运算并且所述组合运算将通过所述特征图生成单元生成的所述多于一个的特征图中的每一个的每个对应数值减少到所述至少一个对应的组合特征图中的一个数值，
第二特征图生成单元，所述第二特征图生成单元用于从所述用于生成组合特征图的单元接收所述至少一个对应的组合特征图并且用于使用至少一个对应变换生成至少一个最终特征图；其中，通过将所述至少一个对应变换中的每一个应用于从所述用于生成组合特征图的单元接收的所述至少一个对应特征图的至少一个上来执行所述至少一个最终特征图的生成；其中，在根据要执行的所述处理任务执行初始训练后生成所述至少一个对应变换，以及
特征图处理单元，用于从所述第二特征图生成单元接收所生成的至少一个最终特征图并且用于处理所生成的至少一个最终特征图以提供所生成的用于处理所述任务的至少一个数值的向量；
使用训练数据训练所述用于生成组合特征图的单元和所述第二特征图生成单元；
将至少一个模态提供至所述用于生成用于处理任务的至少一个数值的向量的单元；以及
获得至少一个数值的对应向量。
9.一种用于存储计算机可执行指令的非易失性计算机可读存储介质，所述计算机可执行指令在被执行时使得处理装置执行用于执行任务的方法，所述方法包括：
提供用于生成用于处理任务的至少一个数值的向量的训练单元，所述用于生成用于处理任务的至少一个数值的向量的单元包括：
用于生成组合特征图的单元，所述用于生成组合特征图的单元包括：特征图生成单元，所述特征图生成单元用于接收多于一个的模态并且用于使用彼此独立运算的多于一个的对应变换生成多于一个的对应特征图，其中，通过将给定的对应变换应用在给定的对应模态上执行所述多于一个的对应特征图中的每一个的生成，其中，在根据要执行的所述处理任务执行初始训练后生成所述多于一个的对应变换；以及组合单元，用于根据至少一个组合运算选择和组合通过所述特征图生成单元生成的所述对应的多于一个的特征图并且用于提供至少一个对应的组合特征图，其中，所述组合单元根据要执行的所述处理任务进行运算并且所述组合运算将通过所述特征图生成单元生成的所述多于一个的特征图中的每一个的每个对应数值减少到所述至少一个对应的组合特征图中的一个数值，
第二特征图生成单元，所述第二特征图生成单元用于从所述用于生成组合特征图的单元接收所述至少一个对应的组合特征图并且使用至少一个对应变换生成至少一个最终特征图；其中，通过将所述至少一个对应变换中的每一个应用于从所述用于生成组合特征图的单元接收的所述至少一个对应特征图的至少一个上执行所述至少一个最终特征图的生成；其中，在根据要执行的所述任务执行初始训练后生成所述至少一个对应变换；以及
特征图处理单元，用于从所述第二特征图生成单元接收所生成的至少一个最终特征图并且用于处理所生成的至少一个最终特征图以提供所生成的用于处理所述任务的至少一个数值的向量；
将至少一个模态提供至所述用于生成用作处理所述任务的至少一个数值的向量的所述训练单元；
获得至少一个数值的对应向量。
10.一种处理装置，包括：
中央处理单元；
显示装置；
通信端口，用于将所述处理装置操作性地连接至多个移动处理装置，每个所述移动处理装置由使用者携带；
存储单元，包括用于处理任务的应用，所述应用包括：
用于提供用于生成用于处理任务的至少一个数值的向量的单元的指令，所述用于生成用于处理任务的至少一个数值的向量的单元包括：
用于生成组合特征图的单元，所述用于生成组合特征图的单元包括特征图生成单元，所述特征图生成单元用于接收多于一个的模态并且使用彼此独立运算的多于一个的对应变换生成多于一个的对应特征图，其中，通过将给定的对应变换应用在给定的对应模态上执行所述多于一个的对应特征图中的每一个的生成，其中，在根据要执行的所述处理任务执行初始训练后生成所述多于一个的对应变换；以及组合单元，用于根据至少一个组合运算选择和组合通过所述特征图生成单元生成的所述对应的多于一个的特征图并且用于提供至少一个对应的组合特征图，其中，所述组合单元根据要执行的所述处理任务进行运算并且所述组合运算将通过所述特征图生成单元生成的所述多于一个的特征图中的每一个的每个对应数值减少到所述至少一个对应的组合特征图中的一个数值；
第二特征图生成单元，所述第二特征图生成单元用于从所述用于生成组合特征图的单元接收所述至少一个对应的组合特征图并且使用至少一个对应变换生成至少一个最终特征图；其中，通过将所述至少一个对应变换中的每一个应用于从所述用于生成组合特征图的单元接收的所述至少一个对应特征图的至少一个上执行所述至少一个最终特征图的生成；其中，在根据要执行的所述任务执行初始训练后生成所述至少一个对应变换；以及
特征图处理单元，用于从所述第二特征图生成单元接收所生成的至少一个最终特征图并且用于处理所生成的至少一个最终特征图以提供所生成的用于处理所述任务的至少一个数值的向量；
用于使用训练数据训练所述用于生成组合特征图的单元和所述第二特征图生成单元的指令；
用于将至少一个模态提供至所述用于生成用于处理所述任务的至少一个数值的向量的单元的指令；以及
用于获得至少一个数值的对应向量的指令。
11.一种用于处理多个模态的方法，其中，所述处理对缺少至少一个模态具有鲁棒性，所述方法包括：
接收多个模态；
使用相应变换处理所述多个模态中的每个模态以生成包括至少一个对应数值的相应特征图，其中，所述相应变换彼此独立运算，进一步地，其中，所述相应变换包括由至少多个层次的非线性运算组成的机器学习模型；
使用至少一个组合运算处理所获得的数值以生成所获得的数值的至少一个组合表示，其中，所述至少一个组合运算包括将所生成的所述多于一个的特征图中的每一个的每个对应数值减少到所获得的数值的至少一个组合表示中的数值；以及
使用机器学习模型处理所获得的所述数值的所述至少一个组合表示，该机器学习模型由用于执行对所述多个模态的处理的至少一个层次的非线性运算和线性运算中的至少一个组成。
12.一种用于根据要执行的处理任务生成组合特征图的单元，所述用于生成组合特征图的单元包括：
特征图生成单元，所述特征图生成单元用于接收多于一个的模态，并且使用彼此独立运算的多于一个的对应变换来生成多于一个的对应特征图；其中，将给定的对应变换应用于给定的对应模态上来执行所述多于一个的对应特征图中的每一个的生成，其中，在根据要执行的所述处理任务执行初始训练后生成所述多于一个的对应变换；以及
组合单元，根据至少一个组合运算选择和组合通过所述特征图生成单元生成的所述对应的多于一个的特征图并且用于提供至少一个对应的组合特征图；其中，所述组合单元根据要执行的所述处理任务进行运算并且所述组合运算将通过所述特征图生成单元生成的所述多于一个的特征图中的每一个的每个对应数值减少到所述至少一个对应的组合特征图中的一个数值。
13.一种根据权利要求1所述的用于生成组合特征图的单元，其中，根据多于一个的组合运算执行通过所述特征图生成单元生成的所述对应的多于一个的特征图的组合；其中，每个组合运算彼此独立。
CN201780029595.5A 2016-03-17 2017-03-17 对丢失的输入信息具有鲁棒性的用于处理任务的方法和系统 Pending CN109313627A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662309682P 2016-03-17 2016-03-17
US62/309,682 2016-03-17
PCT/IB2017/051580 WO2017158575A1 (en) 2016-03-17 2017-03-17 Method and system for processing a task with robustness to missing input information

Publications (1)

Publication Number Publication Date
CN109313627A true CN109313627A (zh) 2019-02-05

Family

ID=59851678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780029595.5A Pending CN109313627A (zh) 2016-03-17 2017-03-17 对丢失的输入信息具有鲁棒性的用于处理任务的方法和系统

Country Status (7)

Country Link
US (2) US11144785B2 (zh)
EP (1) EP3430525A4 (zh)
JP (1) JP6814276B2 (zh)
CN (1) CN109313627A (zh)
CA (1) CA3017697C (zh)
SG (1) SG11201807914VA (zh)
WO (1) WO2017158575A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347921A (zh) * 2020-11-06 2021-02-09 中国电子科技集团公司第二十九研究所 Pdw序列预处理方法、系统、计算机设备及存储介质
CN113496495A (zh) * 2021-06-25 2021-10-12 华中科技大学 可缺失输入的医学图像分割模型建立方法及分割方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6728365B2 (ja) * 2016-08-25 2020-07-22 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体
US10147019B2 (en) * 2017-03-20 2018-12-04 Sap Se Small object detection
CN108062753B (zh) * 2017-12-29 2020-04-17 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN108062756B (zh) * 2018-01-29 2020-04-14 重庆理工大学 基于深度全卷积网络和条件随机场的图像语义分割方法
US10671855B2 (en) * 2018-04-10 2020-06-02 Adobe Inc. Video object segmentation by reference-guided mask propagation
US10726555B2 (en) 2018-06-06 2020-07-28 International Business Machines Corporation Joint registration and segmentation of images using deep learning
WO2020022027A1 (ja) * 2018-07-26 2020-01-30 富士フイルム株式会社 学習装置及び学習方法
WO2020058928A1 (en) * 2018-09-21 2020-03-26 University Of Johannesburg A system and method for imputing missing data in a dataset, a method and system for determining a health condition of a person, and a method and system of calculating an insurance premium
US10740901B2 (en) * 2018-12-17 2020-08-11 Nvidia Corporation Encoder regularization of a segmentation model
US10346693B1 (en) * 2019-01-22 2019-07-09 StradVision, Inc. Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same
CN109978886B (zh) * 2019-04-01 2021-11-09 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110070056B (zh) * 2019-04-25 2023-01-10 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质及设备
KR102305575B1 (ko) * 2019-09-03 2021-09-27 네이버 주식회사 이미지 간 유사도를 이용한 유사 영역 강조 방법 및 시스템
CN110956122B (zh) * 2019-11-27 2022-08-02 深圳市商汤科技有限公司 图像处理方法及装置、处理器、电子设备、存储介质
CN115699058A (zh) * 2020-07-14 2023-02-03 阿里巴巴集团控股有限公司 通过边缘搜索的特征交互

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130053679A1 (en) * 2011-08-31 2013-02-28 Analogic Corporation Multi-modality image acquisition
US8463053B1 (en) * 2008-08-08 2013-06-11 The Research Foundation Of State University Of New York Enhanced max margin learning on multimodal data mining in a multimedia database
CN104169969A (zh) * 2012-03-15 2014-11-26 皇家飞利浦有限公司 多模态可变形配准
CN104239360A (zh) * 2013-06-24 2014-12-24 富士通株式会社 多模态特征的融合方法以及装置
US20150139514A1 (en) * 2013-11-20 2015-05-21 Toshiba Medical Systems Corporation Method of, and apparatus for, visualizing medical image data
WO2015196102A1 (en) * 2014-06-20 2015-12-23 Google Inc. Fine-grained image similarity

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000010455A1 (en) 1998-08-24 2000-03-02 Emory University Method and apparatus for predicting the onset of seizures based on features derived from signals indicative of brain activity
US6993535B2 (en) * 2001-06-18 2006-01-31 International Business Machines Corporation Business method and apparatus for employing induced multimedia classifiers based on unified representation of features reflecting disparate modalities
US10318709B2 (en) * 2007-12-21 2019-06-11 Koninklijke Philips N.V. Method and system for cross-modality case-based computer-aided diagnosis
JP5178662B2 (ja) * 2009-07-31 2013-04-10 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
JP5524692B2 (ja) * 2010-04-20 2014-06-18 富士フイルム株式会社 情報処理装置および方法ならびにプログラム
US9916538B2 (en) * 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
EP3865056A1 (en) * 2012-09-14 2021-08-18 InteraXon Inc. Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data
FR2996939B1 (fr) * 2012-10-12 2014-12-19 Commissariat Energie Atomique Procede de classification d'un objet multimodal
WO2015010745A1 (en) * 2013-07-26 2015-01-29 Brainlab Ag Multi-modal segmentation of image data
WO2015030606A2 (en) * 2013-08-26 2015-03-05 Auckland University Of Technology Improved method and system for predicting outcomes based on spatio / spectro-temporal data
US9730643B2 (en) * 2013-10-17 2017-08-15 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
US9358685B2 (en) * 2014-02-03 2016-06-07 Brain Corporation Apparatus and methods for control of robot actions based on corrective user inputs
WO2015188275A1 (en) * 2014-06-10 2015-12-17 Sightline Innovation Inc. System and method for network based application development and implementation
US9870617B2 (en) * 2014-09-19 2018-01-16 Brain Corporation Apparatus and methods for saliency detection based on color occurrence analysis
US10728338B2 (en) * 2015-05-18 2020-07-28 Interdigital Patent Holdings, Inc. Automated profiling and context dependent cooperative IoT management operations
US10176408B2 (en) * 2015-08-14 2019-01-08 Elucid Bioimaging Inc. Systems and methods for analyzing pathologies utilizing quantitative imaging
US10423874B2 (en) * 2015-10-02 2019-09-24 Baidu Usa Llc Intelligent image captioning
US11568627B2 (en) * 2015-11-18 2023-01-31 Adobe Inc. Utilizing interactive deep learning to select objects in digital visual media
US10916135B2 (en) * 2018-01-13 2021-02-09 Toyota Jidosha Kabushiki Kaisha Similarity learning and association between observations of multiple connected vehicles
US11361470B2 (en) * 2019-05-09 2022-06-14 Sri International Semantically-aware image-based visual localization

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8463053B1 (en) * 2008-08-08 2013-06-11 The Research Foundation Of State University Of New York Enhanced max margin learning on multimodal data mining in a multimedia database
US20130053679A1 (en) * 2011-08-31 2013-02-28 Analogic Corporation Multi-modality image acquisition
CN104169969A (zh) * 2012-03-15 2014-11-26 皇家飞利浦有限公司 多模态可变形配准
CN104239360A (zh) * 2013-06-24 2014-12-24 富士通株式会社 多模态特征的融合方法以及装置
US20150139514A1 (en) * 2013-11-20 2015-05-21 Toshiba Medical Systems Corporation Method of, and apparatus for, visualizing medical image data
WO2015196102A1 (en) * 2014-06-20 2015-12-23 Google Inc. Fine-grained image similarity

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NATALIA NEVEROVA等: "ModDrop: Adaptive Multi-Modal Gesture Recognition", 《HTTPS://ARXIV.ORG/PDF/1501.00102.PDF》 *
NATALIA NEVEROVA等: "ModDrop: Adaptive Multi-Modal Gesture Recognition", 《HTTPS://ARXIV.ORG/PDF/1501.00102.PDF》, 6 June 2015 (2015-06-06), pages 1692 - 1704 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347921A (zh) * 2020-11-06 2021-02-09 中国电子科技集团公司第二十九研究所 Pdw序列预处理方法、系统、计算机设备及存储介质
CN113496495A (zh) * 2021-06-25 2021-10-12 华中科技大学 可缺失输入的医学图像分割模型建立方法及分割方法
CN113496495B (zh) * 2021-06-25 2022-04-26 华中科技大学 可缺失输入的医学图像分割模型建立方法及分割方法

Also Published As

Publication number Publication date
CA3017697A1 (en) 2017-09-21
CA3017697C (en) 2021-01-26
WO2017158575A1 (en) 2017-09-21
EP3430525A4 (en) 2019-11-06
US20220067437A1 (en) 2022-03-03
EP3430525A1 (en) 2019-01-23
JP2019512829A (ja) 2019-05-16
US20190073563A1 (en) 2019-03-07
JP6814276B2 (ja) 2021-01-13
US11144785B2 (en) 2021-10-12
SG11201807914VA (en) 2018-10-30

Similar Documents

Publication Publication Date Title
CN109313627A (zh) 对丢失的输入信息具有鲁棒性的用于处理任务的方法和系统
CN110349652B (zh) 一种融合结构化影像数据的医疗数据分析系统
US10085707B2 (en) Medical image information system, medical image information processing method, and program
US8861815B2 (en) Systems and methods for modeling and processing functional magnetic resonance image data using full-brain vector auto-regressive model
US10275909B2 (en) Systems and methods for an integrated system for visualizing, simulating, modifying and 3D printing 3D objects
Ye et al. Glioma grading based on 3D multimodal convolutional neural network and privileged learning
Gao et al. Bone age assessment based on deep convolution neural network incorporated with segmentation
Imran et al. Fast and automatic segmentation of pulmonary lobes from chest CT using a progressive dense V-network
Kovalerchuk et al. Adjustable general line coordinates for visual knowledge discovery in nD data
KR102160390B1 (ko) 인공지능 기반의 사용자 의료정보 분석 방법 및 시스템
US11610303B2 (en) Data processing apparatus and method
Elmezain et al. Brain tumor segmentation using deep capsule network and latent-dynamic conditional random fields
Barrowclough et al. Binary segmentation of medical images using implicit spline representations and deep learning
Bibi et al. MSRNet: multiclass skin lesion recognition using additional residual block based fine-tuned deep models information fusion and best feature selection
US20220101521A1 (en) Providing a classification explanation and a generative function
Xu et al. Deep reinforcement learning and its applications in medical imaging and radiation therapy: a survey
Cury et al. Statistical shape analysis of large datasets based on diffeomorphic iterative centroids
CN114787816A (zh) 针对机器学习方法的数据增强
Krishna et al. Medical (CT) image generation with style
Cury et al. Analysis of anatomical variability using diffeomorphic iterative centroid in patients with Alzheimer's disease
CN112561935A (zh) 一种阿尔兹海默症的识别方法、装置和设备
Guttulsrud Generating Synthetic Medical Images with 3D GANs
Nayak et al. 2D-DOST for seizure identification from brain MRI during pregnancy using KRVFL
Abdi et al. AnatomyGen: deep anatomy generation from dense representation with applications in mandible synthesis
Mansur Disease-Aware Chest X-Ray Style GAN Image Generation and CatBoost Gradient Boosted Trees.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1261350

Country of ref document: HK