CN111383217A - 大脑成瘾性状评估的可视化方法、装置及介质 - Google Patents

大脑成瘾性状评估的可视化方法、装置及介质 Download PDF

Info

Publication number
CN111383217A
CN111383217A CN202010164199.7A CN202010164199A CN111383217A CN 111383217 A CN111383217 A CN 111383217A CN 202010164199 A CN202010164199 A CN 202010164199A CN 111383217 A CN111383217 A CN 111383217A
Authority
CN
China
Prior art keywords
image
loss function
sample image
visualization
pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010164199.7A
Other languages
English (en)
Other versions
CN111383217B (zh
Inventor
王书强
余雯
肖晨晨
胡圣烨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202010164199.7A priority Critical patent/CN111383217B/zh
Publication of CN111383217A publication Critical patent/CN111383217A/zh
Application granted granted Critical
Publication of CN111383217B publication Critical patent/CN111383217B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明实施例提供一种大脑成瘾性状评估的可视化方法、装置及介质。其中，方法可包括：接收客户端的可视化处理请求，可视化处理请求包括待处理图像；对待处理图像进行掩膜屏蔽处理，得到屏蔽掩膜后的微扰图像；调用可视化处理模型对微扰图像进行分类处理，得到分类结果，并对分类结果进行计算，得到微扰图像的评估数值，微扰图像的评估数值小于未经过掩膜屏蔽处理的待处理图像的评估数值；根据微扰图像的评估数值，确定可视化评估结果；发送可视化评估结果至客户端。采用本发明实施例，在降低了FMRI图像样本需求数量的同时，可以更直观、准确的定位尼古丁成瘾脑区，实现了评估结果的可视化。

Description

大脑成瘾性状评估的可视化方法、装置及介质
技术领域
本发明涉及大数据技术领域，尤其涉及一种大脑成瘾性状评估的可视化方法、装置及介质。
背景技术
功能性磁共振成像(functional magnetic resonance imaging，FMRI)是一种神经影像学方式，能够对特定的大脑活动皮层区域进行准确定位，并捕获能够反映神经元活动的血氧变化。将FMRI与深度学习技术相结合可以从原始数据中提取出复杂的特征，但是，该特征提取方式的解释性差，且需要大量的FMRI图像作为基础。由于FMRI图像采集过程复杂、实验成本高，导致了FMRI图像获取困难，进而限制了深度学习方法对FMRI图像评估和可视化领域的研究。
发明内容
本发明实施例提供一种大脑成瘾性状评估的可视化方法、装置及介质，在降低了FMRI图像样本需求数量的同时，可以更直观、准确的定位尼古丁成瘾脑区，实现了评估结果的可视化。
第一方面，本发明实施例提供一种大脑成瘾性状评估的可视化方法，包括：
接收客户端的可视化处理请求，所述可视化处理请求包括待处理图像，所述可视化处理请求用于请求获取所述待处理图像的可视化评估结果；
对所述待处理图像进行掩膜屏蔽处理，得到屏蔽掩膜后的微扰图像；
调用可视化处理模型对所述微扰图像进行分类处理，得到分类结果，并对所述分类结果进行计算，得到所述微扰图像的评估数值，所述微扰图像的评估数值小于未经过掩膜屏蔽处理的所述待处理图像的评估数值；
根据所述微扰图像的评估数值，确定所述可视化评估结果；
发送所述可视化评估结果至所述客户端。
在该技术方案中，客户端发送包括待处理图像的可视化处理请求后至服务器，以使服务器对该待处理图像进行掩膜屏蔽处理，得到屏蔽掩膜后的微扰图像，通过已训练好的可视化处理模型对微扰图像进行分类，得到的分类结果，并对该分类结果进行加权计算，得到微扰图像的评估数值，该微扰图像的评估数值小于未经过掩膜屏蔽处理的所述待处理图像的评估数值，该评估数值用于确定掩膜区域是否为影响分类结果的关键区域，则根据微扰图像的评估数值，确定可视化评估结果，该可视化评估结果为影响评估数值的关键区域，将该可视化评估结果发送至客户端。通过这种方法，无需大量的FMRI图像作为基础样本，仍然可以准确定位尼古丁成瘾激活区域，从而实现评估结果的可视化。
第二方面，本发明实施例提供一种大脑成瘾性状评估的可视化处理装置，包括：
收发单元，用于接收客户端的可视化处理请求，所述可视化处理请求包括待处理图像，所述可视化处理请求用于请求获取所述待处理图像的可视化评估结果；
处理单元，用于对所述待处理图像进行掩膜屏蔽处理，得到屏蔽掩膜后的微扰图像；调用可视化处理模型对所述微扰图像进行分类处理，得到分类结果，并对所述分类结果进行计算，确定所述可视化评估结果；
所述收发单元，还用于发送所述可视化评估结果至所述客户端。
第三方面，本发明实施例提供一种大脑成瘾性状评估的可视化处理装置，包括处理器、存储器和通信接口，所述处理器、所述存储器和所述通信接口相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如第一方面所描述的方法。该处理设备解决问题的实施方式以及有益效果可以参见上述第一方面所描述的方法以及有益效果，重复之处不再赘述。
第四方面，本发明实施例提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一条或多条第一指令，所述一条或多条第一指令适于由处理器加载并执行如第一方面所描述的方法。
本申请实施例中，客户端发送可视化处理请求至服务器，该可视化处理请求包括待处理图像，服务器根据该可视化处理请求对待处理图像进行掩膜屏蔽处理，得到屏蔽掩膜后的微扰图像，此处对待处理图像进行掩膜屏蔽处理可以对不同区域进行对比，以便得到可以影响分类结果的关键区域；通过已训练好的可视化处理模型对微扰图像进行分类，得到的分类结果，并对该分类结果进行加权计算，得到微扰图像的评估数值，该评估数值可以用于确定掩膜区域是否为影响分类结果的关键区域，微扰图像的评估数值小于未经过掩膜屏蔽处理的所述待处理图像的评估数值，则根据微扰图像的评估数值，确定可视化评估结果，该可视化评估结果为影响评估数值的关键区域，并将该可视化评估结果发送至客户端，其中，可视化处理模型的训练方法为：通过带有独立分类器的半监督三元生成对抗网络对输入的至少一组样本图像进行迭代训练，使得生成器生成更接近真实FMRI图像的图像，使得分类器提取与尼古丁成瘾性状相关的更有判别性的特征。通过本实施例的方法，可以将随机噪声向量转化为准确的FMRI图像，无需大量的FMRI图像作为基础样本，解决了FMRI图像获取困难问题，节约了实验的成本，并且，通过模型训练可以促进分类器提取出与尼古丁成瘾性状相关的更有判别性的特征，得到更准确的分类结果，可以更直观、准确的定位尼古丁成瘾脑区，实现了评估结果的可视化。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种大脑成瘾性状评估的可视化系统的架构图；
图2是本发明实施例提供的一种大脑成瘾性状评估的可视化处理方法的流程图；
图3是本发明实施例提供的另一种大脑成瘾性状评估的可视化处理方法的流程图；
图4是本发明实施例提供的一种网络层张量分解的示意图；
图5是本发明实施例提供的一种可视化处理模型的框架图；
图6是本发明实施例提供的一种分类器网络的结构示意图；
图7是本发明实施例提供的一种二阶池化模块的结构示意图；
图8是本发明实施例提供的一种大脑成瘾性状评估的可视化处理装置的结构示意图；
图9是本发明实施例提供的另一种大脑成瘾性状评估的可视化处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或装置没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或装置固有的其它步骤或模块。
FMRI作为一种非介入的技术，能够对特定的大脑活动皮层区域进行准确的定位，且能够捕获反映神经元活动的血氧变化。将FMRI技术与机器学习技术相结合，在生物医学领域的应用前景更为广泛，本发明以对大鼠脑部尼古丁成瘾性状的评估为例。目前，利用机器学习研究大脑尼古丁成瘾的相关特性，需要以大量的FMRI图像作为模型训练基础，其中，FMRI图像可以看成上百个三维脑部解剖结构图像组成的时间序列，即四阶图像，包含100000以上不同的体素(Voxel)。但是，FMRI图像采集过程复杂，仪器价格昂贵，实验成本高，需要较长的获取时间，导致FMRI图像的获取比较困难，实验基础样本数据不足。另一方面，机器学习的过程及结果的可解释性差，不能直观、准确、可视化的呈现对大脑尼古丁成瘾性状评估的结果。
为解决上述问题，本发明实施例提供一种大脑成瘾性状评估的可视化方法，该图像处理方法设计带有独立分类器的半监督三元生成对抗网络，该三元生成对抗网络包括生成器网络、判别器网络及分类器网络，通过该三元生成对抗网络构建的大鼠脑部尼古丁成瘾的性状评估模型，可以从随机噪声生成逼真的FMRI图像，并借助掩膜处理方法，生成可视化评估结果。在降低了FMRI图像样本需求数量的同时，可以更直观、准确的定位尼古丁成瘾脑区。
具体的，可以对真实的FMRI图像或生成器生成的FMRI图像经过掩膜处理，其中，掩膜处理过程包括：用掩膜对图像上随机或指定区域进行屏蔽，使该屏蔽区域不参与计算处理，利用已训练完成的可视化处理模型中的分类器对通过掩膜处理后的真实的FMRI图像或生成器生成的FMRI图像进行分类，并对分类结果进行计算，根据计算结果，判定屏蔽的区域是否对分类结果产生影响，若是，则认为屏蔽的区域为尼古丁成瘾激活脑区；若否，则认为屏蔽的区域非尼古丁成瘾激活脑区。
可选的，本实施方式也可以应用于其他领域，例如：基于医学影像的其它疾病辅助诊断的可视化任务，对疾病诊断结果影响很大的关键性病变区域进行可视化处理，等等。此处不做限制。
上述提及的大脑成瘾性状评估的可视化方法可应用于如图1所示的大脑成瘾性状评估的可视化处理系统中，该大脑成瘾性状评估的可视化处理系统可包括客户端101及服务器102。该客户端101的形态和数量用于举例，并不构成对本发明实施例的限定。例如，可以包括两个客户端101。
其中，客户端101可以为向服务器102发送可视化处理请求的客户端，也可以为在图像处理模型训练时，用于为服务器102提供第一样本图像、第二样本数据标注对、噪声向量及向量标注的客户端，也可以为与FMRI设备相连接的客户端，该客户端可以为以下任一种：终端、独立的应用程序、应用程序编程接口(Application Programming Interface，API)或者软件开发工具包(Software Development Kit，SDK)。其中，终端可以包括但不限于：智能手机(如Android手机、IOS手机等)、平板电脑、便携式个人计算机、移动互联网设备(Mobile Internet Devices，MID)等设备，本发明实施例不做限定。服务器102可以包括但不限于集群服务器。
在本发明的实施例中，客户端101向服务器102发送可视化处理请求，服务器102根据该可视化处理请求所包含的待处理图像，获取该待处理图像的可视化评估结果，具体的，对该待处理图像进行掩膜屏蔽处理，得到屏蔽掩膜后的微扰图像，通过预先训练好的可视化处理模型对该微扰图像进行分类处理，得到分类结果，并对分类结果进行计算，以确定可视化评估结果，将该可视化评估结果发送至客户端101，以使客户端101的操作用户103可以根据该可视化评估结果对尼古丁成瘾激活脑区进行准确的定位。
请参见图2，图2是本发明实施例提供的一种大脑成瘾性状评估的可视化方法的流程示意图，如图2所示，该图像处理方法可以包括201～206部分，其中：
201、客户端101发送可视化处理请求至服务器102。
具体的，客户端101发送可视化处理请求至服务器102，相应的，服务器102接收来自客户端101的可视化处理请求，该可视化处理请求包括待处理图像，该可视化处理请求用于请求获取待处理图像的可视化评估结果，其中，该待处理图像为注射了不同浓度尼古丁的大鼠脑部的FMRI图像，具体的，可以为真实的FMRI图像，可选的，也可以为完成优化训练的生成器生成的FMRI图像。进一步的，若为真实的FMRI图像，则服务器102可以对该待处理图像进行归一化预处理，归一化处理后的待处理图像的体素值的范围可以为[-1,1]。
202、服务器102对待处理图像进行掩膜屏蔽处理，得到屏蔽掩膜后的微扰图像。
具体的，服务器102对待处理图像中指定或随机区域进行掩膜屏蔽处理，得到屏蔽掩膜后的微扰图像。该掩膜屏蔽处理可以理解为用掩模对图像上某些指定或随机区域进行屏蔽,使其不参加处理或不参加处理参数的计算。
进一步的，可以确定不同掩膜区域的集合R，该掩膜区域集合包括至少一个掩膜区域，该掩膜区域集合为待处理图像中的需要进行掩膜屏蔽处理的各个区域的集合，从待处理图像中对掩膜区域集合R中各个掩膜区域进行掩膜屏蔽处理，得到微扰图像，即对FMRI图像中每个体素u∈∧关联的一个标量m(u)进行掩膜屏蔽操作。可选的，该掩膜屏蔽处理方法可以包括但不限于：将掩膜区域集合R替换为常数，在掩膜区域集合R中加入噪声以及将掩膜区域集合R模糊化，针对不同的掩膜屏蔽方法得到的微扰图像可以表示为：
Figure BDA0002406895380000061
其中，m:∧→[0,1]表示掩膜，u0为平均体素值，η(u)为每个体素值的高斯噪声样本，σ0为高斯模糊核gσ的最大等向性标准偏差。可选的，通常σ0取10时，可以得到较为模糊的掩膜。
通过执行本实施方式，可以对不同区域进行掩膜屏蔽处理，以便得到可以影响分类结果的关键区域。
203、服务器102调用可视化处理模型对微扰图像进行分类处理，得到分类结果。
具体的，在得到微扰图像的情况下，调用可视化处理模型中的分类器对微扰图像进行分类处理，得到分类结果。该可视化处理模型为生成器网络、判别器网络及分类器网络利用第一样本图像、第二样本图像标注对、噪声向量及向量标注进行反复迭代训练构建的模型。其中，分类器可以对从FMRI图像中提取到的脑部解剖结构特征进行分类。例如：可以将FMRI图像分类三类：注射0.12mg/kg的高浓度尼古丁、注射0.03mg/kg的低浓度尼古丁及注射生理盐水。则在将微扰图像输入至分类器中后，可能得到的分类结果为60％的概率为0.12mg/kg的高浓度尼古丁，30％的概率为0.03mg/kg的低浓度尼古丁，10％的概率为生理盐水。
204、服务器102对分类结果进行计算，得到微扰图像的评估数值。
具体的，在得到分类结果的情况下，对分类结果进行计算。分类器输出属于不同浓度尼古丁成瘾性状的分类结果的加权向量m*，该加权向量可以为分类器网络中最后一层网络以归一化指数函数(softmax)的概率形式输出。通过该加权向量计算结果，得到所述微扰图像的评估数值
Figure BDA0002406895380000071
该评估数值可以为将加权向量代入预设的评估标准函数中计算，得到评估数值，该微扰图像的评估数值小于未经过掩膜屏蔽处理的待处理图像的评估数值。则未经过掩膜屏蔽处理的待处理图像也可以通过上述评估标准函数的计算，得到未经过掩膜处理的待处理图像的评估数值fc(x0)，其中x0可以表示真实的FMRI图像。
205、根据微扰图像的评估数值，确定可视化评估结果。
具体的，在获取到微扰图像的评估数值后，确定可视化评估结果，即确定影响分类结果的关键区域。进一步的，可以根据获取到的评估数值，确定掩膜区域是否为影响分类结果的关键区域。若
Figure BDA0002406895380000072
则认为该掩膜屏蔽区域是影响分类结果的关键区域；可选的，可以设置评估分数相差阈值，即屏蔽掩膜区域集合R后得到的评估分数
Figure BDA0002406895380000073
与没有加入掩膜的原始待处理图像的评估分数fc(x0)的差值大于阈值，则认为该掩膜屏蔽区域集合R是尼古丁成瘾激活脑区。其中，可视化评估结果所对应的关键区域即为学习目标函数，该目标函数可以表示为：
Figure BDA0002406895380000081
其中，λ表示鼓励尽可能多的掩膜处于关闭状态，即将屏蔽的掩膜区域尽量精确到关键性的区域，而非整个FMRI图像，c是分类标注，即大鼠尼古丁成瘾性状的类别。
可选的，还可以获取待处理图像的分类结果，并对该分类结果进行加权计算。通过该可选的实施方式，便于将微扰图像的分类及计算结果与待处理图像的分类及计算结果进行比较，以定位对分类结果产生明显影响的掩膜屏蔽区域，则该区域即为影响分类结果的关键区域。
206、服务器102发送可视化评估结果至客户端101。
具体的，在得到上述的评估分数的情况下，可以将基于该评估分数的评估结果发送至客户端101。相应的，客户端101接收该可视化评估结果。可选的，可以将评估分数及相应的掩膜区域集合R发送至客户端101，以使客户端101的操作用户103基于该评估分数及相应的掩膜区域集合R确定该掩膜区域集合R是否为尼古丁成瘾激活脑区。
可见，通过实施图2所描述的方法，客户端101在发送可视化处理请求后，服务器102对可视化处理请求中的待处理图像进行掩膜屏蔽处理，得到屏蔽掩膜后的微扰图像，此处对待处理图像进行掩膜屏蔽处理可以对不同区域进行对比，以便得到可以影响分类结果的关键区域。通过已训练好的可视化处理模型对微扰图像进行分类，得到的分类结果，并对该分类结果进行加权计算，以确定可视化评估结果，并将该可视化评估结果发送至客户端101。通过本实施例的方法，无需大量的FMRI图像作为基础样本，仍然可以准确定位对大鼠脑部成瘾性状评估结果影响最大的尼古丁成瘾激活区域，从而实现大鼠尼古丁成瘾脑区的可视化。
请参见图3，图3是本发明实施例提供的一种大脑成瘾性状评估的可视化方法的流程示意图，如图3所示，该大脑成瘾性状评估的可视化方法可以包括301～305部分，其中：
301、服务器102获取噪声向量及向量标注。
具体的，服务器102可以从客户端101或其他数据储存平台获取噪声向量，及与该噪声向量相匹配的向量标注。其中，噪声向量为具有高斯分布的一维随机噪声向量，该噪声向量用于输入到生成器中，以使生成器网络根据该噪声向量生成相应的FMRI图像。相应的，向量标注为该噪声向量所对应的分类标注，例如：0.12mg/kg的高浓度尼古丁、0.03mg/kg的低浓度尼古丁、生理盐水，等等，该向量标注以独热编码(one-hot)的形式随着相应的噪声向量输入至生成器网络中。
302、服务器102将噪声向量及向量标注通过反卷积网络处理，得到目标图像标注对。
具体的，服务器102在获取到噪声向量及相应的向量标注的情况下，将该噪声向量及相应的向量标注输入至由张量化反卷积层组成的生成器网络中，以使生成器网络生成相应的目标图像标注对，该目标图像标注对包括目标生成图像及目标生成图像标注，其中，目标生成图像为由生成器生成的FMRI图像，目标生成图像标注可以理解为上述向量标注的独热编码(one-hot)模式。
具体的，该生成器网络采用深度反卷积神经网络，包括多个张量化反卷积层，上述噪声向量经过多层反卷积后将生成的脑部解剖特征图逐层放大，生成与真实FMRI图像尺寸大小相同的图像。其中，除最后一层外的每个反卷积层均包括反卷积层、归一化层(BatchNormalization)及激活函数层(Leaky ReLU)，最后一层反卷积层包括反卷积层及激活函数层(tanh)。
进一步的，本发明对上述深度反卷积神经网络中的反卷积层进行了张量化改进，该反卷积层经过张量分解(Tensor-Train)方法进行参数压缩，其中，反卷积层的卷积核张量可以表示为对应的张量分解(Tensor-Train)形式，如图4所示，图4为张量分解(Tensor-Train)示意图，则反卷积层可以按照如下公式进行分解：
W((i1，j1)，...，(id，jd))＝G1[i1，j1]G2[i2，j2]...Gd[id，jd]
则反卷积层的张量分解(Tensor-Train)步骤如下：
网络输入层：
Figure BDA0002406895380000091
网络输出层：
Figure BDA0002406895380000092
卷积核：
Figure BDA0002406895380000093
卷积层张量化后得到：
Figure BDA0002406895380000101
其中，
Figure BDA0002406895380000102
303、服务器102获取第一样本图像及第二样本图像标注对。
具体的，服务器102可以从客户端101或其他数据存储平台获取第一样本图像及第二样本图像标注对，该第二样本图像标注对包括第二样本图像及样本图像标注，其中，第一样本图像及第二样本图像均为真实的FMRI图像，样本图像标注为第二样本图像对应的分类标注，此处样本图像标注与上述步骤301中的向量标注属于一类标注。进一步的，第一样本图像用于输入至分类器网络中，以使分类器网络对该第一样本图像进行分类预测，得到第一样本图像的预测标注。第二样本图像标注对用于与生成器生成的目标图像标注对、第一样本图像及第一样本图像的预测标注输入到判别器模型中，以根据判别结果训练可视化处理模型，或输入至分类器中进行监督训练，得到交叉熵。
304、服务器102根据目标图像标注对、第一样本图像及第二样本图像标注对训练可视化处理模型，得到模型损失函数。
具体的，在获取到目标图像标注对，第一样本图像及第二样本图像标注对的情况下，服务器102根据目标图像标注对，第一样本图像及第二样本图像标注对训练可视化处理模型，得到模型损失函数，以使可以进一步根据该模型损失函数，构建可视化处理模型，即执行步骤305。
具体的，该可视化处理模型的框架图可参见图5所示，该模型主要基于三元生成对抗网络，该三元生成对抗网络包括生成器、分类器及判别器。如图5所示，其训练过程主要包括：将噪声向量及向量标注输入至生成器中，得到生成器生成的FMRI图像标注对，在本发明中也可以描述为目标图像标注对。获取真实无标注的FMRI图像并进行归一化预处理，在本发明中真实无标注的FMRI图像也可以描述为第一样本图像，同时，获取真实有标注的FMRI图像标注对，并对其中的真实FMRI图像进行归一化预处理，在本发明中真实有标注的FMRI图像标注对也可以描述为第二样本图像标注对。则服务器102可以根据目标图像标注对，第一样本图像及第二样本图像标注对训练可视化处理模型，具体的，将生成器生成的目标图像标注对输入至判别器中得到判别结果，得到第一判别结果，同时，基于输入至分类器中的第一样本图像、第二样本图像及目标生成图像之间的重建损失，共同构成生成器的损失函数，通过反向传播算法，根据生成的生成器的损失函数梯度下降更新生成器网络层张量分解核矩阵参数；将第一样本图像输入至分类器中，得到预测标注，并将第一样本图像及预测标注输入至判别器中进行判别，得到第二判别结果，同时，基于输入至分类器中的第一样本图像、第二样本图像标注对及生成器网络生成的目标图像标注对之间的交叉熵损失函数，共同构成分类器的损失函数，通过反向传播算法，根据生成的分类器的损失函数梯度下降更新分类器网络层张量分解核矩阵参数；将第一样本图像、第一样本图像的预测标注、第二样本图像标注对及生成器网络生成的目标图像标注对输入至判别器进行判别，以构建判别器的损失函数，并通过反向传播算法，根据生成的判别器的损失函数梯度下降更新判别器网络层张量分解核矩阵参数。
进一步的，上述模型损失函数包括生成损失函数，该生成损失函数即为生成器的损失函数。则根据目标图像标注对、第一样本图像及第二样本图像标注对训练可视化处理模型，得到模型损失函数，可以为对目标图像标注对进行判别处理，生成第一判别结果，该目标图像标注对包括目标生成图像及目标生成图像标注。根据目标生成图像及第二样本图像，确定重建损失，并根据第一判别结果及重建损失，确定生成器的生成损失函数。
具体的，生成器的损失函数包括两个部分：一部分为将生成的目标图像标注对输入至判别器进行判别处理，使判别结果趋向为真的损失；另一部分根据生成器生成的目标生成图像与真实的FMRI图像之间的重建损失，其中，真实的FMRI图像即为第一样本图像及第二样本图像。则该生成器的损失函数可以表示为：
Figure BDA0002406895380000111
其中，
Figure BDA0002406895380000112
表示对目标图像标的注判别结果趋向为真的损失；
Figure BDA0002406895380000121
表示生成器的目标生成图像与真实的FMRI图像之间的重建损失。
基于该实施方式，可以从两方面确定生成器的损失函数，使构建的可视化模型更为准确，并且，通过构建生成器模型，可以将随机噪声向量转化为准确的FMRI图像，解决了FMRI图像获取困难问题，节约了实验的成本。
进一步的，上述模型损失函数包括分类损失函数，该分类损失函数即为分类器的损失函数。则根据目标图像标注对、第一样本图像及第二样本图像标注对训练可视化处理模型，得到模型损失函数，可以为对第一样本图像进行分类处理，得到第一样本图像的预测标注，并对第一样本图像及预测标注进行判别，生成第二判别结果，对目标图像标注对及第二样本图像标注对进行监督训练，分别获取目标图像标注的第一交叉熵及第二样本图像标注对的第二交叉熵，根据第二判别结果、第一交叉熵及第二交叉熵，确定分类器的分类损失函数。
具体的，分类器的损失函数包括两个部分：一部分为对目标图像标注对及第二样本图像标注对进行监督训练，得到的交叉熵损失函数；另一部分为将第一样本图像及对其进行分类处理后得到的预测标注输入至判别器中进行判别处理，使判别结果趋向为真的无监督损失。则该分类器的损失函数可以表示为：
Figure BDA0002406895380000122
Lsupervised＝RL+αpRp
Figure BDA0002406895380000123
Figure BDA0002406895380000124
Figure BDA0002406895380000125
其中，第一交叉熵为Rp，第二交叉熵为RL，Lsupervised为监督损失，Lunsupervised为半监督损失。具体的，第二交叉熵RL等价于计算分类器学到的分布Pc(x，y)与真实数据分布Preal(x，y)之间的相对熵(KL散度)。而通过引入第一交叉熵Rp计算目标生成图像标注对的交叉熵，可以使生成器生成接近于真实分布的FMRI图像标注对。从而提高分类器的分类性能。最小化Rp等价于最小化相对熵(KL散度)DKL(Pg(x，y)||Pc(x，y))。由于Pg(x，y)/Pc(x，y)无法直接计算，故KL散度DKL(Pg(x，y)||Pc(x，y))也无法直接计算。本分类器模型通过间接最小化Rp达到实现最小化相对熵(KL散度)DKL(Pg(x，y)||Pc(x，y))的目的。
具体的，分类器网络的结构示意图如图6所示，该分类器网络包括张量化卷积层、平均池化层、张量化密集连接块、二阶池化模块及过渡层组成，FMRI图像在输入至该分类器网络后，经过上述各个组成单元的处理，可以得到不同浓度尼古丁成瘾性状的评估结果，该评估结果可以理解为分类结果，关于分类结果的相关描述可以参见步骤203，此处不赘述。其中，张量化卷积层的卷积核张量及全连接层的权重矩阵均可以表示为对应的张量分解(Tensor-Train)形式，该张量分解(Tensor-Train)的相关示意图可以参见步骤302中的图4所示，其中，卷积层张量分解步骤与反卷积层张量分解的步骤相同，可以参见步骤302中的相关描述，此处不赘述。全连接层的权重张量W也可以按照如下公式进行张量分解：
W((i1，j1)，...，(id，jd))＝G1[i1，j1]G2[i2，j2]...Gd[id，jd]
则全连接层的张量化表示如下：
Figure BDA0002406895380000131
二阶池化模块部署在张量化密集连接块之后，该模块的结构示意图如图7所示，该模块包括压缩模块及校准模块两个部分，在分类器处理FMRI图像的过程中，二阶池化模块通过1x1x1卷积对输入的4维特征图进行通道降维，计算降维后的4维特征图中不同通道之间的协方差信息，得到协方差矩阵，根据协方差矩阵通过分组卷积和1x1x1卷积得到与4维特征图通道数相同的权重向量，并计算权重向量和输入特征图的内积，得到加权后的输出特征图。最后，在自注意力机制的作用下，通过反向传播算法使特征图重要的通道权重大，不重要的通道权重小，从而提取更有代表性的全局高阶特征图，提高大脑尼古丁成瘾性状评估的准确率。
基于该实施方式，生成器与分类器相互促进、共同学习FMRI图像潜在的高维概率分布。并且，基于二阶池化模块构建分类器模型，可以通过FMRI图像不同区域的依赖关系和高阶特征不同通道间的相关性信息，提取与大脑尼古丁成瘾性状相关的更有判别性的特征，提高大脑尼古丁成瘾性状评估的准确率，以使可以将该分类器模型应用到基于掩膜的可视化评估中，即步骤201-206。
进一步的，上述模型损失函数包括判别损失函数，该判别损失函数即为判别器的损失函数。则根据目标图像标注对、第一样本图像及第二样本图像标注对训练可视化处理模型，得到模型损失函数，可以为对目标图像标注对进行判别处理，生成第三判别结果，对第一样本图像及预测标注进行判别处理，生成第四判别结果，对第二样本图像标注对进行判别处理，生成第五判别结果，根据第三判别结果、第四判别结果及第五判别结果，确定判别器的判别损失函数。其中，第一样本图像及第二样本图像以四阶张量的形式作为输入，预测标注及第二样本图像的图像标注以独热编码(one-hot)的形式作为输入。
具体的，判别器的损失函数包括三个部分：第一部分为对目标图像标注对进行判别处理，得到使判别结果趋向为假的损失；第二部分为对第一样本图像及其对应的预测标注进行判别处理，得到使判别结果趋向为假的损失；第三部分为对第二样本图像标注对进行判别处理，得到使判别结果趋向为真的损失。则该判别器的损失函数可以表示为：
Figure BDA0002406895380000141
其中，
Figure BDA0002406895380000142
表示对目标图像标注对的判别结果趋向为假的损失；
Figure BDA0002406895380000143
表示对第一样本图像及其对应的预测标注的判别结果趋向为假的损失；
Figure BDA0002406895380000144
表示对第二样本图像标注对的判别结果趋向为真的损失。
具体的，判别器网络采用密集型深度神经网络进行特征提取，可选的，该密集型深度神经网络的层数可以为30层，由张量化卷积层、张量化密集连接块、张量化过渡层和张量化全连接层组成。其中，张量化卷积层包括卷积层、归一化层(Batch Normalization)及激活函数层(Leaky ReLU)，张量化全连接层中的函数(sigmoid)则用于判断上述目标图像标注对、第一样本图像及其对应的预测标注、第二样本图像标注对的真假。上述张量化卷积层的卷积核张量及全连接层的权重矩阵均可以表示为对应的张量分解(Tensor-Train)形式，该张量分解(Tensor-Train)的相关示意图可以参见上述步骤302中的图4所示。并且，关于全连接层及卷积层张量分解的相关描述，可以参见上述步骤302及分类器网络描述的相应部分，此处不赘述。目标图像标注对、第一样本图像及其对应的预测标注、第二样本图像标注对输入至判别器后经过各个模块的特征提取，获得保留空间信息和时间序列信息的大鼠脑区特征图，并由最后一层张量化全连接层判断各组图像标注对的真假，并输出相应的判别结果。
基于该实施方式，判别器可以对生成器及分类器输出的数据进行判别，通过生成器、分类器及判别器共同构成的三元生成对抗网络，使得生成器生成更接近真实FMRI图像的图像，并且，使得分类器提取与尼古丁成瘾性状相关的更有判别性的特征，得到更准确的分类结果。
305、服务器102根据模型损失函数，构建可视化处理模型。
具体的，在获取到包括生成损失函数、判别损失函数及分类损失函数的模型损失函数后，根据该模型损失函数，构建可视化处理模型。
进一步的，可以通过反向传播算法，根据生成器的损失函数，对生成器的参数进行更新，根据分类器的损失函数，对分类器的参数进行更新，根据判别器的损失函数，对判别器的参数进行更新，则可以根据生成器的参数、分类器的参数及判别器的参数，构建该可视化处理模型。
具体的，可以根据生成器的损失函数梯度下降更新生成器网络层张量分解核矩阵Gk[ik,jk]参数，根据分类器的损失函数梯度下降更新分类器网络层张量分解核矩阵Gk[ik,jk]参数，根据判别器的损失函数梯度下降更新判别器网络层张量分解核矩阵Gk[ik,jk]参数。则在损失函数优化过程中，反向传播求解损失函数对核矩阵Gk[ik,jk]的梯度。经过生成器网络、分类器网络及判别器网络的迭代协同训练，不断优化生成器，分类器和判别器。使生成器生成的目标生成图像更符合真实FMRI图像数据的分布。且分类器也可以更精准区分真实分布的不同类比之间的边界，并反馈FMRI图像标注对给判别器，以使判别器的判别性能得到进一步的提升。最终使整个三元生成对抗网络模型达到纳什均衡，得到优化后的可视化处理模型。
可选的，在对可视化处理模型训练的过程中，可以分为训练、验证及测试三个过程。则在获取第一样本图像、第二样本图像等样本图像数据时，可以按照一定比例对样本图像数据进行划分，得到不同比例的训练集样本、验证集样本及测试集样本。例如：以80％：10％：10％比例划分样本。则训练过程可以参见上述步骤301-305中的实施方式。在每次训练迭代过程中，验证集样本用于对训练的可视化评估模型进行验证，基于验证的结果选择最优的可视化评估模型，得到最优的可视化评估模型。测试集用于输入至完成优化的可视化评估模型的分类器中，基于掩膜的方法得到尼古丁成瘾性状评估结果，即步骤201-206，从而实现了尼古丁成瘾激活脑区的可视化。
可见，通过实施图3所描述的方法，服务器102在获取到噪声向量及向量标注，对噪声向量及向量标注通过反卷积网络处理，得到目标图像标注对。则可以根据目标图像标注对及获取到的第一样本图像、第二样本图像标注对训练可视化处理模型，得到包括生成损失函数、分类损失函数及判别损失函数的模型损失函数，并根据该模型损失函数，构建可视化处理模型。通过执行本实施方式，可以将随机噪声向量转化为准确的FMRI图像，解决了FMRI图像获取困难问题，节约了实验的成本。并且，还可以促进分类器提取出与尼古丁成瘾性状相关的更有判别性的特征，得到更准确的分类结果，从而将完成训练优化的分类器用于获取对FMRI图像中不同掩膜区域进行屏蔽后，引起的尼古丁成瘾性状评估结果的变化，可以更直观、准确的定位尼古丁成瘾脑区，实现了评估结果的可视化，
基于上述方法实施例的描述，本发明实施例还提出一种大脑成瘾性状评估的可视化处理装置。该大脑成瘾性状评估的可视化处理装置可以是运行于处理设备中的计算机程序(包括程序代码)；请参见图8所示，该大脑成瘾性状评估的可视化处理装置可以运行如下单元：
收发单元801，用于接收客户端的可视化处理请求，所述可视化处理请求包括待处理图像，所述可视化处理请求用于请求获取所述待处理图像的可视化评估结果；
处理单元802，用于对所述待处理图像进行掩膜屏蔽处理，得到屏蔽掩膜后的微扰图像；调用可视化处理模型对所述微扰图像进行分类处理，得到分类结果，并对所述分类结果进行计算，得到所述微扰图像的评估数值，所述微扰图像的评估数值小于未经过掩膜屏蔽处理的所述待处理图像的评估数值；根据所述微扰图像的评估数值，确定所述可视化评估结果；
所述收发单元801，还用于发送所述可视化评估结果至所述客户端。
在一种实施方式中，所述屏蔽处理包括模糊化处理；
所述对所述待处理图像进行掩膜屏蔽处理，得到屏蔽掩膜后微扰图像，处理单元802，还可用于确定掩膜区域集合，所述掩膜区域集合包括至少一个掩膜区域；
从所述待处理图像中对所述掩膜区域集合中各个掩膜区域进行模糊化处理，得到所述微扰图像，所述待处理图像中包含所述掩膜区域集合中各个掩膜区域。
再一种实施方式中，所述调用可视化处理模型对所述微扰图像进行分类处理之前，处理单元802，还可用于获取噪声向量及向量标注，并将所述噪声向量及所述向量标注通过反卷积网络处理，得到目标图像标注对，所述目标图像标注对包括目标生成图像及目标生成图像标注；
获取第一样本图像及第二样本图像标注对，所述第二样本图像标注对包括第二样本图像及样本图像标注；
根据所述目标图像标注对、所述第一样本图像及所述第二样本图像标注对训练所述可视化处理模型，得到模型损失函数；
根据所述模型损失函数，构建所述可视化处理模型。
再一种实施方式中，所述模型损失函数包括生成损失函数，所述生成损失函数为生成器的损失函数；
所述根据所述目标图像标注对、所述第一样本图像及所述第二样本图像标注对训练所述可视化处理模型，得到模型损失函数，处理单元802，还可用于对所述目标图像标注对进行判别处理，生成第一判别结果，所述目标图像标注对包括所述目标生成图像及所述目标生成图像标注；
根据所述目标生成图像、所述第一样本图像及所述第二样本图像，确定重建损失；
根据所述第一判别结果及所述重建损失，确定所述生成器的生成损失函数。
再一种实施方式中，所述模型损失函数包括分类损失函数，所述分类损失函数为分类器的损失函数；
所述根据所述目标图像标注对、所述第一样本图像及所述第二样本图像标注对训练所述可视化处理模型，得到模型损失函数，处理单元802，还可用于对所述第一样本图像进行分类处理，得到所述第一样本图像的预测标注，并将所述第一样本图像及所述预测标注进行判别处理，生成第二判别结果；
对所述目标图像标注对及所述第二样本图像标注对进行监督训练，分别获取所述目标图像标注的第一交叉熵及所述第二样本图像标注对的第二交叉熵；
根据所述第二判别结果、所述第一交叉熵及所述第二交叉熵，确定所述分类器的分类损失函数。
再一种实施方式中，所述模型损失函数包括判别损失函数，所述判别损失函数为判别器的损失函数；
所述根据所述目标图像标注对、所述第一样本图像及所述第二样本图像标注对训练所述可视化处理模型，得到模型损失函数，处理单元802，还可用于对所述目标图像标注对进行判别处理，生成第三判别结果；
对所述第一样本图像及所述预测标注进行判别处理，生成第四判别结果；
对所述第二样本图像标注对进行判别处理，生成第五判别结果；
根据所述第三判别结果、所述第四判别结果及所述第五判别结果，确定所述判别器的判别损失函数。
再一种实施方式中，所述模型损失函数包括所述生成损失函数、所述分类损失函数及所述判别损失函数；
所述根据所述模型损失函数，构建所述可视化处理模型，处理单元802，还可用于
通过反向传播算法，根据所述生成器的损失函数，对所述生成器的参数进行更新；
通过反向传播算法，根据所述分类器的损失函数，对所述分类器的参数进行更新；
通过反向传播算法，根据所述判别器的损失函数，对所述判别器的参数进行更新；
根据所述生成器的参数、所述分类器的参数及所述判别器的参数，构建所述可视化处理模型。
根据本发明的一个实施例，图2及图3所示的大脑成瘾性状评估的可视化方法所涉及的部分步骤可由大脑成瘾性状评估的可视化处理装置中的处理单元来执行。例如，图2中所示的步骤201和206可由收发单元801执行；又如，图2所示的步骤202可由处理单元802执行。根据本发明的另一个实施例，大脑成瘾性状评估的可视化处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本发明的实施例的技术效果的实现。
请参见图9，是本发明实施例提供的一种大脑成瘾性状评估的可视化处理装置的结构示意图，该图像处理装置包括处理器901、存储器902及通信接口903，处理器901、存储器902及通信接口903通过至少一条通信总线连接，处理器901被配置为支持处理设备执行图2及图3方法中处理设备相应的功能。
存储器902用于存放有适于被处理器加载并执行的至少一条指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。
通信接口903用于接收数据和用于发送数据。例如，通信接口903用于发送可视化处理请求等。
在本发明实施例中，该处理器901可以调用存储器902中存储的程序代码以执行以下操作：
通过通信接口903接收客户端的可视化处理请求，所述可视化处理请求包括待处理图像，所述可视化处理请求用于请求获取所述待处理图像的可视化评估结果；
对所述待处理图像进行掩膜屏蔽处理，得到屏蔽掩膜后的微扰图像；
调用可视化处理模型对所述微扰图像进行分类处理，得到分类结果，并对所述分类结果进行计算，得到所述微扰图像的评估数值，所述微扰图像的评估数值小于未经过掩膜屏蔽处理的所述待处理图像的评估数值；
根据所述微扰图像的评估数值，确定所述可视化评估结果；
通过通信接口903发送所述可视化评估结果至所述客户端。
作为一种可选的实施方式，所述屏蔽处理包括模糊化处理；
所述对所述待处理图像进行掩膜屏蔽处理，得到屏蔽掩膜后微扰图像，该处理器901可以调用存储器902中存储的程序代码以执行以下操作：
确定掩膜区域集合，所述掩膜区域集合包括至少一个掩膜区域；
从所述待处理图像中对所述掩膜区域集合中各个掩膜区域进行模糊化处理，得到所述微扰图像，所述待处理图像中包含所述掩膜区域集合中各个掩膜区域。
作为一种可选的实施方式，所述调用可视化处理模型对所述微扰图像进行分类处理之前，该处理器901可以调用存储器902中存储的程序代码以执行以下操作：
获取噪声向量及向量标注，并将所述噪声向量及所述向量标注通过反卷积网络处理，得到目标图像标注对，所述目标图像标注对包括目标生成图像及目标生成图像标注；
获取第一样本图像及第二样本图像标注对，所述第二样本图像标注对包括第二样本图像及样本图像标注；
根据所述目标图像标注对、所述第一样本图像及所述第二样本图像标注对训练所述可视化处理模型，得到模型损失函数；
根据所述模型损失函数，构建所述可视化处理模型。
作为一种可选的实施方式，所述模型损失函数包括生成损失函数，所述生成损失函数为生成器的损失函数；
所述根据所述目标图像标注对、所述第一样本图像及所述第二样本图像标注对训练所述可视化处理模型，得到模型损失函数，该处理器901可以调用存储器902中存储的程序代码以执行以下操作：
对所述目标图像标注对进行判别处理，生成第一判别结果，所述目标图像标注对包括所述目标生成图像及所述目标生成图像标注；
根据所述目标生成图像、所述第一样本图像及所述第二样本图像，确定重建损失；
根据所述第一判别结果及所述重建损失，确定所述生成器的生成损失函数。
作为一种可选的实施方式，所述模型损失函数包括分类损失函数，所述分类损失函数为分类器的损失函数；
所述根据所述目标图像标注对、所述第一样本图像及所述第二样本图像标注对训练所述可视化处理模型，得到模型损失函数，该处理器901可以调用存储器902中存储的程序代码以执行以下操作：
对所述第一样本图像进行分类处理，得到所述第一样本图像的预测标注，并将所述第一样本图像及所述预测标注进行判别处理，生成第二判别结果；
对所述目标图像标注对及所述第二样本图像标注对进行监督训练，分别获取所述目标图像标注的第一交叉熵及所述第二样本图像标注对的第二交叉熵；
根据所述第二判别结果、所述第一交叉熵及所述第二交叉熵，确定所述分类器的分类损失函数。
作为一种可选的实施方式，所述模型损失函数包括判别损失函数，所述判别损失函数为判别器的损失函数；
所述根据所述目标图像标注对、所述第一样本图像及所述第二样本图像标注对训练所述可视化处理模型，得到模型损失函数，该处理器901可以调用存储器902中存储的程序代码以执行以下操作：
对所述目标图像标注对进行判别处理，生成第三判别结果；
对所述第一样本图像及所述预测标注进行判别处理，生成第四判别结果；
对所述第二样本图像标注对进行判别处理，生成第五判别结果；
根据所述第三判别结果、所述第四判别结果及所述第五判别结果，确定所述判别器的判别损失函数。
作为一种可选的实施方式，所述模型损失函数包括所述生成损失函数、所述分类损失函数及所述判别损失函数；
所述根据所述模型损失函数，构建所述可视化处理模型，该处理器901可以调用存储器902中存储的程序代码以执行以下操作：
通过反向传播算法，根据所述生成器的损失函数，对所述生成器的参数进行更新；
通过反向传播算法，根据所述分类器的损失函数，对所述分类器的参数进行更新；
通过反向传播算法，根据所述判别器的损失函数，对所述判别器的参数进行更新；
根据所述生成器的参数、所述分类器的参数及所述判别器的参数，构建所述可视化处理模型。
本发明实施例还提供了一种计算机可读存储介质(Memory)，可以用于存储图2及图3中所示实施例中处理设备所用的计算机软件指令，在该存储空间中还存放了适于被处理器加载并执行的至少一条指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。
上述计算机可读存储介质包括但不限于快闪存储器、硬盘、固态硬盘。
本领域普通技术人员可以意识到，结合本申请中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者通过计算机可读存储介质进行传输。计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种大脑成瘾性状评估的可视化方法，其特征在于，所述方法包括：
接收客户端的可视化处理请求，所述可视化处理请求包括待处理图像，所述可视化处理请求用于请求获取所述待处理图像的可视化评估结果；
对所述待处理图像进行掩膜屏蔽处理，得到屏蔽掩膜后的微扰图像；
调用可视化处理模型对所述微扰图像进行分类处理，得到分类结果，并对所述分类结果进行计算，得到所述微扰图像的评估数值，所述微扰图像的评估数值小于未经过掩膜屏蔽处理的所述待处理图像的评估数值；
根据所述微扰图像的评估数值，确定所述可视化评估结果；
发送所述可视化评估结果至所述客户端。
2.根据权利要求1所述的方法，其特征在于，所述屏蔽处理包括模糊化处理；
所述对所述待处理图像进行掩膜屏蔽处理，得到屏蔽掩膜后微扰图像，包括：
确定掩膜区域集合，所述掩膜区域集合包括至少一个掩膜区域；
从所述待处理图像中对所述掩膜区域集合中各个掩膜区域进行模糊化处理，得到所述微扰图像，所述待处理图像中包含所述掩膜区域集合中各个掩膜区域。
3.根据权利要求1所述的方法，其特征在于，所述调用可视化处理模型对所述微扰图像进行分类处理之前，所述方法还包括：
获取噪声向量及向量标注，并将所述噪声向量及所述向量标注通过反卷积网络处理，得到目标图像标注对，所述目标图像标注对包括目标生成图像及目标生成图像标注；
获取第一样本图像及第二样本图像标注对，所述第二样本图像标注对包括第二样本图像及样本图像标注；
根据所述目标图像标注对、所述第一样本图像及所述第二样本图像标注对训练所述可视化处理模型，得到模型损失函数；
根据所述模型损失函数，构建所述可视化处理模型。
4.根据权利要求3所述的方法，其特征在于，所述模型损失函数包括生成损失函数，所述生成损失函数为生成器的损失函数；
所述根据所述目标图像标注对、所述第一样本图像及所述第二样本图像标注对训练所述可视化处理模型，得到模型损失函数，包括：
对所述目标图像标注对进行判别处理，生成第一判别结果，所述目标图像标注对包括所述目标生成图像及所述目标生成图像标注；
根据所述目标生成图像、所述第一样本图像及所述第二样本图像，确定重建损失；
根据所述第一判别结果及所述重建损失，确定所述生成器的生成损失函数。
5.根据权利要求3所述的方法，其特征在于，所述模型损失函数包括分类损失函数，所述分类损失函数为分类器的损失函数；
所述根据所述目标图像标注对、所述第一样本图像及所述第二样本图像标注对训练所述可视化处理模型，得到模型损失函数，包括：
对所述第一样本图像进行分类处理，得到所述第一样本图像的预测标注，并将所述第一样本图像及所述预测标注进行判别处理，生成第二判别结果；
对所述目标图像标注对及所述第二样本图像标注对进行监督训练，分别获取所述目标图像标注的第一交叉熵及所述第二样本图像标注对的第二交叉熵；
根据所述第二判别结果、所述第一交叉熵及所述第二交叉熵，确定所述分类器的分类损失函数。
6.根据权利要求3所述的方法，其特征在于，所述模型损失函数包括判别损失函数，所述判别损失函数为判别器的损失函数；
所述根据所述目标图像标注对、所述第一样本图像及所述第二样本图像标注对训练所述可视化处理模型，得到模型损失函数，包括：
对所述目标图像标注对进行判别处理，生成第三判别结果；
对所述第一样本图像及所述预测标注进行判别处理，生成第四判别结果；
对所述第二样本图像标注对进行判别处理，生成第五判别结果；
根据所述第三判别结果、所述第四判别结果及所述第五判别结果，确定所述判别器的判别损失函数。
7.根据权利要求3所述的方法，其特征在于，所述模型损失函数包括所述生成损失函数、所述分类损失函数及所述判别损失函数；
所述根据所述模型损失函数，构建所述可视化处理模型，包括：
通过反向传播算法，根据所述生成器的损失函数，对所述生成器的参数进行更新；
通过反向传播算法，根据所述分类器的损失函数，对所述分类器的参数进行更新；
通过反向传播算法，根据所述判别器的损失函数，对所述判别器的参数进行更新；
根据所述生成器的参数、所述分类器的参数及所述判别器的参数，构建所述可视化处理模型。
8.一种大脑成瘾性状评估的可视化处理装置，其特征在于，包括：
收发单元，用于接收客户端的可视化处理请求，所述可视化处理请求包括待处理图像；
处理单元，用于对所述待处理图像进行掩膜屏蔽处理，得到屏蔽掩膜后的微扰图像；调用可视化处理模型对所述微扰图像进行分类处理，得到分类结果，并对所述分类结果进行计算，得到所述微扰图像的评估数值，所述微扰图像的评估数值小于未经过掩膜屏蔽处理的所述待处理图像的评估数值；根据所述微扰图像的评估数值，确定所述可视化评估结果；
所述收发单元，还用于发送所述可视化评估结果至所述客户端。
9.一种大脑成瘾性状评估的可视化处理装置，其特征在于，包括处理器、存储器和通信接口，所述处理器、所述存储器和所述通信接口相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如权利要求1-7任一项所述的方法。
CN202010164199.7A 2020-03-11 2020-03-11 大脑成瘾性状评估的可视化方法、装置及介质 Active CN111383217B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010164199.7A CN111383217B (zh) 2020-03-11 2020-03-11 大脑成瘾性状评估的可视化方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010164199.7A CN111383217B (zh) 2020-03-11 2020-03-11 大脑成瘾性状评估的可视化方法、装置及介质

Publications (2)

Publication Number Publication Date
CN111383217A true CN111383217A (zh) 2020-07-07
CN111383217B CN111383217B (zh) 2023-08-29

Family

ID=71217263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010164199.7A Active CN111383217B (zh) 2020-03-11 2020-03-11 大脑成瘾性状评估的可视化方法、装置及介质

Country Status (1)

Country Link
CN (1) CN111383217B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021179189A1 (zh) * 2020-03-11 2021-09-16 深圳先进技术研究院 大脑成瘾性状评估的可视化方法、装置及介质
CN114190884A (zh) * 2020-09-18 2022-03-18 深圳大学 一种脑疾病数据的纵向分析方法、系统及装置
CN114190884B (zh) * 2020-09-18 2024-05-28 深圳大学 一种脑疾病数据的纵向分析方法、系统及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250707A (zh) * 2016-08-12 2016-12-21 王双坤 一种基于深度学习算法处理头部结构像数据的方法
US20190046068A1 (en) * 2017-08-10 2019-02-14 Siemens Healthcare Gmbh Protocol independent image processing with adversarial networks
CN109697718A (zh) * 2018-12-25 2019-04-30 电子科技大学 一种基于图论的自闭症检测方法及装置
US20190228547A1 (en) * 2018-01-24 2019-07-25 New York University Systems and methods for diagnostic oriented image quality assessment
CN110070935A (zh) * 2019-03-20 2019-07-30 中国科学院自动化研究所 基于对抗神经网络的医学图像合成方法、分类方法及装置
CN110503187A (zh) * 2019-07-26 2019-11-26 江苏大学 一种用于功能核磁共振成像数据生成的生成对抗网络模型的实现方法
CN110503654A (zh) * 2019-08-01 2019-11-26 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、系统及电子设备
CN110580695A (zh) * 2019-08-07 2019-12-17 深圳先进技术研究院 一种多模态三维医学影像融合方法、系统及电子设备
CN110610488A (zh) * 2019-08-29 2019-12-24 上海杏脉信息科技有限公司 分类训练和检测的方法与装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250707A (zh) * 2016-08-12 2016-12-21 王双坤 一种基于深度学习算法处理头部结构像数据的方法
US20190046068A1 (en) * 2017-08-10 2019-02-14 Siemens Healthcare Gmbh Protocol independent image processing with adversarial networks
US20190228547A1 (en) * 2018-01-24 2019-07-25 New York University Systems and methods for diagnostic oriented image quality assessment
CN109697718A (zh) * 2018-12-25 2019-04-30 电子科技大学 一种基于图论的自闭症检测方法及装置
CN110070935A (zh) * 2019-03-20 2019-07-30 中国科学院自动化研究所 基于对抗神经网络的医学图像合成方法、分类方法及装置
CN110503187A (zh) * 2019-07-26 2019-11-26 江苏大学 一种用于功能核磁共振成像数据生成的生成对抗网络模型的实现方法
CN110503654A (zh) * 2019-08-01 2019-11-26 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、系统及电子设备
CN110580695A (zh) * 2019-08-07 2019-12-17 深圳先进技术研究院 一种多模态三维医学影像融合方法、系统及电子设备
CN110610488A (zh) * 2019-08-29 2019-12-24 上海杏脉信息科技有限公司 分类训练和检测的方法与装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
METE, M.1;SAKOGLU, U.2;SPENCE, J.S.3;DEVOUS, M.D.4;HARRIS, T.S.5;ADINOFF, B.6: "Successful classification of cocaine dependence using brain imaging: a generalizable machine learning approach" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021179189A1 (zh) * 2020-03-11 2021-09-16 深圳先进技术研究院 大脑成瘾性状评估的可视化方法、装置及介质
CN114190884A (zh) * 2020-09-18 2022-03-18 深圳大学 一种脑疾病数据的纵向分析方法、系统及装置
CN114190884B (zh) * 2020-09-18 2024-05-28 深圳大学 一种脑疾病数据的纵向分析方法、系统及装置

Also Published As

Publication number Publication date
CN111383217B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
Singh et al. Image classification: a survey
CN110188836B (zh) 一种基于变分自编码器的脑功能网络分类方法
CN108806792B (zh) 深度学习面诊系统
CN110349147B (zh) 模型的训练方法、眼底黄斑区病变识别方法、装置及设备
US8346688B2 (en) Predicting states of subjects
CN111582348A (zh) 条件生成式对抗网络的训练方法、装置、设备及存储介质
KR102219890B1 (ko) 딥러닝을 이용한 의료영상의 공간 정규화 장치 및 그 방법
CN111009321A (zh) 一种机器学习分类模型在青少年孤独症辅助诊断中的应用方法
US11961004B2 (en) Predicting brain data using machine learning models
US20220101527A1 (en) Visualization method for evaluating brain addiction traits, apparatus, and medium
CN113920123B (zh) 一种成瘾性脑网络分析方法及装置
Elayaraja et al. An efficient approach for detection and classification of cancer regions in cervical images using optimization based CNN classification approach
Thuseethan et al. Deep3DCANN: A Deep 3DCNN-ANN framework for spontaneous micro-expression recognition
CN111383217B (zh) 大脑成瘾性状评估的可视化方法、装置及介质
CN113850796A (zh) 基于ct数据的肺部疾病识别方法及装置、介质和电子设备
CN113887559A (zh) 一种脑不在环路应用的脑机信息融合分类方法及系统
CN114359657A (zh) 脑图谱构建及神经环路检测的方法和相关产品
CN110310897A (zh) 基于空间密度分析的半导体晶片的引导检查
WO2023108418A1 (zh) 脑图谱构建及神经环路检测的方法和相关产品
CN110458058B (zh) 表情的识别方法和装置
Pal et al. Advanced Convolutional Neural Network Model to Identify Melanoma Skin Cancer
CN111598144B (zh) 图像识别模型的训练方法和装置
CN109003680B (zh) 癫痫数据统计方法及装置
Gunes et al. Detecting direction of pepper stem by using CUDA-based accelerated hybrid intuitionistic fuzzy edge detection and ANN
Akogo et al. End-to-end learning via a convolutional neural network for cancer cell line classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant