CN110664395B - 图像处理方法、图像处理装置以及存储介质 - Google Patents

图像处理方法、图像处理装置以及存储介质 Download PDF

Info

Publication number
CN110664395B
CN110664395B CN201910935208.5A CN201910935208A CN110664395B CN 110664395 B CN110664395 B CN 110664395B CN 201910935208 A CN201910935208 A CN 201910935208A CN 110664395 B CN110664395 B CN 110664395B
Authority
CN
China
Prior art keywords
features
depth
feature
image
expert
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910935208.5A
Other languages
English (en)
Other versions
CN110664395A (zh
Inventor
姜立
周雨熙
梁思阳
吴梦
李玉德
李红燕
韩立通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
BOE Technology Group Co Ltd
Original Assignee
Peking University
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University, BOE Technology Group Co Ltd filed Critical Peking University
Priority to CN201910935208.5A priority Critical patent/CN110664395B/zh
Publication of CN110664395A publication Critical patent/CN110664395A/zh
Priority to PCT/CN2020/113114 priority patent/WO2021057423A1/zh
Application granted granted Critical
Publication of CN110664395B publication Critical patent/CN110664395B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Cardiology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)

Abstract

一种图像处理方法、图像处理装置、训练方法及存储介质。该图像处理装置包括：深度特征提取器，配置为获取待识别图像的深度特征，识别图像为医学图像；专家特征提取器，配置为获取待识别图像的专家特征；融合处理器，配置为融合深度特征以及专家特征，以获得待识别图像的融合特征；和分类处理器，配置为根据待识别图像的融合特征对待识别图像进行分类。

Description

图像处理方法、图像处理装置以及存储介质
技术领域
本公开的实施例涉及一种图像处理方法、图像处理装置以及存储介质。
背景技术
图像分类是指根据一定的分类规则将输入图像自动分到一组预定义类别中。例如，根据图像中包含的语义信息，可以对输入图像进行对象分类、场景分类等。例如，可以识别输入图像中包含的预设的目标对象，并根据识别的对象进行分类。又例如，也可以根据输入图像中的语义信息将具有相似内容的图像划分成相同的类别。
发明内容
本公开至少一实施例提供一种图像处理装置，包括：深度特征提取器，配置为获取待识别图像的深度特征，所述待识别图像为医学图像；专家特征提取器，配置为获取所述待识别图像的专家特征；融合处理器，配置为融合所述深度特征以及所述专家特征，以获得所述待识别图像的融合特征；分类处理器，配置为根据所述待识别图像的融合特征对所述待识别图像进行分类。
例如，本公开至少一实施例提供的图像处理装置，还包括：无监督特征提取器，配置为获取所述待识别图像的无监督特征；所述融合处理器还配置为融合所述深度特征、所述专家特征以及所述无监督特征，以获得所述待识别图像的融合特征。
例如，在本公开至少一实施例提供的图像处理装置中，所述深度特征提取器还配置为利用深度神经网络获取所述待识别图像的深度特征。
例如，在本公开至少一实施例提供的图像处理装置中，所述专家特征提取器还配置为基于根据医学图像数据获得的经验公式、规则和特征值，提取所述待识别图像的专家特征。
例如，在本公开至少一实施例提供的图像处理装置中，所述专家特征的类别包括统计、形态、时域和频域中的至少之一。
例如，在本公开至少一实施例提供的图像处理装置中，所述无监督特征提取器还配置为在所述基于无监督特征提取器获取所述待识别图像的无监督特征之前，利用主成分分析法、随机投影法和序列自动编码器中的至少之一训练得到所述无监督特征提取器。
例如，在本公开至少一实施例提供的图像处理装置中，所述融合处理器还配置为：拼接所述深度特征、所述专家特征以及所述无监督特征，以获得所述融合特征。
例如，在本公开至少一实施例提供的图像处理装置中，所述融合处理器还配置为：分别对所述深度特征、所述专家特征与所述无监督特征进行全局池化操作和均值池化操作，以分别获取所述深度特征的全局向量和均值向量、所述专家特征的全局向量和均值向量以及所述无监督特征的全局向量和均值向量；拼接所述深度特征的全局向量和均值向量的至少之一、所述专家特征的全局向量和均值向量的至少之一以及所述无监督特征的全局向量和均值向量的至少之一，以获得所述融合特征。
例如，在本公开至少一实施例提供的图像处理装置中，所述分类处理器还配置为：根据所述待识别图像的融合特征判断所述待识别图像是否包含房颤特征。
本公开至少一实施例提供一种图像处理方法，包括：基于深度特征提取器获取待识别图像的深度特征,所述待识别图像为医学图像；基于专家特征提取器获取所述待识别图像的专家特征；融合所述深度特征以及所述专家特征，以获得所述待识别图像的融合特征；根据所述待识别图像的融合特征对所述待识别图像进行分类。
例如，本公开至少一实施例提供的图像处理方法，还包括基于无监督特征提取器获取所述待识别图像的无监督特征；融合所述深度特征、所述专家特征以及所述无监督特征，以获得所述待识别图像的融合特征。
例如，在本公开至少一实施例提供的图像处理方法中，融合所述深度特征、所述专家特征以及所述无监督特征，以获得所述待识别图像的融合特征，包括：拼接所述深度特征、所述专家特征以及所述无监督特征，以获得所述融合特征。
例如，在本公开至少一实施例提供的图像处理方法中，融合所述深度特征、所述专家特征以及所述无监督特征，以获得所述待识别图像的融合特征，包括：分别对所述深度特征、所述专家特征与所述无监督特征进行全局池化操作和均值池化操作，以分别获取所述深度特征的全局向量和均值向量、所述专家特征的全局向量和均值向量以及所述无监督特征的全局向量和均值向量；拼接所述深度特征的全局向量和均值向量的至少之一、所述专家特征的全局向量和均值向量的至少之一以及所述无监督特征的全局向量和均值向量的至少之一，以获得所述融合特征。
本公开至少一实施例还提供一种图像处理装置，包括：处理器；存储器；一个或多个计算机程序模块，所述一个或多个计算机程序模块被存储在所述存储器中并被配置为由所述处理器执行，所述一个或多个计算机程序模块包括用于执行实现本公开任一实施例提供的图像处理方法的指令。
本公开至少一实施例还提供一种存储介质，所述存储介质存储有计算机可读指令，当所述计算机可读指令由处理器执行时可以执行本公开任一实施例提供的图像处理方法。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
图1A为本公开至少一实施例提供的一种图像处理方法的流程图；
图1B示出了根据本公开实施例的图像处理系统的示例性的场景图；
图2为本公开至少一实施例提供的一种深度特征的提取示意图；
图3A为本公开至少一实施例提供的一种融合操作的流程图；
图3B为本公开至少一实施例提供的一种融合操作的示意图；
图4为本公开至少一实施例提供的另一种图像处理方法的流程图；
图5为本公开至少一实施例提供的另一种融合操作的示意图；
图6为本公开至少一实施例提供的一种图像处理装置的示意框图；
图7为本公开至少一实施例提供的另一种图像处理装置的示意框图；
图8为本公开至少一实施例提供的另一种图像处理装置的示意框图；
图9为本公开至少一实施例提供的一种电子设备的示意图；以及
图10为本公开至少一实施例提供的一种存储介质的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
心电图(electrocardiogram，ECG)被广泛应用于各类心脏病的诊断，虽然目前医用心电图机和可穿戴的自动监测设备等医疗设备都具备一些基础心电图自动分析功能(如自动测量波形参数、节律参数等)，但房颤等部分心律失常类型，由于医疗设备的自动分析诊断的错误率较高，房颤等部分心律失常的解读与诊断目前仍然主要依靠医学专家完成。
按照特征提取方法的不同，现有的房颤识别方法可以包括基于特征工程的方法和基于深度学习的方法。传统的房颤识别方法基本上都采用基于特征工程的方法，根据房颤分析机理的不同，基于特征工程的方法又可分为基于心房活动分析的方法、基于心室反应分析的方法、结合心房活动和心室反应的方法。基于心房活动性分析的方法主要关注房颤的P波消失特点或TQ间期上F波的出现。基于心房活动性分析的方法主要关注心房活动变化产生的心电数据形态变化，如果心电信号数据的分辨率高、且几乎没有噪声污染，基于心房活动分析的房颤检测器可以实现高精度检测，但在具有一定噪声干扰且难以进行复杂降噪操作的实时场景之上则受影响较大。基于心室反应分析的方法主要关注基于QRS检测的心拍之间的时间间隔(RR间期长度)变化。RR间期主要是根据心电信号数据中波动幅度最大的R波的波峰位置确定，基于心室反应分析的方法受噪声的干扰能够比基于心房活动分析的方法小很多，也更适用于实时的房颤诊断问题。结合心房活动和心室反应的方法可以通过结合周期性的独立信号来提供更强的性能。结合心房活动和心室反应的方法包括：结合P波形态相似性度量和PR间期变异性的RR间期马尔可夫模型以及结合RR间期不规则、P波缺失、F波出现的模糊逻辑分类方法。
基于特征工程的方法与领域专家知识密切相关，因此也可以叫做基于领域知识的方法。现有的基于特征工程的房颤识别模型的研究在适用性上受到限制，仅能对部分心律失常进行分类。由于不同患者之间的波形变化复杂且许多非房颤信号表现出的特征可能类似于房颤信号的特征(例如不规则的RR间期等)，而人工设计的专家特征需针对性尝试设计特征，虽然针对特定有限种类的心律失常能取得相对较好的识别效果，但是很难在各类心律失常混杂的复杂情况下都能准确区分出房颤和其他心律失常类型。原因主要包括两个方面：一方面由于很难保证提取了所有的特征，导致房颤识别模型在特征提取阶段可能丢弃了很多关键信息；另一方面，心电信号数据不可避免地包含工频干扰、电极接触噪声、人为运动、肌电干扰、基线漂移和心电信号的幅值变化、设备仪器噪声等大量噪声。在基于特征工程的方法中，由于很难从包含噪声的心电图中准确地进行参数测量和P波、T波、S波、F波等波形识别，因此基于特征工程的方法很容易受到噪声污染的影响。
由于深度学习强大的自动提取数据特征的能力，深度神经网络模型在生物医学信号中的应用受到了人们的广泛关注。
近年来，基于深度学习的方法在心电图上的房颤检测中取得了成功。然而，这些方法仍然具有较高的错误诊断率，只有大约66％的房颤能够从各类心律失常混杂的心电图数据中正确识别。由于实际应用领域内已经积累了大量宝贵的领域知识，现阶段的深度神经网络还无法取代这些领域知识。因此，研究如何将深度神经网络与领域知识相结合，提升房颤自动检测的精度，是一个非常有价值的研究问题，也是现阶段很多方法考虑不足的地方所在。
一般说来，深度神经网络模型的质量很大程度上取决于训练样本的质量，训练样本的类别越准确、内容越全面，训练得到的房颤识别模型的质量就越高。但是在实际应用中，全面且准确的训练样本是很难得到的。在心律失常识别应用中，由于心电图是连续采集的且人体的心电信号十分微弱，训练样本不可避免地包含各种噪声，这些包含噪声的训练样本将对最终的识别结果产生重要影响。由此，在房颤检测中，深度神经网络模型具有较高的错误率，一方面是由于训练数据量的不足；另一方面，心电图样本中的噪声片段(例如，噪声片段可以包括噪声和除当前心电图样本所属的心律失常类型之外的其他心律片段)导致的语义模糊也是导致心律失常识别模型准确率不高的主要原因，利用深度学习技术从带有噪声数据片段的心电信号数据中自动学习特征将导致错误的特征被映射到当前的心律失常类型的数据分布上，从而导致深度神经网络模型的质量变差。
因此，在实际房颤检测的应用场景下，现有的方法由于对于建模视角、领域知识等方面挑战带来的问题考虑不足，导致深度学习方法由于缺乏领域知识而很难被实际领域所接受，同时面对实际场景下的低数据质量问题时基于领域知识的房颤检测方法精确度低的局限性，使得研究场景下的房颤检测成果始终很难真正应用在实际场景中。
针对上述问题，本公开至少一实施例提供一种图像处理方法，该图像处理方法包括：基于深度特征提取器获取待识别图像的深度特征,所述待识别图像为医学图像；基于专家特征提取器获取所述待识别图像的专家特征；融合所述深度特征以及所述专家特征，以获得所述待识别图像的融合特征；根据所述待识别图像的融合特征对所述待识别图像进行分类。
本公开一些实施例还提供对应于上述图像处理方法的图像处理装置和存储介质。
本公开上述实施例提供的图像处理方法、图像处理装置和存储介质，通过基于领域知识的专家特征的表示与提取，以及基于深度神经网络的深度特征的表示与提取，并采用统一的框架对专家特征和深度特征进行表示与融合，以达到提升房颤自动检测精度的目的，从而为实时、动态地房颤识别与诊断提供高精度的辅助方法，帮助医生及时诊断和准确发现患者的房颤的发生，帮助病人及时了解病情的变化，从而提高医疗质量、降低心脏性猝死等危及生命情况的发生率，最终减少给家庭和社会带来的健康和经济负担。
下面结合附图对本公开的实施例及其示例进行详细说明。
本公开至少一实施例提供一种图像处理方法，图1A为该图像处理方法的一个示例的流程图。该图像处理方法可以以软件、硬件、固件或其任意组合的方式实现，由例如手机、笔记本电脑、桌面电脑、网络服务器、数码相机等设备中的处理器加载并执行，可以实现对待识别图像的分类，以用于后续步骤的处理。图1B示出了根据本公开实施例的图像处理系统的示例性的场景图。下面，参考图1A和图1B对本公开至少一实施例提供的图像处理方法进行说明。如图1B所示，该图像处理方法包括步骤S110至步骤S140。
步骤S110：基于深度特征提取器获取待识别图像的深度特征。
步骤S120：基于专家特征提取器获取待识别图像的专家特征。
步骤S130：融合深度特征以及专家特征，以获得待识别图像的融合特征。
步骤S140：根据待识别图像的融合特征对待识别图像进行分类。
例如，该待识别图像为医学图像。这里所说的医学图像可以是例如通过CT、MRI、超声、X光、核素显像(如SPECT、PET)等方法采集的医学图像，也可以是例如心电图、脑电图、光学摄影等显示人体生理信息的图像。在本公开的实施例中，以该医学图像为心电图像为例进行说明，本公开的实施例对此不作限制。在心电图中，房颤信号的特点是P波完全消失，P波被F波完全替代，并且心率绝对不齐(即任意相邻的两个RR间期均不相同)。
对于步骤S110，例如，在一些示例中，该深度特征提取器可以实现为深度神经网络(例如，包括全连接层)，该步骤S110包括利用深度神经网络获取待识别图像的深度特征。例如，该深度神经网络可以是卷积神经网络，如Inception系列网络(例如Googlenet等)、VGG系列网络、Resnet系列网络等中的任意一个或上述网络中任意一个的至少一部分，本公开的实施例对此不作限制。
在一些应用中，该深度神经网络输出的深度特征的向量维数较高，专家特征或无监督特征等向量的维数较低，由于深度特征的向量维数与专家特征或无监督特征等向量的维数相差较大，使得专家特征或无监督特征等在最终的融合特征中的作用微乎其微，从而在融合特征中体现不出它们的优势，从而达不到融合特征的目的，不能提升房颤检测的精度。因此，为了减小深度特征的向量维数与专家特征或无监督特征等向量的维数之间的差距，该深度特征提取器还可以包括与深度神经网络连接的激活函数层(例如，Identity层)。通过该Identity层可以对深度神经网络提取的深度特征进行降维，以得到降维后的深度特征，以与专家特征或无监督特征等的维数匹配，从而可以解决上述问题，提高融合特征的多样性，以达到提升房颤自动检测精度的目的。
例如，Identity层中的Identity激活函数则可以在输出分类结果之前输出提取的深度特征(例如，降维后的深度特征)。
例如，该深度神经网络中的参数可以在图2中的训练阶段S1中训练得到。
例如，在训练阶段S1，该深度神经网络可以连接到分类器。例如，该分类器为Softmax分类器或SVM(支持向量机，Support Vector Machine)分类器等，在本公开的实施例中以Softmax分类器为例进行说明，本公开的实施例对此不作限制。分类器可以根据提取的特征对输入深度神经网络的输入数据进行分类。分类器的分类结果经过输出层输出以作为该深度神经网络模型的最终输出。
图2为本公开至少一实施例提供的一种深度特征的提取示意图。如图2所示，为了对任何架构的深度神经网络进行改造，使其能够自动提取深度特征，该深度特征的提取算法包括两个阶段：训练阶段和提取阶段。
如图2所示，在训练阶段S1，首先基于某个具体的任务(例如，判断是否为房颤)训练一个深度神经网络，并保存该深度神经网络的架构和权值。
在训练阶段S1，向该深度神经网络输入有标签(例如，标签包括是否为房颤)的数据，该深度神经网络可以输出深度特征，并将该深度特征输出至Softmax层，以在Softmax层(即，Softmax分类器所在的层)基于该深度神经网络提取的深度特征输出分类结果(例如，该待识别图像属于预设类别(例如，房颤)的预测概率)，确定与预测结果对应的标签，即是否为房颤。
例如，在训练过程中，该深度神经网络的训练过程中还可以包括优化器，优化器中的优化函数可以根据系统损失函数计算得到的系统损失值以计算该深度神经网络的参数的误差值，并根据该误差值对待训练的深度神经网络的参数进行修正，从而可以使得深度神经网络输出较准确的深度特征。例如，优化函数可以采用随机梯度下降(stochasticgradient descent，SGD)算法、批量梯度下降(batch gradient descent,BGD)算法等计算该深度神经网络的参数的误差值。
例如，Softmax层是用于输出分类结果(例如，判断是否为房颤)的回归函数层。
因此，在提取阶段S2，将与深度神经网络连接的最后一层Softmax层替代为Identity层(例如，输出层，采用Identity激活函数)，并且保持该深度神经网络中其它的全连接层的网络结构和权值不变，即利用训练好的深度神经网络提取深度特征，这样可以得到精度较高的深度特征，并在Identity层对其进行降维以输出与专家特征或无监督特征匹配的的深度特征。此时，向该深度神经网络输入新数据，就可以从Identity层输出深度特征，从而可以实现深度特征的表示与提取。
在该示例中，该深度特征的提取可以不依赖于深度神经网络的特殊架构，即，可以采用能够实现特征提取的任意网络架构而不限于一种网络。
需要注意是，上述深度特征提取的方法不限于上述神经网络，还可以通过例如HOG+SVM等本领域内的常规方法实现，本公开的实施例对此不作限制。
另外，由于深度学习技术在增加了表征学习能力的同时也减少了可解释性能力。它们往往被当成黑盒模型来使用，即，仅能获得具体的输出结果(例如，是否为房颤)，而无法有效解释在中间过程中产生的深度特征等数据，例如，无法解释哪一个深度特征对应哪个区域的房颤等。但在医疗领域，针对一个分析识别结果进行适当的解释对于医生与患者都是极其重要的，而目前的基于深度学习的房颤识别技术所提取的深度特征无法有效指导和辅助医生的诊断决策。针对该技术问题，本公开实施例中可以通过对深度特征进行相应地标注或结合具有可解释性的专家特征等方法来实现，从而提升房颤识别的精度。
对于步骤S120，例如，在一些示例中，该步骤S120包括：基于根据医学图像数据获得的经验公式、规则和特征值，提取待识别图像的专家特征。例如，该医学图像数据可以包括心电图数据。
例如，在基于领域知识的房颤自动检测场景中，领域专家会根据自己的知识体系，基于数据总结出“经验公式”、“规则”和“特征值”等，并基于它们进行房颤检测与识别，实际上，这些经验公式、规则和特征值，都可以被表示为数值向量C∈Rd(其中，Rd表示维数为d的取值空间，该公式表示数值向量C属于该取值空间)的形式，进而可以被视为专家特征。
例如，该专家特征的类别可以包括统计、形态、时域和频域的至少之一，当然还可以包括其他的类别，本公开的实施例对此不作限制。
具体地，统计类专家特征包括例如均值(Mean)、最大值(Maximum)、最小值(Minimum)、方差(Variance)、偏度(Skewness)、峰度(Kurtosis)、分位数(Percentile)和阈值(Threshold)等统计数值。例如，在心电监护时序数据上如果最大值差异较大，提示病人可能患有房颤。
例如，形态的定义与具体领域有直接关系，例如，在房颤检测领域中，在心电监护时序数据出现P波段消失的形态时，则提示病人可能患有房颤。
由于很多时序数据具有一定的周期性，时域的分析注重时序数据在时间维度上的节律特性，例如，心电监护时序数据的RR间期如果不规则，提示病人可能患有房颤。
例如，时序数据在频域上也会展现出一定的特性，例如，在心电监护时序数据中，如果大于50赫兹(Hz)的能量过高，则提示病人身体的肌肉电流较强，即在心电监护时序数据中讯在肌电干扰等噪声，会对分析结果产生影响，此时，房颤识别的精度不高。
对于步骤S130，在一些示例中，该步骤S130可以包括：拼接深度特征和专家特征，以获得融合特征。
例如，在一些示例中，为了融合不同来源的特征，使用全局池化(Max Pooling)和均值池化(Mean Pooling)操作。
图3A为本公开至少一实施例提供的一种融合操作的流程图。也就是说，图3A为图1B中所示的步骤S130的至少一个示例的流程图。例如，在图3A所示的示例中，该融合操作包括步骤S1311至步骤S1312。图3B为本公开至少一实施例提供的一种融合操作的示意图。下面，结合图3A和图3B对本公开至少一实施例提供的融合操作进行详细地介绍。
步骤S1311：分别对深度特征和专家特征进行全局池化操作和均值池化操作，以分别获取深度特征的全局向量和均值向量以及专家特征的全局向量和均值向量。
例如，如图3B所示，深度特征提取器110提取的深度特征和专家特征提取器提取的专家特征分别表示为向量矩阵V＝[v0,...，vi，...，vn-1]，其中，vi∈Rd,表示向量vi在该取值空间Rd内，V∈Rn×d，表示向量矩阵V在该取值空间Rn×d内，其中，Rn×d表示维数为n*d的取值空间。
例如，对深度特征和专家特征分别进行全局池化操作(例如，最大池化)和均值池化操作，以分别获取深度特征的全局向量vmax和均值向量vmean以及专家特征的全局向量vmax和均值向量vmean，其中，vmax∈Rd和vmean∈Rd。例如，全局向量vmax是在向量矩阵V中例如按列计算每列向量的最大值得到的，均值向量vmean是在向量矩阵V中例如按列计算每列向量的平均值得到的。
步骤S1312：拼接深度特征的全局向量和均值向量的至少之一以及专家特征的全局向量和均值向量的至少之一，以获得融合特征。
例如，拼接所有的不同来源的特征的全局向量和均值向量，例如，拼接来源于深度特征提取器110的深度特征的全局向量和均值向量和以及来源于专家特征提取器120的专家特征的全局向量vmax和均值向量vmean，以获得最终的融合特征，为房颤检测任务提供易用且准确的多源融合特征，从而提供准确的房颤检测的辅助方法。
例如，在本公开的实施例中，拼接操作为将不同来源的特征的全局向量和均值向量合并为1个向量，例如，1个1维向量。
需要注意的是，还可以仅拼接深度特征的全局向量和专家特征的全局向量，或仅拼接深度特征的均值向量和专家特征的均值向量，或仅拼接深度特征的全局向量和专家特征的均值向量，或仅拼接深度特征的均值向量和专家特征的全局向量以获得融合特征，本公开的实施例对此不作限制。
例如，在另一些示例中，可以直接对不同来源的特征进行拼接。
例如，在一些示例中，深度特征和专家特征可以具有多个通道。例如，深度特征可以是尺寸为H1*W1*C1的张量，其中H1可以是深度特征在第一方向(例如长度方向)上的尺寸，W1可以是深度特征在第二方向(例如宽度方向)上的尺寸，H1、W1可以是以像素数量为单位的尺寸，C1可以是深度特征的通道数。专家特征可以是尺寸为H2*W2*C2的张量，其中H2可以是专家特征在第一方向(例如长度方向)上的尺寸，W2可以是专家特征在第二方向(例如宽度方向)上的尺寸，H2、W2可以是以像素数量为单位的尺寸，C2可以是专家特征的通道数。这里，C1、C2是大于1的整数。
例如，深度特征可以具有100个通道，例如，每个通道中的深度特征为一个1行*M列(M为大于1的整数)的一维向量，该100个通道的深度特征可以组合为一个100行*M列的向量矩阵。例如，专家特征也可以具有100个通道，例如，该100个通道的专家特征可以组合为一个100行*M列的向量矩阵。通过拼接深度特征和专家特征可以得到一个200个通道的融合特征，例如，该200个通道的融合特征为一个200行*M列的向量矩阵。该具有200个通道的融合特征融合有深度特征和专家特征的信息。
需要注意的是，上述深度特征和专家特征的通道数量仅是示例性的，可以根据具体实施例设置，本公开的实施例对此不作限制。
例如，可以提供融合处理器，并通过该融合处理器根据融合深度特征以及专家特征，以获得待识别图像的融合特征；例如，也可以通过中央处理单元(CPU)、图像处理器(GPU)、张量处理器(TPU)、现场可编程逻辑门阵列(FPGA)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元以及相应计算机指令来实现该融合处理器。例如，该处理单元可以为通用处理器或专用处理器，可以是基于X86或ARM架构的处理器等。
在本公开的实施例中，通过上述融合操作，使得融合特征融合有深度特征和专家特征的信息，可以将深度神经网络与领域知识结合，以克服深度神经网络的由于缺乏样本数据而导致的训练量不足的问题以及由于缺乏领域知识房颤识别精度低而很难被实际领域接受的问题，还可以克服面对实际场景下的低数据质量问题时，基于领域知识的房颤检测方法的精确度低等问题，从而可以提升房颤自动检测的精度。
具体地，在本公开的实施例中，基于深度神经网络的房颤识别方法对噪声的自适应能力比较好，由于深度特征是自动提取而非人工提取，因此可以克服与基于领域知识的方法很难在各类心律失常混杂的复杂情况下都能准确区分出房颤和其他心律失常类型的问题。但是，基于深度神经网络的房颤识别方法需要大规模的有良好标注的学习样本，这是非常困难的，因此，在本公开的实施例中将对良好标注样本量依赖性不强的专家特征(基于领域知识或特征工程的房颤识别方法)纳入建模过程中，使得深度特征和专家特征融合，从而能够在有良好标注的学习样本量不足的情况下依然能够提供较可靠的房颤预测精度。
图4为本公开至少一实施例提供的另一种图像处理方法的流程图。如图4所示，在图1所示的示例的基础上，该图像处理方法还包括步骤S150。
步骤S150：基于无监督特征提取器获取待识别图像的无监督特征。
例如，在该示例中，在实际应用中获取标记数据比较困难的场景下，基于无监督特征提取器获取待识别图像的无监督特征之前，利用主成分分析法、随机投影法以及序列自动编码器中的至少之一无监督学习方法训练无监督特征提取器，学习无监督特征的自动表示与提取，将变换的低维数据提取为无监督特征。
与在标记数据上构建模型的有监督学习方法不同，无监督学习方法仅在未标记数据上构建模型。虽然由于缺乏标记数据，无监督学习到的特征不如有监督学习特征有效，但是，由于在实际应用中，获取标记数据可能比较困难，因此无监督特征的自动学习方法在这种场景下发挥了重要的作用。
例如，可以利用主成分分析法、随机投影法或序列自动编码器训练得到无监督特征提取器。
例如，主成分分析(Principle Component Analysis，PCA)法使用正交变换将相关变量转换为线性不相关的主成分，这些主成分的数量远远少于原始变量，同时也提供了更多信息，然后将变换的低维主成分提取为无监督特征。
例如，随机投影(Random Projection，RP)法通过将原始数据乘以随机投影矩阵，将高维数据投影到较低维度以得到低维数据，然后将变换的低维数据提取为无监督特征。该RP算法简单且计算效率高。
例如，序列自动编码器(Sequence to Sequence Autoencoder，SeqAE)是自动编码器(AE)的变体，它将编码器和解码器中的全连接层替换为循环层。序列自动编码器首先将时序数据变换为隐藏层的表示，然后解码器将隐藏层的表示再次变换为时序数据，并尝试最小化原始序列与解码序列之间的距离。最后，将隐藏层的表示提取为无监督特征。
在该示例中，由于增加了无监督特征的获取，从而步骤S130可以相应地表示为：
步骤S130：融合深度特征、专家特征以及无监督特征，以获得待识别图像的融合特征。
例如，在该示例中，如图5所示，将不同来源的特征向量进行融合，例如，可以通过拼接深度特征、专家特征以及无监督特征，以获得融合特征。
例如，可以分别对深度特征、专家特征与无监督特征进行全局池化操作和均值池化操作，以分别获取深度特征的全局向量和均值向量、专家特征的全局向量和均值向量以及无监督特征的全局向量和均值向量；拼接深度特征的全局向量和均值向量的至少之一、专家特征的全局向量和均值向量的至少之一以及无监督特征的全局向量和均值向量的至少之一，以获得融合特征。
例如，具体的融合方法可参考图3B所示的融合过程的介绍，在此不再赘述。
需要注意的是，该步骤S130可以不限于上述特征的融合，还可以包括其余更多特征的融合，本公开的实施例对此不作限制。
在本公开实施例中，融合特征融合了深度特征、专家特征以及无监督特征，实现数据降维，可以克服深度特征和专家特征中的噪声污染严重的问题，从而可以进一步提升房颤自动检测的精度。
具体地，传统的基于领域知识的方法虽然可以解决深度神经网络对局有良好标注的样本量的依赖性强的问题，但是对噪声敏感，而无监督学习的方法虽然识别精确度较低，但具有自动降噪和不要标签的作用，本公开实施例提供的图形处理方法同时融合了多种不同技术(深度神经网络、基于领域知识以及无监督学习)的优势，在有良好标注的学习样本量不足的情况下，针对有噪声的心电图数据，依然能够提供较可靠的房颤预测精度。
需要注意的是，还可融合其他的技术，本公开的实施例对此不作限制。
对于步骤S140，在一些示例中，根据待识别图像的融合特征对待识别图像进行分类，包括：根据待识别图像的融合特征判断待识别图像是否包括房颤特征。
例如，当将上述图像处理方法应于与其他领域，例如，机械领域时，还可以用于检测周期性波形的变化。本公开的实施例对此不作限制。
例如，将上述实施例中获取的融合特征(例如，图3B中获取的融合特征或图5中获取的融合特征)输入至房颤检测器中，以实现房颤识别检测。例如，该房颤检测器可以是神经网络分类器或SVM分类器等，本公开的实施例对此不作限制。
例如，可以提供分类处理器，并通过该分类处理器根据待识别图像的融合特征对待识别图像进行分类；例如，也可以通过中央处理单元(CPU)、图像处理器(GPU)、张量处理器(TPU)、现场可编程逻辑门阵列(FPGA)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元以及相应计算机指令来实现该分类处理器。
需要说明的是，在本公开的实施例中，该图像处理方法的流程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行。虽然上文描述的图像处理方法的流程包括特定顺序出现的多个操作，但是应该清楚地了解，多个操作的顺序并不受限制。上文描述的图像处理方法可以执行一次，也可以按照预定条件执行多次。
本公开上述实施例提供的图像处理方法，通过基于领域知识的专家特征的表示与提取，以及基于深度神经网络的深度特征的表示与提取，并采用统一的框架对专家特征和深度特征进行表示与融合，以达到提升房颤自动检测精度的目的，从而为实时、动态地房颤识别与诊断提供高精度的智能决策支持方法，帮助医生及时诊断和准确发现患者的房颤的发生，帮助病人及时了解病情的变化，从而提高医疗质量、降低心脏性猝死等危及生命情况的发生率，最终减少给家庭和社会带来的健康和经济负担。
例如，上述图形处理方法可以通过图1B所示的图像处理系统实现。如图1B所示，该图像处理系统10可以包括用户终端11、网络12、服务器13以及数据库14。
用户终端11可以是例如图1B中示出的电脑11-1、手机11-2。可以理解的是，用户终端11可以是能够执行数据处理的任何其他类型的电子设备，其可以包括但不限于台式电脑、笔记本电脑、平板电脑、智能手机、智能家居设备、可穿戴设备、车载电子设备、监控设备等。用户终端也可以是设置有电子设备的任何装备，例如车辆、机器人等。
根据本公开实施例提供的用户终端可以用于接收待识别图像，并利用本公开实施例提供的方法实现图像识别和分类。例如，用户终端11可以通过用户终端11上设置的图像采集设备(图中未示出，例如照相机、摄像机等)采集待识别图像。又例如，用户终端11也可以从独立设置的图像采集设备接收待识别图像。再例如，用户终端11也可以经由网络从服务器13接收待识别图像。这里所述的待识别图像可以是单独的图像，也可以是视频中的一帧。在待识别图像是医学图像的情况下，用户终端也可以同医学采集设备接收待识别图像。
在一些实施例中，可以利用用户终端11的处理单元执行本公开实施例提供的图像处理方法。在一些实现方式中，用户终端11可以利用用户终端11内置的应用程序执行图像处理方法。在另一些实现方式中，用户终端11可以通过调用用户终端11外部存储的应用程序执行本公开至少一实施例提供的图像处理方法。
在另一些实施例中，用户终端11将接收的待识别图像经由网络12发送至服务器13，并由服务器13执行图像处理方法。在一些实现方式中，服务器13可以利用服务器内置的应用程序执行图像处理方法。在另一些实现方式中，服务器13可以通过调用服务器13外部存储的应用程序执行图像处理方法。
网络12可以是单个网络，或至少两个不同网络的组合。例如，网络12可以包括但不限于局域网、广域网、公用网络、专用网络等中的一种或几种的组合。
服务器13可以是一个单独的服务器，或一个服务器群组，群组内的各个服务器通过有线的或无线的网络进行连接。一个服务器群组可以是集中式的，例如数据中心，也可以是分布式的。服务器13可以是本地的或远程的。
数据库14可以泛指具有存储功能的设备。数据库13主要用于存储从用户终端11和服务器13工作中所利用、产生和输出的各种数据。数据库14可以是本地的，或远程的。数据库14可以包括各种存储器、例如随机存取存储器(Random Access Memory(RAM))、只读存储器(Read Only Memory(ROM))等。以上提及的存储设备只是列举了一些例子，该系统可以使用的存储设备并不局限于此。
数据库14可以经由网络12与服务器13或其一部分相互连接或通信，或直接与服务器13相互连接或通信，或是上述两种方式的结合。
在一些实施例中，数据库15可以是独立的设备。在另一些实施例中，数据库15也可以集成在用户终端11和服务器14中的至少一个中。例如，数据库15可以设置在用户终端11上，也可以设置在服务器14上。又例如，数据库15也可以是分布式的，其一部分设置在用户终端11上，另一部分设置在服务器14上。
图6为本公开至少一实施例提供的一种图像处理装置的示意框图。例如，在图6所示的示例中，该图像处理装置100包括深度特征提取器110、专家特征提取器120、融合处理器130和分类处理器140。例如，这些特征提取器和处理器可以通过硬件(例如电路)模块或软件模块等实现，以下是实施例与此相同，不再赘述。例如，可以通过中央处理单元(CPU)、图像处理器(GPU)、张量处理器(TPU)、现场可编程逻辑门阵列(FPGA)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元以及相应计算机指令来实现这些处理器或提取器。
深度特征提取器110配置为获取待识别图像的深度特征。例如，待识别图像为医学图像。例如，该深度特征提取器110可以实现步骤S110，其具体实现方法可以参考步骤S110的相关描述，在此不再赘述。
专家特征提取器120配置为获取待识别图像的专家特征。例如，该专家特征提取器120可以实现步骤S120，其具体实现方法可以参考步骤S120的相关描述，在此不再赘述。
融合处理器130配置为融合深度特征以及专家特征，以获得待识别图像的融合特征。例如，该融合处理器130可以实现步骤S130，其具体实现方法可以参考步骤S130的相关描述，在此不再赘述。
分类处理器140配置为根据待识别图像的融合特征对待识别图像进行分类。例如，该分类处理器140可以实现步骤S140，其具体实现方法可以参考步骤S140的相关描述，在此不再赘述。
例如，深度特征提取器110还配置为利用深度神经网络获取待识别图像的深度特征。
例如，在本公开至少一实施例提供的图像处理装置中，专家特征提取器120还配置为基于根据医学图像数据获得的经验公式、规则和特征值，提取待识别图像的专家特征。
例如，在本公开至少一实施例提供的图像处理装置中，专家特征的类别包括统计、形态、时域和频域中的至少之一。
例如，在本公开至少一实施例提供的图像处理装置中，分类处理器140还配置为：根据待识别图像的融合特征判断待识别图像是否包含房颤特征。
图7为本公开至少一实施例提供的另一种图像处理装置的示意框图。例如，如图7所示，在图6所示的示例的基础上，该图像处理装置100还包括无监督特征提取器150。
例如，无监督特征提取器150配置为获取待识别图像的无监督特征。例如，该无监督特征提取器150可以实现步骤S150，其具体实现方法可以参考步骤S150的相关描述，在此不再赘述。
例如，在本公开至少一实施例提供的图像处理装置中，无监督特征提取器150还配置为在基于无监督特征提取器获取待识别图像的无监督特征之前，利用主成分分析法、随机投影法和序列自动编码器中的至少之一训练得到无监督特征提取器。
例如，在该示例中，融合处理器130还配置为融合深度特征、专家特征以及无监督特征，以获得待识别图像的融合特征。
例如，在本公开至少一实施例提供的图像处理装置中，融合处理器130还配置为：拼接深度特征、专家特征以及无监督特征，以获得融合特征。
例如，在本公开至少一实施例提供的图像处理装置中，融合处理器130还配置为：分别对深度特征、专家特征与无监督特征进行全局池化操作和均值池化操作，以分别获取深度特征的全局向量和均值向量、专家特征的全局向量和均值向量以及无监督特征的全局向量和均值向量；拼接深度特征的全局向量和均值向量的至少之一、专家特征的全局向量和均值向量的至少之一以及无监督特征的全局向量和均值向量的至少之一，以获得融合特征。
需要注意的是，在本公开的实施例中，可以包括更多或更少的电路或单元，并且各个电路或单元之间的连接关系不受限制，可以根据实际需求而定。各个电路的具体构成方式不受限制，可以根据电路原理由模拟器件构成，也可以由数字芯片构成，或者以其他适用的方式构成。
图8为本公开至少一实施例提供的又一种图像处理装置的示意框图。例如，如图8所示，该图像处理装置200包括处理器210、存储器220以及一个或多个计算机程序模块221。
例如，处理器210与存储器220通过总线系统230连接。例如，一个或多个计算机程序模块221被存储在存储器220中。例如，一个或多个计算机程序模块221包括用于执行本公开任一实施例提供的图像处理方法的指令。例如，一个或多个计算机程序模块221中的指令可以由处理器210执行。例如，总线系统230可以是常用的串行、并行通信总线等，本公开的实施例对此不作限制。
例如，该处理器210可以是中央处理单元(CPU)、图像处理器(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，可以为通用处理器或专用处理器，并且可以控制图像处理装置200中的其它组件以执行期望的功能。
存储器220可以包括一个或多个计算机程序产品，该计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。该易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。该非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器210可以运行该程序指令，以实现本公开实施例中(由处理器210实现)的功能以及/或者其它期望的功能，例如图像处理方法等。在该计算机可读存储介质中还可以存储各种应用程序和各种数据，例如深度特征、专家特征以及应用程序使用和/或产生的各种数据等。
需要说明的是，为表示清楚、简洁，本公开实施例并没有给出该图像处理装置200的全部组成单元。为实现图像处理装置200的必要功能，本领域技术人员可以根据具体需要提供、设置其他未示出的组成单元，本公开的实施例对此不作限制。
关于不同实施例中的图像处理装置100和图像处理装置200的技术效果可以参考本公开的实施例中提供的图像处理方法的技术效果，这里不再赘述。
图像处理装置100和图像处理装置200可以用于各种适当的电子设备。图9为本公开至少一实施例提供的一种电子设备的示意图。例如，如图9所示，在一些示例中，电子设备300包括中央处理单元(CPU)301，其可以根据存储在只读存储器(ROM)302中的程序或者从存储装置308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM303中，还存储有计算机系统操作所需的各种程序和数据。CPU 301、ROM302以及RAM303通过总线304被此相连。输入/输出(I/O)接口305也连接至总线304。
以下部件连接至I/O接口305:包括键盘、鼠标等的输入装置306；包括诸如液晶显示器(LCD)等以及扬声器等的输出装置307；包括硬盘等的存储装置308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信装置309。通信装置309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口305。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储装置309。
例如，该电子设备300还可以进一步包括图像采集装置(图中未示出)和外设接口(图中未示出)等。例如，图像采集装置可以包括成像传感器以及镜头，该图像传感器可以为CMOS型或CCD型，镜头包括一个或多个透镜(凸透镜或凹透镜等)。该外设接口可以为各种类型的接口，例如为USB接口、闪电(lighting)接口等。该通信装置309可以通过无线通信来与网络和其他设备进行通信，该网络例如为因特网、内部网和/或诸如蜂窝电话网络之类的无线网络、无线局域网(LAN)和/或城域网(MAN)。无线通信可以使用多种通信标准、协议和技术中的任何一种，包括但不局限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、Wi-Fi(例如基于IEEE802.11a、IEEE 802.11b、IEEE 802.11g和/或IEEE 802.11n标准)、基于因特网协议的语音传输(VoIP)、Wi-MAX，用于电子邮件、即时消息传递和/或短消息服务(SMS)的协议，或任何其他合适的通信协议。
例如，电子设备可以为手机、平板电脑、笔记本电脑、电子书、游戏机、电视机、数码相框、导航仪等任何设备，也可以为任意的电子设备及硬件的组合，本公开的实施例对此不作限制。
例如，该电子设备可以是医疗电子设备。图像采集装置可以用于采集待识别图像，例如，医学图像。这里所说的医学图像可以是例如通过CT、MRI、超声、X光、核素显像(如SPECT、PET)等方法采集的医学图像，也可以是例如心电图、脑电图、光学摄影等显示人体生理信息的图像。
例如，在一些示例中，该医疗电子设备可以是CT、MRI、超声、X光仪器等任何医学成像设备。图像采集装置可以实现为上述医学成像设备的成像单元，图像处理装置100/200可以通过医学成像设备的内部处理单元(例如处理器)实现。
本公开至少一实施例还提供一种存储介质。图10为本公开至少一实施例提供的一种存储介质的示意图。例如，如图10所示，该存储介质400非存储有计算机可读指令401，当计算机可读指令由计算机(包括处理器)执行时可以执行本公开任一实施例提供的图像处理方法。
例如，该存储介质可以是一个或多个计算机可读存储介质的任意组合，例如一个计算机可读存储介质包含提取待识别图像中的深度特征的计算机可读的程序代码，另一个计算机可读存储介质包含融合待识别图像的深度特征和专家特征以获取融合特征的计算机可读的程序代码。例如，当该程序代码由计算机读取时，计算机可以执行该计算机存储介质中存储的程序代码，执行例如本公开任一实施例提供的图像处理方法。
例如，存储介质可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、闪存、或者上述存储介质的任意组合，也可以为其他适用的存储介质。
有以下几点需要说明：
(1)本公开实施例附图只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计。
(2)在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。
以上所述仅是本公开的示范性实施方式，而非用于限制本公开的保护范围，本公开的保护范围由所附的权利要求确定。

Claims (12)

1.一种图像处理装置，包括：
深度特征提取器，配置为获取待识别图像的深度特征，其中，所述待识别图像为医学图像，所述深度特征提取器包括深度神经网络，所述深度神经网络中的参数在训练阶段得到，在所述训练阶段，所述深度神经网络连接到分类器，以对输入所述深度神经网络的输入数据进行分类，所述深度神经网络的架构和权值被保存；
专家特征提取器，配置为获取所述待识别图像的专家特征，其中，所述专家特征提取器配置为基于根据医学图像数据获得的经验公式、规则和特征值，提取所述待识别图像的专家特征，所述专家特征的类别包括统计、形态、时域和频域中的至少之一；
融合处理器，配置为融合所述深度特征以及所述专家特征，以获得所述待识别图像的融合特征；
分类处理器，配置为根据所述待识别图像的融合特征对所述待识别图像进行分类，
其中，所述融合处理器还配置为分别对所述深度特征和所述专家特征进行全局池化操作和均值池化操作，以分别获取所述深度特征的全局向量和均值向量以及所述专家特征的全局向量和均值向量；以及拼接所述深度特征的所述全局向量和所述均值向量的至少之一以及所述专家特征的所述全局向量和所述均值向量的至少之一，以获得所述融合特征，
利用所述深度神经网络获取所述待识别图像的深度特征还包括提取阶段，在提取阶段，所述深度神经网络由与所述分类器连接替换为与激活函数层连接，所述激活函数层配置为对所述深度特征进行降维，并且输出所述深度特征，使得所述深度特征与所述专家特征的维数匹配。
2.根据权利要求1所述的图像处理装置，还包括：
无监督特征提取器，配置为获取所述待识别图像的无监督特征；
其中，所述融合处理器还配置为融合所述深度特征、所述专家特征以及所述无监督特征，以获得所述待识别图像的融合特征。
3.根据权利要求2所述的图像处理装置，其中，所述无监督特征提取器还配置为在所述无监督特征提取器获取所述待识别图像的无监督特征之前，利用主成分分析法、随机投影法和序列自动编码器中的至少之一训练得到所述无监督特征提取器。
4.根据权利要求2所述的图像处理装置，其中，所述融合处理器还配置为：拼接所述深度特征、所述专家特征以及所述无监督特征，以获得所述融合特征。
5.根据权利要求4所述的图像处理装置，其中，所述融合处理器还配置为：
分别对所述深度特征、所述专家特征与所述无监督特征进行全局池化操作和均值池化操作，以分别获取所述深度特征的全局向量和均值向量、所述专家特征的全局向量和均值向量以及所述无监督特征的全局向量和均值向量；
拼接所述深度特征的全局向量和均值向量的至少之一、所述专家特征的全局向量和均值向量的至少之一以及所述无监督特征的全局向量和均值向量的至少之一，以获得所述融合特征。
6.根据权利要求1或2所述的图像处理装置，其中，所述分类处理器还配置为：根据所述待识别图像的融合特征判断所述待识别图像是否包含房颤特征。
7.一种图像处理方法，包括：
基于深度特征提取器获取待识别图像的深度特征，所述深度特征提取器包括深度神经网络，所述深度神经网络中的参数在训练阶段得到，在所述训练阶段，所述深度神经网络连接到分类器，以对输入所述深度神经网络的输入数据进行分类，所述深度神经网络的架构和权值被保存；
基于专家特征提取器获取所述待识别图像的专家特征，其中，所述专家特征提取器配置为基于根据医学图像数据获得的经验公式、规则和特征值，提取所述待识别图像的专家特征，所述专家特征的类别包括统计、形态、时域和频域中的至少之一；
融合所述深度特征以及所述专家特征，以获得所述待识别图像的融合特征；
根据所述待识别图像的融合特征对所述待识别图像进行分类；其中，所述待识别图像为医学图像，
其中，所述融合所述深度特征以及所述专家特征，以获得所述待识别图像的融合特征，包括：
分别对所述深度特征和所述专家特征进行全局池化操作和均值池化操作，以分别获取所述深度特征的全局向量和均值向量以及所述专家特征的全局向量和均值向量；以及
拼接所述深度特征的所述全局向量和所述均值向量的至少之一以及所述专家特征的所述全局向量和所述均值向量的至少之一，以获得所述融合特征，
其中，利用所述深度神经网络获取所述待识别图像的深度特征还包括提取阶段，在提取阶段，所述深度神经网络由与所述分类器连接替换为与激活函数层连接，所述激活函数层配置为对所述深度特征进行降维，并且输出所述深度特征，使得所述深度特征与所述专家特征的维数匹配。
8.根据权利要求7所述的图像处理方法，还包括：
基于无监督特征提取器获取所述待识别图像的无监督特征；
融合所述深度特征、所述专家特征以及所述无监督特征，以获得所述待识别图像的融合特征。
9.根据权利要求8所述的图像处理方法，其中，融合所述深度特征、所述专家特征以及所述无监督特征，以获得所述待识别图像的融合特征，包括：
拼接所述深度特征、所述专家特征以及所述无监督特征，以获得所述融合特征。
10.根据权利要求9所述的图像处理方法，其中，融合所述深度特征、所述专家特征以及所述无监督特征，以获得所述待识别图像的融合特征，包括：
分别对所述深度特征、所述专家特征与所述无监督特征进行全局池化操作和均值池化操作，以分别获取所述深度特征的全局向量和均值向量、所述专家特征的全局向量和均值向量以及所述无监督特征的全局向量和均值向量；
拼接所述深度特征的全局向量和均值向量的至少之一、所述专家特征的全局向量和均值向量的至少之一以及所述无监督特征的全局向量和均值向量的至少之一，以获得所述融合特征。
11.一种图像处理装置，包括：
处理器；
存储器；一个或多个计算机程序模块，所述一个或多个计算机程序模块被存储在所述存储器中并被配置为由所述处理器执行，所述一个或多个计算机程序模块包括用于执行实现权利要求7-9任一所述的图像处理方法的指令。
12.一种存储介质，所述存储介质存储有计算机可读指令，当所述计算机可读指令由处理器执行时执行根据权利要求7-9任一所述的图像处理方法。
CN201910935208.5A 2019-09-29 2019-09-29 图像处理方法、图像处理装置以及存储介质 Active CN110664395B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910935208.5A CN110664395B (zh) 2019-09-29 2019-09-29 图像处理方法、图像处理装置以及存储介质
PCT/CN2020/113114 WO2021057423A1 (zh) 2019-09-29 2020-09-03 图像处理方法、图像处理装置以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910935208.5A CN110664395B (zh) 2019-09-29 2019-09-29 图像处理方法、图像处理装置以及存储介质

Publications (2)

Publication Number Publication Date
CN110664395A CN110664395A (zh) 2020-01-10
CN110664395B true CN110664395B (zh) 2022-04-12

Family

ID=69080116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910935208.5A Active CN110664395B (zh) 2019-09-29 2019-09-29 图像处理方法、图像处理装置以及存储介质

Country Status (2)

Country Link
CN (1) CN110664395B (zh)
WO (1) WO2021057423A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110664395B (zh) * 2019-09-29 2022-04-12 京东方科技集团股份有限公司 图像处理方法、图像处理装置以及存储介质
CN113384277B (zh) * 2020-02-26 2022-09-20 京东方科技集团股份有限公司 心电数据的分类方法及分类系统
CN111436926B (zh) * 2020-04-03 2021-04-20 山东省人工智能研究院 基于统计特征和卷积循环神经网络的房颤信号检测方法
CN112971800B (zh) * 2021-01-27 2023-01-03 东南大学 基于深度学习的心电早搏信号处理方法、模块和装置
CN113317797B (zh) * 2021-04-05 2022-11-08 宁波工程学院 一种结合医疗领域知识的可解释心律失常分类方法
CN117745723B (zh) * 2024-02-20 2024-05-10 常熟理工学院 芯片引线键合质量检测方法、系统及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107811626A (zh) * 2017-09-10 2018-03-20 天津大学 一种基于一维卷积神经网络和s变换的心律失常分类方法
CN108256452A (zh) * 2018-01-06 2018-07-06 天津大学 一种基于特征融合的ecg信号分类的方法
CN110226921A (zh) * 2019-06-27 2019-09-13 广州视源电子科技股份有限公司 心电信号检测分类方法、装置、电子设备和存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977350B2 (en) * 2011-03-17 2015-03-10 Medtronic, Inc. Methods for ectopy rejection for atrial fibrillation detection based on ventricular cycle lengths
EP3432784B1 (en) * 2016-03-24 2020-09-23 The Regents of The University of California Deep-learning-based cancer classification using a hierarchical classification framework
CN108714026B (zh) * 2018-03-27 2021-09-03 杭州电子科技大学 基于深度卷积神经网络和在线决策融合的细粒度心电信号分类方法
CN109063712B (zh) * 2018-06-22 2021-10-15 哈尔滨工业大学 一种基于超声图像的多模型肝脏弥漫性疾病智能诊断方法
CN109171707A (zh) * 2018-10-24 2019-01-11 杭州电子科技大学 一种智能心电图分类方法
CN109598709B (zh) * 2018-11-29 2023-05-26 东北大学 基于融合深度特征的乳腺辅助诊断系统及方法
CN110664395B (zh) * 2019-09-29 2022-04-12 京东方科技集团股份有限公司 图像处理方法、图像处理装置以及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107811626A (zh) * 2017-09-10 2018-03-20 天津大学 一种基于一维卷积神经网络和s变换的心律失常分类方法
CN108256452A (zh) * 2018-01-06 2018-07-06 天津大学 一种基于特征融合的ecg信号分类的方法
CN110226921A (zh) * 2019-06-27 2019-09-13 广州视源电子科技股份有限公司 心电信号检测分类方法、装置、电子设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
候弘慧.基于特征融合的不平衡ECG信号分析.《中国优秀硕士学位论文全文数据库医药卫生科技辑》.2019, *
基于深度学习和模糊C均值的心电信号分类方法;吴志勇等;《自动化学报》;20181031;参见第1913-1920页 *
基于特征融合的不平衡ECG信号分析;候弘慧;《中国优秀硕士学位论文全文数据库医药卫生科技辑》;20190415;参见第17-33页 *

Also Published As

Publication number Publication date
WO2021057423A1 (zh) 2021-04-01
CN110664395A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
CN110664395B (zh) 图像处理方法、图像处理装置以及存储介质
Hammad et al. A novel two-dimensional ECG feature extraction and classification algorithm based on convolution neural network for human authentication
Oh et al. Automated diagnosis of arrhythmia using combination of CNN and LSTM techniques with variable length heart beats
Murugesan et al. Ecgnet: Deep network for arrhythmia classification
Li et al. Patient-specific ECG classification by deeper CNN from generic to dedicated
Liu et al. Real-time multilead convolutional neural network for myocardial infarction detection
Niu et al. Robust remote heart rate estimation from face utilizing spatial-temporal attention
Wang et al. Arrhythmia classification algorithm based on multi-head self-attention mechanism
Pereira et al. Deep learning approaches for plethysmography signal quality assessment in the presence of atrial fibrillation
Shi et al. Atrial fibrillation detection from face videos by fusing subtle variations
Casado et al. Face2PPG: An unsupervised pipeline for blood volume pulse extraction from faces
Xia et al. Generative adversarial network with transformer generator for boosting ECG classification
Wang et al. A hybrid method for heartbeat classification via convolutional neural networks, multilayer perceptrons and focal loss
Ullah et al. An End‐to‐End Cardiac Arrhythmia Recognition Method with an Effective DenseNet Model on Imbalanced Datasets Using ECG Signal
CN111657925A (zh) 基于机器学习的心电信号分类方法、系统、终端以及存储介质
Banerjee et al. A hybrid CNN-LSTM architecture for detection of coronary artery disease from ECG
Midani et al. DeepArr: An investigative tool for arrhythmia detection using a contextual deep neural network from electrocardiograms (ECG) signals
CN115530788A (zh) 基于自注意力机制的心律失常分类方法
Breve et al. Visual ECG Analysis in Real-world Scenarios.
Hu et al. Spatiotemporal self-supervised representation learning from multi-lead ECG signals
Kavak et al. Application of CNN for detection and localization of STEMI using 12-lead ECG images
US20230100365A1 (en) Automatic classification of healthy and disease conditions from images or digital standard 12-lead ECGs
John et al. Deep convolutional neural networks for noise detection in ecgs
CN116269426A (zh) 一种十二导联ecg辅助的心脏疾病多模态融合筛查方法
CN115553777A (zh) 一种非接触式精神压力检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant