CN117372437B - 用于面神经麻痹智能化检测与量化方法及其系统 - Google Patents

用于面神经麻痹智能化检测与量化方法及其系统 Download PDF

Info

Publication number
CN117372437B
CN117372437B CN202311675968.XA CN202311675968A CN117372437B CN 117372437 B CN117372437 B CN 117372437B CN 202311675968 A CN202311675968 A CN 202311675968A CN 117372437 B CN117372437 B CN 117372437B
Authority
CN
China
Prior art keywords
facial
abnormal
image
feature
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311675968.XA
Other languages
English (en)
Other versions
CN117372437A (zh
Inventor
石文涛
张武
孙学雅
左冠鹏
张晨璐
牛奥宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Agricultural University AHAU
Original Assignee
Anhui Agricultural University AHAU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Agricultural University AHAU filed Critical Anhui Agricultural University AHAU
Priority to CN202311675968.XA priority Critical patent/CN117372437B/zh
Publication of CN117372437A publication Critical patent/CN117372437A/zh
Application granted granted Critical
Publication of CN117372437B publication Critical patent/CN117372437B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于面神经麻痹智能化检测与量化方法，包括以下步骤：S1：构建面神经麻痹患者面部图像数据集；S2：获取面部关键点数据，裁切面部识别区域为六个部分，确定其中同侧异常三个不同部分，将其标准化后的三个不同部分分别输入三个不同部分训练的分割网络模型中，输出三个部分分割出的异常掩膜，通过异常掩膜获取异常区域；S3：计算出每个部分分割出的异常区域与对应正常区域的差异值；S4：设置分割出的面部异常掩膜透明度，分别贴回到三个异常部分图像，拼接三组异常部分与对应正常部分图像后显示。还公开了一种用于面神经麻痹智能化检测与量化系统。本发明能够有效地提取人脸五官纹理特征，提高了面神经麻痹识别的准确率。

Description

用于面神经麻痹智能化检测与量化方法及其系统
技术领域
本发明涉及医疗、图像处理、深度学习交叉领域，特别是涉及一种用于面神经麻痹智能化检测与量化方法及其系统。
背景技术
目前对面神经麻痹患者的现有检测方法包括两种：
一种现有的面神经麻痹的检测方法是寻找到人脸对称轴后，以人脸左右两侧的直接差异来判断疾病，而实际生活中多数人的脸部其左右并非理想对称的情况，并且患者并非某一侧脸完全神经麻痹，利用脸部对称性进行病变定位和病情识别，很容易因为人脸左右正常的差异而造成误识别的情况。
另一种现有的面神经麻痹的检测方法是使用深度学习的方式，直接输入整张患者面部图像，来进行患者面部病变的识别，但是大部分深度学习网络模型需要大量患者人脸数据来进行训练，但患者的人脸数据涉及患者的敏感信息，因此，患者的人脸数据难以大量采集。
因此亟需提供一种新型的用于面神经麻痹智能化检测与量化方法及其系统来解决上述问题。
发明内容
本发明所要解决的技术问题是提供一种用于面神经麻痹智能化检测与量化方法及其系统，能够有效地提取人脸五官纹理特征，提高了面神经麻痹识别的准确率，为面神经麻痹的临床辅助诊断提供了一套更为准确、便利、高效的自动化识别方法。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种用于面神经麻痹智能化检测与量化方法，包括以下步骤：
S1：构建面神经麻痹患者面部图像数据集；
S2：根据所述面神经麻痹患者人脸图像数据集，获取面部关键点数据，裁切面部识别区域为六个部分，分别为左侧额头眼睛部分、脸颊鼻子部分、嘴巴下巴部分，右侧额头眼睛部分、脸颊鼻子部分，嘴巴下巴部分，确定其中同侧异常三个不同部分，将其标准化后的三个不同部分分别输入三个不同部分训练的分割网络模型中，输出三个部分分割出的异常掩膜，通过异常掩膜获取异常区域；
S3：计算出每个部分分割出的异常区域与对应正常区域的差异值，并计算总差异度；
S4：使用分割出的面部异常掩膜以及预处理后的患者面部异常三部分图像，设置分割出的面部异常掩膜透明度，分别贴回到三个异常部分图像，拼接三组异常部分与对应正常部分图像后显示，并显示各部分异常区域与对应正常区域的差异值与总差异度。
在本发明一个较佳实施例中，步骤S1的具体步骤包括：
获取面神经麻痹患者面部图像数据集；
对获取的面神经麻痹患者面部图像数据集进行预处理。
在本发明一个较佳实施例中，在步骤S2中，获取面部关键点数据的具体步骤包括：
通过输入dlib工具包中人脸检测与人脸关键81点提取算法模型，在图像中寻找人脸区域，并返回每个检测到的人脸的边界框位置，以得到待处理面部图像的面部关键点数据，通过对关键点的定位，确定需要处理的面部区域。
在本发明一个较佳实施例中，在步骤S2中，所述分割网络模型的训练方法包括以下步骤：
获取步骤S1中的面神经麻痹患者人脸图像数据集；
对所述面神经麻痹患者人脸图像数据集进行预处理；
根据预处理的面神经麻痹患者人脸图像数据集确定需要处理的面部区域；
通过获取的面部关键点数据，并将识别区域裁切为六个部分，分别为左侧额头眼睛部分、脸颊鼻子部分以及嘴巴下巴部分，右侧额头眼睛部分、脸颊鼻子部分以及嘴巴下巴部分六个部分，选择异常部分同侧三个部分，标注面部异常处理区域，得到面部裁剪部分与对应掩膜三组数据；
标准化三组数据尺寸为，分别输入分割网络模型中进行训练，得到三个不同部分权重文件。
进一步的，所述分割网络模型为Unet，包括输入卷积层部分、编码器部分、解码器部分和输出卷积层部分；
所述输入卷积层部分通过DoubleConv模块提取初始特征；
所述编码器部分通过多个卷积层和下采样操作逐渐降采样图像，并抽取高级抽象特征；
所述解码器部分通过上采样操作将特征逐层恢复到原始图像尺寸，并与编码器中相应层级的特征图进行跳跃连接，融合不同层级的特征信息；
所述输出卷积层部分输出最终的图像分割结果。
在本发明一个较佳实施例中，在步骤S2中，将三个不同部分分割出的异常掩膜与对应部分图像按位与，得到各部分异常区域。
在本发明一个较佳实施例中，步骤S3的具体步骤包括：
将各部分分割异常区域掩膜对称翻转，获取对应相对正常区域，再将相对正常区域对称翻转用于计算相似度；
使用改进等价LBP算子提取三组对应正常区域与异常区域两个特征图，使用特征图与对应区域图像，通过双输入神经网络中的特征融合网络以及特征提取网络输出特征向量，再通过输出的特征向量之间的欧氏距离计算差异值。
进一步的，所述改进等价LBP算子识别特征在局部二值模式的基础上，利用邻域像素与中心像素的中位数代替中心值，通过邻域像素的关系引入，提升图像的纹理表达效果。
进一步的，所述双输入神经网络中的特征融合网络与特征提取网络分别为：
所述特征融合网络定义了一个残差块类ResidualBlock和一个残差网络类ResidualNet，用于构建图像特征提取的模型；
所述特征提取网络定义了一个自定义网络类CustomNet，用于特征融合和输出。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种用于面神经麻痹智能化检测与量化系统，包括：
图像数据集构建模块，用于构建面神经麻痹患者面部图像数据集；
面部图像裁切模块，用于获取所述面神经麻痹患者人脸图像数据集的面部关键点数据，裁切面部识别区域为六个部分，分别为左侧额头眼睛部分、脸颊鼻子部分、嘴巴下巴部分，右侧额头眼睛部分、脸颊鼻子部分，嘴巴下巴部分，确定其中同侧异常三个不同部分；
分割网络模型建立模块，用于建立分割网络模型，利用所述图像数据集构建模块构建的图像数据集进行训练；
图像分割模块，用于通过训练后的分割网络模型对患者面部图像进行面神经麻痹的分割，输出三个不同部分分割出的异常掩膜，通过异常掩膜获取异常区域；
差异值计算模块，用于计算出每个部分分割出的异常区域与对应正常区域的差异值，并计算总差异度；
可视化模块，用于使用分割出的面部异常掩膜以及预处理后的患者面部异常三部分图像，设置分割出的面部异常掩膜透明度，分别贴回到三个异常部分图像，拼接三组异常部分与对应正常部分图像后显示，并显示各部分异常区域与对应正常区域的差异值与总差异度。
本发明的有益效果是：
（1）本发明首先通过面神经麻痹患者面部数据集，将数据集预处理后，提取面部关键点数据，将面部裁切为三个部分，额头眼睛部分、脸颊鼻子部分以及嘴巴下巴部分，再将三部分异常标注，分别使用分割网络模型（UNet模型）训练出三个模型，然后使用相同方法处理获取的患者面部数据，将不同部分输入对应的模型，得到分割的掩膜，再使用掩膜获取异常区域，进而获取相似度，最后设置掩膜透明度贴回异常部分图像，本方法通过医疗、图像处理与深度学习相结合，可确定出主要病情区域，同时使处理结果可视化，对面神经麻痹检测分割较为准确且明确；
（2）本发明利用面部异常三个部分分别训练出三个不同UNet模型，使用三个模型来分割获取的患者面部图像，相较于现有的对整个面部异常的分割，利用三个模型分割不同部分异常，可以减少非病情区域特征提取与干扰，从而得到更准确的异常区域的特征的分割；与传统直接输入患者人脸数据集训练模型相比，使用多部分分割模型可对各个异常面部部分进行单独处理，其结果不改变低级特征，且提高了图像分割的准确性；
（3）本发明利用UNet模型分割患者面部异常部分，UNet适用于少样本训练，即在具有有限标注样本的情况下进行训练。通过使用数据增强技术和合适的正则化方法，UNet可以在较小的数据集上有效地进行训练，并生成准确的分割结果；
（4）本发明利用一种用于面神经麻痹检测的处理方法，关注于人脸五官的纹理形状、位置、肌理等特征，进一步提高了面神经麻痹识别的准确率，为面神经麻痹的临床辅助诊断提供了一套更为准确、便利、高效的自动化识别方法。
附图说明
图1是本发明用于面神经麻痹智能化检测与量化方法一较佳实施例的流程示意图；
图2是所述人脸关键81点图；
图3是所述分割网络模型UNet模型图；
图4是所述分割网络模型UNet模型训练过程图；
图5是所述改进LBP编码过程图；
图6是所述双输入神经网络模型图；
图7是本发明所述方法掩膜贴回图像过程图；
图8是本发明用于面神经麻痹智能化检测与量化系统的结构框图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
请参阅图1，本发明实施例包括：
一种用于面神经麻痹智能化检测与量化方法，包括以下步骤：
S1：构建面神经麻痹患者面部图像数据集；具体步骤包括：
获取面神经麻痹患者面部图像数据集；其中，面神经麻痹患者面部数据集可通过网络搜集，其拍摄视角为正视于人脸，拍摄视野要覆盖患者人脸全部区域，面部无遮挡。本实施例通过开源库OpenCV实现灰度化，同时使用双边滤波器bilateralFilter过滤面部噪声以达到保持边缘、降噪平滑的效果，得到预处理后的面神经麻痹患者面部数据集。
S2：根据所述面神经麻痹患者人脸图像数据集，获取面部关键点数据，裁切面部识别区域为六个部分，分别为左侧额头眼睛部分、脸颊鼻子部分、嘴巴下巴部分，右侧额头眼睛部分、脸颊鼻子部分，嘴巴下巴部分，确定其中同侧异常三个不同部分，将其标准化后的三个不同部分分别输入三个不同部分训练的分割网络模型中，输出三个部分分割出的异常掩膜，通过异常掩膜获取异常区域；具体步骤包括：
对预处理后的面神经麻痹患者面部数据集每一数据进行具体处理，其中，使用dlib工具包中人脸检测与人脸关键81点提取算法模型，定位出面神经麻痹患者面部数据集每一数据中的人脸，同时提取出其中面部81个特征点。基于得到的特征点提取方法得到处理后的面神经麻痹患者面部数据集，根据面部81个特征点分割面部为六个部分，左侧额头眼睛部分、脸颊鼻子部分，嘴巴下巴部分以及右侧额头眼睛部分、脸颊鼻子部分，嘴巴下巴部分，再标记同侧每个部分异常区域，具体地：
使用dlib工具包人脸检测与人脸关键81点提取算法模型将数据集中人脸识别后，返回每个检测到的人脸的边界框位置，检测出人脸，同时识别出面部关键点，根据整个面部外层关键点纵坐标与纵坐标将人脸裁切出，具体地，按照面部所有关键点中纵坐标从min_y到max_y以及横坐标从min_x到max_x，将定位出的人脸裁切出，裁切后的面部中带有关键点信息，将关键点中与额头眼睛部分、脸颊鼻子部分以及嘴巴下巴部分关键点，使用相同方法根据三个部分关键点横坐标与纵坐标将六个部分裁切出，并标记同侧异常区域构成三个不同数据集，分别为额头眼睛部分数据集、脸颊鼻子部分数据集以及嘴巴下巴部分数据集，例如，如图2所示，dlib工具包中人脸检测与人脸关键81点提取算法模型检测出最高点为额头上72点，最低点为下巴第8点，最左侧为脸颊第0点，最右侧为脸颊第16点，即可分割出人脸面部区域，再通过鼻子顶部点第29点，以及嘴巴上侧第52点，将面部裁切六个部分，标注异常后即得到三个数据集。
需要说明，标注异常部分使用labelme标注工具标注，将额头眼睛部分数据集、脸颊鼻子部分数据集以及嘴巴下巴部分分别做标记，形成forehead_eye_model，nose_cheek_model，mouth_chin_model这三类异常标记，并且分别保存它们的json文件。然后使用json文件转换命令“labelme_json_to_dataset x.json-ox”将json文件转化成包含标注图片的文件夹，并且仍在原路径下，此文件夹包括四项内容：原图片、标注图片、名称文本以及对标签进行的可视化图像，然后分别取人脸额头眼睛异常部分数据集、脸颊鼻子异常部分数据集以及嘴巴下巴异常部分数据集三部分的标注图片掩膜，所述掩膜为三通道，生成训练所需的数据集。
优选的，所述分割网络模型为Unet，包括输入卷积层部分、编码器部分、解码器部分和输出卷积层部分。所述输入卷积层部分通过DoubleConv模块提取初始特征；所述编码器部分通过多个卷积层和下采样操作逐渐降采样图像，并抽取高级抽象特征；所述解码器部分通过上采样操作将特征逐层恢复到原始图像尺寸，并与编码器中相应层级的特征图进行跳跃连接，融合不同层级的特征信息；所述输出卷积层部分输出最终的图像分割结果。
所述的分割网络利用编码器-解码器结构提取输入图像的深层特征差异性信息。这种结构能够有效地捕捉图像的全局和局部特征，如图3所示，具体步骤如下：
所述分割网络模型的前半部分为编码器结构，通过逐步降低输入图像的空间分辨率和增加通道数，实现了对图像的特征提取。输入图像经过两次卷积操作，以增加网络学习能力。采用连续的下采样操作，通过最大池化操作降低特征图的空间尺寸，并增加通道数。通过网络捕捉到更抽象和全局的特征信息。
编码器卷积神经网络的结构设置为：
其中，DoubleConv为双卷积层，为最大池化层；DoubleConv包括卷积层，BN批标准化，ReLU激活函数，每一层卷积层的卷积核大小均为3×3，步长默认为1；最大池化层的池化大小为2×2，步长为2。通过编码器可获取图像的高级特征表示，可获取四个特征图序列。
本实施例中，所述的分割网络的输入通过编码器处理，具体地，通过卷积神经网络提取输入图像的特征图序列。
所述的分割网络的后半部分为解码器结构，是将编码器输出的特征图进行上采样操作，并与相应层级的编码器的特征图进行融合，最终生成高分辨率的分割结果。并通过跳跃连接(skip-connection)实现特征融合。跳跃连接将编码器中不同层级的特征图与解码器相应的层级特征图进行拼接，以提高模型对细节信息的处理能力。解码器结构由四个Up模块组成，每个Up模块包含两个步骤：上采样(Upsample)和卷积(Convolution)，包括每个Up模块将输入特征图进行上采样，并与编码器相应层的特征图进行(Concatenated)连接，然后通过两次卷积操作得到最终的解码特征图。
解码器卷积神经网络的结构设置为：
其中，DoubleConv为双卷积层，Bilinear Interpolate为双线性插值，Conv1x1为卷积层；DoubleConv包括Conv3x3卷积层， BN批标准化，ReLU激活函数，Conv3x3的卷积核大小均为3×3，步长默认为1；最大池化层的池化大小为2×2，步长为2；Conv1x1的卷积核大小均为1×1，步长默认为1；Bilinear Interpolate 为双线性插值，使用Upsample函数进行双线性插值上采样。解码器能够将编码器得到的高级语义特征与底层细节特征相结合，产生更加准确的语义分割预测结果。
本实施例中，所述的分割网络解码器的输入为编码器特征图序列，具体地，解码器通过卷积神经网络通过跳跃连接(skip-connection)将获取所述两张输入图像的特征图序列，将两个特征图序列分别进行融合(Concatenated)，得到两个融合后的特征图，然后利用融合后的两个特征图构造一个用于获取差异信息的度量函数，通过这个度量函数提取所述两个特征图的差异，得到差异特征图。
本发明利用UNet模型分割患者面部异常部分，UNet采用了编码器-解码器结构，并通过跳跃连接将编码器和解码器的不同层级特征进行融合。这样做可以在保留高分辨率信息的同时，充分利用上下文信息，提高分割模型对物体形状和位置的理解能力。UNet适用于少样本训练，即在具有有限标注样本的情况下进行训练。通过使用数据增强技术和合适的正则化方法，UNet可以在较小的数据集上有效地进行训练，并生成准确的分割结果。
利用所述的训练图像集对分割网络进行训练，得到分割模型权重文件。具体地，使用每个数据集对应的图像样本和标签，标准化尺寸为，以及定义的损失函数，对UNet模型进行训练。选择优化算法随机梯度下降SGD和设置学习率为0.001，并设置合适的训练迭代次数。在每次训练迭代中，将图像样本输入左侧为脸颊第1点，最右侧为脸颊第15点到UNet模型中进行前向传播，计算损失函数并反向传播更新模型参数在训练过程中，保存最优模型的权重文件，以便后续的预测和应用。
将所述处理后得到的三个部分的数据集，分别使用分割网络进行训练，得到三个不同部分权重文件forehead_eye_model.pth，nose_cheek_model.pth，mouth_chin_model.pth。UNet分割网络训练过程如图4所示。
利用所述得到的分割模型权重文件对获取的待检测面神经麻痹患者面部图像进行实际的分割，得到所需分割掩膜图像，以便后续相似度分析，具体如下：
（1）获取待检测面神经麻痹患者面部图像；其中，获取患者面部图像可利用相机对患者面部进行图像采集，拍摄视角为正视于人脸，拍摄视野要覆盖患者人脸全部区域；实施例利用开源库OpenCV对患者提供的图像和相机采集的图像进行人脸检测。
（2）使用步骤S1中所述方法预处理面神经麻痹患者面部图像，确定出患者面神经麻痹一侧，将患者面部图像裁切为六个部分，手动选出其中面神经麻痹一侧三部分。
（3）使用上述训练方法获取的分割网络三个不同部分权重文件分割所述患者面部图像三个部分，得到三个不同部分分割掩膜，将掩膜与对应部分图像按位与，得到各部分异常区域。同时将对应部分图像左右对称与掩膜图像按位与，获得此时左右相对图像组。
本实施例中，所述分割网络模型使用预处理数据集相同方法对待检测面神经麻痹患者面部图像进行相同处理，利用所述得到的分割模型分割患者面部异常部分，得到三个不同部分异常掩膜，掩膜与异常部分按位与得到患者面部三个部分异常区域，水平对称掩膜与异常部分对应正常部分按位与得到对应正常区域，再水平对称对应正常区域，得到三组三部分对应图像组，用于后续面部左右区域相对相似度分析计算。
S3：计算出每个部分分割出的异常区域与对应正常区域的差异值；具体步骤包括：
使用所述三部分对应图像组，利用改进等价LBP算法提取三组三部分对应图像组的特征图，再通过双卷积神经网络得到三组特征向量，计算三组对应正常区域与异常区域两个特征向量之间的欧氏距离，再计算出差异值，具体如下:
（1）改进等价LBP提取图像特征；
对于一幅图像中的各个像素点，以其中一个像素点为中心，取其四周紧邻的P个像素点。利用邻域像素与中心像素的中位数值代替中心值，再以该像素点的灰度值为阈值，将环绕该点的P个像素点二值化，即在窗口内，将中心像素值与窗口内其他P个像素点的灰度值进行比较，顺序固定从左上角开始，顺时针进行比较，若某一邻域像素值大于中心像素值，则改邻域的像素值置1，否则置0。最终得到一个P位的二进制数，转化为十进制数所得的值即为该中心像素点的LBP值，共有2P种，一幅图像中2P种LBP值构成的直方图可看作纹理描述算子。计算公式如下所示：
其中表示中心像素点的位置，/>表示采样点的灰度值，/>表示中心点的灰度值。具体的，gc是中心像素值，gp是周围的8个像素值，即为将gc与gp比较，将9个像素值其中的中位数像素值赋值给gc。
例如，对于一个3x3的灰度图，其LBP编码过程如图5所示；由图5可得原始二进制值为11111111，十进制值为255，即LBP=255，改进后则为00011111，十进制值为31，即LBP=31。
LBP算子在实际应用中常有两种模式：旋转不变模式和等价模式。本方法采用的是改进LBP算子的等价模式，等价模式LBP算子可以定义为，当局部二值模式对应的循环二进制数从0到1或从1到0最多有两次跳变时，该局部二值模式对应的二进制数称为一个等价模式，可以用以下判断一个局部二值模式是否是等价模式。
；
其中，R是采样半径。若计算得到的不大于2，则该模式是一个等价局部二值模式。经改进，原始等价局部二值模式类别由/>降低到/>种。利用等价模式改进LBP极大地降低了特征维度，同时使用局部二值模式特征值归一化到0-255的范围内，提升特征提取速度的同时可以更好地提取图像的本质特征。
与传统左右对称直接比较相比，本发明利用改进的等价LBP算子提取特征图，加强了中心像素与周围各像素之间的联系，对多部分对应区域分别提取特征向量，减少了患者面部正常区域信息的干扰，能够有效地提取纹理特征、具备鲁棒性和可解释性；同时使用双输入神经网络，通过残差连接、批归一化和自适应平均池化等技术，提供了一个简单而有效的特征提取框架，提取特征的效率更高。具有较少的参数数量，这使得训练和推理过程更加高效，并且在计算资源有限的情况下也更易于应用和部署。
（2）双输入卷积神经网络提取特征向量；
双输入神经网络结构如图6所示，通过该神经网络提取特征向量。
双输入神经网络结构由两个部分组成：提取特征图的残差网络(ResidualNet)和将特征图融合的自定义卷积神经网络(CustomNet)。通过特征提取网络将改进等价LBP图像与原始图像进行特征提取，再将特征图输入至特征融合网络，输出特征向量，具体结构如下：
所述特征提取网络部分为一个使用残差块的特征提取网络。ResidualBlock是残差块，它包括3个卷积层和ReLU激活函数。ResidualNet是特征提取网络，它由多个残差块组成。在前向传播时，输入图像先经过一个卷积层，然后通过若干个残差块提取特征，最后进行ReLU激活，并返回特征图。
特征提取网络(ResidualNet)的结构设置为：
特征提取部分：
其中，ResidualBlock为残差块，卷积核大小为/>，步长为1，卷积核大小为3x3，步长为1，BN为批标准化，ReLU为激活函数；在每个残差块内部，将输入进行残差连接(即跳跃连接)，即将输入直接添加到输出上，并通过激活函数ReLU进行非线性变换，该残差网络通过堆叠多个残差块实现图像特征的提取和变换；
所述特征融合网络部分为将特征提取网络提取的特征图使进行特征融合(Concatenated)，得到融合后的特征图，通过卷积层和池化层进行特征提取，通过全局平均池化和全连接层将特征映射到1024维的特征向量。
特征融合网络(CustomNet)的结构设置为：
其中，卷积核大小为3x3，步长为1，BN批标准化，ReLU激活函数为最大池化层，AvgPool为全局平均池化层，FC为全连接层；平均池化层对特征图进行空间平均池化，将特征图大小转换为1x1，全连接层将展平后的特征映射到1024维的特征向量。该特征提取网络通过卷积层和池化层进行特征提取，通过全局平均池化和全连接层将特征映射到1024维的特征向量，输出的特征向量用于后续相似度计算。
本实施例中，所述双输入神经网络是一个基于残差网络和自定义卷积神经网络的特征融合模型。该模型由两个部分组成：提取特征图的残差网络(ResidualNet)和将特征图融合的自定义卷积神经网络(CustomNet)。首先，使用ResidualNet提取两张输入图像的特征图features1和features2。然后，将它们在通道维度上拼接起来，得到拼接特征图concatenated_features。接着，使用CustomNet对拼接特征图进行处理，得到最终的特征表示output。
（3）欧氏距离计算特征向量之间的相似度；
欧氏距离是一种常用的计算相似度的方法，广泛用于机器学习和数据挖掘领域。它计算的是两个向量之间的距离。在特征向量的相似度计算中，欧氏距离可以度量它们之间的差异或相似程度，其计算公式如下：
本实施例中，总差异度则为三组异常部分与对应正常部分差异值与其所占权重之积的总和，其计算公式如下：
其中，Different为总差异值，forehead_eye_shape为额头眼睛部分面积，nose_cheek_shape为鼻子脸颊部分面积，mouth_chin_shape为嘴巴下巴部分面积，All_shape为裁切出的人脸面积，Dissimilarityforehead_eye为额头眼睛部分差异值，Dissimilaritynose_cheek为鼻子脸颊部分差异值，Dissimilaritymouth_chin为嘴巴下巴部分差异值。
本实施例中，通过使用所述改进等价LBP算子提取出图像组特征图，将其与对应图像先调整尺寸为，再输入双输入神经网络中得到特征向量，通过欧氏距离计算出对应图像组相似度，同时计算出差异值，使用所述方法，对三组面神经麻痹患者面部三部分对应图像组计算出三部分面部差异度Dissimilarityforehead_eye，Dissimilaritynose_cheek，Dissimilaritymouth_chin。例如，本实施例中，Dissimilarityforehead_eye=13.48%，Dissimilaritynose_cheek=18.21%，Dissimilaritymouth_chin=21.38%，/>，/>，，故总差异度Different =17.27%。
S4：使用分割出的面部异常掩膜以及预处理后的患者面部异常三部分图像，设置分割出的面部异常掩膜透明度，分别贴回到三个部分图像，拼接三组异常部分与对应正常部分图像，再拼接三组拼接后的图像，返回显示图像，并显示各部分（眼睛额头部分，鼻子脸颊部分，嘴巴下巴部分每个部分，均包括异常部分与对应正常部分）对应差异值与总差异度。
本实施例使用所述分割网络模型分割出的面部异常掩膜以及预处理后的患者面部异常三部分图像，对每个分割掩膜与对应部分，使用开源库OpenCV加载分割掩膜图像，所述掩膜图像为三通道，设置Alpha值为0.5，将Alpha通道设置为透明度值。使用开源库Pillow，计算贴图位置的x与y坐标，具体地，
其中，img_a为对应部分图像，img_b为设置透明度后的掩膜图像，使用所述方法计算此处贴图位置使用方法paste方法得到贴图，具体地，
本实施例中使用所述方法获取三个部分贴回掩膜图像image1，image2，image3，使用开源库numpy中hstack与vstack方法水平与垂直方向拼接三个图像得到最后拼接人脸，具体地，
本实施例通过将设置透明度后的掩膜图像贴回三个异常部分图像，拼接三个部分掩膜贴回图像后显示，其过程如图7所示。
参阅图8，本发明示例中还提供一种用于面神经麻痹智能化检测与量化系统，包括：
图像数据集构建模块，用于构建面神经麻痹患者面部图像数据集；
面部图像裁切模块，用于获取所述面神经麻痹患者人脸图像数据集的面部关键点数据，裁切面部识别区域为六个部分，分别为左侧额头眼睛部分、脸颊鼻子部分、嘴巴下巴部分，右侧额头眼睛部分、脸颊鼻子部分，嘴巴下巴部分，确定其中同侧异常三个不同部分；
分割网络模型建立模块，用于建立分割网络模型，利用所述图像数据集构建模块构建的图像数据集进行训练；
图像分割模块，用于通过训练后的分割网络模型对患者面部图像进行面神经麻痹的分割，输出三个不同部分分割出的异常掩膜，通过异常掩膜获取异常区域；
差异值计算模块，用于计算出每个部分分割出的异常区域与对应正常区域的差异值，并计算总差异度；
可视化模块，用于使用分割出的面部异常掩膜以及预处理后的患者面部异常三部分图像，设置分割出的面部异常掩膜透明度，分别贴回到三个异常部分图像，拼接三组异常部分与对应正常部分图像后显示，并显示各部分异常区域与对应正常区域的差异值与总差异度。
本示例的一种用于面神经麻痹智能检测与量化系统，可执行本发明所提供的一种用于面神经麻痹智能检测与量化方法，可执行方法示例的任何组合实施步骤，具备该方法相应的功能和有益效果。
综上所述，面神经麻痹检测处理方法各步骤与模块，能够实现对面神经麻痹患者的诊断分析。对于本系统的使用者来说，根据指示拍摄并上传面神经麻痹患者面部图像，等待系统处理后，即可获得面瘫程度诊断结果，该结果显示出面瘫区域以及面瘫各区域差异值。基于此，待确定患者能够及时发现自己的面瘫现象及程度；已确定患者能够及时跟踪自己的面瘫治疗进程与效果，同时若出现恶化等现象，亦可及时察觉并采取就医措施。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种用于面神经麻痹智能化检测与量化方法，其特征在于，包括以下步骤：
S1：构建面神经麻痹患者面部图像数据集；
S2：根据所述面神经麻痹患者人脸图像数据集，获取面部关键点数据，裁切面部识别区域为六个部分，分别为左侧额头眼睛部分、脸颊鼻子部分、嘴巴下巴部分，右侧额头眼睛部分、脸颊鼻子部分，嘴巴下巴部分，确定其中同侧异常三个不同部分，将其标准化后的三个不同部分分别输入三个不同部分训练的分割网络模型中，输出三个部分分割出的异常掩膜，通过异常掩膜获取异常区域；
S3：计算出每个部分分割出的异常区域与对应正常区域的差异值，并计算总差异度；具体步骤包括：
将各部分分割异常区域掩膜对称翻转，获取对应相对正常区域，再将相对正常区域对称翻转用于计算相似度；
使用改进等价LBP算子提取三组对应正常区域与异常区域两个特征图，使用特征图与对应区域图像，通过双输入神经网络中的特征融合网络以及特征提取网络输出特征向量，再通过输出的特征向量之间的欧氏距离计算差异值；
最后计算总差异度，总差异度为三组所述差异值与其所占权重之积的总和；
S4：使用分割出的面部异常掩膜以及预处理后的患者面部异常三部分图像，设置分割出的面部异常掩膜透明度，分别贴回到三个异常部分图像，拼接三组异常部分与对应正常部分图像后显示，并显示各部分异常区域与对应正常区域的差异值与总差异度。
2.根据权利要求1所述的用于面神经麻痹智能化检测与量化方法，其特征在于，步骤S1的具体步骤包括：
获取面神经麻痹患者面部图像数据集；
对获取的面神经麻痹患者面部图像数据集进行预处理。
3.根据权利要求1所述的用于面神经麻痹智能化检测与量化方法，其特征在于，在步骤S2中，获取面部关键点数据的具体步骤包括：
通过输入dlib工具包中人脸检测与人脸关键81点提取算法模型，在图像中寻找人脸区域，并返回每个检测到的人脸的边界框位置，以得到待处理面部图像的面部关键点数据，通过对关键点的定位，确定需要处理的面部区域。
4.根据权利要求1所述的用于面神经麻痹智能化检测与量化方法，其特征在于，在步骤S2中，所述分割网络模型的训练方法包括以下步骤：
获取步骤S1中的面神经麻痹患者人脸图像数据集；
对所述面神经麻痹患者人脸图像数据集进行预处理；
根据预处理的面神经麻痹患者人脸图像数据集确定需要处理的面部区域；
通过获取的面部关键点数据，并将识别区域裁切为六个部分，分别为左侧额头眼睛部分、脸颊鼻子部分以及嘴巴下巴部分，右侧额头眼睛部分、脸颊鼻子部分以及嘴巴下巴部分六个部分，选择异常部分同侧三个部分，标注面部异常处理区域，得到面部裁剪部分与对应掩膜三组数据；
标准化三组数据尺寸为 ，分别输入分割网络模型中进行训练，得到三个不同部分权重文件。
5.根据权利要求4所述的用于面神经麻痹智能化检测与量化方法，其特征在于，所述分割网络模型为Unet，包括输入卷积层部分、编码器部分、解码器部分和输出卷积层部分；
所述输入卷积层部分通过DoubleConv模块提取初始特征；
所述编码器部分通过多个卷积层和下采样操作逐渐降采样图像，并抽取高级抽象特征；
所述解码器部分通过上采样操作将特征逐层恢复到原始图像尺寸，并与编码器中相应层级的特征图进行跳跃连接，融合不同层级的特征信息；
所述输出卷积层部分输出最终的图像分割结果。
6.根据权利要求1所述的用于面神经麻痹智能化检测与量化方法，其特征在于，在步骤S2中，将三个不同部分分割出的异常掩膜与对应部分图像按位与，得到各部分异常区域。
7.根据权利要求1所述的用于面神经麻痹智能化检测与量化方法，其特征在于，所述改进等价LBP算子识别特征在局部二值模式的基础上，利用邻域像素与中心像素的中位数代替中心值，通过邻域像素的关系引入，提升图像的纹理表达效果。
8.根据权利要求1所述的用于面神经麻痹智能化检测与量化方法，其特征在于，所述双输入神经网络中的特征融合网络与特征提取网络分别为：
所述特征融合网络定义了一个残差块类ResidualBlock和一个残差网络类ResidualNet，用于构建图像特征提取的模型；
所述特征提取网络定义了一个自定义网络类CustomNet，用于特征融合和输出。
9.一种用于面神经麻痹智能化检测与量化系统，其特征在于，包括：
图像数据集构建模块，用于构建面神经麻痹患者面部图像数据集；
面部图像裁切模块，用于获取所述面神经麻痹患者人脸图像数据集的面部关键点数据，裁切面部识别区域为六个部分，分别为左侧额头眼睛部分、脸颊鼻子部分、嘴巴下巴部分，右侧额头眼睛部分、脸颊鼻子部分，嘴巴下巴部分，确定其中同侧异常三个不同部分；
分割网络模型建立模块，用于建立分割网络模型，利用所述图像数据集构建模块构建的图像数据集进行训练；
图像分割模块，用于通过训练后的分割网络模型对患者面部图像进行面神经麻痹的分割，输出三个不同部分分割出的异常掩膜，通过异常掩膜获取异常区域；
差异值计算模块，用于计算出每个部分分割出的异常区域与对应正常区域的差异值，并计算总差异度；具体步骤包括：
将各部分分割异常区域掩膜对称翻转，获取对应相对正常区域，再将相对正常区域对称翻转用于计算相似度；
使用改进等价LBP算子提取三组对应正常区域与异常区域两个特征图，使用特征图与对应区域图像，通过双输入神经网络中的特征融合网络以及特征提取网络输出特征向量，再通过输出的特征向量之间的欧氏距离计算差异值；
最后计算总差异度，总差异度为三组所述差异值与其所占权重之积的总和；
可视化模块，用于使用分割出的面部异常掩膜以及预处理后的患者面部异常三部分图像，设置分割出的面部异常掩膜透明度，分别贴回到三个异常部分图像，拼接三组异常部分与对应正常部分图像后显示，并显示各部分异常区域与对应正常区域的差异值与总差异度。
CN202311675968.XA 2023-12-08 2023-12-08 用于面神经麻痹智能化检测与量化方法及其系统 Active CN117372437B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311675968.XA CN117372437B (zh) 2023-12-08 2023-12-08 用于面神经麻痹智能化检测与量化方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311675968.XA CN117372437B (zh) 2023-12-08 2023-12-08 用于面神经麻痹智能化检测与量化方法及其系统

Publications (2)

Publication Number Publication Date
CN117372437A CN117372437A (zh) 2024-01-09
CN117372437B true CN117372437B (zh) 2024-02-23

Family

ID=89406348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311675968.XA Active CN117372437B (zh) 2023-12-08 2023-12-08 用于面神经麻痹智能化检测与量化方法及其系统

Country Status (1)

Country Link
CN (1) CN117372437B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160016039A (ko) * 2014-08-01 2016-02-15 상지대학교산학협력단 안면 마비 평가 장치 및 그 방법
CN110853725A (zh) * 2019-09-30 2020-02-28 许之敏 基于视觉反馈的面部功能训练方法、设备及存储介质
CN110992322A (zh) * 2019-11-25 2020-04-10 创新奇智(青岛)科技有限公司 基于卷积神经网络的贴片掩膜检测系统及检测方法
CN111126180A (zh) * 2019-12-06 2020-05-08 四川大学 一种基于计算机视觉的面瘫严重程度自动检测系统
CN111403026A (zh) * 2020-03-11 2020-07-10 张锦霞 一种面瘫等级评估方法
CN112541897A (zh) * 2020-12-14 2021-03-23 范会笑 一种基于人工智能的面瘫程度评估系统
CN113362924A (zh) * 2021-06-05 2021-09-07 郑州铁路职业技术学院 一种基于医疗大数据的面瘫康复任务辅助生成方法及系统
CN115829943A (zh) * 2022-11-16 2023-03-21 炜呈智能电力科技（杭州）有限公司 基于超像素分割的图像差异区域检测方法
CN116309648A (zh) * 2023-05-14 2023-06-23 哈尔滨理工大学 一种基于多注意力融合的医学图像分割模型构建方法
WO2023183930A2 (en) * 2022-03-24 2023-09-28 The George Washington University Real time automated nerve identification system
WO2023189309A1 (ja) * 2022-03-28 2023-10-05 テルモ株式会社 コンピュータプログラム、情報処理方法及び情報処理装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102202654B1 (ko) * 2018-07-25 2021-01-13 상명대학교산학협력단 안면 움직임 정보 추출 방법 및 장치
KR20220100851A (ko) * 2019-08-20 2022-07-18 테란 바이오사이언시스 인코포레이티드 파킨슨병을 평가하기 위한 뉴로멜라닌 민감성 mri
US20230222805A1 (en) * 2022-01-11 2023-07-13 Masimo Corporation Machine learning based monitoring system

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160016039A (ko) * 2014-08-01 2016-02-15 상지대학교산학협력단 안면 마비 평가 장치 및 그 방법
CN110853725A (zh) * 2019-09-30 2020-02-28 许之敏 基于视觉反馈的面部功能训练方法、设备及存储介质
CN110992322A (zh) * 2019-11-25 2020-04-10 创新奇智(青岛)科技有限公司 基于卷积神经网络的贴片掩膜检测系统及检测方法
CN111126180A (zh) * 2019-12-06 2020-05-08 四川大学 一种基于计算机视觉的面瘫严重程度自动检测系统
CN111403026A (zh) * 2020-03-11 2020-07-10 张锦霞 一种面瘫等级评估方法
CN112541897A (zh) * 2020-12-14 2021-03-23 范会笑 一种基于人工智能的面瘫程度评估系统
CN113362924A (zh) * 2021-06-05 2021-09-07 郑州铁路职业技术学院 一种基于医疗大数据的面瘫康复任务辅助生成方法及系统
WO2023183930A2 (en) * 2022-03-24 2023-09-28 The George Washington University Real time automated nerve identification system
WO2023189309A1 (ja) * 2022-03-28 2023-10-05 テルモ株式会社 コンピュータプログラム、情報処理方法及び情報処理装置
CN115829943A (zh) * 2022-11-16 2023-03-21 炜呈智能电力科技（杭州）有限公司 基于超像素分割的图像差异区域检测方法
CN116309648A (zh) * 2023-05-14 2023-06-23 哈尔滨理工大学 一种基于多注意力融合的医学图像分割模型构建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Classification of facial paralysis based on machine learning techniques;mira Gaber等;《BioMedical Engineering OnLine》;全文 *
Region Based Parallel Hierarchy Convolutional Neural Network for Automatic Facial Nerve Paralysis Evaluation;Xin Liu等;《IEEE》;2325 - 2332 *
人工智能在听神经瘤诊疗中应用的研究进展;刘东等;《现代肿瘤医学》;146-150 *

Also Published As

Publication number Publication date
CN117372437A (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
CN108537784B (zh) 一种基于深度学习的ct图肺结节检测方法
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN112150428B (zh) 一种基于深度学习的医学图像分割方法
US11735322B2 (en) Systems and methods for ossification center detection and bone age assessment
CN111445478B (zh) 一种用于cta图像的颅内动脉瘤区域自动检测系统和检测方法
KR102332088B1 (ko) 세부 업샘플링 인코더-디코더 네트워크를 이용한 대장 내시경 이미지에서의 폴립 바운더리 인식을 통한 폴립 세그먼테이션 장치 및 그 방법
CN114266794B (zh) 基于全卷积神经网络的病理切片图像癌症区域分割系统
CN113223005B (zh) 一种甲状腺结节自动分割及分级的智能系统
WO2005064540A1 (ja) 顔画像検出方法及び顔画像検出システム並びに顔画像検出プログラム
CN114724155A (zh) 基于深度卷积神经网络的场景文本检测方法、系统及设备
CN109977834B (zh) 从深度图像中分割人手与交互物体的方法和装置
CN104484886A (zh) 一种mr图像的分割方法及装置
CN111444844A (zh) 一种基于变分自编码器的液基细胞人工智能检测方法
CN117078930A (zh) 基于边界感知和注意力机制的医学图像分割方法
CN114170212A (zh) 一种基于ct影像中肺小结节假阳检测方法及系统
CN114399510B (zh) 结合图像和临床元数据的皮肤病灶分割和分类方法及系统
CN115546466A (zh) 一种基于多尺度显著特征融合的弱监督图像目标定位方法
CN115100494A (zh) 一种病灶图像的识别方法、装置、设备及可读存储介质
CN114037699A (zh) 一种病理图像分类方法、设备、系统及存储介质
CN116935044B (zh) 一种多尺度引导和多层次监督的内镜息肉分割方法
CN117372437B (zh) 用于面神经麻痹智能化检测与量化方法及其系统
CN113989269B (zh) 一种基于卷积神经网络多尺度特征融合的中医舌图像齿痕自动检测方法
CN116205925A (zh) 基于改进U-Net网络的牙齿咬合翼片龋齿分割方法
CN112699898B (zh) 一种基于多层特征融合的图像方向识别方法
CN112446292B (zh) 一种2d图像显著目标检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant