CN113069080A - 一种基于人工智能的困难气道评估方法及装置 - Google Patents

一种基于人工智能的困难气道评估方法及装置 Download PDF

Info

Publication number
CN113069080A
CN113069080A CN202110300891.2A CN202110300891A CN113069080A CN 113069080 A CN113069080 A CN 113069080A CN 202110300891 A CN202110300891 A CN 202110300891A CN 113069080 A CN113069080 A CN 113069080A
Authority
CN
China
Prior art keywords
difficult airway
face
difficult
feature extraction
facial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110300891.2A
Other languages
English (en)
Other versions
CN113069080B (zh
Inventor
夏明�
姜虹
林志良
郑尧坤
王杰
周韧
徐天意
曹爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Ninth Peoples Hospital Shanghai Jiaotong University School of Medicine
Original Assignee
Shanghai Jiaotong University
Ninth Peoples Hospital Shanghai Jiaotong University School of Medicine
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University, Ninth Peoples Hospital Shanghai Jiaotong University School of Medicine filed Critical Shanghai Jiaotong University
Priority to CN202110300891.2A priority Critical patent/CN113069080B/zh
Publication of CN113069080A publication Critical patent/CN113069080A/zh
Application granted granted Critical
Publication of CN113069080B publication Critical patent/CN113069080B/zh
Priority to EP22154762.3A priority patent/EP4064229A1/en
Priority to JP2022021011A priority patent/JP7303531B2/ja
Priority to US17/697,962 priority patent/US20220301717A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种基于人工智能的困难气道评估方法和装置，方法包括以下步骤：获取各种姿势的面部图像；构建基于面部识别的特征提取网络，通过训练好的所述特征提取网络提取所述面部图像的特征信息；构建基于机器学习算法的困难气道分类器，通过训练好的困难气道分类器对提取的所述面部图像的特征信息进行困难气道严重程度评分，得到困难气道的评估结果。本发明能够精准的对临床麻醉中困难气道做出预警。

Description

一种基于人工智能的困难气道评估方法及装置
技术领域
本发明涉及计算机辅助技术领域，特别是涉及一种基于人工智能的困难气道评估方法及装置。
背景技术
气管插管是麻醉医生对全身麻醉状态下的患者进行气道管理的重要手段，在保持气道通畅、通气供氧、呼吸支持、维持氧合等方面起到了重要的作用。然而，尽管气管插管技术和设备有了很大的进步和改进，但是困难气道导致的围手术期并发症和伤残的发生率并没有得到很好的改善，特别是对于未预知的困难气道。目前，评估困难气道的方法一般包括Mallampatti分级、LEMON评分、Wilson评分、颈部放疗史及辅助CT、MRI、US等，过程复杂且阳性评估值不高，均存在一定局限性。
发明内容
本发明所要解决的技术问题是提供一种基于人工智能的困难气道评估方法及装置，能够精准的对临床麻醉中困难气道做出预警。
本发明解决其技术问题所采用的技术方案是：提供一种基于人工智能的困难气道评估方法，包括以下步骤：
(1)获取各种姿势的面部图像；
(2)构建基于面部识别的特征提取网络，通过训练好的所述特征提取网络提取所述面部图像的特征信息；
(3)构建基于机器学习算法的困难气道分类器，通过训练好的困难气道分类器对提取的所述面部图像的特征信息进行困难气道严重程度评分，得到困难气道的评估结果。
所述步骤(1)中各种姿势的面部图像为能够反映困难气道的姿态图像，包括正面中立位面部图像、抿嘴微笑面部图像、仰头面部图像、低头面部图像、左侧面面部图像、右侧面面部图像、张口不伸舌面部图像、张口伸舌面部图像和下牙齿咬上嘴唇面部图像。
所述步骤(2)中采用深度学习特征提取网络，所述深度学习特征提取网络由m层神经网络构成，每层网络为卷积层、池化层、转置卷积层、全连接层中的若干种，且第i层和第j层有连接，其中，1<i,j<m，网络对输出的图像进行编码，输出对应于每个患者的特征。
面部识别任务的损失函数采用人脸识别损失函数，所述人脸识别损失函数采用ArcFace损失函数，所述ArcFace损失函数为：
Figure BDA0002986203720000021
其中，s为人工设置的参数，Wj为所述深度学习特征提取网络中第j层神经网络的权重，xi为所述深度学习特征提取网络中第i层神经网络的输入特征，m为所述深度学习特征提取网络中神经网络的层数。
所述步骤(3)中的困难气道分类器在进行训练时，以科马克-汉勒评分为Ⅰ-Ⅱ级患者的面部特征与困难气道相关性为0分，以科马克-汉勒评分为Ⅲ-Ⅳ级患者的面部特征与困难气道相关性为1分，作为分类器的输出结果，所述面部图像的特征信息以及患者的身高、年龄、体重信息作为输入。
困难气道分类器为基于决策树的模型，决策树根据增益最大的原则进行分裂，直到达到终止条件为止。困难气道分类器可以采用多颗决策树进行集成，对多颗决策树的结果进行投票表决，得到最终的评估结果。
本发明解决其技术问题所采用的技术方案是：提供一种基于人工智能的困难气道评估装置，包括：图像信息获取模块：用于获取各种姿势的面部图像；数据记录模块，用于存储所述面部图像以及困难气道信息；特征提取模块，用于构建基于面部识别的特征提取网络，通过训练好的所述特征提取网络提取所述面部图像的特征信息；评估模块，用于构建基于机器学习算法的困难气道分类器，通过训练好的困难气道分类器对提取的所述面部图像的特征信息进行困难气道严重程度评分，得到困难气道的评估结果。
所述获取模块获取的各种姿势的面部图像包括：正面中立位面部图像、抿嘴微笑面部图像、仰头面部图像、低头面部图像、左侧面面部图像、右侧面面部图像、张口不伸舌面部图像、张口伸舌面部图像和下牙齿咬上嘴唇面部图像。
所述特征提取模块采用深度学习特征提取网络，所述深度学习特征提取网络由m层神经网络构成，每层网络为卷积层、池化层、转置卷积层、全连接层中的若干种，且第i层和第j层有连接，其中，1<i,j<m；面部识别任务的损失函数采用人脸识别损失函数。
所述人脸识别损失函数采用ArcFace损失函数，所述ArcFace损失函数为：
Figure BDA0002986203720000031
其中，s为人工设置的参数，Wj为所述深度学习特征提取网络中第j层神经网络的权重，xi为所述深度学习特征提取网络中第i层神经网络的输入特征，m为所述深度学习特征提取网络中神经网络的层数。
所述评估模块对所述困难气道分类器训练时，以科马克-汉勒评分为Ⅰ-Ⅱ级患者的面部特征与困难气道相关性为0分，以科马克-汉勒评分为Ⅲ-Ⅳ级患者的面部特征与困难气道相关性为1分，作为分类器的输出结果，所述面部图像的特征信息以及患者的身高、年龄、体重信息作为输入。
有益效果
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明利用基于面部识别的特征提取网络提取患者的特征信息，避免人工选取特征，标记图像，具有自动化的优点；利用机器学习方法构建的分类器进行困难气道严重程度评分，避免过拟合的现象，从而能够精准的对临床麻醉中困难气道做出预警。
附图说明
图1是本发明实施方式的流程图；
图2是本发明实施方式中9种不同姿势的面部图像示意图；
图3是本发明实施方式中特征提取网络和困难气道分类器的示意图；
图4是本发明实施方式中人脸识别任务准确率示意图；
图5是本发明实施方式中困难气道分数模型预测的ROC曲线图；
图6是本发明实施方式的结构示意图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种基于人工智能的困难气道评估方法，如图1所示，包括以下步骤：获取各种姿势的面部图像；构建基于面部识别的特征提取网络，通过训练好的所述特征提取网络提取所述面部图像的特征信息；构建基于机器学习算法的困难气道分类器，通过训练好的困难气道分类器对提取的所述面部图像的特征信息进行困难气道严重程度评分，得到困难气道的评估结果。
其中，获取各种姿势的面部图像具体为：搭建了一个摄影棚来收集招募患者的多模态数据，这些数据包括患者正面和侧面不同姿态的面部图像。患者进入摄影棚内，首先由医生核对身份，登记患者姓名、性别、年龄、住院号、就诊科室、床号、门诊号、身高、体重、种族及手术类型等一系列信息。然后患者被要求做不同的面部动作和头部动作。如图2所示，这些动作包括正面中立位、正面抿嘴微笑、仰头、低头、头颈侧面旋转、张口伸舌、张口不伸舌、下牙齿咬上嘴唇。患者所做的9种不同动作都是重复做3次，采集的患者最佳的极限动作。
图片数据整理：
数据命名及归类，同一个受试者九个不同姿态的图片存放在同一文件夹中并以筛选号命名文件夹，患者的其它信息如年龄、性别、身高、体重、各项困难气道评分等级以及根据cormack-lehane score给出的得分结果(假设I、II级为0分，III、IV级为1分)等信息存放在数据库中，序号与图片文件夹的名称对应。
滤除照片背景信息，由通过图像自动截取程序实现，由医生将照片的背景信息滤除，只保留用于AI深度学习的患者不同姿势的照片。该过程可以减少深度学习时除面部信息以外的信号干扰。
数据清洗，进行图片命名，大小写、空格统一处理，剔除信息不全的样本(图片缺失、评分评级等信息缺失)，合并多批数据库的与图片，将图片整理成人脸识别任务的数据集。
训练集和测试集数据拆分与验证公正性：我们的训练集和测试集样本量按照8：2拆分，为了解决训练集和测试集数据拆分平衡及测试集验证的公正性问题，我们特征提取和分类器的训练都是在患者训练集中进行的。然后使用与训练集完全不同的患者即测试集来测试分类器，将原始数据划分为训练集和测试集是随机的。
本实施方式由特征提取网络和困难气道分类器结合构成(见图3)。该模型输入的信息为病人不同姿态的图片、身高、体重、性别、年龄，气道相关病史等信息；输出任务为困难气道严重程度分数。困难气道分数是以C-L分级为标准，将C-LⅠ-Ⅱ级定义为非困难气道即0分，将C-LⅢ-Ⅳ级定义为困难气道即1分，模型利用面部特征及信息的回归分析算法形成一个能够进行困难气道严重程度打分的模型，然后将特征提取网络运用到测试集中进行验证，对困难气道进行打分，分数越接近1分，表示困难程度越高。
特征提取网络由m层神经网络构成，每层网络为卷积层、池化层、转置卷积层、全连接层中的若干种，且第i层和第j层可以有连接(1<i,j<m)。网络对输出的图像进行编码，输出对应于每个患者的特征，每个患者每个姿态的图片输出4096维特征，共9个姿势的图片输出36864维特征。
按照人脸识别损失函数来训练所述的特征提取网络，损失函数为：
Figure BDA0002986203720000051
Figure BDA0002986203720000052
其中，s为人工设置的参数，Wj为所述深度学习特征提取网络中第j层神经网络的权重，xi为所述深度学习特征提取网络中第i层神经网络的输入特征，m为所述深度学习特征提取网络中神经网络的层数。
数据增广：为了提高基于深度学习的人脸识别准确性，对原始图像进行了随机裁剪(保持长宽比)、水平和垂直翻转的处理，以增广图像数据，提高人脸识别算法的性能，最终所有图片进行变换以后都变成112×112的图片用来训练基于人脸识别任务的特征提取网络。
特征提取网络采用随机梯度下降法进行训练，采用了权重衰减以及动量的方式，训练包含在训练集上迭代100轮(epoch)。
困难气道分类器采用随机森林算法，输入为特征提取网络输出的每个患者的特征，有36864维，加上性别、年龄、身高、体重，共36868维。真实标签维以C-L为Ⅰ-Ⅱ级患者的面部特征与困难气道相关性为0分，以C-L为Ⅲ-Ⅳ级患者的面部特征与困难气道相关性为1分。
对于患者的输入特征，对特征进行了归一化处理，即对每一维特征减去均值，除以方差。
在训练困难气道分类器时，对输入的患者样本进行均衡采用处理，使得输入模型的困难气道和简单气道患者样本数量相当。
训练随机森林模型可以采用600颗决策树，评估的方式选为交叉熵，在训练中对不同的决策树，从样本中有放回随机抽样进行训练。
利用面部特征及信息的算法形成一个能够进行困难气道严重程度评分的模型，根据该评分模型通过设置分界点的方式可以对困难气道进行分类。随机森林算法具有不容易过拟合、能够评估各个特征的重要性、很好的抗噪声能力等优点。其基本原理就是随机森林通过多颗决策树对患者面部特征和困难气道相关病史等信息进行重要度排序，随机森林集成了学习判断困难气道的思想，由多颗决策树投票表决该患者困难气道的概率，所有决策树表决的平均概率作为最终的评分结果。
在2020年8月至2021年1月的5个月时间里，我们记录了4474例患者。其中3931例患者可以得到进行困难气道评分训练的基本事实。表1显示了本研究中使用的患者人群的基线特征。
表1分数模型的患者人群的基线特征
Figure BDA0002986203720000061
最终3931例患者纳入AI分析，经过反复训练测试，当我们的人脸识别模型训练参数为学习率：0.003；权重衰减：0.0005；动量：0.9时能够达到最佳面部识别。人脸识别任务准确率可以达到92％以上(如图4)。
将训练集和测试集样本量按照8：2随机拆分，经过随机抽样，进行困难气道评分训练的训练集总共3144人，其中非困难气道组(C-L为Ⅰ-Ⅱ级)2911人，困难气道组(C-L为Ⅲ-Ⅳ级)233人；测试集共787人，其中非困难气道组(C-L为Ⅰ-Ⅱ级)729人，困难气道组(C-L为Ⅲ-Ⅳ级)58人(见表2)。
表2模型训练集和测试集中不同标签的样本数量
Figure BDA0002986203720000062
图5为困难气道分数模型在数据集中进行困难气道识别的ROC曲线，AUC值为0.78，以约登指数为困难气道评估的最佳分界值时，困难气道的最佳分界值为0.22分。
本实施方式中，根据约登指数确定分数模型评估困难气道的分界值，分界阈值为0.22分(见图5)，以模型评分≥0.22分为预测结果为困难气道，以模型评分＜0.22分为预测结果为非困难气道。则模型在包括787例患者的测试集中预测的真阳性病人有48人，假阴性病人10人，真阴性病人506人，假阳性病人233人，分数模型预测困难气道的灵敏度为82.8％,特异度为69.4％，阳性预测值为18％，阴性预测值为98％，表现出较好的识别性能(见表3)。
表3金标准*模型预测结果交叉列表
Figure BDA0002986203720000071
本发明的实施方式还涉及一种基于人工智能的困难气道评估装置，如图6所示，包括：获取模块：用于获取各种姿势的面部图像；数据记录模块，用于存储所述面部图像以及困难气道信息；特征提取模块，用于构建基于面部识别的特征提取网络，通过训练好的所述特征提取网络提取所述面部图像的特征信息；评估模块，用于构建基于随机森林算法的困难气道分类器，通过训练好的困难气道分类器对提取的所述面部图像的特征信息进行困难气道严重程度评分，得到困难气道的评估结果。
所述获取模块获取的各种姿势的面部图像包括：正面中立位面部图像、抿嘴微笑面部图像、仰头面部图像、低头面部图像、左侧面面部图像、右侧面面部图像、张口不伸舌面部图像、张口伸舌面部图像和下牙齿咬上嘴唇面部图像。利用光学成像设备采集患者头颈部特定姿态的图像，患者位于图像正中央，无干扰背景。
所述数据记录模块利用数据库储存了患者的面部图像、困难气道信息、以及身高、体重、性别等信息。
所述特征提取模块从数据记录模块中导入患者的面部图像以及患者的身份编号，在计算机上运行相应的程序，利用人脸识别损失函数构建的基于面部识别的特征提取网络。利用特征提取网络，可以输出对应于患者面部图像的特征。
所述评估模块运行相应的计算机程序，输入为特征提取模块通过患者不同姿态的图像提取的特征，以及患者的年龄、性别、身高及体重信息，真实标签为数据记录模块中患者的困难气道信息，并以C-L为Ⅰ-Ⅱ级患者的面部特征与困难气道相关性为0分，以C-L为Ⅲ-Ⅳ级患者的面部特征与困难气道相关性为1分，将所有特征输入模型，训练基于机器学习方法的分类器，利用评估模块可以输出患者的困难气道程度。
不难发现，本发明利用基于面部识别的特征提取网络提取患者的特征信息，避免人工选取特征，标记图像，具有自动化的优点；利用机器学习方法构建的分类器进行困难气道严重程度评分，避免过拟合的现象，从而能够精准的对临床麻醉中困难气道做出预警。

Claims (10)

1.一种基于人工智能的困难气道评估方法，其特征在于，包括以下步骤：
(1)获取各种姿势的面部图像；
(2)构建基于面部识别的特征提取网络，通过训练好的所述特征提取网络提取所述面部图像的特征信息；
(3)构建基于机器学习算法的困难气道分类器，通过训练好的困难气道分类器对提取的所述面部图像的特征信息进行困难气道严重程度评分，得到困难气道的评估结果。
2.根据权利要求1所述的基于人工智能的困难气道评估方法，其特征在于，所述步骤(1)中各种姿势的面部图像为能够反映困难气道的姿态图像，包括正面中立位面部图像、抿嘴微笑面部图像、仰头面部图像、低头面部图像、左侧面面部图像、右侧面面部图像、张口不伸舌面部图像、张口伸舌面部图像和下牙齿咬上嘴唇面部图像。
3.根据权利要求1所述的基于人工智能的困难气道评估方法，其特征在于，所述步骤(2)中采用深度学习特征提取网络，所述深度学习特征提取网络由m层神经网络构成，每层网络为卷积层、池化层、转置卷积层、全连接层中的若干种，且第i层和第j层有连接，其中，1<i,j<m；面部识别任务的损失函数采用人脸识别损失函数。
4.根据权利要求3所述的基于人工智能的困难气道评估方法，其特征在于，所述人脸识别损失函数采用ArcFace损失函数，所述ArcFace损失函数为：
Figure FDA0002986203710000011
其中，s为人工设置的参数，Wj为所述深度学习特征提取网络中第j层神经网络的权重，xi为所述深度学习特征提取网络中第i层神经网络的输入特征，m为所述深度学习特征提取网络中神经网络的层数。
5.根据权利要求1所述的基于人工智能的困难气道评估方法，其特征在于，所述步骤(3)中的困难气道分类器在进行训练时，以科马克-汉勒评分为Ⅰ-Ⅱ级患者的面部特征与困难气道相关性为0分，以科马克-汉勒评分为Ⅲ-Ⅳ级患者的面部特征与困难气道相关性为1分，作为分类器的输出结果，所述面部图像的特征信息以及患者的身高、年龄、体重信息作为输入。
6.一种基于人工智能的困难气道评估装置，其特征在于，包括：获取模块：用于获取各种姿势的面部图像；数据记录模块，用于存储所述面部图像以及困难气道信息；特征提取模块，用于构建基于面部识别的特征提取网络，通过训练好的所述特征提取网络提取所述面部图像的特征信息；评估模块，用于构建基于机器学习算法的困难气道分类器，通过训练好的困难气道分类器对提取的所述面部图像的特征信息进行困难气道严重程度评分，得到困难气道的评估结果。
7.根据权利要求6所述的基于人工智能的困难气道评估装置，其特征在于，所述获取模块获取的各种姿势的面部图像包括：正面中立位面部图像、抿嘴微笑面部图像、仰头面部图像、低头面部图像、左侧面面部图像、右侧面面部图像、张口不伸舌面部图像、张口伸舌面部图像和下牙齿咬上嘴唇面部图像。
8.根据权利要求6所述的基于人工智能的困难气道评估装置，其特征在于，所述特征提取模块采用深度学习特征提取网络，所述深度学习特征提取网络由m层神经网络构成，每层网络为卷积层、池化层、转置卷积层、全连接层中的若干种，且第i层和第j层有连接，其中，1<i,j<m；面部识别任务的损失函数采用人脸识别损失函数。
9.根据权利要求8所述的基于人工智能的困难气道评估装置，其特征在于，所述人脸识别损失函数采用ArcFace损失函数，所述ArcFace损失函数为：
Figure FDA0002986203710000021
其中，s为人工设置的参数，Wj为所述深度学习特征提取网络中第j层神经网络的权重，xi为所述深度学习特征提取网络中第i层神经网络的输入特征，m为所述深度学习特征提取网络中神经网络的层数。
10.根据权利要求6所述的基于人工智能的困难气道评估装置，其特征在于，所述评估模块对所述困难气道分类器训练时，以科马克-汉勒评分为Ⅰ-Ⅱ级患者的面部特征与困难气道相关性为0分，以科马克-汉勒评分为Ⅲ-Ⅳ级患者的面部特征与困难气道相关性为1分，作为分类器的输出结果，所述面部图像的特征信息以及患者的身高、年龄、体重信息作为输入。
CN202110300891.2A 2021-03-22 2021-03-22 一种基于人工智能的困难气道评估方法及装置 Active CN113069080B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110300891.2A CN113069080B (zh) 2021-03-22 2021-03-22 一种基于人工智能的困难气道评估方法及装置
EP22154762.3A EP4064229A1 (en) 2021-03-22 2022-02-02 Artificial intelligence-based difficult airway evaluation method and device
JP2022021011A JP7303531B2 (ja) 2021-03-22 2022-02-15 人工知能に基づく困難な気道の評価方法及び装置
US17/697,962 US20220301717A1 (en) 2021-03-22 2022-03-18 Artificial intelligence-based difficult airway evaluation method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110300891.2A CN113069080B (zh) 2021-03-22 2021-03-22 一种基于人工智能的困难气道评估方法及装置

Publications (2)

Publication Number Publication Date
CN113069080A true CN113069080A (zh) 2021-07-06
CN113069080B CN113069080B (zh) 2021-12-21

Family

ID=76613161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110300891.2A Active CN113069080B (zh) 2021-03-22 2021-03-22 一种基于人工智能的困难气道评估方法及装置

Country Status (4)

Country Link
US (1) US20220301717A1 (zh)
EP (1) EP4064229A1 (zh)
JP (1) JP7303531B2 (zh)
CN (1) CN113069080B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113571088A (zh) * 2021-07-27 2021-10-29 上海交通大学医学院附属第九人民医院 一种基于深度学习声纹识别的困难气道评估方法及装置
CN115381429A (zh) * 2022-07-26 2022-11-25 复旦大学附属眼耳鼻喉科医院 基于人工智能的气道评估终端
CN116999092A (zh) * 2023-08-18 2023-11-07 上海交通大学医学院附属第九人民医院 基于超声图像识别技术的困难气道评估方法及装置
CN117238509A (zh) * 2023-11-15 2023-12-15 首都医科大学宣武医院 一种基于普通摄像数据的困难气道评估系统及评估方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11443553B1 (en) * 2022-02-22 2022-09-13 Clearview Ai, Inc. Scalable training data preparation pipeline and efficient distributed trainer for deep neural networks in facial recognition
KR20240048376A (ko) * 2022-10-06 2024-04-15 (의) 삼성의료재단 소아 기관삽관 깊이추정 방법 및 장치
CN115602320B (zh) * 2022-12-14 2023-04-07 北京大学第三医院（北京大学第三临床医学院） 一种困难气道评估方法和系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100312144A1 (en) * 2009-06-08 2010-12-09 Connor Christopher W Systems and Methods for Predicting Potentially Difficult Intubation of a Subject
CN105608447A (zh) * 2016-02-17 2016-05-25 陕西师范大学 对人体面部微笑表情深度卷积神经网络的检测方法
CN108427921A (zh) * 2018-02-28 2018-08-21 辽宁科技大学 一种基于卷积神经网络的人脸识别方法
US20190290872A1 (en) * 2018-03-01 2019-09-26 University Of Utah Research Foundation Tracheal intubation procedure monitoring
CN110569780A (zh) * 2019-09-03 2019-12-13 北京清帆科技有限公司 一种基于深度迁移学习的高精度人脸识别方法
CN110705430A (zh) * 2019-09-26 2020-01-17 江苏科技大学 基于深度学习的多人面部表情识别方法和识别系统
CN110917459A (zh) * 2019-12-11 2020-03-27 姜虹 一种困难气道患者气管插管装置
CN111209839A (zh) * 2019-12-31 2020-05-29 上海涛润医疗科技有限公司 人脸识别方法
CN111613337A (zh) * 2020-05-15 2020-09-01 首都医科大学 一种重症监护病房用的智能化谵妄评估系统及评估方法
CN111639535A (zh) * 2020-04-29 2020-09-08 深圳英飞拓智能技术有限公司 基于深度学习的人脸识别方法及装置
CN111985310A (zh) * 2020-07-08 2020-11-24 华南理工大学 一种用于人脸识别的深度卷积神经网络的训练方法
US20210034841A1 (en) * 2019-07-31 2021-02-04 Wake Forest University Health Sciences System and method for automated prediction of difficult airway management using images
CN112370018A (zh) * 2020-11-10 2021-02-19 皖南医学院第一附属医院（皖南医学院弋矶山医院） 一种预测困难气道的计算机应用软件及气道管理数据系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160278670A1 (en) * 2013-10-11 2016-09-29 Centre Hospitalier Universitaire Vaudois (Chuv) Difficult intubation or ventilation or extubation prediction system

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100312144A1 (en) * 2009-06-08 2010-12-09 Connor Christopher W Systems and Methods for Predicting Potentially Difficult Intubation of a Subject
CN105608447A (zh) * 2016-02-17 2016-05-25 陕西师范大学 对人体面部微笑表情深度卷积神经网络的检测方法
CN108427921A (zh) * 2018-02-28 2018-08-21 辽宁科技大学 一种基于卷积神经网络的人脸识别方法
US20190290872A1 (en) * 2018-03-01 2019-09-26 University Of Utah Research Foundation Tracheal intubation procedure monitoring
US20210034841A1 (en) * 2019-07-31 2021-02-04 Wake Forest University Health Sciences System and method for automated prediction of difficult airway management using images
CN110569780A (zh) * 2019-09-03 2019-12-13 北京清帆科技有限公司 一种基于深度迁移学习的高精度人脸识别方法
CN110705430A (zh) * 2019-09-26 2020-01-17 江苏科技大学 基于深度学习的多人面部表情识别方法和识别系统
CN110917459A (zh) * 2019-12-11 2020-03-27 姜虹 一种困难气道患者气管插管装置
CN111209839A (zh) * 2019-12-31 2020-05-29 上海涛润医疗科技有限公司 人脸识别方法
CN111639535A (zh) * 2020-04-29 2020-09-08 深圳英飞拓智能技术有限公司 基于深度学习的人脸识别方法及装置
CN111613337A (zh) * 2020-05-15 2020-09-01 首都医科大学 一种重症监护病房用的智能化谵妄评估系统及评估方法
CN111985310A (zh) * 2020-07-08 2020-11-24 华南理工大学 一种用于人脸识别的深度卷积神经网络的训练方法
CN112370018A (zh) * 2020-11-10 2021-02-19 皖南医学院第一附属医院（皖南医学院弋矶山医院） 一种预测困难气道的计算机应用软件及气道管理数据系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GABRIEL LOUIS CUENDET，ET.AL.: "Facial Image Analysis for Fully Automatic Prediction of Difficult Endotracheal Intubation", 《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》 *
KEVIN AGUILAR: "Detection of difficult airway using deep learning", 《MACHINE VISION AND APPLICATIONS》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113571088A (zh) * 2021-07-27 2021-10-29 上海交通大学医学院附属第九人民医院 一种基于深度学习声纹识别的困难气道评估方法及装置
CN113571088B (zh) * 2021-07-27 2023-10-03 上海交通大学医学院附属第九人民医院 一种基于深度学习声纹识别的困难气道评估方法及装置
CN115381429A (zh) * 2022-07-26 2022-11-25 复旦大学附属眼耳鼻喉科医院 基于人工智能的气道评估终端
WO2024021534A1 (zh) * 2022-07-26 2024-02-01 复旦大学附属眼耳鼻喉科医院 基于人工智能的气道评估终端
CN116999092A (zh) * 2023-08-18 2023-11-07 上海交通大学医学院附属第九人民医院 基于超声图像识别技术的困难气道评估方法及装置
CN117238509A (zh) * 2023-11-15 2023-12-15 首都医科大学宣武医院 一种基于普通摄像数据的困难气道评估系统及评估方法
CN117238509B (zh) * 2023-11-15 2024-02-27 首都医科大学宣武医院 一种基于普通摄像数据的困难气道评估系统及评估方法

Also Published As

Publication number Publication date
US20220301717A1 (en) 2022-09-22
JP2022146884A (ja) 2022-10-05
JP7303531B2 (ja) 2023-07-05
CN113069080B (zh) 2021-12-21
EP4064229A1 (en) 2022-09-28

Similar Documents

Publication Publication Date Title
CN113069080B (zh) 一种基于人工智能的困难气道评估方法及装置
CN106878677B (zh) 基于多传感器的学生课堂掌握程度评估系统和方法
KR101969540B1 (ko) 인지 기능 재활 훈련 방법 및 장치
CN107066514A (zh) 老年人的情绪识别方法和系统
CN110287895B (zh) 一种基于卷积神经网络进行情绪测量的方法
KR102240485B1 (ko) 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템 및 그 분석 방법
CN109431523A (zh) 基于非社会性声音刺激行为范式的孤独症初级筛查装置
CN109431522A (zh) 基于叫名反应范式的孤独症早期筛查装置
CN111611854B (zh) 一种基于模式识别的课堂情况评价方法
CN112101096A (zh) 一种基于语音和微表情的多模态融合的自杀情绪感知方法
CN115349828A (zh) 一种基于计算机深度学习的新生儿疼痛评估系统
CN111128368B (zh) 基于视频表情行为分析的孤独症谱系障碍自动检测方法及装置
CN116230234A (zh) 多模态特征一致性心理健康异常识别方法及系统
CN111523445A (zh) 一种基于改进的Openpose模型和面部微表情的考试行为检测方法
CN109003259A (zh) 基于纹线质量专家视觉认知机器学习的指纹质量评价方法
CN113360643A (zh) 一种基于短文本分类的电子病历数据质量评价方法
CN110298301B (zh) 一种组织人员心态预测方法
CN114550918A (zh) 一种基于绘画特征数据的心理障碍测评方法及系统
CN115633961A (zh) 基于动态加权决策融合恐高情绪识别模型构建方法与系统
CN112560811B (zh) 端到端的音视频抑郁症自动检测研究方法
CN115312192A (zh) 一种基于卷积神经网络表情识别的校园心理健康评估-反馈方法
CN109214286B (zh) 基于深度神经网络多层特征融合的人脸识别方法
CN109034079B (zh) 一种用于人脸非标准姿态下的面部表情识别方法
CN117671774B (zh) 一种人脸情绪智能识别分析设备
CN113283470A (zh) 一种基于人的心理认知模型的青菜病害分类检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant