CN111863230A - 一种婴儿吸吮远程评估和母乳喂养指导方法 - Google Patents
一种婴儿吸吮远程评估和母乳喂养指导方法 Download PDFInfo
- Publication number
- CN111863230A CN111863230A CN202010572601.5A CN202010572601A CN111863230A CN 111863230 A CN111863230 A CN 111863230A CN 202010572601 A CN202010572601 A CN 202010572601A CN 111863230 A CN111863230 A CN 111863230A
- Authority
- CN
- China
- Prior art keywords
- data
- sucking
- baby
- deep learning
- infant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000011156 evaluation Methods 0.000 title claims abstract description 22
- 210000000481 breast Anatomy 0.000 title abstract description 16
- 230000004927 fusion Effects 0.000 claims abstract description 37
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 19
- 238000013136 deep learning model Methods 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 210000004883 areola Anatomy 0.000 claims description 9
- 210000002445 nipple Anatomy 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 230000003542 behavioural effect Effects 0.000 claims description 4
- 230000006651 lactation Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 241000167880 Hirundinidae Species 0.000 claims description 3
- 230000006399 behavior Effects 0.000 claims description 3
- 238000007418 data mining Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 3
- 238000011160 research Methods 0.000 claims description 3
- 238000012552 review Methods 0.000 claims 1
- 238000010801 machine learning Methods 0.000 abstract description 4
- 238000000513 principal component analysis Methods 0.000 description 12
- 239000013598 vector Substances 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 210000000214 mouth Anatomy 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 7
- 238000012880 independent component analysis Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 238000000354 decomposition reaction Methods 0.000 description 5
- 235000013336 milk Nutrition 0.000 description 5
- 239000008267 milk Substances 0.000 description 5
- 210000004080 milk Anatomy 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000009747 swallowing Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000009432 framing Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 208000024818 Nipple disease Diseases 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 208000004396 mastitis Diseases 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010011224 Cough Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000012899 de-mixing Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000004251 human milk Anatomy 0.000 description 1
- 235000020256 human milk Nutrition 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000000152 swallowing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
- G06F17/141—Discrete Fourier transforms
- G06F17/142—Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
- G06F17/148—Wavelet transforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Pure & Applied Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Computational Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Algebra (AREA)
- Business, Economics & Management (AREA)
- Discrete Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种婴儿吸吮远程评估和母乳喂养指导方法，包括如下步骤：S10数据采集，获得多源数据；S20数据预处理，获得待评估多源信息融合特征；S30形成多模态融合深度学习模型，使用婴儿吸吮‑吞咽标准数据对卷积神经网络模型进行训练获得多模态融合深度学习模型；以及S40利用所述多模态融合深度学习模型对所述待评估多源信息融合特征进行评估，获得婴儿吸吮自动评估结果。本发明的一种婴儿吸吮远程评估和母乳喂养指导方法，通过机器学习对哺乳过程进行远程、自动评估，不需要专业医护人员上门指导，评估结果实时反馈产妇，所述评估方法对家庭设备和婴儿合作的要求较少，可行性和准确性更高。
Description
技术领域
本发明涉及医疗器械技术领域，具体涉及一种婴儿吸吮远程评估和母乳喂养指导方法。
背景技术
母乳是婴儿营养最佳来源，对于产妇及婴儿产生的益处无可替代。婴儿正确的吸吮姿势是有效获取乳汁保障。不当的吸吮可导致乳汁获取不足、无效喂养以及产妇乳头皲裂、乳头疼痛，继发乳腺炎。研究发现，吸吮姿势不当是导致母乳喂养失败的主要原因。世界卫生组织建议，临床医护人员应当对所有产妇实施母乳喂养指导，保证婴儿有效吸吮。分娩住院期间，有母乳喂养专科护士进行吸吮指导，然而出院以后，由于专业人力资源缺乏，上门指导困难，加之我国每年新出生人口剧增，导致居家产妇无法得到及时、有效的喂养评估及指导，以至于我国6个月纯母乳喂养率仅为28％，远远低于世界卫生组织至少达到50％的要求。由于母乳喂养需要专业人员指导，通过婴儿含接乳头、口腔开合角度、乳晕被含接范围、产妇抱婴儿姿势、婴儿吸吮及吞咽动作协调程度等综合判断。目前临床均通过专业人士一对一进行评估、指导，费时费力，不能及时解决居家产妇喂养问题。
发明内容
为了解决上述问题，本发明提供一种婴儿吸吮远程评估和母乳喂养指导方法，通过机器学习对哺乳过程进行远程、自动评估，不需要专业医护人员上门指导，评估结果实时反馈产妇，所述评估方法对家庭设备和婴儿合作的要求较少，可行性和准确性更高。
为了实现以上目的，本发明采取的一种技术方案是：
本发明提供了一种婴儿吸吮远程评估和母乳喂养指导方法，包括如下步骤：S10数据采集，通过高清摄像头以及录音设备获取哺乳过程中的图片、视频以及音频数据，获得多源数据；S20数据预处理，剔除所述多源数据噪声的干扰和影响，获得待评估多源信息融合特征；S30形成多模态融合深度学习模型，使用婴儿吸吮-吞咽标准数据对卷积神经网络模型进行训练获得多模态融合深度学习模型；以及S40利用所述多模态融合深度学习模型对所述待评估多源信息融合特征进行评估，获得婴儿吸吮自动评估结果。
进一步地，所述步骤S30包括如下步骤：S31根据临床研究实验数据以及临床评定量表提取标准行为体征，建立所述婴儿吸吮-吞咽标准数据；S32利用深度学习数据挖掘技术，对所述婴儿吸吮-吞咽标准数据进行特征选择和特征提取，获得多维度特征数据；以及S33使用所述多维度特征数据对卷积神经网络进行训练，建立多源数据与临床评定量表间的量化映射模型，形成多模态融合深度学习模型。
进一步地，所述标准行为体征包括：婴儿嘴角角度达到150度、婴儿口部含接超过1/2的乳晕、婴儿含接上嘴唇露出的乳晕大于下嘴唇露出的乳晕、婴儿头颈背呈180度直线、喉部规律吞咽运动、吸吮前后妈妈乳头没有变形以及皲裂。
进一步地，所述评估结果通过无线网络传输给受测者查看，所述评估结果包括吸吮形态正常、吸吮形态失调以及吸吮障碍。
本发明的上述技术方案相比现有技术具有以下优点：
本发明的一种婴儿吸吮远程评估和母乳喂养指导方法，通过机器学习对哺乳过程进行远程、自动评估，不需要专业医护人员上门指导，保证了产妇的隐私，解决了专利医护人员缺乏、一对一进行评估、指导费时费力的技术问题，同时避免了不当吸吮导致的乳汁获取不足、无效喂养、产妇乳头皲裂、乳头疼痛以及继发乳腺炎等技术问题，评估结果实时反馈产妇，所述评估方法对家庭设备和婴儿合作的要求较少，可行性和准确性更高。
附图说明
下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其有益效果显而易见。
图1所示为本发明一实施例的婴儿吸吮远程评估和母乳喂养指导方法流程图；
图2所示为时序分割网络的网络结构图；
图3所示为多模态数据处理流程简图；
图4所示为本发明一实施例的多模态融合深度学习模型建模示意图；
图5所示为本发明一实施例的多模态融合模型图；
图6所示为本发明一实施例的智能评估模型流程简图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例提供了一种婴儿吸吮远程评估和母乳喂养指导方法，如图1所示，包括如下步骤：S10数据采集，通过高清摄像头以及录音设备获取哺乳过程中的图片、视频以及音频数据，获得多源数据。S20数据预处理，剔除所述多源数据噪声的干扰和影响，获得待评估多源信息融合特征。S30形成多模态融合深度学习模型，使用婴儿吸吮-吞咽标准数据对卷积神经网络模型进行训练获得多模态融合深度学习模型。以及S40利用所述多模态融合深度学习模型对所述待评估多源信息融合特征进行评估，获得婴儿吸吮自动评估结果。
如图2所示，应用时序分割网络为核心的医学人工智能算法框架，能够将标记好的多源数据进行随机分割，让机器开展学习，再将一些未经学习的视频片段交给机器来进行判断，由此给出自动化评估结果。
所述步骤S10通过家庭高清摄像头及录音设备捕捉产妇哺乳姿势图片以及视频，婴儿吸吮、吞咽的图片/视频及音频数据。
所述步骤S20，如图3所示，对音频相关多源数据进行预处理，剔除系统噪声的干扰和影响，接着需要对原始信号进行特征提取，获得待评估多源信息融合特征。该步骤针对传输的生物数据去除叠加干扰，增强输入数据的属性。主要的噪声来自心跳引起的血液流动对数据的干扰。通常在处理中要先识别出运动噪声,计算其均值,然后从数据中将均值减去。主成分分析(PCA)也是一种特征降维的方法。主成分分析，是分析维度属性的主要成分表示。学习理论中，特征选择是要剔除与标签无关的特征，比如“汽车的颜色”与“汽车的速度”无关；PCA中要处理与标签有关、但是存在噪声或者冗余的特征，比如在一个汽车样本中，“千米/小时”与“英里/小时”中有一个冗余了。我们可以对新求出的“主元”向量的重要性进行排序，根据需要取前面最重要的部分，将后面的维数省去，可以达到降维从而简化模型或是对数据进行压缩的效果。同时最大程度的保持了原有数据的信息。PCA将n个特征降维到k个，可以用来进行数据压缩，如果100维的向量最后可以用10维来表示，那么压缩率为90％。同样图像处理领域的KL变换使用PCA做图像压缩。但PCA要保证降维后，还要保证数据的特性损失最小。PCA方法依赖于奇异值分解,将参考原始数据X分解为主成份矩阵U、对应分量幅度值对角阵S和分量空间分布矩阵V的乘积。独立成分分析(ICA)是一种主元分解的方法，其基本思想是从一组混合的观测信号中分离出独立信号。比如在一个大房间里，很多人同时在说话，样本是这个房间里各个位置的一段录音，ICA可以从这些混合的录音中分离出每个人独立的说话的声音。ICA认为观测信号是若干个统计独立的分量的线性组合，ICA要做的是一个解混过程。ICA方法则将原始数据表示为空间分布矩阵W-1和独立成分μ的积。分解后,利用系统记录的信息人工选择运动产生的噪声分量,剔除这些分量后,构造基于PCA滤波器。
所述步骤S30包括如下步骤：S31根据临床研究实验数据以及临床评定量表提取标准行为体征，建立所述婴儿吸吮-吞咽标准数据。所述标准行为体征包括：婴儿嘴角角度达到150度、婴儿口部含接超过1/2的乳晕、婴儿含接上嘴唇露出的乳晕大于下嘴唇露出的乳晕、婴儿头颈背呈180度直线、喉部规律吞咽运动、吸吮前后妈妈乳头没有变形以及皲裂。
S32利用深度学习数据挖掘技术，对所述婴儿吸吮-吞咽标准数据进行特征选择和特征提取，获得多维度特征数据。如图4所示，基于神经网络的传感器生理信号识别方法可以提取特征的深层表示用于分类。把所有特征结合构成特征向量，建立基于多模态特征融合的神经网络模型，模型使用简单的多层感知机(MLP)提取向量的特征，使用融合自注意力机制的深度可分离卷积网络提取CWT尺度图特征，并融合两部分特征，进行识别决策。连续小波变换(CWT)作为一种时频分析方法，能够有效提取非平稳信号的时频特征，是分析处理非平稳信号的重要方法之一。CWT的时频分析结果以时频图的形式呈现，时频图本质上是反映信号在不同时间和频率的能量强度的二维图，能从多个角度显示信号的细节变化，进而有效描述信号细微特征。基于卷积神经网络的多模态生物识别方法首先对图像进行预处理操作。然后，使用由卷积-池化-卷积-池化-全连接层组成5层卷积神经网络分别对图像进行特征提取和特征融合。在执行单模态的数据识别任务时，通过将卷积神经网络对每一种模态数据集进行识别，则每种数据都可以得到最优的卷积神经网络模型。并且在训练过程中，由于每一种生物数据对应的卷积神经网络都是单独训练，所以参数可以进行独立调节，可以使每一种模态都达到最高的识别准确率。在执行多模态识别任务时，卷积神经网络包括两个卷积层、两个池化层以及一个全连接层。分别经过卷积-池化-卷积-池化后进行融合，然后将融合特征送入全连接层中；在第一重特征融合处采用将每个特征图的对应元素相加，在第二重特征融合处采用将每个特征图直接连接的融合方法进行数据融合。
S33使用所述多维度特征数据对卷积神经网络进行训练，建立多源数据与临床评定量表间的量化映射模型，形成多模态融合深度学习模型。对音频数据具体训练步骤：步骤S331.原始音频信号预处理。首先对原始音频采取适当分段，再对每段音频作频谱分析，包括分帧、加窗、傅里叶变换等过程，最终得到频谱图。首先需要将音频信号进行预加重，增加信号在高频带的能量，然后分帧，得到若干帧的短时平稳信号，加窗能够缓解在分帧过程造成频域泄露的问题。通过快速傅里叶变换将每一帧信号从时域转换到频域上。步骤S332.音频信号去噪。通过PCA空间滤波法对所述频谱图去噪。PCA方法依赖于奇异值分解，将参考原始数据X分解为主成份矩阵U、对应分量幅度值对角阵S和分量空间分布矩阵V的乘积。分解后，利用系统记录的信息人工选择运动产生的噪声分量，剔除这些分量后，构造基于PCA滤波器。步骤S333.音频信号特征参数提取。选用语音特征为传统的梅尔频率倒谱系数(MFCC)，在特征参数提取阶段选用帧长为256个采样点，帧移为128个采样点以及汉明窗进行分帧加窗，每一帧提取36维MFCC特征参数，其中包括MFCC系数，△MFCC和△△MFCC。采用动态时间规整的方法将所有的声音样本规整成相同的帧数，以保证每个声音样本的特征参数可以排列成相同尺寸的特征图输入到卷积神经网络中。步骤S334.卷积神经网络的音频信号算法。选用卷积神经网络作为声音识别模型，将提取的声音特征排列组合成一系列的特征图作为卷积神经网络的输入。声音信号特征图是按照在时间和频域两个维度上排列的二维特征图，将一段声音信号分帧加窗，每一帧提取36个频带的特征参数，时间规整为20帧，二维特征图中每一帧的特征向量构成一列，依次按照时间先后顺序排列，最后组成36*20的二维特征图。卷积神经网络模型的结构为卷积层、采样层和全连接层，其中卷积层的卷积核数目为10，以及采样层的采样方法选用最大值采样。网络采用标准的反向传播算法进行学习，输出层采用Softmax分类器。步骤S335重复步骤S333～S334，直至训练误差趋于稳定，达到模型收敛。二维特征对图片和视频的具体的训练步骤如下：S331’对图像进行预处理，将其生成为尺寸相同的灰度图像。S332’采用5层卷积神经网络分别对经过预处理的图像进行特征提取。S333’对提取到的各模态特征进行双重特征融合。S334’机器学习特征性项量包括：a.婴儿嘴角角度是否达到150度；b.婴儿口部含接超过1/2的乳晕；c.婴儿含接上嘴唇露出的乳晕多于下嘴唇露出的乳晕；d.婴儿头颈背呈180度直线；e.宝宝上嘴唇和下嘴唇外翻程度；f.喉部规律吞咽运动；g.呼吸与吞咽的协调程度；h.吸吮前后妈妈乳头是否变形或皲裂等6个标志性的行为体征。S335’获得融合特征后，将其展开为向量形式并输入到全连接层对其进行特征学习，使用Softmax函数进行分类识别。S336’计算Softmax层输出的预测值与真实值之间的误差。S337’根据S336’中的误差采用反向传播算法优化网络参数；S338’重复S332’～S337’，直至训练误差趋于稳定，即模型收敛。测试过程主要包括图像预处理、利用训练过程生成的网络模型对测试数据进行生物识别，得出识别结果，验证本方法的有效性。
如图5所示，使用对抗生成网络对信号进行数据扩增，从而扩大和丰富样本量。最后应用自注意力机制深度可分离卷积网络模型(GC-MobileNet)，将该网络提取得到的特征图使用SoftMax激活函数映射到概率空间，网络的损失函数为多类交叉熵。最后形成多模态融合深度学习模型。
所述步骤S40将所述待评估婴儿吸吮-吞咽数据表内的数据输入多模态融合深度学习模型对所述待评估婴儿吸吮-吞咽数据表内的数据进行分类，获得评估结果，所述评估结果通过无线网络传输给受测者查看，所述评估结果包括吸吮形态正常、吸吮形态失调(导致婴儿乳汁获取不足，妈妈乳头破损)以及吸吮障碍(无法获取乳汁、或吞咽呼吸不协调导致呛咳)，所述评估结果通过远程实时反馈给妈妈，进行母乳喂养方法评估及指导，保证有效喂养。
以上所述仅为本发明的示例性实施例，并非因此限制本发明专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (4)
1.一种婴儿吸吮远程评估和母乳喂养指导方法，其特征在于，包括如下步骤：
S10数据采集，通过高清摄像头以及录音设备获取哺乳过程中的图片、视频以及音频数据，获得多源数据；
S20数据预处理，剔除所述多源数据噪声的干扰和影响，获得待评估多源信息融合特征；
S30形成多模态融合深度学习模型，使用婴儿吸吮-吞咽标准数据对卷积神经网络模型进行训练获得多模态融合深度学习模型；以及
S40利用所述多模态融合深度学习模型对所述待评估多源信息融合特征进行评估，获得婴儿吸吮自动评估结果。
2.根据权利要求1所述的婴儿吸吮远程评估和母乳喂养指导方法，其特征在于，所述步骤S30包括如下步骤：
S31根据临床研究实验数据以及临床评定量表提取标准行为体征，建立所述婴儿吸吮-吞咽标准数据；
S32利用深度学习数据挖掘技术，对所述婴儿吸吮-吞咽标准数据进行特征选择和特征提取，获得多维度特征数据；以及
S33使用所述多维度特征数据对卷积神经网络进行训练，建立多源数据与临床评定量表间的量化映射模型，形成多模态融合深度学习模型。
3.根据权利要求2所述的婴儿吸吮远程评估和母乳喂养指导方法，其特征在于，所述标准行为体征包括：婴儿嘴角角度达到150度、婴儿口部含接超过1/2的乳晕、婴儿含接上嘴唇露出的乳晕大于下嘴唇露出的乳晕、婴儿头颈背呈180度直线、喉部规律吞咽运动、吸吮前后妈妈乳头没有变形以及皲裂。
4.根据权利要求1所述的婴儿吸吮远程评估和母乳喂养指导方法，其特征在于，所述评估结果通过无线网络传输给受测者查看，所述评估结果包括吸吮形态正常、吸吮形态失调以及吸吮障碍。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010572601.5A CN111863230B (zh) | 2020-06-22 | 2020-06-22 | 一种婴儿吸吮远程评估和母乳喂养指导方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010572601.5A CN111863230B (zh) | 2020-06-22 | 2020-06-22 | 一种婴儿吸吮远程评估和母乳喂养指导方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111863230A true CN111863230A (zh) | 2020-10-30 |
| CN111863230B CN111863230B (zh) | 2024-01-02 |
Family
ID=72987829
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010572601.5A Active CN111863230B (zh) | 2020-06-22 | 2020-06-22 | 一种婴儿吸吮远程评估和母乳喂养指导方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111863230B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112735585A (zh) * | 2021-04-02 | 2021-04-30 | 四川京炜数字科技有限公司 | 基于神经网络和机器学习的关节炎康复诊疗方法及系统 |
| WO2022205305A1 (en) * | 2021-04-01 | 2022-10-06 | Nutricia Early Life Nutrition (Shanghai) Co.,Ltd. | A breast feeding coaching method, device and application thereof |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101564302A (zh) * | 2009-05-25 | 2009-10-28 | 重庆科技学院 | 基于多源信息融合的婴儿睡眠躁动监测方法及检测系统 |
| KR20140065533A (ko) * | 2012-11-15 | 2014-05-30 | 경북대학교 산학협력단 | 모유 수유 안내 서비스 제공 방법 |
| CN106780475A (zh) * | 2016-12-27 | 2017-05-31 | 北京市计算中心 | 一种基于病理组织切片图像组织区域的图像处理方法及装置 |
| TWI590803B (zh) * | 2016-12-21 | 2017-07-11 | Chimei Medical Center | 經口餵食即時監測方法及裝置 |
| CN107280697A (zh) * | 2017-05-15 | 2017-10-24 | 北京市计算中心 | 基于深度学习和数据融合的肺结节分级判定方法和系统 |
| CN107582097A (zh) * | 2017-07-18 | 2018-01-16 | 中山大学附属第医院 | 一种基于多模态超声组学的智能辅助决策系统 |
| CN109544517A (zh) * | 2018-11-06 | 2019-03-29 | 中山大学附属第医院 | 基于深度学习的多模态超声组学分析方法及系统 |
| CN109922728A (zh) * | 2016-09-13 | 2019-06-21 | 五月牧场有限公司 | 乳房感测喂养监护器 |
| CN110992352A (zh) * | 2019-12-13 | 2020-04-10 | 北京小白世纪网络科技有限公司 | 基于卷积神经网络的婴儿头围ct图像自动测量方法 |
-
2020
- 2020-06-22 CN CN202010572601.5A patent/CN111863230B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101564302A (zh) * | 2009-05-25 | 2009-10-28 | 重庆科技学院 | 基于多源信息融合的婴儿睡眠躁动监测方法及检测系统 |
| KR20140065533A (ko) * | 2012-11-15 | 2014-05-30 | 경북대학교 산학협력단 | 모유 수유 안내 서비스 제공 방법 |
| CN109922728A (zh) * | 2016-09-13 | 2019-06-21 | 五月牧场有限公司 | 乳房感测喂养监护器 |
| TWI590803B (zh) * | 2016-12-21 | 2017-07-11 | Chimei Medical Center | 經口餵食即時監測方法及裝置 |
| CN106780475A (zh) * | 2016-12-27 | 2017-05-31 | 北京市计算中心 | 一种基于病理组织切片图像组织区域的图像处理方法及装置 |
| CN107280697A (zh) * | 2017-05-15 | 2017-10-24 | 北京市计算中心 | 基于深度学习和数据融合的肺结节分级判定方法和系统 |
| CN107582097A (zh) * | 2017-07-18 | 2018-01-16 | 中山大学附属第医院 | 一种基于多模态超声组学的智能辅助决策系统 |
| CN109544517A (zh) * | 2018-11-06 | 2019-03-29 | 中山大学附属第医院 | 基于深度学习的多模态超声组学分析方法及系统 |
| CN110992352A (zh) * | 2019-12-13 | 2020-04-10 | 北京小白世纪网络科技有限公司 | 基于卷积神经网络的婴儿头围ct图像自动测量方法 |
Non-Patent Citations (1)
| Title |
|---|
| 杨春燕，等: "早期口腔运动干预措施对早产儿预后的效果分析", 《中国儿童保健杂志》, vol. 27, no. 2, pages 133 - 137 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022205305A1 (en) * | 2021-04-01 | 2022-10-06 | Nutricia Early Life Nutrition (Shanghai) Co.,Ltd. | A breast feeding coaching method, device and application thereof |
| CN112735585A (zh) * | 2021-04-02 | 2021-04-30 | 四川京炜数字科技有限公司 | 基于神经网络和机器学习的关节炎康复诊疗方法及系统 |
| CN112735585B (zh) * | 2021-04-02 | 2021-08-03 | 刘思佳 | 基于神经网络和机器学习的关节炎康复诊疗方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111863230B (zh) | 2024-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109394209B (zh) | 一种面向孕妇音乐治疗的个性化情感调节系统及方法 | |
| CN111839489B (zh) | 非接触式生理心理健康检测系统 | |
| US10878818B2 (en) | Methods and apparatus for silent speech interface | |
| Cabon et al. | Video and audio processing in paediatrics: A review | |
| US10827973B1 (en) | Machine-based infants pain assessment tool | |
| US11631280B2 (en) | System and method for multimodal spatiotemporal pain assessment | |
| CN111920420B (zh) | 一种基于统计学习的患者行为多模态分析与预测系统 | |
| CN111863230B (zh) | 一种婴儿吸吮远程评估和母乳喂养指导方法 | |
| US11992331B2 (en) | Neonatal pain identification from neonatal facial expressions | |
| CN107887032A (zh) | 一种数据处理方法及装置 | |
| Zhao et al. | An IoT-based wearable system using accelerometers and machine learning for fetal movement monitoring | |
| CN110584775A (zh) | 气道模型生成系统及插管辅助系统 | |
| CN108229584A (zh) | 一种基于深度学习的多模态医学影像识别方法及装置 | |
| Awais et al. | Novel framework: face feature selection algorithm for neonatal facial and related attributes recognition | |
| Asatani et al. | Classification of respiratory sounds using improved convolutional recurrent neural network | |
| CN114999646A (zh) | 新生儿运动发育评估系统、方法、装置及存储介质 | |
| Salekin et al. | First investigation into the use of deep learning for continuous assessment of neonatal postoperative pain | |
| JP2022521172A (ja) | 嚥下障害をスクリーニングする方法及びデバイス | |
| Zhang et al. | Recent progress of optical imaging approaches for noncontact physiological signal measurement: A review | |
| US20210255706A1 (en) | Brain-machine interface based intention determination device and method using virtual environment | |
| CN110364260A (zh) | 基于指示性语言范式的孤独症早期评估装置及系统 | |
| Rezaee et al. | Can you understand why i am crying? a decision-making system for classifying infants’ cry languages based on deepsvm model | |
| CN111914925B (zh) | 一种基于深度学习的患者行为多模态感知与分析系统 | |
| CN116758619B (zh) | 基于面部视频的情感分类方法、系统、存储介质及设备 | |
| Kuo et al. | A self-attention-based ensemble convolution neural network approach for sleep stage classification with merged spectrogram |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhang Feng Inventor after: Yang Ziyi Inventor after: Yang Jie Inventor after: Chen Jing Inventor after: Yang Jiangrong Inventor after: Xia Haiou Inventor after: Ye Shiqing Inventor after: Wei Liang Inventor after: Sheng Jia Inventor after: Wu Fan Inventor after: Bai Ting Inventor after: Yang Chengfengyi Inventor before: Yang Jiangrong Inventor before: Yang Ziyi Inventor before: Yang Jie Inventor before: Chen Jing Inventor before: Zhang Feng Inventor before: Xia Haiou Inventor before: Ye Shiqing Inventor before: Wei Liang Inventor before: Sheng Jia Inventor before: Wu Fan Inventor before: Bai Ting Inventor before: Yang Chengfengyi |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |