CN110427923B - 婴幼儿吐奶行为识别方法、装置、计算机设备及存储介质 - Google Patents

婴幼儿吐奶行为识别方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110427923B
CN110427923B CN201910837435.4A CN201910837435A CN110427923B CN 110427923 B CN110427923 B CN 110427923B CN 201910837435 A CN201910837435 A CN 201910837435A CN 110427923 B CN110427923 B CN 110427923B
Authority
CN
China
Prior art keywords
infant
classification
milk
network
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910837435.4A
Other languages
English (en)
Other versions
CN110427923A (zh
Inventor
汪玉冰
郑邦胜
王秋阳
周起如
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sunwin Intelligent Co Ltd
Original Assignee
Shenzhen Sunwin Intelligent Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sunwin Intelligent Co Ltd filed Critical Shenzhen Sunwin Intelligent Co Ltd
Priority to CN201910837435.4A priority Critical patent/CN110427923B/zh
Publication of CN110427923A publication Critical patent/CN110427923A/zh
Application granted granted Critical
Publication of CN110427923B publication Critical patent/CN110427923B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及婴幼儿吐奶行为识别方法、装置、计算机设备及存储介质，该方法包括获取婴幼儿实时图像，以得到待识别图像；采用深度学习识别模型对待识别图像进行识别，以得到识别结果；将识别结果输出至终端，以提示终端；其中，深度学习识别模型是通过若干婴幼儿吐奶行为图像以及婴幼儿非吐奶行为图像作为样本集训练深度学习卷积神经网络所得的。本发明获取婴幼儿面部区域的候选框后，由分类网络将候选框划分为若干个局部区域，并映射至得分特征图，以得到相关特征图，根据相关特征图计算各个类别的概率以进行类别的识别，采用深度学习识别模型识别图像以获取类别，实现提高整个婴幼儿吐奶行为识别过程的准确率，降低识别复杂度。

Description

婴幼儿吐奶行为识别方法、装置、计算机设备及存储介质
技术领域
本发明涉及计算机技术领域，更具体地说是指婴幼儿吐奶行为识别方法、装置、计算机设备及存储介质。
背景技术
吐奶或溢奶是新生儿和婴幼儿很常见的现象，大多数情况下吐奶是生理性的，但是如果奶水由食管突然反逆到咽喉部时，婴幼儿刚好正在吸气，误入气管，发生呛奶。量少时，可直接吸入肺部造成吸入性肺炎。量大时，将造成气管堵塞，呼吸不畅，甚至会危及婴幼儿生命安全。虽然市场上已出现针对婴幼儿吐奶行为硬件识别设备，但多为侵扰式安装，影响婴幼儿睡眠质量，通过图像处理技术来识别吐奶行为的设备也易受光照、识别模型匮乏等因素影响。
婴幼儿在睡眠期间，发生吐奶不易被察觉，缺少既能直接识别婴幼儿在睡眠期间的吐奶行为，又不影响婴幼儿睡眠的非接触式识别手段，目前关于婴幼儿吐奶行为识别的设备和方法主要分为两大类：一种是接触式的硬件传感器识别方法，往往会影响到婴幼儿睡眠质量，并且在婴幼儿吐奶量过少的情况下不易识别到；另一种是基于图像处理的非接触式识别方法。但是仅仅对图像灰度阈值信息的简单处理，很难保证识别结果的准确有效性，且一般会局限于婴幼儿的嘴部部位来识别吐奶行为，识别的准确率较低。
因此，有必要设计一种新的方法，实现提高整个婴幼儿吐奶行为识别过程的准确率，降低识别复杂度。
发明内容
本发明的目的在于克服现有技术的缺陷，提供婴幼儿吐奶行为识别方法、装置、计算机设备及存储介质。
为实现上述目的，本发明采用以下技术方案：婴幼儿吐奶行为识别方法，包括：
获取婴幼儿实时图像，以得到待识别图像；
采用深度学习识别模型对待识别图像进行识别，以得到识别结果；
将识别结果输出至终端，以提示终端；
其中，所述深度学习识别模型是通过若干婴幼儿吐奶行为图像以及婴幼儿非吐奶行为图像作为样本集训练深度学习卷积神经网络所得的。
其进一步技术方案为：所述深度学习识别模型是通过若干婴幼儿吐奶行为图像以及婴幼儿非吐奶行为图像作为样本集训练深度学习卷积神经网络所得的，包括：
获取带有类别标签的若干婴幼儿吐奶行为图像以及婴幼儿非吐奶行为图像，以得到样本集；
对样本集分为训练集以及测试集；
构建基础网络、面部区域提取网络以及分类网络；
利用训练集对基础网络、面部区域提取网络以及分类网络进行训练，以得到待核对识别模型；
采用测试集对待核对识别模型进行测试，以得到测试结果；
判断所述测试结果是否符合预设条件；
若是，则将待核对识别模型作为深度学习识别模型；
若否，则返回所述利用训练集对基础网络、面部区域提取网络以及分类网络进行训练，以得到待核对识别模型。
其进一步技术方案为：所述利用训练集对基础网络、面部区域提取网络以及分类网络进行训练，以得到待核对识别模型，包括：
将训练集输入基础网络内进行卷积，以得到第一卷积结果；
将第一卷积结果输入面部区域提取网络内进行面部区域提取，以得到候选框；
将候选框输入分类网络内进行分类，以得到分类结果；
根据分类结果以及对应类别标签计算损失值；
判断所述损失值是否不大于预设阈值；
若是，则整合基础网络、面部区域提取网络以及分类网络，以得到待核对识别模型；
若否，则调整基础网络、面部区域提取网络以及分类网络对应的参数，并返回所述将训练集输入基础网络内进行卷积，以得到第一卷积结果。
其进一步技术方案为：所述将候选框输入分类网络内进行分类，以得到分类结果，包括：
对第一卷积结果进行卷积，以得到得分特征图；
对候选框进行局部区域划分，以得到若干个局部区域；
将若干个局部区域映射至对应的得分特征图内，并设定相关系数，以得到中间相关性特征图；
对中间相关性特征图进行均值处理，以得到目标分类值；
采用归一化指数函数对目标分类值计算指数，以得到类别数值；
根据类别数值获取分类结果。
其进一步技术方案为：所述对中间相关性特征图进行均值处理，以得到目标分类值，包括：
对各个中间相关性特征图进行取均值，以得到均值相关性特征图；
对均值相关性特征图进行取均值，以得到目标分类值。
其进一步技术方案为：所述类别数值包括吐奶概率以及非吐奶概率。
其进一步技术方案为：所述根据类别数值获取分类结果，包括：
判断所述吐奶概率是否大于非吐奶概率；
若是，则所述分类结果为吐奶；
若否，则所述分类结果为非吐奶。
本发明还提供了婴幼儿吐奶行为识别装置，包括：
图像获取单元，用于获取婴幼儿实时图像，以得到待识别图像；
识别单元，用于采用深度学习识别模型对待识别图像进行识别，以得到识别结果；
结果输出单元，用于将识别结果输出至终端，以提示终端。
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述的方法。
本发明与现有技术相比的有益效果是：本发明通过获取婴幼儿的实时图像，将实时图像输入至深度学习识别模型内进行类别识别，该深度学习识别模型采用了三层网络，以获取婴幼儿面部区域的候选框后，由分类网络将候选框划分为若干个局部区域，并映射至得分特征图，以得到相关特征图，根据相关特征图计算各个类别的概率以进行类别的识别，采用深度学习识别模型识别图像以获取类别，实现提高整个婴幼儿吐奶行为识别过程的准确率，降低识别复杂度。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的婴幼儿吐奶行为识别方法的应用场景示意图；
图2为本发明实施例提供的婴幼儿吐奶行为识别方法的流程示意图；
图3为本发明实施例提供的婴幼儿吐奶行为识别方法的子流程示意图；
图4为本发明实施例提供的婴幼儿吐奶行为识别方法的子流程示意图；
图5为本发明实施例提供的婴幼儿吐奶行为识别方法的子流程示意图；
图6为本发明实施例提供的婴幼儿吐奶行为识别方法的子流程示意图；
图7为本发明实施例提供的婴幼儿吐奶行为识别方法的子流程示意图；
图8为本发明实施例提供的婴幼儿吐奶行为识别装置的示意性框图；
图9为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的婴幼儿吐奶行为识别方法的应用场景示意图。图2为本发明实施例提供的婴幼儿吐奶行为识别方法的示意性流程图。该婴幼儿吐奶行为识别方法应用于服务器中。该服务器与终端、摄像装置进行数据交互，实时获取来自摄像装置所拍摄的图像，对图像进行识别，以得到识别结果，并将识别结果输出至终端，以提示终端，便于终端持有者及时得到婴幼儿的情况。
图2是本发明实施例提供的婴幼儿吐奶行为识别方法的流程示意图。如图2所示，该方法包括以下步骤S110至S130。
S110、获取婴幼儿实时图像，以得到待识别图像。
在本实施例中，待识别图像是来源于摄像装置实时拍摄的婴幼儿图像。
S120、采用深度学习识别模型对待识别图像进行识别，以得到识别结果。
在本实施例中，识别结果是指对实时获取的待识别图像进行深度学习识别，以形成的当前婴幼儿所处的状态，一般包括吐奶行为以及非吐奶行为中一种。
具体地，所述深度学习识别模型是通过若干婴幼儿吐奶行为图像以及婴幼儿非吐奶行为图像作为样本集训练深度学习卷积神经网络所得的。
在一实施例中，请参阅图3，上述的所述深度学习识别模型是通过若干婴幼儿吐奶行为图像以及婴幼儿非吐奶行为图像作为样本集训练深度学习卷积神经网络所得的，包括：
S121、获取带有类别标签的若干婴幼儿吐奶行为图像以及婴幼儿非吐奶行为图像，以得到样本集。
在本实施例中，样本集是指携带有对应的类别标签的婴幼儿吐奶行为图像和婴幼儿非吐奶行为图像。
具体地，先获取若干婴幼儿吐奶行为图像以及婴幼儿非吐奶行为图像后，在对若干婴幼儿吐奶行为图像以及婴幼儿非吐奶行为图像进行针对性地标注，以使得样本集携带有对应的类别标签，其中，该类别标签是指标识图像是属于婴幼儿吐奶行为图像还是婴幼儿非吐奶行为图像。
S123、对样本集分为训练集以及测试集。
在本实施例中，训练集是用于训练深度学习识别模型的数据；测试集是用于测试深度学习识别模型的准确度的数据。
具体地，可以将样本集进行三七分，将占比为30％的数据作为测试集，将占比为70％的数据作为训练集，当然，可依据实际情况对训练集和测试集的划分进行对应的调整。
S122、构建基础网络、面部区域提取网络以及分类网络。
在本实施例中，基础网络是用于构建基础特征图的网络，具体是常用的深度卷积神经网络，基础特征图是在整张图像上做卷积，以提取出强化婴幼儿目标特征的图像，也就是弱化背景部分的图像；而面部区域提取网络是指对有婴幼儿的图像进行婴幼儿面部提取的网络，也就是用于产生感兴趣区域即婴幼儿面部区域的网络；分类网络是指通过引入婴幼儿面部区域所划分的局部位置相关性以进行婴幼儿是正常状态还是吐奶状态的分类的网络。
分类网络中产生的得分特征图是和面部所划分的局部位置相关，并且把婴幼儿面部区域里对于分类贡献不同的局部位置信息融合进来的同时也考虑了婴幼儿面部所划分区域之间的相关性，提高整个婴幼儿吐奶行为识别过程的准确率，降低识别复杂度。
在本实施例中，上述的基础网络是指使用ResNet或者VGG或者googleNet等基础网络架构。面部区域提取网络包括卷积层、分类层、回归层；分类网络包括卷积层以及分类层。
S124、利用训练集对基础网络、面部区域提取网络以及分类网络进行训练，以得到待核对识别模型。
在本实施例中，待核对识别模型是指利用训练集训练所得的基础网络、面部区域提取网络以及分类网络整合后的模型。
在一实施例中，请参阅图4，上述的步骤S124可包括步骤S1241～S1247。
S1241、将训练集输入基础网络内进行卷积，以得到第一卷积结果。
在本实施例中，第一卷积结果是指基础特征图，也就是强化婴幼儿基础特征的图像，比如婴幼儿面部特征、手部特征等图像。
基础网络是使用ResNet或者VGG或者googleNet等基础网络架构，基础网络的输出是
Figure BDA0002192639200000071
也就是第一卷积结果，C1个W*H大小的特征图，W是宽，H是高。
S1242、将第一卷积结果输入面部区域提取网络内进行面部区域提取，以得到候选框。
在本实施例中，候选框是指面部感兴趣位置矩形侯选框，也就是仅涉及婴幼儿面部的矩形框，每个面部感兴趣位置对应待检测婴幼儿面部目标存在的概率分数和位置信息。
具体地，根据基础网络的输出的
Figure BDA0002192639200000072
从图中找到婴幼儿面部对应的感兴趣位置框，即候选框，以基础卷积神经网络生成的基础特征图
Figure BDA0002192639200000073
作为输入，输出一批面部感兴趣位置矩形侯选框，每个面部感兴趣位置对应待检测婴幼儿面部目标存在的概率分数和位置信息。在基础网络输出的基础特征图上进行3*3卷积得到同样大小和同样数目的特征图，在面部区域提取网络中有一组大小可以调节的参考窗口称为锚，尺度和长宽比可以手动调节，面部区域提取网络的回归层用来得到候选框的位置坐标x，y和宽高w，h，面部区域提取网络络的分类层用来判断该候选框是前景还是背景。
S1243、将候选框输入分类网络内进行分类，以得到分类结果。
在本实施例中，分类结果是指婴幼儿吐奶行为类别以及婴幼儿非吐奶行为类别中一种。
在一实施例中，请参阅图5，上述的步骤S1243可包括步骤S12431～S12436。
S12431、对第一卷积结果进行卷积，以得到得分特征图。
在本实施例中，得分特征图是指与婴幼儿面部的局部位置区域相关的特征分数。
用k2*C个1*1*C1的卷积核去卷积可得到k2*C个W*H的与婴幼儿面部区域内局部位置相关的得分特征图
Figure BDA0002192639200000074
B(i,j,c）∈RW*H表示第i+k(j-1)个立体块上的第c个特征图，其中i∈{1,...,k},j∈{1,...,k},c∈{1,...,C}，k表示把婴幼儿对应的面部感兴趣位置框划分成k*k个区域，k2*C个得分特征图表示的是面部所划分的不同局部位置对于分类的概率贡献值，第一个特征图集合B(1,1)∈RW*H*C表示婴幼儿面部划分的k*k个区域中第一个局部位置区域对应的得分特征图，同理，第i+k(j-1)个特征图集合B(i,j）∈RW*H*C表示婴幼儿面部划分的k*k个区域中第i+k(j-1)个局部位置区域对应的得分特征图，表示婴幼儿面部感兴趣位置框划分的k*k个区域中第i+k(j-1)个区域属于吐奶状态和非吐奶状态的概率值。得分特征图虽然与面部局部位置相关但是并未考虑不同局部位置区域之间的相关性。
具体地，得分特征图是
Figure BDA0002192639200000081
即k2*C个W*H大小的得分特征图，k2代表面部划分的局部区域，例如3*3，C表示分类的状态类别数，此处为2，即吐奶状态和非吐奶状态。
S12432、对候选框进行局部区域划分，以得到若干个局部区域。
在本实施例中，局部区域是指婴幼儿面部区域划分成的若干个局部，比如眼镜、嘴巴等区域。
S12433、将若干个局部区域映射至对应的得分特征图内，并设定相关系数，以得到中间相关性特征图。
在本实施例中，中间相关性特征图是指候选框的面部不同区域映射后并在面部内划分的不同局部位置之间引入相关系数后，所得到的面部不同位置的相关性特征图，中间相关性特征图是若干个特征图的集合。比如，将候选框的面部划分成3*3个局部区域，以得到对应的3*3块中间相关性特征图，将3*3块中间相关性特征图按照顺序合成一个整体。
候选框一旦获得，即获得训练集内的图像中婴幼儿面部的位置后，利用训练集内的图像中婴幼儿面部和训练集内的图像的大小尺寸以及位置对应比例关系，可以在对应的得分特征图上找到对应面部局部位置的映射以进一步获取中间相关性特征图。
S12434、对中间相关性特征图进行均值处理，以得到目标分类值。
在一实施例中，请参阅图6，上述的步骤S12434可包括步骤S12434a～S12434b。
S12434a、对各个中间相关性特征图进行取均值，以得到均值相关性特征图。
在本实施例中，均值相关性特征图是指所有局部区域内平均后组成的相关性特征图。对于所有局部区域内的中间相关性特征图分别取均值，以获取每个局部位置对于分类的贡献。
S12434b、对均值相关性特征图进行取均值，以得到目标分类值。
对于候选框的均值相关性特征图取均值，以得到整个候选框的识别分数。
S12435、采用归一化指数函数对目标分类值计算指数，以得到类别数值。
在本实施例中，类别数值是指对应类别的概率，所述类别数值包括吐奶概率以及非吐奶概率。
将候选框划分成k2个局部区域后，将第i+k(j-1)个局部区域映射到对应的局部区域相关的得分特征图B(i,j)∈RW*H*C，得到C(i,j)∈Rw*h*C,i∈{1,..k},j∈{1,..k}，为了考虑不同局部位置区域之间的相关性，将在不同局部位置之间引入相关系数得到不同局部位置的相关性特征图S(m,n)，这样既考虑了不同局部位置对分类的影响又考虑了不同局部位置之间的相关性，S(m,n)＝∑i,j{soft max(C(m,n)*C(i,j)T)}*C(i,j)+C(m,n)；S(m,n)∈Rw*h*C,m∈{1,..k},n∈{1,..k}；(m,n)和(i,j)概念一样，表示候选框划分的k2个局部区域的索引，对k2个S(m,n)按照候选框划分方式重新组合成婴幼儿整个面部区域对应的相关性特征图S∈R(w*k)*(h*k)*C，对所划分的k*k区域内取平均可得S′∈Rk*k*C，最后针对不同状态类别对k*k个区域进行求和得到R1*C，并进行归一化指数函数softmax操作得到每类的最终得分，即类别数值，进而判断婴幼儿属于哪个状态。
S12436、根据类别数值获取分类结果。
在一实施例中，请参阅图7，上述的步骤S12436a～S12436c。
S12436a、判断所述吐奶概率是否大于非吐奶概率；
S12436b、若是，则所述分类结果为吐奶；
S12436c、若否，则所述分类结果为非吐奶。
具体地，概率高的所对应的类别则为分类结果。
S1244、根据分类结果以及对应类别标签计算损失值。
在本实施例中，构建深度学习识别模型时会对各个网络对应建立损失函数，利用损失函数对分类结果以及对应的类别标签进行计算损失值，该损失值可衡量当前模型的准确度，可根据该损失值进行对应网络参数的调整，以确定最佳的模型。
S1245、判断所述损失值是否不大于预设阈值；
S1246、若是，则整合基础网络、面部区域提取网络以及分类网络，以得到待核对识别模型；
S1247、若否，则调整基础网络、面部区域提取网络以及分类网络对应的参数；
并返回所述步骤S1241。
当损失值不大于预设阈值，则表明当前的基础网络、面部区域提取网络以及分类网络的参数选值合适，可按照实际所需将基础网络、面部区域提取网络以及分类网络进行依序整合，形成待核对识别模型；若损失值大于预设阈值，则表明当前的基础网络、面部区域提取网络以及分类网络的参数选值不合适，需重新调整基础网络、面部区域提取网络以及分类网络对应的参数，直至参数选值核实后，按照实际所需将基础网络、面部区域提取网络以及分类网络进行依序整合，形成待核对识别模型。
S125、采用测试集对待核对识别模型进行测试，以得到测试结果；
S126、判断所述测试结果是否符合预设条件；
S127、若是，则将待核对识别模型作为深度学习识别模型；
若否，则返回所述步骤S121。
每当训练完毕整个待核对识别模型后，都需要进行测试，以验证该模型的准确率，当出现测试结果不符合预设条件，比如测试结果的正确率没超过预设正确率阈值，则表明该测试结果不符合预设条件，需要进行参数调整后再一次进行训练，或者直接进行二次训练，直至测试结果符合预设条件。
在本实施例中，对待核对识别模型进行两次训练，多次训练可以获得更加准确的待核对识别模型，以提高吐奶行为识别的准确率。
深度学习识别模型从局部特征角度考虑婴幼儿面部内不同部位对识别吐奶状态的贡献性不一致同时在全局特征角度考虑婴幼儿面部不同部位之间的相关性，识别的吐奶效果更好。
S130、将识别结果输出至终端，以提示终端；
具体地，当识别结果为吐奶行为时，则需要及时通过终端提示对应的人员进行婴幼儿的看护等，另外，当识别结果为吐奶行为时，除了将识别结果输出至终端，还可以依据实际情况发送提醒短信或者光声等方式的提醒。
上述的婴幼儿吐奶行为识别方法，通过获取婴幼儿的实时图像，将实时图像输入至深度学习识别模型内进行类别识别，该深度学习识别模型采用了三层网络，以获取婴幼儿面部区域的候选框后，由分类网络将候选框划分为若干个局部区域，并映射至得分特征图，以得到相关特征图，根据相关特征图计算各个类别的概率以进行类别的识别，采用深度学习识别模型识别图像以获取类别，实现提高整个婴幼儿吐奶行为识别过程的准确率，降低识别复杂度。
图8是本发明实施例提供的一种婴幼儿吐奶行为识别装置300的示意性框图。如图8所示，对应于以上婴幼儿吐奶行为识别方法，本发明还提供一种婴幼儿吐奶行为识别装置300。该婴幼儿吐奶行为识别装置300包括用于执行上述婴幼儿吐奶行为识别方法的单元，该装置可以被配置于服务器中。
具体地，请参阅图8，该婴幼儿吐奶行为识别装置300包括：
图像获取单元301，用于获取婴幼儿实时图像，以得到待识别图像；
识别单元302，用于采用深度学习识别模型对待识别图像进行识别，以得到识别结果；
结果输出单元303，用于将识别结果输出至终端，以提示终端。
在一实施例中，该装置还包括模型获取单元；
所述模型获取单元，用于通过若干婴幼儿吐奶行为图像以及婴幼儿非吐奶行为图像作为样本集训练深度学习卷积神经网络，以得到深度学习识别模型。
在一实施例中，所述模型获取单元包括：
样本集获取子单元，用于获取带有类别标签的若干婴幼儿吐奶行为图像以及婴幼儿非吐奶行为图像，以得到样本集；
数据划分子单元，用于对样本集分为训练集以及测试集；
网络构建子单元，用于构建基础网络、面部区域提取网络以及分类网络；
训练子单元，用于利用训练集对基础网络、面部区域提取网络以及分类网络进行训练，以得到待核对识别模型；
测试子单元，用于采用测试集对待核对识别模型进行测试，以得到测试结果；
结果判断子单元，用于判断所述测试结果是否符合预设条件；若是，则将待核对识别模型作为深度学习识别模型；若否，则返回所述利用训练集对基础网络、面部区域提取网络以及分类网络进行训练，以得到待核对识别模型。
在一实施例中，所述训练子单元包括：
卷积模块，用于将训练集输入基础网络内进行卷积，以得到第一卷积结果；
候选框获取模块，用于将第一卷积结果输入面部区域提取网络内进行面部区域提取，以得到候选框；
分类模块，用于将候选框输入分类网络内进行分类，以得到分类结果；
损失值计算模块，用于根据分类结果以及对应类别标签计算损失值；
损失值判断模块判断所述损失值是否不大于预设阈值；
整合模块，用于若是，则整合基础网络、面部区域提取网络以及分类网络，以得到待核对识别模型；
调整模块，用于若否，则调整基础网络、面部区域提取网络以及分类网络对应的参数，并返回所述将训练集输入基础网络内进行卷积，以得到第一卷积结果。
在一实施例中，所述分类模块包括：
结果卷积子模块，用于对第一卷积结果进行卷积，以得到得分特征图；
区域划分子模块，用于对候选框进行局部区域划分，以得到若干个局部区域；
映射子模块，用于将若干个局部区域映射至对应的得分特征图内，并设定相关系数，以得到中间相关性特征图；
均值处理子模块，用于对中间相关性特征图进行均值处理，以得到目标分类值；
归一化计算子模块，用于采用归一化指数函数对目标分类值计算指数，以得到类别数值；
结果获取子模块，用于根据类别数值获取分类结果。
在一实施例中，上述的均值处理子模块包括：
第一均值子模块，用于对各个中间相关性特征图进行取均值，以得到均值相关性特征图；
第二均值子模块，用于对均值相关性特征图进行取均值，以得到目标分类值。
在一实施例中，结果获取子模块包括：
结果判断子模块，用于判断所述吐奶概率是否大于非吐奶概率；若是，则所述分类结果为吐奶；若否，则所述分类结果为非吐奶。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述婴幼儿吐奶行为识别装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述婴幼儿吐奶行为识别装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图9所示的计算机设备上运行。
请参阅图9，图9是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器。
参阅图9，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种婴幼儿吐奶行为识别方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种婴幼儿吐奶行为识别方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
获取婴幼儿实时图像，以得到待识别图像；
采用深度学习识别模型对待识别图像进行识别，以得到识别结果；
将识别结果输出至终端，以提示终端；
其中，所述深度学习识别模型是通过若干婴幼儿吐奶行为图像以及婴幼儿非吐奶行为图像作为样本集训练深度学习卷积神经网络所得的。
在一实施例中，处理器502在实现所述深度学习识别模型是通过若干婴幼儿吐奶行为图像以及婴幼儿非吐奶行为图像作为样本集训练深度学习卷积神经网络所得的步骤时，具体实现如下步骤：
获取带有类别标签的若干婴幼儿吐奶行为图像以及婴幼儿非吐奶行为图像，以得到样本集；
对样本集分为训练集以及测试集；
构建基础网络、面部区域提取网络以及分类网络；
利用训练集对基础网络、面部区域提取网络以及分类网络进行训练，以得到待核对识别模型；
采用测试集对待核对识别模型进行测试，以得到测试结果；
判断所述测试结果是否符合预设条件；
若是，则将待核对识别模型作为深度学习识别模型；
若否，则返回所述利用训练集对基础网络、面部区域提取网络以及分类网络进行训练，以得到待核对识别模型。
在一实施例中，处理器502在实现所述利用训练集对基础网络、面部区域提取网络以及分类网络进行训练，以得到待核对识别模型步骤时，具体实现如下步骤：
将训练集输入基础网络内进行卷积，以得到第一卷积结果；
将第一卷积结果输入面部区域提取网络内进行面部区域提取，以得到候选框；
将候选框输入分类网络内进行分类，以得到分类结果；
根据分类结果以及对应类别标签计算损失值；
判断所述损失值是否不大于预设阈值；
若是，则整合基础网络、面部区域提取网络以及分类网络，以得到待核对识别模型；
若否，则调整基础网络、面部区域提取网络以及分类网络对应的参数，并返回所述将训练集输入基础网络内进行卷积，以得到第一卷积结果。
在一实施例中，处理器502在实现所述将候选框输入分类网络内进行分类，以得到分类结果步骤时，具体实现如下步骤：
对第一卷积结果进行卷积，以得到得分特征图；
对候选框进行局部区域划分，以得到若干个局部区域；
将若干个局部区域映射至对应的得分特征图内，并设定相关系数，以得到中间相关性特征图；
对中间相关性特征图进行均值处理，以得到目标分类值；
采用归一化指数函数对目标分类值计算指数，以得到类别数值；
根据类别数值获取分类结果。
其中，所述类别数值包括吐奶概率以及非吐奶概率。
在一实施例中，处理器502在实现所述对中间相关性特征图进行均值处理，以得到目标分类值步骤时，具体实现如下步骤：
对各个中间相关性特征图进行取均值，以得到均值相关性特征图；
对均值相关性特征图进行取均值，以得到目标分类值。
在一实施例中，处理器502在实现所述根据类别数值获取分类结果步骤时，具体实现如下步骤：
判断所述吐奶概率是否大于非吐奶概率；
若是，则所述分类结果为吐奶；
若否，则所述分类结果为非吐奶。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
获取婴幼儿实时图像，以得到待识别图像；
采用深度学习识别模型对待识别图像进行识别，以得到识别结果；
将识别结果输出至终端，以提示终端；
其中，所述深度学习识别模型是通过若干婴幼儿吐奶行为图像以及婴幼儿非吐奶行为图像作为样本集训练深度学习卷积神经网络所得的。
在一实施例中，所述处理器在执行所述计算机程序而实现所述深度学习识别模型是通过若干婴幼儿吐奶行为图像以及婴幼儿非吐奶行为图像作为样本集训练深度学习卷积神经网络所得的步骤时，具体实现如下步骤：
获取带有类别标签的若干婴幼儿吐奶行为图像以及婴幼儿非吐奶行为图像，以得到样本集；
对样本集分为训练集以及测试集；
构建基础网络、面部区域提取网络以及分类网络；
利用训练集对基础网络、面部区域提取网络以及分类网络进行训练，以得到待核对识别模型；
采用测试集对待核对识别模型进行测试，以得到测试结果；
判断所述测试结果是否符合预设条件；
若是，则将待核对识别模型作为深度学习识别模型；
若否，则返回所述利用训练集对基础网络、面部区域提取网络以及分类网络进行训练，以得到待核对识别模型。
在一实施例中，所述处理器在执行所述计算机程序而实现所述利用训练集对基础网络、面部区域提取网络以及分类网络进行训练，以得到待核对识别模型步骤时，具体实现如下步骤：
将训练集输入基础网络内进行卷积，以得到第一卷积结果；
将第一卷积结果输入面部区域提取网络内进行面部区域提取，以得到候选框；
将候选框输入分类网络内进行分类，以得到分类结果；
根据分类结果以及对应类别标签计算损失值；
判断所述损失值是否不大于预设阈值；
若是，则整合基础网络、面部区域提取网络以及分类网络，以得到待核对识别模型；
若否，则调整基础网络、面部区域提取网络以及分类网络对应的参数，并返回所述将训练集输入基础网络内进行卷积，以得到第一卷积结果。
在一实施例中，所述处理器在执行所述计算机程序而实现所述将候选框输入分类网络内进行分类，以得到分类结果步骤时，具体实现如下步骤：
对第一卷积结果进行卷积，以得到得分特征图；
对候选框进行局部区域划分，以得到若干个局部区域；
将若干个局部区域映射至对应的得分特征图内，并设定相关系数，以得到中间相关性特征图；
对中间相关性特征图进行均值处理，以得到目标分类值；
采用归一化指数函数对目标分类值计算指数，以得到类别数值；
根据类别数值获取分类结果。
其中，所述类别数值包括吐奶概率以及非吐奶概率。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对中间相关性特征图进行均值处理，以得到目标分类值步骤时，具体实现如下步骤：
对各个中间相关性特征图进行取均值，以得到均值相关性特征图；
对均值相关性特征图进行取均值，以得到目标分类值。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据类别数值获取分类结果步骤时，具体实现如下步骤：
判断所述吐奶概率是否大于非吐奶概率；
若是，则所述分类结果为吐奶；
若否，则所述分类结果为非吐奶。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (7)

1.婴幼儿吐奶行为识别方法，其特征在于，包括：
获取婴幼儿实时图像，以得到待识别图像；
采用深度学习识别模型对待识别图像进行识别，以得到识别结果；
将识别结果输出至终端，以提示终端；
其中，所述深度学习识别模型是通过若干婴幼儿吐奶行为图像以及婴幼儿非吐奶行为图像作为样本集训练深度学习卷积神经网络所得的；
所述深度学习识别模型是通过若干婴幼儿吐奶行为图像以及婴幼儿非吐奶行为图像作为样本集训练深度学习卷积神经网络所得的，包括：
获取带有类别标签的若干婴幼儿吐奶行为图像以及婴幼儿非吐奶行为图像，以得到样本集；
对样本集分为训练集以及测试集；
构建基础网络、面部区域提取网络以及分类网络；
利用训练集对基础网络、面部区域提取网络以及分类网络进行训练，以得到待核对识别模型；
采用测试集对待核对识别模型进行测试，以得到测试结果；
判断所述测试结果是否符合预设条件；
若是，则将待核对识别模型作为深度学习识别模型；
若否，则返回所述利用训练集对基础网络、面部区域提取网络以及分类网络进行训练，以得到待核对识别模型；
所述利用训练集对基础网络、面部区域提取网络以及分类网络进行训练，以得到待核对识别模型，包括：
将训练集输入基础网络内进行卷积，以得到第一卷积结果；
将第一卷积结果输入面部区域提取网络内进行面部区域提取，以得到候选框；
将候选框输入分类网络内进行分类，以得到分类结果；
根据分类结果以及对应类别标签计算损失值；
判断所述损失值是否不大于预设阈值；
若是，则整合基础网络、面部区域提取网络以及分类网络，以得到待核对识别模型；
若否，则调整基础网络、面部区域提取网络以及分类网络对应的参数，并返回所述将训练集输入基础网络内进行卷积，以得到第一卷积结果；
所述将候选框输入分类网络内进行分类，以得到分类结果，包括：
对第一卷积结果进行卷积，以得到得分特征图；用k2*C个1*1*C1的卷积核去卷积可得到k2*C个W*H的与婴幼儿面部区域内局部位置相关的得分特征图
Figure FDA0003479954070000021
B(i,j,c)∈RW*H表示第i+k(j-1)个立体块上的第c个特征图，其中i∈{1,...,k},j∈{1,...,k},c∈{1,...,C}，k表示把婴幼儿对应的面部感兴趣位置框划分成k*k个区域，k2*C个得分特征图表示的是面部所划分的不同局部位置对于分类的概率贡献值，第一个特征图集合B(1,1)∈RW*H*C表示婴幼儿面部划分的k*k个区域中第一个局部位置区域对应的得分特征图，同理，第i+k(j-1)个特征图集合B(i,j)∈RW*H*C表示婴幼儿面部划分的k*k个区域中第i+k(j-1)个局部位置区域对应的得分特征图，表示婴幼儿面部感兴趣位置框划分的k*k个区域中第i+k(j-1)个区域属于吐奶状态和非吐奶状态的概率值；
对候选框进行局部区域划分，以得到若干个局部区域；
将若干个局部区域映射至对应的得分特征图内，并设定相关系数，以得到中间相关性特征图；
对中间相关性特征图进行均值处理，以得到目标分类值；
采用归一化指数函数对目标分类值计算指数，以得到类别数值；
根据类别数值获取分类结果；
将候选框划分成k2个局部区域后，将第i+k(j-1)个局部区域映射到对应的局部区域相关的得分特征图B(i,j)∈RW*H*C，得到C(i,j)∈Rw*h*C,i∈{1,..k},j∈{1,..k}，为了考虑不同局部位置区域之间的相关性，将在不同局部位置之间引入相关系数得到不同局部位置的相关性特征图S(m,n)，这样既考虑了不同局部位置对分类的影响又考虑了不同局部位置之间的相关性，S(m,n)＝∑i,j{softmax(C(m,n)*C(i,j)T)}*C(i,j)+C(m,n)；S(m,n)∈Rw*h*C,m∈{1,..k},n∈{1,..k}；(m,n)和(i,j)概念一样，表示候选框划分的k2个局部区域的索引，对k2个S(m,n)按照候选框划分方式重新组合成婴幼儿整个面部区域对应的相关性特征图S∈R(w*k)*(h*k)*C，对所划分的k*k区域内取平均可得S′∈Rk*k*C，最后针对不同状态类别对k*k个区域进行求和得到R1*C，并进行归一化指数函数softmax操作得到每类的最终得分，即类别数值，进而判断婴幼儿属于哪个状态。
2.根据权利要求1所述的婴幼儿吐奶行为识别方法，其特征在于，所述对中间相关性特征图进行均值处理，以得到目标分类值，包括：
对各个中间相关性特征图进行取均值，以得到均值相关性特征图；
对均值相关性特征图进行取均值，以得到目标分类值。
3.根据权利要求2所述的婴幼儿吐奶行为识别方法，其特征在于，所述类别数值包括吐奶概率以及非吐奶概率。
4.根据权利要求3所述的婴幼儿吐奶行为识别方法，其特征在于，所述根据类别数值获取分类结果，包括：
判断所述吐奶概率是否大于非吐奶概率；
若是，则所述分类结果为吐奶；
若否，则所述分类结果为非吐奶。
5.婴幼儿吐奶行为识别装置，所述装置适用于权利要求1至4任一项所述的婴幼儿吐奶行为识别方法，其特征在于，包括：
图像获取单元，用于获取婴幼儿实时图像，以得到待识别图像；
识别单元，用于采用深度学习识别模型对待识别图像进行识别，以得到识别结果；
结果输出单元，用于将识别结果输出至终端，以提示终端。
6.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的方法。
7.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如权利要求1至4中任一项所述的方法。
CN201910837435.4A 2019-09-05 2019-09-05 婴幼儿吐奶行为识别方法、装置、计算机设备及存储介质 Active CN110427923B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910837435.4A CN110427923B (zh) 2019-09-05 2019-09-05 婴幼儿吐奶行为识别方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910837435.4A CN110427923B (zh) 2019-09-05 2019-09-05 婴幼儿吐奶行为识别方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN110427923A CN110427923A (zh) 2019-11-08
CN110427923B true CN110427923B (zh) 2022-07-01

Family

ID=68417687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910837435.4A Active CN110427923B (zh) 2019-09-05 2019-09-05 婴幼儿吐奶行为识别方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN110427923B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652266A (zh) * 2020-04-17 2020-09-11 北京三快在线科技有限公司 用户界面组件的识别方法、装置、电子设备和存储介质
CN112364933B (zh) * 2020-11-23 2024-07-12 北京达佳互联信息技术有限公司 图像分类方法、装置、电子设备和存储介质
CN113591535B (zh) * 2021-05-11 2024-08-09 南京理工大学 基于面部特征点的老年人进食过程中咀嚼动作的识别方法
CN114333021A (zh) * 2021-12-30 2022-04-12 苏州超云生命智能产业研究院有限公司 面部识别方法、装置、计算机设备、存储介质
CN115713932A (zh) * 2022-11-02 2023-02-24 广州城建职业学院 婴幼儿需求的识别系统、方法、电子设备及存储介质
CN116246306A (zh) * 2023-02-03 2023-06-09 厦门瑞为信息技术有限公司 怀抱婴幼儿旅客的过闸识别方法及装置
CN117315787B (zh) * 2023-10-25 2024-06-11 武汉星巡智能科技有限公司 基于机器视觉的婴幼儿吐奶实时识别方法、装置及设备
CN119888557B (zh) * 2024-12-04 2025-09-05 华能曹妃甸港口有限公司 一种燃料作业视频监管系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105433907A (zh) * 2015-12-14 2016-03-30 长安大学 一种可穿戴的婴儿吐奶报警装置及方法
CN108615333A (zh) * 2018-05-25 2018-10-02 朱利 基于人工智能的婴儿窒息预警系统和方法
CN109276384A (zh) * 2017-07-21 2019-01-29 青岛大数华创科技有限公司 一种智能婴儿床
CN109978870A (zh) * 2019-03-29 2019-07-05 北京百度网讯科技有限公司 用于输出信息的方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965685B2 (en) * 2015-06-12 2018-05-08 Google Llc Method and system for detecting an audio event for smart home devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105433907A (zh) * 2015-12-14 2016-03-30 长安大学 一种可穿戴的婴儿吐奶报警装置及方法
CN109276384A (zh) * 2017-07-21 2019-01-29 青岛大数华创科技有限公司 一种智能婴儿床
CN108615333A (zh) * 2018-05-25 2018-10-02 朱利 基于人工智能的婴儿窒息预警系统和方法
CN109978870A (zh) * 2019-03-29 2019-07-05 北京百度网讯科技有限公司 用于输出信息的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"R-FCN: Object Detection via Region-based Fully Convolutional Networks";Jifeng Dai, et;《30th Conference on Neural Information Processing Systems (NIPS 2016)》;20161231;第1-5页 *

Also Published As

Publication number Publication date
CN110427923A (zh) 2019-11-08

Similar Documents

Publication Publication Date Title
CN110427923B (zh) 婴幼儿吐奶行为识别方法、装置、计算机设备及存储介质
CN110580466A (zh) 婴儿踢被子行为识别方法、装置、计算机设备及存储介质
US20210012127A1 (en) Action recognition method and apparatus, driving action analysis method and apparatus, and storage medium
CN108229509B (zh) 用于识别物体类别的方法及装置、电子设备
CN110458061B (zh) 一种识别老年人跌倒的方法及陪伴机器人
JP6760318B2 (ja) 顔画像識別システム、識別器生成装置、識別装置、画像識別システム、及び識別システム
CN111127426B (zh) 一种基于深度学习的胃黏膜清洁度评价方法及系统
CN108229268A (zh) 表情识别及卷积神经网络模型训练方法、装置和电子设备
US20200380292A1 (en) Method and device for identifying object and computer readable storage medium
CN113689093A (zh) 基于人工智能的课堂质量评估方法及系统
CN113763348A (zh) 图像质量确定方法、装置、电子设备及存储介质
CN118355419A (zh) 经由捕获的图像确定面部测量值的机器学习
CN112052746A (zh) 目标检测方法、装置、电子设备和可读存储介质
CN111539911A (zh) 一种口呼吸面容识别方法、设备和存储介质
CN115376210B (zh) 泳池防溺水的溺水行为识别方法、装置、设备及介质
CN111460991A (zh) 异常检测方法、相关设备及可读存储介质
CN111784660B (zh) 一种用于人脸图像的正脸程度的分析方法和系统
CN112818946A (zh) 年龄识别模型的训练、年龄识别方法、装置及电子设备
CN115937991A (zh) 人体摔倒识别方法、装置、计算机设备及存储介质
JP7400960B2 (ja) 学習装置、学習方法およびプログラム
CN113688785A (zh) 基于多监督的人脸识别方法、装置、计算机设备及存储介质
JP7400959B2 (ja) 判定装置、判定方法およびプログラム
JP7327776B2 (ja) 表情推定装置、感情判定装置、表情推定方法及びプログラム
CN110309816B (zh) 一种由粗到精的新生儿面部检测方法与系统
CN111553250A (zh) 一种基于人脸特征点的精准面瘫程度评测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant