CN116386106A - 伴睡婴幼儿时婴幼儿头部智能识别方法、装置及设备 - Google Patents

伴睡婴幼儿时婴幼儿头部智能识别方法、装置及设备 Download PDF

Info

Publication number
CN116386106A
CN116386106A CN202310256223.3A CN202310256223A CN116386106A CN 116386106 A CN116386106 A CN 116386106A CN 202310256223 A CN202310256223 A CN 202310256223A CN 116386106 A CN116386106 A CN 116386106A
Authority
CN
China
Prior art keywords
head
infant
target
images
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310256223.3A
Other languages
English (en)
Inventor
陈辉
熊章
张智
张青军
杜沛力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Xingxun Intelligent Technology Co ltd
Original Assignee
Ningbo Xingxun Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Xingxun Intelligent Technology Co ltd filed Critical Ningbo Xingxun Intelligent Technology Co ltd
Priority to CN202310256223.3A priority Critical patent/CN116386106A/zh
Publication of CN116386106A publication Critical patent/CN116386106A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，解决了现有技术中陪伴婴幼儿睡眠时婴幼儿的人脸特征不明显导致对婴幼儿识别不准的问题，提供了一种伴睡婴幼儿时婴幼儿头部智能识别方法、装置及设备。该方法包括：获取伴睡婴幼儿场景下实时视频流分解得出的多帧图像，识别所述多帧图像中的多个头部目标，依据预设的标记规则，赋予各所述头部目标对应的标签信息；将具有标签信息的头部目标对应的各第一目标图像输入预设的分类训练模型中，得到基于不同标签的分类器；选取多帧第二目标图像并识别其中的脸部信息，并依据所述脸部信息，更新所述分类器，完成对婴幼儿头部的识别。本发明避免了陪伴婴幼儿睡眠时婴幼儿的人脸特征不明显而导致的识别不准的问题。

Description

伴睡婴幼儿时婴幼儿头部智能识别方法、装置及设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种伴睡婴幼儿时婴幼儿头部智能识别方法、装置及设备。
背景技术
随着城市化进程，采用AI设备进行婴幼儿看护逐渐被年轻父母认可。在使用AI设备对婴幼儿进行看护的过程中，实时地判断当前看护画面中出现的是婴幼儿还是非婴幼儿对后续的看护具有重要的意义。
现有技术中，对婴幼儿和非婴幼儿的识别一般是通过深度学习的神经网络算法来提取图像中的人脸特征，再通过对人脸特征的识别，从而完成婴幼儿和非婴幼儿的区分，然而，在夜间监护设备获取的视频画面较为模糊的情况之下，婴幼儿的人脸特征不明显会导致识别错误，看护设备由于误识别发生虚报，影响用户休息。
为此，如何在陪伴婴幼儿睡眠时由于光线较暗婴幼儿的人脸特征不明显时，提高婴幼儿的识别准确度是亟待解决的问题。
发明内容
有鉴于此，本发明实施例提供了伴睡婴幼儿时婴幼儿头部智能识别方法、装置及设备，用以解决现有技术中陪伴婴幼儿睡眠时由于光线较暗婴幼儿的人脸特征不明显而导致的识别不准的问题。
第一方面，本发明实施例提供了一种伴睡婴幼儿时婴幼儿头部智能识别方法，其特征在于，所述方法包括：
S1：获取伴睡婴幼儿场景下的实时视频流，将所述实时视频流分解为多帧图像，识别所述多帧图像中的多个头部目标；
S2：对各所述头部目标进行跟踪，并依据预设的标记规则，赋予各所述头部目标对应的标签信息；
S3：将具有标签信息的头部目标对应的各第一目标图像输入预设的分类训练模型中，得到基于不同标签的分类器；
S4：分别在各所述第一目标图像中选取多帧第二目标图像，识别各所述第二目标图像中的脸部信息，并依据所述脸部信息，更新所述基于不同标签的分类器，完成对婴幼儿的识别。
优选地，所述S1包括：
S11：将实时视频流得出的多帧图像转换为对应的多帧灰度图像；
S12：将各所述灰度图像输入预设的头部检测模型中，识别出各所述灰度图像中的多个头部目标。
优选地，所述S2包括：
S21：确定各所述灰度图像中的初始帧灰度图像；
S22：获取所述初始帧灰度图像，赋予所述初始帧灰度图像中识别出的多个第一头部目标对应的第一标签信息，并对各所述第一头部目标分别设置第一图像存储器；
S23：获取所述第一标签信息，并依据预设的标记规则，进一步赋予剩余的灰度图像中各头部目标对应的标签信息。
优选地，所述S23包括：
S231：确定各所述灰度图像中的第二帧灰度图像，并获取第二帧灰度图像中识别出的多个第二头部目标；
S232：依据预设的距离计算规则，计算各所述第一头部目标与各所述第二头部目标之间的欧式距离，并依据所述欧式距离，对各所述第一头部目标与各所述第二头部目标进行匹配，输出匹配结果；
S233：若匹配成功，则将所述第一标签信息赋予所述第二头部目标，并将所述第二帧灰度图像保存至所述第一图像存储器中；
S234：若匹配不成功，则赋予所述第二头部目标新的第二标签信息，并对所述第二头部目标设置第二图像存储器；
S235：获取各所述灰度图像中的剩余灰度图像，并对所述剩余灰度图像重复步骤S231至S235，直至确定各所述灰度图像中所有头部目标对应的标签信息和图像存储器中的图像数量。
优选地，所述S3包括：
S31：获取各所述头部目标对应图像存储器中的图像数量；
S32：当出现头部目标的对应图像存储器中的图像数量大于预设的数量阈值时，将所述图像存储器对应的头部目标上的标签信息作为SVM分类器的标签信息；
S33：当出现其他头部目标的对应图像存储器中的图像数量也大于预设的数量阈值时，将其他头部目标的图像存储器中保存的图像送入具有标签信息的SVM分类器，并依据无法正确分类的其他头部目标对应的图像存储器中保存的图像，更新所述具有标签信息的SVM分类器；
S34：对所有的各所述头部目标重复进行步骤S31至S33，直至得出基于多个标签信息的SVM分类器。
优选地，所述S4包括：
S41：获取各所述图像存储器中保存的图像并输入预设的人脸检测模型中，将识别存在脸部信息的多帧第三目标图像提取出来；
S42：将各所述第三目标图像输入预设的分类模型中，输出分类结果；
S43：依据所述分类结果，更新所述基于多个标签信息的SVM分类器。
优选地，所述S43包括：
S431：若所述第三目标图像分类为婴幼儿，则更新SVM分类器中的标签信息为婴幼儿；
S432：若所述第三目标图像分类为非婴幼儿，则更新SVM分类器中的标签信息为非婴幼儿。
第二方面，本发明实施例提供了一种伴睡婴幼儿时婴幼儿头部智能识别装置，所述装置包括：
头部识别模块，用于获取伴睡婴幼儿场景下的实时视频流，将所述实时视频流分解为多帧图像，识别所述多帧图像中的多个头部目标；
标记模块，用于对各所述头部目标进行跟踪，并依据预设的标记规则，赋予各所述头部目标对应的标签信息；
分类器获取模块，用于将具有标签信息的头部目标对应的各第一目标图像输入预设的分类训练模型中，得到基于不同标签的分类器；
分类器更新模块，用于分别在各所述第一目标图像中选取多帧第二目标图像，识别各所述第二目标图像中的脸部信息，并依据所述脸部信息，更新所述基于不同标签的分类器，完成对婴幼儿的识别。
第三方面，本发明实施例提供了一种电子设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
第四方面，本发明实施例提供了一种存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
综上所述，本发明的有益效果如下：
本发明实施例提供的伴睡婴幼儿时婴幼儿头部智能识别方法、装置及设备，所述方法包括：获取伴睡婴幼儿场景下的实时视频流，将所述实时视频流分解为多帧图像，识别所述多帧图像中的多个头部目标；对各所述头部目标进行跟踪，并依据预设的标记规则，赋予各所述头部目标对应的标签信息；将具有标签信息的头部目标对应的各第一目标图像输入预设的分类训练模型中，得到基于不同标签的分类器；分别在各所述第一目标图像中选取多帧第二目标图像，识别各所述第二目标图像中的脸部信息，并依据所述脸部信息，更新所述基于不同标签的分类器，完成对婴幼儿的识别。相比于现有技术单一地通过脸部特征进行分类，本发明通过识别多帧图像中的头部目标，对各头部目标进行初步分类，再利用脸部特征进行二次分类，解决了陪伴婴幼儿睡眠时由于光线较暗婴幼儿的人脸特征不明显而导致的识别不准的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，这些均在本发明的保护范围内。
图1是本发明实施例1中伴睡婴幼儿时婴幼儿头部智能识别方法的流程示意图；
图2是本发明实施例1中识别图像中头部目标的流程示意图；
图3是本发明实施例1中赋予各头部目标不同标签信息的流程示意图；
图4是本发明实施例1中确定所有头部目标对应的标签信息的流程示意图；
图5是本发明实施例1的确定基于标签信息的分类器的流程示意图；
图6是本发明实施例1的更新分类器的流程示意图；
图7是本发明实施例1的区分非婴幼儿和婴幼儿的流程示意图；
图8是本发明实施例2的伴睡婴幼儿时婴幼儿头部智能识别装置的结构框图；
图9是本发明实施例3的电子设备的结构示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
实施例1
请参见图1，本发明实施例提供了一种伴睡婴幼儿时婴幼儿头部智能识别方法，该方法包括：
S1：获取伴睡婴幼儿场景下的实时视频流，将所述实时视频流分解为多帧图像，识别所述多帧图像中的多个头部目标；
具体地，获取在陪伴婴幼儿睡眠场景下的实时视频流，所述的实时视频流主要指的是940nm下的红外视频流，用户可通过所述实时视频流对婴幼儿实现二十四小时的监控和看护，将所述实时视频流分解为多帧图像，识别所述多帧图像中的多个头部目标。
在一实施例中，请参加图2，所述S1包括：
S11：将实时视频流得出的多帧图像转换为对应的多帧灰度图像；
S12：将各所述灰度图像输入预设的头部检测模型中，识别出各所述灰度图像中的多个头部目标。
具体地，将红外视频流分解为图像帧序列，再将图像帧序列转换为灰度图像；将灰度图像送入基于YoloV5s训练得到的人头检测模块，检测出场景中的人头目标坐标集合H(x1,y1,w1,h1；...；xn,yn,wn,hn)，其中，x1,y1,w1,h1分别表示第一个人头目标的横坐标、纵坐标、最小外接矩形框的宽度和高度，n表示共n个人头目标，n为正整数。通过先识别出人头目标，对人头目标分类，提高了后续通过人脸特征进行分类的准确度。
S2：对各所述头部目标进行跟踪，并依据预设的标记规则，赋予各所述头部目标对应的标签信息；
在一实施例中，请参见图3，所述S2包括：
S21：确定各所述灰度图像中的初始帧灰度图像；
S22：获取所述初始帧灰度图像，赋予所述初始帧灰度图像中识别出的多个第一头部目标对应的第一标签信息，并对各所述第一头部目标分别设置第一图像存储器；
具体地，对于初始的第一帧图像中检测出的头部集合H1(x1,y1,w1,h1；...；xn,yn,wn,hn)，对其中每一个头部目标按照一定顺序赋予ID，如1,2,...n，并且每一个人头目标设定一个初始的跟踪失败帧数T1(t1,t2,...,tn)，其数值均为0，对每一个人头目标设定一个初始的跟踪成功帧数S1(s1,s2,...,sn)，初始为1，并对每一个人头目标设定一个目标图像存储器P1(p1,p2,...,pn)。通过每一个头部目标的ID来对各个头部目标进行有效区分，通过跟踪成功帧数和失败帧数来判断头部目标是否被有效跟踪，通过存储器实现后续对头部目标的分类。
S23：获取所述第一标签信息，并依据预设的标记规则，进一步赋予剩余的灰度图像中各头部目标对应的标签信息。
在一实施例中，请参见图4，所述S23包括：
S231：确定各所述灰度图像中的第二帧灰度图像，并获取第二帧灰度图像中识别出的多个第二头部目标；
S232：依据预设的距离计算规则，计算各所述第一头部目标与各所述第二头部目标之间的欧式距离，并依据所述欧式距离，对各所述第一头部目标与各所述第二头部目标进行匹配，输出匹配结果；
具体地，对于H2中任意一个头部目标(xi,yi,wi,hi)，分别计算其与H1(x1,y1,w1,h1；...；xn,yn,wn,hn)中每个人头目标的欧式距离C21(i,1),C21(i,2),...C21(i,n)，其中欧式距离指的是两个目标框中心点之间的欧式距离，对于目标C21(i,j)表示的是H2中第i个人头目标到H1中第j个人头目标的欧式距离，其计算方法如下：C21(i,j)＝sqrt((H2(xi+wi/2)-H1(xj+wj/2))*(H2(xi+wi/2)-H1(xj+wj/2))+H2(yi+hi/2)-H1(yj+hj/2))*(H2(yj+hi/2)-H1(yj+hj/2))，依据所述欧式距离，对各所述第一头部目标与各所述第二头部目标进行匹配，输出匹配结果。
S233：若匹配成功，则将所述第一标签信息赋予所述第二头部目标，并将所述第二帧灰度图像保存至所述第一图像存储器中；
S234：若匹配不成功，则赋予所述第二头部目标新的第二标签信息，并对所述第二头部目标设置第二图像存储器；
S235：获取各所述灰度图像中的剩余灰度图像，并对所述剩余灰度图像重复步骤S231至S235，直至确定各所述灰度图像中所有头部目标对应的标签信息和图像存储器中的图像数量。
具体地，欧式距离最小的且满足C21(i,j)<max(H2(wi),H1(wj))且C21(i,j)<max(H2(hi),H1(hj))，其中max表示两者比较，取较大值，则认为H2中的第i人头目标与H1中的第j个人头属于同一个人头目标，因此H2中的第i人头目标其ID为j，表示H1中第j个人头在下一帧图像中的匹配位置是H2中的第i个人头目标位置，并用H2(xj,yj,wj,hj)的坐标替换H1(xi,yi,wi,hi),并将对应的跟踪成功帧数S1(si)加1，并将H2(xj,yj,wj,hj)的坐标对应的图像保存到P1(pi)中；若不满则上述公式，则认为第二帧图像中出现了新的目标，其ID设置为为n+1，对应的跟踪失败帧数Tn+1设置为0，并将其更新到H1中成为新的H1(x1,y1,w1,h1；...；xn,yn,wn,hn,xn+1,yn+1,wn+1,hn+1)，而对于H1(x1,y1,w1,h1；...；xn,yn,wn,hn)中若目标H1(xm,ym,wm,hm)在下一帧H2图像帧中无法找到匹配目标的，则将对应的跟踪失败帧数T1(ti)加1，若连续10帧无法找到对应的匹配位置，则在H1中将H1(xi,yi,wi,hi)删除，并且对应的ID号作废；若在10帧内找到了对应的匹配位置，则将跟踪失败帧数T1(ti)清零，重新计数。通过对新ID号的增加和对不符合要求的ID号的删除，保证了后续输入分类模型的数据的准确性和有效性。获取各所述灰度图像中的剩余灰度图像，并对所述剩余灰度图像重复步骤S231至S235，直至确定各所述灰度图像中所有头部目标对应的标签信息和图像存储器中的图像数量。
S3：将具有标签信息的头部目标对应的各第一目标图像输入预设的分类训练模型中，得到基于不同标签的分类器；
在一实施例中，请参见图5，所述S3包括：
S31：获取各所述头部目标对应图像存储器中的图像数量；
S32：当出现头部目标的对应图像存储器中的图像数量大于预设的数量阈值时，将所述图像存储器对应的头部目标上的标签信息作为SVM分类器的标签信息；
具体地，对于人头目标集合H1(x1,y1,w1,h1；...；xn,yn,wn,hn)中的一个跟踪目标H1(xi,yi,wi,hi)，其目标图片存储器P1(pi)中若目标数超过1000，则将其送入SVM多分类训练器，其分类ID为i。
S33：当出现其他头部目标的对应图像存储器中的图像数量也大于预设的数量阈值时，将其他头部目标的图像存储器中保存的图像送入具有标签信息的SVM分类器，并依据无法正确分类的其他头部目标对应的图像存储器中保存的图像，更新所述具有标签信息的SVM分类器；
具体地，此时的分类器为SVM(i)，对于其他跟踪目标H1(xj,yj,wj,hj)后续也超过1000的，首先在H1(xj,yj,wj,hj)随机选取20个目标图像，送入分类器SVM(i)中进行分类，若判断超过1/2的目标图像在分类器SVM(i)正确分类为ID＝i，则认为H1(xj,yj,wj,hj)与H1(xi,yi,wi,hi)同属一个目标，此时不需要添加到SVM多分类训练器重新训练；若超过1/2的目标图像在分类器SVM(i)无法分类为ID＝i；则将目标H1(xj,yj,wj,hj)中的1000张图像和H1(xi,yi,wi,hi)中的1000张图像重新联合训练得到新的分类器SVM(i,j)。
S34：对所有的各所述头部目标重复进行步骤S31至S33，直至得出基于多个标签信息的SVM分类器。
具体地，对其他跟踪的头部目标按照上述的方法继续训练新的分类器，最后得到一个完整的分类器SVM(1,2,3,...N)。
S4：分别在各所述第一目标图像中选取多帧第二目标图像，识别各所述第二目标图像中的脸部信息，并依据所述脸部信息，更新所述基于不同标签的分类器，完成对婴幼儿的识别。
在一实施例中，请参见图6，所述S4包括：
S41：获取各所述图像存储器中保存的图像并输入预设的人脸检测模型中，将识别存在脸部信息的多帧第三目标图像提取出来；
S42：将各所述第三目标图像输入预设的分类模型中，输出分类结果；
S43：依据所述分类结果，更新所述基于多个标签信息的SVM分类器。
具体地，针对每一个ID，在跟踪的头部目标的目标图片存储器所保存的图像中随机选取一张图像；将图像送入预设的人脸检测模型中，其中，所述人脸检测模型基于Yolov6s结构的，通过收集的大量人的脸部图像进行训练得出的深度学习算法模型，若通过所述人脸检测模型检测到人脸，则计数num加1；继续随机选取进行检测，若计数num＝N，则选取结束，将这N张图片送入预设的分类模型中，所述分类模型基于Resnet18结构，是通过收集的大量婴幼儿和非婴幼儿图像进行训练得出的深度学习算法模型，通过所述分类模型得出分类结果；若随机选取的总数为2N，并且num<N,则选取结束，此时认为跟踪ID无法获取更多有效的人脸数据，不进行下一步判断。
在一实施例中，请参见图7，所述S44包括：
S431：若所述第三目标图像分类为婴幼儿，则更新SVM分类器中的标签信息为婴幼儿；
S432：若所述第三目标图像分类为非婴幼儿，则更新SVM分类器中的标签信息为非婴幼儿。
具体地，选取的N张图片，若超过2/3的图像分类结果为婴幼儿，则认为ID＝i对应的目标是婴幼儿，此时更新SVM分类器中的分类属性，将ID＝i的分类结果判断为婴幼儿；若超过2/3的图像判断为非婴幼儿，则认为ID＝i对应的目标是非婴幼儿，此时更新SVM分类器中的分类属性，将ID＝i的分类结果判断为非婴幼儿。通过识别目标图像中的头部目标，对各头部目标进行初步分类，再利用脸部特征进行二次分类，避免了夜间由于婴幼儿非婴幼儿睡眠时人脸特征不明显而导致的识别错误情况出现，提高了识别的准确率。
实施例2
请参阅图8，本发明实施例提供了一种伴睡婴幼儿时婴幼儿头部智能识别装置，所述装置包括：
头部识别模块，用于获取伴睡婴幼儿场景下的实时视频流，将所述实时视频流分解为多帧图像，识别所述多帧图像中的多个头部目标；
标记模块，用于对各所述头部目标进行跟踪，并依据预设的标记规则，赋予各所述头部目标对应的标签信息；
分类器获取模块，用于将具有标签信息的头部目标对应的各第一目标图像输入预设的分类训练模型中，得到基于不同标签的分类器；
分类器更新模块，用于分别在各所述第一目标图像中选取多帧第二目标图像，识别各所述第二目标图像中的脸部信息，并依据所述脸部信息，更新所述基于不同标签的分类器，完成对婴幼儿的识别。具体地，采用本发明实施例的装置，所述装置包括：头部识别模块，用于获取伴睡婴幼儿场景下的实时视频流，将所述实时视频流分解为多帧图像，识别所述多帧图像中的多个头部目标；标记模块，用于对各所述头部目标进行跟踪，并依据预设的标记规则，赋予各所述头部目标对应的标签信息；分类器获取模块，用于将具有标签信息的头部目标对应的各第一目标图像输入预设的分类训练模型中，得到基于不同标签的分类器；分类器更新模块，用于分别在各所述第一目标图像中选取多帧第二目标图像，识别各所述第二目标图像中的脸部信息，并依据所述脸部信息，更新所述基于不同标签的分类器，完成对婴幼儿的识别。相比于现有技术单一地通过脸部特征进行分类，本发明通过识别目标图像中的头部目标，对各头部目标进行初步分类，再利用脸部特征进行二次分类，解决了陪伴婴幼儿睡眠时由于光线较暗婴幼儿的人脸特征不明显而导致的识别不准的问题。
实施例3
另外，结合图1描述的本发明实施例的伴睡婴幼儿时婴幼儿头部智能识别方法可以由电子设备来实现。图9示出了本发明实施例提供的电子设备的硬件结构示意图。
电子设备可以包括处理器以及存储有计算机程序指令的存储器。
具体地，上述处理器可以包括中央处理器(CPU)，或者特定集成电路(ApplicationSpecific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器可在数据处理装置的内部或外部。在特定实施例中，存储器是非易失性固态存储器。在特定实施例中，存储器包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器通过读取并执行存储器中存储的计算机程序指令，以实现上述实施例中的任意一种伴睡婴幼儿时婴幼儿头部智能识别方法。
在一个示例中，电子设备还可包括通信接口和总线。其中，如图9所示，处理器、存储器、通信接口通过总线连接并完成相互间的通信。
通信接口，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线包括硬件、软件或两者，将基于人头分类的婴幼儿和非婴幼儿识别设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
实施例4
另外，结合上述实施例中的伴睡婴幼儿时婴幼儿头部智能识别方法，本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种伴睡婴幼儿时婴幼儿头部智能识别方法。
综上所述，本发明实施例提供了一种伴睡婴幼儿时婴幼儿头部智能识别方法、装置及设备。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种伴睡婴幼儿时婴幼儿头部智能识别方法，其特征在于，所述方法包括：
S1：获取伴睡婴幼儿场景下的实时视频流，将所述实时视频流分解为多帧图像，识别所述多帧图像中的多个头部目标；
S2：对各所述头部目标进行跟踪，并依据预设的标记规则，赋予各所述头部目标对应的标签信息；
S3：将具有标签信息的头部目标对应的各第一目标图像输入预设的分类训练模型中，得到基于不同标签的分类器；
S4：分别在各所述第一目标图像中选取多帧第二目标图像，识别各所述第二目标图像中的脸部信息，并依据所述脸部信息，更新所述基于不同标签的分类器，完成对婴幼儿的识别。
2.根据权利要求1所述的伴睡婴幼儿时婴幼儿头部智能识别方法，其特征在于，所述S1包括：
S11：将实时视频流得出的多帧图像转换为对应的多帧灰度图像；
S12：将各所述灰度图像输入预设的头部检测模型中，识别出各所述灰度图像中的多个头部目标。
3.根据权利要求2所述的伴睡婴幼儿时婴幼儿头部智能识别方法，其特征在于，所述S2包括：
S21：确定各所述灰度图像中的初始帧灰度图像；
S22：获取所述初始帧灰度图像，赋予所述初始帧灰度图像中识别出的多个第一头部目标对应的第一标签信息，并对各所述第一头部目标分别设置第一图像存储器；
S23：获取所述第一标签信息，并依据预设的标记规则，进一步赋予剩余的灰度图像中各头部目标对应的标签信息。
4.根据权利要求3所述的伴睡婴幼儿时婴幼儿头部智能识别方法，其特征在于，所述S23包括：
S231：确定各所述灰度图像中的第二帧灰度图像，并获取第二帧灰度图像中识别出的多个第二头部目标；
S232：依据预设的距离计算规则，计算各所述第一头部目标与各所述第二头部目标之间的欧式距离，并依据所述欧式距离，对各所述第一头部目标与各所述第二头部目标进行匹配，输出匹配结果；
S233：若匹配成功，则将所述第一标签信息赋予所述第二头部目标，并将所述第二帧灰度图像保存至所述第一图像存储器中；
S234：若匹配不成功，则赋予所述第二头部目标新的第二标签信息，并对所述第二头部目标设置第二图像存储器；
S235：获取各所述灰度图像中的剩余灰度图像，并对所述剩余灰度图像重复步骤S231至S235，直至确定各所述灰度图像中所有头部目标对应的标签信息和图像存储器中的图像数量。
5.根据权利要求4所述的伴睡婴幼儿时婴幼儿头部智能识别方法，其特征在于，所述S3包括：
S31：获取各所述头部目标对应图像存储器中的图像数量；
S32：当出现头部目标的对应图像存储器中的图像数量大于预设的数量阈值时，将所述图像存储器对应的头部目标上的标签信息作为SVM分类器的标签信息；
S33：当出现其他头部目标的对应图像存储器中的图像数量也大于预设的数量阈值时，将其他头部目标的图像存储器中保存的图像送入具有标签信息的SVM分类器，并依据无法正确分类的其他头部目标对应的图像存储器中保存的图像，更新所述具有标签信息的SVM分类器；
S34：对所有的各所述头部目标重复进行步骤S31至S33，直至得出基于多个标签信息的SVM分类器。
6.根据权利要求5所述的伴睡婴幼儿时婴幼儿头部智能识别方法，其特征在于，所述S4包括：
S41：获取各所述图像存储器中保存的图像并输入预设的人脸检测模型中，将识别存在脸部信息的多帧第三目标图像提取出来；
S42：将各所述第三目标图像输入预设的分类模型中，输出分类结果；
S43：依据所述分类结果，更新所述基于多个标签信息的SVM分类器。
7.根据权利要求6所述的伴睡婴幼儿时婴幼儿头部智能识别方法，其特征在于，所述S43包括：
S431：若所述第三目标图像分类为婴幼儿，则更新SVM分类器中的标签信息为婴幼儿；
S432：若所述第三目标图像分类为非婴幼儿，则更新SVM分类器中的标签信息为非婴幼儿。
8.一种伴睡婴幼儿时婴幼儿头部智能识别装置，其特征在于，所述装置包括：
头部识别模块，用于获取伴睡婴幼儿场景下的实时视频流，将所述实时视频流分解为多帧图像，识别所述多帧图像中的多个头部目标；
标记模块，用于对各所述头部目标进行跟踪，并依据预设的标记规则，赋予各所述头部目标对应的标签信息；
分类器获取模块，用于将具有标签信息的头部目标对应的各第一目标图像输入预设的分类训练模型中，得到基于不同标签的分类器；
分类器更新模块，用于分别在各所述第一目标图像中选取多帧第二目标图像，识别各所述第二目标图像中的脸部信息，并依据所述脸部信息，更新所述基于不同标签的分类器，完成对婴幼儿的识别。
9.一种电子设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-7中任一项所述的方法。
10.一种存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-7中任一项所述的方法。
CN202310256223.3A 2023-03-16 2023-03-16 伴睡婴幼儿时婴幼儿头部智能识别方法、装置及设备 Pending CN116386106A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310256223.3A CN116386106A (zh) 2023-03-16 2023-03-16 伴睡婴幼儿时婴幼儿头部智能识别方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310256223.3A CN116386106A (zh) 2023-03-16 2023-03-16 伴睡婴幼儿时婴幼儿头部智能识别方法、装置及设备

Publications (1)

Publication Number Publication Date
CN116386106A true CN116386106A (zh) 2023-07-04

Family

ID=86979836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310256223.3A Pending CN116386106A (zh) 2023-03-16 2023-03-16 伴睡婴幼儿时婴幼儿头部智能识别方法、装置及设备

Country Status (1)

Country Link
CN (1) CN116386106A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116778487A (zh) * 2023-08-11 2023-09-19 四川汉唐云分布式存储技术有限公司 一种在监控界面为个人头部增加独特标识符的系统和方法
CN117315787A (zh) * 2023-10-25 2023-12-29 武汉星巡智能科技有限公司 基于机器视觉的婴幼儿吐奶实时识别方法、装置及设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090185723A1 (en) * 2008-01-21 2009-07-23 Andrew Frederick Kurtz Enabling persistent recognition of individuals in images
CN104268578A (zh) * 2014-10-15 2015-01-07 深圳市晓舟科技有限公司 一种小图像比对和模糊识别相结合的目标识别方法
US20160171340A1 (en) * 2014-12-11 2016-06-16 Intel Corporation Labeling component parts of objects and detecting component properties in imaging data
CN109934081A (zh) * 2018-08-29 2019-06-25 厦门安胜网络科技有限公司 一种基于深度神经网络的行人属性识别方法、装置及存储介质
CN110269587A (zh) * 2019-06-28 2019-09-24 中山大学中山眼科中心 婴幼儿动作分析系统和基于动作的婴幼儿视力分析系统
CN110428908A (zh) * 2019-07-31 2019-11-08 广西壮族自治区人民医院 一种基于人工智能的眼睑运动功能评估系统
US20200394388A1 (en) * 2018-07-23 2020-12-17 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, terminal, and computer-readable storage medium
WO2021135064A1 (zh) * 2020-01-03 2021-07-08 平安科技（深圳）有限公司 人脸识别方法、装置、计算机设备及存储介质
CN113221802A (zh) * 2021-05-24 2021-08-06 新疆爱华盈通信息技术有限公司 踢被子识别方法与装置、电子设备
CN113384386A (zh) * 2021-08-18 2021-09-14 宁波星巡智能科技有限公司 婴幼儿踢被智能检测方法、装置、电子设备及介质
CN113516095A (zh) * 2021-07-28 2021-10-19 宁波星巡智能科技有限公司 婴幼儿睡眠监测方法、装置、设备及介质
CN114120250A (zh) * 2021-11-30 2022-03-01 北京文安智能技术股份有限公司 一种基于视频的机动车辆违法载人检测方法
CN114926957A (zh) * 2022-04-13 2022-08-19 西安理工大学 基于智能家居的婴幼儿监护系统及监护方法
WO2022236175A1 (en) * 2021-05-07 2022-11-10 Northeastern University Infant 2d pose estimation and posture detection system

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090185723A1 (en) * 2008-01-21 2009-07-23 Andrew Frederick Kurtz Enabling persistent recognition of individuals in images
CN104268578A (zh) * 2014-10-15 2015-01-07 深圳市晓舟科技有限公司 一种小图像比对和模糊识别相结合的目标识别方法
US20160171340A1 (en) * 2014-12-11 2016-06-16 Intel Corporation Labeling component parts of objects and detecting component properties in imaging data
US20200394388A1 (en) * 2018-07-23 2020-12-17 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, terminal, and computer-readable storage medium
CN109934081A (zh) * 2018-08-29 2019-06-25 厦门安胜网络科技有限公司 一种基于深度神经网络的行人属性识别方法、装置及存储介质
CN110269587A (zh) * 2019-06-28 2019-09-24 中山大学中山眼科中心 婴幼儿动作分析系统和基于动作的婴幼儿视力分析系统
CN110428908A (zh) * 2019-07-31 2019-11-08 广西壮族自治区人民医院 一种基于人工智能的眼睑运动功能评估系统
WO2021135064A1 (zh) * 2020-01-03 2021-07-08 平安科技（深圳）有限公司 人脸识别方法、装置、计算机设备及存储介质
WO2022236175A1 (en) * 2021-05-07 2022-11-10 Northeastern University Infant 2d pose estimation and posture detection system
CN113221802A (zh) * 2021-05-24 2021-08-06 新疆爱华盈通信息技术有限公司 踢被子识别方法与装置、电子设备
CN113516095A (zh) * 2021-07-28 2021-10-19 宁波星巡智能科技有限公司 婴幼儿睡眠监测方法、装置、设备及介质
CN113384386A (zh) * 2021-08-18 2021-09-14 宁波星巡智能科技有限公司 婴幼儿踢被智能检测方法、装置、电子设备及介质
CN113974933A (zh) * 2021-08-18 2022-01-28 宁波星巡智能科技有限公司 婴幼儿踢被检测方法、装置、电子设备及介质
CN114120250A (zh) * 2021-11-30 2022-03-01 北京文安智能技术股份有限公司 一种基于视频的机动车辆违法载人检测方法
CN114926957A (zh) * 2022-04-13 2022-08-19 西安理工大学 基于智能家居的婴幼儿监护系统及监护方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RONALD W.J.J.SAEIJS等: "Dual-Camera 3D Head Tracking for Clinical Infant Monitoring", 《IEEE》, 31 December 2018 (2018-12-31), pages 1 - 8 *
刘永凯: "基于智能手机的婴儿家庭监护系统的研制", 《中国优秀硕士学位论文全文数据库基础科学辑》, no. 07, 15 July 2021 (2021-07-15), pages 006 - 124 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116778487A (zh) * 2023-08-11 2023-09-19 四川汉唐云分布式存储技术有限公司 一种在监控界面为个人头部增加独特标识符的系统和方法
CN117315787A (zh) * 2023-10-25 2023-12-29 武汉星巡智能科技有限公司 基于机器视觉的婴幼儿吐奶实时识别方法、装置及设备

Similar Documents

Publication Publication Date Title
CN116386106A (zh) 伴睡婴幼儿时婴幼儿头部智能识别方法、装置及设备
US8224029B2 (en) Object matching for tracking, indexing, and search
EP3447727A1 (en) A method, an apparatus and a computer program product for object detection
CN108416258B (zh) 一种基于人体部位模型的多人体跟踪方法
CN105590097A (zh) 暗视觉条件下双摄像头协同实时人脸识别安防系统及方法
CN106250825A (zh) 一种在医保应用中场景自适应的人脸识别系统
CN108986137B (zh) 人体跟踪方法、装置及设备
CN111985333B (zh) 一种基于图结构信息交互增强的行为检测方法及电子装置
CN112967733A (zh) 智能识别婴儿哭声类别的方法及装置
CN112686211A (zh) 一种基于姿态估计的跌倒检测方法及装置
Jiang et al. A real-time fall detection system based on HMM and RVM
CN111340041A (zh) 一种基于深度学习的车牌识别方法及装置
CN107194322A (zh) 一种视频监控场景中的行为分析方法
CN114708645A (zh) 物件辨识装置及物件辨识方法
CN113269038A (zh) 一种基于多尺度的行人检测方法
CN110148234B (zh) 校园刷脸接送交互方法、存储介质及系统
CN112307453A (zh) 基于人脸识别的人员管理方法及系统
CN115862115B (zh) 基于视觉的婴幼儿呼吸检测区域定位方法、装置及设备
CN103976749A (zh) 一种实时疲劳提示的方法及装置
CN116959099A (zh) 一种基于时空图卷积神经网络的异常行为识别方法
CN111402987A (zh) 基于可见光视频的用药提醒方法、装置、设备及存储介质
CN112926364A (zh) 头部姿态的识别方法及系统、行车记录仪和智能座舱
CN115546825A (zh) 一种安检规范性自动监测方法
CN114783060A (zh) 一种起立行为识别方法及装置
CN114758414A (zh) 行人行为的检测方法、装置、设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination