CN110309693A - 多层次状态侦测系统与方法 - Google Patents

多层次状态侦测系统与方法 Download PDF

Info

Publication number
CN110309693A
CN110309693A CN201810306046.4A CN201810306046A CN110309693A CN 110309693 A CN110309693 A CN 110309693A CN 201810306046 A CN201810306046 A CN 201810306046A CN 110309693 A CN110309693 A CN 110309693A
Authority
CN
China
Prior art keywords
state
probability
level state
face
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810306046.4A
Other languages
English (en)
Other versions
CN110309693B (zh
Inventor
林昭源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of CN110309693A publication Critical patent/CN110309693A/zh
Application granted granted Critical
Publication of CN110309693B publication Critical patent/CN110309693B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Biology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Operations Research (AREA)
  • Psychiatry (AREA)

Abstract

本申请涉及一种多层次状态侦测系统与方法，该多层次状态侦测系统，包含影像撷取装置，用以撷取侦测对象的影像；位置侦测单元，决定影像当中是否侦测到人；人脸识别单元，通过人脸识别数据库以侦测决定影像当中是否包含有人脸；多层次状态辨识器，接收人脸识别单元的侦测结果，据以决定侦测对象的相应状态及机率；神经网络预测模型数据库，存储已训练的神经网络预测模型，其相关于多个状态类别，如果人脸识别单元未侦测到人脸，则多层次状态辨识器通过神经网络预测模型数据库以辨识得到侦测对象的相应状态；及多层次状态更新器，接收多层次状态辨识器所产生的目前状态与至少一先前状态的机率，据以产生最终状态。

Description

多层次状态侦测系统与方法
技术领域
本发明涉及一种监视器，特别涉及一种多层次状态侦测系统与方法。
背景技术
婴儿监视器(baby monitor)是一种无线系统，用以从远端听到婴儿的声音或/且看到婴儿的影像。例如，使用麦克风置于婴儿附近以接收婴儿的声音，并于远端通过扬声器即时听到所接收的声音。又例如，使用摄影机(video camera)近距拍摄婴儿的影像，将其即时传送至远端的显示器，因此又称为婴儿摄影机(baby cam)。
传统婴儿监视器仅传送未处理的影像或/且声音给父母，因此能够提供的信息极为有限。较先进的婴儿监视器使用穿戴式感测器，例如重力感测器(g-sensor)，但其穿戴会造成婴儿的不舒适。有些婴儿床使用监控式感测器，例如压力感测器(pressure sensor)，然而，这类感测器仅能用以判断婴儿的睡眠品质，并无法真正的侦测出睡眠状态。此外，传统婴儿监视器无法侦测得知一些急迫的状态，例如脸部被覆盖，因此无法借此尽速排除危险情况。
因此亟需提出一种状态侦测机制，用以克服传统婴儿监视器的缺失。
发明内容
鉴于上述，本发明实施例的目的之一在于提出一种多层次状态侦测系统与方法，其使用深度(deep)神经网络以进行多层次机器学习(machine learning)，用以侦测被测对象(例如婴儿)的各种状态，且能提供更准确的状态机率。
根据本发明实施例，多层次状态侦测系统包含影像撷取装置、位置侦测单元、人脸识别单元、多层次状态辨识器、神经网络预测模型数据库及多层次状态更新器。影像撷取装置用以撷取侦测对象的影像。位置侦测单元决定影像当中是否侦测到人。人脸识别单元通过人脸识别数据库以侦测决定影像当中是否包含有人脸。多层次状态辨识器接收人脸识别单元的侦测结果，据以决定侦测对象的相应状态及机率。神经网络预测模型数据库存储已训练的神经网络预测模型，其相关于多个状态类别，如果人脸识别单元未侦测到人脸，则多层次状态辨识器通过神经网络预测模型数据库以辨识得到侦测对象的相应状态。多层次状态更新器接收多层次状态辨识器所产生的目前状态与至少一先前状态的机率，据以产生最终状态。
附图说明
图1显示本发明实施例的多层次状态侦测系统的方框图。
图2显示本发明实施例的多层次状态侦测方法的流程图。
图3显示多层次状态更新器产生最终状态的例子。
图4显示多层次状态更新器产生最终状态的另一例子。
附图标记说明：
100 多层次状态侦测系统
10 影像撷取装置
11 影像接口(介面)
12 位置侦测单元
13 人脸识别单元
14 人脸识别数据库
15 多层次状态辨识器
16 神经网络预测模型数据库
17 多层次状态更新器
200 多层次状态侦测方法
20 撷取影像
21 通过影像接口传送影像
22 是否侦测到人
23 侦测人脸
24 是否侦测到人脸
25 眼睛是否张开
26 通过神经网络预测模型数据库以辨识状态
27 状态机率是否超过或等于阈值
28 根据目前与先前状态机率以产生最终状态
α 权重
具体实施方式
图1显示本发明实施例的多层次(multi-level)状态侦测系统100的方框图。本实施例可适用以侦测婴儿的睡眠状态，但也可应用于婴儿以外(例如老年人)，或者应用于睡眠以外的状态侦测。图1的方块可使用硬件或/且软件来实施。图2显示本发明实施例的多层次状态侦测方法200的流程图。
在本实施例中，多层次状态侦测系统100(以下简称侦测系统)可包含影像撷取装置10，用以撷取侦测对象(例如婴儿)的影像(步骤20)。在一例子中，影像撷取装置10可为摄影机(video camera)，用以撷取得到一序列影像，其中至少一部分的影像会进行后续的处理。摄影机可为红绿蓝-红外光(RGB-IR)摄影机，较一般可见光摄影机可撷取得到范围更广的影像，且不受周围光线的影响。在另一例子中，影像撷取装置10可为相机，可依固定时间间隔(或排定时程)撷取影像，每次可撷取得到一张影像以进行后续的处理。
本实施例的侦测系统100可包含影像接口11，设于影像撷取装置10与侦测系统100的其他元件之间，用以传送影像撷取装置10所撷取的(单张或多张)影像(步骤21)。影像接口11可用以支援影像撷取装置10的各种应用功能，例如选择(selecting)、安装(installing)、配置(configuring)、设定参数(setting parameters)及存取数据，但不限定于此。因此，影像接口11可让影像撷取装置10有效地进行影像的撷取与传送。在本实施例中，影像接口11包含V4L2(Video4Linux version 2)影像接口，其为支援Linus作业系统的一种即时影像撷取的驱动程序(device driver)与应用程序接口(applicationprogramming interface(API))。
本实施例的侦测系统100可包含位置侦测单元12，其接收影像接口11所传送的影像，并据以决定影像当中是否侦测到人(例如婴儿)(步骤22)及其位置。如果未侦测到人，则表示所要侦测的对象(例如婴儿)不在场；如果侦测到人，则进入步骤23。
在本实施例中，位置侦测单元12使用You Only Look Once(YOLO)物件侦测(object detection)技术，其使用单一神经网络以处理整张影像。相较于传统物件侦测技术于影像的不同区域进行个别训练，YOLO物件侦测技术可加快运算速度。YOLO物件侦测技术的细节可参阅Joseph Redmon等人所发表的“You Only Look Once:Unified,Real-TimeObject Detection”，发表于2016IEEE Conference on Computer Vision and PatternRecognition(CVPR)。
本实施例的侦测系统100可包含人脸识别(face recognition)单元13与人脸识别数据库(或函式库)14。其中，人脸识别单元13接收影像接口11所传送的影像，萃取(extract)得到影像当中的人脸特征(facial feature)，并与人脸识别数据库14所存储的人脸特征作比较(步骤23)，以侦测决定影像当中是否包含有人脸。在本实施例中，人脸识别数据库14是使用(但不限定于)多工串接卷积神经网络(multi-task cascadedconvolutional neural network,MTCNN)技术产生的，其对于自然环境中的光线、角度和人脸表情变化较为强健(robust)，因此识别效果优于传统的人脸识别方法，例如开源电脑视觉(Open Source Computer Vision,OpenCV)或dlib。其中，开源电脑视觉(OpenCV)使用基于Haar特征的分类器(Haar feature-based classifiers)，但无法识别侧面/歪斜/光线不足的人脸；dlib虽然改善了开源电脑视觉(OpenCV)的识别效果，但无法实现即时的人脸识别。多工串接卷积神经网络(MTCNN)由于存储量不大，因此可以实现即时的人脸识别。多工串接卷积神经网络(MTCNN)的技术细节可参阅Kaipeng Zhang等人所发表的“Joint FaceDetection and Alignment using Multi-task Cascaded Convolutional Networks”，发表于2016IEEE Signal Processing Letters。
本实施例的侦测系统100可包含多层次状态辨识(identification)器15，其接收人脸识别单元13的侦测结果，并对其作进一步的辨识，以决定相应的状态(例如婴儿的睡眠状态)。在一例子中，如果人脸识别单元13侦测得到人脸(步骤24)，则多层次状态辨识器15对所侦测到的人脸进一步辨识其眼睛的闭合或张开(步骤25)，以决定相应状态为睡着或醒着。此外，根据眼睛的闭合或张开程度，多层次状态辨识器15可产生睡着或醒着的机率。
本实施例的侦测系统100可包含神经网络预测模型数据库16，其存储已训练的神经网络预测模型，其相关于多个状态类别。在一例子中，神经网络预测模型数据库16的状态类别包含脸部被覆盖及侧趴睡。在本实施例中，如果多层次状态辨识器15自人脸识别单元13所接收的侦测结果是未侦测到人脸(步骤24)，则多层次状态辨识器15会通过神经网络预测模型数据库16以辨识得到影像的相应状态类别(步骤26)，例如脸部被覆盖或侧趴睡。此外，根据影像与神经网络预测模型数据库16的符合程度，多层次状态辨识器15可产生各个状态类别(例如脸部被覆盖及侧趴睡)的机率。如果各个状态类别的机率皆未超过或等于预设阈值(步骤27)，则多层次状态辨识器15可将影像归为未知(undetermined)。本实施例的神经网络预测模型数据库16使用(但不限定于)提出的Inception module来实施。Inception module的技术细节可参阅Christian Szegedy等人所发表的“Going Deeperwith Convolutions”，发表于2015IEEE Conference on Computer Vision and PatternRecognition(CVPR)。
在一例子中，婴儿的状态类别包含脸部被覆盖、侧趴睡、不在场、醒着、睡着，其中脸部被覆盖、侧趴睡来自步骤27，不在场来自步骤22，醒着、睡着来自步骤25。状态机率可表示为阵列形式：
[脸部被覆盖侧趴睡不在场醒着睡着]
其中所有状态的机率值之和为1。
举例而言，如果人脸识别单元13侦测到人脸，且多层次状态辨识器15辨识得到眼睛为张开，则状态的机率阵列可能为[0 0 0 0.7 0.3]。如果多层次状态辨识器15通过神经网络预测模型数据库16而辨识得到状态为脸部被覆盖，则状态的机率阵列可能为[0.6 0.20.2 0 0]。如果人脸识别单元13未侦测到人脸，且各个状态类别的机率皆未超过或等于预设阈值0.6，则多层次状态辨识器15可将影像归为未知。
本实施例的侦测系统100可包含多层次状态更新器17，其接收多层次状态辨识器15所产生的目前与先前状态机率，据以产生最终状态(步骤28)。因此，多层次状态更新器17所产生的最终状态，其准确度较多层次状态辨识器15所决定的状态来得高。
在一例子中，多层次状态更新器17对先前状态机率S1与目前状态机率S0，产生加权和(weighted sum)作为最终状态机率，可表示如下：
S1*α+S0*(1-α)
其中α为权重。
将上述推广至多个先前状态机率，产生加权和作为最终状态机率，可表示如下：
其中S0为目前状态机率，S1为前一次状态机率，Si为S1之前的(n-1)次状态机率，α为权重。
图3显示多层次状态更新器17产生最终状态的例子。对于一般的状态(例如醒着状态)，由于目前状态为醒着与先前状态为醒着为强连结(亦即，若目前为醒着，则先前很可能也是醒着)，因此分派较大的权重α(例如0.3)给先前的相同状态的状态机率，但分派较小的权重(例如0.2)给先前的相异状态的状态机率。
图4显示多层次状态更新器17产生最终状态的另一例子。对于急迫的状态(例如脸部被覆盖状态)，为了避免漏失掉状态为脸部被覆盖的侦测机会，因此分派较小的权重α(例如0.1)给先前的相同状态的状态机率，但分派较大的权重给先前的相异状态的状态机率。
在一例子中，先前的相异状态对应的权重α可以是不同的。例如，取决于目前状态与每一该先前的相异状态各自的连结强度，越大的连结强度对应至越大的权重α。
以上所述仅为本发明的优选实施例而已，并非用以限定本发明的权利要求；凡其它未脱离发明所公开的精神下所完成的等效改变或修饰，均应包含在下述的权利要求内。

Claims (27)

1.一种多层次状态侦测系统，包含：
一影像撷取装置，用以撷取侦测对象的影像；
一位置侦测单元，决定该影像当中是否侦测到人；
一人脸识别单元，通过人脸识别数据库以侦测决定该影像当中是否包含有人脸；
一多层次状态辨识器，接收该人脸识别单元的侦测结果，据以决定侦测对象的相应状态及机率；
一神经网络预测模型数据库，存储已训练的神经网络预测模型，其相关于多个状态类别，如果该人脸识别单元未侦测到人脸，则该多层次状态辨识器通过该神经网络预测模型数据库以辨识得到侦测对象的相应状态；及
一多层次状态更新器，接收该多层次状态辨识器所产生的目前状态与至少一先前状态的机率，据以产生最终状态。
2.根据权利要求1所述的多层次状态侦测系统，其中该侦测对象为婴儿。
3.根据权利要求1所述的多层次状态侦测系统，其中该影像撷取装置包含红绿蓝-红外光摄影机。
4.根据权利要求1所述的多层次状态侦测系统，还包含一影像接口，用以传送该影像撷取装置所撷取的影像。
5.根据权利要求1所述的多层次状态侦测系统，其中该位置侦测单元使用You OnlyLook Once物件侦测技术以侦测人。
6.根据权利要求1所述的多层次状态侦测系统，其中该人脸识别数据库是使用多工串接卷积神经网络技术产生的。
7.根据权利要求1所述的多层次状态侦测系统，其中如果该人脸识别单元侦测到人脸，则该多层次状态辨识器对所侦测到的人脸辨识其眼睛的闭合或张开，以决定相应状态为睡着或醒着。
8.根据权利要求1所述的多层次状态侦测系统，其中该神经网络预测模型数据库的状态类别包含脸部被覆盖及侧趴睡。
9.根据权利要求1所述的多层次状态侦测系统，其中如果所有状态的机率皆未超过或等于预设阈值，则该多层次状态辨识器将该影像归为未知。
10.根据权利要求1所述的多层次状态侦测系统，其中该神经网络预测模型数据库是使用提出的Inception module技术产生的。
11.根据权利要求1所述的多层次状态侦测系统，其中该多层次状态更新器对先前状态的机率S1与目前状态的机率S0，产生加权和作为最终状态机率，表示如下：
S1*α+S0*(1-α)
其中α为权重。
12.根据权利要求11所述的多层次状态侦测系统，其中对于急迫的状态，分派较小的权重给先前的相同状态的机率，但分派较大的权重给先前的相异状态的机率。
13.根据权利要求11所述的多层次状态侦测系统，其中该多层次状态更新器分派不同的权重给先前的相异状态的机率，其中该目前状态与每一该先前的相异状态的连结强度越大，则对应越大的权重。
14.根据权利要求1所述的多层次状态侦测系统，其中该多层次状态更新器对多个先前状态的机率与目前状态的机率，产生加权和作为最终状态机率，表示如下：
其中S0为目前状态机率，S1为前一次状态机率，Si为S1之前的(n-1)次状态机率，α为权重。
15.一种多层次状态侦测方法，包含：
(a)撷取侦测对象的影像；
(b)决定该影像当中是否侦测到人；
(c)通过人脸识别数据库以侦测决定该影像当中是否包含有人脸；
(d)根据步骤(c)的侦测结果，据以决定侦测对象的相应状态及机率；
(e)提供一神经网络预测模型数据库，存储已训练的神经网络预测模型，其相关于多个状态类别，如果步骤(c)未侦测到人脸，则通过该神经网络预测模型数据库以辨识得到侦测对象的相应状态；及
(f)根据目前状态与至少一先前状态的机率，据以产生最终状态。
16.根据权利要求15所述的多层次状态侦测方法，其中该侦测对象为婴儿。
17.根据权利要求15所述的多层次状态侦测方法，还包含一步骤：通过影像接口以传送步骤(a)所撷取的影像。
18.根据权利要求15所述的多层次状态侦测方法，其中该步骤(b)使用You Only LookOnce物件侦测技术以侦测人。
19.根据权利要求15所述的多层次状态侦测方法，其中该人脸识别数据库是使用多工串接卷积神经网络技术产生的。
20.根据权利要求15所述的多层次状态侦测方法，其中如果步骤(c)侦测到人脸，则对所侦测到的人脸辨识其眼睛的闭合或张开，以决定相应状态为睡着或醒着。
21.根据权利要求15所述的多层次状态侦测方法，其中该神经网络预测模型数据库的状态类别包含脸部被覆盖及侧趴睡。
22.根据权利要求15所述的多层次状态侦测方法，其中如果所有状态的机率皆未超过或等于预设阈值，则将该影像归为未知。
23.根据权利要求15所述的多层次状态侦测方法，其中该神经网络预测模型数据库是使用提出的Inception module技术产生的。
24.根据权利要求15所述的多层次状态侦测方法，其中该步骤(f)对先前状态的机率S1与目前状态的机率S0，产生加权和作为最终状态机率，表示如下：
S1*α+S0*(1-α)
其中α为权重。
25.根据权利要求24所述的多层次状态侦测方法，其中对于急迫的状态，分派较小的权重给先前的相同状态的机率，但分派较大的权重给先前的相异状态的机率。
26.根据权利要求24所述的多层次状态侦测方法，其中该步骤(f)分派不同的权重给先前的相异状态的机率，其中该目前状态与每一该先前的相异状态的连结强度越大，则对应越大的权重。
27.根据权利要求15所述的多层次状态侦测方法，其中该步骤(f)对多个先前状态的机率与目前状态的机率，产生加权和作为最终状态机率，表示如下：
其中S0为目前状态机率，S1为前一次状态机率，Si为S1之前的(n-1)次状态机率，α为权重。
CN201810306046.4A 2018-03-27 2018-04-08 多层次状态侦测系统与方法 Active CN110309693B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107110400 2018-03-27
TW107110400A TWI666941B (zh) 2018-03-27 2018-03-27 多層次狀態偵測系統與方法

Publications (2)

Publication Number Publication Date
CN110309693A true CN110309693A (zh) 2019-10-08
CN110309693B CN110309693B (zh) 2021-06-11

Family

ID=68049721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810306046.4A Active CN110309693B (zh) 2018-03-27 2018-04-08 多层次状态侦测系统与方法

Country Status (3)

Country Link
US (1) US10621424B2 (zh)
CN (1) CN110309693B (zh)
TW (1) TWI666941B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10684681B2 (en) * 2018-06-11 2020-06-16 Fotonation Limited Neural network image processing apparatus
EP3833007B1 (en) * 2018-07-31 2024-03-13 Sony Semiconductor Solutions Corporation Layered-type light-receiving sensor and electronic device
TWI737300B (zh) * 2020-05-15 2021-08-21 國立陽明交通大學 深度神經網路壓縮的方法
US20230125629A1 (en) * 2021-10-26 2023-04-27 Avaya Management L.P. Usage and health-triggered machine response

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101564302A (zh) * 2009-05-25 2009-10-28 重庆科技学院 基于多源信息融合的婴儿睡眠躁动监测方法及检测系统
TW201118802A (en) * 2009-11-18 2011-06-01 Ind Tech Res Inst Multi-state target tracking mehtod and system
TW201137795A (en) * 2010-04-21 2011-11-01 Hon Hai Prec Ind Co Ltd System and method for detecting baby sleeping
CN102789672A (zh) * 2012-07-03 2012-11-21 北京大学深圳研究生院 一种婴儿睡姿智能识别方法及装置
EP2570772A1 (en) * 2011-09-16 2013-03-20 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method for localisation and mapping of pedestrians or robots using wireless access points
US20150248515A1 (en) * 2014-02-28 2015-09-03 Mentor Graphics Corporation Scan Cell Selection For Partial Scan Designs

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8750578B2 (en) * 2008-01-29 2014-06-10 DigitalOptics Corporation Europe Limited Detecting facial expressions in digital images
CN101876815B (zh) 2009-04-28 2012-09-19 深圳富泰宏精密工业有限公司 婴儿睡眠监控系统及方法
WO2016119076A1 (en) 2015-01-27 2016-08-04 Xiaoou Tang A method and a system for face recognition
WO2016205246A1 (en) 2015-06-15 2016-12-22 Knit Health, Inc. Remote biometric monitoring system
CN105574215B (zh) 2016-03-04 2019-11-12 哈尔滨工业大学深圳研究生院 一种基于多层特征表示的实例级图像搜索方法
DE112017007252T5 (de) * 2017-03-14 2019-12-19 Omron Corporation Fahrerüberwachungsvorrichtung, fahrerüberwachungsverfahren, lernvorrichtung und lernverfahren
US11042729B2 (en) * 2017-05-01 2021-06-22 Google Llc Classifying facial expressions using eye-tracking cameras
CN107330387B (zh) 2017-06-21 2021-04-23 哈尔滨工业大学深圳研究生院 基于图像数据的行人检测方法
US10565846B2 (en) * 2017-10-27 2020-02-18 Benjamin Lui Systems and methods for a machine learning baby monitor

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101564302A (zh) * 2009-05-25 2009-10-28 重庆科技学院 基于多源信息融合的婴儿睡眠躁动监测方法及检测系统
TW201118802A (en) * 2009-11-18 2011-06-01 Ind Tech Res Inst Multi-state target tracking mehtod and system
TW201137795A (en) * 2010-04-21 2011-11-01 Hon Hai Prec Ind Co Ltd System and method for detecting baby sleeping
EP2570772A1 (en) * 2011-09-16 2013-03-20 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method for localisation and mapping of pedestrians or robots using wireless access points
CN102789672A (zh) * 2012-07-03 2012-11-21 北京大学深圳研究生院 一种婴儿睡姿智能识别方法及装置
US20150248515A1 (en) * 2014-02-28 2015-09-03 Mentor Graphics Corporation Scan Cell Selection For Partial Scan Designs

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JOSEPH REDMON等: "You Only Look Once: Unified, Real-Time Object Detection", 《IEEE》 *
JUNBO ZHAO等: "Power System Real-Time Monitoring by Using PMU-Based Robust State Estimation Method", 《IEEE》 *
蒋正伟等: "机器人定位中稳健的自适应粒子滤波算法", 《清华大学学报（自然科学版）》 *

Also Published As

Publication number Publication date
TWI666941B (zh) 2019-07-21
TW201943263A (zh) 2019-11-01
US20190303656A1 (en) 2019-10-03
US10621424B2 (en) 2020-04-14
CN110309693B (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
TWI751161B (zh) 終端設備、智慧型手機、基於臉部識別的認證方法和系統
KR102174595B1 (ko) 비제약형 매체에 있어서 얼굴을 식별하는 시스템 및 방법
CN110309693A (zh) 多层次状态侦测系统与方法
CN105612533B (zh) 活体检测方法、活体检测系统以及计算机程序产品
KR101760258B1 (ko) 얼굴 인식 장치 및 그 방법
CN109359548A (zh) 多人脸识别监控方法及装置、电子设备及存储介质
CN108470169A (zh) 人脸识别系统及方法
US20060110014A1 (en) Expression invariant face recognition
US9792529B2 (en) Invariant-based dimensional reduction of object recognition features, systems and methods
KR20140055819A (ko) 얼굴인식장치 및 그 제어방법
US10915739B2 (en) Face recognition device, face recognition method, and computer readable storage medium
WO2016172923A1 (zh) 视频检测方法、视频检测系统以及计算机程序产品
CN110612530A (zh) 用于选择脸部处理中使用的帧的方法
WO2013075497A1 (zh) 信息采集装置和方法以及身份识别系统和方法
CN208351494U (zh) 人脸识别系统
CN111046825A (zh) 人体姿态识别方法、装置、系统及计算机可读存储介质
US11216648B2 (en) Method and device for facial image recognition
Khowaja et al. Facial expression recognition using two-tier classification and its application to smart home automation system
EP2446395A1 (en) Geture recognition using chroma- keying
CN109986553B (zh) 一种主动交互的机器人、系统、方法及存储装置
CN112700568B (zh) 一种身份认证的方法、设备及计算机可读存储介质
Dmello et al. Automated facial recognition attendance system leveraging iot cameras
KR20080101388A (ko) 엔엠씨티 기반의 얼굴 검출 방법
US11032762B1 (en) Saving power by spoofing a device
CN111768729A (zh) 一种vr场景自动解说方法、系统和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant