CN111439170A - 儿童状态检测方法及装置、电子设备、存储介质 - Google Patents

儿童状态检测方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN111439170A
CN111439170A CN202010239259.7A CN202010239259A CN111439170A CN 111439170 A CN111439170 A CN 111439170A CN 202010239259 A CN202010239259 A CN 202010239259A CN 111439170 A CN111439170 A CN 111439170A
Authority
CN
China
Prior art keywords
child
information
face
target image
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010239259.7A
Other languages
English (en)
Other versions
CN111439170B (zh
Inventor
王飞
钱晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Lingang Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority to CN202010239259.7A priority Critical patent/CN111439170B/zh
Publication of CN111439170A publication Critical patent/CN111439170A/zh
Priority to KR1020217034715A priority patent/KR20210142177A/ko
Priority to SG11202113260SA priority patent/SG11202113260SA/en
Priority to PCT/CN2020/136250 priority patent/WO2021196738A1/zh
Priority to JP2021557464A priority patent/JP7259078B2/ja
Priority to PCT/CN2020/137074 priority patent/WO2021196751A1/zh
Priority to JP2022525182A priority patent/JP7469467B2/ja
Priority to KR1020217039210A priority patent/KR20220004156A/ko
Application granted granted Critical
Publication of CN111439170B publication Critical patent/CN111439170B/zh
Priority to US17/536,802 priority patent/US20220084384A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/22—Status alarms responsive to presence or absence of persons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/227—Position in the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Emergency Management (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种儿童状态检测方法及装置、电子设备、计算机可读存储介质。其中，本公开首先获取车舱内的目标图像；之后，识别所述目标图像中的儿童；以及，基于所述儿童的位置信息，确定所述儿童是否位于车舱内的后排座椅上；最后，在所述儿童未位于车舱内的后排座椅上时，发出告警。本公开通过对车舱内儿童以及儿童位置的识别，判定车舱内的儿童是否位于后排座椅上，并在儿童未位于后排座椅上的情况下，发出告警，有效提高了儿童乘车时安全状态识别的准确率，有利于保证儿童乘车的安全。

Description

儿童状态检测方法及装置、电子设备、存储介质
技术领域
本公开涉及计算机视觉技术领域，具体而言，涉及一种儿童状态检测方法及装置、电子设备、计算机可读存储介质。
背景技术
当前汽车电子行业发展迅速，为人们乘车提供了方便舒适的车舱环境。车舱智能化、安全化是当前汽车行业发展的重要方向。
儿童由于身体发育等方面的限制，乘车风险较大。车载系统的安全感知方面，目前无法有效对儿童乘车的安全性进行识别和预警，导致儿童乘车存在安全方面的问题。
发明内容
有鉴于此，本公开至少提供一种儿童状态检测方法及装置。
第一方面，本公开提供了一种儿童状态检测方法，包括：
获取车舱内的目标图像；
识别所述目标图像中的儿童；
基于所述儿童的位置信息，确定所述儿童是否位于车舱内的后排座椅上；
若所述儿童未位于车舱内的后排座椅上，则发出告警。
本方面，通过对车舱内儿童以及儿童位置的识别，判定车舱内的儿童是否位于后排座椅上，并在儿童未位于后排座椅上的情况下，发出告警，有效提高了儿童乘车时安全状态识别的准确率，有利于保证儿童乘车的安全。
在一种可能的实施方式中，上述儿童状态检测方法还包括：
基于所述儿童的位置信息和所述目标图像中的安全座椅的位置信息，确定所述儿童是否位于安全座椅上；
若所述儿童未位于安全座椅上，则在所述车舱的移动速度大于预设值时，发出告警。
本实施方式，在儿童未位于安全座椅上，并且在车舱的移动速度大于预设值时，发出告警，进一步提高了儿童乘车时安全状态识别的准确率，保证了儿童乘车的安全性。
在一种可能的实施方式中，所述识别所述目标图像中的儿童，还包括：
识别所述儿童的状态特征信息；
基于所述状态特征信息，调整所述车舱内的车舱环境。
本实施方式，通过识别儿童的状态特征信息，调整车舱环境，能够为儿童提供更加舒适和安全的乘车环境。
在一种可能的实施方式中，所述识别所述目标图像中的儿童，包括：
基于所述目标图像，确定所述目标图像中的各个对象的对象信息；一个对象的对象信息包括该对象的中心点信息和该对象的中心点对应的对象类型信息；
基于确定的各个对象的对象信息，确定所述目标图像中的儿童。
本实施方式，通过对对象的中心点和中心点对应的对象类型信息的识别，能够准确的确定目标图像中的儿童，提高了目图像中儿童识别的准确率。
在一种可能的实施方式中，所述基于所述目标图像，确定所述目标图像中的各个对象的对象信息，包括：
对所述目标图像进行特征提取，得到所述目标图像对应的第一特征图；
从所述第一特征图的第一预设通道中，获取所述第一特征图中每个特征点作为对象中心点的响应值；
将所述第一特征图分割为多个子区域，并确定每个子区域内最大的响应值和最大的响应值对应的特征点；
将最大的响应值大于预设阈值的目标特征点作为对象的中心点，并基于所述目标特征点在第一特征图上的位置索引确定对象的中心点的位置信息。
本实施方式，通过对特征图中的响应值进行最大池化的处理，能够找到局部范围内最有可能成为对象的中心点的特征点，从而能够有效提高确定的中心点的准确度。
在一种可能的实施方式中，所述对象的中心点信息还包括对象的中心点的长度信息和宽度信息；所述基于所述目标图像，确定所述目标图像中所包括的各个对象的对象信息，还包括：
从所述第一特征图的第二预设通道中，所述目标特征点的位置索引对应的位置处，获取所述目标特征点对应的对象的中心点的长度信息；
从所述第一特征图的第三预设通道中，所述目标特征点的位置索引对应的位置处，获取所述目标特征点对应的对象的中心点的宽度信息。
本实施方式，在确定的对象的中心点之后，利用中心点的位置索引，能够从特征图的其他预设通道中准确的获取对象的中心点的长度信息和宽度信息。
在一种可能的实施方式中，所述基于所述目标图像，确定所述目标图像中所包括的各个对象的对象信息，还包括：
对所述目标图像进行特征提取，得到所述目标图像对应的第二特征图；
基于所述目标特征点在第一特征图上的位置索引，确定所述目标特征点在所述第二特征图上的位置索引；
从所述目标特征点在所述第二特征图上的位置索引对应的位置处，获取所述目标特征点对应的对象类型信息。
本实施方式，在确定的对象的中心点之后，利用中心点的位置索引，能够准确的获取对象的中心点对应的对象类型信息。
在一种可能的实施方式中，所述对象包括人脸和人体；
所述基于确定的各个对象的对象信息，确定所述目标图像中的儿童，包括：
基于每个人体的中心点对应的位置偏移信息，分别确定与每个人体相匹配的人脸的中心点的预测位置信息；其中，属于同一个人的人体和人脸相匹配；
基于确定的预测位置信息和每个人脸的中心点的位置信息，确定与每个人体相匹配的人脸；
对于匹配成功的人体和人脸，利用匹配成功的人体的中心点对应的对象类型信息和人脸的中心点对应的对象类型信息，确定该匹配成功的人体和人脸所属的人是否为儿童。
本实施方式，利用人体的中心点对应的位置偏移信息，能够确定与每个人体相匹配的人脸的中心点的预测位置信息，继而利用预测位置信息能够确定与每个人体相匹配的人脸。利用匹配成功的人体和人脸进行儿童识别，能够提高识别的准确率。
在一种可能的实施方式中，所述儿童状态检测方法还包括：
对于未匹配成功的人体，利用该人体的中心点对应的对象类型信息确定该人体的中心点所属的人是否为儿童；
对于未匹配成功的人脸，利用该人脸的中心点对应的对象类型信息，确定该人脸的中心点所属的人是否为儿童。
本实施方式，对于未匹配成功的人体或人脸，可以利用其自身的中心点对应的对象类型信息能够较为准确地进行儿童识别。
在一种可能的实施方式中，所述状态特征信息包括儿童的睡眠状态特征信息；
所述识别所述儿童的状态特征信息，包括：
从所述目标图像中截取儿童的脸部子图像；
基于所述脸部子图像，确定儿童的左眼睁闭眼状态信息和右眼睁闭眼状态信息；
基于儿童的左眼睁闭眼状态信息和右眼睁闭眼状态信息，确定儿童的睡眠状态特征信息。
本实施方式，通过儿童左眼和右眼的睁闭眼状态信息，能够较为准确的确定儿童的睡眠状态特征信息。
在一种可能的实施方式中，所述基于儿童的左眼睁闭眼状态信息和右眼睁闭眼状态信息，确定儿童的睡眠状态特征信息，包括：
基于连续多帧所述目标图像对应的左眼睁闭眼状态信息和右眼睁闭眼状态信息，确定所述儿童的闭眼累积时长；
在所述闭眼累积时长大于预设阈值时，确定所述睡眠状态特征信息为睡眠状态；
在所述闭眼累积时长小于或等于预设阈值时，确定所述睡眠状态特征信息为非睡眠状态。
本实施方式，结合儿童左眼和右眼的睁闭眼状态信息确定儿童的闭眼累积时长，继而利用儿童的闭眼累积时长与预设阈值的关系，能够准确地确定儿童是否处于睡眠状态。
在一种可能的实施方式中，所述状态特征信息包括儿童的情绪状态特征信息；
所述识别所述儿童的状态特征信息，包括：
从所述目标图像中截取儿童的脸部子图像；
识别所述脸部子图像代表的人脸上的至少两个器官中每个器官的动作；
基于识别到的所述每个器官的动作，确定所述脸部子图像代表的人脸上的情绪状态特征信息。
本实施方式，先识别人脸上的器官的动作，然后基于识别出的动作，确定人脸对应的表情状态，由于人脸上的器官的动作与人脸的表情状态之间的关系是客观存在的，基于这种方式，不需要用户针对脸部子图像进行表情状态的主观定义，另外，由于人脸上的器官的动作可以专注于某些特定的人脸特征，对脸部子图像进行器官的动作的识别，相比直接进行表情姿态的识别，准确性可以提升许多，因此，本实施方式提高了人脸表情识别的精度。
在一种可能的实施方式中，人脸上的器官的动作包括：
皱眉、瞪眼、嘴角上扬、上唇上抬、嘴角向下、张嘴。
在一种可能的实施方式中，所述识别所述脸部子图像代表的人脸上的至少两个器官中每个器官的动作的步骤，由用于进行动作识别的神经网络执行，所述用于进行动作识别的神经网络包括主干网络和至少两个分类分支网络，每个分类分支网络用于识别人脸上的一个器官的一种动作；
所述识别所述脸部子图像代表的人脸上的至少两个器官中每个器官的动作，包括：
利用主干网络对所述脸部子图像进行特征提取，得到所述脸部子图像的特征图；
分别利用每个分类分支网络根据所述脸部子图像的特征图进行动作识别，得到每个分类分支网络能够识别的动作的发生概率；
将发生概率大于预设概率的动作确定为所述脸部子图像代表的人脸上的器官的动作。
本实施方式，在脸部子图像代表的人脸上包含多个器官的动作时，通过这种方法，可以同时识别出脸部子图像对应的多个器官的动作，另外，这里使用每个分类分支网络分别识别对应的器官的动作，由于训练每个分类分支网络时，可以专注于特定器官的动作对应的图像特征，这种方式可以使得训练出的分类分支网络的识别精度更高，从而使得情绪状态识别时的准确率更高。
第二方面，本公开提供了一种儿童状态检测装置，包括：
图像获取模块，用于获取车舱内的目标图像；
儿童识别模块，用于识别所述目标图像中的儿童；
位置判定模块，用于基于所述儿童的位置信息，确定所述儿童是否位于车舱内的后排座椅上；
预警模块，用于若所述儿童未位于车舱内的后排座椅上，则发出告警。
第三方面，本公开提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述儿童状态检测方法的步骤。
第四方面，本公开还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述儿童状态检测方法的步骤。
本公开上述装置、电子设备、和计算机可读存储介质，至少包含与本公开上述方法的任一方面或任一方面的任一实施方式的技术特征实质相同或相似的技术特征，因此关于上述装置、电子设备、和计算机可读存储介质的效果描述，可以参见上述方法内容的效果描述，这里不再赘述。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例提供的一种儿童状态检测方法的流程图；
图2示出了本公开实施例提供的另一种儿童状态检测方法中确定目标图像中各个对象的对象信息的流程图；
图3示出了本公开实施例提供的再一种儿童状态检测方法中确定对象类型信息的流程图；
图4示出了本公开实施例提供的再一种儿童状态检测方法中确定识别儿童的情绪状态特征信息的流程图；
图5示出了本公开实施例提供的一种儿童状态检测装置的结构示意图；
图6示出了本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，应当理解，本公开中附图仅起到说明和描述的目的，并不用于限定本公开的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本公开中使用的流程图示出了根据本公开的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本公开内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，本公开实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
本公开提供了一种儿童状态检测方法及装置、电子设备、计算机可读存储介质。本公开通过对车舱内儿童以及儿童位置的识别，判定车舱内的儿童是否位于后排座椅上，并在儿童未位于后排座椅上的情况下，发出告警，有效提高了儿童乘车时安全状态识别的准确率，有利于保证儿童乘车的安全。
下面通过具体的实施例对本公开的儿童状态检测方法及装置、电子设备、计算机可读存储介质进行说明。
本公开实施例提供了一种儿童状态检测方法，该方法应用于对儿童状态和安全性进行检测的终端设备或服务器等。具体地，如图1所示，本公开实施例提供的儿童状态检测方法包括如下步骤：
S110、获取车舱内的目标图像。
这里，目标图像中可能包括儿童，也可能不包括儿童，该图像既可以是对儿童状态和安全性进行检测的终端设备拍摄的，也可以是其他拍摄设备拍摄后传送给上述对儿童状态和安全性进行检测的终端设备或服务器的。
S120、识别所述目标图像中的儿童。
这里，识别目标图像中的儿童包括从目标图像中的各个对象中筛选得到其中的儿童，以及确定儿童的位置信息。
在具体识别目标图像中的儿童时，可以首先基于所述目标图像，确定所述目标图像中的各个对象的对象信息。其中，一个对象的对象信息包括该对象的中心点信息和该对象的中心点对应的对象类型信息。之后，基于确定的各个对象的对象信息，确定所述目标图像中的儿童。
上述对象类型信息具体可以包括儿童类型、后排座椅类型、安全座椅类型、成年人类型等；中心点信息可以包括对应的对象的中心点的位置信息。那么，在具体实施时，可以利用确定的中心点对应的对象类型信息，从目标图像中的各个对象中筛选出儿童，之后，利用属于儿童的中心点信息确定儿童的位置信息。
本步骤，通过对对象的中心点和中心点对应的对象类型信息的识别和确定，能够准确的确定目标图像中的儿童，提高了目图像中儿童识别的准确率。
S130、基于所述儿童的位置信息，确定所述儿童是否位于车舱内的后排座椅上。
这里，在判断儿童是否位于车舱内的后排座椅上之前，首先需要识别目标图像中的后排座椅以及确定后排座椅的位置信息。
识别目标图像中的后排座椅以及确定后排座椅的位置信息的方法，与上述识别目标图像中的儿童，以及确定儿童的位置信息的方法相同。即，可以是：可以利用确定的中心点对应的对象类型信息，从目标图像中的各个对象中筛选出后排座椅，之后，利用属于后排座椅的中心点信息确定后排座椅的位置信息。
在确定了儿童的位置信息和后排座椅的位置信息之后，利用这两个位置信息，可以确定儿童是否位于车舱内的后排座椅上。
S140、若所述儿童未位于车舱内的后排座椅上，则发出告警。
这里，通过前面的判断，如果确定儿童未位于后排座椅上，则此时儿童的乘车状态是不安全的，此时可以向司机或其他乘客等发出告警，以纠正儿童在车舱内的位置，以保证儿童乘车的安全。
为了进一步保证儿童在乘车过程中的安全性，儿童不仅仅应该位于后排座椅上，还应该位于安全座椅上，因此，上述儿童状态检测方法还可以进一步包括如下步骤：
基于所述儿童的位置信息和所述目标图像中的安全座椅的位置信息，确定所述儿童是否位于安全座椅上；若所述儿童未位于安全座椅上，则在所述车舱的移动速度大于预设值时，发出告警。
在执行上述步骤之前，首先需要识别目标图像中的安全座椅，并在车舱内有安全座椅的情况下，确定安全座椅的位置信息。
识别目标图像中的安全座椅以及确定安全座椅的位置信息的方法，与上述识别目标图像中的儿童，以及确定儿童的位置信息的方法相同。即，可以是：可以利用确定的中心点对应的对象类型信息，从目标图像中的各个对象中筛选出安全座椅，之后，利用属于安全座椅的中心点信息确定安全座椅的位置信息。
在确定了儿童的位置信息和安全座椅的位置信息之后，利用这两个位置信息，可以确定儿童是否位于车舱内的安全座椅上。
如果通过识别，确定车舱内没有安全座椅，此时，也需要在所述车舱的移动速度大于预设值时，发出告警。
上述在儿童未位于安全座椅上，并且在车舱的移动速度大于预设值时，发出告警，进一步提高了儿童乘车时安全状态识别的准确率，保证了儿童乘车的安全性。
上述实施例，根据对象信息可以对儿童、后排座椅、安全座椅等进行识别和定位。上述对象具体可以是人脸、人体、后排座椅、安全座椅等。
那么，如图2所示，在一些实施例中，可以利用如下步骤来确定目标图像中各个对象的对象信息：
S210、对所述目标图像进行特征提取，得到所述目标图像对应的第一特征图。
这里，具体可以是首先将目标图像输入到一个神经网络中进行图像特征提取，例如，将目标图像输入backbone这个神经网络中进行图像特征提取，得到一个初始特征图。之后再将该初始特征图输入到一个用于进行对象信息提取的神经网络，得到上述第一特征图。
在具体实施时，上述目标图像可以是一个尺寸为640*480像素的图像，经过backbone处理后可以得到80*60*C的初始特征图。其中，C表示通道数量。初始特征图经过用于进行对象信息提取的神经网络处理之后，可以得到一个80*60*3第一特征图。
S220、从所述第一特征图的第一预设通道中，获取所述第一特征图中每个特征点作为对象中心点的响应值。
这里，第一预设通道可以是第一特征图中的第0通道，该通道为对象中心点的通道，该通道中的响应值可以表示各个特征点作为对象的中心点的可能性。
在获取到第一预设通道中各个特征点对应的响应值之后，可以利用sigmoid将这些响应值转化为0到1之间。
S230、将所述第一特征图分割为多个子区域，并确定每个子区域内最大的响应值和最大的响应值对应的特征点；
这里，具体可以是，对特征图进行3X3的步长为1的最大池化max pooling操作，获得3X3内的最大响应值及其在第一特征图上的位置索引。即可以获得60X80个最大的响应值及其对应的位置索引。
之后，还可以合并相同的位置索引，得到N个最大的响应值、每个最大的响应值对应的位置索引以及每个最大的响应值对应的特征点。
S240、将最大的响应值大于预设阈值的目标特征点作为对象的中心点，并基于所述目标特征点在第一特征图上的位置索引确定对象的中心点的位置信息。
这里，可以预先设定阈值thrd，当最大的响应值大于thrd时，判定此特征点为对象的中心点。
上述，通过对特征图中的响应值进行最大池化的处理，能够找到局部范围内最有可能成为对象的中心点的特征点，从而能够有效提高确定的中心点的准确度。
上述，将对象的中心点和中心点的位置信息作为中心点信息。在一些实施例中，中心点信息还可以包括对象的中心点的长度信息和宽度信息。此时，可以利用如下步骤确定中心点的长度信息和宽度信息：
从所述第一特征图的第二预设通道中，所述目标特征点的位置索引对应的位置处，获取所述目标特征点对应的对象的中心点的长度信息。从所述第一特征图的第三预设通道中，所述目标特征点的位置索引对应的位置处，获取所述目标特征点对应的对象的中心点的宽度信息。
上述第二预设通道可以是第一特征图中的第1通道，第三预设通道可以是第一特征图中的第2通道。上述步骤是从第一特征图中的第1通道中，中心点对应的位置处获取中心点的长度信息，从第一特征图中的第2通道中，中心点对应的位置处获取中心点的宽度信息。
上述在确定的对象的中心点之后，利用中心点的位置索引，能够从特征图的其他预设通道中准确的获取对象的中心点的长度信息和宽度信息。
由于对象具体可以是人脸、人体、后排座椅、安全座椅等，因此，在具体实施时，需要利用不同的神经网络来确定不同对象对应的第一特征图，之后，再基于不同的第一特征图来确定不同对象的中心点、每个中心点的位置信息、每个中心点的长度信息和每个中心点的宽度信息。
由上面的陈述可知，对象信息包括对象的中心点对应的对象类型信息，在一些实施例中，如图3所示，可以利用如下步骤确定对象类型信息：
S310、对所述目标图像进行特征提取，得到所述目标图像对应的第二特征图。
这里，具体可以是将目标图像输入到一个神经网络中进行图像特征提取，例如，将目标图像输入backbone这个神经网络中进行图像特征提取，得到一个初始特征图，之后将该初始特征图输入到进行对象类型识别的神经网络进行处理，得到第二特征图，基于该第二特征图能够确定每个对象的中心点对应的对象类型信息。上述第二特征图具体可以是一个80*60*2的特征图。
具体地，在对儿童进行识别的应用场景中，第二特征图上每个特征点对应有一个2维的特征向量，对对象的中心点对应于上述第二特征图上的特征点上的二维特征向量进行分类处理，可以得到分类结果，假如一种分类结果代表儿童，另一种分类结果代表其他，则，基于上述分类结果可以确定中心点对象的对象类型信息是否为儿童。在对儿童进行识别的应用场景中，上述对象可以是人体或人脸。
具体地，在对安全座椅进行识别的应用场景中，第二特征图上每个特征点对应有一个2维的特征向量，对对象的中心点对应于上述第二特征图上的特征点上的二维特征向量进行分类处理，可以得到分类结果，假如一种分类结果代表安全座椅，另一种分类结果代表其他，则，基于上述分类结果可以确定中心点对象的对象类型信息是否为安全座椅。
当然，利用相同的方法，还可以对后排座椅等进行识别。
由于对象具体可以是人脸、人体、后排座椅、安全座椅等，因此，在具体实施时，需要利用不同的神经网络来确定不同对象对应的第二特征图，之后，再基于不同的第二特征图来确定不同对象的对象类型信息。
S320、基于所述目标特征点在第一特征图上的位置索引，确定所述目标特征点在所述第二特征图上的位置索引。
这里，目标特征点即为对象的中心点。目标特征点是大于预设阈值的最大的响应值对应的特征点。
S330、从所述目标特征点在所述第二特征图上的位置索引对应的位置处，获取所述目标特征点对应的对象类型信息。
上述在确定的对象的中心点之后，利用中心点的位置索引，能够准确的获取对象的中心点对应的对象类型信息。
在对儿童进行识别的应用场景中，在确定了各个对象的中心点对应的对象类型信息之后，具体可以利用如下步骤识别目标图像中的儿童：
步骤一、基于每个人体的中心点对应的位置偏移信息，分别确定与每个人体相匹配的人脸的中心点的预测位置信息；其中，属于同一个人的人体和人脸相匹配。
在执行此步骤之前，首先需要确定每个人体的中心点与属于同一个人的人脸中心点的位置偏移信息，之后，再利用位置偏移信息确定预测位置信息。
在确定上述位置偏移信息时，具体可以是，首先将目标图像输入到一个神经网络中进行图像特征提取，例如，将目标图像输入backbone这个神经网络中进行图像特征提取，得到一个初始特征图。之后再将该初始特征图输入到一个用于确定上述位置偏移信息的神经网络，得到一个特征图，基于该特征图就能够确定于每个人体的中心点对应的位置偏移信息。
在具体实施时，初始特征图经过用于确定上述位置偏移信息的神经网络处理之后，可以得到一个80*60*2的特征图。
步骤二、基于确定的预测位置信息和每个人脸的中心点的位置信息，确定与每个人体相匹配的人脸。
这里，具体是将与预测位置信息对应的位置最接近的中心点的位置对应的人脸，作为与人体相匹配的人脸。
步骤三、对于匹配成功的人体和人脸，利用匹配成功的人体的中心点对应的对象类型信息和人脸的中心点对应的对象类型信息，确定该匹配成功的人体和人脸所属的人是否为儿童。
这里，匹配成功的人体的中心点对应的对象类型信息指示对应的人体所属的人为儿童或人脸的中心点对应的对象类型信息指示对应的人脸所属的人为儿童，则确定该匹配成功的人体和人脸所属的人为儿童。
上述利用人体的中心点对应的位置偏移信息，能够确定与每个人体相匹配的人脸的中心点的预测位置信息，继而利用预测位置信息能够确定与每个人体相匹配的人脸。利用匹配成功的人体和人脸进行儿童识别，能够提高识别的准确率。
由于遮挡等原因，会有未匹配成功的人体或人脸，此时，对于未匹配成功的人体，利用该人体的中心点对应的对象类型信息确定该人体的中心点所属的人是否为儿童。具体地，如果该人体的中心点对应的对象类型信息指示儿童，则确定该人体所属的人为儿童。
对于未匹配成功的人脸，利用该人脸的中心点对应的对象类型信息，确定该人脸的中心点所属的人是否为儿童。具体地，如果该人脸的中心点对应的对象类型信息指示儿童，则确定该人脸所属的人为儿童。
上述对于未匹配成功的人体或人脸，可以利用其自身的中心点对应的对象类型信息能够较为准确地进行儿童识别。
在保证儿童乘车过程中的安全性的同时，可以通过识别儿童的状态特征信息，并基于状态特征信息，调整所述车舱内的车舱环境，来为儿童提供更加舒适和安全的乘车环境。
上述状态特征信息可以包括睡眠状态特征信息、情绪状态特征信息等。其中情绪状态特征信息可以包括高兴、哭泣、平静等。
在确定了上述状态特征信息之后，调整所述车舱内的车舱环境具体可以是：若所述状态特征信息指示儿童处于睡眠状态，则将灯光调节为柔和状态，或者播放摇篮曲等；若所述状态特征信息指示所述儿童处于高兴的情绪状态，则将播放的音乐设置为欢快类型的音乐；若所述状态特征信息指示所述儿童处于哭泣的情绪状态，则将播放的音乐设置为安抚类型的音乐。
在一些实施例中，具体可以利用如下步骤确定儿童是否处于睡眠状态：
步骤一、从所述目标图像中截取儿童的脸部子图像。
这里，具体可以利用上面实施例确定的人脸的中心点和人脸的中心点的长度信息和宽度信息，来从目标图像中截取儿童的脸部子图像。
利用脸部子图像能够减少用于进行睡眠状态识别的图像的尺寸和像素数量，即能够降低进行睡眠状态识别的数据处理量，提高睡眠状态识别的效率。
步骤二、基于所述脸部子图像，确定儿童的左眼睁闭眼状态信息和右眼睁闭眼状态信息。
这里，左眼睁闭眼状态信息包括左眼不可见、左眼可见且睁眼、左眼可见且闭眼。右眼睁闭眼状态信息包括右眼不可见、右眼可见且睁眼、右眼可见且闭眼。
在具体实施时，将脸部子图像输入一个训练好的神经网络中，经过该神经网络的处理，能够输出9种左右眼的状态信息。
上述神经网络可以由两层全联接层构成，该神经网络的输入是对脸部子图像进行图像特征提取得到的特征图。第一层全联接层将输入的特征图转化为K4维特征向量，第二层全联接层将K4维特征向量转化为9维向量输出，之后进行分类softmax处理，softmax输出的分数最大的维对应的状态信息即为最后预测的状态信息。
步骤三、基于儿童的左眼睁闭眼状态信息和右眼睁闭眼状态信息，确定儿童的睡眠状态特征信息。
这里，具体可以利用如下子步骤实现：
基于连续多帧所述目标图像对应的左眼睁闭眼状态信息和右眼睁闭眼状态信息，确定所述儿童的闭眼累积时长；在所述闭眼累积时长大于预设阈值时，确定所述睡眠状态特征信息为睡眠状态；在所述闭眼累积时长小于或等于预设阈值时，确定所述睡眠状态特征信息为非睡眠状态。
上述，结合儿童左眼和右眼的睁闭眼状态信息确定儿童的闭眼累积时长，继而利用儿童的闭眼累积时长与预设阈值的关系，能够准确地确定儿童是否处于睡眠状态。
由上面的描述可知，状态特征信息还包括儿童的情绪状态特征信息，在如图4所示，具体可以利用如下步骤识别所述儿童的情绪状态特征信息：
S410、从所述目标图像中截取儿童的脸部子图像。
这里，具体可以利用上面实施例确定的人脸的中心点和人脸的中心点的长度信息和宽度信息，来从目标图像中截取儿童的脸部子图像。
利用脸部子图像能够减少用于进行情绪状态识别的图像的尺寸和像素数量，即能够降低进行情绪状态识别的数据处理量，提高情绪状态识别的效率。
S420、识别所述脸部子图像代表的人脸上的至少两个器官中每个器官的动作。
这里，人脸上的器官的动作具体可以包括：皱眉、瞪眼、嘴角上扬、上唇上抬、嘴角向下、张嘴。
在将脸部子图像输入至训练的神经网络进行人脸上的器官的动作识别之前，为了提高神经网络进行动作识别的效率和精度，在一种可能的实施方式中，还可以先将脸部子图像进行图像预处理，得到处理后的脸部子图像；其中，所述图像预处理用于对脸部子图像进行关键信息增强处理；然后将处理后的脸部子图像输入至训练的神经网络进行动作识别。
S430、基于识别到的所述每个器官的动作，确定所述脸部子图像代表的人脸上的情绪状态特征信息。
这里，情绪状态特征信息与器官的动作之间有一定的对应关系，示例性的，器官的动作为嘴角上扬时，对应的情绪状态特征信息为开心，器官的动作为瞪眼且张嘴时，对应的情绪状态特征信为惊讶。
具体实施中，在基于识别的器官的动作，确定人脸上的情绪状态特征信息时，可以是基于识别的人脸上的每个器官的动作、以及预先设置的动作与情绪状态特征信息之间的对应关系，确定脸部子图像代表的人脸上的情绪状态特征信息。
上述步骤420中，在对脸部子图像进行图像预处理时，具体可以利用如下步骤进行：确定脸部子图像中关键点的位置信息；基于关键点的位置信息，对脸部子图像进行仿射变换，得到脸部子图像对应的转正后的图像；对转正后的图像进行归一化处理，得到处理后的脸部子图像。
脸部子图像中的关键点例如可以包括眼角、嘴角、眉头、眉尾、鼻子等，具体实施中，脸部子图像中的关键点可以根据需求进行设置；关键点的位置信息可以是关键点在脸部子图像中的位置坐标。
上述在基于关键点的位置信息，对脸部子图像进行仿射变换时，可以先基于关键点的位置信息、以及预存的目标关键点的预设位置信息，确定变换矩阵，变换矩阵用于表示脸部子图像中每个关键点的位置信息、和与该关键点匹配的目标关键点的预设位置信息之间的变换关系，然后基于变换矩阵，对脸部子图像进行仿射变换。
在基于关键点的位置信息、以及预存的目标关键点的预设位置信息，确定变换矩阵时，可以根据以下公式进行计算：
Figure BDA0002432007460000151
其中，x’，y’表示预存的目标关键点的横纵坐标，x，y表示关键点的横纵坐标，
Figure BDA0002432007460000152
表示变换矩阵。
在基于变换矩阵，对脸部子图像进行仿射变换时，可以先确定脸部子图像中每一个像素点的坐标，然后将脸部子图像中每一个像素点的坐标带入上述公式中，确定每一个像素点对应的变换后的坐标，基于每一个像素点对应的变换后的坐标，确定脸部子图像对应的转正后的图像。
通过将脸部子图像进行仿射变换，可以将脸部子图像中不同朝向的脸部子图像转换为正面朝向的脸部子图像，基于脸部子图像对应的转正后的图像进行动作识别，可以提高动作识别的精度。
在基于关键点的位置信息，对脸部子图像进行仿射变换，脸部子图像对应的转正后的图像之后，还可以基于关键点的位置信息，对转正后的图像进行图像剪切，得到剪切后的图像，然后对剪切后的图像进行归一化处理。
上述，先识别人脸上的器官的动作，然后基于识别出的动作，确定人脸对应的表情状态，由于人脸上的器官的动作与人脸的表情状态之间的关系是客观存在的，基于这种方式，不需要用户针对脸部子图像进行表情状态的主观定义，另外，由于人脸上的器官的动作可以专注于某些特定的人脸特征，对脸部子图像进行器官的动作的识别，相比直接进行表情姿态的识别，准确性可以提升许多，因此，本实施方式提高了人脸表情识别的精度。
在一些实施例中，上述识别所述脸部子图像代表的人脸上的至少两个器官中每个器官的动作的步骤，由用于进行动作识别的神经网络执行，所述用于进行动作识别的神经网络包括主干网络和至少两个分类分支网络，每个分类分支网络用于识别人脸上的一个器官的一种动作。
上述识别所述脸部子图像代表的人脸上的至少两个器官中每个器官的动作，具体可以包括：
步骤一、利用主干网络对所述脸部子图像进行特征提取，得到所述脸部子图像的特征图。
步骤二、分别利用每个分类分支网络根据所述脸部子图像的特征图进行动作识别，得到每个分类分支网络能够识别的动作的发生概率。
步骤三、将发生概率大于预设概率的动作确定为所述脸部子图像代表的人脸上的器官的动作。
在脸部子图像代表的人脸上包含多个器官的动作时，通过上述方法，可以同时识别出脸部子图像对应的多个器官的动作，另外，这里使用每个分类分支网络分别识别对应的器官的动作，由于训练每个分类分支网络时，可以专注于特定器官的动作对应的图像特征，这种方式可以使得训练出的分类分支网络的识别精度更高，从而使得情绪状态识别时的准确率更高。
对应于上述儿童状态检测方法，本公开还提供了一种儿童状态检测装置，该装置应用于进行儿童状态和安全性的终端设备或服务器上，并且各个模块能够实现与上述方法中相同的方法步骤以及取得相同的有益效果，因此对于其中相同的部分，本公开不再进行赘述。
如图5所示，本公开提供的一种儿童状态检测装置可以包括：
图像获取模块510，用于获取车舱内的目标图像；
儿童识别模块520，用于识别所述目标图像中的儿童；
位置判定模块530，用于基于所述儿童的位置信息，确定所述儿童是否位于车舱内的后排座椅上；
预警模块540，用于在所述儿童未位于车舱内的后排座椅上时，发出告警。
在一些实施例中，上述位置判定模块530还用于：基于所述儿童的位置信息和所述目标图像中的安全座椅的位置信息，确定所述儿童是否位于安全座椅上；
预警模块540在所述儿童未位于安全座椅上，并且在所述车舱的移动速度大于预设值时，发出告警。
在一些实施例中，上述儿童识别模块520还用于：
识别所述儿童的状态特征信息；
基于所述状态特征信息，调整所述车舱内的车舱环境。
在一些实施例中，所述儿童识别模块520在识别所述目标图像中的儿童时，用于：
基于所述目标图像，确定所述目标图像中的各个对象的对象信息；一个对象的对象信息包括该对象的中心点信息和该对象的中心点对应的对象类型信息；
基于确定的各个对象的对象信息，确定所述目标图像中的儿童。
在一些实施例中，所述儿童识别模块520在基于所述目标图像，确定所述目标图像中的各个对象的对象信息时，用于：
对所述目标图像进行特征提取，得到所述目标图像对应的第一特征图；
从所述第一特征图的第一预设通道中，获取所述第一特征图中每个特征点作为对象中心点的响应值；
将所述第一特征图分割为多个子区域，并确定每个子区域内最大的响应值和最大的响应值对应的特征点；
将最大的响应值大于预设阈值的目标特征点作为对象的中心点，并基于所述目标特征点在第一特征图上的位置索引确定对象的中心点的位置信息。
在一些实施例中，所述对象的中心点信息还包括对象的中心点的长度信息和宽度信息；所述儿童识别模块520，还用于：
从所述第一特征图的第二预设通道中，所述目标特征点的位置索引对应的位置处，获取所述目标特征点对应的对象的中心点的长度信息；
从所述第一特征图的第三预设通道中，所述目标特征点的位置索引对应的位置处，获取所述目标特征点对应的对象的中心点的宽度信息。
在一些实施例中，所述儿童识别模块520在基于所述目标图像，确定所述目标图像中所包括的各个对象的对象信息时，还用于：
对所述目标图像进行特征提取，得到所述目标图像对应的第二特征图；
基于所述目标特征点在第一特征图上的位置索引，确定所述目标特征点在所述第二特征图上的位置索引；
从所述目标特征点在所述第二特征图上的位置索引对应的位置处，获取所述目标特征点对应的对象类型信息。
在一些实施例中，所述对象包括人脸和人体；
所述儿童识别模块520在基于确定的各个对象的对象信息，确定所述目标图像中的儿童时，用于：
基于每个人体的中心点对应的位置偏移信息，分别确定与每个人体相匹配的人脸的中心点的预测位置信息；其中，属于同一个人的人体和人脸相匹配；
基于确定的预测位置信息和每个人脸的中心点的位置信息，确定与每个人体相匹配的人脸；
对于匹配成功的人体和人脸，利用匹配成功的人体的中心点对应的对象类型信息和人脸的中心点对应的对象类型信息，确定该匹配成功的人体和人脸所属的人是否为儿童。
在一些实施例中，所述儿童识别模块520在还用于：
对于未匹配成功的人体，利用该人体的中心点对应的对象类型信息确定该人体的中心点所属的人是否为儿童；
对于未匹配成功的人脸，利用该人脸的中心点对应的对象类型信息，确定该人脸的中心点所属的人是否为儿童。
在一些实施例中，所述状态特征信息包括儿童的睡眠状态特征信息；
所述儿童识别模块520在识别所述儿童的状态特征信息时，用于：
从所述目标图像中截取儿童的脸部子图像；
基于所述脸部子图像，确定儿童的左眼睁闭眼状态信息和右眼睁闭眼状态信息；
基于儿童的左眼睁闭眼状态信息和右眼睁闭眼状态信息，确定儿童的睡眠状态特征信息。
在一些实施例中，所述儿童识别模块520在基于儿童的左眼睁闭眼状态信息和右眼睁闭眼状态信息，确定儿童的睡眠状态特征信息时，用于：
基于连续多帧所述目标图像对应的左眼睁闭眼状态信息和右眼睁闭眼状态信息，确定所述儿童的闭眼累积时长；
在所述闭眼累积时长大于预设阈值时，确定所述睡眠状态特征信息为睡眠状态；
在所述闭眼累积时长小于或等于预设阈值时，确定所述睡眠状态特征信息为非睡眠状态。
在一些实施例中，所述状态特征信息包括儿童的情绪状态特征信息；
所述儿童识别模块520在识别所述儿童的状态特征信息时，用于：
从所述目标图像中截取儿童的脸部子图像；
识别所述脸部子图像代表的人脸上的至少两个器官中每个器官的动作；
基于识别到的所述每个器官的动作，确定所述脸部子图像代表的人脸上的情绪状态特征信息。
在一些实施例中，人脸上的器官的动作包括：
皱眉、瞪眼、嘴角上扬、上唇上抬、嘴角向下、张嘴。
在一些实施例中，所述识别所述脸部子图像代表的人脸上的至少两个器官中每个器官的动作的步骤，由用于进行动作识别的神经网络执行，所述用于进行动作识别的神经网络包括主干网络和至少两个分类分支网络，每个分类分支网络用于识别人脸上的一个器官的一种动作；
所述识别所述脸部子图像代表的人脸上的至少两个器官中每个器官的动作，包括：
利用主干网络对所述脸部子图像进行特征提取，得到所述脸部子图像的特征图；
分别利用每个分类分支网络根据所述脸部子图像的特征图进行动作识别，得到每个分类分支网络能够识别的动作的发生概率；
将发生概率大于预设概率的动作确定为所述脸部子图像代表的人脸上的器官的动作。
本公开实施例公开了一种电子设备，如图6所示，包括：处理器601、存储器602和总线603，所述存储器602存储有所述处理器601可执行的机器可读指令，当电子设备运行时，所述处理器601与所述存储器602之间通过总线603通信。
所述机器可读指令被所述处理器601执行时执行以下儿童状态检测方法的步骤：
获取车舱内的目标图像；
识别所述目标图像中的儿童；
基于所述儿童的位置信息，确定所述儿童是否位于车舱内的后排座椅上；
若所述儿童未位于车舱内的后排座椅上，则发出告警。
除此之外，机器可读指令被处理器601执行时，还可以执行上述方法部分描述的任一实施方式中的方法内容，这里不再赘述。
本公开实施例还提供的一种对应于上述方法及装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，本文不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本公开中不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (17)

1.一种儿童状态检测方法，其特征在于，包括：
获取车舱内的目标图像；
识别所述目标图像中的儿童；
基于所述儿童的位置信息，确定所述儿童是否位于车舱内的后排座椅上；
若所述儿童未位于车舱内的后排座椅上，则发出告警。
2.根据权利要求1所述的儿童状态检测方法，其特征在于，还包括：
基于所述儿童的位置信息和所述目标图像中的安全座椅的位置信息，确定所述儿童是否位于安全座椅上；
若所述儿童未位于安全座椅上，则在所述车舱的移动速度大于预设值时，发出告警。
3.根据权利要求1所述的儿童状态检测方法，其特征在于，所述识别所述目标图像中的儿童，还包括：
识别所述儿童的状态特征信息；
基于所述状态特征信息，调整所述车舱内的车舱环境。
4.根据权利要求1所述的儿童状态检测方法，其特征在于，所述识别所述目标图像中的儿童，包括：
基于所述目标图像，确定所述目标图像中的各个对象的对象信息；一个对象的对象信息包括该对象的中心点信息和该对象的中心点对应的对象类型信息；
基于确定的各个对象的对象信息，确定所述目标图像中的儿童。
5.根据权利要求4所述的儿童状态检测方法，其特征在于，所述基于所述目标图像，确定所述目标图像中的各个对象的对象信息，包括：
对所述目标图像进行特征提取，得到所述目标图像对应的第一特征图；
从所述第一特征图的第一预设通道中，获取所述第一特征图中每个特征点作为对象中心点的响应值；
将所述第一特征图分割为多个子区域，并确定每个子区域内最大的响应值和最大的响应值对应的特征点；
将最大的响应值大于预设阈值的目标特征点作为对象的中心点，并基于所述目标特征点在第一特征图上的位置索引确定对象的中心点的位置信息。
6.根据权利要求5所述的儿童状态检测方法，其特征在于，所述对象的中心点信息还包括对象的中心点的长度信息和宽度信息；所述基于所述目标图像，确定所述目标图像中所包括的各个对象的对象信息，还包括：
从所述第一特征图的第二预设通道中，所述目标特征点的位置索引对应的位置处，获取所述目标特征点对应的对象的中心点的长度信息；
从所述第一特征图的第三预设通道中，所述目标特征点的位置索引对应的位置处，获取所述目标特征点对应的对象的中心点的宽度信息。
7.根据权利要求5所述的儿童状态检测方法，其特征在于，所述基于所述目标图像，确定所述目标图像中所包括的各个对象的对象信息，还包括：
对所述目标图像进行特征提取，得到所述目标图像对应的第二特征图；
基于所述目标特征点在第一特征图上的位置索引，确定所述目标特征点在所述第二特征图上的位置索引；
从所述目标特征点在所述第二特征图上的位置索引对应的位置处，获取所述目标特征点对应的对象类型信息。
8.根据权利要求4至7任一项所述的儿童状态检测方法，其特征在于，所述对象包括人脸和人体；
所述基于确定的各个对象的对象信息，确定所述目标图像中的儿童，包括：
基于每个人体的中心点对应的位置偏移信息，分别确定与每个人体相匹配的人脸的中心点的预测位置信息；其中，属于同一个人的人体和人脸相匹配；
基于确定的预测位置信息和每个人脸的中心点的位置信息，确定与每个人体相匹配的人脸；
对于匹配成功的人体和人脸，利用匹配成功的人体的中心点对应的对象类型信息和人脸的中心点对应的对象类型信息，确定该匹配成功的人体和人脸所属的人是否为儿童。
9.根据权利要求8所述的儿童状态检测方法，其特征在于，所述方法还包括：
对于未匹配成功的人体，利用该人体的中心点对应的对象类型信息确定该人体的中心点所属的人是否为儿童；
对于未匹配成功的人脸，利用该人脸的中心点对应的对象类型信息，确定该人脸的中心点所属的人是否为儿童。
10.根据权利要求3所述的儿童状态检测方法，其特征在于，所述状态特征信息包括儿童的睡眠状态特征信息；
所述识别所述儿童的状态特征信息，包括：
从所述目标图像中截取儿童的脸部子图像；
基于所述脸部子图像，确定儿童的左眼睁闭眼状态信息和右眼睁闭眼状态信息；
基于儿童的左眼睁闭眼状态信息和右眼睁闭眼状态信息，确定儿童的睡眠状态特征信息。
11.根据权利要求10所述的儿童状态检测方法，其特征在于，所述基于儿童的左眼睁闭眼状态信息和右眼睁闭眼状态信息，确定儿童的睡眠状态特征信息，包括：
基于连续多帧所述目标图像对应的左眼睁闭眼状态信息和右眼睁闭眼状态信息，确定所述儿童的闭眼累积时长；
在所述闭眼累积时长大于预设阈值时，确定所述睡眠状态特征信息为睡眠状态；
在所述闭眼累积时长小于或等于预设阈值时，确定所述睡眠状态特征信息为非睡眠状态。
12.根据权利要求3所述的儿童状态检测方法，其特征在于，所述状态特征信息包括儿童的情绪状态特征信息；
所述识别所述儿童的状态特征信息，包括：
从所述目标图像中截取儿童的脸部子图像；
识别所述脸部子图像代表的人脸上的至少两个器官中每个器官的动作；
基于识别到的所述每个器官的动作，确定所述脸部子图像代表的人脸上的情绪状态特征信息。
13.根据权利要求12所述的儿童状态检测方法，其特征在于，人脸上的器官的动作包括：
皱眉、瞪眼、嘴角上扬、上唇上抬、嘴角向下、张嘴。
14.根据权利要求12或13所述的儿童状态检测方法，其特征在于，所述识别所述脸部子图像代表的人脸上的至少两个器官中每个器官的动作的步骤，由用于进行动作识别的神经网络执行，所述用于进行动作识别的神经网络包括主干网络和至少两个分类分支网络，每个分类分支网络用于识别人脸上的一个器官的一种动作；
所述识别所述脸部子图像代表的人脸上的至少两个器官中每个器官的动作，包括：
利用主干网络对所述脸部子图像进行特征提取，得到所述脸部子图像的特征图；
分别利用每个分类分支网络根据所述脸部子图像的特征图进行动作识别，得到每个分类分支网络能够识别的动作的发生概率；
将发生概率大于预设概率的动作确定为所述脸部子图像代表的人脸上的器官的动作。
15.一种儿童状态检测装置，其特征在于，包括：
图像获取模块，用于获取车舱内的目标图像；
儿童识别模块，用于识别所述目标图像中的儿童；
位置判定模块，用于基于所述儿童的位置信息，确定所述儿童是否位于车舱内的后排座椅上；
预警模块，用于若所述儿童未位于车舱内的后排座椅上，则发出告警。
16.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1～14任一所述的儿童状态检测方法。
17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1～14任一所述的儿童状态检测方法。
CN202010239259.7A 2020-03-30 2020-03-30 儿童状态检测方法及装置、电子设备、存储介质 Active CN111439170B (zh)

Priority Applications (9)

Application Number Priority Date Filing Date Title
CN202010239259.7A CN111439170B (zh) 2020-03-30 2020-03-30 儿童状态检测方法及装置、电子设备、存储介质
JP2021557464A JP7259078B2 (ja) 2020-03-30 2020-12-14 子供状態検出方法及び装置、電子機器、記憶媒体
SG11202113260SA SG11202113260SA (en) 2020-03-30 2020-12-14 Method and apparatus for detecting child status, electronic device, and storage medium
PCT/CN2020/136250 WO2021196738A1 (zh) 2020-03-30 2020-12-14 儿童状态检测方法及装置、电子设备、存储介质
KR1020217034715A KR20210142177A (ko) 2020-03-30 2020-12-14 어린이 상태 검출 방법 및 장치, 전자 기기, 메모리
PCT/CN2020/137074 WO2021196751A1 (zh) 2020-03-30 2020-12-17 基于数字人的车舱交互方法、装置及车辆
JP2022525182A JP7469467B2 (ja) 2020-03-30 2020-12-17 デジタルヒューマンに基づく車室インタラクション方法、装置及び車両
KR1020217039210A KR20220004156A (ko) 2020-03-30 2020-12-17 디지털 휴먼에 기반한 자동차 캐빈 인터랙션 방법, 장치 및 차량
US17/536,802 US20220084384A1 (en) 2020-03-30 2021-11-29 Method and apparatus for detecting child status, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010239259.7A CN111439170B (zh) 2020-03-30 2020-03-30 儿童状态检测方法及装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN111439170A true CN111439170A (zh) 2020-07-24
CN111439170B CN111439170B (zh) 2021-09-17

Family

ID=71649227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010239259.7A Active CN111439170B (zh) 2020-03-30 2020-03-30 儿童状态检测方法及装置、电子设备、存储介质

Country Status (6)

Country Link
US (1) US20220084384A1 (zh)
JP (1) JP7259078B2 (zh)
KR (1) KR20210142177A (zh)
CN (1) CN111439170B (zh)
SG (1) SG11202113260SA (zh)
WO (1) WO2021196738A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931639A (zh) * 2020-08-07 2020-11-13 上海商汤临港智能科技有限公司 驾驶员行为检测方法、装置、电子设备及存储介质
CN111931640A (zh) * 2020-08-07 2020-11-13 上海商汤临港智能科技有限公司 异常坐姿识别方法、装置、电子设备及存储介质
CN112001348A (zh) * 2020-08-31 2020-11-27 上海商汤临港智能科技有限公司 车舱内的乘员检测方法及装置、电子设备和存储介质
CN112418243A (zh) * 2020-10-28 2021-02-26 北京迈格威科技有限公司 特征提取方法、装置及电子设备
WO2021196751A1 (zh) * 2020-03-30 2021-10-07 上海商汤临港智能科技有限公司 基于数字人的车舱交互方法、装置及车辆
WO2021196738A1 (zh) * 2020-03-30 2021-10-07 上海商汤临港智能科技有限公司 儿童状态检测方法及装置、电子设备、存储介质
CN113581187A (zh) * 2021-08-06 2021-11-02 阿尔特汽车技术股份有限公司 用于车辆的控制方法及相应的系统、车辆、设备和介质
CN113920492A (zh) * 2021-10-29 2022-01-11 上海商汤临港智能科技有限公司 车内人员检测方法及装置、电子设备和存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085701B (zh) * 2020-08-05 2024-06-11 深圳市优必选科技股份有限公司 一种人脸模糊度检测方法、装置、终端设备及存储介质
CN114998871A (zh) * 2022-06-07 2022-09-02 东风汽车集团股份有限公司 一种车内哄娃模式实现系统及实现方法
CN115284976B (zh) * 2022-08-10 2023-09-12 东风柳州汽车有限公司 车辆座椅自动调节方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140361889A1 (en) * 2012-11-26 2014-12-11 II Billy Russell Wall Child Occupancy Monitoring System for a Vehicle Seat
CN106781282A (zh) * 2016-12-29 2017-05-31 天津中科智能识别产业技术研究院有限公司 一种智能行车驾驶员疲劳预警系统
CN109740516A (zh) * 2018-12-29 2019-05-10 深圳市商汤科技有限公司 一种用户识别方法、装置、电子设备及存储介质
CN110135300A (zh) * 2019-04-30 2019-08-16 信利光电股份有限公司 儿童安全监控方法、装置、计算机设备及计算机可读存储介质
CN110781799A (zh) * 2019-10-22 2020-02-11 上海商汤智能科技有限公司 车舱内图像处理方法及装置
CN110826521A (zh) * 2019-11-15 2020-02-21 爱驰汽车有限公司 驾驶员疲劳状态识别方法、系统、电子设备和存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4007662B2 (ja) * 1998-01-12 2007-11-14 本田技研工業株式会社 乗員検知装置
US6578870B2 (en) * 2000-07-12 2003-06-17 Siemens Ag Vehicle occupant weight classification system
JP4702100B2 (ja) 2006-02-27 2011-06-15 トヨタ自動車株式会社 居眠り判定装置および居眠り運転警告装置
CN103043003B (zh) * 2012-12-24 2016-02-03 朱佩芬 车载儿童安全保障系统
CN103359038B (zh) 2013-08-05 2016-09-21 北京汽车研究总院有限公司 一种识别儿童坐副驾驶位置的方法、系统及汽车
JP2017110990A (ja) 2015-12-16 2017-06-22 アルパイン株式会社 走行支援装置および走行支援方法
CN107229893A (zh) * 2016-03-24 2017-10-03 杭州海康威视数字技术股份有限公司 一种检测车辆的副驾驶室中是否存在儿童的方法及装置
JP2019123354A (ja) 2018-01-16 2019-07-25 株式会社デンソー 乗員検知装置
US10838425B2 (en) 2018-02-21 2020-11-17 Waymo Llc Determining and responding to an internal status of a vehicle
JP6739672B2 (ja) 2018-03-22 2020-08-12 三菱電機株式会社 体格推定装置および体格推定方法
CN111439170B (zh) * 2020-03-30 2021-09-17 上海商汤临港智能科技有限公司 儿童状态检测方法及装置、电子设备、存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140361889A1 (en) * 2012-11-26 2014-12-11 II Billy Russell Wall Child Occupancy Monitoring System for a Vehicle Seat
CN106781282A (zh) * 2016-12-29 2017-05-31 天津中科智能识别产业技术研究院有限公司 一种智能行车驾驶员疲劳预警系统
CN109740516A (zh) * 2018-12-29 2019-05-10 深圳市商汤科技有限公司 一种用户识别方法、装置、电子设备及存储介质
CN110135300A (zh) * 2019-04-30 2019-08-16 信利光电股份有限公司 儿童安全监控方法、装置、计算机设备及计算机可读存储介质
CN110781799A (zh) * 2019-10-22 2020-02-11 上海商汤智能科技有限公司 车舱内图像处理方法及装置
CN110826521A (zh) * 2019-11-15 2020-02-21 爱驰汽车有限公司 驾驶员疲劳状态识别方法、系统、电子设备和存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021196751A1 (zh) * 2020-03-30 2021-10-07 上海商汤临港智能科技有限公司 基于数字人的车舱交互方法、装置及车辆
WO2021196738A1 (zh) * 2020-03-30 2021-10-07 上海商汤临港智能科技有限公司 儿童状态检测方法及装置、电子设备、存储介质
CN111931639A (zh) * 2020-08-07 2020-11-13 上海商汤临港智能科技有限公司 驾驶员行为检测方法、装置、电子设备及存储介质
CN111931640A (zh) * 2020-08-07 2020-11-13 上海商汤临港智能科技有限公司 异常坐姿识别方法、装置、电子设备及存储介质
CN111931640B (zh) * 2020-08-07 2022-06-10 上海商汤临港智能科技有限公司 异常坐姿识别方法、装置、电子设备及存储介质
CN111931639B (zh) * 2020-08-07 2024-06-11 上海商汤临港智能科技有限公司 驾驶员行为检测方法、装置、电子设备及存储介质
CN112001348A (zh) * 2020-08-31 2020-11-27 上海商汤临港智能科技有限公司 车舱内的乘员检测方法及装置、电子设备和存储介质
WO2022041670A1 (zh) * 2020-08-31 2022-03-03 上海商汤临港智能科技有限公司 车舱内的乘员检测方法及装置、电子设备和存储介质
CN112418243A (zh) * 2020-10-28 2021-02-26 北京迈格威科技有限公司 特征提取方法、装置及电子设备
CN113581187A (zh) * 2021-08-06 2021-11-02 阿尔特汽车技术股份有限公司 用于车辆的控制方法及相应的系统、车辆、设备和介质
CN113920492A (zh) * 2021-10-29 2022-01-11 上海商汤临港智能科技有限公司 车内人员检测方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
JP2022530605A (ja) 2022-06-30
SG11202113260SA (en) 2021-12-30
CN111439170B (zh) 2021-09-17
US20220084384A1 (en) 2022-03-17
KR20210142177A (ko) 2021-11-24
WO2021196738A1 (zh) 2021-10-07
JP7259078B2 (ja) 2023-04-17

Similar Documents

Publication Publication Date Title
CN111439170B (zh) 儿童状态检测方法及装置、电子设备、存储介质
Mbouna et al. Visual analysis of eye state and head pose for driver alertness monitoring
CN111767900B (zh) 人脸活体检测方法、装置、计算机设备及存储介质
CN112016457A (zh) 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质
CN111931640B (zh) 异常坐姿识别方法、装置、电子设备及存储介质
CN111439267B (zh) 一种舱内环境的调整方法及装置
CN109740477A (zh) 驾驶员疲劳检测系统及其疲劳检测方法
JP2019106193A (ja) 情報処理装置、情報処理プログラム、及び、情報処理方法
KR20220019105A (ko) 안전벨트 착용 검출 방법, 장치, 전자 기기, 저장 매체 및 프로그램
Yan et al. Recognizing driver inattention by convolutional neural networks
CN115331205A (zh) 一种云边协同的驾驶员疲劳检测系统
Faraji et al. Drowsiness detection based on driver temporal behavior using a new developed dataset
Yi et al. Safety belt wearing detection algorithm based on human joint points
CN105989328A (zh) 检测人员使用手持装置的方法及装置
CN116740792A (zh) 一种观光车作业人员人脸识别方法及系统
Borah et al. ANN based human facial expression recognition in color images
Cheamanunkul et al. Drowsiness detection using facial emotions and eye aspect ratios
CN114565531A (zh) 一种图像修复方法、装置、设备和介质
Wang et al. Enhancing YOLOv7-Based Fatigue Driving Detection through the Integration of Coordinate Attention Mechanism
Dehkordi et al. An effective system to detect face drowsiness status using local features in a hierarchical decision-making structure
JP7211904B2 (ja) 摂動画像データに対応した画像識別装置
CN117894083B (zh) 一种基于深度学习的图像识别方法和系统
Sahare Driver drowsiness detection system
Evstafev et al. Controlling driver behaviour in ADAS with emotions recognition system
Greer et al. Driver Activity Classification Using Generalizable Representations from Vision-Language Models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant