CN115440001B - 儿童跟随看护方法、装置、跟随机器人及存储介质 - Google Patents

儿童跟随看护方法、装置、跟随机器人及存储介质 Download PDF

Info

Publication number
CN115440001B
CN115440001B CN202211057770.0A CN202211057770A CN115440001B CN 115440001 B CN115440001 B CN 115440001B CN 202211057770 A CN202211057770 A CN 202211057770A CN 115440001 B CN115440001 B CN 115440001B
Authority
CN
China
Prior art keywords
child
data
positioning
track
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211057770.0A
Other languages
English (en)
Other versions
CN115440001A (zh
Inventor
郁亚南
樊玉龙
梁明强
卢振锋
杨靖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongguan Benmo Technology Co Ltd
Original Assignee
Dongguan Benmo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan Benmo Technology Co Ltd filed Critical Dongguan Benmo Technology Co Ltd
Priority to CN202211057770.0A priority Critical patent/CN115440001B/zh
Publication of CN115440001A publication Critical patent/CN115440001A/zh
Application granted granted Critical
Publication of CN115440001B publication Critical patent/CN115440001B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G01S19/16—Anti-theft; Abduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Child & Adolescent Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Emergency Management (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及人工智能技术，揭露了一种儿童跟随看护方法，包括：监测看护人及儿童所对应的定位母点及定位子点的运动轨迹，根据所述运动轨迹构建轨迹地图；在所述定位子点超出所述轨迹地图时，判断超出所述轨迹地图的时间是否达到预设预警时间；若超出所述轨迹地图的时间达到所述预警时间，则对所述儿童进行安全识别；根据安全识别的结果生成看护预警，并将所述看护预警发送至所述定位母点。本发明还提出一种儿童跟随看护装置、跟随机器人以及存储介质。本发明可以提高儿童看护的安全性和全面性。

Description

儿童跟随看护方法、装置、跟随机器人及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种儿童跟随看护方法、装置、跟随机器人及计算机可读存储介质。
背景技术
随着人工智能的发展，智能化的应用及装置已渗透人们的日常生活之中。同样，将人工智能运用于幼儿及青少年领域也是目前的一大趋势。现有技术中，存在针对儿童在户外，室内等场景下的防范手段，例如给儿童佩戴定位器，能够实时告知看护人此时儿童的定位地点，但这种定位器存在一种问题：定位器定位的位置不能实现全角度覆盖，无法得到其准确位置，且仅能通过定位这一方面实现看护，进而导致儿童看护的安全性以及全面性较低，看护效果较差。
发明内容
本发明提供一种儿童跟随看护方法、装置、跟随机器人及计算机可读存储介质，其主要目的在于解决儿童看护的安全性以及全面性较低的问题。
为实现上述目的，本发明提供的一种儿童跟随看护方法，包括：
监测看护人及儿童所对应的定位母点及定位子点的运动轨迹，根据所述运动轨迹构建轨迹地图；
在所述定位子点超出所述轨迹地图时，判断超出所述轨迹地图的时间是否达到预设预警时间；
若超出所述轨迹地图的时间达到所述预警时间，则对所述儿童进行安全识别；
根据安全识别的结果生成看护预警，并将所述看护预警发送至所述定位母点。
可选地，所述监测看护人及儿童所对应的定位母点及定位子点的运动轨迹，包括：
将看护人设置为定位母点，将儿童设置为定位子点，利用预设的监测设备接收所述定位母点的定位坐标，及所述定位子点的定位坐标；
根据所述定位母点及所述定位子点的定位坐标描绘所述定位母点及所述定位子点的运动轨迹。
可选地，所述根据所述运动轨迹构建轨迹地图，包括：
获取所述运动轨迹在预设方位的边缘点，根据所述边缘点生成轨迹框；
根据所述轨迹框确定中心点，根据预设的第一安全距离以及所述中心点计算安全范围，并根据所述安全范围生成轨迹地图。
可选地，所述根据所述运动轨迹构建轨迹地图，包括：
根据所述看护人确定主看护人以及子看护人，按照预设的第二安全距离及所述主看护人的运动轨迹构建第一轨迹范围图；
按照预设的第三安全距离及所述子看护人的运动轨迹构建第二轨迹范围图，根据所述第一轨迹范围图及所述第二轨迹范围图生成轨迹地图。
可选地，所述对所述儿童进行安全识别，包括：
获取所述定位子点的行为数据，根据所述行为数据中的人脸图像进行目标识别，并根据目标识别的结果对所述人脸图像进行情绪识别，得到所述儿童的识别情绪；
根据所述行为数据中的肢体数据进行姿态识别，得到所述儿童的识别姿态。
可选地，所述根据所述行为数据中的人脸图像进行目标识别，包括：
利用预设的索贝尔模板对所述人脸图像进行索贝尔响应值计算，得到响应值比值；
在所述响应值比值大于预设的比值阈值时，判定所述人脸图像中包含人脸，并获取所述儿童的认证图像，对所述认证图像及所述人脸图像进行特征识别，得到所述认证图像及所述人脸图像对应的特征点；
根据所述特征点生成所述认证图像及所述人脸图像对应的图像向量，并对所述图像向量进行相似度计算，并在相似度计算的结果大于预设的相似度阈值时，判定所述人脸图像中存在所述儿童。
可选地，所述根据所述行为数据中的肢体数据进行姿态识别，得到所述儿童的识别姿态，包括：
判断所述肢体数据为图像数据还是字段数据；
当所述肢体数据为字段数据时，对所述肢体数据进行数据滤波处理，得到标准数据；
将所述标准数据合成角度数据，利用预设的卡尔曼滤波器根据所述角度数据进行姿态预测，得到识别姿态；
当所述肢体数据为图像数据时，对所述肢体数据进行三维空间，并利用预设的骨骼序列对转换后的结果进行骨骼点计算，得到骨骼特征；
将所述骨骼特征输入预先训练的分类器模型中，得到每个肢体姿态类别的概率，根据所述每个肢体姿态类别的概率确定所述儿童的识别姿态。
为了解决上述问题，本发明还提供一种儿童跟随看护装置，所述装置包括：
轨迹地图构建模块，用于监测看护人及儿童所对应的定位母点及定位子点的运动轨迹，根据所述运动轨迹构建轨迹地图；
儿童安全监测模块，用于在所述定位子点超出所述轨迹地图以及超出所述轨迹地图的时间达到所述预警时间时，则对所述儿童进行安全识别；
看护预警模块，用于根据安全识别的结果生成看护预警，并将所述看护预警发送至所述定位母点。
为了解决上述问题，本发明还提供一种用于执行如权利要求1所述儿童跟随看护方法的跟随机器人，其特征在于，所述跟随机器人包括：
至少一个处理器，至少一个由直驱电机驱动的行走机构，所述行走机构用于支撑所述跟随机器人移动；以及，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的儿童跟随看护方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被跟随机器人中的处理器执行以实现上述所述的儿童跟随看护方法。
本发明实施例通过对看护人以及儿童的定位，并利用定位生成轨迹地图，进而实现对看护人和儿童的距离进行监控，达到对儿童看护的目的；通过确定儿童是否超过轨迹地图以及判断超出轨迹地图的时间，实现对儿童看护状态的跟随性预判；通过对儿童进行安全识别，实现了儿童在超出轨迹地图时，是否出现意外情况的实时把控；通过多角度的识别信息生成看护预警，实现了儿童看护的多方位性，提高了儿童看护的安全性和全面性。因此本发明提出的儿童跟随看护方法、装置、跟随机器人及计算机可读存储介质，可以解决儿童看护的安全性以及全面性较低的问题。
附图说明
图1为本发明一实施例提供的儿童跟随看护方法的流程示意图；
图2为本发明一实施例提供的儿童跟随看护装置的功能模块图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种儿童跟随看护方法。所述儿童跟随看护方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的跟随机器人中的至少一种。换言之，所述儿童跟随看护方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参照图1所示，为本发明一实施例提供的儿童跟随看护方法的流程示意图。在本实施例中，所述儿童跟随看护方法包括：
S1、监测看护人及儿童所对应的定位母点及定位子点的运动轨迹，根据所述运动轨迹构建轨迹地图。
本发明实施例中，可以利用GPS定位器、UBW定位器、无线感应设备等监测设备实现对看护人及儿童的定位；通过监测设备对看护人进行定位，可以获取看护人所对应的定位母点的运动轨迹；通过监测设备对儿童进行定位，可以获取儿童所对应的定位子点的运动轨迹。其中，所述看护人可以不止一个，进而看护人对应的定位母端可以不止一个，例如，所述看护人可以为看护机器人以及成年看护人，其对应的定位母端可以为看护机器人对应的第一定位母端、成年看护人对应的第二定位母端。
本发明实施例中，所述监测看护人及儿童所对应的定位母点及定位子点的运动轨迹，包括：
将看护人设置为定位母点，将儿童设置为定位子点，利用预设的监测设备接收所述定位母点的定位坐标，及所述定位子点的定位坐标；
根据所述定位母点及所述定位子点的定位坐标描绘所述定位母点及所述定位子点的运动轨迹。
本发明实施例中，可以利用北斗等监测设备的载波相位差分定位方法实现对定位母点及定位子点的精确定位。
本发明实施例中，在接收到定位坐标时，可以先确定定位母点的基准坐标，并将接收的另一定位坐标确定为定位子点的基准坐标；在基准坐标确定后，根据后续接收的定位坐标与基准坐标之间的距离或者定位坐标与在前的定位坐标之间的距离确定定位坐标属于定位母点还是定位子点。
本发明实施例中，根据接收定位坐标的时间不同，分类识别得到的定位坐标可能不完全是连续的，在生成运动轨迹时，则根据定位母点及定位子点所对应的定位坐标之间距离生成连续路线，根据连续路径绘制成运动轨迹。
本发明实施例中，所述根据所述运动轨迹构建轨迹地图，包括：
获取所述运动轨迹在预设方位的边缘点，根据所述边缘点生成轨迹框；
根据所述轨迹框确定中心点，根据预设的第一安全距离以及所述中心点计算安全范围，并根据所述安全范围生成轨迹地图。
本发明实施例中，所述预设方位可以为运动轨迹最上方、最下方、最左方、最右方四个方位，根据四个方位的边缘点可以构建矩形的轨迹框；生成轨迹框后，轨迹框的中心点可以为矩形的中心点(矩阵对角线的交叉点)，确定中心点后可以根据中心点及所述安全距离构建圆形范围框，该圆形范围框即为安全范围；根据运动轨迹的不同，最终生成的安全范围也会跟着变换，进而，根据安全范围确定的轨迹地图也会相应变换。
本发明另一可选实施例中，在看护人不止一个时，根据不同的看护人在生成轨迹地图时，轨迹地图中可以包括不同的轨迹范围。
详细地，本发明实施例中，所述根据所述运动轨迹构建轨迹地图，包括：
根据所述看护人确定主看护人以及子看护人，按照预设的第二安全距离及所述主看护人的运动轨迹构建第一轨迹范围图；
按照预设的第三安全距离及所述子看护人的运动轨迹构建第二轨迹范围图，根据所述第一轨迹范围图及所述第二轨迹范围图生成轨迹地图。
本发明实施例中，所述主看护人可以为成人看护人，所述子看护人可以为看护机器人，看护机器人用于跟随儿童，即看护机器人的运动轨迹可以与所述儿童的运动轨迹重合，或者为具有一段距离的相同轨迹。所述第一轨迹范围图的大于第二轨迹范围图，第一轨迹范围图可以包括第二轨迹范围图，也可以不包括第二轨迹范围图，在第一轨迹范围图包括第二轨迹范围图时，所述第一轨迹范围图即为轨迹地图；在第一轨迹范围图不包括第二轨迹范围图时，第一轨迹范围图与第二轨迹范围图共同构成了轨迹地图。
本发明实施例中，所述第一安全距离、所述第二安全距离及所述第三安全距离可以根据实际的看护范围需求进行预先设定。例如，第二安全距离对应着为成人看护人距离儿童的看护范围，看护距离可以大一些，设定为5米，第三安全距离对应着为看护机器人距离儿童的看护范围，看护距离相对于第二安全距离要小一些，设定为3米。
S2、在所述定位子点超出所述轨迹地图时，判断超出所述轨迹地图的时间是否达到预设预警时间。
本发明一可选实施例中，若所述轨迹地图包括第一轨迹范围图(儿童与成人之间的安全距离表示)以及第二轨迹范围图(儿童与看护机器人之间的安全距离表示)，在定位子点超过第一轨迹范围图以及第二轨迹范围图时，判定儿童超过安全范围，则需要根据儿童超过安全范围的时间进行儿童安全状态的进一步判定。
本发明实施例中，可以在定位子点超出所述轨迹地图的预警时间后，判定儿童完全远离安全区域(即轨迹地图)，例如，定位子点超出所述轨迹地图超过5-10秒以上，认定儿童处于非安全状态。
若超出所述轨迹地图的时间未达到所述预警时间，则返回S2。
本发明实施例中，若超出所述轨迹地图的时间未达到所述预警时间，则说明儿童远离安全范围时间不久，随着处理时间的正向增加，需要重新判断超出所述轨迹地图的时间是否达到所述预警时间。
若超出所述轨迹地图的时间达到所述预警时间，则执行S3、对所述儿童进行安全识别。
本发明实施例中，可以在定位子点超出所述轨迹地图的预警时间后，对儿童状态的安全性进行进一步判定。
本发明实施例中，所述对所述儿童进行安全识别，包括：
获取所述定位子点的行为数据，根据所述行为数据中的人脸图像进行目标识别，并根据目标识别的结果对所述人脸图像进行情绪识别，得到所述儿童的识别情绪；
根据所述行为数据中的肢体数据进行姿态识别，得到所述儿童的识别姿态。
本发明实施例中，所述定位子点的行为数据可以通过具有摄像头、传感器等组件的穿戴式设备获取，或者通过看护机器人等对定位子点监控获的。
具体地，本发明实施例可以通过摄像头获取定位子点所对应行为数据中的人脸图像，通过传感器获取儿童的肢体数据；本发明实施例还可以通过看护机器人对儿童进行监控，获取儿童的人脸图像以及儿童的姿态图像，通过该姿态图像可以生成儿童的肢体数据。
进一步地，本发明实施例中，所述根据所述行为数据中的人脸图像进行目标识别，包括：
利用预设的索贝尔模板对所述人脸图像进行索贝尔响应值计算，得到响应值比值；
在所述响应值比值大于预设的比值阈值时，判定所述人脸图像中包含人脸，并获取所述儿童的认证图像，对所述认证图像及所述人脸图像进行特征识别，得到所述认证图像及所述人脸图像对应的特征点；
根据所述特征点生成所述认证图像及所述人脸图像对应的图像向量，并对所述图像向量进行相似度计算，并在相似度计算的结果大于预设的相似度阈值时，判定所述人脸图像中存在所述儿童。
具体地，本发明实施例中，所述利用预设的索贝尔模板对所述人脸图像进行索贝尔响应值计算，得到响应值比值，包括：
利用多种预设尺寸的窗口扫描所述人脸图像，得到多个人脸子图像；
根据预设的索贝尔模板及所述人脸子图像中的像素点进行计算，得到所述像素点的索贝尔响应值；
根据多个所述人脸子图像对应的所述索贝尔响应值生成响应值比值。
本发明实施例中，所述窗口在预设尺寸下，按照预定步长在水平方向和垂直方向上扫描所述人脸图像，窗口在每次所在的位置均限定了一个图像范围，可以将每次窗口范围内的图像部分作为一个人脸子图像；在一种尺寸的窗口扫描完所述人脸图像之后，可以按照预定义的尺度变化比率改变窗口尺度(放大或缩小)，得到多种尺寸的窗口；再以改变后的另一种尺寸，通过上述方式再次扫描所述人脸图像，最终可以得到多种窗口尺寸扫描得到的多个人脸子图像。
本发明实施例中，所述索贝尔模板为Sobel(Isotropic Sobel)模板，所述模板包含检测水平边缘的水平方向Sobel算子模板，以及检测垂直边缘的垂直方向Sobel算子模板。
详细地，本发明实施例中，可以利用下式根据多个所述人脸子图像的所述索贝尔响应值生成响应值比值：
其中，R为所述响应值比值；Gi为第i个人脸子图像中像素点的索贝尔响应值，n为人脸子图像的数量。
本发明实施例中，所述比值阈值可以设定为50％，如果响应值比值大于50％，则认为对应的人脸子图像中包含人脸，进而确定所述人脸图像中包含人脸；如果响应值比值小于或等于50％，则认为对应的人脸子图像中不包含人脸。
进一步地，本发明实施例中，所述根据所述特征点生成所述认证图像及所述人脸图像对应的图像向量，包括：
对所述特征点进行匹配计算，确定所述特征点中的匹配点；
根据所述认证图像对应的特征点中的匹配点的数量生成所述认证图像的图像向量；
根据所述人脸图像对应的特征点中的匹配点的数量生成所述人脸图像的图像向量。
本发明实施例中，可以采用尺度不变特征(Scale-Invariant FeatureTransform，简称：SIFT)算法来确定匹配点。SIFT算法具有尺度不变性，可在图像中检测出关键点，一种基于尺度空间的、对图像缩放、旋转甚至仿射变换都保持不变性的图像局部特征描述算子，可以有效的寻找到两幅图像间存在的相似的特征点。
本发明实施例中，所述根据目标识别的结果对所述人脸图像进行情绪识别，得到所述儿童的识别情绪，包括：
在所述目标识别的结果为存在所述儿童时，对所述人脸图像的脸部动作单元区域进行标注，得到标注单元图像；
利用预训练的神经网络模型对所述标注单元图像进行微表情检测，得到识别情绪。
本发明实施例中，所述神经网络模型中包含多层卷积层、捷径层及检测层。所述卷积层通过一组卷积参数模板对上一层特征图像进行卷积运算，并获得与卷积参数模板个数相同的特征图像作为输出层，卷积层的激活函数可以采用有泄漏的线性整流函数；所述捷径层可以削弱模型中后向传播过程中梯度消失问题的影响，可以在每隔三层卷积层之间加入一个捷径层，即在三层卷积的输出层中加入初始的输入；所述检测层为微表情检测结果的输出，将最后的卷积层输出作为检测层的输入，检测层的激活函数可以选用Logistic函数，检测层作为网络输出仅设置一层即可，为了提高动作单元的检测的准确率，可将检测层设置为两层，两层之间再间隔卷积层和捷径层，从而形成多个尺度的检测层设置。
本发明实施例中，所述根据所述行为数据中的肢体数据进行姿态识别，得到所述儿童的识别姿态，包括：
判断所述肢体数据为图像数据还是字段数据；
当所述肢体数据为字段数据时，执行对所述肢体数据进行数据滤波处理，得到标准数据；
将所述标准数据合成角度数据，利用预设的卡尔曼滤波器根据所述角度数据进行姿态预测，得到识别姿态；
当所述肢体数据为图像数据时，执行对所述肢体数据进行三维空间，并利用预设的骨骼序列对转换后的结果进行骨骼点计算，得到骨骼特征；
将所述骨骼特征输入预先训练的分类器模型中，得到每个肢体姿态类别的概率，根据所述每个肢体姿态类别的概率确定所述儿童的识别姿态。
本发明实施例中，可以利用运动合成算法将标准数据合成为角度数据；卡尔曼滤波器可以根据角度数据中上一个时刻的值预估下一时刻的值，得到先验估计，同时也会预测下一刻的误差，得到先验误差；再计算卡尔曼增益，再利用上述先验估计计算后验估计，同时将先验误差到后验误差，根据后验估计以及后验误差确定人物的识别姿态。
本发明实施例中，将所述骨骼特征输入预先训练的分类器模型中，输出的每个肢体类别标签的概率，可以取输出概率中最大值所在的类别作为所述儿童的识别姿态。其中，所述分类器模型可以为SVM分类器。
S4、根据安全识别的结果生成看护预警，并将所述看护预警发送至所述定位母点。
本发明实施例中，所述安全识别的结果可以包括识别情绪以及识别姿态，所述识别情绪可以包括高兴、沮丧、惊奇、害怕、愤怒、厌恶以及中性表情等，所述识别姿态可以包括奔跑、挣扎、站立、躺倒等；本发明实施例可以预先设置识别标签，所述识别标签中的情绪标签可以为害怕、愤怒，所述识别标签中的姿态标签可以为躺倒、挣扎等，根据该识别标签以及姿态标签对所述识别情绪及所述识别姿态进行识别，当出现识别标签中的状态时，则进行看护预警。
本发明实施例中，所述看护预警可以为短信、警报声等形式，通过向定位母点发送看护预警，实现了对儿童的安全看护。
本发明另一可选实施例中，在生成看护预警之前，可以向向儿童播放预先录制的看护人音视频文件等，以提醒儿童回到轨迹地图的范围内。
本发明另一可选实施例中，在生成看护预警之后，可以向看护人发送定位子点实时拍摄儿童的视频，并且可以将定位子点的运动路线发送至定位母点，或者，利用看护机器人的看护组件牵制定位子点的儿童。
本发明实施例通过对看护人以及儿童的定位，并利用定位生成轨迹地图，进而实现对看护人和儿童的距离进行监控，达到对儿童看护的目的；通过确定儿童是否超过轨迹地图以及判断超出轨迹地图的时间，实现对儿童看护状态的跟随性预判；通过对儿童进行安全识别，实现了儿童在超出轨迹地图时，是否出现意外情况的实时把控；通过多角度的识别信息生成看护预警，实现了儿童看护的多方位性，提高了儿童看护的安全性和全面性。因此本发明提出的儿童跟随看护方法，可以解决儿童看护的安全性以及全面性较低的问题。
如图2所示，是本发明一实施例提供的儿童跟随看护装置的功能模块图。
本发明所述儿童跟随看护装置100可以安装于跟随机器人中。根据实现的功能，所述儿童跟随看护装置100可以包括轨迹地图构建模块101、儿童安全监测模块102及看护预警模块103。本发明所述模块也可以称之为单元，是指一种能够被跟随机器人处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在跟随机器人的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述轨迹地图构建模块101，用于监测看护人及儿童所对应的定位母点及定位子点的运动轨迹，根据所述运动轨迹构建轨迹地图；
所述儿童安全监测模块102，用于在所述定位子点超出所述轨迹地图以及超出所述轨迹地图的时间达到所述预警时间时，则对所述儿童进行安全识别；
所述看护预警模块103，用于根据安全识别的结果生成看护预警，并将所述看护预警发送至所述定位母点。
详细地，本发明实施例中所述儿童跟随看护装置100中所述的各模块在使用时采用与附图中所述的儿童跟随看护方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
是本发明一实施例提供的实现儿童跟随看护方法的跟随机器人的结构示意图。
所述跟随机器人可以包括处理器、由直驱电机驱动的行走机构，所述行走机构用于支撑所述跟随机器人移动、存储器、通信总线以及通信接口，还可以包括存储在所述存储器中并可在所述处理器上运行的计算机程序，如儿童跟随看护程序。
其中，所述处理器在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing Unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器是所述跟随机器人的控制核心(ControlUnit)，利用各种接口和线路连接整个跟随机器人的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如执行儿童跟随看护程序等)，以及调用存储在所述存储器内的数据，以执行跟随机器人的各种功能和处理数据。
所述存储器至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器在一些实施例中可以是跟随机器人的内部存储单元，例如该跟随机器人的移动硬盘。所述存储器在另一些实施例中也可以是跟随机器人的外部存储设备，例如跟随机器人上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器还可以既包括跟随机器人的内部存储单元也包括外部存储设备。所述存储器不仅可以用于存储安装于跟随机器人的应用软件及各类数据，例如儿童跟随看护程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述通信总线可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器以及至少一个处理器等之间的连接通信。
所述通信接口用于上述跟随机器人与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该跟随机器人与其他跟随机器人之间建立通信连接。所述用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在跟随机器人中处理的信息以及用于显示可视化的用户界面。
例如，尽管未示出，所述跟随机器人还可以包括给各个部件供电的电源(比如电池)，通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述跟随机器人还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述跟随机器人中的所述存储器存储的儿童跟随看护程序是多个指令的组合，在所述处理器中运行时，可以实现：
监测看护人及儿童所对应的定位母点及定位子点的运动轨迹，根据所述运动轨迹构建轨迹地图；
在所述定位子点超出所述轨迹地图时，判断超出所述轨迹地图的时间是否达到预设预警时间；
若超出所述轨迹地图的时间达到所述预警时间，则对所述儿童进行安全识别；
根据安全识别的结果生成看护预警，并将所述看护预警发送至所述定位母点。
具体地，所述处理器对上述指令的具体实现方法可参考附图对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述跟随机器人集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被跟随机器人的处理器所执行时，可以实现：
监测看护人及儿童所对应的定位母点及定位子点的运动轨迹，根据所述运动轨迹构建轨迹地图；
在所述定位子点超出所述轨迹地图时，判断超出所述轨迹地图的时间是否达到预设预警时间；
若超出所述轨迹地图的时间达到所述预警时间，则对所述儿童进行安全识别；
根据安全识别的结果生成看护预警，并将所述看护预警发送至所述定位母点。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (6)

1.一种儿童跟随看护方法，其特征在于，所述方法包括：
监测看护人及儿童所对应的定位母点及定位子点的运动轨迹，根据所述运动轨迹构建轨迹地图；
在所述定位子点超出所述轨迹地图时，判断超出所述轨迹地图的时间是否达到预设预警时间；
若超出所述轨迹地图的时间达到所述预警时间，则对所述儿童进行安全识别；
根据安全识别的结果生成看护预警，并将所述看护预警发送至所述定位母点；
其中，所述根据所述运动轨迹构建轨迹地图，包括：
根据所述看护人确定主看护人以及子看护人，按照预设的第二安全距离及所述主看护人的运动轨迹构建第一轨迹范围图；
按照预设的第三安全距离及所述子看护人的运动轨迹构建第二轨迹范围图，根据所述第一轨迹范围图及所述第二轨迹范围图生成轨迹地图；
其中，所述对所述儿童进行安全识别，包括：
获取所述定位子点的行为数据，根据所述行为数据中的人脸图像进行目标识别，并根据目标识别的结果对所述人脸图像进行情绪识别，得到所述儿童的识别情绪；
根据所述行为数据中的肢体数据进行姿态识别，得到所述儿童的识别姿态；
其中，所述根据所述行为数据中的人脸图像进行目标识别，包括：
利用预设的索贝尔模板对所述人脸图像进行索贝尔响应值计算，得到响应值比值；
在所述响应值比值大于预设的比值阈值时，判定所述人脸图像中包含人脸，并获取所述儿童的认证图像，对所述认证图像及所述人脸图像进行特征识别，得到所述认证图像及所述人脸图像对应的特征点；
根据所述特征点生成所述认证图像及所述人脸图像对应的图像向量，并对所述图像向量进行相似度计算，并在相似度计算的结果大于预设的相似度阈值时，判定所述人脸图像中存在所述儿童；
其中，所述根据所述行为数据中的肢体数据进行姿态识别，得到所述儿童的识别姿态，包括：
判断所述肢体数据为图像数据还是字段数据；
当所述肢体数据为字段数据时，对所述肢体数据进行数据滤波处理，得到标准数据；
将所述标准数据合成角度数据，利用预设的卡尔曼滤波器根据所述角度数据进行姿态预测，得到识别姿态；
当所述肢体数据为图像数据时，对所述肢体数据进行三维空间，并利用预设的骨骼序列对转换后的结果进行骨骼点计算，得到骨骼特征；
将所述骨骼特征输入预先训练的分类器模型中，得到每个肢体姿态类别的概率，根据所述每个肢体姿态类别的概率确定所述儿童的识别姿态。
2.如权利要求1所述的儿童跟随看护方法，其特征在于，所述监测看护人及儿童所对应的定位母点及定位子点的运动轨迹，包括：
将看护人设置为定位母点，将儿童设置为定位子点，利用预设的监测设备接收所述定位母点的定位坐标，及所述定位子点的定位坐标；
根据所述定位母点及所述定位子点的定位坐标描绘所述定位母点及所述定位子点的运动轨迹。
3.如权利要求1所述的儿童跟随看护方法，其特征在于，所述根据所述运动轨迹构建轨迹地图，包括：
获取所述运动轨迹在预设方位的边缘点，根据所述边缘点生成轨迹框；
根据所述轨迹框确定中心点，根据预设的第一安全距离以及所述中心点计算安全范围，并根据所述安全范围生成轨迹地图。
4.一种儿童跟随看护装置，其特征在于，所述装置包括：
轨迹地图构建模块，用于监测看护人及儿童所对应的定位母点及定位子点的运动轨迹，根据所述运动轨迹构建轨迹地图，其中，所述根据所述运动轨迹构建轨迹地图，包括：
根据所述看护人确定主看护人以及子看护人，按照预设的第二安全距离及所述主看护人的运动轨迹构建第一轨迹范围图；
按照预设的第三安全距离及所述子看护人的运动轨迹构建第二轨迹范围图，根据所述第一轨迹范围图及所述第二轨迹范围图生成轨迹地图；
儿童安全监测模块，用于在所述定位子点超出所述轨迹地图以及超出所述轨迹地图的时间达到预警时间时，则对所述儿童进行安全识别，其中，所述对所述儿童进行安全识别，包括：
获取所述定位子点的行为数据，根据所述行为数据中的人脸图像进行目标识别，并根据目标识别的结果对所述人脸图像进行情绪识别，得到所述儿童的识别情绪；
根据所述行为数据中的肢体数据进行姿态识别，得到所述儿童的识别姿态；
其中，所述根据所述行为数据中的人脸图像进行目标识别，包括：
利用预设的索贝尔模板对所述人脸图像进行索贝尔响应值计算，得到响应值比值；
在所述响应值比值大于预设的比值阈值时，判定所述人脸图像中包含人脸，并获取所述儿童的认证图像，对所述认证图像及所述人脸图像进行特征识别，得到所述认证图像及所述人脸图像对应的特征点；
根据所述特征点生成所述认证图像及所述人脸图像对应的图像向量，并对所述图像向量进行相似度计算，并在相似度计算的结果大于预设的相似度阈值时，判定所述人脸图像中存在所述儿童；
其中，所述根据所述行为数据中的肢体数据进行姿态识别，得到所述儿童的识别姿态，包括：
判断所述肢体数据为图像数据还是字段数据；
当所述肢体数据为字段数据时，对所述肢体数据进行数据滤波处理，得到标准数据；
将所述标准数据合成角度数据，利用预设的卡尔曼滤波器根据所述角度数据进行姿态预测，得到识别姿态；
当所述肢体数据为图像数据时，对所述肢体数据进行三维空间，并利用预设的骨骼序列对转换后的结果进行骨骼点计算，得到骨骼特征；
将所述骨骼特征输入预先训练的分类器模型中，得到每个肢体姿态类别的概率，根据所述每个肢体姿态类别的概率确定所述儿童的识别姿态；
看护预警模块，用于根据安全识别的结果生成看护预警，并将所述看护预警发送至所述定位母点。
5.一种用于执行如权利要求1所述儿童跟随看护方法的跟随机器人，其特征在于，所述跟随机器人包括：
至少一个处理器，至少一个由直驱电机驱动的行走机构，所述行走机构用于支撑所述跟随机器人移动；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至3中任意一项所述的儿童跟随看护方法。
6.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3中任意一项所述的儿童跟随看护方法。
CN202211057770.0A 2022-08-31 2022-08-31 儿童跟随看护方法、装置、跟随机器人及存储介质 Active CN115440001B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211057770.0A CN115440001B (zh) 2022-08-31 2022-08-31 儿童跟随看护方法、装置、跟随机器人及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211057770.0A CN115440001B (zh) 2022-08-31 2022-08-31 儿童跟随看护方法、装置、跟随机器人及存储介质

Publications (2)

Publication Number Publication Date
CN115440001A CN115440001A (zh) 2022-12-06
CN115440001B true CN115440001B (zh) 2024-06-14

Family

ID=84245530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211057770.0A Active CN115440001B (zh) 2022-08-31 2022-08-31 儿童跟随看护方法、装置、跟随机器人及存储介质

Country Status (1)

Country Link
CN (1) CN115440001B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880853A (zh) * 2022-12-30 2023-03-31 宜宾格莱特科技有限公司 一种儿童看护系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366503A (zh) * 2013-06-24 2013-10-23 北京邮电大学 一种便携式智能陪护系统
CN111091683A (zh) * 2019-12-27 2020-05-01 恒大智慧科技有限公司 智慧社区儿童看护预警方法及系统
CN112258780A (zh) * 2020-09-28 2021-01-22 四川长虹网络科技有限责任公司 一种户外人员走失报警方法和系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5905461A (en) * 1997-12-08 1999-05-18 Neher; Timothy J Global positioning satellite tracking device
CN105654798A (zh) * 2016-03-17 2016-06-08 深圳华强酷信通讯技术有限公司 一种用于儿童幼教及监护的方法及装置
CN109887234B (zh) * 2019-03-07 2023-04-18 百度在线网络技术（北京）有限公司 一种防儿童走失方法、装置、电子设备及存储介质
CN114783043B (zh) * 2022-06-24 2022-09-20 杭州安果儿智能科技有限公司 一种儿童行为轨迹定位方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366503A (zh) * 2013-06-24 2013-10-23 北京邮电大学 一种便携式智能陪护系统
CN111091683A (zh) * 2019-12-27 2020-05-01 恒大智慧科技有限公司 智慧社区儿童看护预警方法及系统
CN112258780A (zh) * 2020-09-28 2021-01-22 四川长虹网络科技有限责任公司 一种户外人员走失报警方法和系统

Also Published As

Publication number Publication date
CN115440001A (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
US12112247B2 (en) Automatic generation of ground truth data for training or retraining machine learning models
CN107358149B (zh) 一种人体姿态检测方法和装置
CN112446919B (zh) 物体位姿估计方法、装置、电子设备及计算机存储介质
CN111695402B (zh) 用于标注3d点云数据中人体姿态的工具和方法
WO2020048265A1 (zh) 多级目标分类及交通标志检测方法和装置、设备、介质
CN109325456B (zh) 目标识别方法、装置、目标识别设备及存储介质
Lee et al. Improving mobility for the visually impaired: A wearable indoor positioning system based on visual markers
CN115440001B (zh) 儿童跟随看护方法、装置、跟随机器人及存储介质
CN112418096A (zh) 检测跌的方法、装置和机器人
CN113378836A (zh) 图像识别方法、装置、设备、介质及程序产品
Liu et al. Automatic fall risk detection based on imbalanced data
Payghode et al. Object detection and activity recognition in video surveillance using neural networks
Li et al. Real-time monocular joint perception network for autonomous driving
CN113269038B (zh) 一种基于多尺度的行人检测方法
Ponnaganti et al. Deep learning for lidar-based autonomous vehicles in smart cities
He et al. High accuracy intelligent real-time framework for detecting infant drowning based on deep learning
Budzan et al. Improved human detection with a fusion of laser scanner and vision/infrared information for mobile applications
CN112987707A (zh) 一种车辆的自动驾驶控制方法及装置
Gunethilake Blind navigation using deep learning-based obstacle detection
CN112434601B (zh) 基于行车视频的车辆违法检测方法、装置、设备及介质
CN112561889A (zh) 目标物检测方法、装置、电子设备及存储介质
Horng et al. Building an Adaptive Machine Learning Object-Positioning System in a Monocular Vision Environment
Chen et al. Real-time 3D object detection, recognition and presentation using a mobile device for assistive navigation
Patel et al. Indoor human fall detection using deep learning
Balusulapalem et al. Precise Robot Navigation Between Fixed End and Starting Points-Combining GPS and Image Analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant