CN113628411A - 婴儿安全预警的系统、方法、设备及计算机存储介质 - Google Patents

婴儿安全预警的系统、方法、设备及计算机存储介质 Download PDF

Info

Publication number
CN113628411A
CN113628411A CN202010376372.XA CN202010376372A CN113628411A CN 113628411 A CN113628411 A CN 113628411A CN 202010376372 A CN202010376372 A CN 202010376372A CN 113628411 A CN113628411 A CN 113628411A
Authority
CN
China
Prior art keywords
detected
information
objects
early warning
multiple objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010376372.XA
Other languages
English (en)
Inventor
苏自翔
周辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Chengdu ICT Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Chengdu ICT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Chengdu ICT Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202010376372.XA priority Critical patent/CN113628411A/zh
Publication of CN113628411A publication Critical patent/CN113628411A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0205—Specific application combined with child monitoring using a transmitter-receiver system
    • G08B21/0208—Combination with audio or video communication, e.g. combination with "baby phone" function
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0233—System arrangements with pre-alarms, e.g. when a first distance is exceeded
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0266—System arrangements wherein the object is to detect the exact distance between parent and child or surveyor and item

Landscapes

  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种婴儿安全预警的系统、方法、设备及计算机存储介质，该系统包括：感知采集单元，用于根据高清双目摄像头和飞行时间ToF传感器实时感知多个待测对象，获取多个待测对象的数字图像数据；ACAP单元，用于根据锥视体点云3D物体检测F‑PointNet算法和数字图像数据得到多个待测对象的3D信息；ACAP单元，还用于根据多个待测对象的3D信息确定多个待测对象之间的距离变化趋势；5G通讯单元，用于当距离变化趋势满足预设条件时，输出预警信息。本发明能够在婴儿发生危险之前发出告警提示，有效保障婴儿的生命安全。

Description

婴儿安全预警的系统、方法、设备及计算机存储介质
技术领域
本发明涉及无线通信监控技术领域，尤其涉及一种婴儿安全预警的系统、方法、设备及计算机存储介质。
背景技术
现如今，婴儿看护已经成为热点话题，看护婴儿是比较劳累也是比较重要的事情，目前大部分是雇佣保姆和医院育婴。但是随着社会的发展，物价以及人力成本的上涨，看护婴儿的成本增加，请保姆或者是医院看护会大大增加家庭的负担。为了解决成本问题，缓解家庭的负担，婴儿监视器(Baby Monitor)应运而生。
目前，婴儿监视器主要分为音频设备Audio和视听设备Audio-Visual两种，以及有线和无线之分。Audio只能监控到婴儿的声音，而Audio-Visual能监控到更全面的音视频信息。传统的婴儿监视器对婴儿的一举一动、一言一行提供实时的监控，监控的结果通过模拟信号或者数字信号的无线电波发送到监护人手上的控制端设备上，并以还原成视频或者音频。通过使用婴儿监视器，父母或者监护人不再需要寸步不离地守候在婴儿或小孩的身旁即可了解到他们的行为。
但是，传统婴儿监视器在监控婴儿时，通常只有当婴儿出现异常情况之后，才会发出告警信息，因此，父母或监护人一般只有在危险发生之后才能察觉并进行处理，无法有效保障婴儿的安全。
发明内容
本发明实施例提供了一种婴儿安全预警的系统、方法、设备及计算机存储介质，能够在婴儿发生危险之前发出告警提示，有效保障婴儿的生命安全。
第一方面，提供了一种婴儿安全预警的系统，该系统包括：感知采集单元、ACAP单元和5G通讯单元，感知采集单元包括高清双目摄像头和飞行时间ToF传感器；感知采集单元，用于根据高清双目摄像头和ToF传感器实时感知多个待测对象，获取多个待测对象的数字图像数据；ACAP单元，用于根据F-PointNet算法和数字图像数据得到多个待测对象的3D信息；ACAP单元，还用于根据多个待测对象的3D信息确定多个待测对象之间的距离变化趋势；5G通讯单元，用于当距离变化趋势满足预设条件时，输出预警信息，预警信息用于提示用户待测对象出现异常。
在第一方面的一些可实现方式中，数字图像数据包括颜色RGB数据和深度信息：高清双目摄像头，用于实时获取多个待测物体的RGB数据；TOF传感器，用于实时获取多个待测物体的深度信息。
在第一方面的一些可实现方式中，3D信息包括待测对象的3D边界框和类别信息。
在第一方面的一些可实现方式中，ACAP单元，具体用于：根据F-PointNet算法对RGB数据中的多个待测对象进行识别，得到每个待测对象的3D边界框和类别信息；根据类别信息对类别信息对应的3D边界框进行标注，得到标注后的3D边界框。
在第一方面的一些可实现方式中，ACAP单元，具体用于：根据多个待测对象的标注后的3D边界框确定多个待测对象之间的距离；根据预设时间段内多个待测对象之间的距离确定多个待测对象之间的距离变化趋势；判断多个待测对象之间的距离变化趋势是否满足预设条件；当多个待测对象之间的距离变化趋势满足预设条件时，生成预警指令；将预警指令发送给5G通讯单元。
在第一方面的一些可实现方式中，5G通讯单元，具体用于：接收ACAP单元发送的预警指令；根据预警指令输出预警信息，预警信息用于提示用户待测对象出现异常。
第二方面，提供了一种婴儿安全预警的方法，用于婴儿安全预警的系统，该系统包括感知采集单元、ACAP单元和5G通讯单元，该方法包括：感知采集单元实时感知多个待测对象，并获取多个待测对象的数字图像数据；ACAP单元根据F-PointNet算法和数字图像数据得到多个待测对象的3D信息；ACAP单元根据多个待测对象的3D信息确定多个待测对象之间的距离变化趋势；当距离变化趋势满足预设条件时，5G通讯单元输出预警信息，预警信息用于提示用户待测对象出现异常。
在第二方面的一些可实现方式中，感知采集单元包括高清双目摄像头和ToF传感器，数字图像数据包括RGB数据和深度信息，获取多个待测对象的数字图像数据，包括：高清双目摄像头实时获取多个待测物体的RGB数据；TOF传感器实时获取多个待测物体的深度信息。
在第二方面的一些可实现方式中，3D信息包括待测对象的3D边界框和类别信息。
在第二方面的一些可实现方式中，根据F-PointNet算法和数字图像数据得到多个待测对象的3D信息，包括：根据F-PointNet算法对RGB数据中的多个待测对象进行识别，得到每个待测对象的3D边界框和类别信息；根据类别信息对类别信息对应的3D边界框进行标注，得到标注后的3D边界框。
在第二方面的一些可实现方式中，根据多个待测对象的3D信息确定多个待测对象之间的距离变化趋势，包括：根据多个待测对象的标注后的3D边界框确定多个待测对象之间的距离；根据预设时间段内多个待测对象之间的距离确定多个待测对象之间的距离变化趋势；判断多个待测对象之间的距离变化趋势是否满足预设条件；当多个待测对象之间的距离变化趋势满足预设条件时，生成预警指令；将预警指令发送给5G通讯单元。
在第二方面的一些可实现方式中，当距离变化趋势满足预设条件时，5G通讯单元输出预警信息，包括：5G通讯单元接收ACAP单元发送的预警指令；5G通讯单元根据预警指令输出预警信息，预警信息用于提示用户待测对象出现异常。
第三方面，提供了一种婴儿安全预警的设备，该设备包括：处理器，以及存储有计算机程序指令的存储器；处理器读取并执行计算机程序指令时实现第二方面或第二方面的一些可实现方式中的婴儿安全预警的方法。
第四方面，提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现第二方面或第二方面的一些可实现方式中的婴儿安全预警的方法。
本发明涉及无线通信监控技术领域，尤其涉及一种婴儿安全预警的系统、方法、设备及计算机存储介质，基于高清双目摄像头和ToF传感器实时实现视觉融合，获取到多个待测对象的数字图像数据，然后利用F-PointNet算法对多个待测对象进行目标识别，得到待测对象的3D信息，能够在危险发生之前，根据多个待测对象的3D信息预测出多个待测对象之间的距离变化趋势，根据预测的距离变化趋势确定出待测对象的异常情况，并输出预警信息提示用户待测对象出现异常，从而成功阻止危险情况的发生，有效保障婴儿的生命安全。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种婴儿安全预警的系统的结构示意图；
图2是本发明实施例提供的一种F-PointNet算法的流程示意图；
图3是本发明实施例提供的一种基于2D的深度卷积神经网络的结构示意图；
图4是本发明实施例提供的另一种婴儿安全预警的系统的结构示意图；
图5是本发明实施例提供的一种CPU、GPU、ACAP硬件平台运算能力对比的示意图；
图6是本发明实施例提供的一种CPU、GPU、ACAP硬件平台运算延迟对比的示意图；
图7是本发明实施例提供的一种AI引擎的示意图；
图8是本发明实施例提供的一种婴儿安全预警的方法的流程示意图；
图9是本发明实施例提供的一种婴儿安全预警的设备的硬件结构示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
飞行时间(Time of Flight，ToF)，即传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息，此外再结合传统的相机拍摄，就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。
互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)，指制造大规模集成电路芯片用的一种技术或用这种技术制造出来的芯片，被应用于制作数码影像器材的感光元件。
现如今，一般家庭都是将婴儿交给家里的老人负责，但是老人上了年纪，在照顾的过程中难免会有所疏忽。举例来说，当婴儿睡觉时，老人可能不会每时每刻的陪在婴儿身边，因此，无法清楚地知道婴儿的苏醒时间。另一方面，婴儿睡觉时会经常在床上翻滚，发生掉落的可能性很大。因此，人们迫切希望有一种装置能够辅助看护婴儿睡觉状态，提醒看护人员，这样可以减少看护人的负担。
据数据调研机构预测，2017-2023年全球婴儿监视器市场出货量将超过2000万台。而且婴儿监视器的搜索量一直居高不下，占据着很高的热度。
但目前市场上出现的婴儿监视器法无法对危险情况的发生进行有效预测，因此，无法在危险发生之前发出预警信息，从而无法有效保障婴儿的安全。
为了解决现有技术中的婴儿监视器无法在异常情况出现之前发出预警信息的问题，本发明实施例提供了一种婴儿安全预警的系统、方法、设备及计算机存储介质。下面结合附图对本发明实施例的技术方案进行描述。
图1是本发明实施例提供的一种婴儿安全预警的系统的结构示意图，如图1所示，该婴儿安全预警的系统100包括：感知采集单元101、ACAP单元102和5G通讯单元103。
其中，感知采集单元101包括高清双目摄像头1011和飞行时间ToF传感器1012。
感知采集单元101，用于根据高清双目摄像头1011和ToF传感器1012实时感知多个待测对象，获取多个待测对象的数字图像数据。
在一个实施例中，感知采集单元101在获取到数字图像数据之后，将数据发送给自适应计算机加速平台(Adaptive Compute Acceleration Platform，ACAP)单元102。
在一个实施例中，数字图像数据包括颜色RGB数据和深度信息，其中，高清双目摄像头1011，用于实时获取多个待测物体的RGB数据，TOF传感器1012，用于实时获取多个待测物体的深度信息。
在一个实施例中，还可以通过超高清CMOS摄像机获取多个待测物体的RGB数据。
在一个实施例中，感知采集单元101用于实时感知房间内的婴儿、床、窗，并采集婴儿、床、窗的RGB数据和深度信息。
ACAP单元102用于：根据锥视体点云实现3D物体检测(Frustum PointNets For 3DObject Detection，F-PointNet)算法和数字图像数据得到多个待测对象的3D信息；根据多个待测对象的3D信息确定多个待测对象之间的距离变化趋势。
在一个实施例中，3D信息可以包括待测对象的3D边界框和类别信息。
在一个实施例中，ACAP单元，具体用于：
步骤1，根据F-PointNet算法对RGB数据中的多个待测对象进行识别，得到每个待测对象的3D边界框和类别信息。
步骤2，根据类别信息对类别信息对应的3D边界框进行标注，得到标注后的3D边界框。
步骤3，根据多个待测对象的标注后的3D边界框确定多个待测对象之间的距离。
步骤4，根据预设时间段内多个待测对象之间的距离确定多个待测对象之间的距离变化趋势。
步骤5，判断多个待测对象之间的距离变化趋势是否满足预设条件，当多个待测对象之间的距离变化趋势满足预设条件时，生成预警指令，并将预警指令发送给5G通讯单元103。5G通讯单元103，用于当距离变化趋势满足预设条件时，输出预警信息，预警信息用于提示用户待测对象出现异常。
在一个实施例中，5G通讯单元103具体用于：接收ACAP单元102发送的预警指令；根据预警指令输出预警信息，预警信息用于提示用户待测对象出现异常。
本发明实施例的婴儿安全预警的系统，基于高清双目摄像头和ToF传感器实时实现视觉融合，获取到多个待测对象的数字图像数据，然后利用F-PointNet算法对多个待测对象进行目标识别，得到待测对象的3D信息，能够在危险发生之前，根据多个待测对象的3D信息预测出多个待测对象之间的距离变化趋势，根据预测的距离变化趋势确定出待测对象的异常情况，并输出预警信息提示用户待测对象出现异常，从而成功阻止危险情况的发生，有效保障婴儿的生命安全。
图2是本发明实施例提供的一种F-PointNet算法的流程示意图，如图2所示，首先，ACAP单元将多个待测对象的数字图像数据输入基于2D的深度卷积神经网络(2D-CNN)，得到第一信息；然后，根据视锥体提议(Frustum Proposal)对第一信息进行处理，得到第二信息；接着，根据3D实例分割网络(3D Instance Segmentation PointNeT)对第二信息进行处理，得到第三信息；最后，通过3D边界框估计网络(Amodal 3D Box Estimation PointNeT)预测出多个待测对象的3D边界框和类别信息。
图3是本发明实施例提供的一种基于2D的深度卷积神经网络的结构示意图，如图3所示，该基于2D的深度卷积神经网络包括：输入层，卷积层1_1、卷积层1_2、第一最大池化层，卷积层2_1、卷积层2_2、第二最大池化层，卷积层3_1、卷积层3_1、卷积层3_3、第三最大池化层，卷积层4_1、卷积层4_2、卷积层4_3、第四最大池化层，卷积层5_1、卷积层5_2、卷积层5_3、第五最大池化层，第一全连接层、第二全连接层、第三全连接层以及输出层。
在一个实施例中，在将多个待测对象的数字图像数据输入基于2D的深度卷积神经网络(2D-CNN)之前，ACAP单元还用于根据大量已经标注的婴儿、床、窗等物品图像数据预先对2D-CNN进行训练，获得最优权重和偏置参数。
作为一个具体的实施例，2D-CNN的训练过程包括：采用矩阵乘法实现卷积，将偏置值和卷积核的权重矩阵进行合并，在输入特征矩阵中添加系数，通过矩阵乘法一次性实现矩阵乘法和累加偏置的计算。
其中，公式(1)为矩阵乘法的具体计算公式：
Figure BDA0002480227800000081
其中，Y为输出、X为上层输入、W为权重系数、b为偏置矩阵、I为新增系数矩阵。通过增加矩阵的维度，仅仅使用矩阵乘法进行计算，在硬件上节省了计算资源，简化了计算步骤。
在一个实施例中，根据婴儿、床、窗等物品图像数据预先对2D-CNN进行训练完成后，得到最优2D-CNN之后，ACAP单元还用于：
步骤1，将实时接收到的多个待测对象(婴儿、床、窗)的数字图像数据输入最优2D-CNN，生成多个待测对象的2D边界框(或2D图像区域)和类别信息，并基于类别信息对多个2D边界框进行分类。
步骤2，将2D边界框投影到定义待测对象的3D搜索空间的视锥体3D空间中，生成3D视锥体，收集3D视锥体内的所有点以形成3D点云。
视锥体可能朝向许多不同的方向，这导致点云分布的变化范围很大，通过将它们朝向中心视图旋转来使它们归一化，使得视锥体的中心轴与像平面正交。
步骤3，使用3D实例分割网络在3D视锥体中的3D点云上进行3D实例分割，获得分割的对象点，并对对象点的坐标进行归一化以提高算法的平移不变性，将3D点云转换为局部坐标。
由于多个待测对象在物理空间中是自然分开的，所以3D点云中的分割更加自然和容易，所以直接在3D点云中进行实例分割，而不是基于2D图像区域或深度图进行实例分割。
基于3D视锥体的位置，一个3D视锥体的待测对象的点在另一个3D视锥体内可能变成背景混淆点或遮挡点。因此，3D实例分割网络需要学习遮挡和背景混淆模式，以及识别某个类别的对象的几何特性。在3D实例分割之后，被分类为感兴趣对象(或目标待测对象)的点被提取。
步骤4，将多个待测对象的局部坐标输入到3D边界框估计网络，预测出多个待测对象的3D边界框。
步骤5，根据多个待测对象的3D边界框确定多个待测对象之间的距离。
步骤6，根据预设时间段内多个待测对象之间的距离确定多个待测对象之间的距离变化趋势。
可选地，作为一个具体的实施例，ACAP单元用于：根据F-PointNet算法对实时获取到的房间内的数字图像数据进行处理，分别得到不同时刻的婴儿的3D边界框A、床的3D边界框B、窗户的3D边界框C，并分别将三者之间的距离标注在相应的3D边界框上，分析预设时间段内的A与B，以及A与C的距离变化情况，得到A与B以及A与C的距离变化趋势，判断是否满足婴儿床上翻滚至床边缘、婴儿靠窗攀爬等危险趋势的预设条件，当A与B或A与C的距离变化趋势满足预设条件时，生成预警指令。
在一个实施例中，ACAP单元还用于，通过多任务训练损耗(Training withMultitask Losses)优化损耗函数，从而达到优化3D实例分割网络、T-Net网络和3D边界框估计网络的效果。
可选地，根据公式(2)计算损耗函数L。
L＝Lseg+λ(Lc1-reg+Lc2-reg+Lh-cls+Lh-reg+Ls-cls+Ls-reg) (2)
其中，Lseg为3D实例分割网络的损耗参数，Lc1-reg为T-Net的损耗函数，Lc2-reg为3D边界框估计网络的损耗函数，Ls-cls与Ls-reg为盒子尺寸损耗参数，Lh-cls与Lh-reg为方向预测的损耗函数。
本发明实施例的F-PointNet算法，能对数字图像数据进行有效处理，准确识别出待测对象，预测出待测对象的3D边界框。
图4是本发明实施例提供的另一种婴儿安全预警的系统的结构示意图，如图4所示，该婴儿安全预警的系统包括：摄像头、ToF传感器、ACAP硬件平台、电源与复位、系统时钟、双倍速率(Double Data Rate，DDR3)内存、闪存(Flash)、小型可插拔(Small Form-factor Pluggable，SFP)光模块和5G通讯模组。
其中，摄像头用于实现待测对象的RGB数据的数字化；ToF传感器用于实现待测对象的深度信息的数字化；SFP光模块和5G通讯模组用于实现整个婴儿安全预警的系统的数据通讯；电源与复位用于为系统的每个硬件模块提供供电支撑和复位，防止系统死机；系统时钟用于为系统的每个硬件模块提供时钟支撑。
ACAP硬件平台的内部包括标量引擎、人工智能(Artificial Intelligence，AI)引擎矩阵、自适应引擎、基础引擎和可编程I/O模块，ACAP硬件平台与DDR3内存、Flash闪存一起组成最小硬件系统。
其中，标量引擎包括应用处理器和实时处理器。
在一个实施例中，标量引擎分别由双核
Figure BDA0002480227800000101
Cortex-A72处理器和Cortex-R5处理器构成。与上一代Cortex-A53处理器相比，Cortex-A72处理器的性能提高了2倍，Cortex-R5处理器工艺也从16nm变成7nm，并且增加了系统级安全特性。标量引擎用于系统的串行的应用数据处理，主要涉及外设驱动以及系统调试接口等，上电后Boot嵌入式操作系统，完成必要的DDR3内存、Flash闪存驱动、以太网、安全数码(Secure Digital Memory，SD)存储卡、通用串行总线(Universal Serial Bus，USB)和5G通讯模组等外设驱动、各个引擎工作状态调试接口输出、指令下发、电池电量指示等。
其中，自适应引擎包括查找表(Look-Up-Table，LUT)、块存储、引擎(DSP)和超大存储(UltraRAM)。
在一个实施例中，自适应引擎包括可编程逻辑单元和存储单元，在功能设计时，这些结构可以重新编程，形成自定义的内存层次结构，与最新的图形处理器(GraphicsProcessing Unit，GPU)和中央处理器(Central Processing Unit，CPU)构架相比，能提供更高的计算效率和更高的内存带宽，主要实现对图像编解码、滤波、取边缘等功能。
图5是本发明实施例提供的一种CPU、GPU、ACAP硬件平台运算能力对比的示意图，如图5所示，在高端CPU(High End CPU)、高端GPU(High End GPU)和ACAP硬件平台上运行深度神经网络算法(GoogLeNet)，ACAP硬件平台比目前最顶尖构架(Skylake Platinum)的CPU高43倍的吞吐量，比最顶级系列(V100)的GPU高4倍的吞吐量。
图6是本发明实施例提供的一种CPU、GPU、ACAP硬件平台运算延迟对比的示意图，如图6所示，在高端CPU、高端GPU和ACAP硬件平台上运行深度神经网络算法(GoogLeNet)，由于内存在计算过程中调用效率的不同，导致高端CPU与高端GPU存在大约5～7ms的计算延迟，而ACAP硬件平台由于有自适应引擎对内存调用进行加速，所以能实现2ms以内的计算延迟。
在一个实施例中，基础引擎包括块PCle接口和DDR接口。
在一个实施例中，ACAP硬件平台的AI引擎矩阵中包括多个AI引擎，多个AI引擎之间通过专门的总线协议(Advanced eXtensible Interface，AXI)和内核内存总线进行连接，形成AI引擎矩阵，AI引擎矩阵用于实现整个婴儿安全预警的系统的目标识别、特征提取、3D边界框预测以及同步定位与建图(Simultaneous Localization And Mapping，SLAM)。
在一个实施例中，AI引擎可如图7所示，AI引擎包括：AXI总线(东西南北向)、16KB的程序内存、32位标量的精简指令运算集(Reduced Instruction Set Computing，RISC)单元、标量寄存器表、停顿处理、指令提取/编码单元、加载/存储指令单元、固定运算向量单元、浮点运算向量单元、向量寄存器表、调测接口、累加器、AXIM交换器、内存接口、32KB的数据内存。
在一个实施例中，AI引擎支持单指令命令(SIMD)和超长指令命令(VLIW)，提供多达6路指令并行性，包括操作2/3个标量、加载2个向量、1个写操作、1个固定或者浮点运算。
图8是本发明实施例提供的一种婴儿安全预警的方法的流程示意图，如图8所示，该方法用于婴儿安全预警的系统，该系统包括感知采集单元、ACAP单元和5G通讯单元，该方法可以包括以下步骤：
S201，感知采集单元实时感知多个待测对象，并获取多个待测对象的数字图像数据。
在一个实施例中，感知采集单元包括高清双目摄像头和ToF传感器，数字图像数据包括RGB数据和深度信息，获取多个待测对象的数字图像数据，包括：高清双目摄像头实时获取多个待测物体的RGB数据；TOF传感器实时获取多个待测物体的深度信息。
S202，ACAP单元根据F-PointNet算法和数字图像数据得到多个待测对象的3D信息。
在一个实施例中，根据F-PointNet算法和数字图像数据得到多个待测对象的3D信息，包括：根据F-PointNet算法对RGB数据中的多个待测对象进行识别，得到每个待测对象的3D边界框和类别信息；根据类别信息对类别信息对应的3D边界框进行标注，得到标注后的3D边界框。
S203，ACAP单元根据多个待测对象的3D信息确定多个待测对象之间的距离变化趋势。
在一个实施例中，根据多个待测对象的3D信息确定多个待测对象之间的距离变化趋势，包括：根据多个待测对象的标注后的3D边界框确定多个待测对象之间的距离；根据预设时间段内多个待测对象之间的距离确定多个待测对象之间的距离变化趋势；判断多个待测对象之间的距离变化趋势是否满足预设条件；当多个待测对象之间的距离变化趋势满足预设条件时，生成预警指令；将预警指令发送给5G通讯单元。
S204，当距离变化趋势满足预设条件时，5G通讯单元输出预警信息，预警信息用于提示用户待测对象出现异常。
在一个实施例中，当距离变化趋势满足预设条件时，5G通讯单元输出预警信息，包括：5G通讯单元接收ACAP单元发送的预警指令；5G通讯单元根据预警指令输出预警信息，预警信息用于提示用户待测对象出现异常。
本发明实施例的婴儿安全预警的方法，基于高清双目摄像头和ToF传感器实时实现视觉融合，获取到多个待测对象的数字图像数据，然后利用F-PointNet算法对多个待测对象进行目标识别，得到待测对象的3D信息，能够在危险发生之前，根据多个待测对象的3D信息预测出多个待测对象之间的距离变化趋势，根据预测的距离变化趋势确定出待测对象的异常情况，并输出预警信息提示用户待测对象出现异常，从而成功阻止危险情况的发生，有效保障婴儿的生命安全。
图9是本发明实施例提供的一种婴儿安全预警的设备的硬件结构示意图。
如图9所示，本实施例中的婴儿安全预警的设备300包括输入设备301、输入接口302、中央处理器303、存储器304、输出接口305、以及输出设备306。其中，输入接口302、中央处理器303、存储器304、以及输出接口305通过总线310相互连接，输入设备301和输出设备306分别通过输入接口302和输出接口305与总线310连接，进而与婴儿安全预警的设备300的其他组件连接。
具体地，输入设备301接收来自外部的输入信息，并通过输入接口302将输入信息传送到中央处理器303；中央处理器303基于存储器304中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器304中，然后通过输出接口305将输出信息传送到输出设备306；输出设备306将输出信息输出到婴儿安全预警的设备300的外部供用户使用。
在一个实施例中，图9所示的婴儿安全预警的设备300包括：存储器304，用于存储程序；处理器303，用于运行存储器中存储的程序，以执行本发明实施例提供的图8所示实施例的方法。
本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现本发明实施例提供的图8所示实施例的方法。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，做出各种改变、修改和添加，或者改变步骤之间的顺序。
以上的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、只读存储器(Read-Only Memory，ROM)、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(Radio Frequency，RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (14)

1.一种婴儿安全预警的系统，其特征在于，所述系统包括感知采集单元、自适应计算机加速平台ACAP单元和5G通讯单元，所述感知采集单元包括高清双目摄像头和飞行时间ToF传感器；
所述感知采集单元，用于根据所述高清双目摄像头和所述ToF传感器实时感知多个待测对象，获取所述多个待测对象的数字图像数据；
所述ACAP单元，用于根据锥视体点云3D物体检测F-PointNet算法和所述数字图像数据得到所述多个待测对象的3D信息；
所述ACAP单元，还用于根据所述多个待测对象的3D信息确定所述多个待测对象之间的距离变化趋势；
所述5G通讯单元，用于当所述距离变化趋势满足预设条件时，输出预警信息，所述预警信息用于提示用户所述待测对象出现异常。
2.根据权利要求1的系统，其特征在于，所述数字图像数据包括颜色RGB数据和深度信息：
所述高清双目摄像头，用于实时获取所述多个待测物体的所述RGB数据；
所述TOF传感器，用于实时获取所述多个待测物体的所述深度信息。
3.根据权利要求1所述的系统，其特征在于，所述3D信息包括所述待测对象的3D边界框和类别信息。
4.根据权利要求3所述的系统，其特征在于，所述ACAP单元，具体用于：
根据所述F-PointNet算法对所述RGB数据中的所述多个待测对象进行识别，得到每个待测对象的所述3D边界框和所述类别信息；
根据所述类别信息对所述类别信息对应的3D边界框进行标注，得到标注后的3D边界框。
5.根据权利要求4所述的系统，其特征在于，所述ACAP单元，具体用于：
根据所述多个待测对象的所述标注后的3D边界框确定所述多个待测对象之间的距离；
根据预设时间段内所述多个待测对象之间的距离确定所述多个待测对象之间的距离变化趋势；
判断所述多个待测对象之间的距离变化趋势是否满足所述预设条件；
当所述多个待测对象之间的距离变化趋势满足所述预设条件时，生成预警指令；
将所述预警指令发送给所述5G通讯单元。
6.根据权利要求5所述的系统，其特征在于，所述5G通讯单元，具体用于：
接收所述ACAP单元发送的预警指令；
根据所述预警指令输出预警信息，所述预警信息用于提示用户所述待测对象出现异常。
7.一种婴儿安全预警的方法，其特征在于，所述方法用于婴儿安全预警的系统，所述系统包括感知采集单元、ACAP单元和5G通讯单元：
所述感知采集单元实时感知多个待测对象，并获取所述多个待测对象的数字图像数据；
所述ACAP单元根据F-PointNet算法和所述数字图像数据得到所述多个待测对象的3D信息；
所述ACAP单元根据所述多个待测对象的3D信息确定所述多个待测对象之间的距离变化趋势；
当所述距离变化趋势满足预设条件时，所述5G通讯单元输出预警信息，所述预警信息用于提示用户所述待测对象出现异常。
8.根据权利要求7的方法，其特征在于，所述感知采集单元包括高清双目摄像头和ToF传感器，所述数字图像数据包括RGB数据和深度信息，所述获取多个待测对象的数字图像数据，包括：
所述高清双目摄像头实时获取所述多个待测物体的所述RGB数据；
所述TOF传感器实时获取所述多个待测物体的所述深度信息。
9.根据权利要求7的方法，其特征在于，所述3D信息包括所述待测对象的3D边界框和类别信息。
10.根据权利要求9的方法，其特征在于，所述根据F-PointNet算法和所述数字图像数据得到所述多个待测对象的3D信息，包括：
根据所述F-PointNet算法对所述RGB数据中的所述多个待测对象进行识别，得到每个待测对象的所述3D边界框和所述类别信息；
根据所述类别信息对所述类别信息对应的3D边界框进行标注，得到标注后的3D边界框。
11.根据权利要求10所述的方法，其特征在于，所述根据所述多个待测对象的3D信息确定所述多个待测对象之间的距离变化趋势，包括：
根据所述多个待测对象的所述标注后的3D边界框确定所述多个待测对象之间的距离；
根据预设时间段内所述多个待测对象之间的距离确定所述多个待测对象之间的距离变化趋势；
判断所述多个待测对象之间的距离变化趋势是否满足所述预设条件；
当所述多个待测对象之间的距离变化趋势满足所述预设条件时，生成预警指令；
将所述预警指令发送给所述5G通讯单元。
12.根据权利要求10所述的方法，其特征在于，所述当所述距离变化趋势满足预设条件时，所述5G通讯单元输出预警信息，包括：
所述5G通讯单元接收所述ACAP单元发送的预警指令；
所述5G通讯单元根据所述预警指令输出预警信息，所述预警信息用于提示用户所述待测对象出现异常。
13.一种婴儿安全预警的设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器读取并执行所述计算机程序指令，以实现如权利要求7-12任意一项所述的婴儿安全预警的方法。
14.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求7-12任意一项所述的婴儿安全预警的方法。
CN202010376372.XA 2020-05-07 2020-05-07 婴儿安全预警的系统、方法、设备及计算机存储介质 Pending CN113628411A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010376372.XA CN113628411A (zh) 2020-05-07 2020-05-07 婴儿安全预警的系统、方法、设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010376372.XA CN113628411A (zh) 2020-05-07 2020-05-07 婴儿安全预警的系统、方法、设备及计算机存储介质

Publications (1)

Publication Number Publication Date
CN113628411A true CN113628411A (zh) 2021-11-09

Family

ID=78376904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010376372.XA Pending CN113628411A (zh) 2020-05-07 2020-05-07 婴儿安全预警的系统、方法、设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN113628411A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201340040A (zh) * 2012-03-26 2013-10-01 Hon Hai Prec Ind Co Ltd 兒童輔助系統及其方法
CN108540777A (zh) * 2018-04-28 2018-09-14 上海与德科技有限公司 一种智能监控方法、装置、设备和存储介质
CN110097736A (zh) * 2019-04-23 2019-08-06 维沃移动通信有限公司 报警方法及报警装置
CN110472534A (zh) * 2019-07-31 2019-11-19 厦门理工学院 基于rgb-d数据的3d目标检测方法、装置、设备和存储介质
CN110706449A (zh) * 2019-09-04 2020-01-17 中移（杭州）信息技术有限公司 一种婴幼儿监测方法、装置与摄像设备及存储介质
CN110858415A (zh) * 2018-08-24 2020-03-03 北京图森未来科技有限公司 一种3d点云数据中物体的标注方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201340040A (zh) * 2012-03-26 2013-10-01 Hon Hai Prec Ind Co Ltd 兒童輔助系統及其方法
CN108540777A (zh) * 2018-04-28 2018-09-14 上海与德科技有限公司 一种智能监控方法、装置、设备和存储介质
CN110858415A (zh) * 2018-08-24 2020-03-03 北京图森未来科技有限公司 一种3d点云数据中物体的标注方法和装置
CN110097736A (zh) * 2019-04-23 2019-08-06 维沃移动通信有限公司 报警方法及报警装置
CN110472534A (zh) * 2019-07-31 2019-11-19 厦门理工学院 基于rgb-d数据的3d目标检测方法、装置、设备和存储介质
CN110706449A (zh) * 2019-09-04 2020-01-17 中移（杭州）信息技术有限公司 一种婴幼儿监测方法、装置与摄像设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
万鹏: "基于F-PointNet的3D点云数据目标检测", 《山东大学学报（工学版）》 *

Similar Documents

Publication Publication Date Title
US11932274B2 (en) Electronic device and control method therefor
JP2019200773A (ja) 物体検出システム、それを用いた自律走行車、およびその物体検出方法
JP2020528623A5 (zh)
CN105051754A (zh) 用于通过监控系统检测人的方法和装置
JP6977513B2 (ja) 機械学習方法及び装置
US20120284211A1 (en) Identifying abnormalities in resource usage
CN110216661B (zh) 跌落区域识别的方法及装置
US9202135B2 (en) Image processing device, image processing method, control program, and recording medium
US20210015376A1 (en) Electronic device and method for measuring heart rate
CN113177469A (zh) 人体属性检测模型的训练方法、装置、电子设备及介质
US9367667B2 (en) Method and system for advanced aneurysm analysis
US20220378346A1 (en) Millimeter wave (mmwave) mapping systems and methods for generating one or more point clouds and determining one or more vital signs for defining a human psychological state
KR20230069892A (ko) 이상 온도를 나타내는 객체를 식별하는 방법 및 장치
WO2018103024A1 (zh) 智能导盲方法和装置
CN113628411A (zh) 婴儿安全预警的系统、方法、设备及计算机存储介质
US20220004198A1 (en) Electronic device and control method therefor
CN107291597A (zh) 一种基于多核异构处理器的运维多模态决策感知系统
CN111414829A (zh) 一种发送报警信息的方法和装置
JP6822326B2 (ja) 見守り支援システム及びその制御方法
JPWO2020194650A1 (ja) 異物検出装置、異物検出方法、およびプログラム
Dang et al. Applying artificial intelligence for the application of bridges deterioration detection system
US20220270282A1 (en) Information processing device, data generation method, and non-transitory computer-readable medium storing program
WO2022009419A1 (ja) 学習装置、活用装置、プログラム、学習方法及び活用方法
KR102143077B1 (ko) 이종 센서들을 이용한 타겟 검출 방법 및 장치
KR101626538B1 (ko) 이미지 객체 및 윤곽 특징 추출을 위한 시스템, 방법, 및 매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211109

RJ01 Rejection of invention patent application after publication