CN116311780A - 预防婴幼儿从高处跌落的智能监测方法、装置及设备 - Google Patents

预防婴幼儿从高处跌落的智能监测方法、装置及设备 Download PDF

Info

Publication number
CN116311780A
CN116311780A CN202310256273.1A CN202310256273A CN116311780A CN 116311780 A CN116311780 A CN 116311780A CN 202310256273 A CN202310256273 A CN 202310256273A CN 116311780 A CN116311780 A CN 116311780A
Authority
CN
China
Prior art keywords
infant
position information
frame
boundary
humanoid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310256273.1A
Other languages
English (en)
Inventor
陈辉
张青军
熊章
张智
杜沛力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Xingxun Intelligent Technology Co ltd
Original Assignee
Ningbo Xingxun Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Xingxun Intelligent Technology Co ltd filed Critical Ningbo Xingxun Intelligent Technology Co ltd
Priority to CN202310256273.1A priority Critical patent/CN116311780A/zh
Publication of CN116311780A publication Critical patent/CN116311780A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0261—System arrangements wherein the object is to detect trespassing over a fixed physical boundary, e.g. the end of a garden
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/02—Mechanical actuation
    • G08B13/12—Mechanical actuation by the breaking or disturbance of stretched cords or wires
    • G08B13/122—Mechanical actuation by the breaking or disturbance of stretched cords or wires for a perimeter fence
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Alarm Systems (AREA)

Abstract

本发明涉及图像处理技术领域，解决了现有技术中无法在婴幼儿即将从高处掉落时，及时地，准确地向用户发出安全提醒的问题，提供了一种预防婴幼儿从高处跌落的智能监测方法、装置及设备。该方法包括：获取婴幼儿看护场景下实时的视频流并分解为多帧图像；识别多帧图像中的边界位置信息和婴幼儿人形位置信息；依据预设的距离判定规则，得出边界和婴幼儿之间的相对位置信息；依据所述相对位置信息，当婴幼儿处于预设的危险区域范围内时，向用户发出多种频率的安全提醒。本发明在有效地防止婴幼儿从高处掉落摔伤的概率的同时，也避免了用户被勿打扰，提升了用户体验。

Description

预防婴幼儿从高处跌落的智能监测方法、装置及设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种预防婴幼儿从高处跌落的智能监测方法、装置及设备。
背景技术
目前，作为父母，婴幼儿从床上跌落摔伤时，父母的内心是无比自责和后悔的，大量婴幼儿的父母是遇到婴幼儿跌落事故发生后才想起来开启虚拟电子围栏的重要性。而目前市面上针对婴幼儿设计的看护器都是需要人为地手动设置多边形框来限定婴幼儿的活动区域，这种限定电子围栏区域的方式大量依赖于人工干预，不够智能化，用户实际得到的看护体验很差。
现有中国专利CN115187888A公开了一种基于深度学习的婴幼儿监护系统及搭建方法，所述方法包括：用户可以自定义虚拟的电子围栏边界，通过检测主体是否逾越虚拟边界来进行提示报警，降低事故的可能性，然而若婴幼儿若不小心逾越了虚拟的电子围栏边界，在实际应用场景中，已发生从床上掉落受到伤害，看护器此时向家长发出报警提示，此时的安全提示明显具有滞后性，婴幼儿已受到伤害，实际防止婴幼儿从床上掉落的问题并未得到解决，用户的实际看护体验差；同时，若通过简单地判断婴幼儿是否逾越电子围栏边界，逾越就立刻报警，则在婴幼儿误触电子围栏边界实际未发生摔落时，用户会被勿打扰。因此上述发出安全提醒的方式不够及时和准确。
为此，如何在婴幼儿即将从高处掉落时，及时地，准确地向用户发出智能化的安全提醒，在有效地防止婴幼儿从高处掉落摔伤的概率的同时，也避免用户被勿打扰是亟待解决的问题。
发明内容
有鉴于此，本发明提供了一种预防婴幼儿从高处跌落的智能监测方法、装置及设备，用以解决现有技术中无法在婴幼儿即将从高处掉落时，及时地，准确地向用户发出安全提醒的问题。
本发明采用的技术方案是：
第一方面，本发明提供了一种预防婴幼儿从高处跌落的智能监测方法，所述方法包括：
S1：获取婴幼儿看护场景下实时的视频流，将所述视频流分解为多帧图像；
S2：将所述多帧图像输入预设的目标检测模型中，识别多帧图像中的边界位置信息和婴幼儿人形位置信息；
S3：获取所述边界位置信息和婴幼儿人形位置信息，依据预设的距离判定规则，得出边界和婴幼儿之间的相对位置信息；
S4:依据所述相对位置信息，当婴幼儿处于预设的危险区域范围内时，向用户发出多种频率的安全提醒。
优选地，所述S2包括：
S21：将所述多帧图像输入预设的目标检测模型中，得出婴幼儿人形位置信息和预设的目标区域位置信息；
S22：依据所述目标区域位置信息，利用虚拟的直线标注出所述目标区域的最小外接多边形框；
S23：获取实时的用户指令，依据所述用户指令，对所述多边形框进行调整，将调整后的多边形框的位置信息记为边界位置信息。
优选地，所述S3包括：
S31：依据所述婴幼儿人形位置信息，利用虚拟的直线标注出婴幼儿人形的最小外接矩形框，并将所述矩形框的位置信息记为人形框位置信息；
S32:依据所述边界位置信息和人形框位置信息，计算人形框的中心到边界的各条框线的距离；
S33:依据人形框的中心到边界的各条框线的距离，得出所述相对位置信息。
优选地，所述S33包括：
S331：依据所述人形框的中心到边界的各条框线的距离，得出所述人形框的中心到边界的各条框线的最小距离；
S332：获取预设的距离阈值，依据所述人形框的中心到边界的各条框线的最小距离，得出边界和婴幼儿之间的相对位置信息。
优选地，所述S4包括：
S41：获取预设的距离等级，依据所述相对位置信息，当判定婴幼儿处于所述危险区域时，得出所述相对位置信息对应的距离等级；
S42：获取预设的检测灵敏度，并依据所述相对位置信息对应的距离等级，调整安全提醒消息推送的频率；
S43：依据调整后的推送频率，向用户发出安全提醒消息。
优选地，所述预设的目标区域包括：
婴幼儿看护场景下与预设参照物之间具有高度差的二维平台区域，其中，所述预设参照物至少包括以下之一：地面和桌面。
优选地，所述S2之前包括：
S201：获取训练图像数据，其中，所述训练图像数据为预先收集的大量婴幼儿看护场景下的包括婴幼儿日常活动的目标图像数据；
S202：预先标注出所述训练图像数据中的目标区域、婴幼儿头部和婴幼儿躯干部；
S203：利用基于YOLOV7的目标检测算法，对所述训练图像数据进行训练，得出所述目标检测模型。
第二方面，本发明还提供了一种预防婴幼儿从高处跌落的智能监测装置，所述装置包括：
图像获取模块，用于获取婴幼儿看护场景下实时的视频流，将所述视频流分解为多帧图像；
位置信息识别模块，用于将所述多帧图像输入预设的目标检测模型中，识别多帧图像中的边界位置信息和婴幼儿人形位置信息；
危险区域判定模块，用于获取所述边界位置信息和婴幼儿人形位置信息，依据预设的距离判定规则，得出边界和婴幼儿之间的相对位置信息；
安全提醒模块，用于依据所述相对位置信息，判定婴幼儿处于预设的危险区域范围内时，向用户发出多种频率的安全提醒。
第三方面，本发明实施例还提供了一种电子设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
第四方面，本发明实施例还提供了一种存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
综上所述，本发明的有益效果如下：
本发明提供的预防婴幼儿从高处跌落的智能监测方法、装置及设备，所述方法包括：获取婴幼儿看护场景下实时的视频流，将所述视频流分解为多帧图像；将所述多帧图像输入预设的目标检测模型中，识别多帧图像中的边界位置信息和婴幼儿人形位置信息；获取所述边界位置信息和婴幼儿人形位置信息，依据预设的距离判定规则，得出边界和婴幼儿之间的相对位置信息；依据所述相对位置信息，当婴幼儿处于预设的危险区域范围内时，向用户发出多种频率的安全提醒。本发明通过预设的距离判定规则，得出边界与婴幼儿之间准确的相对位置信息，从而能够依据所述相对位置信息准确地判定出当前婴幼儿处于危险区域范围内，同时在婴幼儿处于危险区域范围内时，依据预设的提醒规则，及时地向用户发出智能化的安全提醒，在有效地防止婴幼儿从高处掉落摔伤的概率的同时，也避免了用户被勿打扰，提升了用户体验。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，这些均在本发明的保护范围内。
图1为本发明实施例1中预防婴幼儿从高处跌落的智能监测方法的整体工作的流程示意图；
图2为本发明实施例1中构建目标检测模型的流程示意图；
图3为本发明实施例1中识别边界位置信息的流程示意图；
图4为本发明实施例1中确定婴幼儿与边界之间的相对位置信息的流程示意图；
图5为本发明实施例1中依据最小距离确定相对位置信息的流程示意图；
图6为本发明实施例1中依据推送频率向用户发出安全提醒的流程示意图；
图7为本发明实施例2中预防婴幼儿从高处跌落的智能监测装置的结构框图；
图8为本发明实施例3中电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。
实施例1
请参见图1，本发明实施例1公开了一种预防婴幼儿从高处跌落的智能监测方法，所述方法包括：
S1：获取婴幼儿看护场景下实时的视频流，将所述视频流分解为多帧图像；
具体地，获取在婴幼儿看护场景下看护设备实时采集的视频流，所述视频流主要指的是白天的彩色视频流和夜间的红外视频流，将所述视频流按照出现的时间先后顺序分解为多帧图像，通过对所述多帧图像的处理，可实现对婴幼儿二十四小时的监控和看护。
在一实施例中，请参见图2，所述S2之前包括：
S201：获取训练图像数据，其中，所述训练图像数据为预先收集的大量婴幼儿看护场景下的包括婴幼儿日常活动的目标图像数据；
具体地，预先收集大量婴幼儿看护场景下的目标图像数据，重点收集婴幼儿睡眠场景、亲子互动场景下的目标图像数据，所述目标图像数据中至少包括以下之一：婴幼儿头部、婴幼儿躯干部和婴幼儿所处场地。
S202：预先标注出所述训练图像数据中的目标区域、婴幼儿头部和婴幼儿躯干部；
具体地，在看护场景下，婴幼儿可能处于睡眠状态、玩耍状态等，将当前婴幼儿所处场地作为目标区域，所处场地包括以下之一：婴幼儿床、大床和桌子等具有一定高度的可能导致婴幼儿掉落摔伤的场地，预先标注出所述训练图像数据中的目标区域、婴幼儿头部和婴幼儿躯干部，婴幼儿躯干部包括：婴幼儿四肢和身体。
在一实施例中，所述预设的目标区域包括：
婴幼儿看护场景下与预设参照物之间具有高度差的二维平台区域，其中，所述预设参照物至少包括以下之一：地面和桌面。
具体地，例如婴幼儿处于睡眠状态时，其所在的目标区域为床所在的二维平面区域，并且此时床与地面具有一定的高度差；又比如婴幼儿处于玩耍状态时，其爬上柜子，则此时婴幼儿所在的目标区域为柜子所在的二维平面区域，并且此时柜子与桌面或者地面具有一定的高度差，婴幼儿从上述的床、柜子上发生摔落，由于高度差的存在，会受到伤害，通过对目标区域的检测，进而防止婴幼儿摔伤是具有很大的对婴幼儿的保护作用的。
S203：利用基于YOLOV7的目标检测算法，对所述训练图像数据进行训练，得出目标检测模型。
具体地，基于YOLOV7的目标检测算法，具有检测精度高和检测速度快的特点，利用基于YOLOV7的目标检测算法对上述训练图像数据进行训练，由于训练图像数据中已经被预先标注出目标区域、婴幼儿头部和婴幼儿躯干部，得出一个能够实现快速精确检测的目标检测模型。
S2：将所述多帧图像输入预设的目标检测模型中，识别多帧图像中的边界位置信息和婴幼儿人形位置信息；
在一实施例中，请参见图3，所述S2包括：
S21：将所述多帧图像输入预设的目标检测模型中，得出婴幼儿人形位置信息和预设的目标区域位置信息；
具体地，获取实时的视频流分解得出的多帧图像，将多帧图像输入所述目标检测模型中进行检测，识别出图像中的目标区域、婴幼儿头部和婴幼儿躯干部，并将目标区域在看护设备摄像机的相机坐标中的位置记为目标区域位置信息，以婴幼儿睡眠场景为例，此时婴幼儿所处的场地为有一定高度的婴幼儿床或者大床，此时将床的位置信息作为目标区域位置信息，同时将婴幼儿头部和躯干部在相机坐标系中的位置记为婴幼儿人形位置信息。
S22：依据所述目标区域位置信息，利用虚拟的直线标注出所述目标区域的最小外接多边形框；
S23：获取实时的用户指令，依据所述用户指令，对所述多边形框进行调整，将调整后的多边形框的位置信息记为边界位置信息。
具体地，获取用户通过移动终端输入的调整指令，所述调整指令可能是用户依据实际情况拖动所述虚拟的多边形框上的节点来进行调整所发出的指令，依据所述调整指令，对多边形框进行二次调整，能够有效地减小生成的虚拟多边框与实际目标区域之间的误差，从而提升后续相对位置的判断的准确性。例如通过步骤S23，看护设备已经根据床的位置信息给出了一个推荐的矩形框作为初步的电子围栏，用户可在移动终端上的APP实时查看推荐的初步的电子围栏，看护设备通过APP会提示用户此电子围栏是否与实际相符合，若初步的电子围栏与实际的床的位置有明显误差，APP上的显示初步的电子围栏框的各个顶点以箭头标示支持上下左右拖动，用户可根据需求来拖动各顶点后，最后点击”确认”即完成最终的虚拟电子围栏的设置，；若无明显误差，则用户直接点击“确认”完成最终的虚拟电子围栏的设置，将上述两种情况得出的最终的虚拟的电子围栏在相机坐标系中的位置信息记为边界位置信息。通过用户在移动终端的二次确认，进一步保证了边界位置信息最终生成的可靠性和准确性，避免了安全提醒消息被误触发给用户造成困扰的问题。
S3：获取所述边界位置信息和婴幼儿人形位置信息，依据预设的距离判定规则，得出边界和婴幼儿之间的相对位置信息；
具体地，获取所述边界位置位置信息和婴幼儿人形位置信息，依据预设的距离判定规则对所述边界位置信息和婴幼儿人形位置信息进行处理，得出边界和婴幼儿之间的相对位置信息，准确地判定婴幼儿当前所处的位置是否在危险区域范围内，以婴幼儿睡眠场景为例，此时如果婴幼儿在危险区域内，即将要从床上摔落，但是家长得不到看护提醒，任由婴幼儿摔落，其内心是无比自责与懊悔，通过相对位置信息对婴幼儿是否处于危险区域进行准确的判断，有利于后续向用户发出准确的提醒，在避免婴幼儿摔伤的同时也避免了提醒消息的误触发，提升了用户的看护体验。
在一实施例中，请参见图4，所述S3包括：
S31：依据所述婴幼儿人形位置信息，利用虚拟的直线标注出婴幼儿人形的最小外接矩形框，并将所述矩形框的位置信息记为人形框位置信息；
具体地，获取所述婴幼儿人形位置信息，在实时的画面中利用虚拟的直线标注出婴幼儿人形的最小外接矩形，将婴幼儿人形的最小外接矩形在相机坐标系中的位置信息记为人形框位置信息。通过检测出婴幼儿人形位置信息得出人形框位置信息，有效地避免了实时画面中成人、宠物等的干扰，防止了看护设备在成人和宠物等目标出现时的误触发和启动，节约了资源和成本。并将所述矩形框的位置信息记为人形框位置信息；通过不同形状的虚拟框线来标注不同应用场景下的目标区域，满足了用户对不同看护场景下的需求。
S32:依据所述边界位置信息和人形框位置信息，计算人形框的中心到边界的各条框线的距离；
具体地，获取人形框位置信息，并标注出人形框的中心点P(X,Y)，并获取电子围栏框位置信息，同样以睡眠场景下，目标区域为床所在区域，电子围栏框为矩形框为例，得出电子围栏框的四条框线分别表示为Ax+By+C＝0，Dx+Ey+F＝0，Gx+Hy+I＝0，Jx+Ky+L＝0，先计算点P到框线Ax+By+C＝0的距离，依据电子围栏框位置信息，可得出框线Ax+By+C＝0上任意两点的坐标为P1(x1，y1)，P2(x2，y2)，将P1和P2的坐标代入上述的直线方程Ax+By+C＝0中，得出A＝y2-y1；B＝x1-x2；C＝x2*y1-x1*y2,再根据以下距离公式：d＝fabs((AX+BY+C)/sqrt(A*A+B*B))，其中，d表示点P到Ax+By+C＝0的距离，fabs表示求绝对值，sqrt表示求平方根；可根据上述方法求得点P到其余三条框线分别的距离d2，d3和d4。
S33:依据人形框的中心到边界的各条框线的距离，得出所述相对位置信息。
具体地，获取所述电子围栏框位置信息和所述婴幼儿人形位置信息，并依据婴幼儿与电子围栏距离的远近来判断婴幼儿是否处于危险区域。
在一实施例中，请参见图5，所述S33包括：
S331：依据所述人形框的中心到边界的各条框线的距离，得出所述人形框的中心到边界的各条框线的最小距离；
具体地，例如通过上述步骤求得的距离d＝3cm，d1＝8cm，d2＝4cm，d3＝7cm，通过比较上述四个距离的大小，得出d最小，点P距离框线Ax+By+C＝0最近，此时婴幼儿最容易从框线Ax+By+C＝0的方向摔落收到伤害，应当重点关注，因此将d作为人形框的中心到电子围栏框的各条框线的最小距离进行后续的危险区域判定，保障婴幼儿的安全。
S332：获取预设的距离阈值，依据所述人形框的中心到边界的各条框线的最小距离，得出边界和婴幼儿之间的相对位置信息。
具体地，用户可根据实际使用需求，预先设置一个距离阈值，以距离阈值为5cm为例，此时获取人形框的中心到电子围栏框的各条框线的最小距离d＝3cm小于预设的距离阈值，则判断婴幼儿处于危险区域中，可能即将从床上掉落摔伤，需要向用户发出安全提醒。在看护设备出厂之时，先根据大数据模型，预设一个通用的距离阈值，用户在不同的应用场景下可根据不同的看护需求设置不同的距离阈值，若距离阈值设置偏大，则看护设备发出提醒更及时，但也会更容易出现误触发提醒的情况，同样的若距离阈值设置偏小，则看护设备发出提醒更晚，可能婴幼儿摔伤概率更大，但更能避免用户被误触发的提醒消息打扰。
S4:依据所述相对位置信息，当婴幼儿处于预设的危险区域范围内时，向用户发出多种频率的安全提醒。
在一实施例中，请参见图6，所述S4包括：
S41：获取预设的距离等级，依据所述相对位置信息，当判定婴幼儿处于所述危险区域时，得出所述相对位置信息对应的距离等级；
具体地，获取预先设置的距离等级level，以设置的距离等级为5个等级为例，其中距离4.5cm＝＜d＝＜5cm为level1，距离4cm＝＜d＜4.5cm为level2，距离3.5cm＝＜d＜4cm为level3，距离3cm＝＜d＜3.5cm为level4，距离2.5cm＝＜d＜3cm为level5，距离越远，其对应大的等级越低，获取上述人形框的中心到电子围栏框的各条框线的最小距离d＝3cm，判断其距离等级应为level4。当婴幼儿进入危险区域时，对婴幼儿距离电子围栏的最小距离进行不同的分级，根据不同的距离等级发出不同的看护提醒，使得安全提醒在不损害有效性的前提之下，也减少了对用户不必要的打扰。
S42：获取预设的检测灵敏度，并依据所述相对位置信息对应的距离等级，调整安全提醒消息推送的频率；
具体地，获取用户通过看护设备移动终端的APP设置的检测灵敏度thresthold，检测灵敏度分为三个等级，分别为高、中和低三档，默认为中灵敏度。依据下列公式计算推送频率：freq＝(3-thresthold)x10s×(2^(4-level))，其中，freq表示推送频率，thresthold表示检测灵敏度，2^(4-level)表示2的4-level次方。通过人形框的中心到电子围栏框的各条框线的最小距离得出距离等级，再综合检测灵敏度来计算推送频率，一是保证了婴幼儿在进入危险区域时，及时准确地向用户发出安全提醒，二是根据在危险区域内距离跌落发生位置的远近程度发出不同的提醒，使得安全提醒更加智能化和人性化。
S43：依据调整后的推送频率，向用户发出安全提醒消息。
具体地，依据调整后的安全提醒消息推送的频率，向用户发出安全提醒消息。在婴幼儿进入危险区域时，看护设备开始发出提醒，且婴幼儿距离电子围栏的距离越近，看护设备发出提醒的频率越高，用户得到的安全提醒越明显，看护体验得到极大提升。
实施例2
请参见图7，本发明实施例2还提供了一种预防婴幼儿从高处跌落的智能监测装置，所述装置包括：
图像获取模块，用于获取婴幼儿看护场景下实时的视频流，将所述视频流分解为多帧图像；
位置信息识别模块，用于将所述多帧图像输入预设的目标检测模型中，识别多帧图像中的边界位置信息和婴幼儿人形位置信息；
危险区域判定模块，用于获取所述边界位置信息和婴幼儿人形位置信息，依据预设的距离判定规则，得出边界和婴幼儿之间的相对位置信息；
安全提醒模块，用于依据所述相对位置信息，判定婴幼儿处于预设的危险区域范围内时，向用户发出多种频率的安全提醒。
具体地，采用本发明实施例提供的预防婴幼儿从高处跌落的智能监测装置，所述装置包括：图像获取模块，用于获取婴幼儿看护场景下实时的视频流，将所述视频流分解为多帧图像；位置信息识别模块，用于将所述多帧图像输入预设的目标检测模型中，识别多帧图像中的边界位置信息和婴幼儿人形位置信息；危险区域判定模块，用于获取所述边界位置信息和婴幼儿人形位置信息，依据预设的距离判定规则，得出边界和婴幼儿之间的相对位置信息；安全提醒模块，用于依据所述相对位置信息，判定婴幼儿处于预设的危险区域范围内时，向用户发出多种频率的安全提醒。本发明通过预设的距离判定规则，得出边界与婴幼儿之间准确的相对位置信息，从而能够依据所述相对位置信息准确地判定出当前婴幼儿处于危险区域范围内，同时在婴幼儿处于危险区域范围内时，依据预设的提醒规则，及时地向用户发出智能化的安全提醒，在有效地防止婴幼儿从高处掉落摔伤的概率的同时，也避免了用户被勿打扰，提升了用户体验。
实施例3
另外，结合图1描述的本发明实施例1的预防婴幼儿从高处跌落的智能监测方法可以由电子设备来实现。图8示出了本发明实施例3提供的电子设备的硬件结构示意图。
电子设备可以包括处理器以及存储有计算机程序指令的存储器。
具体地，上述处理器可以包括中央处理器(CPU)，或者特定集成电路(ApplicationSpecific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器可在数据处理装置的内部或外部。在特定实施例中，存储器是非易失性固态存储器。在特定实施例中，存储器包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器通过读取并执行存储器中存储的计算机程序指令，以实现上述实施例中的任意一种预防婴幼儿从高处跌落的智能监测方法。
在一个示例中，电子设备还可包括通信接口和总线。其中，如图8所示，处理器、存储器、通信接口通过总线连接并完成相互间的通信。
通信接口，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线包括硬件、软件或两者，将所述设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
实施例4
另外，结合上述实施例1中的预防婴幼儿从高处跌落的智能监测方法，本发明实施例4还可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种预防婴幼儿从高处跌落的智能监测方法。
综上所述，本发明实施例提供了一种预防婴幼儿从高处跌落的智能监测方法、装置、设备及存储介质。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种预防婴幼儿从高处跌落的智能监测方法，其特征在于，所述方法包括：
S1：获取婴幼儿看护场景下实时的视频流，将所述视频流分解为多帧图像；
S2：将所述多帧图像输入预设的目标检测模型中，识别多帧图像中的边界位置信息和婴幼儿人形位置信息；
S3：获取所述边界位置信息和婴幼儿人形位置信息，依据预设的距离判定规则，得出边界和婴幼儿之间的相对位置信息；
S4:依据所述相对位置信息，当婴幼儿处于预设的危险区域范围内时，向用户发出多种频率的安全提醒。
2.根据权利要求1所述的预防婴幼儿从高处跌落的智能监测方法，其特征在于，所述S2包括：
S21：将所述多帧图像输入预设的目标检测模型中，得出婴幼儿人形位置信息和预设的目标区域位置信息；
S22：依据所述目标区域位置信息，利用虚拟的直线标注出所述目标区域的最小外接多边形框；
S23：获取实时的用户指令，依据所述用户指令，对所述多边形框进行调整，将调整后的多边形框的位置信息记为边界位置信息。
3.根据权利要求1所述的预防婴幼儿从高处跌落的智能监测方法，其特征在于，所述S3包括：
S31：依据所述婴幼儿人形位置信息，利用虚拟的直线标注出婴幼儿人形的最小外接矩形框，并将所述矩形框的位置信息记为人形框位置信息；
S32:依据所述边界位置信息和人形框位置信息，计算人形框的中心到边界的各条框线的距离；
S33:依据人形框的中心到边界的各条框线的距离，得出所述相对位置信息。
4.根据权利要求3所述的预防婴幼儿从高处跌落的智能监测方法，其特征在于，所述S33包括：
S331：依据所述人形框的中心到边界的各条框线的距离，得出所述人形框的中心到边界的各条框线的最小距离；
S332：获取预设的距离阈值，依据所述人形框的中心到边界的各条框线的最小距离，得出边界和婴幼儿之间的相对位置信息。
5.根据权利要求1所述的预防婴幼儿从高处跌落的智能监测方法，其特征在于，所述S4包括：
S41：获取预设的距离等级，依据所述相对位置信息，当判定婴幼儿处于所述危险区域时，得出所述相对位置信息对应的距离等级；
S42：获取预设的检测灵敏度，并依据所述相对位置信息对应的距离等级，调整安全提醒消息推送的频率；
S43：依据调整后的推送频率，向用户发出安全提醒消息。
6.根据权利要求2所述的预防婴幼儿从高处跌落的智能监测方法，其特征在于，所述预设的目标区域包括：
婴幼儿看护场景下与预设参照物之间具有高度差的二维平台区域，其中，所述预设参照物至少包括以下之一：地面和桌面。
7.根据权利要求2所述的预防婴幼儿从高处跌落的智能监测方法，其特征在于，所述S2之前包括：
S201：获取训练图像数据，其中，所述训练图像数据为预先收集的大量婴幼儿看护场景下的包括婴幼儿日常活动的目标图像数据；
S202：预先标注出所述训练图像数据中的目标区域、婴幼儿头部和婴幼儿躯干部；
S203：利用基于YOLOV7的目标检测算法，对所述训练图像数据进行训练，得出所述目标检测模型。
8.一种预防婴幼儿从高处跌落的智能监测装置，其特征在于，所述装置包括：
图像获取模块，用于获取婴幼儿看护场景下实时的视频流，将所述视频流分解为多帧图像；
位置信息识别模块，用于将所述多帧图像输入预设的目标检测模型中，识别多帧图像中的边界位置信息和婴幼儿人形位置信息；
危险区域判定模块，用于获取所述边界位置信息和婴幼儿人形位置信息，依据预设的距离判定规则，得出边界和婴幼儿之间的相对位置信息；
安全提醒模块，用于依据所述相对位置信息，判定婴幼儿处于预设的危险区域范围内时，向用户发出多种频率的安全提醒。
9.一种电子设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-7中任一项所述的方法。
10.一种存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-7中任一项所述的方法。
CN202310256273.1A 2023-03-16 2023-03-16 预防婴幼儿从高处跌落的智能监测方法、装置及设备 Pending CN116311780A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310256273.1A CN116311780A (zh) 2023-03-16 2023-03-16 预防婴幼儿从高处跌落的智能监测方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310256273.1A CN116311780A (zh) 2023-03-16 2023-03-16 预防婴幼儿从高处跌落的智能监测方法、装置及设备

Publications (1)

Publication Number Publication Date
CN116311780A true CN116311780A (zh) 2023-06-23

Family

ID=86786559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310256273.1A Pending CN116311780A (zh) 2023-03-16 2023-03-16 预防婴幼儿从高处跌落的智能监测方法、装置及设备

Country Status (1)

Country Link
CN (1) CN116311780A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106534796A (zh) * 2016-11-29 2017-03-22 北京小米移动软件有限公司 监控婴童安全的方法及装置
CN108682112A (zh) * 2018-05-15 2018-10-19 京东方科技集团股份有限公司 一种婴幼儿监护装置、终端、系统、方法和存储介质
CN109984750A (zh) * 2019-04-24 2019-07-09 上海健康医学院 一种基于运动检测的睡眠婴幼儿防跌落预警方法及系统
CN113516095A (zh) * 2021-07-28 2021-10-19 宁波星巡智能科技有限公司 婴幼儿睡眠监测方法、装置、设备及介质
CN113610835A (zh) * 2021-08-23 2021-11-05 深圳市万佳安物联科技股份有限公司 看护摄像机的人形检测方法
CN113971868A (zh) * 2020-07-23 2022-01-25 易程融创信息科技有限公司 一种基于幼儿行为统计的报警方法及系统
KR20220092761A (ko) * 2020-12-24 2022-07-04 (주)끌렘컴퍼니 인공지능 기반 아기 수면 모니터링 방법 및 시스템
CN114926957A (zh) * 2022-04-13 2022-08-19 西安理工大学 基于智能家居的婴幼儿监护系统及监护方法
CN115187888A (zh) * 2022-05-20 2022-10-14 河海大学 一种基于深度学习的婴幼儿监护系统及搭建方法
CN115273395A (zh) * 2022-05-31 2022-11-01 歌尔股份有限公司 监控方法、装置、设备、系统及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106534796A (zh) * 2016-11-29 2017-03-22 北京小米移动软件有限公司 监控婴童安全的方法及装置
CN108682112A (zh) * 2018-05-15 2018-10-19 京东方科技集团股份有限公司 一种婴幼儿监护装置、终端、系统、方法和存储介质
CN109984750A (zh) * 2019-04-24 2019-07-09 上海健康医学院 一种基于运动检测的睡眠婴幼儿防跌落预警方法及系统
CN113971868A (zh) * 2020-07-23 2022-01-25 易程融创信息科技有限公司 一种基于幼儿行为统计的报警方法及系统
KR20220092761A (ko) * 2020-12-24 2022-07-04 (주)끌렘컴퍼니 인공지능 기반 아기 수면 모니터링 방법 및 시스템
CN113516095A (zh) * 2021-07-28 2021-10-19 宁波星巡智能科技有限公司 婴幼儿睡眠监测方法、装置、设备及介质
CN113610835A (zh) * 2021-08-23 2021-11-05 深圳市万佳安物联科技股份有限公司 看护摄像机的人形检测方法
CN114926957A (zh) * 2022-04-13 2022-08-19 西安理工大学 基于智能家居的婴幼儿监护系统及监护方法
CN115187888A (zh) * 2022-05-20 2022-10-14 河海大学 一种基于深度学习的婴幼儿监护系统及搭建方法
CN115273395A (zh) * 2022-05-31 2022-11-01 歌尔股份有限公司 监控方法、装置、设备、系统及存储介质

Similar Documents

Publication Publication Date Title
CN109398162B (zh) 儿童汽车座椅和儿童汽车座椅接近度检测方法
CN104599439A (zh) 基于智能穿戴设备儿童安全监控方法、装置和系统
CN111428681A (zh) 一种智能防疫系统
US8779918B2 (en) Convulsive seizure detection and notification system
CN117690159B (zh) 基于多模态数据融合的婴幼儿趴睡监测方法、装置及设备
KR20170045606A (ko) 영유아 지킴이 서비스 시스템
KR102367399B1 (ko) 영유아 상태 알림 장치 및 방법
CN112289031A (zh) 一种公交行驶过程中异常情况检测与报警的方法及装置
CN111540154A (zh) 一种空调及空调的安防控制方法
CN108540777A (zh) 一种智能监控方法、装置、设备和存储介质
CN112633387A (zh) 一种安全提醒方法、装置、设备、系统及存储介质
CN108995624A (zh) 车辆安防装置及方法
CN113706824B (zh) 一种基于物联网监控的老人居家看护系统
CN116311780A (zh) 预防婴幼儿从高处跌落的智能监测方法、装置及设备
CN114758414A (zh) 行人行为的检测方法、装置、设备及计算机存储介质
KR20180076247A (ko) 통학버스의 안전시스템.
CN109118709B (zh) 一种小孩被困的紧急求助方法、装置及设备
CN103593885A (zh) 行车辅助装置及其事故通报方法
CN113384386B (zh) 婴幼儿踢被智能检测方法、装置、电子设备及介质
CN106899828A (zh) 智能监舍系统及方法
CN116386671B (zh) 婴幼儿哭声类别识别方法、装置、设备及存储介质
CN210377560U (zh) 一种智能校车监控系统
CN207301309U (zh) 一种幼儿园管理用定位系统
CN111209814A (zh) 用于k12教育阶段的人脸识别校园区域预警方法及系统
CN205247536U (zh) 小区围栏报警系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination