CN116189308B - 一种无人机飞手检测方法、系统及存储介质 - Google Patents

一种无人机飞手检测方法、系统及存储介质 Download PDF

Info

Publication number
CN116189308B
CN116189308B CN202310254839.7A CN202310254839A CN116189308B CN 116189308 B CN116189308 B CN 116189308B CN 202310254839 A CN202310254839 A CN 202310254839A CN 116189308 B CN116189308 B CN 116189308B
Authority
CN
China
Prior art keywords
image
hand
head
parameter
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310254839.7A
Other languages
English (en)
Other versions
CN116189308A (zh
Inventor
孙忠良
张晓杰
钟彦超
张丛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jieneng Keshi Intelligent Security Technology Hangzhou Co ltd
Original Assignee
Jieneng Keshi Intelligent Security Technology Hangzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jieneng Keshi Intelligent Security Technology Hangzhou Co ltd filed Critical Jieneng Keshi Intelligent Security Technology Hangzhou Co ltd
Priority to CN202310254839.7A priority Critical patent/CN116189308B/zh
Publication of CN116189308A publication Critical patent/CN116189308A/zh
Application granted granted Critical
Publication of CN116189308B publication Critical patent/CN116189308B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本申请涉及一种无人机飞手检测方法、系统及存储介质，涉及图像处理技术领域，包括：获取第一待测图像并获取相应的骨骼点模型；根据骨骼点模型生成第一姿态参数；判断第一姿态参数是否处在第一参数范围内，若是，则将骨骼点模型对应的人体作为疑似对象，并获取包含疑似对象的第二待测图像；每获取第二待测图像，则根据第二待测图像生成第二姿态参数，并判断第二姿态参数是否处在第二参数范围内，若是，则继续获取第二待测图像，直到所获取的第二待测图像所对应的获取时间中最早获取时间和最晚获取时间的间隔等于或超过预设时间，输出相应的告警信息。借助公共监控来对飞手进行识别，通过瞬时鉴定和持续验证这两种方式提高了识别的准确率。

Description

一种无人机飞手检测方法、系统及存储介质
技术领域
本申请涉及图像处理的技术领域，尤其是涉及一种无人机飞手检测方法、系统及存储介质。
背景技术
随着无人机技术的发展以及无人机厂商之间为了争夺市场份额而进行地激烈竞争，越来越多的消费者可以较为轻松地拥有一台消费级无人机。但并不是每一个消费者都会合规地使用无人机，导致黑飞现象情况也随着越来越多的无人机投入市场而逐渐严重。因此管控黑飞无人机和飞手是无人机应用中必不可少的一环。
目前为了有效控制无人机黑飞现象，专业制造厂家推出了无人机反制系统。无人机反制系统可以分为两类，一类是破坏性打击系统，可以直接摧毁入侵的无人机；另一类则是非破坏性无人机打击系统，并不会对无人机进行摧毁性打击，只是会通过反制无人机系统对入侵无人机进行干扰、反制与管控，从而对其飞控系统、数据传输系统进行反制，确保防御领空的安全，避免无人机的任意乱入。
另外，第二类无人机反制系统的原理是干扰无人机的飞行系统，阻断无人机和飞控设备之间的信号传输，迫使无人机着陆或者返航。而通过对无人机航线的分析还可以进一步定位飞手的位置，如公开号为CN115421507A的专利就是公开了基于无人机的飞行轨迹以得到飞手的位置。
但是上述手段在确定飞手位置时，实际上所确定的位置仍是一个范围区域，在这个范围区域内可能存在多人。那么为了进一步明确哪一个人才是飞手，在条件允许的情况下还可以借助公共摄像头获取现场图像，通过对现场图像进行处理以识别出飞手。
对现场图像的处理一般是识别图像中是否存在飞控设备，若图像中显示了飞控设备，那么握持飞控设备的人就是飞手。然而由于摄像头的角度相对固定，摄像头所拍摄的图像中飞控设备容易被遮挡，就无法识别出飞控设备，导致真正的飞手被排除掉，从而造成对飞手识别的误判。
发明内容
为了提高对飞手识别的准确度，本申请提供一种无人机飞手检测方法、系统及存储介质。
第一方面，本申请提供一种无人机飞手检测方法，采用如下的技术方案：
一种无人机飞手检测方法，包括以下步骤：
获取第一待测图像；
识别第一待测图像中的人体并获取相应的骨骼点模型；
根据骨骼点模型生成第一姿态参数；
判断第一姿态参数是否处在预设的第一参数范围内，
若第一姿态参数处在预设的第一参数范围内，则将相应骨骼点模型所对应的人体作为疑似对象，并获取包含相应疑似对象的第二待测图像；
每获取一个第二待测图像，则根据第二待测图像生成对应的第二姿态参数，并判断相应的第二姿态参数是否处在预设的第二参数范围内，
若相应的第二姿态参数处在预设的第二参数范围内，则继续获取第二待测图像，直到所获取的第二待测图像所对应的获取时间中最早获取时间和最晚获取时间的间隔等于或超过预设时间，将相应的疑似对象定为飞手并输出相应的告警信息。
通过采用上述技术方案，首先，根据第一姿态参数来对瞬时的人体姿态进行评估是否有符合飞手所对应的姿态，一旦被评估为符合飞手所对应的姿态，则会进行持续的监控以判断姿态是否会出现改变，若姿态一直没有改变，那么对应的人体就有很大可能是飞手，从而输出相应的告警信息，实现了借助公共监控来对飞手进行识别，起到了提前进行定位的作用，并且识别的准确率高。
可选的，所述第一姿态参数包括双手间距和头部偏差度，所述第一参数范围包括双手许可范围和角度许可范围；
所述判断第一姿态参数是否处在预设的第一参数范围内，包括以下步骤：
判断双手间距是否处在双手许可范围内，以及判断头部偏差度是否处在角度许可范围内，
若双手间距处在双手许可范围内且头部偏差度处在角度许可范围内，则相应的第一姿态参数处在预设的第一参数范围内；
若双手间距不处在双手许可范围内或头部偏差度不处在角度许可范围内，则相应的第一姿态参数不处在预设的第一参数范围内。
可选的，所述根据骨骼点模型生成第一姿态参数，包括以下步骤：
从骨骼点模型中获取若干手指骨骼点，对手指骨骼点进行左右手指的配对以获得若干配对组，获取每个配对组所对应的手指间距，根据所有的手指间距确定双手间距；
基于骨骼点模型确定头部实际朝向和头手理论朝向，根据头部实际朝向和头手理论朝向确定头部偏差值。
可选的，所述将相应骨骼点模型所对应的人体作为疑似对象之前，还包括以下步骤：
判断配对组中是否存在拇指所对应的配对组以及至少一个其余手指所对应的配对组，
若配对组中存在拇指所对应的配对组以及至少一个其余手指所对应的配对组，则根据配对组确定拇指与其余手指之间的偏转角度；
判断偏转角度是否处在预设的角度范围内，
若偏转角度处在预设的角度范围内，则获取包含相应疑似对象的第二待测图像；
若偏转角度不处在预设的角度范围内，则停止获取包含相应疑似对象的第二待测图像。
可选的，所述基于骨骼点模型确定头部实际朝向和头手理论朝向，包括以下步骤：
在骨骼点模型上建立坐标系；
获取坐标系中的第一坐标点、第二坐标点和头部骨骼线段，其中，所述第一坐标点用于表征骨骼点模型中手部在坐标系的位置，所述第二坐标点用于表征骨骼点模型中头部在坐标系的位置；
将头部骨骼线段拟合成直线段，将直线段上的垂线的朝向作为头部实际朝向；
从第二坐标点向第一坐标点作导线，将导线的朝向作为头手理论朝向。
可选的，所述第二姿态参数包括手腕间距和头部朝向，所述第二参数范围包括手腕许可范围和角度许可范围，
所述判断第二姿态参数是否处在预设的第二参数范围内，包括以下步骤：
判断手腕间距是否处在手腕许可范围内，以及判断头部偏差度是否处在角度许可范围内，
若手腕间距处在手腕许可范围内且头部偏差度处在角度许可范围内，则相应的第二姿态参数处在预设的第二参数范围内；
若手腕间距不处在手腕许可范围内或头部偏差度不处在角度许可范围内，则相应的第二姿态参数不处在预设的第二参数范围内。
可选的，还包括以下步骤：若相应的第二姿态参数不处在预设的第二参数范围内，则调用上一次获取的骨骼点模型并作为对照模型；
根据对照模型和当前的骨骼点模型确定差异部位；
判断差异部位是否仅为头部或单手，
若差异部位不是仅为头部或单手，则不再获取第二待测图像；
若差异部位仅为头部或单手，则赋予当前的疑似对象一个标记，并判断当前的疑似对象是否具有两个标记，
若当前的疑似对象具有两个标记，则不再获取第二待测图像；
若当前的疑似对象不具有两个标记，则再获取第二待测图像。
可选的，所述根据对照模型和当前的骨骼点模型确定差异部位，包括以下步骤:
基于对照模型获取第一参照组、第二参照组以及第三参照组，其中，所述第一参照组为对照模型中左手与躯干的骨骼点组合，所述第二参照组为对照模型中右手与躯干的骨骼点组合，所述第三参照组为对照模型中手部与头部的骨骼点组合；
基于当前的骨骼点模型获取第一比较组、第二比较组和头部骨骼点，其中，所述第一比较组是当前骨骼点模型中左手与躯干的骨骼点组合，第二比较组是当前骨骼点模型中右手与躯干的骨骼点组合；
根据第一比较组和第一参照组获得第一相似度，
根据第二比较组和第二参照组获得第二相似度，分别判断第一相似度和第二相似度是否超过预设标准，
若第一相似度和第二相似度均不超过预设标准，则差异部位为双手；
若仅第一相似度超过预设标准或仅第二相似度超过预设标准，则将与超过预设标准所对应的单手作为基准手，并判断头部是否朝向基准手，
若头部朝向基准手，则差异部位为单手；若头部不朝向基准手，则差异部位包括单手和头部；
若第一相似度和第二相似度均超过预设标准，则差异部位为头部。
第二方面，本申请提供一种无人机飞手检测系统，采用如下的技术方案：
一种无人机飞手检测系统，包括：
图像获取模块，用于获取第一待测图像；
骨骼识别模块，用于识别第一待测图像中的人体并获取相应的骨骼点模型；
第一姿态生成模块，用于根据骨骼点模型生成第一姿态参数；
第一姿态比较模块，用于判断第一姿态参数是否处在预设的第一参数范围内，若第一姿态参数处在预设的第一参数范围内，则将相应骨骼点模型所对应的人体作为疑似对象，并向第二图像获取模块发送启动指令；
第二图像获取模块，用于根据启动指令定期获取包含相应疑似对象的第二待测图像并将第二待测图像传输给第二姿态生成模块，以及根据接收的停止指令停止获取第二待测图像；
第二姿态生成模块，用于在每获取一个第二待测图像后根据第二待测图像生成对应的第二姿态参数，
第二姿态比较模块，用于判断相应的第二姿态参数是否处在预设的第二参数范围内，若相应的第二姿态参数处在预设的第二参数范围内，则不向第二图像获取模块发送停止指令，直到所获取的第二待测图像所对应的获取时间中最早获取时间和最晚获取时间的间隔等于或超过预设时间，将相应的疑似对象定为飞手并输出相应的告警信息，并向第二图像获取模块发送停止指令。
第三方面，本申请提供一种可读存储介质，存储有能被处理器加载并执行上述的一种无人机飞手检测方法的计算机程序。
综上所述，本申请包括以下至少一种有益技术效果：根据第一姿态参数来对瞬时的人体姿态进行评估是否有符合飞手所对应的姿态，一旦被评估为符合飞手所对应的姿态，则会进行持续的监控以判断姿态是否会出现改变，若姿态一直没有改变，那么对应的人体就有很大可能是飞手，从而输出相应的告警信息，实现了借助公共监控来对飞手进行识别，起到了提前进行定位的作用，并且识别的准确率高。
附图说明
图1是本申请实施例中无人机飞手检测方法的整体步骤框图。
图2是本申请实施例中根据骨骼点模型生成第一姿态参数的步骤框图。
图3是本申请实施例的手部骨骼点的示意图。
图4是本申请实施例中基于骨骼点模型确定头部实际朝向和头手理论朝向的步骤框图。
图5是本申请实施例中第二姿态参数不处在第二参数范围内下的检测方法的步骤框图。
具体实施方式
以下结合附图对本申请作进一步详细说明。
本申请公开一种无人机飞手检测方法，参见图1，包括以下步骤：
S100、获取第一待测图像。
第一待测图像是通过被选中的摄像头采集到的。被选中的摄像头可以是通过人工选择，也可以是通过接入到无人机检测平台中，并在无人机检测平台初步确定飞手所处区域后自动选择该区域内的摄像头。
被选中的摄像头的数量可以是一个，也可以是多个。
当摄像头的数量是一个时，表明只需要对一处现场进行监控，那么，即使通过当前的第一待测图像未发现飞手，也会再间隔一段时间后再次获取第一待测图像。
而当摄像头的数量是多个时，多个摄像头既可以是针对同一现场从不同视角进行监控的摄像头，也可以是针对不同现场进行监控的摄像头。无论哪一种情况，若同步对所有由摄像头采集的第一待测图像进行处理，那么同一时间所需要进行图像处理的第一待测图像的数量会比较大，容易导致处理器运算过载。因此，本申请采用轮询的方式，即对被选中的摄像头进行编号，且将所有编号进行排序，按照排序顺序依次选取编号，被选中的编号所对应的摄像头当前拍摄的图像作为第一待测图像。在对当前选中的编号所对应的图像处理未完结之前，下一个编码不会被选中。
S200、识别第一待测图像中的人体并获取相应的骨骼点模型。
识别第一待测图像中的人体是通过图像识别技术将不同的人体所涉及的图像范围从第一待测图像中区分出来。
而骨骼点模型是通过SWPE(Single-Network Whole-Body Pose Estimation)模型根据识别出的人体图像所预测出来的。
S300、根据骨骼点模型生成第一姿态参数。
第一姿态参数是用于表征第一待测图像所生成的骨骼点模型对应的人体姿态。第一姿态参数包括双手间距和头部偏差度，其中，双手间距是指骨骼点模型中左手和右手之间的距离，头部偏差度是指头部实际的朝向与头部到手部间连线的偏差角度。可以看出，第一姿态参数是通过具体的数值来表明人体的姿态，而不是直接对人体姿态进行抽象的概括。
在一个实施例中，根据骨骼点模型生成第一姿态参数，参见图2，包括以下步骤：
S310、从骨骼点模型中获取若干手指骨骼点，对手指骨骼点进行左右手指的配对以获得若干配对组，获取每个配对组所对应的手指间距，根据所有的手指间距确定双手间距。
左右手指的配对是将左右手的大拇指、食指、中指、无名指、小指分别对应起来。手指间距即为对应的手指之间的距离。双手间距则是所有手指间距的平均值。
每个手指的关节点有多个，在进行左右手指的配对以及求取手指间距时，并不需要每个手指的所有关节点都参与进来，而是从每个手指的关节点中选择一个即可。
图3是手部骨骼点的示意图，且每个手指的关节点都赋予了一对一的标号。由于手指的关节点中最靠近手掌位置的关节点是最容易被检测到的，那么在获取手指骨骼点时，可以只获取手指最靠近手掌位置的关节点。以图3中的手部骨骼点为例，左手对应的标号：3，5，9，13，17与右手对应的标号：3，5，9，13，17即为从骨骼点模型中获取的手指骨骼点。
另外，第一待测图像的生成会受天气与行人角度影响，在根据第一待测图像确定骨骼点模型时，SWPE可能并不能全部检测出左手、右手的五个关节点。并且手指的关节点很难通过手腕、手掌等连接部位单独进行预测，一旦单个手指的各个关节点都没有被检测到，那么就会导致所得到的骨骼点模型中缺少某些手指的关节点。进而导致双手间距的计算方式也需要根据配对组的数量来进行调整。
例如，当左右手的五对手指都可以被检测到时，那么计算公式为X=（L1+L2+L3+L4+L5）/5，其中，X为双手间距，L1为左右拇指对应的手指间距，L2为左右食指对应的手指间距，L3为左右中指对应的手指间距，L4为左右无名指对应的手指间距，L5为左右小指对应的手指间距。
又例如，当左右手只有拇指、食指、中指被检测到时，那么计算公式为X=（L1+L2+L3）/3。
更多不同的检测情况所对应的计算公式可根据上述例子类推得到，在此不再赘述。
S320、基于骨骼点模型确定头部实际朝向和头手理论朝向，根据头部实际朝向和头手理论朝向确定头部偏差值。
头手理论朝向是头部到手部间的连线所对应的朝向。头部偏差值是通过头部实际朝向和头手理论朝向做差所得到的差值。
进一步的，基于骨骼点模型确定头部实际朝向和头手理论朝向，参见图4，包括以下步骤：
S321、在骨骼点模型上建立坐标系。
该坐标系为三维坐标系。通过对骨骼点模型进行深度方向的修复以建立三维模型，并根据三维模型建立坐标系。
S322、获取坐标系中的第一坐标点、第二坐标点和头部骨骼线段。
其中，第一坐标点用于表征骨骼点模型中手部在坐标系的位置，具体的，第一坐标点为左右手掌对应的骨骼点连线的中点。左手或右手手掌所对应的骨骼点为图3中的标号0所对应的点。
头部骨骼线段是骨骼点模型中代表头部的骨骼点组合。
第二坐标点用于表征骨骼点模型中头部在坐标系的位置。由于代表头部的头部骨骼线段是单一的，可以选择该头部骨骼线段的任一点来作为第二坐标点。在本实施中，以头部骨骼线段的中点作为第二坐标点。
S323、将头部骨骼线段拟合成直线段，将直线段上的垂线的朝向作为头部实际朝向。
直线段上的垂线被视为与对应人体实际视线是处在同一直线上的，但由于直线段上的垂线有两个方向，想要确定头部实际朝向还需要借助第一待测图像的脸部朝向来辅助判断。
S324、从第二坐标点向第一坐标点作导线，将导线的朝向作为头手理论朝向。
从第二坐标点到第一坐标点的导线可以视为头部看向手部时所产生的视线。导线的朝向即为视线的方向。
S400、判断第一姿态参数是否处在预设的第一参数范围内。
和第一姿态参数相对的，第一参数范围包括双手许可范围和角度许可范围。
判断第一姿态参数是否处在预设的第一参数范围内，就是为了判断对应的人体姿势是否是符合飞手操控飞控设备时的姿势。
进一步的，判断第一姿态参数是否处在预设的第一参数范围内，包括以下步骤：
S410、判断双手间距是否处在双手许可范围内，以及判断头部偏差度是否处在角度许可范围内。
S420、若双手间距处在双手许可范围内且头部偏差度处在角度许可范围内，则相应的第一姿态参数处在预设的第一参数范围内。
S430、若双手间距不处在双手许可范围内或头部偏差度不处在角度许可范围内，则相应的第一姿态参数不处在预设的第一参数范围内。
由于飞手操控飞控设备时最常见的姿势是双手握持飞控设备，且视线落在飞控设备的显示屏上，因此要双手间距和头部偏差度分别落入到双手许可范围内和角度许可范围内，才算是第一姿态参数处在预设的第一参数范围内。
S500、若第一姿态参数处在预设的第一参数范围内，则将相应骨骼点模型所对应的人体作为疑似对象，并获取包含相应疑似对象的第二待测图像。
尽管不同厂家生产的飞控设备的形状各不相同，但是整体上飞控设备的长度还是维持在一定范围内的，而根据对不同类型的飞控设备进行统计所得到的长度范围就是第一参数范围中的双手许可范围。当人体的双手间距处在双手许可范围内，就表明对应的人有很大可能在操控飞控设备。而头部偏差度处在角度许可范围内，则说明对应的人的视线也是朝向双手，很可能是在观看飞控设备所传输的影像。因此第一姿态参数处在预设的第一参数范围内，表明对应的人体在姿势上是符合飞手在操作飞控设备时的姿势。
针对疑似对象，仅凭一张第一待测图像是不清楚对应的姿势是否会长期保持，若能长期保持，那么才能确定对应的人体是飞手；若不能长期保持，则说明对应的人体并不是飞手，可能只是凑巧摆出了类似飞手的姿势并被摄像头捕捉到。因此，若第一姿态参数处在预设的第一参数范围内，只会将对应的人体定义为疑似对象，还需通过获取第二待测图像来进一步验证疑似对象是否为飞手。
若第一姿态参数不处在预设的第一参数范围内，那么说明对应的人体在姿势上是不符合飞手在操作飞控设备时的姿势，可以直接排除掉，并重新执行步骤S100。
另外，随着现在手机游戏的流行，人们很容易在户外也拿着手机玩游戏。由于手机的长度有长有短，且玩游戏时人的视线也会朝向双手，这就导致仅凭双手间距和头部朝向是无法将部分玩手机游戏所形成的姿态和操控飞控设备所形成的姿态区分开来。为了减少后续对第二待测图像的处理压力，有必要对疑似对象进行过滤以排除玩手机游戏的人群。
在一个实施例中，将相应骨骼点模型所对应的人体作为疑似对象之前，还括以下步骤：
S510、判断配对组中是否存在拇指所对应的配对组以及至少一个其余手指所对应的配对组。
S520、若配对组中存在拇指所对应的配对组以及至少一个其余手指所对应的配对组，则根据配对组确定拇指与其余手指之间的偏转角度。
S530、判断偏转角度是否处在预设的角度范围内。
S540、若偏转角度处在预设的角度范围内，则获取包含相应疑似对象的第二待测图像。
S550、若偏转角度不处在预设的角度范围内，则停止获取包含相应疑似对象的第二待测图像。
飞控设备和手机的区别点在于飞控设备上具有控制无人机方向、动力的遥控杆，而手机则只能触碰屏幕。那么体现到人体的姿势上，就会出现控制无人机时拇指和其他手指距离较大，会出现明显夹角；控制手机时拇指和其他手指的距离较小，夹角也比较小。因此根据两者的区别人工设定了角度范围，再通过计算拇指和其余手指之间的偏转角度，判断偏转角度是否处在角度范围内来识别出疑似操控手机的疑似对象，并停止获取这类疑似对象的第二待测图像。
当然，也存在在手机上外置手杆设备或者直接玩掌机的情况，但这类情况在户外发生的几率很小，可以忽略不计。
S600、每获取一个第二待测图像，则根据第二待测图像生成对应的第二姿态参数，并判断相应的第二姿态参数是否处在预设的第二参数范围内。
第二姿态参数用于表征第二待测图像所对应的疑似对象的姿态。
第二参数范围是用于判断疑似对象是否为飞手而人工设定的参数。
S700、若相应的第二姿态参数处在预设的第二参数范围内，则继续获取第二待测图像，直到所获取的第二待测图像所对应的获取时间中最早获取时间和最晚获取时间的间隔等于或超过预设时间，将相应的疑似对象定为飞手并输出相应的告警信息。
正如上述所说只有长期维持符合条件的姿势才能判断疑似对象为飞手，因此在当前的第二姿态参数处在预设的第二参数范围内也需要继续获取新的第二待测图像并继续判断其对应的第二姿态参数是否仍处在预设的第二参数范围内。
为了方便判断是否长期维持，在本实施中是通过人工设定的预设时间来做判断标准。一旦第二待测图像的获取持续时间超过或等于预设时间，就表明疑似对象为飞手的概率很高，因此将疑似对象定为飞手。根据第二待测图像所对应的摄像头编号以及包含飞手的图像信息生成告警信息并输出，工作人员根据告警信息即可了解飞手情况，也可以进一步通过人工判断来提高准确率。
可以看出，若疑似对象真得为飞手或者到临近预设时间时才将疑似对象排除，那么都需要在采集并处理多个第二待测图像。和第一待测图像相比，对第二待测图像的处理频次无疑会高很多。若仍采用同处理第一待测图像这样的追求高精准性的处理方法来处理第二待测图像，会导致运算量剧增，容易导致运算时间出现延长。因此，通过步骤S510对疑似对象做了适当过滤后，可以采用更加简单的方式来处理第二待测图像，以降低整体的运算压力。
具体的，第二姿态参数包括手腕间距和头部朝向，第二参数范围包括手腕许可范围和角度许可范围。且判断第二姿态参数是否处在预设的第二参数范围内，包括以下步骤：
S710、判断手腕间距是否处在手腕许可范围内，以及判断头部偏差度是否处在角度许可范围内。
S720、若手腕间距处在手腕许可范围内且头部偏差度处在角度许可范围内，则相应的第二姿态参数处在预设的第二参数范围内。
S730、若手腕间距不处在手腕许可范围内或头部偏差度不处在角度许可范围内，则相应的第二姿态参数不处在预设的第二参数范围内。
手腕间距是指左右手腕间的距离。手腕许可范围可以是人工设定，也可以是根据第一待测图像中所采集到的手腕间距在通过误差值修正后生成，其中，误差值是由工作人员设定的。前一方式比较简单，后者则会更加精准。本实施中采用后一种方式来确定手腕许可范围。例如，第一待测图像中的手腕间距是20cm，误差值是5cm，那么生成的手腕许可范围为15cm-25cm。
和第一姿态参数相比，第二姿态参数中采用更加具有辨识度的手腕间距来替换了手指间距。手腕更容易检测或者被预测出来，且手腕间距的计算方式也更加简单，直接计算出两个手腕关节点之间的距离即可。
尽管手腕间距无法直接代表对应的人体是否在握持飞控设备，但是在第一待测图像已经证明的手指符合握持飞控设备的基础上，那么也可以仅通过手腕间距就可以判断手部是否维持原来的姿势。一旦手腕间距超过了预设的手腕许可范围，就认为手部的姿势发生了改变；反之，就认为还维持原来的姿势。
另外，从理论上讲，在预设时间内任意一个第二姿态参数不处在预设的第二参数范围内，都表明对应的疑似对象没有长期维持飞手的姿态，可以判定疑似对象不是飞手。但考虑到飞手在无人机的过程中，若无人机正处在悬停或者前进方向上明确无障碍物时，飞手都可以短暂地不维持操作姿态，若此时正好被捕捉到以作为第二待测图像，那么就容易被误判为行人，导致可能需要下一轮轮询时才能确定该飞手。
为了降低上述误判发生的概率，参见图5，无人机飞手检测方法还包括以下步骤：
S810、若相应的第二姿态参数不处在预设的第二参数范围内，则调用上一次获取的骨骼点模型并作为对照模型。
若当前的第二待测图像是针对疑似对象所获取的第一幅第二待测图像，则上一次获取的骨骼点模型是同一疑似对象的第一待测图像所对应的骨骼点模型。
若当前的第二待测图像不是针对疑似对象所获取的第一幅第二待测图像，则上一个获取的骨骼点模型是上一幅第二待测图像所对应的骨骼点模型。
S820、根据对照模型和当前的骨骼点模型确定差异部位。
差异部位是指当前的骨骼点模型相较于对照模型发生明显变化的部位。
疑似对象的姿态是可能随着时间而不断发生调整的，每次调整有可能是微调，也有可能是大幅度调整。若出现疑似对象一直随着时间进行微调，相邻两幅第二待测图像所对应的骨骼点模型之间的变动不大，但获取时间较晚的第二待测图像所对应的骨骼点模型就会与第一待测图像所对应的骨骼点模型出现较大的不同。而实际所需要确定出的差异部位应该是由于大幅度调整所造成的，因此需要以获取时间相邻近的骨骼点模型作为对照模型，以排除多次微调所造成的误差。
S830、判断差异部位是否仅为头部或单手。
S840、若差异部位仅为头部或单手，则赋予当前的疑似对象一个标记。
若差异部位不是仅为头部或单手，则不再获取第二待测图像。
S850、判断当前的疑似对象是否具有两个标记。
S860、若当前的疑似对象不具有两个标记，则再获取第二待测图像。
S870、若当前的疑似对象具有两个标记，则不再获取第二待测图像。
当差异部位仅为头部或单手时，可能只是疑似对象抬了下头观察周围情况或是抬手扶眼镜、瘙痒等情况，这种动作都是短暂且不会中断对飞控设备的操作，因此可以再给予机会以继续观察。但是若存在两个标记，则表明继续观察后仍没有恢复到飞手所对应的姿态，那么该疑似对象不是飞手的概率提高了，就没有必要继续观察，即无需再获取第二待测图像。
当差异部位不仅仅是头部或单手时，例如，差异部位包括双手，那么，就表明该疑似对象的姿态与飞手所对应的姿态在很大概率上是相差过大的，可以直接排除该疑似对象是飞手的可能性，也就无需再获取第二待测图像。
在一个实施例中，根据对照模型和当前的骨骼点模型确定差异部位，包括以下步骤:
S821、基于对照模型获取第一参照组、第二参照组以及第三参照组。
其中，第一参照组为对照模型中左手与躯干的骨骼点组合，第二参照组为对照模型中右手与躯干的骨骼点组合，第三参照组为对照模型中手部与头部的骨骼点组合。
S822、基于当前的骨骼点模型获取第一比较组、第二比较组和头部骨骼点。
其中，第一比较组是当前骨骼点模型中左手与躯干的骨骼点组合，第二比较组是当前骨骼点模型中右手与躯干的骨骼点组合。
S823、根据第一比较组和第一参照组获得第一相似度。
第一相似度的获得方式是：先比较第一比较组中的躯干骨骼点和第一参照组中的躯干骨骼点是否一致；若不一致，则相似度为0；若一致，则继续将第一比较组中左手的造型、左手与躯干的位置关系分别与第一参照组中的左手的造型、左手与躯干的位置关系进行比较，根据比较的结果生成对应的第一相似度。左手造型越相似，左手与躯干的位置关系越接近，第一相似度越高。
S824、根据第二比较组和第二参照组获得第二相似度，分别判断第一相似度和第二相似度是否超过预设标准。
第二相似度的获取方式同第一相似度的获取方式一致，只是左手替换成了右手。
S825、若第一相似度和第二相似度均不超过预设标准，则差异部位为双手。
S826、若仅第一相似度超过预设标准或仅第二相似度超过预设标准，则将与超过预设标准所对应的单手作为基准手，并判断头部是否朝向基准手。
预设标准是由工人设定，预设标准是人工认为的可以鉴定是否足够相似的阈值。例如，预设标准设定为70%，那么第一相似度为75%，第二相似度为60%，差异部位为单手，且该单手为左手。
S827、若头部朝向基准手，则差异部位为单手；若头部不朝向基准手，则差异部位包括单手和头部。
S828、若第一相似度和第二相似度均超过预设标准，则差异部位为头部。
头部朝向是需要以手部为参照物，且手部的位置或者说至少一只手的位置不应该出现变动，否则头部朝向就会由于参照物发生变动而自然而然地变化。因此需要先判断手部是否出现差异，只有至少一只手没变动时再判断头部朝向是否仍保持原来的朝向。
本申请实施例还公开一种无人机飞手检测系统，包括：
图像获取模块，用于获取第一待测图像。
骨骼识别模块，用于识别第一待测图像中的人体并获取相应的骨骼点模型。
第一姿态生成模块，用于根据骨骼点模型生成第一姿态参数。
第一姿态比较模块，用于判断第一姿态参数是否处在预设的第一参数范围内，若第一姿态参数处在预设的第一参数范围内，则将相应骨骼点模型所对应的人体作为疑似对象，并向第二图像获取模块发送启动指令。
第二图像获取模块，用于根据启动指令定期获取包含相应疑似对象的第二待测图像并将第二待测图像传输给第二姿态生成模块，以及根据接收的停止指令停止获取第二待测图像。
第二姿态生成模块，用于在每获取一个第二待测图像后根据第二待测图像生成对应的第二姿态参数。
第二姿态比较模块，用于判断相应的第二姿态参数是否处在预设的第二参数范围内，若相应的第二姿态参数处在预设的第二参数范围内，则不向第二图像获取模块发送停止指令，直到所获取的第二待测图像所对应的获取时间中最早获取时间和最晚获取时间的间隔等于或超过预设时间，将相应的疑似对象定为飞手并输出相应的告警信息，并向第二图像获取模块发送停止指令。
此外，第二姿势比较模块，还用于在判断出相应的第二姿态参数不处在预设的第二参数范围内时，调用上一次获取的骨骼点模型并作为对照模型，并根据对照模型和当前的骨骼点模型确定差异部位，判断差异部位是否仅为头部或单手。若差异部位仅为头部或单手，则赋予当前的疑似对象一个标记，以及判断当前的疑似对象是否具有两个标记。若当前的疑似对象不具有两个标记，则再获取第二待测图像。若当前的疑似对象具有两个标记，则不再获取第二待测图像。若差异部位不是仅为头部或单手，则不再获取第二待测图像。
本申请实施例还公开一种可读存储介质，存储有能被处理器加载并执行如上述的一种无人机飞手检测方法的计算机程序。
以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。

Claims (10)

1.一种无人机飞手检测方法，其特征在于，包括以下步骤：
获取第一待测图像；
识别第一待测图像中的人体并获取相应的骨骼点模型；
根据骨骼点模型生成第一姿态参数；
判断第一姿态参数是否处在预设的第一参数范围内，
若第一姿态参数处在预设的第一参数范围内，则将相应骨骼点模型所对应的人体作为疑似对象，并获取包含相应疑似对象的第二待测图像；所述第一姿态参数包括双手间距和头部偏差度，所述第一参数范围包括双手许可范围和角度许可范围；
每获取一个第二待测图像，则根据第二待测图像生成对应的第二姿态参数，并判断相应的第二姿态参数是否处在预设的第二参数范围内，
若相应的第二姿态参数处在预设的第二参数范围内，则继续获取第二待测图像，直到所获取的第二待测图像所对应的获取时间中最早获取时间和最晚获取时间的间隔等于或超过预设时间，将相应的疑似对象定为飞手并输出相应的告警信息；所述第二姿态参数包括手腕间距和头部朝向，所述第二参数范围包括手腕许可范围和角度许可范围。
2.根据权利要求1所述的一种无人机飞手检测方法，其特征在于，所述判断第一姿态参数是否处在预设的第一参数范围内，包括以下步骤：
判断双手间距是否处在双手许可范围内，以及判断头部偏差度是否处在角度许可范围内，
若双手间距处在双手许可范围内且头部偏差度处在角度许可范围内，则相应的第一姿态参数处在预设的第一参数范围内；
若双手间距不处在双手许可范围内或头部偏差度不处在角度许可范围内，则相应的第一姿态参数不处在预设的第一参数范围内。
3.根据权利要求2所述的一种无人机飞手检测方法，其特征在于，所述根据骨骼点模型生成第一姿态参数，包括以下步骤：
从骨骼点模型中获取若干手指骨骼点，对手指骨骼点进行左右手指的配对以获得若干配对组，获取每个配对组所对应的手指间距，根据所有的手指间距确定双手间距；
基于骨骼点模型确定头部实际朝向和头手理论朝向，根据头部实际朝向和头手理论朝向确定头部偏差值。
4.根据权利要求3所述的一种无人机飞手检测方法，其特征在于，所述将相应骨骼点模型所对应的人体作为疑似对象之前，还包括以下步骤：
判断配对组中是否存在拇指所对应的配对组以及至少一个其余手指所对应的配对组，
若配对组中存在拇指所对应的配对组以及至少一个其余手指所对应的配对组，则根据配对组确定拇指与其余手指之间的偏转角度；
判断偏转角度是否处在预设的角度范围内，
若偏转角度处在预设的角度范围内，则获取包含相应疑似对象的第二待测图像；
若偏转角度不处在预设的角度范围内，则停止获取包含相应疑似对象的第二待测图像。
5.根据权利要求4所述的一种无人机飞手检测方法，其特征在于，所述基于骨骼点模型确定头部实际朝向和头手理论朝向，包括以下步骤：
在骨骼点模型上建立坐标系；
获取坐标系中的第一坐标点、第二坐标点和头部骨骼线段，其中，所述第一坐标点用于表征骨骼点模型中手部在坐标系的位置，所述第二坐标点用于表征骨骼点模型中头部在坐标系的位置；
将头部骨骼线段拟合成直线段，将直线段上的垂线的朝向作为头部实际朝向；
从第二坐标点向第一坐标点作导线，将导线的朝向作为头手理论朝向。
6.根据权利要求2所述的一种无人机飞手检测方法，其特征在于，所述判断相应的第二姿态参数是否处在预设的第二参数范围内，包括以下步骤：
判断手腕间距是否处在手腕许可范围内，以及判断头部偏差度是否处在角度许可范围内，
若手腕间距处在手腕许可范围内且头部偏差度处在角度许可范围内，则相应的第二姿态参数处在预设的第二参数范围内；
若手腕间距不处在手腕许可范围内或头部偏差度不处在角度许可范围内，则相应的第二姿态参数不处在预设的第二参数范围内。
7.根据权利要求1所述的一种无人机飞手检测方法，其特征在于，还包括以下步骤：若相应的第二姿态参数不处在预设的第二参数范围内，则调用上一次获取的骨骼点模型并作为对照模型；
根据对照模型和当前的骨骼点模型确定差异部位；
判断差异部位是否仅为头部或单手，
若差异部位不是仅为头部或单手，则不再获取第二待测图像；
若差异部位仅为头部或单手，则赋予当前的疑似对象一个标记，并判断当前的疑似对象是否具有两个标记，
若当前的疑似对象具有两个标记，则不再获取第二待测图像；
若当前的疑似对象不具有两个标记，则再获取第二待测图像。
8.根据权利要求7所述的一种无人机飞手检测方法，其特征在于，所述根据对照模型和当前的骨骼点模型确定差异部位，包括以下步骤:
基于对照模型获取第一参照组、第二参照组以及第三参照组，其中，所述第一参照组为对照模型中左手与躯干的骨骼点组合，所述第二参照组为对照模型中右手与躯干的骨骼点组合，所述第三参照组为对照模型中手部与头部的骨骼点组合；
基于当前的骨骼点模型获取第一比较组、第二比较组和头部骨骼点，其中，所述第一比较组是当前骨骼点模型中左手与躯干的骨骼点组合，第二比较组是当前骨骼点模型中右手与躯干的骨骼点组合；
根据第一比较组和第一参照组获得第一相似度，
根据第二比较组和第二参照组获得第二相似度，分别判断第一相似度和第二相似度是否超过预设标准，
若第一相似度和第二相似度均不超过预设标准，则差异部位为双手；
若仅第一相似度超过预设标准或仅第二相似度超过预设标准，则将与超过预设标准所对应的单手作为基准手，并判断头部是否朝向基准手，
若头部朝向基准手，则差异部位为单手；若头部不朝向基准手，则差异部位包括单手和头部；
若第一相似度和第二相似度均超过预设标准，则差异部位为头部。
9.一种无人机飞手检测系统，其特征在于，包括：
图像获取模块，用于获取第一待测图像；
骨骼识别模块，用于识别第一待测图像中的人体并获取相应的骨骼点模型；
第一姿态生成模块，用于根据骨骼点模型生成第一姿态参数；
第一姿态比较模块，用于判断第一姿态参数是否处在预设的第一参数范围内，若第一姿态参数处在预设的第一参数范围内，则将相应骨骼点模型所对应的人体作为疑似对象，并向第二图像获取模块发送启动指令；所述第一姿态参数包括双手间距和头部偏差度，所述第一参数范围包括双手许可范围和角度许可范围；
第二图像获取模块，用于根据启动指令定期获取包含相应疑似对象的第二待测图像并将第二待测图像传输给第二姿态生成模块，以及根据接收的停止指令停止获取第二待测图像；
第二姿态生成模块，用于在每获取一个第二待测图像后根据第二待测图像生成对应的第二姿态参数，
第二姿态比较模块，用于判断相应的第二姿态参数是否处在预设的第二参数范围内，若相应的第二姿态参数处在预设的第二参数范围内，则不向第二图像获取模块发送停止指令，直到所获取的第二待测图像所对应的获取时间中最早获取时间和最晚获取时间的间隔等于或超过预设时间，将相应的疑似对象定为飞手并输出相应的告警信息，并向第二图像获取模块发送停止指令；所述第二姿态参数包括手腕间距和头部朝向，所述第二参数范围包括手腕许可范围和角度许可范围。
10.一种可读存储介质，其特征在于，存储有能被处理器加载并执行如权利要求1至8任一项所述的一种无人机飞手检测方法的计算机程序。
CN202310254839.7A 2023-03-09 2023-03-09 一种无人机飞手检测方法、系统及存储介质 Active CN116189308B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310254839.7A CN116189308B (zh) 2023-03-09 2023-03-09 一种无人机飞手检测方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310254839.7A CN116189308B (zh) 2023-03-09 2023-03-09 一种无人机飞手检测方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN116189308A CN116189308A (zh) 2023-05-30
CN116189308B true CN116189308B (zh) 2023-08-01

Family

ID=86432810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310254839.7A Active CN116189308B (zh) 2023-03-09 2023-03-09 一种无人机飞手检测方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN116189308B (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10614591B2 (en) * 2017-05-31 2020-04-07 Google Llc Hand tracking based on articulated distance field
CN109074168B (zh) * 2018-01-23 2022-06-17 深圳市大疆创新科技有限公司 无人机的控制方法、设备和无人机
CN109573028B (zh) * 2018-12-12 2022-04-15 深圳市道通智能航空技术股份有限公司 一种辅助无人机找回方法、装置和无人机
CN110348359B (zh) * 2019-07-04 2022-01-04 北京航空航天大学 手部姿态追踪的方法、装置及系统
CN112083800A (zh) * 2020-07-24 2020-12-15 青岛小鸟看看科技有限公司 基于自适应手指关节规则滤波的手势识别方法及系统
CN114155489A (zh) * 2021-12-01 2022-03-08 上海瀚界科技发展有限公司 一种多设备协同的无人机飞手检测方法、设备及存储介质

Also Published As

Publication number Publication date
CN116189308A (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
JP7120002B2 (ja) 飛行装置
CN108496129B (zh) 一种基于飞行器的设施检测方法及控制设备
US8731276B2 (en) Motion space presentation device and motion space presentation method
CN110458961B (zh) 基于增强现实的系统
CN106125903B (zh) 多人交互系统及方法
EP2371434B1 (en) Image generation system, image generation method, and information storage medium
CN108335458A (zh) 一种看家看人的家用智能看管系统及其看管方法
WO2012027845A2 (en) System and method for tracking
EP1462984A2 (en) Authentication object image pick-up device and method thereof
JP2005250990A (ja) 作業支援装置
CN106919254B (zh) 一种头戴式虚拟现实设备及安全保护方法
US10380411B2 (en) Method for constructing a model of the face of a person, method and device for posture analysis using such a model
CN115597659B (zh) 一种变电站智能安全管控方法
CN115659452B (zh) 一种智能巡视方法、智能巡视系统及计算机可读存储介质
JP2024020295A (ja) 連携仮想インターフェース
US20220362667A1 (en) Image processing system, non-transitory computer-readable storage medium having stored therein image processing program, and image processing method
CN111639825A (zh) 基于A-Star算法是森林火灾指示逃生路径方法及系统
CN115376269A (zh) 一种基于无人机的火灾监控系统
CN111064935B (zh) 一种智慧工地人员姿态检测方法及系统
CN113920461A (zh) 一种电网运维过程图像监测系统及监测方法
US11501552B2 (en) Control apparatus, information processing system, control method, and program
CN116189308B (zh) 一种无人机飞手检测方法、系统及存储介质
KR101862545B1 (ko) 로봇을 이용한 구조구난 서비스 제공방법 및 시스템
CN114367985A (zh) 一种基于人机共融的智能制造方法及系统
CN115431266A (zh) 一种巡检方法、巡检装置及巡检机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant