CN111913857A - 一种智能设备操作行为的检测方法及装置 - Google Patents

一种智能设备操作行为的检测方法及装置 Download PDF

Info

Publication number
CN111913857A
CN111913857A CN202010651253.0A CN202010651253A CN111913857A CN 111913857 A CN111913857 A CN 111913857A CN 202010651253 A CN202010651253 A CN 202010651253A CN 111913857 A CN111913857 A CN 111913857A
Authority
CN
China
Prior art keywords
detection area
hand detection
images
intelligent equipment
bright screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010651253.0A
Other languages
English (en)
Inventor
蔡宁
魏乃科
潘华东
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010651253.0A priority Critical patent/CN111913857A/zh
Publication of CN111913857A publication Critical patent/CN111913857A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/117—Biometrics derived from hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及计算机技术领域，提供一种智能设备操作行为的检测方法及装置，方法包括：识别图像采集器在同一场景下采集连续的多个图像，确定对应的至少一个手部检测区域，并为至少一个手部检测区域分配对应的用户标签；再确定多个图像中同一用户标签对应的手部检测区域的灰度值集合，若根据多个灰度值集合确定手部检测区域的明暗变化状态符合预设规则，则判定手部检测区域周边存在处于亮屏状态的智能设备，并记录智能设备处于亮屏状态的时刻；若智能设备处于亮屏状态的总时长超过设定阈值，则判定对应的用户存在操作智能设备的行为。在不侵犯用户隐私的前提下，实现对用户的操作智能设备的行为的检测。

Description

一种智能设备操作行为的检测方法及装置
技术领域
本申请涉及计算机技术领域，提供了一种智能设备操作行为的检测方法及装置。
背景技术
随着信息技术的快速发展，人们对智能设备的依赖变得越来越严重，甚至在走路和驾驶车辆时都在使用智能设备，出现了很多的安全事故。另外，沉迷智能设备还会分散人员的注意力，降低办事效率。因此，需要对操作智能设备的行为进行检测。
目前针对驾驶员操作智能设备行为的检测有以下两种方式，一种是根据预先训练的模型对用户特征进行分类，判断用户是处于驾车状态还是处于坐车状态；另一种是，将驾驶员在驾驶室操作智能设备的行为的视频样本转化为帧图像，从帧图像上得到动态目标区域包围盒，使用分类器和边框回归器，从输入的动态目标区域包围盒中得到手的动态目标区域包围盒和手机的动态目标区域包围盒，当两个包围盒存在重合现象时，判定驾驶员存在操作智能设备的行为。
而针对行人在过马路时操作智能设备行为的检测，可通过采集行人的智能设备上的GPS信息、传感器信息、当前使用的APP包名信息，先利用GPS信息确定用户处于路口缓冲区内，再利用传感器信息确定用户处于边走路边玩手机姿态，最后利用APP包名信息确定虚拟空间活动类型为非辅助现实空间活动时，判定用户存在过马路操作智能设备的行为。
上述方式只能检测单一场景下的操作智能设备的行为，在检测过程中，还需要获取用户的位置信息等隐私信息，侵犯用户隐私。
有鉴于此，本申请实施例提供了一种新的操作智能设备行为的检测方法。
发明内容
本申请实施例提供一种智能设备操作行为的检测方法及装置，用以解决在侵犯用户隐私的前提下，检测用户的操作智能设备的行为的问题。
第一方面，本申请实施例提供的一种智能设备操作行为的检测方法，包括：
通过图像采集器在同一场景下采集连续的多个图像；
识别所述多个图像中对应的至少一个手部检测区域，并为所述至少一个手部检测区域分配对应的用户标签；
确定所述多个图像中同一用户标签对应的手部检测区域的灰度值集合；
若根据多个灰度值集合确定所述手部检测区域的明暗变化状态符合预设规则，则判定所述手部检测区域周边存在处于亮屏状态的智能设备，并记录所述智能设备处于亮屏状态的时刻；
若所述智能设备处于亮屏状态的总时长超过设定阈值，则判定对应的用户存在操作智能设备的行为。
可选的，在识别所述多个图像中对应的至少一个手部检测区域之前，进一步包括：
使用低通滤波器，过滤所述多个图像上的图像噪声；和/或，
使用高通滤波器，增强所述多个图像上边缘图像的高频信号。
可选的，识别所述多个图像中对应的至少一个手部检测区域，包括：
将所述多个图像分别输入到训练完毕的人体检测模型中，得到对应的至少一个人体检测区域；
将各个人体检测区域输入到训练完毕的手部检测模型中，得到对应的所述手部检测区域。
可选的，若根据多个灰度值集合确定所述手部检测区域的明暗变化状态符合预设规则，则判定所述手部检测区域周边存在处于亮屏状态的智能设备，包括：
根据相邻两个灰度值集合中处于同一位置的像素点间的灰度值差值，确定所述手部检测区域存在明暗交替的变化状态时，判定所述手部检测区域周边存在处于亮屏状态的所述智能设备。
第二方面，本申请实施例还提供了一种智能设备操作行为的检测装置，包括：
采集单元，用于通过图像采集器在同一场景下采集连续的多个图像；
检测单元，用于识别所述多个图像中对应的至少一个手部检测区域，并为所述至少一个手部检测区域分配对应的用户标签；
确定所述多个图像中同一用户标签对应的手部检测区域的灰度值集合；
若根据多个灰度值集合确定所述手部检测区域的明暗变化状态符合预设规则，则判定所述手部检测区域周边存在处于亮屏状态的智能设备，并记录所述智能设备处于亮屏状态的时刻；
确定单元，用于若所述智能设备处于亮屏状态的总时长超过设定阈值，则判定对应的用户存在操作智能设备的行为。
可选的，所述检测单元进一步用于：
使用低通滤波器，过滤所述多个图像上的图像噪声；和/或，
使用高通滤波器，增强所述多个图像上边缘图像的高频信号。
可选的，所述检测单元用于：
将所述多个图像分别输入到训练完毕的人体检测模型中，得到对应的至少一个人体检测区域；
将各个人体检测区域输入到训练完毕的手部检测模型中，得到对应的所述手部检测区域。
可选的，所述检测单元用于：
根据相邻两个灰度值集合中处于同一位置的像素点间的灰度值差值，确定所述手部检测区域存在明暗交替的变化状态时，判定所述手部检测区域周边存在处于亮屏状态的所述智能设备。
第三方面，本申请实施例还提供了一种电子设备，包括处理器和存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行上述任意一种智能设备操作行为的检测方法的步骤。
第四方面，本申请实施例还提供了一种计算机可读存储介质，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使所述电子设备执行上述任意一种智能设备操作行为的检测方法的步骤。
本申请有益效果如下：
本申请实施例提供的一种智能设备操作行为的检测方法及装置，方法包括：识别图像采集器在同一场景下采集连续的多个图像，确定对应的至少一个手部检测区域，并为至少一个手部检测区域分配对应的用户标签；再确定多个图像中同一用户标签对应的手部检测区域的灰度值集合，若根据多个灰度值集合确定手部检测区域的明暗变化状态符合预设规则，则判定手部检测区域周边存在处于亮屏状态的智能设备，并记录智能设备处于亮屏状态的时刻；若智能设备处于亮屏状态的总时长超过设定阈值，则判定对应的用户存在操作智能设备的行为。无需在智能设备上安装第三方APP，也无法获取用户的个人信息、智能设备的使用信息，可以在不侵犯用户隐私的前提下，通过采集用户图像，识别用户的手部检测区域，根据每个手部检测区域的用户标签，确定各个用户各自对应的连续多个灰度值集合；基于对应的连续多个灰度值集合，判定对应的手部检测区域是否存在处于亮屏状态的智能设备，在智能设备处于亮屏状态的总时长超过设定阈值时，判定对应的用户存在操作智能设备的行为。本申请实施例所提供的检测方法不局限于单一的应用场景，可广泛应用各类室内外应用场景下，实现对操作智能设备的检测，进一步提高了检测效率。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例中检测操作智能设备的行为的流程示意图；
图2为本申请实施例中智能设备操作行为的检测装置的结构示意图；
图3为本审实施例中的一种电子设备的组成结构示意图；
图4为应用本申请实施例的一种计算装置的一个硬件组成结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。
为了解决在侵犯用户隐私的前提下，检测用户的操作智能设备的行为的问题，参阅图1所示，本申请实施例提供的检测操作智能设备的行为的过程如下：
S101：通过图像采集器在同一场景下采集连续的多个图像。
本申请实施例中的图像采集器可以是道路监控摄像头、车载摄像机、室内监控摄像机或者其他具备图像采集功能的设备。因此，本申请实施例可以应用于室内场景下的检测操作智能设备的行为，也可以应用于室外场景下的检测操作智能设备的行为。
S102：识别多个图像中对应的至少一个手部检测区域，并为至少一个手部检测区域分配对应的用户标签。
在执行步骤102之前，需要对多个图像进行预处理，以去除图像上携带的噪声，便于后续利用模型识别图像上的手部检测区域。具体地，可以使用低通滤波器，过滤多个图像上的图像噪声；和/或，使用高通滤波器，增强多个图像上边缘图像的高频信号。
在执行步骤102之前，需要先采集各类场景、各种姿态的人体样本图，再标注人体样本图上的人体区域关键点，获得对应的位置坐标，利用标注后的人体样本图训练人体检测模型，不断更新调整模型的参数，直到读取完所有的人体样本图、或者达到设定迭代次数、或者模型输出的预测结果与标注结果之间的误差值低于预设误差阈值时，完成人体检测模型的训练。
同样地，在执行步骤102之前，需要先采集各类场景、各种姿态的用户操作智能设备的手部样本图，再标注手部样本图上的手部关键点，获得对应的位置坐标，利用标注后的手部样本图训练手部检测模型，不断更新调整模型的参数，直到读取完所有的手部样本图、或者达到设定迭代次数、或者模型输出的预测结果与标注结果之间的误差值低于预设误差阈值时，完成手部检测模型的训练。
任意一个图像X可能是不包含用户的纯背景图像，也可能是仅包含一个用户的图像，还可能在同一场景下采集到多个用户的图像。因此，若图像X包含至少一个用户，先将图像X输入到训练完毕的人体检测模型中，得到对应的至少一个人体检测区域；再将至少一个人体检测区域输入到训练完毕的手部检测模型中，识别出至少一个手部检测区域。另外，若在同一场景下采集到多个用户的图像，为了区分不同用户的图像，以及实时追踪用户图像，本申请实施例会为识别出的手部检测区域赋予对应的用户标签，用于唯一标识该用户。
S103：确定多个图像中同一用户标签对应的手部检测区域的灰度值集合。
每个手部检测区域被分配了一个用户标签，用于唯一标识该手部检测区域所归属的用户。而且任意一个手部检测区域Y中均包含了大量的像素点，获取每个像素点的灰度值，形成手部检测区域Y的灰度值集合。这样，每个用户标签至少对应一个灰度值集合。
S104：若根据多个灰度值集合确定手部检测区域的明暗变化状态符合预设规则，则判定手部检测区域周边存在处于亮屏状态的智能设备，并记录智能设备处于亮屏状态的时刻。
智能设备的屏幕有固定的刷新率，当图像采集器的拍摄频率很高时，在连续多张图像中会出现明暗交替变化的区域，若该区域位于手部检测区域内部，或者手部检测区域周边的话，则可以判定该区域出现了智能设备的屏幕。
具体地，根据相邻两个灰度值集合中处于同一位置的像素点间的灰度值差值，确定手部检测区域存在明暗交替的变化状态时，判定手部检测区域周边存在处于亮屏状态的智能设备。
S105：若智能设备处于亮屏状态的总时长超过设定阈值，则判定对应的用户存在操作智能设备的行为。
本申请实施例无需在智能设备上安装第三方APP，也无法获取用户的个人信息、智能设备的使用信息，可以在不侵犯用户隐私的前提下，通过采集用户图像，识别用户的手部检测区域，根据每个手部检测区域的用户标签，确定各个用户各自对应的连续多个灰度值集合；基于对应的连续多个灰度值集合，判定对应的手部检测区域是否存在处于亮屏状态的智能设备，在智能设备处于亮屏状态的总时长超过设定阈值时，判定对应的用户存在操作智能设备的行为。本申请实施例所提供的检测方法不局限于单一的应用场景，可广泛应用各类室内外应用场景下，实现对操作智能设备的检测，进一步提高了检测效率。
如图2所示，其为智能设备操作行为的检测装置的结构示意图，可以包括采集单元201、检测单元202和确定单元203，其中，
采集单元201，用于通过图像采集器在同一场景下采集连续的多个图像；
检测单元202，用于识别所述多个图像中对应的至少一个手部检测区域，并为所述至少一个手部检测区域分配对应的用户标签；
确定所述多个图像中同一用户标签对应的手部检测区域的灰度值集合；
若根据多个灰度值集合确定所述手部检测区域的明暗变化状态符合预设规则，则判定所述手部检测区域周边存在处于亮屏状态的智能设备，并记录所述智能设备处于亮屏状态的时刻；
确定单元203，用于若所述智能设备处于亮屏状态的总时长超过设定阈值，则判定对应的用户存在操作智能设备的行为。
可选的，所述检测单元202进一步用于：
使用低通滤波器，过滤所述多个图像上的图像噪声；和/或，
使用高通滤波器，增强所述多个图像上边缘图像的高频信号。
可选的，所述检测单元202用于：
将所述多个图像分别输入到训练完毕的人体检测模型中，得到对应的至少一个人体检测区域；
将各个人体检测区域输入到训练完毕的手部检测模型中，得到对应的所述手部检测区域。
可选的，所述检测单元202用于：
根据相邻两个灰度值集合中处于同一位置的像素点间的灰度值差值，确定所述手部检测区域存在明暗交替的变化状态时，判定所述手部检测区域周边存在处于亮屏状态的所述智能设备。
所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
在一些可能的实施方式中，本申请实施例还提供一种电子设备，参阅图3所示，电子设备可以至少包括至少一个处理器301、以及至少一个存储器302。其中，存储器302存储有程序代码，当程序代码被处理器301执行时，使得处器301执行本说明书上述描述的根据本申请各种示例性实施方式的吸烟检测方法中的步骤。例如，处理器301可以执行如图1中所示的步骤。
在一些可能的实施方式中，根据本申请的计算装置可以至少包括至少一个处理单元、以及至少一个存储单元。其中，存储单元存储有程序代码，当程序代码被处理单元执行时，使得处理单元执行本说明书上述描述的根据本申请各种示例性实施方式的服务调用方法中的步骤。例如，处理单元可以执行如图1中所示的步骤。
下面参照图4来描述根据本申请的这种实施方式的计算装置。图4的计算装置仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图4，计算装置以通用计算装置的形式表现。计算装置的组件可以包括但不限于：上述至少一个处理单元401、上述至少一个存储单元402、连接不同系统组件(包括存储单元402和处理单元401)的总线403。
总线403表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储单元402可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)4021和/或高速缓存存储单元4022，还可以进一步包括只读存储器(ROM)4023。
存储单元402还可以包括具有一组(至少一个)程序模块4024的程序/实用工具4025，这样的程序模块4024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
计算装置也可以与一个或多个外部设备404(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与计算装置交互的设备通信，和/或与使得该计算装置能与一个或多个其它计算装置进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入/输出(I/O)接口405进行。并且，计算装置还可以通过网络适配器406与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器406通过总线403与用于计算装置400的其它模块通信。应当理解，尽管图中未示出，可以结合计算装置400使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在一些可能的实施方式中，本申请提供的业务控制方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的业务控制方法中的步骤，例如，计算机设备可以执行如图3中所示的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的用于业务控制的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算装置上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被命令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算装置上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算装置上部分在远程计算装置上执行、或者完全在远程计算装置或服务器上执行。在涉及远程计算装置的情形中，远程计算装置可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算装置，或者，可以连接到外部计算装置(例如利用因特网服务提供商来通过因特网连接)。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种智能设备操作行为的检测方法，其特征在于，包括：
通过图像采集器在同一场景下采集连续的多个图像；
识别所述多个图像中对应的至少一个手部检测区域，并为所述至少一个手部检测区域分配对应的用户标签；
确定所述多个图像中同一用户标签对应的手部检测区域的灰度值集合；
若根据多个灰度值集合确定所述手部检测区域的明暗变化状态符合预设规则，则判定所述手部检测区域周边存在处于亮屏状态的智能设备，并记录所述智能设备处于亮屏状态的时刻；
若所述智能设备处于亮屏状态的总时长超过设定阈值，则判定对应的用户存在操作智能设备的行为。
2.如权利要求1所述的方法，其特征在于，在识别所述多个图像中对应的至少一个手部检测区域之前，进一步包括：
使用低通滤波器，过滤所述多个图像上的图像噪声；和/或，
使用高通滤波器，增强所述多个图像上边缘图像的高频信号。
3.如权利要求1所述的方法，其特征在于，识别所述多个图像中对应的至少一个手部检测区域，包括：
将所述多个图像分别输入到训练完毕的人体检测模型中，得到对应的至少一个人体检测区域；
将各个人体检测区域输入到训练完毕的手部检测模型中，得到对应的所述手部检测区域。
4.如权利要求1所述的方法，其特征在于，若根据多个灰度值集合确定所述手部检测区域的明暗变化状态符合预设规则，则判定所述手部检测区域周边存在处于亮屏状态的智能设备，包括：
根据相邻两个灰度值集合中处于同一位置的像素点间的灰度值差值，确定所述手部检测区域存在明暗交替的变化状态时，判定所述手部检测区域周边存在处于亮屏状态的所述智能设备。
5.一种智能设备操作行为的检测装置，其特征在于，包括：
采集单元，用于通过图像采集器在同一场景下采集连续的多个图像；
检测单元，用于识别所述多个图像中对应的至少一个手部检测区域，并为所述至少一个手部检测区域分配对应的用户标签；
确定所述多个图像中同一用户标签对应的手部检测区域的灰度值集合；
若根据多个灰度值集合确定所述手部检测区域的明暗变化状态符合预设规则，则判定所述手部检测区域周边存在处于亮屏状态的智能设备，并记录所述智能设备处于亮屏状态的时刻；
确定单元，用于若所述智能设备处于亮屏状态的总时长超过设定阈值，则判定对应的用户存在操作智能设备的行为。
6.如权利要求5所述的装置，其特征在于，所述检测单元进一步用于：
使用低通滤波器，过滤所述多个图像上的图像噪声；和/或，
使用高通滤波器，增强所述多个图像上边缘图像的高频信号。
7.如权利要求5所述的装置，其特征在于，所述检测单元用于：
将所述多个图像分别输入到训练完毕的人体检测模型中，得到对应的至少一个人体检测区域；
将各个人体检测区域输入到训练完毕的手部检测模型中，得到对应的所述手部检测区域。
8.如权利要求5所述的装置，其特征在于，所述检测单元用于：
根据相邻两个灰度值集合中处于同一位置的像素点间的灰度值差值，确定所述手部检测区域存在明暗交替的变化状态时，判定所述手部检测区域周边存在处于亮屏状态的所述智能设备。
9.一种电子设备，其特征在于，其包括处理器和存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行权利要求1～4中任一项所述方法的步骤。
10.一种计算机可读存储介质，其特征在于，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使所述电子设备执行权利要求1～4中任一项所述方法的步骤。
CN202010651253.0A 2020-07-08 2020-07-08 一种智能设备操作行为的检测方法及装置 Pending CN111913857A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010651253.0A CN111913857A (zh) 2020-07-08 2020-07-08 一种智能设备操作行为的检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010651253.0A CN111913857A (zh) 2020-07-08 2020-07-08 一种智能设备操作行为的检测方法及装置

Publications (1)

Publication Number Publication Date
CN111913857A true CN111913857A (zh) 2020-11-10

Family

ID=73226563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010651253.0A Pending CN111913857A (zh) 2020-07-08 2020-07-08 一种智能设备操作行为的检测方法及装置

Country Status (1)

Country Link
CN (1) CN111913857A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560986A (zh) * 2020-12-25 2021-03-26 上海商汤智能科技有限公司 图像检测方法及装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103105977A (zh) * 2012-12-11 2013-05-15 武汉智慧城市研究院股份有限公司 一种抗红外噪声的触点识别方法、装置以及系统
CN104866081A (zh) * 2014-02-25 2015-08-26 中兴通讯股份有限公司 一种终端操作方法、装置及终端
CN105677082A (zh) * 2015-12-29 2016-06-15 比亚迪股份有限公司 基于终端设备的指纹测压方法及其应用方法和对应装置
CN107454304A (zh) * 2016-05-31 2017-12-08 宇龙计算机通信科技(深圳)有限公司 一种终端控制方法、控制装置以及终端
CN109871799A (zh) * 2019-02-02 2019-06-11 浙江万里学院 一种基于深度学习的驾驶员玩手机行为的检测方法
CN111191576A (zh) * 2019-12-27 2020-05-22 长安大学 人员行为目标检测模型构建方法、智能分析方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103105977A (zh) * 2012-12-11 2013-05-15 武汉智慧城市研究院股份有限公司 一种抗红外噪声的触点识别方法、装置以及系统
CN104866081A (zh) * 2014-02-25 2015-08-26 中兴通讯股份有限公司 一种终端操作方法、装置及终端
CN105677082A (zh) * 2015-12-29 2016-06-15 比亚迪股份有限公司 基于终端设备的指纹测压方法及其应用方法和对应装置
CN107454304A (zh) * 2016-05-31 2017-12-08 宇龙计算机通信科技(深圳)有限公司 一种终端控制方法、控制装置以及终端
CN109871799A (zh) * 2019-02-02 2019-06-11 浙江万里学院 一种基于深度学习的驾驶员玩手机行为的检测方法
CN111191576A (zh) * 2019-12-27 2020-05-22 长安大学 人员行为目标检测模型构建方法、智能分析方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560986A (zh) * 2020-12-25 2021-03-26 上海商汤智能科技有限公司 图像检测方法及装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN109509260B (zh) 动态障碍物点云的标注方法、设备及可读介质
CN107153363B (zh) 无人驾驶汽车的仿真测试方法及装置、设备与可读介质
CN109606384B (zh) 车辆控制方法、装置、设备和存储介质
JP2015036980A (ja) 駐車区画占有率判定のための映像および視覚ベースのアクセス制御のハイブリッド方法およびシステム
CN110276293B (zh) 车道线检测方法、装置、电子设备及存储介质
CN111914667B (zh) 一种吸烟检测方法及装置
CN105051754A (zh) 用于通过监控系统检测人的方法和装置
CN110738251B (zh) 图像处理方法、图像处理装置、电子设备及存储介质
CN110263714B (zh) 车道线检测方法、装置、电子设备及存储介质
WO2022037587A1 (en) Methods and systems for video processing
CN113160575A (zh) 一种非机动车辆及驾驶人的交通违法行为检测方法及系统
CN112071084A (zh) 一种利用深度学习判断违章停车的方法和系统
CN111382735A (zh) 夜间车辆检测方法、装置、设备及存储介质
CN110858290B (zh) 驾驶员异常行为识别方法、装置、设备及存储介质
CN111913857A (zh) 一种智能设备操作行为的检测方法及装置
CN108932503A (zh) 恶劣天气下车前障碍的识别方法及装置、存储介质、终端
CN114078319A (zh) 一种检测交通事故隐患地点的方法及装置
CN115471872A (zh) 散发广告的行为检测方法、装置、电子设备和存储介质
CN115294169A (zh) 一种车辆追踪方法、装置、电子设备及存储介质
CN115146830A (zh) 一种智能识别路人打车意图的方法、系统及其车辆
CN113435352B (zh) 文明城市评分方法、装置、电子设备和存储介质
CN112584033B (zh) 图像采集参数调节方法、装置及设备
KR102667465B1 (ko) 연동형 인공지능 기반 cctv 시스템
TWI544454B (zh) 車牌識別方法及系統
CN114638787B (zh) 检测非机动车是否挂牌的方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201110