CN113821109A - 控制方法及控制系统 - Google Patents

控制方法及控制系统 Download PDF

Info

Publication number
CN113821109A
CN113821109A CN202111408024.7A CN202111408024A CN113821109A CN 113821109 A CN113821109 A CN 113821109A CN 202111408024 A CN202111408024 A CN 202111408024A CN 113821109 A CN113821109 A CN 113821109A
Authority
CN
China
Prior art keywords
frame
face
image
value
wake
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111408024.7A
Other languages
English (en)
Other versions
CN113821109B (zh
Inventor
张旦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Qigan Electronic Information Technology Co ltd
Original Assignee
Shanghai Qigan Electronic Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Qigan Electronic Information Technology Co ltd filed Critical Shanghai Qigan Electronic Information Technology Co ltd
Priority to CN202111408024.7A priority Critical patent/CN113821109B/zh
Publication of CN113821109A publication Critical patent/CN113821109A/zh
Application granted granted Critical
Publication of CN113821109B publication Critical patent/CN113821109B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/4401—Bootstrapping
    • G06F9/4418—Suspend and resume; Hibernate and awake

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种控制方法，用于实现电子设备的唤醒和休眠，包括获取视频流数据，然后通过所述视频流数据进行运动检测，以判断是否存在运动目标，若判断存在运动目标，则对所述视频流数据中存在所述运动目标的图像进行人脸检测，以获取所述运动目标的所在图像中人脸的人脸框，基于所述视频流数据的图像中人脸框的变化趋势，控制电子设备唤醒或休眠，便于自动控制电子设备的唤醒或休眠，提高电子设备的启动速度以及降低电子设备的功耗。本发明还提供了一种实现控制方法的控制系统。

Description

控制方法及控制系统
技术领域
本发明涉及控制系统技术领域，尤其涉及一种控制方法及控制系统。
背景技术
目前的电子设备都需要操作人员到达面前后手动唤醒，这样导致操作人员无法在到达电子设备面前时立刻使用，不便于操作人员使用，并且在操作人员离开时，也需要手动控制或很长时间之后，电子设备才会进入休眠状态，增加了电子设备的功耗。
因此，有必要提供一种新型的控制方法及控制系统以解决现有技术中存在的上述问题。
发明内容
本发明的目的在于提供一种控制方法及控制系统，便于自动控制电子设备的唤醒或休眠，提高电子设备的启动速度以及降低电子设备的功耗。
为实现上述目的，本发明的所述控制方法，用于实现电子设备的唤醒和休眠，包括：
获取视频流数据，然后通过所述视频流数据进行运动检测，以判断是否存在运动目标；
若判断存在运动目标，则对所述视频流数据中存在所述运动目标的图像进行人脸检测，以获取所述运动目标的所在图像中人脸的人脸框；
基于所述视频流数据的图像中人脸框的变化趋势，控制电子设备唤醒或休眠。
所述控制方法的有益效果在于：获取视频流数据，然后通过所述视频流数据进行运动检测，以判断是否存在运动目标，若判断存在运动目标，则对所述视频流数据中存在所述运动目标的图像进行人脸检测，以获取所述运动目标的所在图像中人脸的人脸框，基于所述视频流数据的图像中人脸框的变化趋势，控制电子设备唤醒或休眠，便于自动控制电子设备的唤醒或休眠，提高电子设备的启动速度以及降低电子设备的功耗。
可选地，所述获取视频流数据，然后通过所述视频流数据进行运动检测，以判断是否存在运动目标，包括：
获取所述视频流数据中的当前帧图像和所述当前帧图像的前一帧图像；
将所述当前帧图像和所述当前帧图像的前一帧图像进行对比，以判断所述当前帧图像中是否存在运动目标。其有益效果在于：运动检测作为后续数据处理的启动条件，减少了后续做无用的数据处理，进一步降低了功耗。
可选地，所述将所述当前帧图像和所述当前帧图像的前一帧图像进行对比，以判断所述当前帧图像中是否存在运动目标，包括：
判断所述当前帧图像与所述当前帧图像的前一帧图像的差异度；
若所述差异度小于或等于所述差异度阈值，则判断所述当前帧图像中不存在所述运动目标；
若所述差异度大于所述差异度阈值，则判断所述当前帧图像中存在所述运动目标。其有益效果在于：避免场景的轻微变化导致出现误检。
可选地，所述若判断存在运动目标，则对所述视频流数据中存在所述运动目标的图像进行人脸检测，以获取所述运动目标的所在图像中人脸的人脸框，包括：
对存在所述运动目标的每一帧所述图像进行人脸检测，以确定每一帧所述图像中是否存在人脸，当所述图像中存在人脸时，从所述图像中获取到人脸框，则将帧计数加1，以得到新帧计数，并将所述帧计数替换为所述新帧计数，以获得至少一个所述人脸框。
可选地，所述基于所述视频流数据的图像中人脸框的变化趋势，控制电子设备唤醒或休眠，包括：
按所述人脸框的获取顺序，依次比较相邻所述人脸框的大小；
根据相邻所述人脸框的大小的比较结果，将第一计算值乘第一放大阈值或第一缩小阈值，以得到新第一计算值，然后将所述第一计算值替换为所述新第一计算值；
将所述第一计算值与第一判断阈值进行比较，以得到人脸框的变化趋势，进而根据所述人脸框的变化趋势控制电子设备唤醒或休眠。其有益效果在于：降低个别人脸框误检的影响，提高了人脸框变化趋势的准确性。
可选地，所述将所述第一计算值与第一判断阈值进行比较，以得到人脸框的变化趋势，进而根据所述人脸框的变化趋势控制电子设备唤醒或休眠，包括：
将所述第一计算值与第一判断阈值进行比较，以得到人脸框的变化趋势；
若判断所述第一计算值大于所述第一判断阈值，则判断所述人脸框的变化趋势为越来越大，然后控制所述电子设备唤醒；
若判断所述第一计算值小于所述第一判断阈值，则判断所述人脸框的变化趋势为越来越小，然后控制所述电子设备休眠。
可选地，所述基于所述视频流数据的图像中人脸框的变化趋势，控制电子设备唤醒或休眠，包括：
判断所述新帧计数是否小于预设帧计数；
若判断所述新帧计数小于预设帧计数，则按所述人脸框的获取顺序，依次比较相邻所述人脸框的大小；
根据相邻所述人脸框的大小的比较结果，将第一计算值乘第一放大阈值或第一缩小阈值，以得到新第一计算值，然后将所述第一计算值替换为所述新第一计算值。
可选地，所述基于所述视频流数据的图像中人脸框的变化趋势，控制电子设备唤醒或休眠，还包括：
若判断所述新帧计数大于或等于预设帧计数，则求取在所述新帧计数等于所述预设帧计数之前所有所述人脸框的平均值框；
将所述平均值框与最新得到的所述人脸框进行比较，根据所述平均值框与最新得到的所述人脸框的大小的比较结果，将第二计算值乘第二放大阈值或第二缩小阈值，以得到新第二计算值，然后将所述第二计算值替换为所述新第二计算值；
对所述新第一计算值和所述新第二计算值进行加权平均，以得到比较结果值；
将所述比较结果值与第二判断阈值进行比较，以得到人脸框的变化趋势，进而根据所述人脸框的变化趋势控制电子设备唤醒或休眠。其有益效果在于：降低个别人脸框误检的影响，提高了人脸框变化趋势的准确性。
可选地，所述将所述比较结果值与第二判断阈值进行比较，以得到人脸框的变化趋势，进而根据所述人脸框的变化趋势控制电子设备唤醒或休眠，包括：
将所述比较结果值与第二判断阈值进行比较，以得到人脸框的变化趋势；
若判断所述比较结果值大于所述第二判断阈值，则判断所述人脸框的变化趋势为越来越大，然后控制所述电子设备唤醒；
若判断所述比较结果值小于所述第二判断阈值，则判断所述人脸框的变化趋势为越来越小，然后控制所述电子设备休眠。
可选地，所述基于所述视频流数据的图像中人脸框的变化趋势，控制电子设备唤醒或休眠，包括：
若存在所述运动目标的图像中人脸框的数量大于1，则通过所述视频流数据中不同图像中距离所在图像中心点最近的人脸框的变化趋势控制电子设备唤醒或休眠。其有益效果在于：取合适的人脸框，避免多个人脸框之间的相互干扰，也能降低控制的复杂度。
本发明还提供了一种控制系统，包括运动检测单元、人脸检测单元和唤醒与休眠控制单元，所述运动检测单元用于获取视频流数据，然后通过所述视频流数据进行运动检测，以判断是否存在运动目标；所述人脸检测单元用于在所述运动检测单元判断存在运动目标后，对所述视频流数据中存在所述运动目标的图像进行人脸检测，以获取所述运动目标的所在图像中人脸的人脸框；所述唤醒与休眠控制单元用于基于所述视频流数据的图像中人脸框的变化趋势，控制电子设备唤醒或休眠。
所述控制系统的有益效果在于：所述运动检测单元用于获取视频流数据，然后通过所述视频流数据进行运动检测，以判断是否存在运动目标；所述人脸检测单元用于在所述运动检测单元判断存在运动目标后，对所述视频流数据中存在所述运动目标的图像进行人脸检测，以获取所述运动目标的所在图像中人脸的人脸框；所述唤醒与休眠控制单元用于基于所述视频流数据的图像中人脸框的变化趋势，控制电子设备唤醒或休眠，便于自动控制电子设备的唤醒或休眠，提高电子设备的启动速度以及降低电子的功耗。
可选地，所述运动检测单元包括帧图像获取模块，所述帧图像获取模块用于获取所述视频流数据中的当前帧图像和所述当前帧图像的前一帧图像。
可选地，所述运动检测单元还包括帧图像对比模块，所述帧图像对比模块用于将所述当前帧图像和所述当前帧图像的前一帧图像进行对比，以判断所述当前帧图像中是否存在运动目标。
可选地，所述唤醒与休眠控制单元包括帧计数单元，所述帧计数单元用于将帧计数加1，以得到新帧计数，并将所述帧计数替换为所述新帧计数。
可选地，所述唤醒与休眠控制单元包括第一比较单元，所述第一比较单元用于将按所述人脸框的获取顺序，依次比较相邻所述人脸框的大小。
可选地，所述唤醒与休眠控制单元包括第一计算单元，所述第一计算单元用于根据相邻所述人脸框的大小的比较结果，将第一计算值乘第一放大阈值或第一缩小阈值，以得到新第一计算值，然后将所述第一计算值替换为所述新第一计算值。
可选地，所述唤醒与休眠控制单元包括第二比较单元，所述第二比较单元用于将所述第一计算值与第一判断阈值进行比较，以得到人脸框的变化趋势。
可选地，所述唤醒与休眠控制单元还包括帧计数判断单元，所述帧计数判断单元用于判断所述新帧计数是否小于预设帧计数。
可选地，所述唤醒与休眠控制单元还包括平均值框计算单元，所述平均值框计算单元用于求取所有所述人脸框的平均值框。
可选地，所述唤醒与休眠控制单元还包括第三比较单元，所述第三比较单元用于将所述平均值框与最新得到的所述人脸框进行比较。
可选地，所述唤醒与休眠控制单元还包括第二计算单元，所述第二计算单元用于根据所述平均值框与最新得到的所述人脸框的大小的比较结果，将第二计算值乘第二放大阈值或第二缩小阈值，以得到新第二计算值，然后将所述第二计算值替换为所述新第二计算值。
可选地，所述唤醒与休眠控制单元还包括加权平均计算单元，所述加权平均计算单元用于对所述新第一计算值和所述新第二计算值进行加权平均，以得到比较结果值。
可选地，所述唤醒与休眠控制单元还包括第四比较单元，所述第四比较单元用于将所述比较结果值与第二判断阈值进行比较，以得到人脸框的变化趋势。
附图说明
图1为本发明控制系统的结构框图；
图2为本发明控制方法的流程图；
图3为本发明一些实施例中第一帧图像的示意图；
图4为本发明一些实施例中第二帧图像的示意图；
图5为本发明一些实施例中第三帧图像的示意图；
图6为本发明一些实施例中第四帧图像的示意图；
图7为本发明一些实施例中第五帧图像的示意图；
图8为本发明一些实施例中第六帧图像的示意图；
图9为本发明一些实施例中第七帧图像的示意图；
图10为本发明一帧图像中出现两个人脸框的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另外定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
帧对现有技术存在的问题，本发明的实施例提供了一种控制系统。参照图1，控制系统100包括运动检测单元101、人脸检测单元102和唤醒与休眠控制单元103，所述运动检测单元101用于获取视频流数据，然后通过所述视频流数据进行运动检测，以判断是否存在运动目标；所述人脸检测单元102用于在所述运动检测单元101判断存在运动目标后，对所述视频流数据中存在所述运动目标的图像进行人脸检测，以获取所述运动目标的所在图像中人脸的人脸框；所述唤醒与休眠控制单元103用于基于所述视频流数据的图像中人脸框的变化趋势，控制电子设备唤醒或休眠。
一些实施例中，所述运动检测单元包括帧图像获取模和帧图像对比模块。其中，所述帧图像获取模块用于获取所述视频流数据中的当前帧图像和所述当前帧图像的前一帧图像；所述帧图像对比模块用于将所述当前帧图像和所述当前帧图像的前一帧图像进行对比，以判断所述当前帧图像中是否存在运动目标。
一些实施例中，所述唤醒与休眠控制单元包括帧计数单元，所述帧计数单元用于将帧计数加1，以得到新帧计数，并将所述帧计数替换为所述新帧计数。
一些实施例中，所述唤醒与休眠控制单元包括第一比较单元，所述第一比较单元用于将按所述人脸框的获取顺序，依次比较相邻所述人脸框的大小。
一些实施例中，所述唤醒与休眠控制单元包括第一计算单元，所述第一计算单元用于根据相邻所述人脸框的大小的比较结果，将第一计算值乘第一放大阈值或第一缩小阈值，以得到新第一计算值，然后将所述第一计算值替换为所述新第一计算值。
一些实施例中，所述唤醒与休眠控制单元包括第二比较单元，所述第二比较单元用于将所述第一计算值与第一判断阈值进行比较，以得到人脸框的变化趋势。
一些实施例中，所述唤醒与休眠控制单元还包括帧计数判断单元，所述帧计数判断单元用于判断所述新帧计数是否小于预设帧计数。
一些实施例中，所述唤醒与休眠控制单元还包括平均值框计算单元，所述平均值框计算单元用于求取所有所述人脸框的平均值框。
一些实施例中，所述唤醒与休眠控制单元还包括第三比较单元，所述第三比较单元用于将所述平均值框与最新得到的所述人脸框进行比较。
一些实施例中，所述唤醒与休眠控制单元还包括第二计算单元，所述第二计算单元用于根据所述平均值框与最新得到的所述人脸框的大小的比较结果，将第二计算值乘第二放大阈值或第二缩小阈值，以得到新第二计算值，然后将所述第二计算值替换为所述新第二计算值。
一些实施例中，所述唤醒与休眠控制单元还包括加权平均计算单元，所述加权平均计算单元用于对所述新第一计算值和所述新第二计算值进行加权平均，以得到比较结果值。
一些实施例中，所述唤醒与休眠控制单元还包括第四比较单元，所述第四比较单元用于将所述比较结果值与第二判断阈值进行比较，以得到人脸框的变化趋势。
图2为本发明控制方法的流程图。参照图2，控制方法用于实现电子设备的唤醒和休眠，并通过所述控制系统实现所述控制方法，所述控制方法包括以下步骤：
S1：获取视频流数据，然后通过所述视频流数据进行运动检测，以判断是否存在运动目标；
S2：若判断存在运动目标，则对所述视频流数据中存在所述运动目标的图像进行人脸检测，以获取所述运动目标的所在图像中人脸的人脸框；
S3：基于所述视频流数据的图像中人脸框的变化趋势，控制电子设备唤醒或休眠。
一些实施例中，所述获取视频流数据，然后通过所述视频流数据进行运动检测，以判断是否存在运动目标，包括：获取所述视频流数据中的当前帧图像和所述当前帧图像的前一帧图像；将所述当前帧图像和所述当前帧图像的前一帧图像进行对比，以判断所述当前帧图像中是否存在运动目标。运动检测作为后续数据处理的启动条件，减少了后续做无用的数据处理，进一步降低了功耗。
一些实施例中，所述将所述当前帧图像和所述当前帧图像的前一帧图像进行对比，以判断所述当前帧图像中是否存在运动目标，包括：判断所述当前帧图像与所述当前帧图像的前一帧图像的差异度；若所述差异度小于或等于所述差异度阈值，则判断所述当前帧图像中不存在所述运动目标；若所述差异度大于所述差异度阈值，则判断所述当前帧图像中存在所述运动目标。有利于避免场景的轻微变化导致出现误检。其中，所述差异度阈值为预设设置。
具体地，通过比较所述当前帧图像和所述当前帧图像的前一帧图像的像素值，以得到所述当前帧图像与所述当前帧图像的前一帧图像的差异度。
图3为本发明一些实施例中第一帧图像的示意图，图4为本发明一些实施例中的第二帧图像。参照图3和图4，第二帧图像400为当前帧图像，第一帧图像300为所述第二帧图像400的前一帧图像，将所述第一帧图像300与所述第二帧图像400进行对比，所述第一帧图像300和所述第二帧图像400完全相同，判断所述第一帧图像300和所述第二帧图像400的差异度为0，而所述差异度阈值为50，所述第一帧图像300和所述第二帧图像400的差异度小于所述差异度阈值，判断所述第二帧图像400中不存在运动目标。
图5为本发明一些实施例中第三帧图像的示意图。参照图4和图5，第三帧图像500为当前帧图像，所述第二帧图像400为所述第三帧图像500的前一帧图像，将所述第二帧图像400和所述第三帧图像500进行对比，所述第三帧图像500相对于所述第二帧图像400多出了脚501的部分图像，判断所述第二帧图像400和所述第三帧图像500的差异度为52，而所述差异度阈值为50，所述第二帧图像400和所述第三帧图像500的差异度大于所述差异度阈值，判断所述第三帧图像500中存在运动目标。
图6为本发明一些实施例中第四帧图像的示意图。参照图5和图6，第四帧图像600为当前帧图像，所述第三帧图像500为所述第四帧图像600的前一帧图像，将所述第三帧图像500和所述第四帧图像600进行对比，所述第四帧图像600相对于所述第三帧图像500多出了脚501的更多部分图像，判断所述第三帧图像500和所述第四帧图像600的差异度为55，而所述差异度阈值为50，所述第三帧图像500和所述第四帧图像600的差异度大于所述差异度阈值，判断所述第四帧图像600中存在运动目标。
图7为本发明一些实施例中第五帧图像的示意图。参照图6和图7，第五帧图像700为当前帧图像，所述第四帧图像600为所述第五帧图像700的前一帧图像，将所述第四帧图像600和所述第五帧图像700进行对比，所述第五帧图像700相对于所述第四帧图像600多出了人体701的部分图像，判断所述第四帧图像600和所述第五帧图像700的差异度为300，而所述差异度阈值为50，所述第四帧图像600和所述第五帧图像700的差异度大于所述差异度阈值，判断所述第五帧图像700中存在运动目标。
图8为本发明一些实施例中第六帧图像的示意图。参照图7和图8，第六帧图像800为当前帧图像，所述第五帧图像700为所述第六帧图像800的前一帧图像，将所述第五帧图像700和所述第六帧图像800进行对比，所述第六帧图像800相对于所述第五帧图像700多出了人体701的全部图像，判断所述第五帧图像700和所述第六帧图像800的差异度为400，而所述差异度阈值为50，所述第五帧图像700和所述第六帧图像800的差异度大于所述差异度阈值，判断所述第六帧图像800中存在运动目标。
图9为本发明一些实施例中第七帧图像的示意图。参照图8和图9，第七帧图像900为当前帧图像，所述第六帧图像800为所述第七帧图像900的前一帧图像，将所述第六帧图像800和所述第七帧图像900进行对比，所述第七帧图像900相对于所述第六帧图像800人体701的图像向前移动，判断所述第六帧图像800和所述第七帧图像900的差异度为600，而所述差异度阈值为50，所述第六帧图像800和所述第七帧图像900的差异度大于所述差异度阈值，判断所述第七帧图像900中存在运动目标。
一些实施例中，通过训练好的神经网络模型进行人脸检测，所述神经网络模型的训练方法包括：采集自定义数据集，所述自定义数据集包括人脸图片；对RGB格式下的人脸图片进行归一化预处理；获取自定义训练网络模型，所述自定义训练网络模型基于YOLOV4进行了模型压缩；将进行了归一化预处理的人脸图片输入到所述自定义训练网络模型中进行训练；通过损失函数计算得到人脸图片的训练损失，将该训练损失进行反向传播更新训练网络模型，当该训练网络模型在验证集上的性能符合预设阈值时，训练结束；对训练结束的网络模型进行网络剪枝，并对剪枝后的网络模型中的所有数据训练至少十遍，得到训练好的用于人脸检测的神经网络模型。也可以通过其他方式进行人脸检测和人脸识别，在此并不对人脸检测的方式做具体限定。
一些实施例中，所述基于所述视频流数据的图像中人脸框的变化趋势，控制电子设备唤醒或休眠，包括：若判断所述运动目标的图像中存在人脸框，则将帧计数加1，以得到新帧计数，并将所述帧计数替换为所述新帧计数。
参照图7~图9，所述帧计数为0，对所述第五帧图像700进行人脸检测，判断所述第五帧图像700中存在第一人脸框702，则所述帧计数加1，即0加1等于1，所述新帧计数为1，将所述帧计数替换为所述新帧计数，则所述帧计数为1；
对所述第六帧图像800进行人脸检测，判断所述第六帧图像800中存在第二人脸框801，则所述帧计数加1，即1加1等于2，所述新帧计数为2，将所述帧计数替换为所述新帧计数，则所述帧计数为2；
对所述第七帧图像900进行人脸检测，判断所述第七帧图像900中存在第三人脸框901，则所述帧计数加1，即2加1等于3，所述新帧计数为3，将所述帧计数替换为所述新帧计数，则所述帧计数为3。
一些实施例中，所述基于所述视频流数据的图像中人脸框的变化趋势，控制电子设备唤醒或休眠，包括：按所述人脸框的获取顺序，依次比较相邻所述人脸框的大小；根据相邻所述人脸框的大小的比较结果，将第一计算值乘第一放大阈值或第一缩小阈值，以得到新第一计算值，然后将所述第一计算值替换为所述新第一计算值；将所述第一计算值与第一判断阈值进行比较，以得到人脸框的变化趋势，进而根据所述人脸框的变化趋势控制电子设备唤醒或休眠。有利于降低个别人脸框误检的影响，提高了人脸框变化趋势的准确性。
一些实施例中，所述第一放大阈值大于1且小于2，所述第一缩小阈值小于1且大于0，所述第一放大阈值和所述第一缩小阈值的和为2。例如，所述第一放大阈值为1.2，所述第一缩小阈值为0.8。具体地，相邻所述人脸框中，当排序在后的所述人脸框的大小大于排序在前的所述人脸框的大小，则将所述第一计算值与所述第一放大阈值相乘；当排序在后的所述图像中的人脸框的大小小于排序在前的的所述图像的人脸框的大小，则将所述第一计算值与所述第一缩小阈值相乘。
一些实施例中，所述将所述第一计算值与第一判断阈值进行比较，以得到人脸框的变化趋势，进而根据所述人脸框的变化趋势控制电子设备唤醒或休眠，包括：将所述第一计算值与第一判断阈值进行比较，以得到人脸框的变化趋势；若判断所述第一计算值大于所述第一判断阈值，则判断所述人脸框的变化趋势为越来越大，然后控制所述电子设备唤醒；若判断所述第一计算值小于所述第一判断阈值，则判断所述人脸框的变化趋势为越来越小，然后控制所述电子设备休眠。
一些实施例中，所述第一判断阈值等于所述第一计算值。
参照图7~图9，预设第一计算值为20，所述第一判断阈值为20，所述第一放大阈值为1.1，所述第一缩小阈值为0.9，所述第一人脸框702的四个顶点坐标分别为（10，11）、（15，11）、（10，6）和（15，6），所述第二人脸框801四个顶点坐标分别为（9.75，11.25）、（15.25，11.25）、（9.75，5.75）和（15.25，5.75），所述第三人脸框901的四个顶点坐标分别为（9.5，11.5）、（15.5，11.5）、（9.5，5.5）和（15.5，5.5），即所述第一人脸框702的长为5，所述第一人脸框702的高为5，所述第二人脸框801的长为5.5，所述第二人脸框801的高为5.5，所述第三人脸框901的长为6，所述第三人脸框901的高为6。判断所述第二人脸框801的大小大于所述第一人脸框702的大小，则将所述第一计算值和所述第一放大阈值相乘，即20×1.1=22，所述新第一计算值为22，所述第一计算值变为22；判断所述第三人脸框901的大小大于所述第二人脸框801的大小，则将所述第一计算值和所述第一放大阈值相乘，即22×1.1=24.2，所述新第一计算值为24.2，所述第一计算值变为24.2，判断所述第一计算值大于所述第一判断阈值，则判断所述人脸框的变化趋势为越来越大，然后控制所述电子设备唤醒。
一些实施例中，所述基于所述视频流数据的图像中人脸框的变化趋势，控制电子设备唤醒或休眠，包括：判断所述新帧计数是否小于预设帧计数；若判断所述新帧计数小于预设帧计数，则按所述人脸框的获取顺序，依次比较相邻所述人脸框的大小；根据相邻所述人脸框的大小的比较结果，将第一计算值乘第一放大阈值或第一缩小阈值，以得到新第一计算值，然后将所述第一计算值替换为所述新第一计算值。
一些实施例中，所述基于所述视频流数据的图像中人脸框的变化趋势，控制电子设备唤醒或休眠，还包括：若判断所述新帧计数大于或等于预设帧计数，则求取在所述新帧计数等于所述预设帧计数之前所有所述人脸框的平均值框；将所述平均值框与最新得到的所述人脸框进行比较，根据所述平均值框与最新得到的所述人脸框的大小的比较结果，将第二计算值乘第二放大阈值或第二缩小阈值，以得到新第二计算值，然后将所述第二计算值替换为所述新第二计算值；对所述新第一计算值和所述新第二计算值进行加权平均，以得到比较结果值；将所述比较结果值与第二判断阈值进行比较，以得到人脸框的变化趋势，进而根据所述人脸框的变化趋势控制电子设备唤醒或休眠。有利于降低个别人脸框误检的影响，提高了人脸框变化趋势的准确性。
一些实施例中，所述将所述比较结果值与第二判断阈值进行比较，以得到人脸框的变化趋势，进而根据所述人脸框的变化趋势控制电子设备唤醒或休眠，包括：将所述比较结果值与第二判断阈值进行比较，以得到人脸框的变化趋势；若判断所述比较结果值大于所述第二判断阈值，则判断所述人脸框的变化趋势为越来越大，然后控制所述电子设备唤醒；若判断所述比较结果值小于所述第二判断阈值，则判断所述人脸框的变化趋势为越来越小，然后控制所述电子设备休眠。
一些实施例中，所述第一放大阈值和所述第二放大阈值均大于1且小于2，所述第一缩小阈值和所述第二缩小阈值均小于1且大于0，且所述第一放大阈值和所述第一缩小阈值的和为2，所述第二放大阈值和所述第二缩小阈值的和为2。例如，所述第一放大阈值为1.1，所述第一缩小阈值为0.9；例如，所述第二放大阈值为1.3，所述第二缩小阈值为0.7。
一些实施例中，所述基于所述视频流数据的图像中人脸框的变化趋势，控制电子设备唤醒或休眠，包括：若存在所述运动目标的图像中人脸框的数量大于1，则通过所述视频流数据中不同图像中距离所在图像中心点最近的人脸框的变化趋势控制电子设备唤醒或休眠。选取合适的人脸框，避免多个人脸框之间的相互干扰，也能降低控制的复杂度。
图10为本发明一帧图像中出现两个人脸框的示意图。参照图10，图中包括图像的中心点201、左人脸框202和右人脸框203，所述中心点201为所述图像对角线的交点，所述左人脸框202距离所述中心点201的距离小于所述右人脸框203距离所述中心点201的距离，在获取所述图像中的人脸框时，仅获取所述左人脸框202。
虽然在上文中详细说明了本发明的实施方式，但是对于本领域的技术人员来说显而易见的是，能够对这些实施方式进行各种修改和变化。但是，应理解，这种修改和变化都属于权利要求书中所述的本发明的范围和精神之内。而且，在此说明的本发明可有其它的实施方式，并且可通过多种方式实施或实现。

Claims (23)

1.一种控制方法，其特征在于，用于实现电子设备的唤醒和休眠，包括：
获取视频流数据，然后通过所述视频流数据进行运动检测，以判断是否存在运动目标；
若判断存在运动目标，则对所述视频流数据中存在所述运动目标的图像进行人脸检测，以获取所述运动目标的所在图像中人脸的人脸框；
基于所述视频流数据的图像中人脸框的变化趋势，控制电子设备唤醒或休眠。
2.根据权利要求1所述的控制方法，其特征在于，所述获取视频流数据，然后通过所述视频流数据进行运动检测，以判断是否存在运动目标，包括：
获取所述视频流数据中的当前帧图像和所述当前帧图像的前一帧图像；
将所述当前帧图像和所述当前帧图像的前一帧图像进行对比，以判断所述当前帧图像中是否存在运动目标。
3.根据权利要求2所述的控制方法，其特征在于，所述将所述当前帧图像和所述当前帧图像的前一帧图像进行对比，以判断所述当前帧图像中是否存在运动目标，包括：
判断所述当前帧图像与所述当前帧图像的前一帧图像的差异度；
若所述差异度小于或等于所述差异度阈值，则判断所述当前帧图像中不存在所述运动目标；
若所述差异度大于所述差异度阈值，则判断所述当前帧图像中存在所述运动目标。
4.根据权利要求1所述的控制方法，其特征在于，所述若判断存在运动目标，则对所述视频流数据中存在所述运动目标的图像进行人脸检测，以获取所述运动目标的所在图像中人脸的人脸框，包括：
对存在所述运动目标的每一帧所述图像进行人脸检测，以确定每一帧所述图像中是否存在人脸，当所述图像中存在人脸时，从所述图像中获取到人脸框，则将帧计数加1，以得到新帧计数，并将所述帧计数替换为所述新帧计数，以获得至少一个所述人脸框。
5.根据权利要求1或4所述的控制方法，其特征在于，所述基于所述视频流数据的图像中人脸框的变化趋势，控制电子设备唤醒或休眠，包括：
按所述人脸框的获取顺序，依次比较相邻所述人脸框的大小；
根据相邻所述人脸框的大小的比较结果，将第一计算值乘第一放大阈值或第一缩小阈值，以得到新第一计算值，然后将所述第一计算值替换为所述新第一计算值；
将所述第一计算值与第一判断阈值进行比较，以得到人脸框的变化趋势，进而根据所述人脸框的变化趋势控制电子设备唤醒或休眠。
6.根据权利要求5所述的控制方法，其特征在于，所述将所述第一计算值与第一判断阈值进行比较，以得到人脸框的变化趋势，进而根据所述人脸框的变化趋势控制电子设备唤醒或休眠，包括：
将所述第一计算值与第一判断阈值进行比较，以得到人脸框的变化趋势；
若判断所述第一计算值大于所述第一判断阈值，则判断所述人脸框的变化趋势为越来越大，然后控制所述电子设备唤醒；
若判断所述第一计算值小于所述第一判断阈值，则判断所述人脸框的变化趋势为越来越小，然后控制所述电子设备休眠。
7.根据权利要求4所述的控制方法，其特征在于，所述基于所述视频流数据的图像中人脸框的变化趋势，控制电子设备唤醒或休眠，包括：
判断所述新帧计数是否小于预设帧计数；
若判断所述新帧计数小于预设帧计数，则按所述人脸框的获取顺序，依次比较相邻所述人脸框的大小；
根据相邻所述人脸框的大小的比较结果，将第一计算值乘第一放大阈值或第一缩小阈值，以得到新第一计算值，然后将所述第一计算值替换为所述新第一计算值。
8.根据权利要求7所述的控制方法，其特征在于，所述基于所述视频流数据的图像中人脸框的变化趋势，控制电子设备唤醒或休眠，还包括：
若判断所述新帧计数大于或等于预设帧计数，则求取在所述新帧计数等于所述预设帧计数之前所有所述人脸框的平均值框；
将所述平均值框与最新得到的所述人脸框进行比较，根据所述平均值框与最新得到的所述人脸框的大小的比较结果，将第二计算值乘第二放大阈值或第二缩小阈值，以得到新第二计算值，然后将所述第二计算值替换为所述新第二计算值；
对所述新第一计算值和所述新第二计算值进行加权平均，以得到比较结果值；
将所述比较结果值与第二判断阈值进行比较，以得到人脸框的变化趋势，进而根据所述人脸框的变化趋势控制电子设备唤醒或休眠。
9.根据权利要求8所述的控制方法，其特征在于，所述将所述比较结果值与第二判断阈值进行比较，以得到人脸框的变化趋势，进而根据所述人脸框的变化趋势控制电子设备唤醒或休眠，包括：
将所述比较结果值与第二判断阈值进行比较，以得到人脸框的变化趋势；
若判断所述比较结果值大于所述第二判断阈值，则判断所述人脸框的变化趋势为越来越大，然后控制所述电子设备唤醒；
若判断所述比较结果值小于所述第二判断阈值，则判断所述人脸框的变化趋势为越来越小，然后控制所述电子设备休眠。
10.根据权利要求1所述的控制方法，其特征在于，所述基于所述视频流数据的图像中人脸框的变化趋势，控制电子设备唤醒或休眠，包括：
若存在所述运动目标的图像中人脸框的数量大于1，则通过所述视频流数据中不同图像中距离所在图像中心点最近的人脸框的变化趋势控制电子设备唤醒或休眠。
11.一种控制系统，用于实现如权利要求1~10中任意一项所述的控制方法，其特征在于，包括运动检测单元、人脸检测单元和唤醒与休眠控制单元，所述运动检测单元用于获取视频流数据，然后通过所述视频流数据进行运动检测，以判断是否存在运动目标；所述人脸检测单元用于在所述运动检测单元判断存在运动目标后，对所述视频流数据中存在所述运动目标的图像进行人脸检测，以获取所述运动目标的所在图像中人脸的人脸框；所述唤醒与休眠控制单元用于基于所述视频流数据的图像中人脸框的变化趋势，势控制电子设备唤醒或休眠。
12.根据权利要求11所述的控制系统，其特征在于，所述运动检测单元包括帧图像获取模块，所述帧图像获取模块用于获取所述视频流数据中的当前帧图像和所述当前帧图像的前一帧图像。
13.根据权利要求12所述的控制系统，其特征在于，所述运动检测单元还包括帧图像对比模块，所述帧图像对比模块用于将所述当前帧图像和所述当前帧图像的前一帧图像进行对比，以判断所述当前帧图像中是否存在运动目标。
14.根据权利要求11所述的控制系统，其特征在于，所述唤醒与休眠控制单元包括帧计数单元，所述帧计数单元用于将帧计数加1，以得到新帧计数，并将所述帧计数替换为所述新帧计数。
15.根据权利要求14所述的控制系统，其特征在于，所述唤醒与休眠控制单元包括第一比较单元，所述第一比较单元用于将按所述人脸框的获取顺序，依次比较相邻所述人脸框的大小。
16.根据权利要求15所述的控制系统，其特征在于，所述唤醒与休眠控制单元包括第一计算单元，所述第一计算单元用于根据相邻所述人脸框的大小的比较结果，将第一计算值乘第一放大阈值或第一缩小阈值，以得到新第一计算值，然后将所述第一计算值替换为所述新第一计算值。
17.根据权利要求16所述的控制系统，其特征在于，所述唤醒与休眠控制单元包括第二比较单元，所述第二比较单元用于将所述第一计算值与第一判断阈值进行比较，以得到人脸框的变化趋势。
18.根据权利要求17所述的控制系统，其特征在于，所述唤醒与休眠控制单元还包括帧计数判断单元，所述帧计数判断单元用于判断所述新帧计数是否小于预设帧计数。
19.根据权利要求18所述的控制系统，其特征在于，所述唤醒与休眠控制单元还包括平均值框计算单元，所述平均值框计算单元用于求取所有所述人脸框的平均值框。
20.根据权利要求19所述的控制系统，其特征在于，所述唤醒与休眠控制单元还包括第三比较单元，所述第三比较单元用于将所述平均值框与最新得到的所述人脸框进行比较。
21.根据权利要求20所述的控制系统，其特征在于，所述唤醒与休眠控制单元还包括第二计算单元，所述第二计算单元用于根据所述平均值框与最新得到的所述人脸框的大小的比较结果，将第二计算值乘第二放大阈值或第二缩小阈值，以得到新第二计算值，然后将所述第二计算值替换为所述新第二计算值。
22.根据权利要求21所述的控制系统，其特征在于，所述唤醒与休眠控制单元还包括加权平均计算单元，所述加权平均计算单元用于对所述新第一计算值和所述新第二计算值进行加权平均，以得到比较结果值。
23.根据权利要求21所述的控制系统，其特征在于，所述唤醒与休眠控制单元还包括第四比较单元，所述第四比较单元用于将所述比较结果值与第二判断阈值进行比较，以得到人脸框的变化趋势。
CN202111408024.7A 2021-11-25 2021-11-25 控制方法及控制系统 Active CN113821109B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111408024.7A CN113821109B (zh) 2021-11-25 2021-11-25 控制方法及控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111408024.7A CN113821109B (zh) 2021-11-25 2021-11-25 控制方法及控制系统

Publications (2)

Publication Number Publication Date
CN113821109A true CN113821109A (zh) 2021-12-21
CN113821109B CN113821109B (zh) 2022-03-11

Family

ID=78918161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111408024.7A Active CN113821109B (zh) 2021-11-25 2021-11-25 控制方法及控制系统

Country Status (1)

Country Link
CN (1) CN113821109B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102307274A (zh) * 2011-08-31 2012-01-04 南京南自信息技术有限公司 基于边缘检测和帧差法的运动检测方法
CN108256308A (zh) * 2018-02-08 2018-07-06 维沃移动通信有限公司 一种人脸识别解锁控制方法和移动终端
CN108304070A (zh) * 2018-01-31 2018-07-20 努比亚技术有限公司 移动终端亮屏方法、移动终端及计算机可读存储介质
CN109976506A (zh) * 2017-12-28 2019-07-05 深圳市优必选科技有限公司 一种电子设备的唤醒方法、存储介质及机器人
JP2020082954A (ja) * 2018-11-21 2020-06-04 パナソニックＩｐマネジメント株式会社 開錠制御装置および開錠制御方法
CN113284167A (zh) * 2021-05-28 2021-08-20 深圳数联天下智能科技有限公司 人脸跟踪检测方法、装置、设备和介质
CN113420615A (zh) * 2021-06-03 2021-09-21 深圳海翼智新科技有限公司 人脸活体检测方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102307274A (zh) * 2011-08-31 2012-01-04 南京南自信息技术有限公司 基于边缘检测和帧差法的运动检测方法
CN109976506A (zh) * 2017-12-28 2019-07-05 深圳市优必选科技有限公司 一种电子设备的唤醒方法、存储介质及机器人
CN108304070A (zh) * 2018-01-31 2018-07-20 努比亚技术有限公司 移动终端亮屏方法、移动终端及计算机可读存储介质
CN108256308A (zh) * 2018-02-08 2018-07-06 维沃移动通信有限公司 一种人脸识别解锁控制方法和移动终端
JP2020082954A (ja) * 2018-11-21 2020-06-04 パナソニックＩｐマネジメント株式会社 開錠制御装置および開錠制御方法
CN113284167A (zh) * 2021-05-28 2021-08-20 深圳数联天下智能科技有限公司 人脸跟踪检测方法、装置、设备和介质
CN113420615A (zh) * 2021-06-03 2021-09-21 深圳海翼智新科技有限公司 人脸活体检测方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PANXI CHEN; XIAOQIANG LI; WENFENG WANG: ""Improving Occluded Face Recognition with Image Fusion"", 《2020 13TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING, BIOMEDICAL ENGINEERING AND INFORMATICS (CISP-BMEI)》 *
蒋浩: ""基于深度学习的双模态生物特征识别研究"", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *

Also Published As

Publication number Publication date
CN113821109B (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
CN108898118B (zh) 一种视频数据处理方法、装置和存储介质
CN106296612B (zh) 一种图像质量评价和天气状况引导的分级式监控视频清晰化系统及方法
CN102098531B (zh) 一种检测摄像机被干扰的方法及装置
WO2020181523A1 (zh) 唤醒屏幕的方法和装置
CN111444555B (zh) 一种测温信息显示方法、装置及终端设备
CN110059634B (zh) 一种大场景人脸抓拍方法
CN104616002A (zh) 用于年龄段判断的面部识别设备
CN108734126B (zh) 一种美颜方法、美颜装置及终端设备
CN108830152B (zh) 深度学习网络和人工特征相联合的行人检测方法及系统
CN101923637A (zh) 一种移动终端及其人脸检测方法和装置
WO2023169318A1 (zh) 图像质量确定方法、装置、设备和存储介质
CN109919096A (zh) 一种视频实时人脸检测的方法
CN111178261A (zh) 一种基于视频编码技术的人脸检测加速方法
WO2023006009A1 (zh) 拍摄参数的确定方法、装置及电子设备
CN114253611A (zh) 控制方法及控制系统
CN110321808B (zh) 遗留物与盗移物检测方法、设备和存储介质
CN113821109B (zh) 控制方法及控制系统
CN113379623B (zh) 图像处理方法、装置、电子设备及存储介质
CN112700568B (zh) 一种身份认证的方法、设备及计算机可读存储介质
CN111382606A (zh) 摔倒检测方法、摔倒检测装置和电子设备
CN110415164A (zh) 人脸变形处理方法、存储介质、电子设备及系统
CN111814840A (zh) 一种人脸图像质量评估方法、系统、设备和介质
CN114253613A (zh) 控制方法及控制系统
CN114265626A (zh) 控制方法及控制系统
CN110852335A (zh) 一种基于多颜色特征融合与深度网络的目标跟踪系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant