CN110297665A - 一种设备工作模式的切换方法和相机 - Google Patents

Abstract

本发明公开一种设备工作模式的切换方法和相机。本发明的方法包括：利用所述深度摄像头采集的深度图像进行静态画面检测，在符合画面静止条件，且所述设备后台无任务运行时，控制所述设备进入低功耗模式；在所述设备进入低功耗模式时，根据处于低功耗模式的所述深度摄像头采集的深度图像进行所述静态画面检测，在不符合所述画面静止条件时，根据所述深度摄像头采集的深度图像和所述RGB摄像头采集的RGB图像识别用户操作，在识别到用户操作为唤醒操作时，唤醒所述设备并控制所述设备进入正常工作模式。本发明根据图像的深度变化情况即可精准切换设备的工作模式，无需用户操作物理按键，唤醒方式便捷，用户体验较佳。

Description

一种设备工作模式的切换方法和相机

技术领域

本发明涉及一种设备工作模式的切换方法和相机。

背景技术

目前，市面上产生了越来越多的相对智能化的摄像机产品，其产品内部已经在使用操作系统来完成对于摄像机的控制和图像处理工作，但是由于摄像机本身一般需要电池供电或者器件本身使用寿命等方面的限制，需要在合适的时间将系统休眠来达到减少系统功耗和延长产品使用时间的目的。

最常见的Android操作系统本身就带有了休眠唤醒的功能，以便适用于手机等移动终端使用时长的需求。但是Android操作系统自带的唤醒方式一般需要连接一个物理按键，通过按动物理按键实现系统唤醒，即每次使用之前必须要手动按动一下才能进入工作状态，以采集和处理图像，这种唤醒方式较为麻烦，用户体验差。

发明内容

本发明提供了一种设备工作模式的切换方法和相机，以至少部分解决上述问题。

第一方面，本发明提供了一种设备工作模式的切换方法，所述设备包括深度摄像头和RGB摄像头，所述方法包括：利用所述深度摄像头采集的深度图像进行静态画面检测，在符合画面静止条件，且所述设备后台无任务运行时，控制所述设备进入低功耗模式；在所述设备进入低功耗模式时，根据处于低功耗模式的所述深度摄像头采集的深度图像进行所述静态画面检测，在不符合所述画面静止条件时，根据所述深度摄像头采集的深度图像和所述RGB摄像头采集的RGB图像识别用户操作，在识别到用户操作为唤醒操作时，唤醒所述设备并控制所述设备进入正常工作模式。

第二方面，本发明提供了一种相机，包括：深度摄像头、RGB摄像头和处理器；所述深度摄像头，按照低帧率模式或高帧率模式采集深度图像并发送给所述处理器；所述RGB摄像头，采集RGB图像发送给所述处理器；所述处理器，利用所述深度图像进行静态画面检测，在符合画面静止条件，且所述设备后台无任务运行时，控制所述设备进入低功耗模式；在所述设备进入低功耗模式时，根据处于低功耗模式的所述深度摄像头采集的深度图像进行所述静态画面检测，在不符合所述画面静止条件时，根据所述深度摄像头采集的深度图像和所述RGB摄像头采集的RGB图像识别用户操作，在识别到用户操作为唤醒操作时，唤醒所述设备并控制所述设备进入正常工作模式。

本发明结合图像深度发生变化对应存在用户操作，而图像深度未发生变化对应未发生用户操作的特征，利用深度摄像头感应深度变化情况以对用户操作进行检测，能够在长时间未检测到用户操作时，自动地使设备由正常工作模式进入低功耗模式，在检测到存在用户操作时，结合RGB图像和深度图像识别用户操作，在识别用户操作为唤醒操作时，自动地唤醒设备。本发明根据图像的深度变化情况即可精准切换设备的工作模式，无需用户操作物理按键，唤醒方式便捷，用户体验较佳。

附图说明

图1为本发明实施例示出的设备工作模式的切换方法流程图；

图2为本发明实施例示出的设备的Android操作系统层级示意图；

图3为本发明实施例示出的多工作模式的状态切换示意图；

图4为本发明实施例示出的唤醒手势示意图；

图5为本发明实施例示出的唤醒手势动作示意图；

图6为本发明实施例示出的相机结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。

因此，本发明的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本发明的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本发明的上下文中，计算机可读存储介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。

本发明提供一种设备工作模式的切换方法，本实施例中的设备包括深度摄像头和RGB摄像头，本实施例的设备可以为相机。

图1为本发明实施例示出的设备工作模式的切换方法流程图，如图1所示，本实施例的方法包括：

S110，利用所述深度摄像头采集的深度图像进行静态画面检测，在符合画面静止条件，且所述设备后台无任务运行时，控制所述设备进入低功耗模式。

S120，在所述设备进入低功耗模式时，根据处于低功耗模式的所述深度摄像头采集的深度图像进行所述静态画面检测，在不符合所述画面静止条件时，根据所述深度摄像头采集的深度图像和所述RGB摄像头采集的RGB图像识别用户操作，在识别到用户操作为唤醒操作时，唤醒所述设备并控制所述设备进入正常工作模式。

本实施例结合图像深度发生变化对应存在用户操作，而图像深度未发生变化对应未发生用户操作的特征，利用深度摄像头感应深度变化情况以对用户操作进行检测，能够在长时间未检测到用户操作时，自动地使设备由正常工作模式进入低功耗模式，在检测到存在用户操作时，结合RGB图像和深度图像识别用户操作，在识别用户操作为唤醒操作时，自动地唤醒设备。

本实施例根据图像的深度变化情况即可精准切换设备的工作模式，无需用户操作物理按键，唤醒方式便捷，用户体验较佳。

下面结合图1-5对上述步骤S110-S120进行详细说明。

首先，执行步骤S110，即利用所述深度摄像头采集的深度图像进行静态画面检测，在符合画面静止条件，且所述设备后台无任务运行时，控制所述设备进入低功耗模式。

其中，本实施例通过如下方法进行静态画面检测：利用处于高帧率模式的所述深度摄像头采集深度图像，获取深度图像中像素点的平均深度值；根据所述深度图像的所述平均深度值的变化情况实现所述静态画面检测。

一个示例中，若相邻两帧深度图像的所述平均深度值的差值属于预设数值范围，将预设的深度差异计数器的数值加1；若所述差值不属于所述预设数值范围，将所述深度差异计数器的数值清零；当所述深度差异计数器的数值达到预设帧数时，确定不符合画面静止条件；当所述深度差异计数器的数值未达到所述预设帧数时，确定符合画面静止条件。在符合画面静止条件，且所述设备后台无任务运行时，关闭所述RGB摄像头，并切换所述深度摄像头至低帧率模式。

深度摄像头是一种基于飞行时间(Time of fly)来完成物体深度识别的图像解决方案。为了能够准确的测量距离信息，深度摄像头会按照一定的强度和周期发送激光脉冲信号，但是这个过程中激光发射器需要频繁、高强度的发射激光脉冲，在长时间使用后则会造成激光发射器的寿命缩短，本实施例通过确定设备处于长时间无操作的情况下，将深度摄像头切换至低帧率模式，例如将深度摄像头的帧率设置为5FPS，可以大大降低激光发射器的发射频次，有效延长深度摄像头的使用寿命。

可以理解的是，在设备进入低功耗模式，除了必要的深度摄像头的低功耗运行模式和与之匹配的低功耗算法在运行之外，设备其他部分处于休眠状态，通过采取降频等措施，能够大大降低系统功耗。

在所述设备进入低功耗模式之后，继续执行步骤S120，即根据处于低功耗模式的所述深度摄像头采集的深度图像进行所述静态画面检测，在不符合所述画面静止条件时，根据所述深度摄像头采集的深度图像和所述RGB摄像头采集的RGB图像识别用户操作，在识别到用户操作为唤醒操作时，唤醒所述设备并控制所述设备进入正常工作模式。

在设备进入低功耗模式之后所进行的静态画面检测与设备在正常工作模式所进行的静态画面检测方案相同，但设备进入低功耗模式之后，深度摄像头是处于低帧率模式，而不是处于高帧率模式，其中高帧率模式对应为深度摄像头的正常工作模式，低帧率模式对应为深度摄像头的低功耗模式。

本实施例在进行静态画面检测是，若不符合所述画面静止条件，则保持所述深度摄像头的低帧率模式，并开启所述RGB摄像头，利用所述深度摄像头采集深度图像，以及利用所述RGB摄像头采集RGB图像，对深度图像和所述RGB图像进行融合处理，获取融合图像；利用骨骼识别算法和/或人脸识别算法对所述融合图像进行特征提取；将提取到的特征与预先构建的唤醒动作模型库进行匹配，若匹配成功，识别所述用户操作为唤醒操作，控制所述设备进入正常工作模式，包括切换所述深度摄像头至高帧率模式；若匹配失败，循环匹配从预设数量的融合图像中所述提取的特征与所述唤醒动作模型库的匹配结果(例如循环匹配50帧融合图像对应的特征)，若均匹配失败，控制所述设备进入低功耗模式；其中，唤醒动作模型库包括手势模型和人脸模型。

为详细说明本实施例设备工作模式的切换方法，通过下述实施例进行说明。

如图2所示，本实施例中，设备工作模式的切换主要涉及系统的以下几个层面，分别是算法层、中间连接层(即Framework层)、驱动层和硬件层。

算法层运行在Android操作系统架构的APP层，主要负责正常工作状态和低功耗状态的算法运行；Framework层提供了算法层和驱动层交互的接口，并且对信息进行了简单的转化处理，从而使算法能够调用和控制驱动处理模块；驱动层实现对硬件层中深度摄像头(即图2中的TOF camera)和RGB摄像头(即图2中的RGB camera)所采集图像的接收和控制。

如图3所示，本实施例中，设备涉及三种检测模式，分别是静态画面检测模式、低功耗侦测模式和唤醒操作识别模式，其中当设备进入低功耗模式和设备进入正常工作模式时，设备的系统都需执行静态画面检测模式，而当设备进入低功耗模式时，设备的系统需执行低功耗侦测模式和唤醒操作识别模式。

其中，静态画面检测模式是指：计算深度摄像头采集的深度图像的整个画面中各个像素点的深度信息，并计算全部像素点的深度信息的平均深度，针对每一帧深度图像的平均深度进行监听，若判断相邻两帧深度图像的平均深度的差值保持在某个特定数值范围内，则认为这两帧图像深度信息无差异，将深度差异计数器Count_depth数值加1，否则将Count_depth数值清零；当Count_depth的数值达到用户设定的帧数时，此时则认为深度图像的深度长时间无变化。

由于本实施例通过静态画面检测模式可以确定设备对应的用户操作情况，在设备长时间无用户操作时可以自动地进入低功耗模式，此时切换深度摄像头至低帧率模式的工作状态，并且关闭RGB摄像头，进而达到降低功耗的目的，并且设备多长时间无操作进入低功耗模式可以由用户自定义修改，例如通过修改静态画面检测模式中Count_depth对应的预设帧数来实现时间自定义。

低功耗侦测模式是指：在进入低功耗侦测模式时，图2所示的算法层发出切换命令，该切换命令将通过Framework层传递给驱动层，驱动层收到该信息后切换底层硬件至低功工作模式。

即驱动层关闭RGB摄像头，由于在低功耗侦测模式上前期阶段不需要RGB摄像头的参与，通过关闭RGB摄像头可以达到进一步降低功耗的目的。然后切换深度摄像头至低帧率模式，可以通过深度摄像头的寄存器配置，使深度摄像头工作在一个低帧率的模式上，例如配置深度摄像头的低帧率为5FPS，这样可以降低深度摄像头中的激光发射器使用次数，延长深度摄像头的使用寿命。

此时，设备仅有深度摄像头以5FPS的速率运行，同时保留静态画面检测模式算法运行的进程，其中此时的静态画面检测算法受深度图像驱动进行画面场景检测，同样按照5Hz频率运行，达到降低功耗的目的。

如果静态画面检测模式检测到画面深度数值发生变化，此时预判可能存在唤醒动作，算法层发出切换识别模式的通知，驱动层接收该切换识别模式通知后立即打开RGB摄像头，并将RGB摄像头采集的图像数据流进行上传，算法层此时执行唤醒操作识别模式。

唤醒操作识别模式是指：依赖深度图像和RGB图像进行融合处理，调用骨骼识别算法、人脸识别算法等进行特征提取，并且与预先构建的唤醒动作模型库进行匹配，如果匹配成功，则判定为发生唤醒动作，则算法层发出唤醒通知唤醒系统，即驱动层接收到唤醒通知后，关闭深度摄像头当前5FPS的图像传输流，重新配置深度摄像头的寄存器，将深度摄像头的帧率重新设值为工作模式需要的30/60FPS，并重新使打开深度摄像头和RGB摄像头使两者进入工作模式，并向上层传输数据流，此外，接收到唤醒通知后，系统重新设置CPU运行速率，切换成全速模式运行算法层的工作任务。若匹配失败则继续循环比较50帧图像，若均无唤醒动作，则算法层发出切换通知，切换回低功耗侦测模式，驱动层再次关闭RGB摄像头，仅保留深度摄像头的低帧率模式的工作状态。

在一些实施例中，在构建唤醒动作模型库时需要对唤醒动作进行设置。例如进行固定手势的设置、固定手势动作的设置或人脸模型的设置。

其中，在进行固定手势的设置时，可以按照图4所示，指引用户设置图4所示手势当中的任意一种作为唤醒动作，当用户需要唤醒设备时只需要在深度摄像头的视场范围内摆出设置好的手势即可完成唤醒动做的匹配，唤醒设备。

在进行固定手势动作的设置时，可以按照图5所示，指引用户设置如下简单动作当中的任意一种作为唤醒动作，当用户需要唤醒设备时只需要在深度摄像头的视场范围内摆出指定的动作即可完成设备唤醒。此时，唤醒操作识别模式不再单独计算处理一帧图像，而是采取多帧图像合并在一起，针对多帧图像分别提取的特征向量和唤醒动作模型库的特征向量一一匹配来完成动作识别。

当摄像机安装方式可以方便的拍摄到人脸时，可以采取人脸唤醒的方式，采集人脸信息，并且将提取的人脸信息保存在唤醒动作模型库中，在唤醒操作识别模式启动时调用人脸匹配算法来判断是否为设定的人脸，从而达到设备唤醒的目的。

基于本实施例的唤醒方法可以降低设备唤醒的用户操作，不再依赖实体按钮等硬件的物理接触，可以隔空直接唤醒设备，且唤醒方式可以最大程度的减少唤醒等待时间，唤醒后直接进入工作状态，节省用户时间。此外本实施例还通过多状态机的模式切换，可以使深度摄像头在非正常工作状态以最低的使用频次工作，大大延长了设备的使用寿命，同时由于低帧率模式的设置，也使设备的整体功耗大大降低。

本发明还提供一种相机。

图6为本发明实施例示出的相机结构框图，如图6所示，本实施例的相机包括：深度摄像头、RGB摄像头和处理器；

所述深度摄像头，按照低帧率模式或高帧率模式采集深度图像并发送给所述处理器；

所述RGB摄像头，采集RGB图像发送给所述处理器；

所述处理器，利用所述深度图像进行静态画面检测，在符合画面静止条件，且所述设备后台无任务运行时，控制所述设备进入低功耗模式；在所述设备进入低功耗模式时，根据处于低功耗模式的所述深度摄像头采集的深度图像进行所述静态画面检测，在不符合所述画面静止条件时，根据所述深度摄像头采集的深度图像和所述RGB摄像头采集的RGB图像识别用户操作，在识别到用户操作为唤醒操作时，唤醒所述设备并控制所述设备进入正常工作模式。

在一些实施例中，所述处理器，在控制所述设备进入低功耗模式时，关闭所述RGB摄像头，并切换所述深度摄像头至低帧率模式；在控制所述设备进入正常工作模式时，切换所述深度摄像头至高帧率模式。

相应的，所述处理器在根据处于低功耗模式的所述深度摄像头采集的深度图像进行所述静态画面检测，确定不符合所述画面静止条件时，保持所述深度摄像头的低帧率模式，并开启所述RGB摄像头。

在一些实施例中，所述处理器，利用处于高帧率模式的所述深度摄像头采集深度图像，获取深度图像中像素点的平均深度值；根据所述深度图像的所述平均深度值的变化情况实现所述静态画面检测。

具体是，若相邻两帧深度图像的所述平均深度值的差值属于预设数值范围，将预设的深度差异计数器的数值加1；若所述差值不属于所述预设数值范围，将所述深度差异计数器的数值清零；当所述深度差异计数器的数值达到预设帧数时，确定不符合画面静止条件；当所述深度差异计数器的数值未达到所述预设帧数时，确定符合画面静止条件。

在一些实施例中，所述处理器，对深度图像和所述RGB图像进行融合处理，获取融合图像；利用骨骼识别算法和/或人脸识别算法对所述融合图像进行特征提取；将提取到的特征与预先构建的唤醒动作模型库进行匹配，若匹配成功，识别所述用户操作为唤醒操作；若匹配失败，循环匹配从预设数量的融合图像中所述提取的特征与所述唤醒动作模型库的匹配结果，若均匹配失败，控制所述设备进入低功耗模式。其中，所述唤醒动作模型库包括手势模型和人脸模型。

为了便于清楚描述本发明实施例的技术方案，在发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。

以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种设备工作模式的切换方法，其特征在于，所述设备包括深度摄像头和RGB摄像头，所述方法包括：

利用所述深度摄像头采集的深度图像进行静态画面检测，在符合画面静止条件，且所述设备后台无任务运行时，控制所述设备进入低功耗模式；

在所述设备进入低功耗模式时，根据处于低功耗模式的所述深度摄像头采集的深度图像进行所述静态画面检测，在不符合所述画面静止条件时，根据所述深度摄像头采集的深度图像和所述RGB摄像头采集的RGB图像识别用户操作，在识别到用户操作为唤醒操作时，唤醒所述设备并控制所述设备进入正常工作模式。

2.根据权利要求1所述的方法，其特征在于，所述控制所述设备进入低功耗模式，包括：

关闭所述RGB摄像头，并切换所述深度摄像头至低帧率模式。

3.根据权利要求2所述的方法，其特征在于，所述在不符合画面静止条件时，根据所述深度摄像头和RGB摄像头采集的同步图像识别用户操作，包括：

在不符合画面静止条件时，保持所述深度摄像头的低帧率模式，并开启所述RGB摄像头。

4.根据权利要求1所述的方法，其特征在于，所述控制所述设备进入正常工作模式，包括：

切换所述深度摄像头至高帧率模式。

5.根据权利要求1所述的方法，其特征在于，所述利用所述深度摄像头采集的深度图像进行静态画面检测，包括：

利用处于高帧率模式的所述深度摄像头采集深度图像，获取深度图像中像素点的平均深度值；

根据所述深度图像的所述平均深度值的变化情况实现所述静态画面检测。

6.根据权利要求5所述的方法，其特征在于，所述根据所述深度图像的所述平均深度值的变化情况实现所述静态画面检测，包括：

若相邻两帧深度图像的所述平均深度值的差值属于预设数值范围，将预设的深度差异计数器的数值加1；若所述差值不属于所述预设数值范围，将所述深度差异计数器的数值清零；

当所述深度差异计数器的数值达到预设帧数时，确定不符合画面静止条件；当所述深度差异计数器的数值未达到所述预设帧数时，确定符合画面静止条件。

7.根据权利要求1所述的方法，其特征在于，所述根据所述深度摄像头采集的深度图像和所述RGB摄像头采集的RGB图像识别用户操作，在识别到用户操作为唤醒操作时，唤醒所述设备，包括：

对深度图像和所述RGB图像进行融合处理，获取融合图像；

利用骨骼识别算法和/或人脸识别算法对所述融合图像进行特征提取；

将提取到的特征与预先构建的唤醒动作模型库进行匹配，若匹配成功，识别所述用户操作为唤醒操作。

8.根据权利要求7所述的方法，其特征在于，所述根据所述深度摄像头采集的深度图像和所述RGB摄像头采集的RGB图像识别用户操作，还包括：

若匹配失败，循环匹配从预设数量的融合图像中所述提取的特征与所述唤醒动作模型库的匹配结果，若均匹配失败，控制所述设备进入低功耗模式。

9.根据权利要求7所述的方法，其特征在于，所述唤醒动作模型库包括手势模型和人脸模型。

10.一种相机，其特征在于，包括：深度摄像头、RGB摄像头和处理器；

所述深度摄像头，按照低帧率模式或高帧率模式采集深度图像并发送给所述处理器；

所述RGB摄像头，采集RGB图像发送给所述处理器；

所述处理器，利用所述深度图像进行静态画面检测，在符合画面静止条件，且所述设备后台无任务运行时，控制所述设备进入低功耗模式；在所述设备进入低功耗模式时，根据处于低功耗模式的所述深度摄像头采集的深度图像进行所述静态画面检测，在不符合所述画面静止条件时，根据所述深度摄像头采集的深度图像和所述RGB摄像头采集的RGB图像识别用户操作，在识别到用户操作为唤醒操作时，唤醒所述设备并控制所述设备进入正常工作模式。