CN114089433A

CN114089433A - 存在检测系统

Info

Publication number: CN114089433A
Application number: CN202010776170.4A
Authority: CN
Inventors: 陈柏璋; 彭源智; 杨伟杰; 麦炜均
Original assignee: Himax Imaging Ltd
Current assignee: Himax Imaging Ltd
Priority date: 2020-08-05
Filing date: 2020-08-05
Publication date: 2022-02-25
Anticipated expiration: 2040-08-05
Also published as: CN114089433B

Abstract

一种存在检测系统，包含相机以撷取影像；基于外观检测器，根据影像以检测对象的外观，从而输出外观检测信号，当检测到外观时，外观检测信号变为主动；邻近检测器，检测影像的预定检测窗口内对象的移动，从而输出邻近检测信号，当检测到移动时，邻近检测信号变为主动；及融合单元，接收外观检测信号与邻近检测信号，据以输出对象存在信号，当外观检测信号或邻近检测信号为主动时，对象存在信号变为主动。

Description

存在检测系统

【技术领域】

本发明有关一种存在检测，特别是关于一种人体存在检测系统与方法。

【背景技术】

人体存在(human presence)检测器，例如邻近(proximity)传感器，不需通过实体接触而能检测邻近人体的存在。在一应用例中，专利文献US2014/0075230公开了当可能(potential)用户靠近电子装置时，人体存在检测器的检测结果可用于将电子装置从低功耗睡眠/待机状态唤醒。在另一应用例中，当发生非法入侵时，人体存在检测器的检测结果可用于触发警报。

一种邻近传感器使用红外线发光二极管以发射红外线，且使用红外线传感器以感测反射的红外线，据以决定对象是否邻近。另一种邻近传感器使用三角测量技术以决定对象是否邻近。又一种邻近传感器利用飞时(time of flight,ToF)技术，以测量光线图案在介质当中行进一段距离所需时间，据以决定对象是否邻近。

专利文献US2013/0063611、US7155036、US2004/0081998、US2012/0081392公开了人脸检测，其为一种有效的人体检测手段，通过检测人脸以决定人体存在。然而，人脸检测有赖于清晰的脸部特征。当受到阻挡、离开相机的视场或粗劣影像质量而使得人脸影像的质量低劣时，人脸检测即会失败。

移动检测可做为人体检测的辅助机制，其监视图框当中在时间上的改变，并假设人体移动事件可检测到之间的改变差值。人脸检测与移动检测可联合使用，在专利文献US7409091、WO2017098265公开了相关的技术方案。

用于唤醒装置的人体存在检测器需要准确地检测可能使用者的存在，并避免过路者。然而，此种要求并不容易达到，因为通常无法得知使用装置的意图。此外，当人体靠近装置时，通常仅会撷取到部分人体的影像。

因此，传统人体存在检测器经常发生检测错误(及其触发)与检测漏失。此外，传统人体存在检测器无法有效辨别(具有意图使用电子装置的)可能用户与过路者。

因此亟需提出一种新颖的机制，用以克服传统人体存在检测器的诸多缺失。特别的是，本发明融合人脸检测与移动检测的结果，以决定具使用意图的可能使用者。

【发明内容】

鉴于上述，本发明实施例的目的之一在于提出一种人体存在检测系统与方法，从而准确检测人体且能分辨可能使用者与过路者。

根据本发明实施例，存在检测系统包含相机、基于外观检测器、邻近检测器及融合单元。相机用于撷取影像。基于外观检测器(例如正面人脸检测器、正面人体检测器或正面上半人体检测器)用于根据影像以检测对象的外观，从而输出外观检测信号，当检测到外观时，外观检测信号变为主动(is asserted)。邻近检测器用于检测影像的预定检测窗口内对象的移动，从而输出邻近检测信号，当检测到移动时，邻近检测信号变为主动。融合单元接收外观检测信号与邻近检测信号，据以输出对象存在信号，当外观检测信号或邻近检测信号为主动时，对象存在信号变为主动。

【附图说明】

图1显示本发明第一实施例的人体存在检测系统的方框图。

图2A显示相机未倾斜的侧视图及其撷取影像。

图2B显示相机的侧视图及其撷取影像，其向上倾斜一倾斜角。

图2C显示相机的侧视图及其撷取影像，其向下倾斜一倾斜角。

图3A与图3B例示移动检测窗口。

图4显示本发明第一实施例的人体存在检测方法的流程图。

图5显示本发明第二实施例的人体存在检测系统的方框图。

图6A至图6C例示撷取影像及相应的移动检测窗口。

图7显示本发明第二实施例的人体存在检测方法的流程图。

图8A例示本发明第三实施例的相机的视场的移动检测窗口的示意图。

图8B与图8C显示使用图8A的次窗口的例子。

图9显示本发明第四实施例的连续图框与移动检测窗口的示意图。

【符号说明】

100:人体存在检测系统

500:人体存在检测系统

11:相机

111:镜头

112:影像传感器

12:存储器

13:人脸检测器

14:移动检测器

15:融合单元

16:倾斜角传感器

17:参数调整单元

101:电子装置

21:光轴

22:水平线

400:人体存在检测方法

700:人体存在检测方法

40:接收倾斜角信息

41A:使用人脸检测、移动检测参数及移动检测窗口进行初始化

41B:根据倾斜角信息，使用人脸检测、移动检测参数及移动检测窗口进行

初始化

41C:修正人脸检测、移动检测参数及移动检测窗口

42:撷取影像

43:人脸检测

44:决定是否检测到人脸

45:FD＝1

46:HP＝1

47:FD＝0

48:移动检测

49:决定是否检测到移动

50:MD＝1

51:MD＝0

52:HP＝0

61:移动检测窗口

62:移动检测窗口

63:移动检测窗口

71:接收更新倾斜角信息

72:决定倾斜角的差值是否大于临界值

81:移动检测窗口

811:次窗口

91A～91C:图框

92:物件

93A～93B:中心

94:移动轨迹

FD:人脸检测信号

MD:移动检测信号

HP:人体存在信号

【具体实施方式】

图1显示本发明第一实施例的人体存在检测系统100的方框图。所示方框块并不表示其彼此为实体分离。至少二方框可以整合为一实体。举例而言，本实施例的方框13～15可结合为一实体(例如芯片)，或者整个人体存在检测系统100可整合为堆栈的集成电路。

在本实施例中，人体存在检测系统(以下简称系统)100可包含相机11，用于撷取影像。在一实施例中，相机11可包含镜头(lens)111与影像传感器112。其中，镜头111用于将对象的光学影像聚焦至影像传感器112，且影像传感器112将对象的光学影像转换为信号，以组成撷取影像。本实施例的系统100可包含存储器12，用于暂存相机11所撷取影像及其他数据。

根据本实施例的特征之一，相机11可向上(或向下)倾斜一倾斜角。据此，仅有靠近相机11的人体可位于相机11(或撷取影像)的视场(FOV)的一端(例如上端)，而远离相机11的人体则会显得较小且位于撷取影像(或相机11之视场)的另一端。图2A显示(笔记本电脑的)相机11未倾斜的侧视图及其撷取影像。在此例子中，仅有近距与中距的人体会位于相机11(或撷取影像)的视场的上端。图2B显示(笔记本电脑的)相机11向上倾斜的侧视图及其撷取影像，其倾斜角θ介于相机11的光轴21与(平行于地的)水平线22之间。在一较佳实施例中，相机11的倾斜角的范围为0至90度。值得注意的是，在较佳实施例中，相机11的位置低于站立人体的视线，则相机11向上倾斜。在另一实施例中，相机11的位置高于站立人体的视线，则相机11向下倾斜，如图2C所示(设于天花板的)相机11向下倾斜的侧视图及其撷取影像，其倾斜角θ介于相机11的光轴21与(平行于地的)水平线22之间。在此例子中，仅有近距或中距的人体会位于相机11(或撷取影像)的视场的下端。图2B与图2C的倾斜相机11可产生透视效应，有助于近距及中距人体的检测。

在本实施例中，系统100可包含人脸检测器13，其接收相机11所撷取影像，据以检测影像当中的人脸。根据人脸检测结果，人脸检测器13可输出人脸检测信号FD。当检测到人脸时，人脸检测信号FD变为主动(例如“1”)；当未检测到人脸时，人脸检测信号FD变为被动(例如“0”)。人脸检测器13可使用传统人脸检测技术，其细节不予赘述。本实施例的人脸检测器13仅作为例示，其可概括为基于外观(appearance-based)检测器，用于检测对象(例如人体)的外观，例如具使用意图的可能使用者的前面人脸、前面上半身体或前面身体。根据外观检测结果，基于外观检测器可输出外观检测信号。

在本实施例中，系统100可包含移动(motion)检测器14，其接收相机11撷取的当前影像与储存于存储器12的前一影像，并检测当前影像与前一影像在预定移动检测窗口当中的时间上(temporal)变化。存储器12除了暂存撷取影像，还可暂存移动检测器14所产生的数据(例如特征萃取或边缘图(edge map))。图3A例示移动检测窗口位于相机11(或撷取影像)的视场的上端，可适用于图2B所示例子以检测近距人体，避免误测到远离相机11的中距或远距人体。图3B例示移动检测窗口位于相机11(或撷取影像)的视场的下端，可适用于图2C所示例子以检测近距人体，避免误测到远距人体。根据移动检测结果，移动检测器14可输出移动检测信号MD。当时间上变化大于预设临界值，则移动检测信号MD变为主动(例如“1”)；当时间上变化未大于预设临界值，则移动检测信号MD变为被动(例如“0”)。移动检测器14可使用传统移动检测技术，其细节不予赘述。移动检测器14仅作为例示，其可概括为邻近(proximity)检测器，根据移动或时间上变化以检测对象(例如人体)的移动。根据邻近检测结果，邻近检测器可输出邻近检测信号。

根据本实施例的另一特征，系统100可包含融合(fusion)单元15，其接收(来自人脸检测器13的)人脸检测信号FD与(来自移动检测器14的)移动检测信号MD，据以输出人体存在信号HP，用于触发或唤醒电子装置101。在本实施例中，当(来自人脸检测器13的)人脸检测信号FD或(来自移动检测器14的)移动检测信号MD为主动，则(融合单元15产生的)人体存在信号HP变为主动(例如“1”)，否则人体存在信号HP变为被动(例如“0”)。概括来说，根据(来自基于外观检测器的)外观检测信号与(来自邻近检测器的)邻近检测信号，融合单元15可输出对象存在信号。

图4显示本发明第一实施例的人体存在检测方法400的流程图。在步骤41A，人脸检测器13与移动检测器14使用人脸检测与移动检测参数(其包含移动检测窗口)进行初始化。其中，移动检测窗口可设于相机11的视场的一端(例如上端)。接着，在步骤42，相机11撷取影像，其可暂存于存储器12。

在步骤43，人脸检测器13可执行人脸检测以检测撷取影像当中的人脸。在一实施例中，在执行人脸检测之前，可先执行下采样(down sampling)。如果检测到人脸(步骤44)，人脸检测器13输出主动的人脸检测信号FD(FD＝1)(步骤45)，接着融合单元15输出主动的人体存在信号HP(HP＝1)(步骤46)。

如果未检测到人脸(步骤44)，人脸检测器13输出被动的人脸检测信号FD(FD＝0)(步骤47)。接着，在步骤48，移动检测器14可执行移动检测以检测当前影像与前一影像在预定移动检测窗口当中的时间上(temporal)变化。如果检测到移动(步骤49)，例如时间上变化大于预设临界值，则移动检测器14输出主动的移动检测信号MD(MD＝1)(步骤50)，接着融合单元15输出主动的人体存在信号HP(HP＝1)(步骤46)。如果未检测到移动(步骤49)，例如时间上变化未大于预设临界值，则移动检测器14输出被动的移动检测信号MD(MD＝0)(步骤51)，接着融合单元15输出被动的人体存在信号HP(HP＝0)(步骤52)，且流程回至步骤42以撷取下一影像。在本实施例中，虽然先执行人脸检测(步骤43)再执行移动检测(步骤48)，然而在其他实施例中，可先执行移动检测(步骤48)再执行人脸检测(步骤43)，或者同时执行人脸检测(步骤43)与移动检测(步骤48)。

图5显示本发明第二实施例的人体存在检测系统500的方框图。人体存在检测系统(以下简称系统)500类似于(图1之)系统100，不同之处将说明如下。

在本实施例中，系统500可包含倾斜角传感器16，例如感测相机11的角度或相机11所设的屏幕(或显示设备或模块)的角度，以感测得到相机11的倾斜角，据以产生倾斜角信息。

根据本实施例的特征之一，系统500可包含参数调整单元17，其接收倾斜角信息，据以产生修正的移动检测参数，其包含修正的移动检测窗口，并馈至移动检测器14。图6A至图6C例示撷取影像及相应的移动检测窗口61～63。图6B的相机11的倾斜角大于图6A，因此移动检测窗口62的位置低于图6A。类似的情形，图6C的相机11的倾斜角大于图6B，因此移动检测窗口63的位置低于图6B。

在一实施例中，参数调整单元17还可根据倾斜角信息以输出修正的人脸检测参数至人脸检测器13。据此，当相机11的倾斜角改变时，人脸检测器13可实时地检测人脸。

图7显示本发明第二实施例的人体存在检测方法700的流程图。图7的流程类似于图4的流程，不同之处将说明如下。

在步骤40，参数调整单元17可自倾斜角传感器16接收倾斜角信息。接着，在步骤41B，人脸检测器13与移动检测器14根据倾斜角信息，使用人脸检测与移动检测参数(其包含移动检测窗口)进行初始化。其中，根据移动检测参数，移动检测窗口可设于相机1的视场的一端(例如上端)。

在步骤52，融合单元15输出被动的人体存在信号HP(HP＝0)，接着流程进入步骤71，根据倾斜角传感器16所感测的更新倾斜角，以接收更新倾斜角信息。在步骤72，确定更新倾斜角与前一倾斜角的差值是否大于预设临界值。如果步骤72的结果为肯定，则流程进入步骤41C，根据更新倾斜角信息以修正(或修正)人脸检测参数与移动检测参数(其包含修正的移动检测窗口)。如果步骤72的结果为否定，则流程进入步骤42，撷取下一影像。在另一实施例中，可周期地执行步骤71～72，而非依据步骤52。

图8A例示本发明第三实施例的相机11的视场的移动检测窗口81的示意图。根据本实施例的特征之一，移动检测窗口81可包含多个次窗口811，(移动检测器14)据以输出移动检测信号MD。

图8B显示使用图8A的次窗口811的第一个例子。当检测到移动的次窗口(斜线区域)811的数目等于或大于预定值(在这个例子中为3)，则移动检测信号MD变为主动(MD＝1)，否则移动检测信号MD变为被动(MD＝0)。

图8C显示使用图8A的次窗口811的第二个例子。当检测到移动的相邻次窗口(斜线区域)811的尺寸等于或大于预设尺寸(在这个例子中为2×2)，则移动检测信号MD变为主动(MD＝1)，否则移动检测信号MD变为被动(MD＝0)。

图9显示本发明第四实施例的(相机11所撷取的)连续图框(或影像)91A～91C与移动检测窗口81(及其次窗口811)的示意图。根据本实施例的特征之一，根据对象92的移动图样(例如移动轨迹)，移动检测器14可据以输出移动检测信号MD。

对于每一对连续图框，决定移动中次窗口(斜线区域)811。如图9所例示，决定图框91A与图框91B之间的移动中次窗口(斜线区域)811，且决定图框91B与图框91C之间的移动中次窗口(斜线区域)811。接着，对于每一对连续图框，决定移动中次窗口(斜线区域)811的中心93A/93B。如图9所例示，决定图框91A与图框91B的移动中次窗口的中心93A，且决定图框91B与图框91C的移动中次窗口的中心93B。最后，根据中心93A与93B以决定移动轨迹94。如图9所例示，移动轨迹94表示对象92向右移动。当移动轨迹94符合预设方向与大小，则移动检测信号MD变为主动(MD＝1)，否则移动检测信号MD变为被动(MD＝0)。

以上所述仅为本发明的较佳实施例而已，并非用以限定本发明的权利要求；凡其它未脱离发明所公开的精神下所完成的等效改变或修饰，均应包含在下述权利要求内。

Claims

1.一种存在检测系统，包含：

相机，用于撷取影像；

基于外观检测器，用于根据所述影像以检测对象的外观，从而输出外观检测信号，当检测到所述外观时，所述外观检测信号变为主动；

邻近检测器，用于检测所述影像的预定检测窗口内所述对象的移动，从而输出邻近检测信号，当检测到所述移动时，所述邻近检测信号变为主动；及

融合单元，用于接收所述外观检测信号与所述邻近检测信号，据以输出对象存在信号，当所述外观检测信号或所述邻近检测信号为主动时，所述对象存在信号变为主动；

其中所述相机倾斜一倾斜角，其介于所述相机的光轴与平行于地的水平线之间，且所述检测窗口位于所述相机的视场的一端。

2.根据权利要求1的存在检测系统，其中所述基于外观检测器包含人脸检测器，用于检测人脸，从而输出人脸检测信号，当检测到所述人脸时，所述人脸检测信号变为主动。

3.根据权利要求1的存在检测系统，还包含正面人脸检测器、正面人体检测器或正面上半人体检测器。

4.根据权利要求1的存在检测系统，其中所述邻近检测器包含移动检测器，用于检测所述相机所撷取的当前影像与前一影像在所述检测窗口当中的时间上变化，从而输出移动检测信号，当所述时间上变化大于一预设临界值时，所述移动检测信号变为主动。

5.根据权利要求1的存在检测系统，其中所述检测窗口包含多个次窗口，且当检测到移动的邻近的次窗口的数目等于或大于一预定值，则所述邻近检测信号变为主动。

6.根据权利要求1的存在检测系统，其中所述检测窗口包含多个次窗口，且当检测到移动的邻近的相邻次窗口的尺寸等于或大于一预设尺寸，则所述邻近检测信号变为主动。

7.根据权利要求1的存在检测系统，其中所述检测窗口包含多个次窗口，当移动中次窗口的轨迹符合一预定方向与大小时，所述邻近检测信号变为主动。

8.根据权利要求1的存在检测系统，还包含：

倾斜角传感器，用于感测所述相机的倾斜角，据以产生倾斜角信息；及

参数调整单元，用于接收所述倾斜角信息，据以产生修正的邻近检测参数，其包含修正的检测窗口，并馈至所述邻近检测器。

9.根据权利要求8的存在检测系统，其中所述参数调整单元根据所述倾斜角信息以输出修正的外观检测参数至所述基于外观检测器。

10.根据权利要求9的存在检测系统，其中当更新倾斜角与前一倾斜角的差值大于一预设临界值时，则产生所述修正的邻近检测参数、所述修正的外观检测参数及所述修正的检测窗口。