CN104349136B - 三维侦测装置侦测影像的方法 - Google Patents

Abstract

本发明公开了一种三维侦测装置侦测影像的方法，所述方法包括根据两组影像数据产生深度图、辨识所述深度图中的至少一对象，将所述至少一对象投射到俯视图上、于所述俯视图上追踪所述至少一对象、及提出对于越线时间和侵入程度的强健算法，当所述至少一对象超越预定界线时，侦测所述至少一对象是否侵入预定区块。

Description

三维侦测装置侦测影像的方法

技术领域

本发明涉及一种三维侦测装置侦测影像的方法，特别是涉及一种用以取得对象的视差值以计算对象的深度值的侦测影像的方法。

背景技术

影像监控系统目前已被广泛使用于大厦安全管理以及卖场安全管理或各式各样的观测用途，透过影像监控系统可以达到以少数人力监控复数区域的目的。然而，若影像监控系统仅使用单摄影机进行二维(two dimensional,2D)影像侦测，易受到光影变化以及对象遮蔽而造成视觉误差，即人物可能实际上并无触碰到侦测区域，但摄影机的画面上看起来却是有碰到的。

请参考图1，图1为习知技术影像监控系统所拍摄的画面100的示意图。在画面100中，人物50系俯身接近区域A1中的物品，实际上并无触碰到区域A2，但由于画面100只能呈现2D信息，因而可能导致影像监控系统误判人物50系已触碰区域A2，降低影像监控系统在状态侦测上的准确性。

发明内容

本发明的一实施例提供一种三维侦测装置影像侦测的方法。所述方法包括根据两组影像数据产生一深度图、辨识所述深度图中的至少一对象，及将所述至少一对象投射到一俯视图上；于所述俯视图上追踪所述至少一对象；及当所述至少一对象超越一预定界线时，侦测所述至少一对象是否侵入一预定区块。

本发明的另一实施例提供一种三维侦测装置侦测影像的方法，包括：根据两组影像数据产生一深度图；辨识所述深度图中的至少一对象；将所述至少一对象投射到一俯视图上，其中所述俯视图上具有三维的一兴趣区域，所述兴趣区域的底部系由所述俯视图的复数条预定界线与周遭地形限制所造成的边界线所定义，所述兴趣区域包含有第一复数个互相不重迭且底部尺寸与所述封闭区域相同的高度侦测区域，且所述第一复数个高度侦测区域加总的一高度系等于所述兴趣区域在所述俯视图中的高度；于所述俯视图上追踪所述至少一对象，以确认所述至少一对象在所述俯视图中的高度；及当所述至少一对象超越所述复数个预定界线中至少一预定界线时，个别独立将所述第一复数个高度侦测区域中第二复数个高度侦测区域所涵盖的高度范围与所述至少一对象在所述俯视图中的高度进行比对，并根据比对结果确认所述至少一对象是否侵入所述第二复数个高度侦测区域中的至少一高度侦测区域。

透过本发明，可正确得知对象在空间中的位置以及高度，改善了现有技术中透过单一摄影机进行侦测，易受光影变化以及视线遮蔽而影响其侦测结果的准确度。

附图说明

图1是依据现有技术说明影像监控系统所拍摄的画面的示意图。

图2是本发明用来侦测对象深度所使用的侦测装置中摄影机的布置方式示意图。

图3是根据本发明的实施例所揭露侦测装置侦测对象影像的流程图。

图4为3D侦测装置透过图3的方法产生的深度图。

图5为3D侦测装置透过图3的方法产生的俯视图。

图6为根据本发明的实施例所揭露3D侦测装置计算侵入空间次数的流程图。

图7为设置有本发明3D侦测装置的兴趣空间的示意图。

图8为根据本发明的实施例所揭露3D侦测装置侦测侵入空间的示意图。

图9为以图7所示的兴趣空间为基础来说明本发明的实施例中分区定出高度范围来个别独立进行精确侵入侦测的简略示意图。

其中，附图标记说明如下：

100 画面

50 人物

A1、A2 区域

210、220 摄影机

250 对象

C1、C2 投影中心

C3 垂直投影位置

E1、E2 成像面

L3 直线路径

B 长度

Z 深度

320 三角形区域

P1、P2 成像点

F、B1、B2、dx_l、dx_r 距离

V1 光轴

Z3 深度坐标

X3 横轴坐标

Y3 纵轴坐标

302、304、306、602至626 步骤

400 深度图

500 俯视图

700 兴趣空间

710 兴趣面

800 置物架

810、820、830 区域

850 使用者

852 手部

860 置物板

Q1、Q2、Q3、Q4 顶点

L1、L4 侦测线

H1、H2、H3 高度侦测区域

具体实施方式

在说明书及权利要求中使用了某些词汇来指称特定的组件。所属领域中具有通常知识者应可理解，制造商可能会用不同的名词来称呼同样的组件。本说明书及权利要求中并不以名称的差异来作为区别组件的方式，而是以组件在功能上的差异来作为区别的基准。在通篇说明书及权利要求中所提及的「包括」系为开放式的用语，故应解释成「包括但不限定于」。下文依本发明特举实施例配合所附图式作详细说明，但所提供的实施例并非用以限制本发明所涵盖的范围，而方法流程步骤编号更非用以限制其执行先后次序，任何由方法步骤重新组合的执行流程，所产生具有均等功效的方法，皆为本发明所涵盖的范围。

请参考图2，图2为根据本发明的一实施例所揭露的一3D侦测装置中包含的摄影机的布置方式示意图。如图2所示，3D侦测装置所包括的一摄影机210及一摄影机220用以对一对象250进行侦测，且摄影机210及摄影机220可分别是一左侧摄影机及一右侧摄影机。摄影机210包括一投影中心(center of projection或称光学中心(optical center))C1及一成像面E1，摄影机220包括一投影中心(或称光学中心)C2及一成像面E2，成像面E1、E2平行于投影中心C1及C2所构成的一直线路径L3，直线路径L3的长度为B。对象250与直线路径L3之间的距离即为对象250的一深度D，且投影中心C1、C2及对象250可构成一三角形区域230。对象250对直线路径L3的垂直投影位置C3(也就是第2图中直线路径L3对对象250所产生的法线的起点)并未被限定为投影中心C1与C2之间的中点；假设垂直投影位置C3与投影中心C1之间的距离是B1，且垂直投影位置C3与投影中心C2之间的距离是B2，则距离B1不一定等于B2。投影中心C1与对象250构成的直线路径L1与成像面E1交于成像点P1，且投影中心C2与对象250构成的直线路径L2与成像面E2交于成像点P2，成像面E1、E2与直线路径L3之间的距离皆为f。左边摄影机210的光轴(optical axis)V1与成像点P1之间的距离假设为dx_l，且右边摄影机220的光轴V2与成像点P2之间的距离假设为dx_r，则可先行得到以下二关系式：

根据方程式(1)与方程式(2)，可以得到对象250的深度D为：

由图2及上述的方程式(3)可知，由于对象250的深度D可被计算出来，因此可避免现有技术中影像监控系统只能获得2D信息而造成对对象位置的误判。此外，即使对象250处于移动状态，本发明的3D侦测装置也可使用摄影机210与220持续地对对象250进行侦测，使得本发明的3D侦测装置所包括的一处理器可根据摄影机210与220拍摄得到的信息计算出对象250在三维空间的移动信息(或可简称3D信息)。

请参考图3至图5，图3为根据本发明的一实施例所揭露3D侦测装置侦测对象250影像的流程图，图4为本发明的3D侦测装置透过图3的方法产生的深度图400，图5为本发明的3D侦测装置透过图3的方法产生的俯视图500。图3的流程图包括步骤如下：

步骤302：根据摄影机210及摄影机220对对象B2分别撷取的两组影像数据产生深度图400；

步骤304：辨识深度图400中的对象B2；

步骤306：将对象B2投射到俯视图500上。

在步骤302至306中，对象B2可例如是人体，如图4所示，但亦可以是其它物体，且本发明并不局限一次只能侦测一对象，也就是说本发明的3D侦测装置亦可同时侦测多个对象。深度图400包含对象B2的多点深度信息，例如三维坐标值。在得知对象B2的多点深度信息后，可据以产生俯视图500。在图5的俯视图500中，对象B2的外围轮廓是根据深度图400的多点深度信息产生。通过产生俯视图500，对象B2在平面上的位置信息可被清楚呈现，便于本发明的3D侦测装置的用户立即掌握对象B2的平面信息。此外，俯视图500中对象B2的轮廓不限于是对象B2的顶部的轮廓，而可以是对象B2上任何高度的部位所围出的轮廓。

请参考图6，图6为根据本发明的一实施例所揭露3D侦测装置计算侵入空间次数的流程图。图6的流程图包括步骤如下：

步骤602：使用摄影机210、220撷取两原始影像；

步骤604：根据事先得到的校正数据，将两原始影像转换产生两校正后影像；

步骤606：对两校正后的影像进行锐利化以产生两锐利化后影像；

步骤608：产生两锐利化后影像的两色差地图；

步骤610：根据两锐利化后影像及两色差地图产生深度图；

步骤612：辨识深度图中的至少一对象；

步骤614：将所述至少一对象投射到俯视图上；

步骤616：滤除俯视图上的噪声以找出所述至少一对象；

步骤618：侦测所述至少一对象的数目是否大于一；若是，执行步骤620；若否，跳至步骤622；

步骤620：分离复数个对象；

步骤622：于所述俯视图上追踪所述至少一对象；

步骤624：当有一对象超越一预定界线时，侦测所述对象是否侵入一预定区块；

步骤626：结束。

步骤604至608为影像前处理步骤，用以对影像作优化调整，例如影像的亮度调整，以及滤除影像的噪声等步骤。步骤604所述的校正数据可藉由使本发明的3D侦测装置包括的两摄影机对一参考对象事先进行角度、焦距、成像中心的校正来完成。之后步骤610根据步骤606得到的两锐利化影像与步骤608得到的两色差地图便可据以进行第一实施例所述的步骤而计算出深度图，其中色差地图是计算每个pixel与周围环境的变化量所决定，故所述色差地图在所述变化量越大时则其值越大(例如充满花纹的衬衫)，且在所述变化量越小时其值越小(例如纯白的墙壁)。对深度图执行第二实施例所述的步骤，即可透过步骤612、614将一或多个对象投射到俯视图上；更精确来说，第二实施例的步骤会先建立深度的背景图(也就是深度图)，再透过深度图找出对象，使得有对象进入预定区块时，对象在深度图中存在的位置深度会改变而被找出，并进而被投影到俯视图上。

请参考图7，图7为设置有本发明3D侦测装置的兴趣空间700的示意图，其中兴趣空间700由多个兴趣面710所构成，且兴趣面710的大小及位置可视实际需求来定义。步骤618至624可用以在侦测对象在兴趣空间700的状态变化。在步骤618至622中，可对侦测到的所有对象加以判断以进行追踪。步骤624可根据对象是否超越一预定界线，来判断对象是否侵入一预定区块，例如在兴趣空间700中的对象是否跨越兴趣面710而侵犯到兴趣空间700以外的空间。另外，图7所示兴趣面710的底部可由复数条预定界线以及周围地形限制所造成的边界线所定义；本发明的3D侦测装置只需要侦测上述预定界线，便可判断对象是否超越上述预定界线。

此外，在步骤624中，对象是否侵入预定区块可根据对象超越预定界线的程度来判断，例如根据对象超越预定界线的距离、对象超越预定界线的时间长度及/或对象超越预定界线后的高度信息，来判断对象是否侵入预定区块。在侦测对象是否有碰触或侵入侦测区域空间时，可事先定义碰触或侵入到怎样的程度多少才能计算为一次事件(event)，可透过设定临界值(threshold)来定义。若一对象部份超越预定界线，而剩余部份未超越预定界线，也可根据所述对象超越预定界线的部份在整体对象所占的比例来判断对象是否侵入预定区块。在本发明的一实施例中，每个兴趣面亦可事先设定欲侦测的高度(可设定多个高度)，若一对象完全(或部份)超越所述预定界线，则可根据对象高度信息来判断所述对象是否侵入所述预定空间。另外，所述实施例的步骤也可用来侦测对象是否离开了所述预定空间，例如当对象原先超越所述预定界线后，可根据所述对象高度信息来判断所述对象是否也出现由侵入转为未侵入所述预定空间的状况，来判定所述对象是否离开了所述预定空间。

在本发明的一实施例中，对于对象可能会同时碰触或侵入两个以上不同侦测高度的情形，主要是判断对象越界部份的高度信息大多数是落在哪个高度范围，且落入某高度范围数量与对象越界部份的比例需高过一阈值(所述阈值可对应不同的需要而被设定)，作为触发其中一个侦测高度的依据。在本发明的另一实施例中，例如当人物在卖场里，可能同时触碰同一侦测面却位于不同高度区域的商品时，亦可依照对象越界部份的高度信息落在不同高度区域的数量与越界部份的比例是否有高过所述阈值，作为判断是否要同时触发不同高度区域的依据。

请参考图8，图8为根据本发明的一实施例所揭露3D侦测装置侦测侵入空间的示意图。在图8中，置物架800包括多个置物板860，并事先设定欲侦测的高度，形成区域810、820、830，而使用者850将以其手部852拿取置物架800上的物品，透过前述实施例步骤610至614，可据以计算出对应使用者850不同高度的深度信息，因此可准确判断出使用者850手部852的高度，而得知区域810、820、830中哪一区域受到侵入。

在本发明的一实施例中，图8所示针对多个已知高度的置物板860的侵入侦测方式还可以分区定出高度范围的方式进行与应用。请参阅图9，其为以图7所示的兴趣空间700为基础来说明本发明的一实施例中分区定出高度范围来进行精确侵入侦测的简略示意图。如图9所示，若以定义出兴趣空间700的其中一个兴趣面710在地面上的侦测线L1(顶点Q1与Q2之间的直线)视之，本发明的3D侦测装置会根据图2所示的方式，计算出侦测线L1垂直朝上的法向量，例如图9所示的法向量线L2(顶点Q2与Q3之间的直线)以及法向量线L3(顶点Q1与Q3之间的直线)，其中顶点Q3与Q4位于同一高度，且顶点Q3与Q4所在的高度可为本发明的3D侦测装置自己设定的侦测上限高度或其本身规格的侦测上限高度。如此一来，顶点Q1、Q2、Q3、Q4间即形成了一个由兴趣面710代表的侦测面(亦即侦测线L1、L4与法向量线L2、L3四条线围成的平面，其中侦测线L4为顶点Q3、Q4间的直线)。

在图9所示的实施例中，本发明的3D侦测装置可更进一步的将所述侦测面根据高度区域的不同来进行切割，例如分成如图9所示的三个由低至高的高度侦测区域H1、H2、H3，其中高度侦测区域H1的下界代表了3D侦测装置200在所述侦测面的最低侦测高度，而高度侦测区域H3的上界代表了3D侦测装置200在所述侦测面的最高侦测高度。请注意，在本发明的其他实施例中，高度侦测区域H1、H2、H3在各自占据的高度范围上的设定可由本发明的3D侦测装置本身以一默认设定进行或由使用者输入，且高度侦测区域的数量也不受图9所示数量的限制。

另外，本发明的3D侦测装置亦可在图9的实施例中独立处理并侦测所述些高度侦测区域各自是否被侵入的事件与侵入方向、甚至是对象离开所述些高度侦测区域的事件与离开方向。高度侦测区域H1、H2、H3是可以由本发明的3D侦测装置来各自独立运作以确认对象的高度信息的。因此，图9的实施例也可适用上述对象可能会同时碰触或侵入两个以上不同侦测高度的情形，以判断对象越界部份的高度信息大多数是落在哪个高度范围，以作为触发其中一个侦测高度的依据。以独立处理并侦测所述些高度侦测区域中上述对象离开所述些高度侦测区域的事件与离开方向的状况。举例来说，当一对象以同时侵入高度侦测区域H2与H3的方式并以对应于所述侦测面的一入射角(可至少包含所述侦测面的水平入射角、所述侦测面的垂直入射角、或上述两者的加总对应于所述侦测面的入射角方向)的方向侵入了所述侦测面(例如当所述对象的大小足以同时跨越高度侦测区域H2与H3时)，则3D侦测装置200会侦测到高度侦测区域H2以所述入射角的方向被所述对象侵入的事件，并另外独立侦测到高度侦测区域H3以所述入射角的方向被所述对象侵入的事件。

同理，本发明的3D侦测装置亦可在图9的实施例中针对所述些高度侦测区域独立侦测已侵入的对象离开原先所在的高度侦测区域的事件与离开方向。举例来说，当原先已入侵高度侦测区域H2与H3的所述对象以同时离开高度侦测区域H2与H3的方式并以对应于所述侦测面的一出射角(可至少包含所述侦测面的水平出射角、所述侦测面的垂直出射角、或上述两者的加总对应于所述侦测面的出射角方向)的方向离开了所述侦测面，则本发明的3D侦测装置会侦测到所述对象以所述出射角的方向离开高度侦测区域H2的事件，并另外独立侦测所述对象以所述出射角的方向离开高度侦测区域H3的事件。

在本发明的一实施例中，本发明的3D侦测装置可以根据默认设定或使用者输入设定来确认开启高度侦测区域H1、H2、H3中的哪些高度侦测区域的侦测机制，而不需随时开启每一高度侦测区域的侦测机制。

当有对象穿越所述侦测面时，如以上各图的实施例所述，本发明的3D侦测装置可以根据图2所示的方法算出所述对象的3D信息，并根据所述对象的3D信息来侦测并确认所述对象穿越了所述侦测面的事件。更进一步地，在所述事件中，由于3D侦测装置200掌握了所述对象的3D信息，因此也同样的可以将所述对象的3D信息与高度侦测区域H1、H2、H3各自独立进行比对，以确认所述对象是否侵入了高度侦测区域H1、H2、H3，或是确认所述对象是以哪个方向侵入了高度侦测区域H1、H2、H3中的哪些高度侦测区域。请注意，此处所述的认所述对象穿越了所述侦测面的事件包括了有效侵入事件与非有效侵入事件。

上述实施例中提及根据对象超越预定界线的距离、对象超越预定界线的时间长度及/或对象超越预定界线后的高度信息，来判断对象是否侵入预定区块。同理，在本发明的3D侦测装置独立运作各高度侦测区域的侦测机制的情况下，本发明的3D侦测装置也可以根据上述的方法，以所述对象越界部分的高度信息落在各高度侦测区域的时间、数量、与比例，作为判断所述对象侵入了哪些高度侦测区域的依据。

更具体的说，本发明的3D侦测装置除了可设定各高度侦测区域中哪些高度侦测区域需要执行对象侦测、哪些高度侦测区域不需要执行对象侦测以外，还可以设定各高度侦测区域各自的一侵入对象数量阈值、一越界比例阈值、及/或一越界时间阈值，以作为判定对象是否对各高度侦测区域产生有效侵入事件的依据。当有对象穿越所述侦测面时，本发明的3D侦测装置可将所述对象在兴趣区域700中的高度与目前被启动侦测机制的各高度侦测区域进行比对；当比对结果显示所述对象侵入于这些目前被启动侦测机制的高度侦测区域中至少一个高度侦测区域时，可标示出所述对象的一侵入事件(可为有效侵入事件或非有效侵入事件)。接着需要判断所述对象的侵入事件是否为有效侵入事件，判断的标准可至少包含上述的侵入对象数量阈值、越界比例阈值、及/或越界时间阈值。举例来说，本发明的3D侦测装置会更进一步独立侦测所述些目前被开启侦测机制的高度侦测区域，以确认所述对象在所述些目前被开启侦测机制的高度侦测区域中个别的一侵入对象数量(所述对象可代表二个以上的子对象)、一越界比例、及/或一越界时间；当本发明的3D侦测装置确认所述对象在所述些目前被开启侦测机制的高度侦测区域中的侵入对象数量大于所述侵入对象数量阈值、越界比例高于所述越界比例阈值、及/或越界时间高于所述越界时间阈值时(也就是这三种条件的至少一种或任意组合成立时)，本发明的3D侦测装置可判断所述对象的侵入事件为有效侵入事件，否则可判断为非有效侵入事件。通过前述的判断是否为有效侵入事件的机制，本发明的3D侦测装置可达成较佳的侦测精准度，以滤除部分并非有意侵入兴趣区域700中不同高度侦测区域的事件。

由于透过图2-5所揭露的技术特征，可计算出对应于对象的深度及高度信息，再加上透过图6-9所揭露的技术特征，可计算出用户所定义的侦测区域空间被碰触、遭到侵入的次数、高度或方向等信息，因此，通过本发明，可正确得知对象在空间中的位置以及高度，改善了现有技术中透过单一摄影机进行侦测，易受光影变化以及视线遮蔽而影响其侦测结果的准确度。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种三维侦测装置侦测影像的方法，其特征在于，包括：

根据两位置不同的摄影机针对相同对象产生的两组影像数据产生一深度图；

辨识所述深度图中的至少一对象；

将所述至少一对象投射到一俯视图上，其中所述俯视图上具有三维的一兴趣区域，所述兴趣区域的底部由所述俯视图的复数条预定界线与周遭地形限制所造成的边界线所定义，所述兴趣区域包含有第一复数个互相不重迭且底部尺寸与一封闭区域相同的高度侦测区域，且所述第一复数个高度侦测区域对应的一高度加总等于所述兴趣区域在所述俯视图中的高度；

于所述俯视图上追踪所述至少一对象，以确认所述至少一对象在所述俯视图中的高度；以及

当所述至少一对象超越所述复数个预定界线中至少一预定界线时，将所述第一复数个高度侦测区域中第二复数个高度侦测区域中的每一个第二高度侦测区域所涵盖的高度范围与所述至少一对象在所述俯视图中的高度进行比对，并根据比对结果确认所述至少一对象是否侵入所述第二复数个高度侦测区域中的至少一高度侦测区域。

2.如权利要求1所述的侦测影像的方法，其特征在于，还包括：

对所述第一复数个高度侦测区域中的每一个第一高度侦测区域设定是否对所述对象进行侦测，且所述第二复数个高度侦测区域为被设定可对所述对象进行侦测。

3.如权利要求1所述的侦测影像的方法，其特征在于，还包括：

对所述第一复数个高度侦测区域中的每一个第一高度侦测区域设定一侵入对象数量阈值、一越界比例阈值、一越界时间阈值及/或一高度侦测范围。

4.如权利要求3所述的侦测影像的方法，其特征在于，还包括：

在根据所述比对结果确认所述至少一对象侵入所述第二复数个高度侦测区域中的至少一高度侦测区域后，侦测所述至少一高度侦测区域来确认所述至少一对象在所述至少一高度侦测区域中的每一个高度侦测区域的一侵入对象数量、一侵入方向、一越界比例及/或一越界时间。

5.如权利要求4所述的侦测影像的方法，其特征在于，还包括：

分别比较所述至少一对象在所述至少一高度侦测区域中的所述每一个高度侦测区域的所述越界比例与所述至少一高度侦测区域的所述越界比例阈值；以及

当确认所述至少一对象在所述至少一高度侦测区域的一第一高度侦测区域中的一越界比例高于所述第一高度侦测区域的一越界比例阈值时，判断所述至少一对象在所述第一高度侦测区域中为有效越界。

6.如权利要求4所述的侦测影像的方法，其特征在于，还包括：

分别比较所述至少一对象在所述至少一高度侦测区域中的所述每一个高度侦测区域的所述越界时间与所述越界时间阈值；以及

当确认所述至少一对象在所述至少一高度侦测区域的一第二高度侦测区域中的一越界时间高于所述第二高度侦测区域的一越界时间阈值时，判断所述至少一对象在所述第二高度侦测区域中为有效越界。

7.如权利要求4所述的侦测影像的方法，其特征在于，还包括：

分别比较所述至少一对象在所述至少一高度侦测区域中的所述每一个高度侦测区域的所述侵入对象数量与所述侵入对象数量阈值；以及

当确认所述至少一对象在所述至少一高度侦测区域的一第三高度侦测区域中的一侵入对象数量高于所述第三高度侦测区域的一侵入对象数量阈值时，判断所述至少一对象在所述第三高度侦测区域中为有效越界。

8.如权利要求4所述的侦测影像的方法，其特征在于，还包括：

在根据所述比对结果确认所述至少一对象侵入所述复数个第二高度侦测区域中的至少一高度侦测区域后，独立侦测所述至少一高度侦测区域来确认所述至少一对象在所述至少一高度侦测区域中每一个对象的一离开方向。