CN105674878A - 在透视图上显示热图的装置和方法 - Google Patents

Abstract

提供一种在透视图上显示热图的装置和方法。一种用于在透视图上显示热图的设备包括：目标检测器，被配置为通过至少一个相机检测目标；水平距离计算器，被配置为计算检测的目标和所述至少一个相机之间的水平距离；目标显示器，被配置为基于计算的水平距离在透视图上显示检测的目标；热图显示器，被配置为根据显示在透视图上的目标的跟踪密度显示热图。

Description

在透视图上显示热图的装置和方法

本申请要求于2014年12月5日提交到韩国知识产权局的第10-2014-0174257号韩国专利申请的优先权，该申请的全部公开通过引用包含于此。

技术领域

与示例性实施例一致的设备和方法涉及在透视图上显示热图。

背景技术

监控系统中相机的主机装置需要获取并显示相机和目标之间的距离。例如，如果包括在监控系统中的相机互相协作工作以跟踪目标(诸如，车辆)，则监控系统可能需要显示目标与当前正在拍摄目标的图像的相机之间的距离。

发明内容

一个或者更多个示例性实施例提供这样一种方法：校正可能发生在由监控相机拍摄的图像中的失真，在透视图上显示经过校正图像的失真而获得的图像，并且通过使用关于显示的图像的信息提供正确的热图(heatmap)。

将在接下来的描述中部分阐述各个方面，部分通过描述将是清楚的，或者可通过提供的实施例的实施而得知。

根据一个或者更多个示例性实施例，提供一种用于在透视图上显示热图的设备，该设备可包括：目标检测器，被配置为通过至少一个相机检测目标；水平距离计算器，被配置为计算检测的目标与所述至少一个相机之间的水平距离；目标显示器，被配置为基于计算的水平距离在透视图上显示检测的目标；热图显示器，被配置为根据显示在透视图上的目标的跟踪密度显示热图。

根据一个或者更多个示例性实施例，用于在透视图上显示热图的设备还可包括：跟踪器，被配置为跟踪由所述至少一个相机检测的检测的目标的眼睛或者手；透视图产生器，被配置为基于由所述至少一个相机拍摄的图像来生成透视图。这里，热图显示器还可被配置为：在透视图上显示对检测的目标执行眼睛跟踪或手跟踪的路径，或者根据通过执行眼睛跟踪或手跟踪而获得的检测的目标的跟踪密度在透视图上显示热图。

根据一个或更多个示例性实施例，提供一种在透视图上显示热图的方法，该方法可包括：通过至少一个相机检测目标；计算检测的目标与所述至少一个相机之间的水平距离；基于计算的水平距离在透视图上显示检测的目标；根据在透视图上显示的目标的跟踪密度显示热图。

根据一个或更多个示例性实施例，在透视图上显示热图的方法还可包括：跟踪通过所述至少一个相机检测的检测的目标的眼睛或手；基于由所述至少一个相机拍摄的图像生成透视图；在透视图上显示对检测的目标执行眼睛跟踪或手跟踪的路径，或者根据通过执行眼睛跟踪或手跟踪而获得的检测的目标的跟踪密度在透视图上显示热图。

附图说明

通过下面结合附图对实施例进行的描述，这些和/或其它方面将会变得清楚并更易于理解，其中：

图1示出根据示例性实施例的使用由终端执行的用于在透视图上显示热图的方法的系统的示例；

图2示出根据示例性实施例的用于在示出特定区域的透视图上显示热图的装置的内部框图；

图3示出根据示例性实施例的校正由相机拍摄的目标的失真并参照水平距离在透视图上显示校正后的目标的示例；

图4和图5示出根据示例性实施例的计算相机与目标之间的水平距离；图4示出当光学系统的光轴平行于地表面时的情况；图5示出当光学系统的光轴不平行于地表面时的情况；

图6和图7示出根据示例性实施例的由终端执行的在透视图上显示热图的示例；

图8和图9示出根据示例性实施例的由终端执行的在透视图上显示热图的方法的流程图。

具体实施方式

现在，将详细描述实施例，这些实施例的示例在附图中示出，其中，相同的参考标号始终表示相同的元件。就这一点而言，本实施例可具有不同的形式，并且不应该被解释为受限于在此阐述的描述。因此，以下仅通过参照附图描述示例性实施例，以解释本发明构思的各个方面。当诸如“中的至少一个”的表述在一列元素之后时，所述表述修饰整列元素，而不是修饰列的单个元素。

为了更好地理解本发明构思提供以下的描述和附图。在以下的描述中，如果确定由于不必要的细节，公知的功能或者结构将使得本发明构思不清楚，则不对这些公知的功能或者结构进行详细描述。

以下的描述和示图不是为了限制本发明构思的范围，并且本发明构思的范围应该通过所附的权利要求被限定。以下描述中使用的术语仅用来描述本发明构思的具体的示例性实施例，而不是为了限制本发明构思。

在下文，将参照附图详细描述本发明构思的示例性实施例。

图1示出根据示例性实施例的用于在透视图上显示热图的系统的示例。

参照图1，用于在透视图上显示热图的系统包括：多个相机101、111、121和与这些相机连接的终端13。相机101、111和121可与终端13进行通信以相互交换通信信号Sco。此外，相机101、111和121可以以有线或无线通信的形式来相互交换信息。

相机101、111和121可分别将视频信号Svid(每个视频信号Svid可以是从视频的实时取景(liveview)模式提取的信号)发送到终端13。此外，相机101、111和121可被配置为通过相互交换视频信号Svid产生透视图。

由终端13接收的视频信号Svid可显示在显示设备上并存储在记录介质(例如，硬盘驱动器)中。此外，终端13可从用户接收控制信号的输入，从而进行相机101、111和121的平移、倾斜和变焦(PTZ)操作。

图2是根据示例性实施例的用于在特定区域的透视图上显示热图的装置200的内部框图。参照图3，描述了用于在透视图上显示热图的装置200的配置。图3示出根据示例性实施例的校正由每个相机拍摄的目标的失真(distortion)并参照目标与每个相机之间的水平距离在透视图上显示校正后的目标的示例。

由图3示出的相机310至340分别检测的目标的尺寸可根据目标与相机310至340之间的距离或角度而失真。作为示例，当由相机310至340对目标301进行拍摄时，在由靠近目标301放置的相机310拍摄的图像中，目标301会显得大，然而在由远离目标301放置的相机340拍摄的图像中，目标301会显得小。

根据一个示例性实施例，用于在透视图上显示热图的装置200通过使用目标与每个相机之间的水平距离来调整由相机310至340检测的目标的尺寸，并在透视图上显示具有调整后的尺寸的目标。例如，参照下面描述的等式2，y表示目标的垂直长度，y可以是预定值，如果目标是人，则y可表示人的平均身高(诸如，女人的平均身高可以是157cm，男人的平均身高可以是171cm)，f表示焦距，可通过改变相机与目标之间的水平距离z，来调整图像中目标的尺寸yi。通过执行这样的处理，在通过使用相机310至340对目标进行检测时可能发生的失真可被校正。根据一个示例性实施例，用于在透视图上显示热图的装置200可校正在使用图3示出的相机310至340分别对目标进行检测时可能发生的失真，然后在透视图上显示每个目标，并且根据每个目标的跟踪密度或者根据对每个目标执行眼睛跟踪或手跟踪的结果提供热图。

根据一个示例性实施例，用于在透视图上显示热图的装置200包括目标检测器210、水平距离计算器220、目标显示器230和热图显示器240。

根据一个示例性实施例，特定区域的透视图300可已经存在，或者可通过校正由图3示出的相机310到340拍摄的图像的失真并与图3示出的相机310到340交换关于拍摄的图像的信息而生成透视图。透视图可以以二维或三维的形式生成。

目标检测器210通过使用图3示出的相机310至340中的至少一个来检测目标301和302。所述相机310至340中的至少一个可被配置为：跟踪目标301和302的移动路径或者目标301和302的眼睛或手的移动。

水平距离计算器220计算由目标检测器210检测的目标的水平距离。作为示例，如果由多个相机同时检测到特定目标，则通过三角测量可确定特定目标的位置和尺寸。根据另一个示例性实施例，如果由单个相机检测特定目标，则可根据参照图4和图5描述的示例性实施例计算它们之间的水平距离。参照图4和图5对计算相机与目标之间的水平距离的方法进行描述。此外，根据一个示例性实施例，水平距离计算器220可执行计算相机与目标之间的水平距离的各种方法。

目标检测器210检测目标，目标显示器230使用由水平距离计算器210计算的水平距离将检测的目标显示在默认的透视图上或者新生成的透视图上。

根据一个示例性实施例，在不同方位的相机310至340交换关于目标的图像，这些图像基于水平距离信息被调整，使用调整后的目标的图像产生新的透视图。

参照图3，在透视图300中示出了相机310至340被安装的位置、由每个相机拍摄的区域的范围、以及根据水平距离校正了失真的目标。

此外，如果由多个相机对透视图300的特定区域进行拍摄，则目标显示器230可提供关于由多个相机拍摄的特定区域的信息。透视图300示出关于由单个相机分别拍摄的区域S310和S320的范围、由两个相机拍摄的区域S340的范围、以及由三个相机拍摄的区域S330的范围的信息。此外，可在透视图300中检测没有被任何相机拍摄的盲区区域S350。

显示透视图300的目标显示器230可被配置为支持用户接口，从而用户可选择在透视图300中示出的每个相机，或者如果相机的位置将被改变，则调整所期望拍摄的区域的范围。

热图显示器240被配置为根据透视图300示出的目标的跟踪密度显示热图。热图被配置为将各种信息输出为透视图300上的彩色图形，以显示热分布。

热图显示器240还可在透视图300上显示对目标执行眼睛跟踪或手跟踪的结果。目标的眼睛或手可被跟踪，并且它们的移动可被显示在透视图300上。

热图显示器240可通过使用通过跟踪目标的眼睛或手的移动获得的信息，来提供在目标的眼睛或手被频繁地跟踪到的位置或位置坐标处的热分布的图像。

如图4和图5所示的实施例，相机101与目标之间的水平距离z(S400)可基于相机距离地表面EP2的高度H(S410)、目标与水平线EP1之间的距离x(S420)、以及焦距f(S430)来计算。相机101距离地表面EP2的高度H可由安装相机101的用户来设置。高度H可以是光学系统201的中心(例如，镜头的中心Lc)与地表面EP2之间的长度。

图4示出当光学系统201的光轴231平行于地表面EP2时，计算水平距离z的示例。图5示出当光学系统201的光轴231不平行于地表面EP2时，计算水平距离的示例。

图4示出相机101、光学系统201、光电转换装置202、目标211、连接相机101和目标211的直线221、以及光学系统201的光轴231。此外，在图4中，α表示目标211相对于相机101的相对角，Ec表示目标211的地面着陆点，Ei表示图像的垂直长度，EP1表示水平线，EP2表示地表面，f表示焦距，H表示相机距离地表面的高度，Lc表示光学系统201的中心，Pe表示图像中目标211的位置，Sc表示传感器202的中心，y表示目标211的垂直长度，yi表示图像中目标211的垂直长度，z表示相机101与目标211之间的水平距离。这里，目标211相对于相机101的相对角可被表示为在地表面EP2与连接目标211的最底端和光学系统201的镜头的中心的虚拟线之间的角度。

图4示出当光学系统201的光轴231平行于地表面EP2时的情况。在此情况下，当相机是水平的时，传感器中心点Sc将被满足水平的水平线EP1穿过。可如下建立等式1：

[等式1]

y:yi＝z:f

因此，相机101与目标211之间的水平距离z可从以下示出的等式2获得：

[等式2]

$z=\frac{y\×f}{yi}$

图5示出当光学系统201的光轴231不平行于地表面EP2时的情况。

在图5中示出的与图4中示出的标号相同的标号指示相同的元素。在图5中，Pe表示图像中目标211的位置，Eh表示传感器水平点(当平行于地面的直线从相机的光学系统的中心点延伸时，传感器水平点Eh指延伸的线到达光电转换装置的点)，标号Et表示传感器倾斜距离(Et是传感器中心点Sc与传感器水平点Eh之间的垂直距离)，θ表示地表面EP1与相机101的光轴之间的角度，ρ表示相机101的光轴与目标211之间的角度。

相机或者终端将地表面EP1和相机101之间的地面-相机角θ与目标211和相机101之间的相机-目标角ρ之间的差设置为目标211和相机101之间的相对目标角α。相对目标角α可通过使用相机101的参数的设置值来进行计算，如下面等式3所示：

[等式3]

α＝θ-ρ

相机101或者终端将通过相机101距离地表面的高度值H除以目标211相对于相机101的相对角α的正切值tanα获得的值设置为相机101与目标211之间的水平距离值z。

相机101与目标211之间的水平距离z可通过使用下面示出的等式4得到：

[等式4]

$z=\frac{H}{tan\mathrm{\α}}$

图6和图7示出根据示例性实施例的通过终端在透视图上显示热图的示例。

图6示出根据示例性实施例的通过终端根据目标的跟踪密度在透视图上显示热图的示例性实施例。如图6呈现的，目标的密度在入口区域S610最高，然后是中心区域S620。

管理者还可参照热图在目标拥挤的入口区域S610安装相机。此外，通过使用关于目标拥挤的区域S610的信息，可在入口区域S610张贴重要的通知或者可在入口区域S610展示将要出售的产品。

图7示出根据示例性实施例的基于通过对目标执行眼睛跟踪或手跟踪得到的目标的跟踪密度，在透视图上显示热图的示例性实施例。参照图6和图7，可以理解的是：图7所示的作为眼睛跟踪或者手跟踪的结果得到的跟踪密度高的区域S710和S720与图6所示的目标的密度高的区域S610和S620不同。

管理者可使用该信息在图7示出的作为眼睛跟踪或者手跟踪的结果获得的跟踪密度高的区域S710和S720中展示目标很可能购买的产品以及促销产品。

图8示出根据示例性实施例的通过终端在透视图上显示热图的方法的流程图。

在S810，安装在特定区域的至少一个相机检测在特定区域中移动的目标。在此情况下，所述至少一个相机可对检测的目标的眼睛或者手执行跟踪。然后，在操作S820，终端通过使用从所述至少一个相机接收的关于目标的信息和关于拍摄的图像的信息来计算所述至少一个相机与检测的目标之间的水平距离。参照图4和图5描述了计算水平距离的实施例。

在操作S830，终端在图3所示的透视图300上显示检测的目标。在此情况下，检测的目标被这样显示：在由所述至少一个相机拍摄时失真的检测的目标的尺寸和位置被校正。在操作S840，终端根据目标的跟踪密度在透视图300上显示热图。

参照图8描述了连续地处理操作S830和S840。但是，应注意的是终端可被配置为：同时执行操作S830和S840，或者执行操作S830而不需要执行操作S840。

图9是根据另一个示例性实施例的通过终端在透视图上显示热图的方法的流程图。

在S910，在特定区域安装的至少一个相机检测在特定区域中移动的目标。在此情况下，在操作S920，所述至少一个相机可对检测的目标的眼睛或手执行跟踪。然后，在操作S930，终端通过使用从所述至少一个相机接收的关于目标的信息和关于拍摄的图像的信息来计算所述至少一个相机与检测的目标之间的水平距离。参照图4和图5描述了计算水平距离的实施例。

所述在特定区域安装的至少一个相机可相互交换关于拍摄的图像的信息和关于检测的目标的信息。根据一个示例性实施例，在操作S940，可通过使用安装在特定区域的至少一个相机之间交换的信息来生成透视图。参照图9描述了在操作S910至S930被执行之后执行操作S940。然而，可以在操作S910至S930被执行之前执行操作S940。可选择地，操作S940可与操作S910至S930一起被执行。

通过执行这样的处理，生成由所述至少一个相机拍摄的特定区域的透视图。然后，如果检测到在特定区域中移动的目标，则通过使用检测到的目标与所述至少一个相机之间的水平距离来显示检测到的目标。

在此情况下，在操作S950，透视图与通过使用水平距离信息调整的检测的目标的尺寸和位置一起被提供，这消除了从不同方位的相机发送的图像的失真。在操作S950，终端在透视图上显示被执行跟踪的检测的目标的眼睛或手的路径或者根据被执行跟踪的检测的目标的眼睛或手的跟踪密度显示热图。在操作S960，终端也可根据目标的跟踪密度显示热图。

以上参照图8和图9描述的处理的操作或者步骤能够被实现为计算机可读记录介质上的计算机可读代码，或者通过传输介质被传输。计算机可读记录介质是可存储其后可由计算机系统读出的数据的任意数据存储装置。计算机可读记录介质的示例包括：只读存储器(ROM)、随机存取存储器(RAM)、致密盘(CD)-ROM、数字通用盘(DVD)、磁带、软盘和光数据存储装置，但不限于此。传输介质可包括通过因特网或者各种类型的通信信道进行传输的载波。计算机可读记录介质也可分布于连接网络的计算机系统，从而计算机可读代码以分布式方式被存储和执行。

根据一个示例性实施例，如图2示出的框图所代表的组件、元件或单元中的至少一个可被实现为执行以上描述的各个功能的各种数量的硬件、软件和/或固件结构。例如，这些组件、元件或者单元中的至少一个可使用直接电路结构(例如，存储器、处理设备、逻辑单元、查表等)，所述直接电路结构可通过一个或者更多个处理器或其他控制设备的控制执行各个功能。此外，这些组件、元件或者单元中的至少一个可由包括用于执行特定的逻辑功能的一个或者更多个可执行指令的模块、程序或者代码段具体实现并且可由一个或更多个微处理器或者其他控制设备来执行。此外，这些组件、元件或者单元中的至少一个还可包括执行各个功能的处理器(例如，中央处理单元(CPU))、微处理器等。这些组件、元件或者单元中的两个或者更多个可组合在一个单独的组件、元件或单元中，所述一个单独的组件、元件或单元执行组合的两个或者更多个组件、元件或单元的所有操作或者功能。此外，这些组件、元件或单元中的至少一个的至少部分功能可由这些组件、元件或者单元的另一个被执行。此外，虽然上面的框图中没有示出总线，但是组件、元件或者单元之间的通信可通过总线来执行。以上的示例性实施例的功能性方面可被实现为在一个或更多个处理器上执行的算法。此外，框或处理步骤所表示的组件、元件或者单元可采用任何数量的用于电子配置、信号处理和/或控制、数据处理等相关领域的技术。

如上所描述的，根据以上的示例性实施例，图像可由监控相机拍摄并且在校正了图像的失真之后被显示在透视图上，从而，正确的热图可通过使用关于透视图上显示的图像的信息而被显示。

应理解，这里描述的示例性实施例应仅被认为是描述性的，而不是限制的目的。对每个实施例中的特征或方面的描述通常应被认为可用于其他实施例中的其他类似特征或方面。

尽管已经参照附图描述了一个或者更多个示例性实施例，但是本领域的普通技术人员将理解，在不脱离权利要求所限定的本发明构思的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (19)

1.一种用于在透视图上显示热图的设备，所述设备包括：

目标检测器，被配置为通过至少一个相机检测目标；

水平距离计算器，被配置为计算检测的目标与所述至少一个相机之间的水平距离；

目标显示器，被配置为基于计算的水平距离在透视图上显示检测的目标；

热图显示器，被配置为根据显示在透视图上的目标的跟踪密度显示热图。

2.如权利要1所述的设备，其中，透视图包括关于指示特定区域的图的预设信息，

其中，所述至少一个相机被安装在特定区域，并且透视图还显示所述至少一个相机的布置。

3.如权利要求2所述的设备，其中，透视图指示所述至少一个相机中的每个的拍摄范围，

其中，如果所述至少一个相机中的多个相机的拍摄区域相互重叠，则透视图指示重叠的区域，

其中，透视图指示包括在特定区域中但没有包括在所述至少一个相机的拍摄区域中的盲区。

4.如权利要求1所述的设备，其中，透视图是二维的或三维的。

5.如权利要求2所述的设备，其中，如果透视图是三维的，则基于计算的水平距离将目标的高度指示在透视图上。

6.如权利要求1所述的设备，其中，水平距离计算器被配置为：如果所述至少一个相机的光轴与地表面平行，则基于地表面上的检测的目标的高度、在由所述至少一个相机拍摄的图像中检测的目标的高度和所述至少一个相机的焦距来计算检测的目标与所述至少一个相机之间的水平距离。

7.如权利要求1所述的设备，其中，水平距离计算器被配置为：如果所述至少一个相机的光轴与地表面不平行，则基于所述至少一个相机的镜头的中心距离地表面的高度以及在地表面与连接检测的目标的最底端和所述至少一个相机的镜头的中心点的虚拟线之间的角度，来计算检测的目标与所述至少一个相机之间的水平距离。

8.如权利要求1所述的设备，还包括：

跟踪器，被配置为跟踪由所述至少一个相机检测的检测的目标的眼睛或者手；

透视图生成器，被配置为基于由所述至少一个相机拍摄的图像来生成透视图，

其中，热图显示器还被配置为在透视图上显示对检测的目标执行眼睛跟踪或手跟踪的路径，或者根据通过执行眼睛跟踪或手跟踪而获得的检测的目标的跟踪密度来显示热图。

9.如权利要求8所述的设备，其中，所述至少一个相机被配置为通过有线或者无线通信互相交换信息。

10.如权利要求8所述的设备，热图显示器还被配置为：在透视图上显示指示检测的目标的跟踪密度的热图。

11.如权利要求8所述的设备，其中，透视图指示关于所述至少一个相机的信息。

12.如权利要求11所述的设备，其中，透视图指示所述至少一个相机中的每个的拍摄范围，

其中，如果所述至少一个相机中的多个相机的拍摄区域相互重叠，则透视图指示重叠的区域。

13.一种在透视图上显示热图的方法，所述方法包括：

通过至少一个相机检测目标；

计算检测的目标与所述至少一个相机之间的水平距离；

基于计算的水平距离在透视图上显示检测的目标；

根据在透视图上显示的目标的跟踪密度显示热图。

14.如权利要求13所述的方法，其中，透视图指示安装了所述至少一个相机的特定区域，并且透视图包括关于所述至少一个相机的信息。

15.如权利要求14所述的方法，其中，透视图指示所述至少一个相机中的每个的拍摄范围，

其中，如果所述至少一个相机中的多个相机的拍摄区域相互重叠，则透视图指示重叠的区域，

其中，透视图指示包括在特定区域中但没有包括在所述至少一个相机的拍摄区域中的盲区。

16.如权利要求13所述的方法还包括：

跟踪通过所述至少一个相机检测的检测的目标的眼睛或手；

基于由所述至少一个相机拍摄的图像生成透视图；

在透视图上显示对检测的目标执行眼睛跟踪或手跟踪的路径，或者根据通过执行眼睛跟踪或手跟踪而获得的检测的目标的跟踪密度来显示热图。

17.如权利要求16所述的方法，其中，透视图显示所述至少一个相机的拍摄区域，

如果所述至少一个相机中的多个相机的拍摄区域相互重叠，则显示重叠的区域。

18.如权利要求13所述的方法，其中，如果所述至少一个相机的光轴与地表面平行，则基于地表面上的检测的目标的高度、在由所述至少一个相机拍摄的图像中检测的目标的高度和所述至少一个相机的焦距来计算检测的目标与所述至少一个相机之间的水平距离。

19.如权利要求13所述的方法，其中，如果所述至少一个相机的光轴与地表面不平行，则基于所述至少一个相机的镜头的中心距离地表面的高度以及在地表面与连接检测的目标的最底端和所述至少一个相机的镜头的中心点的虚拟线之间的角度，来计算检测的目标与所述至少一个相机之间的水平距离。