CN117121061A - 用于生成注意区域的计算机实现的方法 - Google Patents

Abstract

一种用于在三维空间(2)中为至少一个人生成几何注意区域(1)的计算机实现的方法以及用于执行这种方法的计算机可读存储介质和装置，所述计算机实现的方法包括使用单个图像捕获单元(3)、数据处理单元(4)、数据库(5)和显示单元(6)。

Description

用于生成注意区域的计算机实现的方法

技术领域

本发明涉及一种用于在三维空间中生成几何注意区域的计算机实现的方法。

背景技术

从现有技术中已知，使用基于图像的方法通过分析人的注视方向来确定人的注意力。这可以通过例如从人的照片或视频中提取头部方向或眼睛位置来实现。通过将注视方向分类为预定的区域，可以计算注意力水平。这种注意力建模主要用于汽车领域，但也用于其他人机应用。在车辆中，这种注意力建模可以用来确定人们是否注意交通或分心。在商店里，这种注意力建模可以用来识别哪些产品吸引更多或更少的注意力。在机器人学中，一个人的注视方向可以用来控制机器。

为了对一个人的注视方向进行分类，需要将这个人的视野划分为注意区域。由于这些注意区域必须在三维空间中有效，因此这些注意区域通常通过三维空间中的多边形来界定，即这些注意区域包括三个或更多个用跨越区域的x、y和z坐标界定的点。在将人的视野划分成这样的注意区域之后，人的每个注视方向可以被分配到界定的注意区域。

然而，一个问题是，被期望分析人的注视方向的图像捕获单元必须指向人，因此不能同时捕获人的视野。为了也捕获人的视野，需要两个或更多个图像捕获单元。

如果从图像捕获单元的图像中提取人的注视方向，也会出现问题，即不同被分析的人的相同注视方向不一定意味着这些人也在看空间中的相同区域。例如，车辆中的驾驶员和乘客可能具有相同的注视方向，但是由于他们不同的座位位置，他们关注的区域完全不同。

因此，在现有技术中，经常使用附加传感器，这些传感器具有在视野内的注意区域，并且连接到捕获人的图像捕获单元，使得在人的注视方向和注意区域之间建立直接的几何关系。例如，这些附加传感器安装在人的旁边或后方，使得可以为每个人界定注意区域。

发明内容

本发明的一个目的是改进现有技术中已知的这些方法，特别是，能够在不使用附加传感器的情况下创建几何注意区域。

本发明的这些和其他目的通过根据独立权利要求的计算机实现的方法和装置来解决。

根据本发明的用于为三维空间中的至少一个人生成几何注意区域的计算机实现的方法使用布置在空间中的单个图像捕获单元、数据处理单元、数据库和显示单元。

三维空间可以是车辆的内部；然而，本发明的方法不限于车辆。

图像捕获单元、数据处理单元和数据库可以优选地完全布置在车辆中。然而，也可以规定数据处理单元和数据库布置在车辆中，并且经由接口(例如无线连接)与外部服务器(例如互联网服务器)通信，在外部服务器上可以存在具有先前存储的和/或连续补充的参考数据的数据库，这些参考数据用于处理捕获的数据。

图像捕获单元可以是设计用于捕获二维或三维照片或视频的照片相机或视频相机。特别地，图像捕获单元可以是TOF(飞行时间)相机等。TOF相机的使用有助于稳健地检测人和提取注视方向。然而，传统的2D相机结合先前存储的人或人的面部的3D模型也能够从各个2D图像中稳健地提取注视方向。图像捕获单元可以优选地以这样的方式布置在车辆中，即如果可能的话，整个内部、至少所有乘客座椅、但至少驾驶员座椅和乘客座椅在图像区域中是可见的。

数据处理单元可以被设计成微控制器或微型计算机，并且包括中央处理单元(CPU)、易失性半导体存储器(RAM)、非易失性半导体存储器(ROM、SSD硬盘)、磁存储器(硬盘)和/或光存储器(CD-ROM)以及接口单元(以太网、USB)等。数据库可以作为软件模块提供在数据处理单元中、与数据处理单元分离的计算机中或外部服务器中。这样的数据处理单元的部件一般为技术人员所知。

根据本发明的方法至少包括以下步骤：

最初，显示单元要求该人通过头部和/或眼睛的移动来注视某个注意区域的顶点。注意区域可以是例如与车辆的挡风玻璃、仪表板、侧窗或侧视镜的位置相对应的多边形。然而，注意区域也可以是界定购物街中商店的展示窗口或生产工厂中技术装置的显示面板的多边形。

然后，图像捕获单元捕获在预定时间段内容纳人的空间的数量为N的连续的第一照片，并将这些照片传送到数据处理单元。数量N表示界定注意区域的多边形的顶点的数量。如果注意区域的形状和范围是预定的，则数量N可以等于1。然而，数量N也可以大于或等于3。优选地，在矩形或梯形注意区域的情况下，N等于4。图像捕获单元也可以捕获空间的短视频，而不是捕获N张连续的照片。数据处理单元分析第一照片或视频，检测其中的人，并确定该人的数量为N的第一注视方向矢量BV₁-BV_n。N个第一注视方向矢量BV₁-BV_n由人引导到相关注意区域的顶点，并且例如被界定为三维笛卡尔坐标或极坐标中的矢量。

从照片或视频中确定至少一个人的注视方向矢量可以通过提取和分析该人的头部方向和/或眼睛位置来执行。从人的照片或视频确定人的注视方向矢量的这种方法原则上是已知的；已知的图像处理算法可用于此目的。特别地，可以参考数据库中的图像分析库和/或用训练示例训练的检测器(例如神经网络)。

此外，数据处理单元可以从单个照片系列或单个视频中提取几个人(例如，驾驶员和乘客)的注视方向矢量。

结果，显示单元向人发出提示以改变他们在空间中的位置。例如，该人可以将他们的座位向后、向前、向上或向下移动，或者向前或向后倾斜。之后，显示单元提示人通过头部和/或眼睛移动再次注视注意区域的顶点。

在下一步中，图像捕获单元拍摄容纳人的空间的数量为N的第二照片，并将这些照片传送到数据处理单元。同样，可以在短时间内录制视频，而不是拍摄照片。数量N可以等于或大于1，因此也可以规定人在每一次注视一个顶点后已经改变了他的位置，并被要求注视另一个顶点。

数据处理单元再次提取该人的数量为N的第二三维注视方向矢量BV₁′-BV_N′。由于人的位置不同，第二注视方向矢量BV₁′-BV_N′与第一注视方向矢量BV₁-BV_N不同。

接下来，数据处理单元将注视方向矢量BV₁-BV_N叠加在注视方向矢量BV₁′-BV_N′上，以通过三角测量来确定N个三维交点P₁-P_N。这N个交点对应于空间的共同三维坐标系中注意区域的顶点。N个交点P₁-P_N作为注意区域的顶点存储在数据库中。

该方法也可以用该人的两个以上的不同位置来执行，以增加三角测量的精度。

例如，可规定首先要求该人将他们的座位一直向下移动，然后将他们的座位一直向上移动，然后将他们的座位一直向前移动，最后将他们的座位一直向后移动，由此在位置的每次变化之后，确定N个注视方向矢量，然后将N个注视方向矢量用于计算精确的交点P₁-P_N。

本发明的优点是不需要附加的传感器或图像捕获单元来创建注意区域的配置。无论如何，使用指向待分析的人的图像捕获单元就足够了。没有必要从后方给这个人拍照。

这允许注意区域的快速和灵活配置，这确保了将整个系统更快地转换或安装到现有的图像捕获和图像分析系统中。不需要安装新的硬件。

根据本发明，可规定重复该方法以创建单个人的多个注意区域。例如，可规定在执行根据本发明的方法之后，现在要求该人注视另一个注意区域的顶点。

根据本发明，可规定重复该方法以创建不同的多个人的多个注意区域。例如，可规定在执行了根据本发明的方法之后，现在要求所有被检测到的人注视另一个注意区域的顶点。

根据本发明，可规定在生成并存储至少一个人的一个或多个注意区域之后，图像捕获单元连续检测该人的注视方向矢量并将其传送到数据处理单元，并且数据处理单元连续检查所检测到的注视方向矢量是否落入所存储的注意区域中的一个区域。这允许在操作期间监控人的注意力。

根据本发明，可规定数据处理单元通过确定每单位时间内检测到的至少一个人的注视方向矢量落入所存储的注意区域中的一个区域的频率来计算该人的注意程度。可规定当注意程度下降到预定阈值以下时，显示单元发出警告消息。例如，可以界定阈值，根据该阈值，人每秒至少看一次由挡风玻璃界定的注意区域。

本发明还涉及一种计算机可读存储介质，包括用于使数据处理单元执行根据本发明的方法的指令。

本发明还涉及一种用于为三维空间中的至少一个人生成几何注意区域的装置，包括单个图像捕获单元、数据处理单元、数据库和显示单元，其中该装置适于执行根据本发明的方法。

根据本发明，可以特别地规定，空间是车辆的内部，并且图像捕获单元沿车辆行驶方向布置在驾驶员座椅的前方或乘客座椅的前方，并且优选地布置在车辆挡风玻璃上方或仪表板上方的中央位置。

根据本发明的其他特征源于权利要求、示例性实施例和附图。

附图简单说明

在下文中，详细解释了本发明的非排他性示例性实施例。

图1示出了具有用于执行根据本发明的方法的数据处理单元的车辆的示意图；

图2示出了车辆中的根据本发明的各种注意区域的示意性示例；

图3a-3d示出了在执行根据本发明的方法时车辆内部的示意图；

图3e示出了确定人的两个注视方向矢量的交点的示意图。

具体实施方式

图1示出了车辆8的示意图，其中集成了用于执行根据本发明的方法的电子数据处理单元4。在车辆8的内部2中，照相机形式的图像捕获单元3布置在天花板上。相机被配置和布置为使得其可以捕获车辆8的内部2，即至少两个前排座椅和位于其中的人。在内部，几个人坐在两排。在该实施例中，车辆被配置为乘用车。数据处理单元4连接到数据库5，并且具有用于与外部电子部件通信的接口(未示出)。此外，提供了显示单元6，其也连接到数据处理单元4。显示单元6布置在车辆8的仪表板中。

图2示出了根据本发明的车辆8的内部2中的各种注意区域1、1′、1”、1”′的示意性示例。

在该示例中，挡风玻璃形成第一注意区域1，两个侧视镜形成第二注意区域1′，两个侧窗形成第三注意区域1”，仪表板形成第四注意区域1”'。此外，图像捕获单元3以布置在挡风玻璃的中央上方的视频相机的形式示出。显示单元6被示为位于中央的触摸屏。

图3a-3d示出了在执行根据本发明的方法时车辆内部的示意图。

图3a示出了具有三个人的内部2的照片7，其中驾驶员和乘客的注视方向已被提取为注视方向矢量BV₁。这些人被要求将注意力集中在注意区域1的顶点P₁上。两个人的注视方向矢量的提取可以基本上同时进行或分别进行。

图3b示出了在要求人们将注意力集中在注意区域1的另一顶点P₂之后的内部2的另一照片7。再次，驾驶员和乘客的注视方向矢量被提取为注视方向矢量BV₂。这里，提取也可以同时进行或分别进行。

图3c示出了在要求人们改变其位置并再次将注意力集中在注意区域1的顶点P₁之后的内部2的另一张照片7。再次，驾驶员和乘客的注视方向矢量被提取为注视方向矢量BV₁’。

图3d示出了在要求人们再次将注意力集中在注意区域1的顶点P₂之后的内部2的另一张照片7。再次，驾驶员和乘客的注视方向矢量被提取为注视方向矢量BV₂’。

对期望的多边形注意区域的所有顶点重复这些步骤，直到已经为每个注意区域提取了每个人的足够的(但至少两个不同的)注视方向矢量，以执行三角测量来确定点P₁-P_N的位置。

图3e示出了用于确定人的两个注视方向矢量的交点的三角测量的示意图。建议人的两种不同的坐姿，注视方向矢量BV₁和BV₂对应第一坐姿，注视方向矢量BV₁′和BV₂′对应第二坐姿。

通过叠加注视方向矢量BV₁和BV₁’或BV₂和BV₂’，可以确定交点P₁和P_N，在这种情况下，交点P₁和P_N是注意区域1的顶点。

本发明不限于所描述的示例性实施例，还包括以下专利权利要求范围内的本发明的其他实施例。

附图标记列表

1、1'、1”、1”' 注意区域

2 三维空间

3 图像捕获单元

4 数据处理单元

5 数据库

6 显示单元

7 照片

8 车辆

Claims (10)

1.一种用于为三维空间(2)中的至少一个人生成至少一个几何注意区域(1)的计算机实现的方法，所述方法使用单个图像捕获单元(3)、数据处理单元(4)、数据库(5)和显示单元(6)，包括以下步骤：

a.由所述显示单元(6)向所述人输出对所述空间(2)中的与待创建的所述注意区域(1)的顶点相对应的至少一个点进行注视的请求，

b.由所述图像捕获单元(3)捕获容纳所述人的所述空间(2)的数量为N的第一照片(7)，并且由所述数据处理单元(4)提取所述人的数量为N的第一三维注视方向矢量BV₁-BV_N，其中N大于或等于1，

c.由所述显示单元(6)向所述人输出改变其在所述空间(2)中的位置并重新注视所述注意区域(1)的顶点的请求，

d.由所述图像捕获单元(3)捕获容纳所述人的所述空间(2)的数量为N的第二照片(7′)，并且由所述数据处理单元(4)提取所述人的数量为N的第二三维注视方向矢量BV₁′-BV_N′，

e.由所述数据处理单元(4)将注视方向矢量BV₁-BV_N的线与注视方向矢量BV₁′-BV_N′的线叠加，以确定N个三维交点P₁-P_N，

f.将所述空间(2)中的具有顶点P₁-P_N的多边形作为注意区域(1)存储在所述数据库(5)中。

2.根据权利要求1所述的方法，其特征在于，所述顶点的数量N大于或等于3，优选为4。

3.根据权利要求1或2所述的方法，其特征在于，所述空间(2)是车辆(8)的内部。

4.根据权利要求1至3中任一项所述的方法，其特征在于，重复所述方法以创建单个人的多个注意区域(1，1′，1”)。

5.根据权利要求1至4中任一项所述的方法，其特征在于，重复所述方法以创建不同的多个人的多个注意区域(1，1′，1”)。

6.根据权利要求1至5中任一项所述的方法，其特征在于，

a.在生成并存储至少一个人的一个或多个注意区域(1，1′，1”)之后，所述图像捕获单元(3)连续地检测该人的注视方向矢量并将所述注视方向矢量传送到所述数据处理单元(4)，并且

b.所述数据处理单元(4)检查所检测到的注视方向矢量是否落入所存储的注意区域(1，1′，1”)中的一个区域。

7.根据权利要求6所述的方法，其特征在于，

a.所述数据处理单元(4)通过确定每单位时间内检测到的注视方向矢量落入所存储的注意区域(1，1′，1”)中的一个区域的频率来计算至少一个人的注意程度，以及

b.当所述注意程度下降到预定阈值以下时，所述显示单元(6)输出警告消息。

8.一种计算机可读存储介质，包括用于执行根据权利要求1至7中任一项所述的方法的数据处理单元(4)。

9.一种用于为三维空间(2)中的至少一个人生成几何注意区域(1)的装置，包括单个图像捕获单元(3)、数据处理单元(4)、数据库(5)和显示单元(6)，其特征在于，所述装置被设计成执行根据权利要求1至8中任一项所述的方法。

10.根据权利要求9所述的装置，其特征在于，所述空间(2)是车辆(8)的内部，并且所述图像捕获单元(3)沿车辆行驶方向布置在驾驶员座椅的前方或乘客座椅的前方，并且优选地布置在所述车辆挡风玻璃上方的中央位置。