CN111462227A - 室内人员定位装置及方法 - Google Patents

Abstract

本申请实施例提供了一种室内人员定位装置及方法，定位装置包括机模组和控制器，其中，相机模组包括彩色相机和深度相机，相机模组安装在室内，相机模组用于拍摄室内的RGB图像和RGB图像对应的深度图像；控制器与相机模组通信连接，控制器被配置为：从RGB图像中识别室内人员；根据深度图像计算室内人员与相机模组之间的距离；根据相机模组在室内的位置，计算室内人员在室内的位置。本申请实施例基于RGB图像先识别出室内人员，再基于深度图像对其定位，在定位过程中，室内人员无需佩戴该定位装置，定位便捷性高；并且，本申请实施例基于设置在室内的相机模组拍摄RGB图像和深度图像进行定位，定位准确度高。

Description

室内人员定位装置及方法

技术领域

本申请涉及室内定位技术领域，尤其涉及一种室内人员定位装置及方法。

背景技术

在家居生活中，人们经常通过在智能设备上设定一些提醒事项来方便生活，例如，提醒孩子按时睡觉、提醒老人按时吃药、提醒孩子避免在一些有一定安全风险的地方如窗户附近停留等，然而，智能设备发出的提醒声音有限，如果智能设备在发出提醒时，被提醒人员如老人或孩子由于距离智能设备较远而无法听到智能设备的提醒，将会错过提醒事项。

为保障被提醒人员能够及时收到提醒，对被提醒人员进行定位成为了判断提醒人员是否能够收到智能设备提醒的重要基础，目前，可进行定位的定位设备如手环、手表等逐渐引起了人们的关注。这些定位设备通常设置有GPS定位模块，通过联网上报携带智能设备的人员的地理位置。然而，在家庭场景下，被提醒人员在室内活动的范围不会很大，GPS模块定位精度较低，难以准确反映被提醒人员在室内的实时位置。

发明内容

为解决上述问题，本申请提供了一种室内人员定位装置及方法，以解决家庭人员室内定位准确性低的问题。

第一方面，本申请提供了一种室内人员定位装置，该装置包括：相机模组和控制器，其中，

所述相机模组包括彩色相机和深度相机，所述相机模组安装在室内，所述相机模组用于拍摄所述室内的RGB图像和所述RGB图像对应的深度图像；

所述控制器与相机模组通信连接，所述控制器被配置为：从所述RGB图像中识别室内人员；根据所述深度图像计算所述室内人员与所述相机模组之间的距离；根据所述相机模组在所述室内的位置，计算所述室内人员在所述室内的位置。

第二方面，本申请提供了一种室内人员定位方法，该方法包括：

拍摄室内的RGB图像和所述RGB图像对应的深度图像；

从所述RGB图像中识别室内人员；

根据所述深度图像计算所述室内人员与拍摄点之间的距离；

根据拍摄点在所述室内的位置，计算所述室内人员在所述室内的位置。

第三方面，本申请提供了一种室内人员定位方法，该方法包括：

接收拍摄的室内RGB图像和所述RGB图像对应的深度图像；

从所述RGB图像中识别室内人员；

根据所述深度图像计算所述室内人员与拍摄点之间的距离；

根据拍摄点在所述室内的位置，计算所述室内人员在所述室内的位置。

本申请提供的室内人员定位装置及方法的有益效果包括：

本申请实施例基于RGB图像先识别出室内人员，再基于深度图像对其定位，在定位过程中，室内人员无需佩戴该定位装置，定位便捷性高；并且，本申请实施例基于设置在室内的相机模组拍摄RGB图像和深度图像，确定室内人员与相机模组之间的相对位置，再根据相机模组在室内的位置，得到室内人员在室内的位置，对室内人员的定位准确度高。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种室内人员定位装置的结构示意图；

图2为本申请实施例提供的一种人脸框示意图；

图3a为本申请实施例提供的一种相机模组与人员位置关系的立体示意图；

图3b为图3a在水平方向上的示意图；

图3c为图3a在垂直方向上的示意图；

图4a为本申请实施例提供的一种人脸中心点位于RGB图像中上半部时，深度图像中人脸中心点在Z方向上的距离示意图；

图4b为本申请实施例提供的一种人脸中心点位于RGB图像中下半部时，深度图像中人脸中心点在Z方向上的距离示意图；

图5a为本申请实施例提供的一种人脸中心点位于RGB图像中右半部时，深度图像中人脸中心点在X方向上的距离示意图；

图5b为本申请实施例提供的一种人脸中心点位于RGB图像中左半部时，深度图像中人脸中心点在X方向上的距离示意图；

图6为本申请实施例提供的一种室内人员定位方法的流程示意图；

图7为本申请实施例提供的另一种室内人员定位方法的流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

第一方面，本实施例提供了一种室内人员定位装置，如图1所示，该室内人员定位装置包括相机模组100和控制器200。

相机模组100包括彩色相机101和深度相机102，彩色相机101可用于拍摄RGB图像，深度相机102可用于拍摄深度图像。相机模组100可选为输出的彩色图像和深度图像相对应的模组，其中，相对应包括相同时间、视场角和分辨率，视场角包括水平视场角和垂直视场角，彩色相机和深度相机的水平视场角、彩色相机和深度相机的垂直视场角均需要相同。

控制器200可为具有数据处理能力的处理器。控制器200可与相机模组100电连接，形成一体机，通过线缆获取相机模组100拍摄的图片；控制器200也可与相机模组100无线通信连接，通过网络获取相机模组100拍摄的图片，例如，控制器200可为远程服务器或智能终端，可通过通信网络对相机模组100进行控制。

相机模组100或一体机可由工作人员安装到用户家庭中的适宜位置，以对需要进行监控的区域进行拍摄。为了便于描述，下面以相机模组100的安装和应用为例进行介绍。

例如，相机模组100可安装到一个小面积房间的顶部角落，能够覆盖整个房间，满足对该房间的监控需求。

对于一个家庭来说，可能存在一些较大的空间，如面积较大的房间和客厅，此时，一个相机模组100可能无法覆盖该大空间的全部区域；另外，需要监控的区域可能不只一个连续的空间，例如，需要对客厅、卧室、厨房等多个区域进行监控，此时，一个相机模组100也无法覆盖全部的监控区域。当一个相机模组100无法满足监控需求时，可选用多个相机模组100搭配使用，以覆盖全部的监控区域。

工作人员将相机模组100安装完毕后，可根据用户指定的监控区域建立统一三维坐标系，并确定相机模组100在统一三维坐标系中的位置。当然，工作人员也可先建立统一三维坐标系，再安装相机模组100以及确定相机模组100在统一三维坐标系中的位置，根据相机模组100在统一三维坐标系中的位置，可得到相机模组100的偏转角度，偏转角度包括水平偏转角度和垂直偏转角度。

统一三维坐标系的原点可为监控区域的一个角的顶点，X轴方向和Y轴方向可为原点处的两条地面上的墙边，Z轴方向可为原点处的墙面高度方向。如果用户指定的监控区域是用户家庭的全部区域，可根据用户家庭的户型确定适宜的统一三维坐标系，只要能将全部的监控区域均能在统一三维坐标系上表示出来即可。相机模组100在统一三维坐标系中的位置可通过测量相机模组100与原点在X轴、Y轴和Z轴上的距离确定。

建立起统一三维坐标系后，可将统一三维坐标系和相机模组100在统一三维坐标系中的位置上传到控制器。

控制器200可控制相机模组100拍摄用户所需定位人员的面部图像，并获取用户所需定位人员的面部图像，将用户所需定位人员的面部图像设置为室内人员。当然，控制器200还可通过其他方式获取室内人员的面部图像，如接收用户通过其他终端发送的室内人员的面部图像。

控制器200内可预设置有人脸识别模型，可对室内人员的面部图像进行特征提取。人脸识别模型可基于深度学习算法构建，通过对大量面部图像样本进行深度学习，可使人脸识别模型能够提取室内人员的面部图像的特征，将该面部图像的特征作为室内人员的身份标识信息。

相机模组100在安装完毕并启动后，拍摄RGB图像和深度图像，将RGB图像和深度图像上传到控制器200。

控制器200可对RGB图像进行人脸识别。通过人脸检测技术可检测RGB图像中是否包含有人脸，如果RGB图像中包含有人脸，则对RGB图像进行室内人员识别。如果RGB图像中不包含人脸，则将该RGB图像和该RGB图像对应的深度图像删除。

对RGB图像进行室内人员识别的方式可为：通过基于深度学习算法构建的人脸识别模型，提取RGB图像中的人脸特征，判断该人脸特征是否与室内人员的面部图像的特征相一致，如果一致，则认为RGB图像中的人是所需定位的室内人员。

进一步的，获取到所需定位的室内人员的RGB图像后，利用人脸检测技术得到人脸的范围。对于RGB图像，可建立平面坐标系，原点可为RGB图像的左上角，X轴可为水平方向，Y轴可为垂直方向。如图2所示，在RGB图像中，利用人脸检测技术可得到一个人脸框，该人脸框代表人脸的范围，人脸的范围用(x，y，w，h)表示，其中，(x，y)为人脸框左上角的像素点坐标，w为人脸的宽，h为人脸的高，将人脸框中心点P设为人脸中心点，则人脸的像素点坐标为(x+w/2，y+h/2)。

室内人员与相机模组100之间的相对位置可用人脸中心点到相机模组100之间的距离来表示，获取到所需定位的室内人员的RGB图像后，对该RGB图像对应的深度图像进行分析，以计算室内人员与相机模组之间的相对位置。

图3a示出了相机模组100与人员位置关系的立体示意图，图3b示出了图3a在水平方向上的示意图，图3c示出了图3a在垂直方向上的示意图。

在图3a-图3c中，A为人脸中心点的坐标位置，Ox为与A垂直位置相同的水平中心位置，O为图像中心位置，S为相机模组的位置。已知RGB图像的分辨率高为m，宽为n，相机模组100的水平视场角为alpha1，垂直视场角为alpha2，水平偏转角度为alpha3，垂直偏转角度为alpha4，A点坐标位置为(x，y)，SA的距离为b，设RGB图像的水平距离为a，Sox的距离为c，SO的距离为d，AOx的距离为e，∠ASOx为beta1，∠OxSO为beta2，则可得如下关系：

tan(alpha1/2)＝(a/2)/c，

tan(beta1)＝e/c，

e＝a/2*((m/2-x)/(m/2))， (1)

根据(1)式可计算出beta1。又已知SA距离，从而得到c。

同理，根据图3b可以得到SO的距离d。

图4a示出了人脸中心点位于RGB图像中上半部时，深度图像中人脸中心点在Z方向上的距离示意图，如图4a所示，当人脸中心点在上半部时，已知c，d，alpha4，设OOx距离为g，可得如下关系：

zx＝d*sin(alpha4)，

f＝g*cos(alpha4)，

g＝(c2-d2)^0.5，

z＝zx-f (2)

根据(2)式可计算出人脸中心点位于RGB图像中上半部时，深度图像中人脸中心点在Z方向上的距离z。

图4b示出了人脸中心点位于RGB图像中下半部时，深度图像中在Z方向上的距离示意图，如图4b所示，当人脸中心点在下半部时，已知c，d，alpha4，设OOx距离为g，可得如下关系：

zx＝d*sin(alpha4)，

f＝g*cos(alpha4)，

g＝(c2-d2)^0.5，

z＝zx+f (3)

根据(3)式可计算出人脸中心点位于RGB图像中下半部时，深度图像中人脸中心点在Z方向上的距离z。

图5a示出了人脸中心点位于RGB图像中右半部时，深度图像中人脸中心点在X方向上的距离示意图，如图5a所示，当人脸中心点在右半部时，S’为S点垂直向下移动z距离后的点，因此S’O距离可通过z和SO距离d获得，Az为图3a-图3b的A点，即人脸中心点，因此S’Az距离可通过z和SA距离b获得，进而可得如下关系：

j＝S’O*sin(alpha3)，

k＝AzO*cos(alpha3)，

AzO＝(S’Az2-S’O2)^0.5，

Ax＝j+k (4)

根据(4)式可计算出人脸中心点位于RGB图像中右半部时，深度图像中人脸中心点在X方向上的距离Ax。

图5b示出了人脸中心点位于RGB图像中左半部时，深度图像中人脸中心点在X方向上的距离示意图，如图5b所示，当人脸中心点在左半部时，S’为S点垂直向下移动z距离后的点，因此S’O距离可通过z和SO距离d获得，Az为图3a-图3b的A点，即人脸中心点，因此S’Az距离可通过z和SA距离b获得，进而可得如下关系：

j＝S’O*sin(alpha3)，

k＝AzO*cos(alpha3)，

AzO＝(S’Az2-S’O2)^0.5，

Ax＝j-k (5)

根据(5)式可计算出人脸中心点位于RGB图像中左半部时，深度图像中人脸中心点在X方向上的距离Ax。

而深度图像中人脸中心点在Y方向上的距离可由下式计算出：

AzO＝(S’Az2-Ax2)^0.5 (6)

根据(6)式可计算出深度图像中人脸中心点在Y方向上的距离AzO。

分别计算出深度图像中人脸中心点在X方向、Y方向和Z方向上的距离后，可得人脸中心点相对于相机模组的坐标(Ax，AzO，z)。

根据相机模组在统一三维坐标系中的位置，可得到人脸中心点在统一三维坐标系中的位置，至此，实现了室内人员在监控区域的定位。

进一步的，根据多组相机模组对室内人员在多个室内的定位的时间，可实现对室内人员的位置进行实时跟踪。

为对室内人员的定位过程做进一步说明，本实施例第二方面示出了一种室内人员定位方法，如图6所示，本申请实施例提供的室内人员定位方法，包括如下步骤：

步骤S110：建立室内空间的统一三维坐标系。

确定室内空间中需要监控的区域，建立包含需要监控的区域的统一三维坐标系，设置统一三维坐标系的坐标单位，例如，将坐标单位设置为厘米，则坐标(50，90，165)，则代表该坐标点与统一三维坐标系的原点在X轴方向上的距离为50厘米，在Y轴方向上的距离为90厘米，在Z轴方向上的距离为165厘米。

实际实施中，可将用户家庭的全部室内空间设置为监控区域，便于对室内人员进行全方位定位，避免出现监控死角。

步骤S120：设置相机模组在统一三维坐标系中的位置。

相机模组的数量根据监控区域确定，当监控区域较大或包含多个非连续空间时，可选择多个相机模组，将多个相机模组安装在适宜的位置，并调试相机模组的水平偏转角度和垂直偏转角度，使全部相机模组搭配起来能够拍摄到全部监控区域，记录每个相机模组的水平偏转角度和垂直偏转角度。

测量相机模组在室内空间的具体位置，对应统一三维坐标系，记录相机模组在统一三维坐标系中的坐标位置。

步骤S130：拍摄室内的RGB图像和RGB图像对应的深度图像。

通过相机模组获取室内监控区域的RGB图像和RGB图像对应的深度图像，如果有多个相机模组，则分别获取多组对应的图像。

步骤S140：从RGB图像中识别室内人员。

获取当前时刻其中一组相机模组拍摄的RGB图像和深度图像，利用人脸检测技术检测RGB图像中是否存在人脸，如果存在人脸，则用人脸框框住人脸，建立平面坐标系，计算人脸框中心点在平面坐标系中的坐标，作为人脸中心点坐标。如果不存在人脸，则删除该相机模组拍摄的RGB图像和深度图像，在下一时刻继续对该相机模组拍摄的RGB图像和深度图像进行人脸检测。

进一步的，RGB图像中存在的人脸可能不只一个，还有可能存在由于误检测导致将其他对象识别为人脸的情况，因此，需要对检测到的人脸做人脸识别。通过预存储的需要进行监控的室内人员图片可判断RGB图像中检测到的人脸是否为所需要定位的室内人员。利用基于深度学习算法构建的人脸识别模型，判断RGB图像中的人脸是否为所需要监控的室内人员，如果RGB图像中的人脸不是所需要监控的室内人员，则删除该相机模组拍摄的RGB图像和深度图像，在下一时刻继续对该相机模组拍摄的RGB图像和深度图像进行人脸检测与识别。

在对其中一组相机模组拍摄的RGB图像和深度图像进行室内人员识别的同时，可对其他相机模组拍摄的RGB图像和深度图像进行室内人员识别。

步骤S150：根据深度图像计算室内人员与拍摄点之间的相对位置。

如果RGB图像中的人脸为需要进行定位的室内人员，则基于深度图像计算室内人员与拍摄点之间的距离，其中，室内人员与拍摄点之间的距离即室内人员与相机模组之间的相对位置。

步骤S160：根据拍摄点在室内的位置，计算室内人员在室内的位置。

由于相机模组在统一三维坐标系中的位置是固定的，因此，得到室内人员与相机模组之间的相对位置后，可计算出室内人员在统一三维坐标系中的位置，进而得到室内人员在室内的位置。

步骤S170：通过多组相机模组对室内人员的位置进行实时跟踪。

根据不同相机模组得出室内人员的位置可能不同，获取不同相机模组定位到室内人员的时间，将室内人员的位置更新为最新定位到室内人员的相机模组所确定的位置。

进一步的，还可将室内人员在不同时刻的位置连成行进轨迹。

第三方面，本实施例还提供另一种室内人员定位方法的流程示意图，该方法可用于室内人员定位装置的控制器，也可用于服务器等具有计算数据计算能力的控制装置，如图7所示，该室内人员定位方法包括以下步骤：

步骤S210：接收拍摄的室内RGB图像和RGB图像对应的深度图像。

在一些实施例中，控制装置可接收室内人员定位装置的相机模组拍摄的室内RGB图像和RGB图像对应的深度图像，在另一些实施例中，控制装置也可通过其他方式接收室内RGB图像和RGB图像对应的深度图像，例如，接收具有双目摄像模组的智能通信终端拍摄的室内RGB图像和RGB图像对应的深度图像，其中，双目摄像模组包括一个彩色相机和深度相机。

步骤S220：从RGB图像中识别室内人员。

步骤S230：根据深度图像计算室内人员与拍摄点之间的相对位置。

步骤S240：根据拍摄点在室内的位置，计算室内人员在室内的位置。

步骤S250：通过多组相机模组对室内人员的位置进行实时跟踪。

步骤S220-S250的实施方式可依次参考步骤S140-S170，在此不再赘述。

第四方面，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，所述计算机程序被执行时实现第三方面所述的室内人员定位方法。

由上述实施例可见，本申请实施例例基于RGB图像先识别出室内人员，再基于深度图像对其定位，在定位过程中，室内人员无需佩戴该定位装置，定位便捷性高；并且，本申请实施例基于设置在室内的相机模组拍摄RGB图像和深度图像，确定室内人员与相机模组之间的相对位置，再根据相机模组在室内的位置，得到室内人员在室内的位置，对室内人员的定位准确度高。

由于以上实施方式均是在其他方式之上引用结合进行说明，不同实施例之间均具有相同的部分，本说明书中各个实施例之间相同、相似的部分互相参见即可。在此不再详细阐述。

需要说明的是，在本说明书中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或暗示这些实体或操作之间存在任何这种实际的关系或顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的电路结构、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种电路结构、物品或者设备所固有的要素。在没有更多限制的情况下，有语句“包括一个……”限定的要素，并不排除在包括所述要素的电路结构、物品或者设备中还存在另外的相同要素。

本领域技术人员在考虑说明书及实践这里发明的公开后，将容易想到本申请的其他实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求的内容指出。

以上所述的本申请实施方式并不构成对本申请保护范围的限定。

Claims (10)

1.一种室内人员定位装置，其特征在于，包括：相机模组和控制器，其中，

所述相机模组包括彩色相机和深度相机，所述相机模组安装在室内，所述相机模组用于拍摄所述室内的RGB图像和所述RGB图像对应的深度图像；

所述控制器与相机模组通信连接，所述控制器被配置为：从所述RGB图像中识别室内人员；根据所述深度图像计算所述室内人员与所述相机模组之间的距离；根据所述相机模组在所述室内的位置，计算所述室内人员在所述室内的位置。

2.根据权利要求1所述的室内人员定位装置，其特征在于，所述控制器被配置为，从所述RGB图像中识别室内人员，包括：

根据人脸检测技术检测所述RGB图像中的人脸；

通过深度学习算法对所述人脸进行室内人员识别。

3.根据权利要求1所述的室内人员定位装置，其特征在于，所述控制器被配置为，从所述RGB图像中识别室内人员，还包括：根据所述人脸检测技术检测所述室内人员的人脸中心点。

4.根据权利要求3所述的室内人员定位装置，其特征在于，所述控制器被配置为，根据所述深度图像计算所述室内人员与所述相机模组之间的距离，包括：

根据所述深度图像计算所述人脸中心点与所述相机模组之间的距离。

5.根据权利要求1所述的室内人员定位装置，其特征在于，所述RGB图像和深度图像的视场角和分辨率相同。

6.根据权利要求1所述的室内人员定位装置，其特征在于，所述相机模组的数量包括多组，多组所述相机模组分布在不同的室内，所述控制器还被配置为：获取其中一组所述相机模组拍摄的RGB图像和深度图像。

7.根据权利要求6所述的室内人员定位装置，其特征在于，所述控制器还被配置为，通过多组所述相机模组对所述室内人员的位置进行实时跟踪。

8.一种室内人员定位方法，其特征在于，包括：

拍摄室内的RGB图像和所述RGB图像对应的深度图像；

从所述RGB图像中识别室内人员；

根据所述深度图像计算所述室内人员与拍摄点之间的距离；

根据拍摄点在所述室内的位置，计算所述室内人员在所述室内的位置。

9.根据权利要求8所述的室内人员定位方法，其特征在于，所述拍摄室内的RGB图像和所述RGB图像对应的深度图像，之前还包括：

建立室内空间的统一三维坐标系；

设置相机模组在所述统一三维坐标系中的位置，其中，所述相机模组包括彩色相机和深度相机，所述相机模组安装在室内，所述彩色相机用于拍摄所述RGB图像，所述深度相机用于拍摄所述深度图像。

10.一种室内人员定位方法，其特征在于，包括：

接收拍摄的室内RGB图像和所述RGB图像对应的深度图像；

从所述RGB图像中识别室内人员；

根据所述深度图像计算所述室内人员与拍摄点之间的距离；

根据拍摄点在所述室内的位置，计算所述室内人员在所述室内的位置。

Images