CN113256721A - 一种室内多人三维高精度定位方法 - Google Patents

一种室内多人三维高精度定位方法 Download PDF

Info

Publication number
CN113256721A
CN113256721A CN202110682395.8A CN202110682395A CN113256721A CN 113256721 A CN113256721 A CN 113256721A CN 202110682395 A CN202110682395 A CN 202110682395A CN 113256721 A CN113256721 A CN 113256721A
Authority
CN
China
Prior art keywords
camera
depth
person
point
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110682395.8A
Other languages
English (en)
Other versions
CN113256721B (zh
Inventor
阮钰标
刘林
肖乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Guangpo Intelligent Technology Co ltd
Original Assignee
Zhejiang Guangpo Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Guangpo Intelligent Technology Co ltd filed Critical Zhejiang Guangpo Intelligent Technology Co ltd
Priority to CN202110682395.8A priority Critical patent/CN113256721B/zh
Publication of CN113256721A publication Critical patent/CN113256721A/zh
Application granted granted Critical
Publication of CN113256721B publication Critical patent/CN113256721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种室内多人三维高精度定位方法。为了克服现有定位方案依赖携带终端，定位受限制较大的问题；本发明包括以下步骤：S1：至少在室内的两个相邻侧面分别安装RGBD相机，并修正安装误差；S2：彩色相机实时多人物检测识别，获取包含人物信息矩形区域；S3：将人物信息矩形区域的RGB坐标与深度坐标转化；S4：人物深度识别，获取代表人物在深度坐标系中位置的深度点；S5：基于深度相机的人物空间坐标计算，计算代表人物的空间坐标；S6：基于房间的人物空间坐标计算，代表人物在房间内的空间坐标。通过在室内四面布置RGBD相机，能通过AI算法直接识别人物，不需要携带定位用的终端，硬件限制少；能搞定度同时进行多人识别，且部署简单，无需标定。

Description

一种室内多人三维高精度定位方法
技术领域
本发明涉及一种室内定位领域，尤其涉及一种室内多人三维高精度定位方法。
背景技术
室内定位是指在室内的环境下在房间内的区域实现定位，目前市面上的定位技术有WiFi、蓝牙等，这些定位技术的定位精度都在亚米级，也即50cm以内。WiFi方案受到周围环境的影响会比较大，精度较低。定位依赖终端（被定位人物需要携带这个终端，通过判断终端来确认人的位置）。蓝牙方案需要预先部署蓝牙信标，需要定期给蓝牙信标更换电池，精度会比WiFi稍微高一点。同时该定位方案依赖携带终端，且要求附近有三个或以上信标。
例如，一种在中国专利文献上公开的“基于Zigbee网络的室内摄像头实时跟随定位系统”，其公告号CN103702413B，包括用于标示目标的定位RFID标签、与之连接的RFID读写器模块，用于进行无线定位的Zigbee网络环境和控制摄像头跟随移动的摄像头云台，所述RFID读写器模块包括天线、RFID芯片、微控制器和Zigbee信号收发模块，所述Zigbee网络环境包括Zigbee网络和定位主控器，所述Zigbee网络包括由Zigbee网络协调器和Zigbee网络节点构成的Zigbee无线网络，所述定位主控器包括用于接收Zigbee网络环境信号的通信接口模块、嵌入式信息处理平台和摄像头云台执行机构控制模块；所述嵌入式信息处理平台集成了基于RSSI模型的回声状态网络定位算法。该定位方案依赖携带终端，定位受限制较大。
发明内容
本发明主要解决现有的定位方案依赖携带终端，定位受限制较大的问题；提供一种室内多人三维高精度定位方法，通过在室内四面布置RGBD相机，多相机协同工作，进行多人定位，不需要定位目标携带终端，限制少。
本发明的上述技术问题主要是通过下述技术方案得以解决的：
一种室内多人三维高精度定位方法，包括以下步骤：
S1：至少在室内的两个相邻侧面分别安装RGBD相机，并修正安装误差；
S2：RGBD相机的彩色相机执行实时多人物检测识别，获取包含人物形状的人物信息矩形区域；
S3：将人物信息矩形区域的RGB坐标与深度坐标转化，输出人物信息矩形区域的深度坐标；
S4：人物深度识别，基于人物信息矩形框的深度坐标，逐点获取对应的代表人物在深度坐标系中位置的深度点；
S5：基于深度相机的人物空间坐标计算；通过RGBD相机的入射角、镜头参数和像素大小数据，根据深度点计算代表人物的空间坐标；
S6：基于房间的人物空间坐标计算；将各RGBD相机的空间坐标系分别转换为房间坐标系；多RGBD相机综合分析，获得代表人物在房间内的空间坐标。
本方案通过在室内四面布置RGBD相机，能通过AI算法直接识别人物，不需要携带定位用的终端，硬件限制少。各侧面相机协同工作，适应复杂环境，定位数据稳定；可实现二维平面、三维空间的定位，采用RGBD相机精度高，能达到1cm；响应速度快，能在30ms内实现定位响应；单设备定位范围广，支持相机前方8m距离的精确定位；多相机协同工作，同时进行多人定位，提高识别效率。同时相机部署简单，安装时场景无需标定，不需要考虑安装误差。
作为优选，在室内的四个侧面的顶部中间位置，分别安装有RGBD相机，所述的RGBD相机的镜头倾斜向下设置，RGBD相机的镜头平面与室内的侧面之间角度为25°~45°。RGBD相机的镜头平面与室内的侧面之间的夹角在30°时最佳。
作为优选，所述的安装误差修正包括安装角度修正与多相机配置校验；
安装角度修正过程为：在相机正前方放置假人，测试安装侧面到假人中心点的距离，计算出偏差角
Figure 100002_DEST_PATH_IMAGE002
；
Figure 100002_DEST_PATH_IMAGE004
其中，
Figure 100002_DEST_PATH_IMAGE006
为投影角；
Figure 100002_DEST_PATH_IMAGE008
为安装角，相机镜头平面与室内侧面的夹角；
d为采样点到墙面的直线距离，由工具测量测到；
l为采样点到深度相机的光心的距离；
Figure 100002_DEST_PATH_IMAGE010
Figure 100002_DEST_PATH_IMAGE012
Figure 100002_DEST_PATH_IMAGE014
其中，
Figure 100002_DEST_PATH_IMAGE016
为相机y轴方向焦距，相机的标定参数，固化在相机内部；
Figure 100002_DEST_PATH_IMAGE018
为相机y轴方向的光心值，相机的标定参数，固化在相机内部；
Figure 100002_DEST_PATH_IMAGE020
为相机x轴方向的光心值，相机的标定参数，固化在相机内部；
Figure 100002_DEST_PATH_IMAGE022
为画幅中采样点的y坐标；
Figure 100002_DEST_PATH_IMAGE024
为画幅中采样点的x坐标；
Figure 100002_DEST_PATH_IMAGE026
其中，depth为采样点到相机平面的深度值，由深度相机获取。
通过安装误差修正，在部署RGBD相机时不需要考虑安装误差，相机不需要标定，安装简单。
作为优选，所述的多相机配置校验的逻辑为：
确定起始相机安装位置坐标；
放置假人于起始相机与第二相机的中间位置，起始相机与第二相机相邻；
修正第二相机坐标，使其与起始相机坐标一致；
移动假人，放置假人于第二相机与第三相机的中间位置；第二相机与第三相机相邻；
修正第三相机坐标，使其与第二相机坐标一致；
依次移动假人位置，以前一相机为基准，修正后一相机的坐标，直到完成所有相机的配置校验。
为多相机协同工作提供前提。
作为优选，所述的RGBD相机帧率为10~30帧；
在RGBD相机的每一帧均执行人物的实时检测识别，彩色相机结合深度学习算法，获取RGB坐标系中包含人物形状的人物信息矩形区域；
人物信息矩形区域的表现形式为：
Figure 100002_DEST_PATH_IMAGE028
其中，
Figure 100002_DEST_PATH_IMAGE030
分别为RGB坐标系中人物信息矩形区域的左上角的x轴和y轴的坐标；
width为人物信息矩形区域的宽度；
height为人物信息矩形区域的高度。
人物识别是基于RGB数据的person检测算法，使用了深度AI学习算法，通过在coco数据集上对nanodet模型进行训练，生成适用于单分类的person检测模型，最后部署到RGBD相机，实现对人物的实时识别检测。
作为优选，所述的RGB坐标与深度坐标转化过程为：
Figure 100002_DEST_PATH_IMAGE032
Figure 100002_DEST_PATH_IMAGE034
其中，
Figure 100002_DEST_PATH_IMAGE036
、
Figure 100002_DEST_PATH_IMAGE038
分别为深度坐标的x值与y值；
Figure 100002_DEST_PATH_IMAGE040
、
Figure 100002_DEST_PATH_IMAGE042
分别为RGB坐标的x值与y值；
Figure 100002_DEST_PATH_IMAGE044
为彩色相机的分辨率；
Figure 100002_DEST_PATH_IMAGE046
为深度相机的分辨率。
步骤S3是通过服务器信号触发执行，如服务器发送获取空间内人物信息的信号。如果内存中有人物数据，则继续执行，如果没有则返回空。RGB坐标系和深度坐标系通过相机内参标定，已使得坐标系原点重合、xy轴方向一致，只有分辨率不一致导致坐标的单位系数不一样。
作为优选，所述的深度点选取原则为：
将人物信息矩形区域中所有的点均转化为深度坐标系中的点，通过深度相机获取各点的深度值；
取人物矩形区域的中心点（x,y），判断该点的深度值是否可用；
若是，则该点为代表人物在深度坐标系中位置的深度点；
若否，则在X轴范围为[x-1,x+1],Y轴范围为[y-1,y+1]内的点中逐点搜索判断是否存在深度值可用的点；
若是，则取深度值可用的点的坐标平均值为代表人物在深度坐标系中位置的深度点；若否，则将搜索范围再扩大一圈，在X轴范围为[x-2,x+2],Y轴范围为[y-2,y+2]内逐点搜索；
以此类推，直到获取深度值可用的点作为代表人物在深度坐标系中位置的深度点
Figure 100002_DEST_PATH_IMAGE048
。
深度值不可用的情况包括：深度相机获取不到深度数据，如受环境干扰。RGB算法给出的是矩形区域，但人物可以摆姿势，使得矩形中心点的位置没有人体部位，如90度弯腰鞠躬。针对以上几种情况，可以通过多次获取深度数据，以及采样点遍历的方法，有效的解决深度数据获取异常的问题。
作为优选，所述的RGBD相机中的彩色相机和深度相机固化的参数包括是否开启去畸变、焦距X、焦距Y、主点X、主点Y、1阶径向畸变系数、2阶径向畸变系数、3阶径向畸变系数、切向畸变系数1和切向畸变系数2；
通过RGBD相机中固化的参数，结合RGBD相机的位置，计算代表人物的空间坐标，输出数据为：
Figure 100002_DEST_PATH_IMAGE050
其中（dx,dy,dz）为基于深度坐标系的表示人物的空间坐标。
对于深度相机捕获的每一个点，深度相机能知道这个点相对于光心的距离及方位（入射角）。深度相机能计算出探测物以深度坐标系为参考的坐标点。在结合RGBD相机本身在空间坐标系中的位置，计算出探测物位于空间坐标系中的点。深度相机像素大小和空间大小的关系是：对于深度相机，每一个像素的实际大小是一个固定的硬件参数，通过像素大小乘以像素值，就能得到实际值。
作为优选，所述的步骤S6包括以下步骤：
S61：计算探测物于房间坐标系中坐标（rx,ry,rz）；
Figure 100002_DEST_PATH_IMAGE052
Figure 100002_DEST_PATH_IMAGE054
Figure 100002_DEST_PATH_IMAGE056
其中（sx,sy,sz）为RGBD相机在房间坐标系中的坐标；
S62：获得各侧面RGBD相机的计算结果；
S63：将各侧面RGBD相机的计算结果取平均值，输出代表人物在房间内的空间坐标。
相机坐标系的x轴和y轴方向和房间坐标系相同，但z轴方向和房间坐标系相反。房间坐标系的z轴方向是从下到上，符合人体高度的理解。但相机是按照在高处，它的z轴方向和房间刚好相反。根据相机摆放位置不同，计算公式中的深度坐标系的轴对应关系或方向都会出现不同。核心是以z轴为中心进行90度的坐标系旋转。
作为优选，RGBD相机的安装包括扩展安装，在同一侧面的长度方向依次部署若干RGBD相机，同一侧面部署的各RGBD相机识别区域拼接，覆盖全部待识别区域。
相机本身有一个识别区域限制的问题，受到视场角和深度相机探测距离的限制。如果一个房间的长度超出了识别区域，这时候就需要多个相机联合工作。也就是在长度这个方向上，需要依次部署多个相机，通过拼接这些相机的识别区域，从而达到全覆盖的要求。
本发明的有益效果是：
1.通过在室内四面布置RGBD相机，能通过AI算法直接识别人物，不需要携带定位用的终端，硬件限制少。
2.各侧面相机协同工作，适应复杂环境，定位数据稳定；可实现二维平面、三维空间的定位。
3.采用RGBD相机精度高，能达到1cm；响应速度快，能在30ms内实现定位响应。
4.多相机协同工作，同时进行多人定位，提高识别效率。
5.相机部署简单，安装时场景无需标定，不需要考虑安装误差。
6.多相机协同工作，识别范围拼接，扩展识别范围。
附图说明
图1是本发明的一种室内多人三维高精度定位方法的流程图。
图2是本发明的一种室内RGBD相机安装示意图。
图3是本发明的一种RGB算法识别人物效果示意图。
图4是本发明的一种多相机定位的特殊场景示意图。
图中，1.RGBD相机，2.探测物。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
实施例：
本实施例的一种室内多人三维高精度定位方法，如图1所示，包括以下步骤：
S1：至少在室内的两个相邻侧面分别安装RGBD相机，并修正安装误差。
如图2所示，在本实施例中，在室内的四个侧面的顶部中间位置，分别安装有RGBD相机1，RGBD相机1的镜头倾斜向下设置，RGBD相机1的镜头平面与室内的侧面之间角度为25°~45°，在本实施例中，角度为30°。
在本实施例中，安装过程为：在房间四面墙各安装一台相机，一般为墙面正中，靠近屋顶的位置，向下倾斜30度安装；相机接电源线，12v供电；相机接网线，连接交换机；服务器连接交换机；配置各设备IP；服务器导入配置，配置主要包括相机的IP，及其对应的空间坐标。
RGBD相机1的安装包括扩展安装，在同一侧面的长度方向依次部署若干RGBD相机1，同一侧面部署的各RGBD相机1识别区域拼接，覆盖全部待识别区域。
相机本身有一个识别区域限制的问题，受到视场角和探测距离的限制。如果一个房间的长度超出了识别区域，这时候就需要多个相机联合工作。也就是在长度这个方向上，需要依次部署多个相机，通过拼接这些相机的识别区域，从而达到全覆盖的要求。如：房间长12米，相机的在长度方向的区域覆盖是4米，就需要在房间2米，6米，10米处各部署一台相机。
在服务器计算方面，服务器同时向这一个方向上的各个相机请求获取数据，对于获取的数据（各相机识别到的人物的深度坐标系点），通过结合各相机位于房间的空间坐标系的坐标点，生成最终的定位数据。每台相机的工作步骤都相同，只是不同相机位于房间空间坐标系的点不一样。
安装误差修正包括安装角度修正与多相机配置校验。
安装角度修正过程为：在相机正前方放置假人，测试安装侧面到假人中心点的距离，计算出偏差角
Figure 223416DEST_PATH_IMAGE002
；
Figure DEST_PATH_IMAGE004A
其中，
Figure 812660DEST_PATH_IMAGE006
为投影角；
Figure 326818DEST_PATH_IMAGE008
为安装角，相机镜头平面与室内侧面的夹角，在本实施例中，
Figure 456448DEST_PATH_IMAGE008
为30；
d为采样点到墙面的直线距离，由工具测量测到；
l为采样点到深度相机的光心的距离。
Figure DEST_PATH_IMAGE010A
Figure DEST_PATH_IMAGE012A
Figure DEST_PATH_IMAGE014A
其中，
Figure 113563DEST_PATH_IMAGE016
为相机y轴方向焦距，相机的标定参数，固化在相机内部；
Figure 404867DEST_PATH_IMAGE018
为相机y轴方向的光心值，相机的标定参数，固化在相机内部；
Figure 406321DEST_PATH_IMAGE020
为相机x轴方向的光心值，相机的标定参数，固化在相机内部；
Figure 339642DEST_PATH_IMAGE022
为画幅中采样点的y坐标；
Figure 477362DEST_PATH_IMAGE024
为画幅中采样点的x坐标。
Figure DEST_PATH_IMAGE026A
其中，depth为采样点到相机平面的深度值，由深度相机获取。
相机配置校验的逻辑为：
确定起始相机安装位置坐标；
放置假人于起始相机与第二相机的中间位置，起始相机与第二相机相邻；
修正第二相机坐标，使其与起始相机坐标一致；
移动假人，放置假人于第二相机与第三相机的中间位置；第二相机与第三相机相邻；
修正第三相机坐标，使其与第二相机坐标一致；
依次移动假人位置，以前一相机为基准，修正后一相机的坐标，直到完成所有相机的配置校验。
通过安装误差修正，在部署RGBD相机时不需要考虑安装误差，相机不需要标定，安装简单。
S2：RGBD相机的彩色相机执行实时多人物检测识别，获取包含人物形状的人物信息矩形区域。
RGBD相机的检测帧率为10~30帧；检测帧数根据实际网络传输延迟、功耗等综合考虑设置，在本实施例中帧率为10帧。
RGBD相机的彩色相机在每一帧均执行人物的实时检测识别，如图3所示，彩色相机结合深度学习算法，获取RGB坐标系中包含人物形状的人物信息矩形区域。
通过彩色相机配合深度学习算法来进行人物的识别。算法程序调用彩色相机捕捉场景信息，并识别场景内人物信息。如果场景内没有人物，清除相机内保存的缓存数据，本次执行结束。如果场景内有人，算法会识别出场景内所有人物信息的矩形区域，该矩形区域基于彩色相机的坐标系表示，并且保存该数据在相机内存中。数据存储采用覆盖的形式，新数据覆盖旧数据。
人物识别是基于RGB数据的person检测算法，使用了深度AI学习算法，通过在coco数据集上对nanodet模型进行训练，生成适用于单分类的person检测模型，最后部署到RGBD相机，实现对人物的实时识别检测。
识别算法能够检测出场景内的多个人物，通过该RGB算法能获取到人物在画幅内的左右关系（相对于相机）。同时结合深度相机，还能确定人物的纵深。但对于一台相机，如果人物相对于相机，进行按直线竖直排成一列，如图4所示，检测的误差就会明显增加。这时候通过引入在90度方向的相机，通过另一方向的相机配合，就能准确计算出人物数量。因为对于另一方向的相机来说，这些人物是横向排列成一列，算法识别准确度非常高。
人物信息矩形区域的表现形式为：
Figure DEST_PATH_IMAGE028A
其中，
Figure 863869DEST_PATH_IMAGE030
分别为RGB坐标系中人物信息矩形区域的左上角的x轴和y轴的坐标；
width为人物信息矩形区域的宽度；
height为人物信息矩形区域的高度。
输出的坐标系以彩色相机捕获图片的左上角为原点，x轴向右，y轴向下。
数据示例如下：
{ "
Figure 352619DEST_PATH_IMAGE040
":628, "
Figure 807740DEST_PATH_IMAGE042
": 567, "width": 295, "height": 456 }；
{ "
Figure 65546DEST_PATH_IMAGE040
":1056, "
Figure 229811DEST_PATH_IMAGE042
": 802, "width": 295, "height": 586 }。
该数据表示，人物识别算法识别出了在探测范围内有两个人，以及这两个人所在位置的对应坐标（RGB坐标系）。
S3：将人物信息矩形区域的RGB坐标与深度坐标转化，输出人物信息矩形区域的深度坐标。
RGB坐标与深度坐标转化过程为：
Figure DEST_PATH_IMAGE032A
Figure DEST_PATH_IMAGE034A
其中，
Figure 861650DEST_PATH_IMAGE036
、
Figure 605615DEST_PATH_IMAGE038
分别为深度坐标的x值与y值；
Figure 983506DEST_PATH_IMAGE040
、
Figure 787514DEST_PATH_IMAGE042
分别为RGB坐标的x值与y值；
Figure 500124DEST_PATH_IMAGE044
为彩色相机的分辨率；在本实施例中，彩色相机的分辨率为1920*1080；
Figure 47780DEST_PATH_IMAGE046
为深度相机的分辨率；在本实施例中，深度相机的分辨率为640*240。
将数据带入公式，得到识别的人物在深度坐标系下的输出数据为：
{ "
Figure 280178DEST_PATH_IMAGE040
":209, "
Figure 786246DEST_PATH_IMAGE042
": 126, "width": 98, "height": 101 }；
{ "
Figure 205726DEST_PATH_IMAGE040
":353, "
Figure 822652DEST_PATH_IMAGE042
": 178, "width": 93, "height": 130 }。
该数据表示，人物识别算法识别出的人物在深度坐标系中的位置以及大小，基于深度坐标系，单位：像素。
这一步是通过服务器信号触发执行，如服务器发送获取空间内人物信息的信号。如果内存中有人物数据，则继续执行，如果没有则返回空。
RGB坐标系和深度坐标系通过相机内参标定，已使得坐标系原点重合、xy轴方向一致，只有分辨率不一致导致坐标的单位系数不一样。
S4：人物深度识别，基于人物信息矩形框的深度坐标，逐点获取对应的代表人物在深度坐标系中位置的深度点。
算法调用深度相机，获取人物相对于相机平面的深度数据集。对于每一个人物信息矩形区域，采样该矩形区域内的一系列点，通过坐标系转换成深度坐标系的点，然后获取这些点对应的深度值。
深度点选取原则为：
将人物信息矩形区域中所有的点均转化为深度坐标系中的点，通过深度相机获取各点的深度值。
取人物矩形区域的中心点（x,y），判断该点的深度值是否可用。
若是，则该点为代表人物在深度坐标系中位置的深度点。
若否，则在X轴范围为[x-1,x+1],Y轴范围为[y-1,y+1]内的点中逐点搜索判断是否存在深度值可用的点。
若是，则取深度值可用的点的坐标平均值为代表人物在深度坐标系中位置的深度点；若否，则将搜索范围再扩大一圈，在X轴范围为[x-2,x+2],Y轴范围为[y-2,y+2]内逐点搜索。
以此类推，直到获取深度值可用的点作为代表人物在深度坐标系中位置的深度点
Figure 161754DEST_PATH_IMAGE048
。
深度值不可用的情况包括：
1.深度相机获取不到深度数据，如受环境干扰。
2.RGB算法给出的是矩形区域，但人物可以摆姿势，使得矩形中心点的位置没有人体部位，如90度弯腰鞠躬。
针对以上几种情况，可以通过多次获取深度数据，以及采样点遍历的方法，有效的解决深度数据获取异常的问题。
通过计算，最终本步骤的输出是代表人物的采样点及对应的坐标。
输出数据为：
{ "
Figure 573144DEST_PATH_IMAGE040
":209, "
Figure 745499DEST_PATH_IMAGE042
": 126, "cx": 258, "cy": 176, "width": 98, "height":101 }；
{ "
Figure 634958DEST_PATH_IMAGE040
":353, "
Figure 841948DEST_PATH_IMAGE042
": 178, "cx": 399, "cy": 243, "width": 93, "height":130 }。
该数据表示，人物识别算法识别出的人物在深度坐标系中的位置以及大小以及通过深度相机识别后，认为可以用（cx, cy）这个坐标点代表这个人物（基于深度坐标系，单位：像素）。
S5：基于深度相机的人物空间坐标计算；通过RGBD相机的入射角、镜头参数和像素大小数据，根据深度点计算代表人物的空间坐标。
深度相机可以理解为一个三维的传感器，对于深度相机捕获的每一个点，深度相机能知道这个点相对于光心的距离及方位（入射角）。深度相机是能识别探测到深度相机实际距离及方向的设备，它能计算出探测物2以深度坐标系为参考的坐标点。在结合RGBD相机本身在空间坐标系中的位置，计算出探测物位于空间坐标系中的点。
深度相机像素大小和空间大小的关系是：对于深度相机，每一个像素的实际大小（单位：毫米）是一个固定的硬件参数，通过像素大小乘以像素值，就能得到实际值（单位：毫米）。
通过相机的入射角、镜头参数、像素大小等，结合公式计算出深度坐标系点的三维属性。
Figure DEST_PATH_IMAGE058
Figure DEST_PATH_IMAGE012AA
Figure DEST_PATH_IMAGE014AA
其中，
Figure 798141DEST_PATH_IMAGE016
为相机y轴方向焦距，相机的标定参数，固化在相机内部；
Figure 457792DEST_PATH_IMAGE018
为相机y轴方向的光心值，相机的标定参数，固化在相机内部；
Figure 150942DEST_PATH_IMAGE020
为相机x轴方向的光心值，相机的标定参数，固化在相机内部；
Figure 946860DEST_PATH_IMAGE022
为画幅中采样点的y坐标；
Figure 700052DEST_PATH_IMAGE024
为画幅中采样点的x坐标。
Figure DEST_PATH_IMAGE026AA
其中，depth为采样点到相机平面的深度值，由深度相机获取。
Figure DEST_PATH_IMAGE004AA
其中，
Figure 768371DEST_PATH_IMAGE006
为投影角；
Figure 265211DEST_PATH_IMAGE008
为安装角，相机镜头平面与室内侧面的夹角；
d为采样点到墙面的直线距离，由工具测量测到；
l为采样点到深度相机的光心的距离。
Figure DEST_PATH_IMAGE060
其中，distance为采样点到y轴方向墙面的距离。
RGBD相机中的彩色相机和深度相机固化的参数包括是否开启去畸变、焦距X、焦距Y、主点X、主点Y、1阶径向畸变系数、2阶径向畸变系数、3阶径向畸变系数、切向畸变系数1和切向畸变系数2。
在本实施例中，深度相机固化的参数为：
“focalLengthX”: 1337.372802734375,
“focalLengthY”: 1337.8095703125,
“principalPointX”: 958.1648559570313,
“principalPointY”: 525.929443359375,
“radialDistortionK1”: -0.34347033500671387,
“radialDistortionK2”: 0.15648886561393738,
“radialDistortionK3”: -0.041474685072898865,
“tangentialDistortionP1”: 0.000984030426479876,
“tangentialDistortionP2”: -2.742752485573874e-06,
“undistortFlag”: 1。
彩色相机的固化参数为：
“focalLengthX”: 1337.372802734375,
“focalLengthY”: 1337.8095703125,
“principalPointX”: 958.1648559570313,
“principalPointY”: 525.929443359375,
“radialDistortionK1”: -0.34347033500671387,
“radialDistortionK2”: 0.15648886561393738,
“radialDistortionK3”: -0.041474685072898865,
“tangentialDistortionP1”: 0.000984030426479876,
“tangentialDistortionP2”: -2.742752485573874e-06,
“undistortFlag": 1。
其中，undistortFlag为是否开启去畸变，1为是，0为否；
focalLengthX为焦距X；
focalLengthY为焦距Y；
principalPointX为主点X；
principalPointY为主点Y；
radialDistortionK1为1阶径向畸变系数；
radialDistortionK2为2阶径向畸变系数；
radialDistortionK3为3阶径向畸变系数；
tangentialDistortionP1为切向畸变系数1；
tangentialDistortionP2为切向畸变系数2。
通过RGBD相机中固化的参数，结合RGBD相机的位置，计算代表人物的空间坐标，输出数据为：
Figure DEST_PATH_IMAGE050A
其中（dx,dy,dz）为基于深度坐标系的表示人物的空间坐标。
在本实施例中，最终本步骤的输出是代表人物的空间坐标（基于深度传感器）。输出数据为：
{ "
Figure 851655DEST_PATH_IMAGE040
":209, "
Figure 775749DEST_PATH_IMAGE042
": 126, "cx": 258, "cy": 176, "width": 98, "height":101, "dx": 2000, "dy": 1700, "dz": 2000 },
{ "
Figure 409993DEST_PATH_IMAGE040
":353, "
Figure 694212DEST_PATH_IMAGE042
": 178, "cx": 399, "cy": 243, "width": 93, "height":130, "dx": 1500, "dy": 2400, "dz": 1950 }
该数据中，新增的（dx, dy, dz）表示人物的空间坐标（基于深度传感器空间坐标系，单位mm）。
S6：基于房间的人物空间坐标计算；将各RGBD相机的空间坐标系分别转换为房间坐标系；多RGBD相机综合分析，获得代表人物在房间内的空间坐标。
服务器获取到的数据是基于相机的深度坐标系的坐标数据。服务器需要把获取的相机坐标系转换成房间坐标系。
如图2中位于图中上方的RGBD相机，其坐标系的x轴和y轴方向和房间坐标系相同，相机坐标系的z轴方向和房间坐标系相反。房间坐标系的z轴方向是从下到上，符合人体高度的理解。但相机是按照在高处，它的z轴方向和房间刚好相反。
相机获得探测物于房间坐标系中坐标（rx,ry,rz）；
Figure DEST_PATH_IMAGE052A
Figure DEST_PATH_IMAGE054A
Figure DEST_PATH_IMAGE056A
其中（sx,sy,sz）为RGBD相机在房间坐标系中的坐标；
（dx,dy,dz）为深度相机识别的探测物坐标。
根据相机摆放位置不同，计算公式中的深度坐标系的轴对应关系或方向都会出现不同。核心是以z轴为中心进行90度的坐标系旋转。
图2中左侧RGBD相机，其计算公式为：
Figure DEST_PATH_IMAGE052AA
Figure DEST_PATH_IMAGE062
Figure DEST_PATH_IMAGE056AA
图2中下方RGBD相机，其计算公式为：
Figure DEST_PATH_IMAGE064
Figure DEST_PATH_IMAGE062A
Figure DEST_PATH_IMAGE056AAA
图2中右侧RGBD相机，其计算公式为：
Figure DEST_PATH_IMAGE064A
Figure DEST_PATH_IMAGE054AA
Figure DEST_PATH_IMAGE056AAAA
通过上述公式计算，每个RGBD相机都会计算出一个人物的空间坐标，再求取平均值，最终本步骤的输出是代表人物在房间内的空间坐标（基于房间坐标系）。
输出数据为：
{ "
Figure 231766DEST_PATH_IMAGE040
":209, "
Figure 61182DEST_PATH_IMAGE042
": 126, "cx": 258, "cy": 176, "width": 98, "height":101, "dx": 2000, "dy": 1700, "dz": 2000 , "rx": 2000, "ry": 1700, "rz": 800}；
{ "
Figure 182722DEST_PATH_IMAGE040
":353, "
Figure 21365DEST_PATH_IMAGE042
": 178, "cx": 399, "cy": 243, "width": 93, "height":130, "dx": 1500, "dy": 2400, "dz": 1950 , "rx": 3500, "ry": 2400, "rz": 850}。
该数据中，新增的（rx, ry, rz）表示人物的空间坐标（基于房间坐标系，单位mm）。
本申请通过在室内四面布置RGBD相机，能通过AI算法直接识别人物，不需要携带定位用的终端，硬件限制少。各侧面相机协同工作，适应复杂环境，定位数据稳定；精度高，能达到1cm；响应速度快，能在30ms内实现定位响应。
多相机协同工作，同时进行多人定位，提高识别效率。同时相机部署简单，安装时场景无需标定，不需要考虑安装误差。
应理解，实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

Claims (10)

1.一种室内多人三维高精度定位方法，其特征在于，包括以下步骤：
S1：至少在室内的两个相邻侧面分别安装RGBD相机，并修正安装误差；
S2：RGBD相机的彩色相机执行实时多人物检测识别，获取包含人物形状的人物信息矩形区域；
S3：将人物信息矩形区域的RGB坐标与深度坐标转化，输出人物信息矩形区域的深度坐标；
S4：人物深度识别，基于人物信息矩形框的深度坐标，逐点获取对应的代表人物在深度坐标系中位置的深度点；
S5：基于深度相机的人物空间坐标计算；通过RGBD相机的入射角、镜头参数和像素大小数据，根据深度点计算代表人物的空间坐标；
S6：基于房间的人物空间坐标计算；将各RGBD相机的空间坐标系分别转换为房间坐标系；多RGBD相机综合分析，获得代表人物在房间内的空间坐标。
2.根据权利要求1所述的一种室内多人三维高精度定位方法，其特征在于，在室内的四个侧面的顶部中间位置，分别安装有RGBD相机，所述的RGBD相机的镜头倾斜向下设置，RGBD相机的镜头平面与室内的侧面之间角度为25°~45°。
3.根据权利要求1或2所述的一种室内多人三维高精度定位方法，其特征在于，所述的安装误差修正包括安装角度修正与多相机配置校验；
安装角度修正过程为：在相机正前方放置假人，测试安装侧面到假人中心点的距离，计算出偏差角
Figure DEST_PATH_IMAGE002
；
Figure DEST_PATH_IMAGE004
其中，
Figure DEST_PATH_IMAGE006
为投影角；
Figure DEST_PATH_IMAGE008
为安装角，相机镜头平面与室内侧面的夹角；
d为采样点到墙面的直线距离，由工具测量测到；
l为采样点到深度相机的光心的距离；
Figure DEST_PATH_IMAGE010
Figure DEST_PATH_IMAGE012
Figure DEST_PATH_IMAGE014
其中，
Figure DEST_PATH_IMAGE016
为相机y轴方向焦距，相机的标定参数，固化在相机内部；
Figure DEST_PATH_IMAGE018
为相机y轴方向的光心值，相机的标定参数，固化在相机内部；
Figure DEST_PATH_IMAGE020
为相机x轴方向的光心值，相机的标定参数，固化在相机内部；
Figure DEST_PATH_IMAGE022
为画幅中采样点的y坐标；
Figure DEST_PATH_IMAGE024
为画幅中采样点的x坐标；
Figure DEST_PATH_IMAGE026
其中，depth为采样点到相机平面的深度值，由深度相机获取。
4.根据权利要求3所述的一种室内多人三维高精度定位方法，其特征在于，所述的多相机配置校验的逻辑为：
确定起始相机安装位置坐标；
放置假人于起始相机与第二相机的中间位置，起始相机与第二相机相邻；
修正第二相机坐标，使其与起始相机坐标一致；
移动假人，放置假人于第二相机与第三相机的中间位置；第二相机与第三相机相邻；
修正第三相机坐标，使其与第二相机坐标一致；
依次移动假人位置，以前一相机为基准，修正后一相机的坐标，直到完成所有相机的配置校验。
5.根据权利要求1所述的一种室内多人三维高精度定位方法，其特征在于，所述的RGBD相机帧率为10~30帧；
在RGBD相机的每一帧均执行人物的实时检测识别，彩色相机结合深度学习算法，获取RGB坐标系中包含人物形状的人物信息矩形区域；
人物信息矩形区域的表现形式为：
Figure DEST_PATH_IMAGE028
其中，
Figure DEST_PATH_IMAGE030
分别为RGB坐标系中人物信息矩形区域的左上角的x轴和y轴的坐标；
width为人物信息矩形区域的宽度；
height为人物信息矩形区域的高度。
6.根据权利要求1或5所述的一种室内多人三维高精度定位方法，其特征在于，所述的RGB坐标与深度坐标转化过程为：
Figure DEST_PATH_IMAGE032
Figure DEST_PATH_IMAGE034
其中，
Figure DEST_PATH_IMAGE036
、
Figure DEST_PATH_IMAGE038
分别为深度坐标的x值与y值；
Figure DEST_PATH_IMAGE040
、
Figure DEST_PATH_IMAGE042
分别为RGB坐标的x值与y值；
Figure DEST_PATH_IMAGE044
为彩色相机的分辨率；
Figure DEST_PATH_IMAGE046
为深度相机的分辨率。
7.根据权利要求1所述的一种室内多人三维高精度定位方法，其特征在于，所述的深度点选取原则为：
将人物信息矩形区域中所有的点均转化为深度坐标系中的点，通过深度相机获取各点的深度值；
取人物矩形区域的中心点（x,y），判断该点的深度值是否可用；
若是，则该点为代表人物在深度坐标系中位置的深度点；
若否，则在X轴范围为[x-1,x+1],Y轴范围为[y-1,y+1]内的点中逐点搜索判断是否存在深度值可用的点；
若是，则取该点为代表人物在深度坐标系中位置的深度点；若否，则将搜索范围再扩大一圈，在X轴范围为[x-2,x+2],Y轴范围为[y-2,y+2]内逐点搜索；
以此类推，直到获取深度值可用的点作为代表人物在深度坐标系中位置的深度点
Figure DEST_PATH_IMAGE048
。
8.根据权利要求1或 7所述的一种室内多人三维高精度定位方法，其特征在于，所述的RGBD相机中的彩色相机和深度相机固化的参数包括是否开启去畸变、焦距X、焦距Y、主点X、主点Y、1阶径向畸变系数、2阶径向畸变系数、3阶径向畸变系数、切向畸变系数1和切向畸变系数2；
通过RGBD相机中固化的参数，结合RGBD相机的位置，计算代表人物的空间坐标，输出数据为：
Figure DEST_PATH_IMAGE050
其中（dx,dy,dz）为基于深度坐标系的表示人物的空间坐标。
9.根据权利要求7所述的一种室内多人三维高精度定位方法，其特征在于，所述的步骤S6包括以下步骤：
S61：计算探测物于房间坐标系中坐标（rx,ry,rz）；
Figure DEST_PATH_IMAGE052
Figure DEST_PATH_IMAGE054
Figure DEST_PATH_IMAGE056
其中（sx,sy,sz）为RGBD相机在房间坐标系中的坐标；
S62：获得各侧面RGBD相机的计算结果；
S63：将各侧面RGBD相机的计算结果取平均值，输出代表人物在房间内的空间坐标。
10.根据权利要求1或2所述的一种室内多人三维高精度定位方法，其特征在于，RGBD相机的安装包括扩展安装，在同一侧面的长度方向依次部署若干RGBD相机，同一侧面部署的各RGBD相机识别区域拼接，覆盖全部待识别区域。
CN202110682395.8A 2021-06-21 2021-06-21 一种室内多人三维高精度定位方法 Active CN113256721B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110682395.8A CN113256721B (zh) 2021-06-21 2021-06-21 一种室内多人三维高精度定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110682395.8A CN113256721B (zh) 2021-06-21 2021-06-21 一种室内多人三维高精度定位方法

Publications (2)

Publication Number Publication Date
CN113256721A true CN113256721A (zh) 2021-08-13
CN113256721B CN113256721B (zh) 2021-12-03

Family

ID=77188790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110682395.8A Active CN113256721B (zh) 2021-06-21 2021-06-21 一种室内多人三维高精度定位方法

Country Status (1)

Country Link
CN (1) CN113256721B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677446A (zh) * 2022-03-21 2022-06-28 华南理工大学 基于路侧多传感器融合的车辆检测方法、装置及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150350846A1 (en) * 2014-05-27 2015-12-03 Qualcomm Incorporated Methods and apparatus for position estimation
US20160180195A1 (en) * 2013-09-06 2016-06-23 Toyota Jidosha Kabushiki Kaisha Augmenting Layer-Based Object Detection With Deep Convolutional Neural Networks
CN109304866A (zh) * 2018-09-11 2019-02-05 魏帅 使用3d摄像头自助拍照打印3d人像的一体设备及方法
CN110728717A (zh) * 2019-09-27 2020-01-24 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质
CN111160280A (zh) * 2019-12-31 2020-05-15 芜湖哈特机器人产业技术研究院有限公司 基于rgbd相机的目标物体识别与定位方法及移动机器人
CN111388063A (zh) * 2020-02-24 2020-07-10 中山大学 一种基于光磁融合的消融针定位导航方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160180195A1 (en) * 2013-09-06 2016-06-23 Toyota Jidosha Kabushiki Kaisha Augmenting Layer-Based Object Detection With Deep Convolutional Neural Networks
US20150350846A1 (en) * 2014-05-27 2015-12-03 Qualcomm Incorporated Methods and apparatus for position estimation
CN109304866A (zh) * 2018-09-11 2019-02-05 魏帅 使用3d摄像头自助拍照打印3d人像的一体设备及方法
CN110728717A (zh) * 2019-09-27 2020-01-24 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质
CN111160280A (zh) * 2019-12-31 2020-05-15 芜湖哈特机器人产业技术研究院有限公司 基于rgbd相机的目标物体识别与定位方法及移动机器人
CN111388063A (zh) * 2020-02-24 2020-07-10 中山大学 一种基于光磁融合的消融针定位导航方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677446A (zh) * 2022-03-21 2022-06-28 华南理工大学 基于路侧多传感器融合的车辆检测方法、装置及介质
CN114677446B (zh) * 2022-03-21 2024-05-24 华南理工大学 基于路侧多传感器融合的车辆检测方法、装置及介质

Also Published As

Publication number Publication date
CN113256721B (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
CN110400315A (zh) 一种缺陷检测方法、装置及系统
CN110910460B (zh) 一种获取位置信息的方法、装置及标定设备
CN106092054A (zh) 一种电力线路识别精准定位导航方法
CN106370160A (zh) 一种机器人室内定位系统和方法
CN112232279A (zh) 一种人员间距检测方法和装置
CN111220126A (zh) 一种基于点特征和单目相机的空间物体位姿测量方法
CN106352871A (zh) 一种基于天花板人工信标的视觉室内定位系统和方法
CN108459597A (zh) 一种用于处理任务区域的任务的移动电子设备以及方法
JP4132068B2 (ja) 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
CN112884841B (zh) 一种基于语义目标的双目视觉定位方法
Aliakbarpour et al. An efficient algorithm for extrinsic calibration between a 3d laser range finder and a stereo camera for surveillance
CN113329179B (zh) 拍摄对位方法、装置、设备及存储介质
JP2003050107A (ja) カメラ校正装置
CN110634138A (zh) 一种基于视觉感知的桥梁变形的监测方法、装置及设备
Mi et al. A vision-based displacement measurement system for foundation pit
CN113256721B (zh) 一种室内多人三维高精度定位方法
CN110991306B (zh) 自适应的宽视场高分辨率智能传感方法和系统
CN112308930A (zh) 相机外参标定方法、系统及装置
CN111062986A (zh) 基于单目视觉的共享单车辅助定位方法及装置
CN115808170B (zh) 一种融合蓝牙与视频分析的室内实时定位方法
CN108592789A (zh) 一种基于bim和机器视觉技术的钢结构工厂预拼装方法
CN112884832A (zh) 一种基于多目视觉的智能小车轨迹预测方法
KR20140011672A (ko) 로봇 제어 방법 및 장치
KR101997563B1 (ko) 이동 기기의 위치 인식 방법
Yang et al. A novel slam method using wi-fi signal strength and rgb-d images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant