CN111767767A - 室内物体的检测方法、装置、电子设备与存储介质 - Google Patents
室内物体的检测方法、装置、电子设备与存储介质 Download PDFInfo
- Publication number
- CN111767767A CN111767767A CN201910442259.4A CN201910442259A CN111767767A CN 111767767 A CN111767767 A CN 111767767A CN 201910442259 A CN201910442259 A CN 201910442259A CN 111767767 A CN111767767 A CN 111767767A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- indoor
- ground
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 239000011159 matrix material Substances 0.000 claims abstract description 73
- 238000001514 detection method Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种室内物体的检测方法、装置、电子设备与存储介质，该方法包括：获取室内的点云数据；根据所述点云数据，确定用于将所述点云数据的坐标系Z轴旋转到与室内的地面垂直的旋转矩阵；根据所述旋转矩阵，将所述点云数据进行旋转；根据旋转后的点云数据，检测所述室内的物体，进而实现对室内物体的准确检测，基于准确检测的室内物体，可以实现对室内物体的位置关系的准确标定。
Description
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种室内物体的检测方法、装置、电子设备与存储介质。
背景技术
随着科技的发展以及人们生活水平的提高，无人超市应用而生，无人超市为全天候24小时无人值守的智慧型自助便利店。无人超市需要对消费者的行需要实时监控，在监控之前，首先需要实现无人超市的场景建模。
无人超市的场景建模的目的是确定无人超市室内相关物体的相互位置关系，如货架，闸机，物品等之间的位置关系。根据无人超市室内的物体相关位置关系，以及利用计算机视觉对消费者进行跟踪，获得消费者的位置，即可对消费者的行为(例如进出店、拿取商品等)进行判断，识别等。
目前是人工手工对无人超市内的货架，闸机等物体的位置关系进行标定，其准确性低。
发明内容
本申请实施例提供一种室内物体的检测方法、装置、电子设备与存储介质，用于实现对室内物体进行准确检测，进而实现对室内的货架，闸机等物体的位置关系的准确标定。
第一方面，本申请实施例提供一种室内物体的检测方法，包括；
获取室内的点云数据；
根据所述点云数据，确定用于将所述点云数据的坐标系Z轴旋转到与室内的地面垂直的旋转矩阵；
根据所述旋转矩阵，将所述点云数据进行旋转；
根据旋转后的点云数据，检测所述室内的物体。
在第一方面的一种可能的实现方式中，所述根据旋转后的点云数据，检测所述室内的物体，包括：
根据旋转后的点云数据，获取至少三个顶点的点云数据，所述至少三个顶点不共面；
根据所述至少三个顶点的点云数据，确定立方体，所述立方体的顶点包括所述至少三个顶点；
根据所述立方体为物体的外接立方体，将所述立方体框内的物体检测为所述室内的物体。
在第一方面的另一种可能的实现方式中，所述方法还包括：
根据所述旋转矩阵的逆矩阵，将所述物体的所述外接立方体进行旋转。
在第一方面的另一种可能的实现方式中，所述方法还包括：
若所述物体为货架，根据货架的标准尺寸，将所述外接立方体划分为多个置物区域。
在第一方面的另一种可能的实现方式中，所述根据旋转后的点云数据，获取所述至少三个顶点的点云数据，包括：
显示所述旋转后的点云数据的图像；
根据用户的顶点选择操作，获取所述至少三个角点的点云数据；
所述顶点选择操作是用户基于所述图像输入的，且用于选择所述至少三个角点。
在第一方面的另一种可能的实现方式中，所述根据所述点云数据，确定用于将所述点云数据的坐标系Z轴旋转到与室内的地面垂直的旋转矩阵，包括：
根据所述点云数据，创建所述室内的地面方程；
根据所述室内的地面方程，确定所述室内的地面与所述点云数据的坐标系Z轴的夹角；
根据所述夹角，确定用于将所述点云数据的坐标系Z轴旋转到与室内的地面垂直的旋转矩阵。
在第一方面的另一种可能的实现方式中，所述根据所述室内的地面方程，确定所述室内的地面与所述点云数据的坐标系Z轴的夹角，包括：
根据所述室内的地面方程，确定所述室内的地面的法向量；
根据所述法向量，确定所述室内的地面与所述点云数据的坐标系Z轴的夹角。
在第一方面的另一种可能的实现方式中，所述根据所述夹角，确定用于将所述点云数据的坐标系Z轴旋转到与地面垂直的旋转矩阵，包括：
根据所述夹角，确定用于将所述点云数据的坐标系Z轴旋转到与地面垂直的旋转角；
根据所述旋转角，确定所述旋转矩阵。
在第一方面的另一种可能的实现方式中，所述根据所述点云数据，创建所述室内的地面方程，包括：
从所述室内的点云数据中获取所述室内地面的点云数据；
根据所述室内地面的点云数据，创建所述室内的地面方程。
第二方面，本申请实施例提供一种室内物体的检测装置，包括：
获取模块，用于获取室内的点云数据；
确定模块，用于根据所述点云数据，确定用于将所述点云数据的坐标系Z轴旋转到与室内的地面垂直的旋转矩阵；
旋转模块，用于根据所述旋转矩阵，将所述点云数据进行旋转；
检测模块，用于根据旋转后的点云数据，检测所述室内的物体。
在第二方面的一种可能的实现方式中，所述检测模块包括获取单元和确定单元，包括：
所述获取单元，用于根据旋转后的点云数据，获取至少三个顶点的点云数据，所述至少三个顶点不共面；
所述确定单元，用于根据所述至少三个顶点的点云数据，确定立方体，所述立方体的顶点包括所述至少三个顶点；根据所述立方体为物体的外接立方体，将所述立方体框内的物体检测为所述室内的物体。
在第二方面的另一种可能的实现方式中，所述旋转模块，还用于根据所述旋转矩阵的逆矩阵，将所述物体的所述外接立方体进行旋转。
在第二方面的另一种可能的实现方式中，所述装置还包括划分模块：
所述划分模块，用于若所述物体为货架，根据货架的标准尺寸，将所述外接立方体划分为多个置物区域。
在第二方面的另一种可能的实现方式中，所述获取单元包括显示子单元和获取子单元，包括：
所述显示子单元，用于显示所述旋转后的点云数据的图像；
所述获取子单元，用于根据用户的顶点选择操作，获取所述至少三个角点的点云数据；所述顶点选择操作是用户基于所述图像输入的，且用于选择所述至少三个角点。
在第二方面的另一种可能的实现方式中，所述确定模块包括创建单元、夹角确定单元和旋转矩阵确定单元，包括：
所述创建单元，用于根据所述点云数据，创建所述室内的地面方程；
所述夹角确定单元，用于根据所述室内的地面方程，确定所述室内的地面与所述点云数据的坐标系Z轴的夹角；
所述旋转矩阵确定单元，用于根据所述夹角，确定用于将所述点云数据的坐标系Z轴旋转到与室内的地面垂直的旋转矩阵。
在第二方面的另一种可能的实现方式中，所述夹角确定单元，具体用于根据所述室内的地面方程，确定所述室内的地面的法向量；根据所述法向量，确定所述室内的地面与所述点云数据的坐标系Z轴的夹角。
在第二方面的另一种可能的实现方式中，所述旋转矩阵确定单元，具体用于根据所述夹角，确定用于将所述点云数据的坐标系Z轴旋转到与地面垂直的旋转角；根据所述旋转角，确定所述旋转矩阵。
在第二方面的另一种可能的实现方式中，所述创建单元，具体用于从所述室内的点云数据中获取所述室内地面的点云数据；根据所述室内地面的点云数据，创建所述室内的地面方程。
第三方面，本申请实施例提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现第一方面所述的室内物体的检测方法。
第四方面，本申请实施例提供一种计算机存储介质，所述存储介质中存储计算机程序，所述计算机程序在执行时实现如第一方面任一项所述的室内物体的检测方法。
本申请实施例提供的室内物体的检测方法、装置、电子设备与存储介质，通过获取室内的点云数据；根据所述点云数据，确定用于将所述点云数据的坐标系Z轴旋转到与室内的地面垂直的旋转矩阵；根据所述旋转矩阵，将所述点云数据进行旋转；根据旋转后的点云数据，检测所述室内的物体，进而实现对室内物体的准确检测，基于准确检测的室内物体，可以实现对室内的货架，闸机等物体的位置关系的准确标定。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的室内物体的检测方法的流程图；
图2为本申请实施例提供的室内物体的检测过程的另一流程图；
图3为本申请实施例采集的室内的局部点云数据的示意图；
图4为本申请实施例提供的室内物体的检测过程的另一流程图；
图5为本申请实施例提供的室内物体的检测过程的另一流程图；
图6为本申请实施例提供的室内物体的检测过程的又一流程图；
图7为本申请实施例的一种点云数据示意图；
图8为本申请实施例的另一种点云数据示意图；
图9为本申请实施例的物体的外接立方体示意图；
图10为本申请实施例的另一种点云数据示意图；
图11为本申请实施例提供的室内物体的检测装置的一种结构示意图；
图12为本申请实施例提供的室内物体的检测装置的另一结构示意图；
图13为本申请实施例提供的室内物体的检测装置的另一结构示意图；
图14为本申请实施例提供的室内物体的检测装置的另一结构示意图；
图15为本申请实施例提供的室内物体的检测装置的另一结构示意图；
图16为本申请实施例提供的电子设备的一结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
首先对本申请实施例涉及的相关专业数据进行介绍。
世界坐标系(world coordinate system)，坐标(Xw,Yw,Zw)。
相机坐标系(camera coordinate system)，坐标(Xc,Yc,Zc)。
图像坐标系(image coordinate system)，坐标(x,y)。
像素坐标系，坐标(u,v)，其中(u0,v0)是图像坐标系原点在像素坐标系中的坐标。
相机标定：世界坐标到像素坐标的映射。在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标定(或摄像机标定)。
摄像机内参：确定摄像机从三维空间到二维图像的投影关系，即相机坐标系→图像坐标系。摄像机内参包括：fx、fy、u0、v0。其中，fx、fy表示x方向和y方向的一个像素分别占多少长度单位，即一个像素代表的实际物理值的大小，其是实现图像物理坐标系与像素坐标系转换的关键。u0、v0表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数。
摄像机外参：决定摄像机坐标与世界坐标系之间相对位置关系，即世界坐标系→相机坐标系。摄像机外参包括：R、T。
Pc＝RPw+T。其中，Pw为世界坐标，Pc是摄像机坐标。T＝(Tx,Ty,Tz)，是平移向量，R＝R(α,β,γ)是旋转矩阵，分别是绕摄像机坐标系z轴旋转角度为γ，绕y轴旋转角度为β，绕x轴旋转角度为α。6个参数组成(α,β,γ,Tx,Ty,Tz)为摄像机外参。
下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本申请实施例提供的室内物体的检测方法的流程图，如图1所示，本申请实施例的方法可以包括：
S101、获取室内的点云数据。
本申请实施例的执行主体为具有室内物体的检测功能的装置，简称检测装置，该检测装置集成在电子设备上，也可以为单独的电子设备。
该电子设备可以是手机(mobile phone)、平板电脑(Pad)、带无线收发功能的电脑、虚拟现实(Virtual Reality，VR)终端设备、增强现实(Augmented Reality，AR)电子设备、工业控制(industrial control)中的无线电子设备、无人驾驶(self driving)中的无线电子设备、远程医疗(remote medical)中的无线电子设备、智能电网(smart grid)中的无线电子设备、运输安全(transportation safety)中的无线电子设备、智慧城市(smartcity)中的无线电子设备、智慧家庭(smart home)中的无线电子设备等等，本申请实施例对此不作限定。
在一种示例中，在室内(例如无人超市内)安装多个深度摄像头，实时对室内进行监控，该深度摄像头可以采集到室内的点云数据，该点云数据为三维点云，每个点云包括三维坐标(Xc,Yc,Zc)，同时，该深度摄像头还可以采集到RGB数据。
在另一种示例中，在室内安装普通摄像头和激光雷达，该激光雷达可以采集到室内的各点的深度信息，该普通摄像头可以采集到室内的各点的二维坐标，这样将激光雷达采集的深度信息和普通摄像头采集的二维坐标进行结合，可以获得室内的点云数据。
可选的，本申请实施例还可以采集其他的方式，获取室内的点云数据，本申请实施例对获取室内的点云数据的具体方法不做限制，具体根据实际需要确定。
S102、根据所述点云数据，确定用于将所述点云数据的坐标系Z轴旋转到与室内的地面垂直的旋转矩阵。
上述点云数据为摄像头采集的，点云数据对应的坐标系为摄像头的坐标系，即为上述的相机坐标系(Xc,Yc,Zc)。
由于摄像头的安装误差，使得安装的摄像头与地面之间的位置关系不满足预设要求，即摄像头的相机坐标系(Xc,Yc,Zc)中的Z轴与地面不垂直，因此，需要根据点云数据，确定用于将点云数据的坐标系Z轴旋转到与室内的地面垂直的旋转矩阵。
在一种示例中，对点云数据进行检测，获取点云数据中的地面上的点云数据，根据地面上的点云数据，确定地面的法线。根据地面的法线，确定将地面的法线旋转至点云数据的Z轴平行的旋转矩阵，将该旋转矩阵作为用于将点云数据的坐标系Z轴旋转到与室内的地面垂直的旋转矩阵。
在另一种示例中，获取点云数据的坐标系中的X轴和Y轴，确定使得点云数据的坐标系X轴和Y轴旋转至地面上的旋转矩阵，将该旋转矩阵作为用于将点云数据的坐标系Z轴旋转到与室内的地面垂直的旋转矩阵。
可选的，本申请实施例还可以基于其他的方式，根据点云数据，确定用于将点云数据的坐标系Z轴旋转到与室内的地面垂直的旋转矩阵，本申请实施例对此不做限制。
S103、根据所述旋转矩阵，将所述点云数据进行旋转。
基于上述步骤，确定用于将点云数据的坐标系Z轴旋转到与室内的地面垂直的旋转矩阵后，使用该旋转矩阵，对采集的点云数据进行旋转，使得旋转后的点云数据的Z轴与地面垂直。
具体是，将室内点云数据与旋转矩阵相乘，将点云数据进行一次旋转，旋转后的点云数据的Z轴与地面垂直。
S104、根据旋转后的点云数据，检测所述室内的物体。
基于上述步骤，使得旋转矩阵对点云数据进行旋转后，根据该旋转后的室内的点云数据来检测室内的物体。
在一种示例中，基于深度神经网络模型，检测室内的物体，例如将旋转后的点云数据输入训练好的深度神经网络模型中，获得深度神经网络模型输出的室内物体的检测结果。
该深度神经网络模型可以是DCN(深度卷积网络)、CNN(卷积神经网络)等。
本申请实施例的室内物体的检测方法，通过获取室内的点云数据；根据所述点云数据，确定用于将所述点云数据的坐标系Z轴旋转到与室内的地面垂直的旋转矩阵；根据所述旋转矩阵，将所述点云数据进行旋转；根据旋转后的点云数据，检测所述室内的物体，进而实现对室内物体的准确检测，基于准确检测的室内物体，可以实现对例如无人超市内的货架，闸机等物体的位置关系的准确标定。
在上述图1所示的实施例的基础上，参照图2所示，图2为本申请实施例提供的室内物体的检测过程的另一流程图，本申请实施例涉及的是根据所述点云数据，确定用于将所述点云数据的坐标系Z轴旋转到与室内的地面垂直的旋转矩阵的一种具体过程。如图2所示，上述S102可以包括：
S201、根据所述点云数据，创建所述室内的地面方程。
本申请实施例采集的点云数据为整个室内的点云数据，因此，该点云数据包括室内地面的点云数据。这样，基于这些地面的点云数据，可以创建室内的地面方程。
在一种可能的实现方式中，上述S201包括步骤A和步骤B。
步骤A、从所述室内的点云数据中获取所述室内地面的点云数据。
本申请实施例对从室内的点云数据中获取室内地面的点云数据的方式不做限制。
在一种示例中，从文件或设备中获得室内的点云数据，图3为本申请实施例采集的室内的局部点云数据的示意图，将该室内的点云数据可视化为用户，用户在图3所示的点云数据中在地面区域处标记，进而获得地面的点云数据。
在另一种示例中，使用已有的图像处理方法，基于室内的点云数据，对地图进行分割，可以获得属于地面的点云数据。
步骤B、根据所述地面的点云数据，创建所述室内的地面方程。
根据上述步骤A从室内的点云数据中获取室内地面的点云数据后，将室内地面的点云数据带入如下公式(1)中，可以确定出下面地面方程中的参数A、B、C和D，进而获得室内的地面方程。
A·x+B·y+C·z+D＝0， (1)
S202、根据所述室内的地面方程，确定所述室内的地面与所述点云数据的坐标系Z轴的夹角。
根据上述公式(1)确定室内的地面方程，可以室内的地面与点云数据的坐标系Z轴的夹角。
在一种示例中，根据室内的地面方程，确定属于地面上的一条直线L，确定该直线L与点云数据的坐标系Z轴的夹角，将该夹角确定为室内的地面与点云数据的坐标系Z轴的夹角。
在另一种示例中，如图4所示，上述步骤S202可以包括S2021和S2022。
S2021、根据所述室内的地面方程，确定所述室内的地面的法向量。
S2022、根据所述法向量，确定所述室内的地面与所述点云数据的坐标系Z轴的夹角。
具体的，根据人超市的地面方程，确定室内的地面的法向量为
任意在点云数据的坐标系的Z轴上取一点，例如
根据公式(2)，获得室内的地面与点云数据的坐标系Z轴的夹角α。
S203、根据所述夹角，确定用于将所述点云数据的坐标系Z轴旋转到与室内的地面垂直的旋转矩阵。
在一种示例中，上述S203包括步骤C和步骤D。
步骤C、根据所述夹角，确定用于将所述点云数据的坐标系Z轴旋转到与地面垂直的旋转角。
具体是，根据空间坐标转换关系和夹角α，确定坐标系Z轴的旋转角度Pitch，坐标系Y轴旋转角度Yaw，坐标系X轴旋转角度Roll，其中根据空间坐标转换关系和夹角α确定旋转角度Pitch，旋转角度Yaw和旋转角度Roll的具体过程参照已有方法，本申请实施例在此不再赘述。
步骤D、根据所述旋转角，确定所述旋转矩阵。
具体的，根据上述三个旋转角获得如下三个旋转矩阵：
本申请实施例的方法，通过根据所述点云数据，创建所述室内的地面方程；根据所述室内的地面方程，确定所述室内的地面与所述点云数据的坐标系Z轴的夹角；根据所述夹角，确定用于将所述点云数据的坐标系Z轴旋转到与室内的地面垂直的旋转矩阵，进而实现对旋转矩阵的准确确定。
在上述图1和/或图2所示的实施例的基础上，参照图5所示，图5为本申请实施例提供的室内物体的检测过程的另一流程图，本申请实施例涉及的是根据旋转后的点云数据，检测所述室内的物体的一种具体过程。如图5所示，上述S104可以包括：
S301、根据旋转后的点云数据，获取至少三个顶点的点云数据，所述至少三个顶点不共面。
本步骤，从旋转后的点云数据中的各角点的点云数据，从这些角点的点云数据中获取至少三个顶点的点云数据，该至少三个顶点的点云数据不共面。
在一种可能的实现方式中，如图6所示，上述S301包括S3011、S3012和S3013。
S3011、显示所述旋转后的点云数据的图像。
本申请实施例，将点云数据进行旋转后，将旋转后的点云数据进行可视化，形成可视化的如图7所示的点云数据的图像。
S3012、根据用户的顶点选择操作，获取所述至少三个角点的点云数据，所述顶点选择操作是用户基于所述图像输入的，且用于选择所述至少三个角点。
具体的，如图8所示，用户在可视化的图8上对至少三个顶点进行选择操作，例如图8中三个圆圈对应的三个顶点为用户选择的三个顶点，这样电子设备可以根据用户的顶点选择操作，获取至少三个角点的点云数据。
在一种示例中，假设上述选择至少三个顶点包括三个顶点，这三个顶点的选择规则是：选择与地面平面的一个面上的两个顶点，再选择一个与已经选择了的两个点不“共面”的一个点，此处共面指的是选择的三个顶点得到的一个立方地，第三个点与前两个点的任意一个点不会同时落到同一个立方体的表面上。
S302、根据所述至少三个顶点的点云数据，确定立方体，所述立方体的顶点包括所述至少三个顶点。
S303、根据所述立方体为物体的外接立方体，将所述立方体框内的物体检测为所述室内的物体。
室内的物体例如包括货架、闸机等，这样物体通常为放置在地面上，且为长方体。
假设上述选择的物体的三个顶点a＝(a1,a2,a3)，b＝(b1,b2,b3)，c＝(c1,c2,c3)，如图9所示，以这设A为a点，B为b点，那么c点可能是G点或者是H点。那么：A＝(a1,a2,a3),B＝(b1,b2,b3),C＝(a1,a2,c3)，D＝(b1,b2,c3)。
当G＝c时：G＝(c1,c2,c3)，E＝(c1,c2,a3)或者E＝(c1,c2,b3)，F＝E-A+B＝(c1，c2，c3)，F＝E-A+B＝(c1-a1+b1,c2-a2+b2,b3)，H＝G-C+D＝(c1-a1+b2,c2-a2+b2，c3)。
当H＝c时：H＝(c1,c2,c3)，F＝(c1,c2,a3)或者F＝(c1,c2,b3)，E＝F-B+A＝(c1-b1+a1，c2-b2+a2,b3)，G＝H-D+C＝(c1-b1+a1,c2-b2+a2,c3)。A,B,C,D,E,F,G为场景建模中场景中物体的外接长方体。
在本申请实施例的一种可能的实现方式中，本申请实施例的方法还包括：
S304、根据所述旋转矩阵的逆矩阵，将所述物体的所述外接立方体进行旋转。
具体的，分别用外接立方体的8个顶点乘以上述旋转矩阵的逆，将物体的外接立方体进行旋转，得到在点云数据坐标下场景中物体外接长方体，将该外接长方体作为室内物体的三维模型。
在本申请实施例的另一种可能的实现方式中，本申请实施例的方法还包括：若所述物体为货架，根据货架的标准尺寸，将所述外接立方体划分为多个置物区域。
具体的，如图10所示，假设物体为货架，例如图10中标号0018和0017所示的两个货架，每个货架包括多个方格，且这些方格的尺寸基本一致，将上述方格称为置物区域。这样，为了实现对货架中各置物区域的模型，可以根据货架的标准尺寸，将外接立方体划分为多个置物区域，进而获得各置物区域的模型。
本申请实施例的方法，通过根据旋转后的点云数据，获取至少三个顶点的点云数据，所述至少三个顶点不共面；根据所述至少三个顶点的点云数据，确定立方体，所述立方体的顶点包括所述至少三个顶点；根据所述立方体为物体的外接立方体，将所述立方体框内的物体检测为所述室内的物体，进而实现对室内的物体的三维模型的准确获取。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图11为本申请实施例提供的室内物体的检测装置的一种结构示意图，如图11所示，室内物体的检测装置100可以包括：
获取模块110，用于获取室内的点云数据；
确定模块120，用于根据所述点云数据，确定用于将所述点云数据的坐标系Z轴旋转到与室内的地面垂直的旋转矩阵；
旋转模块130，用于根据所述旋转矩阵，将所述点云数据进行旋转；
检测模块140，用于根据旋转后的点云数据，检测所述室内的物体。
本申请实施例的室内物体的检测装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图12为本申请实施例提供的室内物体的检测装置的另一结构示意图，如图12所示，检测模块140包括获取单元141和确定单元142：
所述获取单元141，用于根据旋转后的点云数据，获取至少三个顶点的点云数据，所述至少三个顶点不共面；
所述确定单元142，用于根据所述至少三个顶点的点云数据，确定立方体，所述立方体的顶点包括所述至少三个顶点；根据所述立方体为物体的外接立方体，将所述立方体框内的物体检测为所述室内的物体。
在一种可能的实现方式中，所述旋转模块130，还用于根据所述旋转矩阵的逆矩阵，将所述物体的所述外接立方体进行旋转。
本申请实施例的室内物体的检测装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图13为本申请实施例提供的室内物体的检测装置的另一结构示意图，如图13所示，所述装置还包括划分模块150：
所述划分模块150，用于若所述物体为货架，根据货架的标准尺寸，将所述外接立方体划分为多个置物区域。
本申请实施例的室内物体的检测装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图14为本申请实施例提供的室内物体的检测装置的另一结构示意图，如图14所示，获取单元141包括显示子单元1411和获取子单元1412：
所述显示子单元1411，用于显示所述旋转后的点云数据的图像；
所述获取子单元1412，用于根据用户的顶点选择操作，获取所述至少三个角点的点云数据；所述顶点选择操作是用户基于所述图像输入的，且用于选择所述至少三个角点。
本申请实施例的室内物体的检测装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图15为本申请实施例提供的室内物体的检测装置的另一结构示意图，如图15所示，所述确定模块120包括创建单元121、夹角确定单元122和旋转矩阵确定单元123：
所述创建单元121，用于根据所述点云数据，创建所述室内的地面方程；
所述夹角确定单元122，用于根据所述室内的地面方程，确定所述室内的地面与所述点云数据的坐标系Z轴的夹角；
所述旋转矩阵确定单元123，用于根据所述夹角，确定用于将所述点云数据的坐标系Z轴旋转到与室内的地面垂直的旋转矩阵。
在一种可能的实现方式中，所述夹角确定单元122，具体用于根据所述室内的地面方程，确定所述室内的地面的法向量；根据所述法向量，确定所述室内的地面与所述点云数据的坐标系Z轴的夹角。
在另一种可能的实现方式中，所述旋转矩阵确定单元123，具体用于根据所述夹角，确定用于将所述点云数据的坐标系Z轴旋转到与地面垂直的旋转角；根据所述旋转角，确定所述旋转矩阵。
在另一种可能的实现方式中，所述创建单元121，具体用于从所述室内的点云数据中获取所述室内地面的点云数据；根据所述室内地面的点云数据，创建所述室内的地面方程。
本申请实施例的室内物体的检测装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图16为本申请实施例提供的电子设备的一结构示意图，如图16所示，本实施例的电子设备200可以包括：
存储器210，用于存储计算机程序；
处理器220，用于执行所述计算机程序，具体用于：
获取室内的点云数据；
根据所述点云数据，确定用于将所述点云数据的坐标系Z轴旋转到与室内的地面垂直的旋转矩阵；
根据所述旋转矩阵，将所述点云数据进行旋转；
根据旋转后的点云数据，检测所述室内的物体。
在一种可能的实现方式中，处理器220，所述根据旋转后的点云数据，检测所述室内的物体，包括：
根据旋转后的点云数据，获取至少三个顶点的点云数据，所述至少三个顶点不共面；
根据所述至少三个顶点的点云数据，确定立方体，所述立方体的顶点包括所述至少三个顶点；
根据所述立方体为物体的外接立方体，将所述立方体框内的物体检测为所述室内的物体。
在一种可能的实现方式中，处理器220，还用于根据所述旋转矩阵的逆矩阵，将所述物体的所述外接立方体进行旋转。
在一种可能的实现方式中，处理器220，还用于若所述物体为货架，根据货架的标准尺寸，将所述外接立方体划分为多个置物区域。
在一种可能的实现方式中，处理器220，用于所述根据旋转后的点云数据，获取所述至少三个顶点的点云数据，包括：
显示所述旋转后的点云数据的图像；
根据用户的顶点选择操作，获取所述至少三个角点的点云数据；
所述顶点选择操作是用户基于所述图像输入的，且用于选择所述至少三个角点。
在一种可能的实现方式中，处理器220，用于根据所述点云数据，确定用于将所述点云数据的坐标系Z轴旋转到与室内的地面垂直的旋转矩阵，包括：
根据所述点云数据，创建所述室内的地面方程；
根据所述室内的地面方程，确定所述室内的地面与所述点云数据的坐标系Z轴的夹角；
根据所述夹角，确定用于将所述点云数据的坐标系Z轴旋转到与室内的地面垂直的旋转矩阵。
在一种可能的实现方式中，处理器220，用于根据所述室内的地面方程，确定所述室内的地面与所述点云数据的坐标系Z轴的夹角，包括：
根据所述室内的地面方程，确定所述室内的地面的法向量；
根据所述法向量，确定所述室内的地面与所述点云数据的坐标系Z轴的夹角。
在一种可能的实现方式中，处理器220，用于根据所述夹角，确定用于将所述点云数据的坐标系Z轴旋转到与地面垂直的旋转矩阵，包括：
根据所述夹角，确定用于将所述点云数据的坐标系Z轴旋转到与地面垂直的旋转角；
根据所述旋转角，确定所述旋转矩阵。
在一种可能的实现方式中，处理器220，用于根据所述点云数据，创建所述室内的地面方程，包括：
从所述室内的点云数据中获取所述室内地面的点云数据；
根据所述室内地面的点云数据，创建所述室内的地面方程。
本申请实施例的电子设备，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
所述室内物体的检测方法的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (12)
1.一种室内物体的检测方法，其特征在于，包括：
获取室内的点云数据；
根据所述点云数据，确定用于将所述点云数据的坐标系Z轴旋转到与所述室内的地面垂直的旋转矩阵；
根据所述旋转矩阵，将所述点云数据进行旋转；
根据旋转后的点云数据，检测所述室内的物体。
2.根据权利要求1所述的方法，其特征在于，所述根据旋转后的点云数据，检测所述室内的物体，包括：
根据旋转后的点云数据，获取至少三个顶点的点云数据，所述至少三个顶点不共面；
根据所述至少三个顶点的点云数据，确定立方体，所述立方体的顶点包括所述至少三个顶点；
根据所述立方体为物体的外接立方体，将所述立方体框内的物体检测为所述室内的物体。
3.根据权利要求2所述的方法，其特征在于，还包括：
根据所述旋转矩阵的逆矩阵，将所述物体的所述外接立方体进行旋转。
4.根据权利要求2所述的方法，其特征在于，还包括：
若所述物体为货架，根据货架的标准尺寸，将所述外接立方体划分为多个置物区域。
5.根据权利要求2所述的方法，其特征在于，所述根据旋转后的点云数据，获取所述至少三个顶点的点云数据，包括：
显示所述旋转后的点云数据的图像；
根据用户的顶点选择操作，获取所述至少三个角点的点云数据；
所述顶点选择操作是用户基于所述图像输入的，且用于选择所述至少三个角点。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述根据所述点云数据，确定用于将所述点云数据的坐标系Z轴旋转到与所述室内的地面垂直的旋转矩阵，包括：
根据所述点云数据，创建所述室内的地面方程；
根据所述室内的地面方程，确定所述室内的地面与所述点云数据的坐标系Z轴的夹角；
根据所述夹角，确定用于将所述点云数据的坐标系Z轴旋转到与所述室内的地面垂直的旋转矩阵。
7.根据权利要求6所述的方法，其特征在于，所述根据所述室内的地面方程，确定所述室内的地面与所述点云数据的坐标系Z轴的夹角，包括：
根据所述室内的地面方程，确定所述室内的地面的法向量；
根据所述法向量，确定所述室内的地面与所述点云数据的坐标系Z轴的夹角。
8.根据权利要求6所述的方法，其特征在于，所述根据所述夹角，确定用于将所述点云数据的坐标系Z轴旋转到与地面垂直的旋转矩阵，包括：
根据所述夹角，确定用于将所述点云数据的坐标系Z轴旋转到与地面垂直的旋转角；
根据所述旋转角，确定所述旋转矩阵。
9.根据权利要求6所述的方法，其特征在于，所述根据所述点云数据，创建所述室内的地面方程，包括：
从所述室内的点云数据中获取所述室内地面的点云数据；
根据所述室内地面的点云数据，创建所述室内的地面方程。
10.一种室内物体的检测装置，其特征在于，包括：
获取模块，用于获取室内的点云数据；
确定模块，用于根据所述点云数据，确定用于将所述点云数据的坐标系Z轴旋转到与室内的地面垂直的旋转矩阵；
旋转模块，用于根据所述旋转矩阵，将所述点云数据进行旋转；
检测模块，用于根据旋转后的点云数据，检测所述室内的物体。
11.一种电子设备，其特征在于，包括；
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1-9中任一项所述的室内物体的检测方法。
12.一种计算机存储介质，其特征在于，所述存储介质中存储计算机程序，所述计算机程序在执行时实现如权利要求1-9中任一项所述的室内物体的检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910442259.4A CN111767767A (zh) | 2019-05-24 | 2019-05-24 | 室内物体的检测方法、装置、电子设备与存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910442259.4A CN111767767A (zh) | 2019-05-24 | 2019-05-24 | 室内物体的检测方法、装置、电子设备与存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111767767A true CN111767767A (zh) | 2020-10-13 |
Family
ID=72718883
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910442259.4A Pending CN111767767A (zh) | 2019-05-24 | 2019-05-24 | 室内物体的检测方法、装置、电子设备与存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111767767A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090323121A1 (en) * | 2005-09-09 | 2009-12-31 | Robert Jan Valkenburg | A 3D Scene Scanner and a Position and Orientation System |
| KR20130121290A (ko) * | 2012-04-27 | 2013-11-06 | 서울시립대학교 산학협력단 | 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법 |
| WO2013175022A1 (fr) * | 2012-05-25 | 2013-11-28 | Universite De Technologies De Troyes | Systèmes et procédés de topographie et de reconstruction tridimensionnelle à partir d'un nuage de points et supports de stockage informatique pour ces systèmes et procédés |
| CN105205858A (zh) * | 2015-09-18 | 2015-12-30 | 天津理工大学 | 一种基于单个深度视觉传感器的室内场景三维重建方法 |
| CN105913489A (zh) * | 2016-04-19 | 2016-08-31 | 东北大学 | 一种利用平面特征的室内三维场景重构方法 |
| CN106052674A (zh) * | 2016-05-20 | 2016-10-26 | 青岛克路德机器人有限公司 | 一种室内机器人的slam方法和系统 |
| WO2017166594A1 (zh) * | 2016-03-31 | 2017-10-05 | 百度在线网络技术（北京）有限公司 | 一种室内地图构建方法、装置和存储介质 |
| CN108416804A (zh) * | 2018-02-11 | 2018-08-17 | 深圳市优博讯科技股份有限公司 | 获取目标物体体积的方法、装置、终端设备及存储介质 |
| CN108898661A (zh) * | 2018-05-31 | 2018-11-27 | 深圳先进技术研究院 | 三维图像构建的方法、装置及具有存储功能的装置 |
| CN109509226A (zh) * | 2018-11-27 | 2019-03-22 | 广东工业大学 | 三维点云数据配准方法、装置、设备及可读存储介质 |
-
2019
- 2019-05-24 CN CN201910442259.4A patent/CN111767767A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090323121A1 (en) * | 2005-09-09 | 2009-12-31 | Robert Jan Valkenburg | A 3D Scene Scanner and a Position and Orientation System |
| KR20130121290A (ko) * | 2012-04-27 | 2013-11-06 | 서울시립대학교 산학협력단 | 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법 |
| WO2013175022A1 (fr) * | 2012-05-25 | 2013-11-28 | Universite De Technologies De Troyes | Systèmes et procédés de topographie et de reconstruction tridimensionnelle à partir d'un nuage de points et supports de stockage informatique pour ces systèmes et procédés |
| CN105205858A (zh) * | 2015-09-18 | 2015-12-30 | 天津理工大学 | 一种基于单个深度视觉传感器的室内场景三维重建方法 |
| WO2017166594A1 (zh) * | 2016-03-31 | 2017-10-05 | 百度在线网络技术（北京）有限公司 | 一种室内地图构建方法、装置和存储介质 |
| CN105913489A (zh) * | 2016-04-19 | 2016-08-31 | 东北大学 | 一种利用平面特征的室内三维场景重构方法 |
| CN106052674A (zh) * | 2016-05-20 | 2016-10-26 | 青岛克路德机器人有限公司 | 一种室内机器人的slam方法和系统 |
| CN108416804A (zh) * | 2018-02-11 | 2018-08-17 | 深圳市优博讯科技股份有限公司 | 获取目标物体体积的方法、装置、终端设备及存储介质 |
| CN108898661A (zh) * | 2018-05-31 | 2018-11-27 | 深圳先进技术研究院 | 三维图像构建的方法、装置及具有存储功能的装置 |
| CN109509226A (zh) * | 2018-11-27 | 2019-03-22 | 广东工业大学 | 三维点云数据配准方法、装置、设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240153143A1 (en) | Multi view camera registration | |
| CN111127655B (zh) | 房屋户型图的构建方法及构建装置、存储介质 | |
| US10991072B2 (en) | Method and device for fusing panoramic video images | |
| WO2018077071A1 (zh) | 一种全景图像的生成方法及装置 | |
| CN110163898B (zh) | 深度信息配准方法、装置、系统、设备及存储介质 | |
| CN111161336B (zh) | 三维重建方法、三维重建装置和计算机可读存储介质 | |
| CN112686877B (zh) | 基于双目相机的三维房屋损伤模型构建测量方法及系统 | |
| US11847796B2 (en) | Calibrating cameras using human skeleton | |
| CN109615664B (zh) | 一种用于光学透视增强现实显示器的标定方法与设备 | |
| CN113689578B (zh) | 一种人体数据集生成方法及装置 | |
| JP6174968B2 (ja) | 撮像シミュレーション装置 | |
| US20190220952A1 (en) | Method of acquiring optimized spherical image using multiple cameras | |
| CN112802208B (zh) | 一种航站楼内三维可视化方法及装置 | |
| EP4220547A1 (en) | Method and apparatus for determining heat data of global region, and storage medium | |
| CN109118533B (zh) | 深度信息处理方法、装置和设备 | |
| CN113763478B (zh) | 无人车相机标定方法、装置、设备、存储介质及系统 | |
| Wan et al. | A study in 3d-reconstruction using kinect sensor | |
| CN112405526A (zh) | 一种机器人的定位方法及装置、设备、存储介质 | |
| US10339702B2 (en) | Method for improving occluded edge quality in augmented reality based on depth camera | |
| CN111767767A (zh) | 室内物体的检测方法、装置、电子设备与存储介质 | |
| KR102500488B1 (ko) | 3d 투어 내에서 실제 거리 측정 방법 및 그를 위한 3d 투어 시스템 | |
| CN114882194A (zh) | 房间点云数据的处理方法和装置、电子设备和存储介质 | |
| CN114739363A (zh) | 基于相机的输电线测距方法、装置和计算机设备 | |
| CN111028264B (zh) | 一种旋转鲁棒的三维物体检测优化方法及装置 | |
| CN116503387B (zh) | 图像检测方法、装置、设备、系统及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210222 Address after: Room a1905, 19 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant after: Beijing Jingdong Qianshi Technology Co.,Ltd. Address before: 101, 1st floor, building 2, yard 20, Suzhou street, Haidian District, Beijing 100080 Applicant before: Beijing Jingbangda Trading Co.,Ltd. Effective date of registration: 20210222 Address after: 101, 1st floor, building 2, yard 20, Suzhou street, Haidian District, Beijing 100080 Applicant after: Beijing Jingbangda Trading Co.,Ltd. Address before: 8 / F, 76 Zhichun Road, Haidian District, Beijing 100195 Applicant before: BEIJING JINGDONG SHANGKE INFORMATION TECHNOLOGY Co.,Ltd. Applicant before: BEIJING JINGDONG CENTURY TRADING Co.,Ltd. |
|
| TA01 | Transfer of patent application right |