CN114004882A - 一种二维地图生成方法、装置、终端设备及存储介质 - Google Patents

一种二维地图生成方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN114004882A
CN114004882A CN202111122466.5A CN202111122466A CN114004882A CN 114004882 A CN114004882 A CN 114004882A CN 202111122466 A CN202111122466 A CN 202111122466A CN 114004882 A CN114004882 A CN 114004882A
Authority
CN
China
Prior art keywords
image
dimensional
point cloud
information
depth image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111122466.5A
Other languages
English (en)
Inventor
陈紫荣
王琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orbbec Inc
Original Assignee
Orbbec Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orbbec Inc filed Critical Orbbec Inc
Priority to CN202111122466.5A priority Critical patent/CN114004882A/zh
Publication of CN114004882A publication Critical patent/CN114004882A/zh
Priority to PCT/CN2022/080520 priority patent/WO2023045271A1/zh
Priority to US18/592,153 priority patent/US20240395002A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种二维地图生成方法、装置、终端设备及存储介质，所述方法包括：获取目标场景的深度图像与彩色图像，并确定所述深度图像与所述彩色图像之间的映射关系；根据所述深度图像，获取所述深度图像所对应的二维点云图像，并确定所述二维点云图像所对应的目标地图框；获取所述目标地图框中每个区域中的位置标签信息，并根据所述位置标签信息与所述映射关系，将所述位置标签信息与所述每个区域中彩色图像所对应的彩色相机的位姿信息绑定，得到二维地图。本发明可快速构建出二维地图，并且构建出二维地图可进行复用。

Description

一种二维地图生成方法、装置、终端设备及存储介质
技术领域
本发明涉及定位技术领域，尤其涉及一种二维地图生成方法、装置、终端设备及存储介质。
背景技术
现有移动设备(比如手机)上的位置定位服务大部分是基于位置融合技术，即包括了GPS信号，蜂窝网络基站信号等，可以在室内外场景使用时，提供较为准确的定位。该定位是指在世界中的物理位置，可具体到国家、城市、区县、街道。
但是，目前的位置定位服务的提供基本为电信运营商，或者与其合作的专有公司。并且如要将位置定位服务嵌入到其他系统(比如具有相关定位功能的APP)中使用，除向上述服务提供商付费之外，还需使用其提供的专用接口进行开发，并且开发流程繁琐，还会因为对目前的位置定位服务的过度依赖而导致整体开发进度停滞，从而影响用户对于定位功能的使用。
因此，现有技术还有待改进和提高。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种二维地图生成方法、装置、终端设备及存储介质，旨在解决现有技术中在在开发定位功能时，流程繁琐、进度缓慢等问题。
为了解决上述技术问题，本发明所采用的技术方案如下：
第一方面，本发明提供一种二维地图生成方法，其中，所述方法包括：
获取目标场景的深度图像与彩色图像，并确定所述深度图像与所述彩色图像之间的映射关系；
根据所述深度图像，获取所述深度图像所对应的二维点云图像，并确定所述二维点云图像所对应的目标地图框；
获取所述目标地图框中每个区域中的位置标签信息，并根据所述位置标签信息与所述映射关系，将所述位置标签信息与所述每个区域中彩色图像所对应的彩色相机的位姿信息绑定，得到二维地图。
在一种实现方式中，所述获取目标场景的深度图像与彩色图像，并确定所述深度图像与所述彩色图像之间的映射关系，包括：
当每获取一帧所述目标场景的所述深度图像时，获取一帧所述彩色图像；
分别获取所述彩色图像的第一像素信息与所述深度图像的第二像素信息；
根据所述第一像素信息与所述第二像素信息，确定所述深度图像与所述彩色图像之间的映射关系。
在一种实现方式中，所述获取目标场景的深度图像与彩色图像，并确定所述深度图像与所述彩色图像之间的映射关系，还包括：
分别获取所述彩色图像所对应的彩色相机的位姿信息与所述深度图像所对应的深度相机的位姿信息；
根据所述映射关系，将所述彩色图像所对应的彩色相机的位姿信息与所述深度图像所对应的深度相机的位姿信息关联。
在一种实现方式中，所述根据所述深度图像，获取所述深度图像所对应的二维点云图像，并确定所述二维点云图像所对应的目标地图框，包括：
将所述深度图像转化成三维点云数据，所述三维点云数据中携带有不同颜色标识；
利用具有不同颜色标识的所述三维点云数据获取所述二维点云图像；
根据所述二维点云图像，确定所述目标地图框。
在一种实现方式中，所述根据所述二维点云图像，确定所述目标地图框，包括：
根据所述二维点云图像，确定所述二维点云图像中各个轨迹点的坐标信息；
基于所述各个轨迹点的坐标信息，确定最大横坐标点、最小横坐标点、最大纵坐标点以及最小纵坐标点；
根据所述最大横坐标点、所述最小横坐标点、所述最大纵坐标点以及所述最小纵坐标点，确定矩形包围框，并将所述矩形包围框作为所述目标地图框。
在一种实现方式中，所述根据所述二维点云图像，确定所述目标地图框，还包括：
对所述目标地图框进行校正，以使得所述目标地图框与所述坐标系对齐。
在一种实现方式中，所述获取所述目标地图框中每个区域中的位置标签信息，包括：
对所述目标地图框进行网格化操作，得到所述目标地图框中的各个区域；
获取所述各个区域的边界信息、所述各个区域内的轨迹点的位置信息以及所述各个区域内轨迹点与三维点云数据之间的投影关系；
将所述各个区域的边界信息、所述各个区域内的轨迹点的位置信息以及所述各个区域内轨迹点与三维点云数据之间的投影关系作为所述位置标签信息。
第二方面，本发明实施例还提供一种用于定位的二维地图生成装置，所述装置包括：
图像采集模块，用于采集目标场景的深度图像与彩色图像；
映射关系确定模块，用于并确定所述深度图像与所述彩色图像之间的映射关系；
目标地图框确定模块，用于根据所述深度图像，获取所述深度图像所对应的二维点云图像，并确定所述二维点云图像所对应的目标地图框；
二维地图生成模块，用于获取所述目标地图框中每个区域中的位置标签信息，并根据所述位置标签信息与所述映射关系，将所述位置标签信息与所述每个区域中彩色图像所对应的彩色相机的位姿信息绑定，得到二维地图。
第三方面，本发明实施例还提供一种终端设备，其中，所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的二维地图生成程序，所述处理器执行所述二维地图生成程序时，实现上述方案中任一项所述的二维地图生成方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有二维地图生成程序，所述二维地图生成程序被处理器执行时，实现上述方案中任一项所述的二维地图生成方法的步骤。
有益效果：与现有技术相比，本发明提供了一种二维地图生成方法，本发明首先获取目标场景的深度图像与彩色图像，由于深度图像与彩色图像是基于同一个目标场景获取的，因此就可以确定深度图像与彩色图像之间的映射关系。由于图像可经过坐标转换成点云数据，因此本发明可获取深度图像所对应的二维点云图像，并确定二维点云图像所对应的目标地图框，该目标地图框包括有该目标场景的所有点云数据。接着本发明获取目标地图框中每个区域中的位置标签信息，该位置标签信息用于反映该目标地图中每个区域中轨迹点的位置信息。而二维点云图像是基于对深度图像的处理得到的，深度图像又与彩色图像存在映射关系，因此本发明就可以基于该映射关系，将位置标签信息与每个区域中彩色图像所对应的彩色相机的位姿信息绑定，得到二维地图。生成的二维地图可反映出各个区域中的轨迹点的位置信息，这样当用户获取到同一个目标场景的彩色图像后，就可以获取到对应的彩色相机的位姿信息，并进一步根据该二维地图获取到对应的位置标签信息，从而实现精准定位。由此可见，本发明可快速生成二维地图，过程简单，并且生成的二维地图可复用，给用户提供更为便捷的定位服务。
附图说明
图1为本发明实施例提供的二维地图生成方法的具体实施方式的流程图。
图2为本发明实施例提供的二维地图生成方法中楼层建筑的目标场景下的相机轨迹示意图。
图3为本发明实施例提供的二维地图生成方法中楼层建筑的目标场景下的相机轨迹的侧面示意图。
图4为本发明实施例提供的二维地图生成方法中楼层建筑的目标场景下的二维点云图像。
图5为本发明实施例提供的二维地图生成方法中从图4的二维点云图像中确定的目标地图框的示意图。
图6为本发明实施例提供的二维地图生成方法中对图5的目标地图框进行网格化操作的示意图。
图7为本发明实施例提供的二维地图生成方法中楼层建筑中的一层楼的相机轨迹示意图。
图8是本发明实施例提供的二维地图生成装置的原理框图。
图9是本发明实施例提供的终端设备的内部结构原理框图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本实施例提供一种二维地图生成方法，通过本实施例的二维地图生成方法可可快速生成二维地图，过程简单，并且生成的二维地图可复用，给用户提供更为便捷的定位服务。具体实施时，本实施例首先获取目标场景的深度图像与彩色图像，由于深度图像与彩色图像是基于同一个目标场景获取的，因此就可以确定深度图像与彩色图像之间的映射关系。由于图像可经过坐标转换成点云数据，因此本实施例可获取深度图像所对应的二维点云图像，并确定二维点云图像所对应的目标地图框，该目标地图框包括有该目标场景的所有点云数据。接着本实施例获取目标地图框中每个区域中的位置标签信息，该位置标签信息用于反映该目标地图中每个区域中轨迹点的位置信息。
进一步地，二维点云图像是基于对深度图像的处理得到的，深度图像又与彩色图像存在映射关系，因此本实施就可以基于该映射关系，将位置标签信息与每个区域中彩色图像所对应的彩色相机的位姿信息绑定，得到二维地图。生成的二维地图可反映出各个区域中的轨迹点的位置信息，这样当用户获取到同一个目标场景的彩色图像后，就可以获取到对应的彩色相机的位姿信息，并进一步根据该二维地图获取到对应的位置标签信息，从而实现精准定位。
举例说明，当目标场景为多楼层建筑(如3层建筑)时，可获取该3层建筑的深度图像和彩色图像，然后确定深度图像和彩色图像之间的映射关系。接着，根据该3层建筑的深度图像，获取对应的二维点云图像，并确定目标地图框，该目标地图框中包括有该3层建筑的所有点云数据。然后获取该目标地图框中每个区域中的位置标签信息，位置标签信息可反映出该3层建筑中每一层的轨迹点的位置信息。因此，就可以将该位置标签信息与每个区域中彩色图像所对应的彩色相机的位姿信息绑定，得到该3层建筑的二维地图。当用户获取到该3层建筑的彩色图像后，就可以获取到对应的彩色相机的位姿信息，并进一步根据该3层建筑的二维地图获取到对应的位置标签信息，即定位出在哪一层、哪一个位置，从而实现精准定位。
示例性方法
本实施例的二维地图生成方法可应用于终端设备中，该终端设备可为电脑、手机、平板等智能化产品。具体地，如图1中所示，本实施例中的二维地图生成方法包括如下步骤：
步骤S100、获取目标场景的深度图像与彩色图像，并确定深度图像与彩色图像之间的映射关系。
本实施例中的深度图像也被称为距离影像(range image)，是指将从深度相机到目标场景中各点的距离(深度)作为像素值的图像，它直接反映了目标场景的可见表面的几何形状。深度图像经过坐标转换可以计算为点云数据，有规则及必要信息的点云数据也可以反算为深度图像。本实施例中的彩色图像为使用彩色相机拍摄得到的图像。在本实施中，由于深度图像与彩色图像是基于同一个目标场景得到的，因此当得到深度图像与彩色图像后，可确定出深度图像与彩色图像之间的映射关系。
在一种实现方式中，本实施例在确定深度图像和彩色图像之间的映射关系时，包括如下步骤：
步骤S101、当每获取一帧目标场景的深度图像时，获取一帧彩色图像；
步骤S102、分别获取彩色图像的第一像素信息与深度图像的第二像素信息；
步骤S103、根据第一像素信息与第二像素信息，确定深度图像与彩色图像之间的映射关系。
具体实施时，本实施例获取多帧目标场景的深度图像和彩色图像，并且在获取深度图像和彩色图像时，本实施例是同步实现的。也就是说，当每获取一帧目标场景的深度图像时，获取一帧彩色图像，这样可以保证深度图像和彩色图像是基于同一个时刻的同一目标场景，以使得获取到的映射关系更为准确。当得到深度图像和彩色图像后，即可分别获取彩色图像的第一像素信息与深度图像的第二像素信息。由于深度图像和彩色图像是基于同一个时刻的同一目标场景，因此本实施例就可以将深度图像与彩色图像进行对齐，然后再根据第一像素信息与第二像素信息，确定深度图像与彩色图像之间的映射关系。在本实施例中，该映射关系指的是深度图像和彩色图像中的每个像素点之间的映射关系，也就是说，当彩色图像中的第一像素信息是已知的，则根据该映射关系就可以确定出深度图像中的第二像素信息。
此外，本实施例在得到深度图像和彩色图像后，可分别获取彩色图像所对应的彩色相机的位姿信息与深度图像所对应的深度相机的位姿信息。本实施例中的位姿信息反映的是彩色相机和深度相机的轨迹点。由于深度图像与彩色图像之间存在映射关系，因此本实施例可根据映射关系，将彩色图像所对应的彩色相机的位姿信息与深度图像所对应的深度相机的位姿信息关联。因此，当将彩色图像所对应的彩色相机的位姿信息是已知的，则就可以确定出深度图像所对应的深度相机的位姿信息。
步骤S200、根据深度图像，获取深度图像所对应的二维点云图像，并确定二维点云图像所对应的目标地图框。
在本实施例中，由于深度图像经过坐标转换可以计算为点云数据，而本实施例所要生成的二维地图，因此，本实施例可将深度图像转化成二维点云图像，然后从该二维点云图像中确定出目标地图框。本实施例中，目标地图框是包含了该二维点云图像中所有的轨迹点，有利于后续步骤中基于该目标地图框生成二维地图。
在一种实现方式中，本实施例中确定目标地图框时，包括如下步骤：
步骤S201、将深度图像转化成三维点云数据，三维点云数据中携带有不同颜色标识；
步骤S202、利用具有不同颜色标识的三维点云数据获取二维点云图像；
步骤S203、根据二维点云图像，确定目标地图框。
本实施例首先将深度图像转化成三维点云数据。具体地，本实施例首先获取该深度图像中的每一个像素点的像素信息(即上述的第二像素信息)，然后基于以下的计算方式计算出三维点云数据。
Figure BDA0003277441110000091
其中，(xs,ys,zs)为深度相机坐标系下的点云三维坐标，z为每个像素上的深度，(u,v)为像素坐标，(u0,v0)为图像主点坐标，dx和dy为深度相机的传感器像元在两个方向上的物理尺寸，f’为焦距(单位为毫米)。
为了便于标识出该三维点云数据中各个轨迹点的位置，且对轨迹点进行区分，本实施例中的三维点云数据中携带有不同颜色标识。举例说明，如果目标场景为多楼层建筑(如3层楼)，则在获取该多楼层建筑的彩色图像时，可对获取彩色图像所对应的轨迹点设置不同的颜色标识，以便对数据进行区分和计算。在具体应用时，本实施例针对每一层楼的轨迹点都设置不同的颜色标识，如图2和图3中楼层建筑的目标场景下的相机轨迹所示，从图3中可以看出，6个区块正好对应了3层楼以及3个楼梯间的数据。并且其Z轴方向近似于重力方向，即楼层的水平方向与点云数据的XY平面一致。本实施例用不同的颜色标识区分了每一楼层的轨迹点，使得在后续对三维点云数据进行处理与运算时，可根据不同的颜色标识为单位实现区域划分，实现以区域为单位的数据计算及传输，以解决完整数据容量大，传输速度慢的问题。
另，需要说明的是，本实施例中的三维点云数据中亦可以不携带颜色标识，但其会出现上述数据量偏大，运算处理速度缓慢等问题，此处不作限制。
在一个实施例中，处理三维点云数据获取二维点云图像时，可直接丢弃三维点云数据的深度或将三维点云数据沿z轴进行归一化，归一化后的坐标为
Figure BDA0003277441110000101
根据归一化后的坐标信息可知，其表征的是一个z轴坐标为1，进而获取二维点云图像。需要说明的是，归一化后的z轴坐标还可为其他任一数值，使归一化后的点云为平面即可，此处不作限制。
在另一个实施例中，当得到具有不同颜色标识的三维点云数据后，本实施例将具有不同颜色标识的三维点云数据投影至同一坐标系(X-Y坐标系)下，得到同一坐标系下的二维点云图像，具体如图4中所示。由于该二维点云图像是基于三维点云数据投影得到，因此该二维点云图像与三维点云数据存在一定的投影关系。在一种实现方式中，当得到二维点云图像后，本实施例对该二维点云图像进行降噪处理。具体地，本实施例建立X-Y坐标系，以20cm方格为单位，计算方格内的点密度，然后对方格内的点密度进行中值滤波，可有效去除飞点，实现对该二维点云图像的降噪处理。
当得到所述二维点云图像后，本实施例从该二维点云图像中确定目标地图框。本实施例中的目标地图框需要包含该二维点云图像中的所有轨迹点，在具体应用是可将该目标地图框设置成矩形包围框。为了使得该目标地图框中的数据都是有用的数据，摒弃无用的数据，本实施可将该目标地图框设置为可包含该二维点云图像中的所有轨迹点的最小外接矩形，该最小外接矩形指的是可以用来包含二维点云图像中的所有轨迹点的最大范围。
具体地，本实施例在确定该目标地图框时，首先根据二维点云图像，确定二维点云图像中各个轨迹点的坐标信息。然后基于各个轨迹点的坐标信息，确定最大横坐标点、最小横坐标点、最大纵坐标点以及最小纵坐标点。最后根据最大横坐标点、最小横坐标点、最大纵坐标点以及最小纵坐标点，确定矩形包围框，即最小外接矩形，然后将矩形包围框作为目标地图框，具体如图5中所示。本实施例在确定矩形包围框的边界及方向时，可对二维点云图像中的轨迹点计算去中心化的协方差矩阵，并对协方差矩阵进行SVD分解等操作，计算出两个特征值对应的特征向量，得到矩形包围框的两个方向，然后对二维点云图像中的轨迹点取得此两方向上的边界值，确定出矩形包围框的边界。
在一种实现方式中，本实施例还可基于不同的目标场景来适当扩大该矩形包围框，比如用于正好处于地图所能表达的空间的边界处时，就可以扩大该矩形包围框，以使得该矩形包围框能表达更多的信息。此外，若矩形包围框与上述步骤中用于将三维点云数据投影得到二维点云图像的X-Y坐标系不对齐，则可对目标地图框进行校正，以使得所述目标地图框与X-Y坐标系对齐，以便于后续步骤中目标地图框进行网格化操作。
步骤S300、获取目标地图框中每个区域中的位置标签信息，并根据位置标签信息与映射关系，将位置标签信息与每个区域中彩色图像所对应的彩色相机的位姿信息绑定，得到二维地图。
当得到目标地图框之后，为了对该目标地图框中所有轨迹点进行分析，本实施例对该目标地图框进行区域划分，并获取目标地图框中每个区域中的位置标签信息。该位置标签信息反映了该目标地图中每个区域中轨迹点的位置信息。而二维点云图像是基于对深度图像的处理得到的，深度图像又与彩色图像存在映射关系，因此本实施就可以基于该映射关系，将位置标签信息与每个区域中彩色图像所对应的彩色相机的位姿信息绑定，得到二维地图。
在一种实现方式中，本实施例在获取位置标签信息时，包括如下步骤：
步骤S301、对目标地图框进行网格化操作，得到目标地图框中的各个区域；
步骤S302、获取各个区域的边界信息、各个区域内的轨迹点的位置信息以及各个区域内轨迹点与三维点云数据之间的投影关系；
步骤S303、将各个区域的边界信息、各个区域内的轨迹点的位置信息以及各个区域内轨迹点与三维点云数据之间的投影关系作为位置标签信息。
具体地，由于本实施例中的目标地图框为矩形包围框，因此可对矩形包围框进行网格均匀划分，划分的网格数量可根据二维点云图像所对应的目标场景大小及定位的精度确定；若实际需求定位精度越高，则矩形包围框划分的网格数量则越多，以便后续可精确对应每个网格对应的相机的姿态信息。本实施例在对目标地图框进行网格化操作后，得到目标地图框中的各个区域如图6中所示，图6中的虚线部分为网格的边界，每一个网格即为一个区域，由于是均与划分成网格的，因此就可以得到每个区域的边界信息。
在一种实现方式中，本实施例基于每一个区域的边界信息，对每一个区域进行编号，对该目标地图框中的每个网格进行编号。然后获取各个区域的边界信息、各个区域内的轨迹点的位置信息以及各个区域内轨迹点与三维点云数据之间的投影关系，并将获取各个区域的边界信息、各个区域内的轨迹点的位置信息(比如楼层信息)以及各个区域内轨迹点与三维点云数据之间的投影关系设置成位置标签信息，这样就可以得到该目标地图框中每个区域的位置标签信息。而二维点云图像是基于对深度图像的处理得到的，深度图像又与彩色图像存在映射关系，因此本实施例就可以基于该映射关系，将位置标签信息与每个区域中彩色图像所对应的彩色相机的位姿信息绑定，从而得到二维地图，如图7中所示，图7中展示的是当目标场景为3层楼建筑时，其中某一层楼的相机轨迹图，同时在该相机轨迹图中用不同的颜色来表示轨迹点处于不同的网格区域，即得到所述二维地图。
本实施例中生成的二维地图可反映出各个区域中的轨迹点的位置信息，这样当用户获取到同一个目标场景的彩色图像后，就可以获取到对应的彩色相机的位姿信息(及轨迹点)，并进一步根据该二维地图获取到对应的位置标签信息，从而实现精准定位。由此可见，本实施例可快速生成二维地图，过程简单，并且生成的二维地图可复用，给用户提供更为便捷的定位服务。
示例性装置
基于上述实施例，本实施例还提供一种二维地图生成装置，如图8所示。本实施例的装置包括：图像采集模块10、映射关系确定模块20、目标地图框确定模块30以及二维地图生成模块40。具体地，所述图像采集模块10，用于采集目标场景的深度图像与彩色图像；映射关系确定模块20，用于确定深度图像与彩色图像之间的映射关系。所述目标地图框确定模块30，用于根据深度图像，获取深度图像所对应的二维点云图像，并确定二维点云图像所对应的目标地图框。所述二维地图生成模块40，用于获取目标地图框中每个区域中的位置标签信息，并根据位置标签信息与映射关系，将位置标签信息与每个区域中彩色图像所对应的彩色相机的位姿信息绑定，得到二维地图。
基于上述实施例，本发明还提供了一种终端设备，其原理框图可以如图9所示。该终端设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该终端设备的处理器用于提供计算和控制能力。该终端设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种二维地图生成方法。该终端设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该终端设备的温度传感器是预先在终端设备内部设置，用于检测内部设备的运行温度。
本领域技术人员可以理解，图9中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端设备的限定，具体的终端设备以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种终端设备，终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的二维地图生成程序，处理器执行二维地图生成程序时，实现如下操作指令：
获取目标场景的深度图像与彩色图像，并确定深度图像与彩色图像之间的映射关系；
根据深度图像，获取深度图像所对应的二维点云图像，并确定二维点云图像所对应的目标地图框；
获取目标地图框中每个区域中的位置标签信息，并根据位置标签信息与映射关系，将位置标签信息与每个区域中彩色图像所对应的彩色相机的位姿信息绑定，得到二维地图。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上，本发明公开了一种二维地图生成方法、装置、终端设备及存储介质，所述方法包括：获取目标场景的深度图像与彩色图像，并确定所述深度图像与所述彩色图像之间的映射关系；根据所述深度图像，获取所述深度图像所对应的二维点云图像，并确定所述二维点云图像所对应的目标地图框；获取所述目标地图框中每个区域中的位置标签信息，并根据所述位置标签信息与所述映射关系，将所述位置标签信息与所述每个区域中彩色图像所对应的彩色相机的位姿信息绑定，得到二维地图。本发明可快速构建出二维地图，并且构建出二维地图可进行复用。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种二维地图生成方法，其特征在于，所述方法包括：
获取目标场景的深度图像与彩色图像，并确定所述深度图像与所述彩色图像之间的映射关系；
根据所述深度图像，获取所述深度图像所对应的二维点云图像，并确定所述二维点云图像所对应的目标地图框；
获取所述目标地图框中每个区域中的位置标签信息，并根据所述位置标签信息与所述映射关系，将所述位置标签信息与所述每个区域中彩色图像所对应的彩色相机的位姿信息绑定，得到二维地图。
2.根据权利要求1所述的二维地图生成方法，其特征在于，所述获取目标场景的深度图像与彩色图像，并确定所述深度图像与所述彩色图像之间的映射关系，包括：
当每获取一帧所述目标场景的所述深度图像时，获取一帧所述彩色图像；
分别获取所述彩色图像的第一像素信息与所述深度图像的第二像素信息；
根据所述第一像素信息与所述第二像素信息，确定所述深度图像与所述彩色图像之间的映射关系。
3.根据权利要求2所述的二维地图生成方法，其特征在于，所述获取目标场景的深度图像与彩色图像，并确定所述深度图像与所述彩色图像之间的映射关系，还包括：
分别获取所述彩色图像所对应的彩色相机的位姿信息与所述深度图像所对应的深度相机的位姿信息；
根据所述映射关系，将所述彩色图像所对应的彩色相机的位姿信息与所述深度图像所对应的深度相机的位姿信息关联。
4.根据权利要求1所述的二维地图生成方法，其特征在于，所述根据所述深度图像，获取所述深度图像所对应的二维点云图像，并确定所述二维点云图像所对应的目标地图框，包括：
将所述深度图像转化成三维点云数据，所述三维点云数据中携带有不同颜色标识；
利用具有不同颜色标识的所述三维点云数据获取所述二维点云图像；
根据所述二维点云图像，确定所述目标地图框。
5.根据权利要求4所述的二维地图生成方法，其特征在于，所述根据所述二维点云图像，确定所述目标地图框，包括：
根据所述二维点云图像，确定所述二维点云图像中各个轨迹点的坐标信息；
基于所述各个轨迹点的坐标信息，确定最大横坐标点、最小横坐标点、最大纵坐标点以及最小纵坐标点；
根据所述最大横坐标点、所述最小横坐标点、所述最大纵坐标点以及所述最小纵坐标点，确定矩形包围框，并将所述矩形包围框作为所述目标地图框。
6.根据权利要求5所述的二维地图生成方法，其特征在于，所述根据所述二维点云图像，确定所述目标地图框，还包括：
对所述目标地图框进行校正，以使得所述目标地图框与所述坐标系对齐。
7.根据权利要求1所述的二维地图生成方法，其特征在于，所述获取所述目标地图框中每个区域中的位置标签信息，包括：
对所述目标地图框进行网格化操作，得到所述目标地图框中的各个区域；
获取所述各个区域的边界信息、所述各个区域内的轨迹点的位置信息以及所述各个区域内轨迹点与三维点云数据之间的投影关系；
将所述各个区域的边界信息、所述各个区域内的轨迹点的位置信息以及所述各个区域内轨迹点与三维点云数据之间的投影关系作为所述位置标签信息。
8.一种二维地图生成装置，其特征在于，所述装置包括：
图像采集模块，用于采集目标场景的深度图像与彩色图像；
映射关系确定模块，用于确定所述深度图像与所述彩色图像之间的映射关系；
目标地图框确定模块，用于根据所述深度图像，获取所述深度图像所对应的二维点云图像，并确定所述二维点云图像所对应的目标地图框；
二维地图生成模块，用于获取所述目标地图框中每个区域中的位置标签信息，并根据所述位置标签信息与所述映射关系，将所述位置标签信息与所述每个区域中彩色图像所对应的彩色相机的位姿信息绑定，得到二维地图。
9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的二维地图生成程序，所述处理器执行所述二维地图生成程序时，实现如权利要求1-7任一项所述的二维地图生成方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有二维地图生成程序，所述二维地图生成程序被处理器执行时，实现如权利要求1-7任一项所述的二维地图生成方法的步骤。
CN202111122466.5A 2021-09-24 2021-09-24 一种二维地图生成方法、装置、终端设备及存储介质 Pending CN114004882A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111122466.5A CN114004882A (zh) 2021-09-24 2021-09-24 一种二维地图生成方法、装置、终端设备及存储介质
PCT/CN2022/080520 WO2023045271A1 (zh) 2021-09-24 2022-03-13 一种二维地图生成方法、装置、终端设备及存储介质
US18/592,153 US20240395002A1 (en) 2021-09-24 2024-02-29 Two-dimensional map generation method, device, terminal device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111122466.5A CN114004882A (zh) 2021-09-24 2021-09-24 一种二维地图生成方法、装置、终端设备及存储介质

Publications (1)

Publication Number Publication Date
CN114004882A true CN114004882A (zh) 2022-02-01

Family

ID=79921854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111122466.5A Pending CN114004882A (zh) 2021-09-24 2021-09-24 一种二维地图生成方法、装置、终端设备及存储介质

Country Status (3)

Country Link
US (1) US20240395002A1 (zh)
CN (1) CN114004882A (zh)
WO (1) WO2023045271A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663612A (zh) * 2022-03-24 2022-06-24 北京百度网讯科技有限公司 一种高精度地图构建方法、装置及电子设备
CN115308716A (zh) * 2022-10-12 2022-11-08 深圳市其域创新科技有限公司 扫描设备及扫描设备的控制方法
WO2023045271A1 (zh) * 2021-09-24 2023-03-30 奥比中光科技集团股份有限公司 一种二维地图生成方法、装置、终端设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116597074A (zh) * 2023-04-18 2023-08-15 五八智能科技(杭州)有限公司 一种多传感器信息融合的方法、系统、装置和介质
CN116883584B (zh) * 2023-05-29 2024-03-26 东莞市捷圣智能科技有限公司 基于数模的轨迹生成方法、装置、电子设备及存储介质
CN118674943B (zh) * 2024-08-20 2024-12-13 杭州灵西机器人智能科技有限公司 一种金库自动化方法、系统、装置和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355647A (zh) * 2016-08-25 2017-01-25 北京暴风魔镜科技有限公司 增强现实系统和方法
CN110796714A (zh) * 2019-08-22 2020-02-14 腾讯科技（深圳）有限公司 一种地图构建方法、装置、终端以及计算机可读存储介质
US20210035314A1 (en) * 2018-10-12 2021-02-04 Tencent Technology (Shenzhen) Company Limited Map element extraction method and apparatus, and server
CN113012212A (zh) * 2021-04-02 2021-06-22 西北农林科技大学 一种基于深度信息融合的室内场景三维点云重建方法和系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107741234B (zh) * 2017-10-11 2021-10-19 深圳勇艺达机器人有限公司 一种基于视觉的离线地图构建及定位方法
CN110243375A (zh) * 2019-06-26 2019-09-17 汕头大学 一种同时构建二维地图和三维地图的方法
EP4015159A4 (en) * 2019-07-17 2023-10-11 Yujin Robot Co., Ltd. APPARATUS AND METHOD FOR PERFORMING OBJECT IMAGE GENERATION, OBJECT RECOGNITION AND ENVIRONMENT LEARNING OF A MOBILE ROBOT
CN112381919B (zh) * 2019-07-29 2022-09-27 浙江商汤科技开发有限公司 信息处理方法、定位方法及装置、电子设备和存储介质
CN114004882A (zh) * 2021-09-24 2022-02-01 奥比中光科技集团股份有限公司 一种二维地图生成方法、装置、终端设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355647A (zh) * 2016-08-25 2017-01-25 北京暴风魔镜科技有限公司 增强现实系统和方法
US20210035314A1 (en) * 2018-10-12 2021-02-04 Tencent Technology (Shenzhen) Company Limited Map element extraction method and apparatus, and server
CN110796714A (zh) * 2019-08-22 2020-02-14 腾讯科技（深圳）有限公司 一种地图构建方法、装置、终端以及计算机可读存储介质
CN113012212A (zh) * 2021-04-02 2021-06-22 西北农林科技大学 一种基于深度信息融合的室内场景三维点云重建方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
赵矿军;: "基于RGB-D摄像机的室内三维彩色点云地图构建", 哈尔滨商业大学学报(自然科学版), no. 01, 15 February 2018 (2018-02-15) *
陈超;李强;闫青;: "基于异质传感器信息融合的移动机器人同步定位与构图", 科学技术与工程, no. 13, 8 May 2018 (2018-05-08) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023045271A1 (zh) * 2021-09-24 2023-03-30 奥比中光科技集团股份有限公司 一种二维地图生成方法、装置、终端设备及存储介质
CN114663612A (zh) * 2022-03-24 2022-06-24 北京百度网讯科技有限公司 一种高精度地图构建方法、装置及电子设备
US12190445B2 (en) 2022-03-24 2025-01-07 Beijing Baidu Netcom Science Technology Co., Ltd. High-precision map construction method, apparatus and electronic device
CN115308716A (zh) * 2022-10-12 2022-11-08 深圳市其域创新科技有限公司 扫描设备及扫描设备的控制方法

Also Published As

Publication number Publication date
US20240395002A1 (en) 2024-11-28
WO2023045271A1 (zh) 2023-03-30

Similar Documents

Publication Publication Date Title
CN114004882A (zh) 一种二维地图生成方法、装置、终端设备及存储介质
KR102126724B1 (ko) 포인트 클라우드 데이터를 복구하기 위한 방법 및 장치
JP6830139B2 (ja) ３次元データの生成方法、３次元データの生成装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体
WO2020206708A1 (zh) 障碍物的识别方法、装置、计算机设备和存储介质
CN111383279B (zh) 外参标定方法、装置及电子设备
CN110135455A (zh) 影像匹配方法、装置及计算机可读存储介质
CN109918977B (zh) 确定空闲车位的方法、装置及设备
US9858669B2 (en) Optimized camera pose estimation system
CN113030990B (zh) 车辆的融合测距方法、装置、测距设备及介质
CN111815707A (zh) 点云确定方法、点云筛选方法、装置、计算机设备
CN109740487B (zh) 点云标注方法、装置、计算机设备和存储介质
CN104167109A (zh) 车辆位置的检测方法和检测装置
CN113496503B (zh) 点云数据的生成及实时显示方法、装置、设备及介质
CN110703805A (zh) 立体物体测绘航线规划方法、装置、设备、无人机及介质
CN109978954A (zh) 基于箱体的雷达和相机联合标定的方法和装置
CN113378605A (zh) 多源信息融合方法及装置、电子设备和存储介质
CN116778094A (zh) 一种基于优选视角拍摄的建筑物变形监测方法及装置
CN114565722A (zh) 一种三维模型单体化实现方法
CN113034347A (zh) 倾斜摄影图像处理方法、装置、处理设备及存储介质
CN116086411B (zh) 数字地形图生成方法、装置、设备和可读存储介质
CN112767498A (zh) 相机标定方法、装置和电子设备
CN112689234A (zh) 室内车辆定位方法、装置、计算机设备和存储介质
CN113724397B (zh) 虚拟对象的定位方法、装置、电子设备及存储介质
CN113240754B (zh) 确定ptz摄像装置的内参的方法、装置、设备及存储介质
KR102458559B1 (ko) 휴대용 단말기를 이용한 건설 분야 시공 관리 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination