CN113393572A

CN113393572A - 点云数据生成方法、装置、移动终端和可读存储介质

Info

Publication number: CN113393572A
Application number: CN202110668635.9A
Authority: CN
Inventors: 许笼笼
Original assignee: Beijing Qding Interconnection Technology Co ltd
Current assignee: Beijing Qding Interconnection Technology Co ltd
Priority date: 2021-06-17
Filing date: 2021-06-17
Publication date: 2021-09-14
Anticipated expiration: 2041-06-17
Also published as: CN113393572B

Abstract

本发明公开了一种点云数据生成方法、装置、移动终端和可读存储介质，应用于包括图像传感器和激光雷达的移动终端，该方法包括实时采集房屋场景图像帧，并将当前房屋场景图像帧均匀分为N个区域；确定每一个区域的中心位置坐标；利用所述激光雷达确定每一个区域的中心位置坐标对应的深度坐标；利用N个中心位置坐标和N个中心位置坐标对应的深度坐标生成所述当前房屋场景图像帧对应的点云数据。本方案不仅对硬件要求不高，而且不需要采集人员具有专业的测量知识，也不需要将采集的数据导入到相应厂家自带的专有软件中，在移动终端本地就可以根据实时采集的房屋场景图像帧生成点云数据，使得点云数据的生成过程更为简单方便。

Description

点云数据生成方法、装置、移动终端和可读存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种点云数据生成方法、装置、移动终端和可读存储介质。

背景技术

目前，在房屋装修行业中，一般利用激光雷达测量房屋结构，所采用的激光雷达设备都是专业型设备，价格低点的有几万人民币的，高的则要几十万人民币。不是普通家装设计师所能承受起的。而且，利用激光雷达扫描房屋结构后，还需要把搜集的数据导入到激光雷达设备相应厂家自带的专有软件中，做一系列组合、转换等操作后，才能导出通用的点云格式数据文件。

发明内容

鉴于上述问题，本申请提出一种点云数据生成方法、装置、移动终端和可读存储介质。

本申请提出一种点云数据生成方法，应用于包括图像传感器和激光雷达的移动终端，所述方法包括：

利用所述图像传感器实时采集房屋场景图像帧；

将当前房屋场景图像帧均匀分为N个区域；

确定每一个区域的中心位置坐标；

利用所述激光雷达确定每一个区域的中心位置坐标对应的深度坐标；

利用N个中心位置坐标和N个中心位置坐标对应的深度坐标生成所述当前房屋场景图像帧对应的点云数据。

本申请所述的点云数据生成方法，所述将所述当前房屋场景图像帧均匀分为N个区域，包括：

确定所述当前房屋场景图像帧的像素列总数和像素行总数；

根据所述像素列总数、所述像素行总数和N确定每一个区域的像素点总数；

根据所述像素列总数和所述每一个区域的像素点总数对所述当前房屋场景图像帧的每一行进行等分；

根据所述像素行总数和所述每一个区域的像素点总数对所述当前房屋场景图像帧的每一列进列等分。

本申请所述的点云数据生成方法，所述根据所述像素列总数和所述每一个区域的像素点总数对所述当前房屋场景图像帧的每一行进行等分，包括：

利用以下公式将所述当前房屋场景图像帧的每一行进行K1等分：

表示每一个区域的像素点总数，I表示所述当前房屋场景图像帧的像素行总数，J表示所述当前房屋场景图像帧的像素列总数，N为预定区域总数目。

本申请所述的点云数据生成方法，所述根据所述像素行总数和所述每一个区域的像素点总数对所述当前房屋场景图像帧的每一列进列等分，包括：

利用以下公式将所述当前房屋场景图像帧的每一列进行K2等分：

本申请所述的点云数据生成方法，还包括：

根据所述当前房屋场景图像帧和每一个点云数据的中心位置坐标确定每一个点云数据的颜色信息并保存。

本申请提出一种点云数据生成装置，应用于包括图像传感器和激光雷达的移动终端，所述装置包括：

采集模块，用于利用所述图像传感器实时采集房屋场景图像帧；

划分模块，用于将当前房屋场景图像帧均匀分为N个区域；

坐标确定模块，用于确定每一个区域的中心位置坐标；

深度确定模块，用于利用所述激光雷达确定每一个区域的中心位置坐标对应的深度坐标；

生成模块，用于利用N个中心位置坐标和N个中心位置坐标对应的深度坐标生成所述当前房屋场景图像帧对应的点云数据。

本申请所述的点云数据生成装置，所述划分模块包括：

数目确定单元，用于确定所述当前房屋场景图像帧的像素列总数和像素行总数，并根据所述像素列总数、所述像素行总数和N确定每一个区域的像素点总数；

行等分单元，用于根据所述像素列总数和所述每一个区域的像素点总数对所述当前房屋场景图像帧的每一行进行等分；

列等分单元，用于根据所述像素行总数和所述每一个区域的像素点总数对所述当前房屋场景图像帧的每一列进列等分。

本申请所述的点云数据生成装置，所述根据所述像素列总数和所述每一个区域的像素点总数对所述当前房屋场景图像帧的每一行进行等分，包括：

本申请还提出一种移动终端，包括图像传感器、激光雷达、存储器和处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行本申请所述的点云数据生成方法。

本申请还提出一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行本申请还提出所述的点云数据生成方法。

本申请公开的点云数据生成方法，应用于包括激光雷达的移动终端，用于获取房屋点云数据。在采集人员利用带有图像传感器和激光雷达的移动终端实时采集房屋场景时，移动终端可以按照预定的采集频率实时采集房屋场景图像帧，并将当前房屋场景图像帧均匀分为N个区域；然后，确定每一个区域的中心位置坐标；利用所述激光雷达确定每一个区域的中心位置坐标对应的深度坐标；利用N个中心位置坐标和N个中心位置坐标对应的深度坐标生成所述当前房屋场景图像帧对应的点云数据。本申请只需要采集人员利用带有激光雷达的移动终端实时采集房屋场景，移动终端就可以根据采集房屋场景图像帧生成点云数据，本申请不仅对硬件要求不高，而且不需要采集人员具有专业的测量知识，也不需要将采集的数据导入到相应厂家自带的专有软件中，在移动终端本地就可以根据实时采集的房屋场景图像帧生成点云数据，使得点云数据的生成过程更为简单方便。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。

图1示出了本申请实施例提出的一种点云数据生成方法的流程示意图；

图2示出了本申请实施例提出的一种划分方法的流程示意图；

图3示出了本申请实施例提出的一种图像帧示意图；

图4示出了本申请实施例提出的另一种点云数据生成方法的流程示意图；

图5示出了本申请实施例提出的一种点云数据生成装置的结构示意图。

主要元件符号说明：

10-点云数据生成装置；11-采集模块；12-划分模块；13-坐标确定模块；14-深度确定模块；15-生成模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。

此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。

实施例1

本申请的一个实施例，如图1所示，提出一种点云数据生成方法包括以下步骤：

S100：利用所述图像传感器实时采集房屋场景图像帧。

在采集人员利用带有图像传感器和激光雷达的移动终端实时采集房屋场景时，移动终端可以按照预定的采集频率实时采集房屋场景图像帧。可以理解的，采集人员不需要具有专业的测量知识，只需要采集人员利用移动终端的激光雷达扫描房屋的各个角落即可。

S200：将当前房屋场景图像帧均匀分为N个区域。

其中，N个区域对应N个点云数据，N为预定区域总数目，根据移动终端对应的预定采集频率和扫描整个房屋的总用时确定。由于，采集频率越小，单位采集时间获得的房屋场景图像帧越多，在每一张房屋场景图像帧中都取N个点云数据的情况下，采集频率越小，单位采集时间获得的点云数据越多，所有点云数据都保存在移动终端的存储器里，在采集的同时还需要将所有点云数据渲染出来，考虑到，扫描时间越久，这个点云数据累计的就越多，占用的存储器内存就越高，需要根据移动终端对应的预定采集频率确定N的大小。

示范性的，目前在ipad 11上，对600万个点云数据进行渲染并显示就会导致系统卡顿，因此，在每秒采集60个房屋场景图像帧的前提下，对应的N＝400，此时，若扫描整个房屋的总用时为5分钟，则点云数据为5*60*60*400＝720000，72万个点云数据进行渲染并显示并不会导致系统卡顿，保证在点云生成过程不影响点云数据的渲染和显示，保证整个点云生成过程的流畅性。

将当前房屋场景图像帧均匀分为N个区域，可以保证利用房屋场景图像帧实现点云数据的合理分布，避免在房屋场景图像帧的某一区域生成过多的点云数据，或者在房屋场景图像帧的某一区域生成过少的点云数据，匀分为N个区域可以保证获得的全部点云数据可以较好的反应房屋的结构。

S300：确定每一个区域的中心位置坐标。

示范性的，可以先确定每一个区域的大小，若每一个区域由p*q个像素点组成，则第一个区域的中心位置坐标可以表示为(p/2,q/2)，与第一个区域横向相邻的区域的中心位置坐标可以表示为(p/2+p,q/2)，与第一个区域纵向相邻的区域的中心位置坐标可以表示为(p/2,q/2+q)。以此类推，可以确定每一个区域的中心位置坐标。

S400：利用所述激光雷达确定每一个区域的中心位置坐标对应的深度坐标。

可以利用ARKit生成一个虚拟的三维空间，将移动设备摄像头所在位置设为三维空间原点，基于ARKit利用所述激光雷达确定每一个区域的中心位置坐标对应的深度坐标。

其中，ARKit使用视觉惯性测距的技术来创建真实空间和虚拟空间之间的一个对应关系。该过程将来自iOS设备的运动传感器硬件的信息与设备相机可见的场景的计算机视觉分析相结合。ARKit识别房屋场景图像帧中的显著特征，追踪视频帧中这些特征位置的差异，并将该信息与运动传感器数据进行比较，之后生成移动设备的位置和运动的高精度模型。

S500：利用N个中心位置坐标和N个中心位置坐标对应的深度坐标生成所述当前房屋场景图像帧对应的点云数据。

本实施例公开的点云数据生成方法，应用于包括激光雷达的移动终端，用于获取房屋点云数据。在采集人员利用带有激光雷达的移动终端实时采集房屋场景时，移动终端可以按照预定的采集频率实时采集房屋场景图像帧，并将当前房屋场景图像帧均匀分为N个区域；然后，确定每一个区域的中心位置坐标；利用所述激光雷达确定每一个区域的中心位置坐标对应的深度坐标；利用N个中心位置坐标和N个中心位置坐标对应的深度坐标生成所述当前房屋场景图像帧对应的点云数据。本实施例公开的技术方案只需要采集人员利用带有激光雷达的移动终端实时采集房屋场景，移动终端就可以根据采集房屋场景图像帧生成点云数据，不仅对硬件要求不高，而且不需要采集人员具有专业的测量知识，也不需要将采集的数据导入到相应厂家自带的专有软件中，在移动终端本地就可以根据实时采集的房屋场景图像帧生成点云数据，使得点云数据的生成过程更为简单方便。

实施例2

本申请的一个实施例，如图2所示，提出一种将当前房屋场景图像帧均匀分为N个区域的方法，该方法包括以下步骤：

S210：确定所述当前房屋场景图像帧的像素列总数和像素行总数。

S220：根据所述像素列总数、所述像素行总数和N确定每一个区域的像素点总数。

S230：根据所述像素列总数和所述每一个区域的像素点总数对所述当前房屋场景图像帧的每一行进行等分。

可以利用以下公式将所述当前房屋场景图像帧的每一行进行K1等分：

其中，

示范性的，如图3所示，假设当前房屋场景图像帧由4*6个像素点组成(应当理解，实际的房屋场景图像帧的像素点的数目远远大于所举示例)，假设将4*6个像素点组成的当前房屋场景图像帧均匀分为6份(应当理解，实际分割数目远远大于所举示例)，则

即将4*6个像素点组成的当前房屋场景图像帧的每一行进行3等分。

S240：根据所述像素行总数和所述每一个区域的像素点总数对所述当前房屋场景图像帧的每一列进列等分。

可以利用以下公式将所述当前房屋场景图像帧的每一列进行K2等分：

其中，

即将4*6个像素点组成的当前房屋场景图像帧的每一行进行2等分。

进一步的，根据列等分结果和当前房屋场景图像帧像素列总数，可以确定每一个区域的列数，根据行等分结果和当前房屋场景图像帧像素行总数，可以确定每一个区域的行数，进而可以根据每一个区域的行数和列数确定确定每一个区域的中心位置坐标。

实施例3

本申请的一个实施例，如图4所示，提出另一种点云数据生成方法，在步骤S100～S500之后，还包括以下步骤：

S600：根据所述当前房屋场景图像帧和每一个点云数据的中心位置坐标确定每一个点云数据的颜色信息并保存。

由于Metal技术可为3D图像提高10倍的渲染性能，可以利用Metal技术根据所述当前房屋场景图像帧和每一个点云数据的中心位置坐标确定每一个点云数据的RGB颜色信息并保存。示范性的，每一个点云数据的中心位置坐标为N个区域中一个区域的中心位置坐标，该中心位置坐标对应房屋场景图像帧上的一个像素点，可以根据该像素点的RGB颜色信息作为对应的点云数据的RGB颜色信息。

实施例4

本申请的一个实施例，如图5所示，提出一种点云数据生成装置10，应用于包括图像传感器和激光雷达的移动终端，点云数据生成装置10包括：采集模块11、划分模块12、坐标确定模块13、深度确定模块14和生成模块15。

采集模块11，用于利用所述图像传感器实时采集房屋场景图像帧；划分模块12，用于将当前房屋场景图像帧均匀分为N个区域；坐标确定模块13，用于确定每一个区域的中心位置坐标；深度确定模块14，用于利用所述激光雷达确定每一个区域的中心位置坐标对应的深度坐标；生成模块15，用于利用N个中心位置坐标和N个中心位置坐标对应的深度坐标生成所述当前房屋场景图像帧对应的点云数据。

进一步的，所述划分模块12包括：

数目确定单元，用于确定所述当前房屋场景图像帧的像素列总数和像素行总数，并根据所述像素列总数、所述像素行总数和N确定每一个区域的像素点总数；行等分单元，用于根据所述像素列总数和所述每一个区域的像素点总数对所述当前房屋场景图像帧的每一行进行等分；列等分单元，用于根据所述像素行总数和所述每一个区域的像素点总数对所述当前房屋场景图像帧的每一列进列等分。

进一步的，所述根据所述像素列总数和所述每一个区域的像素点总数对所述当前房屋场景图像帧的每一行进行等分，包括：利用以下公式将所述当前房屋场景图像帧的每一行进行K1等分：

进一步的，所述根据所述像素行总数和所述每一个区域的像素点总数对所述当前房屋场景图像帧的每一列进列等分，包括：利用以下公式将所述当前房屋场景图像帧的每一列进行K2等分：

进一步的，还包括：根据所述当前房屋场景图像帧和每一个点云数据的中心位置坐标确定每一个点云数据的颜色信息并保存。

本实施例公开的点云数据生成装置10通过采集模块11、划分模块12、坐标确定模块13、深度确定模块14和生成模块15的配合使用，用于执行上述实施例所述的点云数据生成方法，上述实施例所涉及的实施方案以及有益效果在本实施例中同样适用，在此不再赘述。

本申请涉及一种移动终端，包括图像传感器、激光雷达、存储器和处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行点云数据生成所述的点云数据生成方法。

本申请涉及一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行本申请所述的点云数据生成方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。