CN114124909A - 基于激光雷达的点云实时采集压缩传输系统及方法 - Google Patents

基于激光雷达的点云实时采集压缩传输系统及方法 Download PDF

Info

Publication number
CN114124909A
CN114124909A CN202111074168.3A CN202111074168A CN114124909A CN 114124909 A CN114124909 A CN 114124909A CN 202111074168 A CN202111074168 A CN 202111074168A CN 114124909 A CN114124909 A CN 114124909A
Authority
CN
China
Prior art keywords
point cloud
frame
decoding
time
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111074168.3A
Other languages
English (en)
Other versions
CN114124909B (zh
Inventor
陈建
黄炜
陈锋
郑明魁
黄昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202111074168.3A priority Critical patent/CN114124909B/zh
Publication of CN114124909A publication Critical patent/CN114124909A/zh
Application granted granted Critical
Publication of CN114124909B publication Critical patent/CN114124909B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提出一种基于激光雷达的点云实时采集压缩传输系统及方法,包括:实时采集激光雷达点云,对点云进行自适应编码和封装,实时传输,解封装和自适应解码,渲染可视化并保存本地。本系统具有时间复杂度低,实时性高的优点,根据带宽动态压缩后的数据在低带宽的情况下也可实现可靠低时延的传输,远程实时地观测并处理激光雷达采集的第一手3D点云数据。高带宽情况下该系统还可用于传输多路数据,符合车路协同、远程智能驾驶、机器人视觉等行业对远程采集传输点云数据并进行分析处理的低时延需求。

Description

基于激光雷达的点云实时采集压缩传输系统及方法
技术领域
本发明属于车路协同、智能驾驶、机器人视觉技术领域,尤其涉及一种基于激光雷达的点云实时采集压缩传输系统及方法。
背景技术
激光雷达动态捕获的点云数据对于车路协同、智能驾驶、机器人视觉等产业意义重大。然而在实际应用中,由于点云数据极其庞大,加之存储空间和传输带宽受限,使得激光雷达采集到的点云大多数情况下只能在本地进行观测,用于辅助驾驶。
现有的点云采集压缩传输系统中,缺少专门针对激光雷达动态捕获的点云数据进行实时采集压缩传输的系统,例如实时采集传输的系统通常没有进行压缩,存在数据量大,带宽受限时无法有效快速传输的缺点;而进行压缩传输的系统通常又只是使用录制好的数据集,且编码时间复杂度高,缺乏实时性。
发明内容
针对现有技术存在的缺陷和不足,本发明的目的在于提供一种基于激光雷达的点云实时采集压缩传输系统及方法,包括:实时采集激光雷达点云,对点云进行自适应编码和封装,实时传输,解封装和自适应解码,渲染可视化并保存本地。本系统具有时间复杂度低,实时性高的优点,根据带宽动态压缩后的数据在低带宽的情况下也可实现可靠低时延的传输,远程实时地观测并处理激光雷达采集的第一手3D点云数据。高带宽情况下该系统还可用于传输多路数据,符合车路协同、远程智能驾驶、机器人视觉等行业对远程采集传输点云数据并进行分析处理的低时延需求。
本发明具体采用以下技术方案:
一种基于激光雷达的点云实时采集压缩传输方法,其特征在于,包括以下步骤:
步骤S1:在发送端,通过激光雷达实时获取点云数据;
步骤S2:在发送端,实时对点云数据进行自适应并行编码与封装;
步骤S3:将封装完成的码流实时传输至接收端;
步骤S4:在接收端,对点云数据进行解封装与自适应并行解码;
步骤S5:对解码得到的重构点云进行本地处理。
进一步地,步骤S2具体包括循环执行的以下步骤:
步骤S21:解析点云数据并标记帧号;
步骤S22:对点云数据进行多路并行编码;
步骤S23:编码完成后,封装当前帧码流;
步骤S24:与接收端建立连接,定时检测网络环境,自适应调整压缩质量参数;
步骤S4具体包括循环执行的以下步骤:
步骤S41:实时接收数据解封装,核对当前接收帧是否丢包,若核对失败则反馈重传;
步骤S42:将核对成功的码流存入缓冲区等待解码;
步骤S43:读取缓冲区的码流,根据自适应帧丢弃协议进行并行解码。
进一步地,在步骤S2中,根据步骤S21解析得到的点云数据和步骤S24中自适应调整的压缩质量参数,步骤S22实时进行多路点云编码;设使用n路编码器并行编码,则第1路编码第n×i+1帧,第2路编码第n×i+2帧,……,第n路编码第n×i帧;其中,n为正整数,i为非负整数。
进一步地,在步骤S23中,在编码完成后,测量当前帧码流长度并赋予帧号,对当前帧码流进行打包,实现封装。
进一步地,在发送端与接收端建立连接后,通过步骤S3将压缩打包后的点云数据以报文形式发送至接收端,在接收端实时记录每两个报文之间的间隔T,设每个包大小为H,则接收端可以探测到的带宽值为H/T;统计一段时间内的每个报文探测到的带宽值求平均后,根据该带宽均值大小,获得当前时段内传输的网络环境,从而自适应调整下一个时段的压缩质量参数。
进一步地,在步骤S43中,根据自适应帧丢弃协议进行解码,解码时按照帧号的顺序进行重构,在n路并行编码的情况下,使用n路解码器并行解码:解码器1索引第n×i+1帧,解码器2索引第n×i+2帧,……,解码器n索引第n×i帧,从缓冲区内读取对应的相邻帧码流解码;若缓冲区内暂未检索到相邻帧,则等待相邻帧抵达接收端再继续解码;如果出现正被等待的当前帧丢失了的情况,即等待解码的时间超出了缓冲区的时长阈值,则判定当前帧符合自适应帧丢弃协议,即选择丢弃无法成功传输的当前帧,跳过当前帧帧号直接进行下一帧的解码,并使用成功解码的上一帧替代当前接收帧。
进一步地,每个步骤在代码中体现为独立的功能包,每个步骤通过各自的线程工作,检测不同的数据入口,以流水线的形式处理各自入口的数据,并在处理后输出至下一个步骤。
进一步地,在步骤S1中,所述点云数据为:pointcloud2格式点云数据;在步骤S2中,通过PCL对点云数据进行解析,通过进制转换与反序列化得到与PCL编码器相对应的点云数据PCD文件格式,使用双路编码器并行编码,并采用基于点云库的帧间八叉树编码;在步骤S3中,根据根据步骤S2中与接收端建立的数据包套接字连接,采用用户数据报协议UDP进行实时传输;在步骤S4中,根据自适应帧丢弃协议进行并行解码:解码时按照帧号的顺序进行重构,即在奇偶帧并行编码的情况下,使用双路解码器并行解码,解码器1与解码器2分别索引奇数帧与偶数帧,从缓冲区内读取对应的相邻帧码流解码,若缓冲区内暂未检索到相邻帧,则等待相邻帧抵达接收端再继续解码,以保证解码时序的正确性;并采用基于点云库的帧间八叉树解码;在步骤S5中,将解码得到的重构点云渲染播放并保存本地:根据帧号的顺序,将解码得到的点云广播为pointcloud2格式点云数据,通过ROS平台三维可视化界面rviz实时播放,同时本地留存PCD文件格式点云数据,根据用户需求选择是否要进行其他处理。
以及,一种基于激光雷达的点云实时采集压缩传输系统,其特征在于,包括:激光雷达、自适应编码与封装模块、实时传输模块、解封装与自适应解码模块和本地处理模块;
所述激光雷达用于实时获取点云数据;
所述自适应编码与封装模块用于实时对点云数据进行自适应并行编码与封装;
所述实时传输模块用于将封装完成的码流实时传输至解封装与自适应解码模块;
所述解封装与自适应解码模块用于对点云数据进行解封装与自适应并行解码;
所述本地处理模块对解码得到的重构点云进行本地处理。
本发明及其优选方案具有时间复杂度低,实时性高的优点,根据带宽动态压缩后的数据在低带宽的情况下也可实现可靠低时延的传输,远程实时地观测并处理激光雷达采集的第一手3D点云数据。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明:
图1是本发明实施例总体流程示意图。
图2是本发明实施例点云数据格式转换示意图。
图3是本发明实施例多路编码器并行编码流程示意图。
图4是本发明实施例基于点云库的帧间八叉树编码示意图。
图5是本发明实施例八叉树结构分解和逐位异或示意图。
图6是本发明实施例根据当前网络环境自适应调整压缩质量的流程示意图。
图7是本发明实施例核对接收端码流是否丢包的流程示意图。
图8是本发明实施例自适应帧丢弃协议并行解码流程示意图。
图9是本发明实施例基于点云库的帧间八叉树解码示意图。
具体实施方式
为让本专利的特征和优点能更明显易懂,下文特举实施例,作详细说明如下:
应该指出,以下详细说明都是示例性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本公开可能采用术语第一、第二、第三来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本公开范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
下面结合附图及实施例对本发明做进一步说明。
请参照图1,本实施例提供一种基于激光雷达的点云实时采集压缩传输系统,其工作过程包括以下步骤:
步骤S1:在发送端,启动激光雷达,实时获取点云数据;
步骤S2:在发送端,实时对点云数据进行自适应编码与封装;
自适应编码与封装过程包括如下步骤:
S21:解析点云数据并标记帧号;
S22:对点云数据进行多路并行编码;
S23:编码完成后,封装当前帧码流;
S24:与接收端建立连接,定时检测网络环境,自适应调整压缩质量参数。
步骤S3:将封装好的码流实时传输至接收端。
步骤S4:在接收端,对点云数据进行解封装与自适应并行解码;
解封装与自适应解码过程包括如下步骤:
S41:实时接收数据解封装,核对当前接收帧是否丢包,若核对失败则反馈重传;
S42:将核对成功的码流存入缓冲区等待解码;
S43:读取缓冲区的码流,根据自适应帧丢弃协议进行并行解码;
步骤S5:将解码得到的重构点云渲染播放并保存本地,流程结束。
上述步骤S1至S5,每个步骤在代码中体现为独立的功能包,因此每个步骤通过各自的线程工作,检测不同的数据入口,以流水线的形式处理各自入口的数据,并在处理后输出至下一个步骤。
本实施例中,步骤S1的点云实时捕获,基于机器人操作系统ROS(Robot OperatingSystem)平台,在发送端实时捕获激光雷达原始数据,并广播至ROS平台形成pointcloud2格式点云数据。
如图2所示,步骤S21中解析点云数据,本实施例中,实时检测并解析步骤S1中得到的pointcloud2格式点云数据,由于pointcloud2格式点云数据是激光雷达将点云空间坐标序列化后得到的一个数值,无法直接对其编码,因此必须通过PCL对其进行解析,通过进制转换与反序列化得到与PCL编码器相对应的点云数据PCD(Point Cloud Data)文件格式。
如图3所示,步骤S22中对点云数据进行多路并行编码,根据步骤S21解析得到的点云数据和步骤S24中自适应调整的压缩质量参数,实时进行多路点云编码。本实施例中,使用双路编码器并行编码,第1路编码奇数帧号,第2路编码偶数帧号。
如图4所示,基于点云库的帧间八叉树编码,本实施例中,在双路并行编码器内部,首先对进入编码器的第一个奇数帧和偶数帧做帧内编码,即对A帧点云数据做八叉树结构分解,得到A帧二进制序列,直接对A帧二进制序列进行区间编码得到A帧码流;后续的点云数据则对相邻两帧做帧间编码,即先对B帧做八叉树结构分解,得到B帧二进制序列,再与A帧二进制序列做异或,最后对异或的结果进行区间编码,得到B帧码流;在奇数帧编码器中,A、B可举例为第1帧与第3帧、第3帧与第5帧,以此类推,在偶数帧编码器中,A、B可举例为第2帧与第4帧、第4帧与第6帧,以此类推。
进一步的,如图5所示,对相邻两帧做八叉树结构分解和逐位异或,在本实施例中,分别对A帧点云和B帧点云进行八叉树分解,将有数据区域的占用位置填1,否则填0,从而获得两帧的第一层八叉树占用码序列均为00000100;接着对占用码为1区域的A帧和B帧点云进行第二层八叉树分解,分别得到01000001和10000001;进而将每层的占用码逐位异或,并按照广度遍历获得16位二进制序列00000000 11000000。
进一步的,如表1所示,对二进制序列进行区间编码,本实施例中,以广度遍历16位二进制序列00000000 11000000的区间编码为例,其中符号0和1出现的频率分别为0.875和0.125,初始区间下界为1,上界为2的16次方,即为[1,65536],根据符号0和1的出现的频率不断分割区间进行编码,编码完毕取[22166.89838, 22324.80949532989501953125]间任意一个整数,如22167即为区间编码的结果,转换二进制输出15位码流101 0110 10010111。
表1
Figure 3750DEST_PATH_IMAGE001
步骤S23在编码完成后,封装当前帧码流。在编码完成后,测量当前帧码流长度并赋予帧号,对当前帧码流进行打包,实现封装。
如图6所示,步骤S24中与接收端建立连接,定时检测网络环境,自适应调整压缩质量参数,本实施例中,在发送端与接收端建立连接后,通过步骤S3将压缩打包后的点云数据以报文形式发送至接收端,在接收端实时记录每两个报文之间的间隔T(s),假设每个包大小为H(bit),则接收端可以探测到的带宽值为H/T(bps)。统计一段时间内的每个报文探测到的带宽值求平均后,根据该带宽均值落在哪个区间内,即可得知当前时段内传输的网络环境如何,自适应调整下一个时段的压缩质量参数:若带宽低,则降低压缩质量;若带宽适宜,则压缩质量不变;若带宽高,则提高压缩质量。
步骤S3中将封装好的码流实时传输至接收端,本实施例中,根据步骤S24中与接收端建立数据包套接字连接,选择用户数据报协议UDP(User Datagram Protocol)进行实时传输。
如图7所示,步骤S41中实时接收数据解封装,核对当前接收帧是否丢包,若核对失败则反馈重传,根据帧号与码流长度核对当前接收帧,若当前接收帧核对成功,则存入缓冲区等待解码;若当前接收帧核对失败,即存在丢包的情况,则根据帧号索引重新传输当前接收帧。
如图8所示,步骤S43中根据自适应帧丢弃协议进行并行解码,解码时按照帧号的顺序进行重构,即在奇偶帧并行编码的情况下,使用双路解码器并行解码,解码器1与解码器2分别索引奇数帧与偶数帧,从缓冲区内读取对应的相邻帧码流解码,若缓冲区内暂未检索到相邻帧,则等待相邻帧抵达接收端再继续解码,保证解码时序的正确性。如果出现不可预料的情况丢失了正被等待的当前帧,即等待解码的时间超出了缓冲区的时长阈值,则判定当前帧符合自适应帧丢弃协议,即选择丢弃无法成功传输的当前帧,跳过当前帧帧号直接进行下一帧的解码,并使用成功解码的上一帧进行替代当前接收帧。
如图9所示,基于点云库的帧间八叉树解码,本实施例中,在双路并行解码器内部,分别读取奇数帧或偶数帧序列中的相邻帧,对A帧码流做帧内解码重构A帧点云,即先对A帧码流做区间解码,还原A帧二进制序列,通过八叉树结构解析重构A帧点云;然后对B帧码流进行区间解码,得到的B帧二进制序列与A帧二进制序列做异或,再对异或的结果做八叉树结构解析,即可重构B帧点云;在奇数帧解码器中,A、B可举例为第1帧与第3帧、第3帧与第5帧,以此类推,在偶数帧解码器中,A、B可举例为第2帧与第4帧、第4帧与第6帧,以此类推。
进一步的,如表2所示,对码流进行区间解码,本实施例中,以码流101 0110 10010111为例,进制转换为22167后,根据区间编码时分割好的区间,即可逐层推导出22167依次落在哪个符号对应的区间,从而还原二进制序列0000 0000 1100 0000。
表2
Figure 983207DEST_PATH_IMAGE002
步骤S5中将解码得到的重构点云渲染播放并保存本地,本实施例中,根据帧号的顺序,将解码得到的点云广播为pointcloud2格式点云数据,通过ROS平台三维可视化界面rviz实时播放,同时本地留存PCD文件格式点云数据,根据用户需求选择是否要进行其他处理。
与现有技术相比,本发明的有益效果是:
本发明具有时间复杂度低,实时性高的优点,根据带宽动态压缩后的数据在低带宽的情况下也可实现可靠低时延的传输,远程实时地观测并处理激光雷达采集的第一手3D点云数据。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征做出同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
本实施例提供的以上方法可以代码化的形式存储在计算机可读取存储介质中,并以计算机程序的方式进行实现,并通过计算机硬件输入计算所需的基本参数信息,并输出计算结果。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求保护范围之内。
本专利不局限于上述最佳实施方式,任何人在本专利的启示下都可以得出其它各种形
式的基于激光雷达的点云实时采集压缩传输系统及方法,凡依本发明申请专利范围所做的均等变化与修饰,皆应属本专利的涵盖范围。

Claims (9)

1.一种基于激光雷达的点云实时采集压缩传输方法,其特征在于,包括以下步骤:
步骤S1:在发送端,通过激光雷达实时获取点云数据;
步骤S2:在发送端,实时对点云数据进行自适应并行编码与封装;
步骤S3:将封装完成的码流实时传输至接收端;
步骤S4:在接收端,对点云数据进行解封装与自适应并行解码;
步骤S5:对解码得到的重构点云进行本地处理。
2.根据权利要求1所述的基于激光雷达的点云实时采集压缩传输方法,其特征在于:
步骤S2具体包括循环执行的以下步骤:
步骤S21:解析点云数据并标记帧号;
步骤S22:对点云数据进行多路并行编码;
步骤S23:编码完成后,封装当前帧码流;
步骤S24:与接收端建立连接,定时检测网络环境,自适应调整压缩质量参数;
步骤S4具体包括循环执行的以下步骤:
步骤S41:实时接收数据解封装,核对当前接收帧是否丢包,若核对失败则反馈重传;
步骤S42:将核对成功的码流存入缓冲区等待解码;
步骤S43:读取缓冲区的码流,根据自适应帧丢弃协议进行并行解码。
3.根据权利要求2所述的基于激光雷达的点云实时采集压缩传输方法,其特征在于:在步骤S2中,根据步骤S21解析得到的点云数据和步骤S24中自适应调整的压缩质量参数,步骤S22实时进行多路点云编码;设使用n路编码器并行编码,则第1路编码第n×i+1帧,第2路编码第n×i+2帧,……,第n路编码第n×i帧;其中,n为正整数,i为非负整数。
4.根据权利要求2所述的基于激光雷达的点云实时采集压缩传输方法,其特征在于:在步骤S23中,在编码完成后,测量当前帧码流长度并赋予帧号,对当前帧码流进行打包,实现封装。
5.根据权利要求2所述的基于激光雷达的点云实时采集压缩传输方法,其特征在于:在发送端与接收端建立连接后,通过步骤S3将压缩打包后的点云数据以报文形式发送至接收端,在接收端实时记录每两个报文之间的间隔T,设每个包大小为H,则接收端可以探测到的带宽值为H/T;统计一段时间内的每个报文探测到的带宽值求平均后,根据该带宽均值大小,获得当前时段内传输的网络环境,从而自适应调整下一个时段的压缩质量参数。
6.根据权利要求2所述的基于激光雷达的点云实时采集压缩传输方法,其特征在于:在步骤S43中,根据自适应帧丢弃协议进行解码,解码时按照帧号的顺序进行重构,在n路并行编码的情况下,使用n路解码器并行解码:解码器1索引第n×i+1帧,解码器2索引第n×i+2帧,……,解码器n索引第n×i帧,从缓冲区内读取对应的相邻帧码流解码;若缓冲区内暂未检索到相邻帧,则等待相邻帧抵达接收端再继续解码;如果出现正被等待的当前帧丢失了的情况,即等待解码的时间超出了缓冲区的时长阈值,则判定当前帧符合自适应帧丢弃协议,即选择丢弃无法成功传输的当前帧,跳过当前帧帧号直接进行下一帧的解码,并使用成功解码的上一帧替代当前接收帧。
7.根据权利要求1所述的基于激光雷达的点云实时采集压缩传输方法,其特征在于:每个步骤在代码中体现为独立的功能包,每个步骤通过各自的线程工作,检测不同的数据入口,以流水线的形式处理各自入口的数据,并在处理后输出至下一个步骤。
8.根据权利要求1所述的基于激光雷达的点云实时采集压缩传输方法,其特征在于:在步骤S1中,所述点云数据为:pointcloud2格式点云数据;在步骤S2中,通过PCL对点云数据进行解析,通过进制转换与反序列化得到与PCL编码器相对应的点云数据PCD文件格式,使用双路编码器并行编码,并采用基于点云库的帧间八叉树编码;在步骤S3中,根据根据步骤S2中与接收端建立的数据包套接字连接,采用用户数据报协议UDP进行实时传输;在步骤S4中,根据自适应帧丢弃协议进行并行解码:解码时按照帧号的顺序进行重构,即在奇偶帧并行编码的情况下,使用双路解码器并行解码,解码器1与解码器2分别索引奇数帧与偶数帧,从缓冲区内读取对应的相邻帧码流解码,若缓冲区内暂未检索到相邻帧,则等待相邻帧抵达接收端再继续解码,以保证解码时序的正确性;并采用基于点云库的帧间八叉树解码;在步骤S5中,将解码得到的重构点云渲染播放并保存本地:根据帧号的顺序,将解码得到的点云广播为pointcloud2格式点云数据,通过ROS平台三维可视化界面rviz实时播放,同时本地留存PCD文件格式点云数据,根据用户需求选择是否要进行其他处理。
9.一种基于激光雷达的点云实时采集压缩传输系统,其特征在于,包括:激光雷达、自适应编码与封装模块、实时传输模块、解封装与自适应解码模块和本地处理模块;
所述激光雷达用于实时获取点云数据;
所述自适应编码与封装模块用于实时对点云数据进行自适应并行编码与封装;
所述实时传输模块用于将封装完成的码流实时传输至解封装与自适应解码模块;
所述解封装与自适应解码模块用于对点云数据进行解封装与自适应并行解码;
所述本地处理模块对解码得到的重构点云进行本地处理。
CN202111074168.3A 2021-09-14 2021-09-14 基于激光雷达的点云实时采集压缩传输系统及方法 Active CN114124909B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111074168.3A CN114124909B (zh) 2021-09-14 2021-09-14 基于激光雷达的点云实时采集压缩传输系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111074168.3A CN114124909B (zh) 2021-09-14 2021-09-14 基于激光雷达的点云实时采集压缩传输系统及方法

Publications (2)

Publication Number Publication Date
CN114124909A true CN114124909A (zh) 2022-03-01
CN114124909B CN114124909B (zh) 2023-03-14

Family

ID=80441083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111074168.3A Active CN114124909B (zh) 2021-09-14 2021-09-14 基于激光雷达的点云实时采集压缩传输系统及方法

Country Status (1)

Country Link
CN (1) CN114124909B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115858326A (zh) * 2023-02-15 2023-03-28 天翼交通科技有限公司 基于车路协同的性能监控方法、系统、存储介质及设备
CN116953660A (zh) * 2023-09-18 2023-10-27 中国科学院精密测量科学与技术创新研究院 一种全高层大气风温密探测激光雷达云边协同方法
CN117635889A (zh) * 2024-01-26 2024-03-01 南京柠瑛智能科技有限公司 激光点云数据实时渲染方法及系统、装置
CN118337333A (zh) * 2024-06-12 2024-07-12 工业和信息化部装备工业发展中心 一种网络自适应的点云数据压缩方法
CN118584423A (zh) * 2024-07-29 2024-09-03 南京派光智慧感知信息技术有限公司 一种用于异物监测的点云数据传输方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107943961A (zh) * 2017-11-27 2018-04-20 武汉地普三维科技有限公司 一种基于Web的海量点云渲染方法
CN108415034A (zh) * 2018-04-27 2018-08-17 绵阳天眼激光科技有限公司 一种激光雷达实时成像装置
CN111684808A (zh) * 2019-05-31 2020-09-18 深圳市大疆创新科技有限公司 点云数据的编码方法、编码装置、解码方法与解码装置
US20200394822A1 (en) * 2019-06-11 2020-12-17 Tencent America LLC Method and apparatus for point cloud compression
CN112235041A (zh) * 2020-12-18 2021-01-15 成都纵横大鹏无人机科技有限公司 实时点云的处理系统、方法及机载数据采集装置、方法
CN113284203A (zh) * 2021-05-04 2021-08-20 北京航空航天大学 基于八叉树编码和体素上下文的点云压缩及解压缩方法
CN113382242A (zh) * 2021-05-20 2021-09-10 北京大学深圳研究生院 码率控制方法、装置、设备及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107943961A (zh) * 2017-11-27 2018-04-20 武汉地普三维科技有限公司 一种基于Web的海量点云渲染方法
CN108415034A (zh) * 2018-04-27 2018-08-17 绵阳天眼激光科技有限公司 一种激光雷达实时成像装置
CN111684808A (zh) * 2019-05-31 2020-09-18 深圳市大疆创新科技有限公司 点云数据的编码方法、编码装置、解码方法与解码装置
US20200394822A1 (en) * 2019-06-11 2020-12-17 Tencent America LLC Method and apparatus for point cloud compression
CN112235041A (zh) * 2020-12-18 2021-01-15 成都纵横大鹏无人机科技有限公司 实时点云的处理系统、方法及机载数据采集装置、方法
CN113284203A (zh) * 2021-05-04 2021-08-20 北京航空航天大学 基于八叉树编码和体素上下文的点云压缩及解压缩方法
CN113382242A (zh) * 2021-05-20 2021-09-10 北京大学深圳研究生院 码率控制方法、装置、设备及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李明等: "远程医疗中Kinect点云数据的实时传输", 《西安邮电大学学报》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115858326A (zh) * 2023-02-15 2023-03-28 天翼交通科技有限公司 基于车路协同的性能监控方法、系统、存储介质及设备
CN115858326B (zh) * 2023-02-15 2023-09-22 天翼交通科技有限公司 基于车路协同的性能监控方法、系统、存储介质及设备
CN116953660A (zh) * 2023-09-18 2023-10-27 中国科学院精密测量科学与技术创新研究院 一种全高层大气风温密探测激光雷达云边协同方法
CN116953660B (zh) * 2023-09-18 2024-01-05 中国科学院精密测量科学与技术创新研究院 一种全高层大气风温密探测激光雷达云边协同方法
CN117635889A (zh) * 2024-01-26 2024-03-01 南京柠瑛智能科技有限公司 激光点云数据实时渲染方法及系统、装置
CN117635889B (zh) * 2024-01-26 2024-04-23 南京柠瑛智能科技有限公司 激光点云数据实时渲染方法及系统、装置
CN118337333A (zh) * 2024-06-12 2024-07-12 工业和信息化部装备工业发展中心 一种网络自适应的点云数据压缩方法
CN118337333B (zh) * 2024-06-12 2024-08-09 工业和信息化部装备工业发展中心 一种网络自适应的点云数据压缩方法
CN118584423A (zh) * 2024-07-29 2024-09-03 南京派光智慧感知信息技术有限公司 一种用于异物监测的点云数据传输方法及系统

Also Published As

Publication number Publication date
CN114124909B (zh) 2023-03-14

Similar Documents

Publication Publication Date Title
CN114124909B (zh) 基于激光雷达的点云实时采集压缩传输系统及方法
CN102143367B (zh) 一种纠错校验方法、设备和系统
CN104253996B (zh) 视频数据的发送、接收方法及其装置以及传输系统
CN102810314B (zh) 音频编码方法及装置、音频解码方法及装置、编解码系统
CN101394550B (zh) 视频数据的打包方法及装置
CN108847248B (zh) 蓝牙设备音频处理方法、系统、可读存储介质和蓝牙设备
CN102045557A (zh) 视频编解码方法及使用其的视频编码、解码装置
US8214724B2 (en) Transmitting data with variable unit for playback
CN104506287A (zh) 一种td-lte应急通信下的实时语音通信方法
CN103596010A (zh) 基于字典学习的压缩感知视频编解码系统
CN103618903A (zh) 高速低功耗无线传感网络视频压缩采样方法及装置
CN110191342A (zh) 视频编码方法及设备、视频解码方法及设备
CN113612516B (zh) 一种卫星通信数据包的压缩测试方法、系统及设备
CN101192903B (zh) 数据帧编解码控制方法
CN102055963A (zh) 一种视频编码、解码方法及编码、解码装置
CN103050123B (zh) 一种传输语音信息的方法和系统
CN104767997A (zh) 一种面向视频的视觉特征编码方法及装置
CN102571540A (zh) 一种解压的方法及装置
CN103763736A (zh) 一种基于ZigBee技术的无线实时语音高品质传输装置和方法
CN114978427B (zh) 数据处理方法、装置、程序产品、计算机设备和介质
CN113873486B (zh) 蓝牙通信方法、通信设备及系统
CN102630008A (zh) 无线视频传输方法及终端
CN111212286B (zh) 一种基于层修复的分布式多视点视频传输的方法和系统
CN102523448A (zh) 一种基于旋转的多描述视频编解码方法、装置及系统
CN102883158B (zh) 一种参考帧压缩存储和解压方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant