CN112688991A - 用于执行点云扫描操作的方法、相关装置及计算机程序产品 - Google Patents
用于执行点云扫描操作的方法、相关装置及计算机程序产品 Download PDFInfo
- Publication number
- CN112688991A CN112688991A CN202011469057.8A CN202011469057A CN112688991A CN 112688991 A CN112688991 A CN 112688991A CN 202011469057 A CN202011469057 A CN 202011469057A CN 112688991 A CN112688991 A CN 112688991A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- target area
- change signal
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000004590 computer program Methods 0.000 title claims abstract description 15
- 230000008859 change Effects 0.000 claims abstract description 79
- 238000004891 communication Methods 0.000 claims description 32
- 230000004044 response Effects 0.000 claims description 8
- 238000012546 transfer Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 6
- 230000003993 interaction Effects 0.000 abstract description 3
- 230000003190 augmentative effect Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 22
- 230000000875 corresponding effect Effects 0.000 description 10
- 230000001276 controlling effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例公开了用于执行点云扫描操作的方法、装置、电子设备、计算机可读存储介质及计算机程序产品,涉及云服务技术领域,具体涉及点云地图生成、增强现实技术领域。该方法的一具体实施方式包括:接收传入的场景变化信号,其中,场景变化信号由目标事件相机监测到目标区域存在场景内容变化时生成,然后根据该场景变化信号对目标区域重新进行点云扫描操作,得到新点云数据,其中,每个区域均设置有事件相机和点云扫描设备。该实施方式提供了一种基于事件相机来实现场景变化监测的方法,在场景中存在满足要求的变化时再对应的进行点云扫描操作,通过仅更新地图点云增量部分来降低单个采集设备与地图管理中心的数据交互压力。
Description
技术领域
本申请涉及云服务技术领域,具体涉及点云地图生成、增强现实技术领域,尤其涉及用于执行点云扫描操作的方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
背景技术
在例如数字孪生或平行驾驶的应用场景中往往需要点云地图以提供场景支持,点云地图是根据如光场相机或激光雷达等点云扫描设备来主动获取场景中的点云信息生成的。
现有技术中,通常通过点云扫描设备持续、连续的对目标区域进行监控,以实现对点云地图的连续更新,因点云地图所对应的应用场景通常范围较大,因上述设备中获取了大量的没有明显场景变化时的场景照片,导致存在大量无用数据,对后续数据传输和处理的过程带来了巨大的压力。
发明内容
本申请实施例提出了一种用于执行点云扫描操作的方法、装置、电子设备及计算机可读存储介质。
第一方面,本申请实施例提出了一种用于执行点云扫描操作的方法,包括:接收传入的场景变化信号;其中,该场景变化信号由目标事件相机监测到目标区域存在场景内容变化时生成;根据该场景变化信号对该目标区域重新进行点云扫描操作,得到新点云数据;其中,每个目标区域均设置有事件相机和点云扫描设备。
第二方面,本申请实施例提出了一种用于执行点云扫描操作的装置,包括:变化信号接收单元,被配置成接收传入的场景变化信号;其中,该场景变化信号由目标事件相机监测到目标区域存在场景内容变化时生成;新点云数据获取单元,被配置成根据该场景变化信号对该目标区域重新进行点云扫描操作,得到新点云数据;其中,每个目标区域均设置有事件相机和点云扫描设备。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,该指令被至少一个处理器执行,以使至少一个处理器执行时能够实现如第一方面中任一实现方式描述的用于执行点云扫描操作的方法。
第四方面,本申请实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使计算机执行时能够实现如第一方面中任一实现方式描述的用于执行点云扫描操作的方法。
第五方面,本申请实施例提供了一种包括计算机程序的计算机程序产品,该计算机程序在被处理器执行时能够实现如第一方面中任一实现方式描述的用于执行点云扫描操作的方法。
本申请实施例提供的用于执行点云扫描操作的方法、装置、电子设备及计算机可读存储介质,在接收到由目标事件相机监测到目标区域存在场景内容变化时生成的场景变化信号传入后,根据该场景变化信号对目标区域重新进行点云扫描操作,得到新点云数据,其中,每个区域均设置有事件相机和点云扫描设备。
本申请基于事件相机的特性,对目标区域进行监控,在确定目标区域存在满足预先要求的场景变化时再获取目标区域中的内容,以得到更新点云数据,减少无用点云数据的生成,以降低后续处理点云数据、生成完整点云地图和更新点完整云地图时的数据处理压力。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请可以应用于其中的示例性系统架构;
图2为本申请实施例提供的一种用于执行点云扫描操作的方法的流程图;
图3为本申请实施例提供的另一种用于执行点云扫描操作的方法的流程图;
图4为本申请实施例提供的在一应用场景下的用于执行点云扫描操作的方法的结构示意图;
图5为本申请实施例提供的一种用于执行点云扫描操作的装置的结构框图;
图6为本申请实施例提供的一种适用于执行用于执行点云扫描操作的方法的电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于执行点云扫描操作的方法、装置、电子设备及计算机可读存储介质的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括事件相机101、点云扫描设备102、用户终端103、网络104和服务器105。网络104用以在事件相机101、点云扫描设备102、用户终端103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
事件相机101、点云扫描设备102通常成对设置,以实现新点云数据的获取,并对应的对保存在服务器105中的完整点云地图进行更新,在此基础上用户可以使用用户终端103通过网络104与服务器105之间交互,以获取点云地图等。用户终端103和服务器105上可以安装有各种用于实现两者之间进行信息通讯的应用,例如点云地图获取类应用、虚拟场景生成类应用等。
事件相机101和点云扫描设备102通常体现为不限型号的功能硬件,例如点云扫描设备102可以具体表现为三维激光扫描仪、光场相机等,用户终端103可以是硬件,也可以是软件,可以是具有显示屏的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当用户终端103为软件时,其可以实现成多个软件或软件模块(例如发送点云地图获取请求等),也可以实现成单个软件或软件模块。在此不做具体限定。
同样的,服务器105可以是硬件,也可以是软件。当服务器为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当服务器为软件时,可以实现成例如用来提供分布式服务的多个软件或软件模块,也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是,本申请的实施例所提供的用于执行点云扫描操作的方法一般由点云扫描设备102执行,相应地,用于执行点云扫描操作装置一般设置于点云扫描设备102中。
此外,在通常情况下服务器105通过内置的各种应用可以提供各种服务,以可以提供点云地图的应用为例,服务器105可以通过网络104从终端设备终端102中获取新点云数据,对本地保存有的点云地图进行更新,以在用户使用终端设备103请求获取点云地图时,为用户提供更新后的点云地图。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
请参考图2,图2为本申请实施例提供的一种用于执行点云扫描操作的方法的流程图,其中流程200包括以下步骤:
步骤201,接收传入的场景变化信号。
在本实施例中,由通常体现为点云扫描设备的用于执行点云扫描操作的方法的执行主体(例如图1所示的终端设备102)在获取到由目标事件相机监测到目标区域存在场景内容变化时生成的场景变化信号。
其中,事件相机英文名为Event-based Camera,或简称为Event Camera,缩写为EB。有时也称作DVS(Dynamic Vision Sensor“动态视觉传感器”)、DAVIS(Dynamic andActive-Pixel Vision Sensor)等,事件相机可以在目标区域场景中的某个像素的亮度变化累计达到一定阈值后,对该像素点进行记录,以生成对应的一个“事件”,以反映在目标区域场景中存在有像素内容的变化。
应当理解的是,因上述执行主体与目标事件相机相连,在目标事件相机中生成了“事件”后,会对应的生成场景变化信号,以达到指示上述执行主体在该目标事件相机监测的区域中存在场景内容变化的目的。
并且,因现有技术在生成点云地图时,可能会联合采用多个点云扫描设备,以实现更宽广、更完整的点云地图生成工作,在此场景下,目标事件相机可与多个点云扫描设备进行组合使用。
步骤202,根据场景变化信号对目标区域重新进行点云扫描操作,得到新点云数据。
在本实施例中,在接收到场景变化信号时,上述执行主体对应的进行点云扫描操作,以记录当前场景下目标区域的内容变化并对应的生成新点云数据。
其中,生成的点云数据根据上述执行主体的运算能力不同可以体现为多种表现形式,例如在上述执行主体本地计算能力不足时可仅将目标区域中的内容作为新点云数据进行上传,在上述执行主体本地计算能力充足时,可根据本次获取到的目标区域中的内容与目标区域中的历史内容进行比较,以确定两者的差异部分、得到新点云数据。
应当理解的是,为实现目标事件相机和点云扫描设备的准确联动,点云扫描设备的扫描视野范围应不小于目标事件相机的监测视野范围。
本申请实施例提供的用于执行点云扫描操作的方法,基于事件相机的特性,对目标区域进行监控,在确定目标区域存在满足预先要求的场景变化时再获取目标区域中的内容,以得到更新点云数据,减少无用点云数据的生成,以降低后续处理点云数据、生成完整点云地图时和更新完整点云地图时的数据处理压力。
在本实施例的一些可选实现方式中,该目标事件相机在监测到目标区域中存在亮度变化超过预设阈值时,生成场景变化信号。
具体的,可以通过控制目标事件相机设置对应的预设条件的方式实现对目标事件的监测敏感度进行设置,即通过调整目标事件相机对于亮度变化的灵敏度,在该亮度变化满足预设阈值的条件下,确定该目标区域中存在有较大的内容变化后,生成场景变化信号,以实现对目标区域的采集条件进行灵活设置,满足不同场景下的需求。
同样的,在一些实施例中同样还可以对目标事件相机监测的目标区域的中包含有满足亮度预设阈值要求的像素点的数量进行检测,在检测到的数量满足一定条件时,生成对应的场景变化信号,以进一步的提升对目标区域的监测质量,在确定有较为明显的内容变化时重新进行点云扫描操作。
本申请实施例提供的用于执行点云扫描操作的方法,仅提供存在内容变化的新点云数据给地图更新服务器,以实现对当前完整点云地图的更新,在不损失完整点云地图更新质量的前提下,提高了完整点云地图的更新效率。
请参考图3,图3为本申请实施例提供的另一种用于执行点云扫描操作的方法的流程图,其中流程300包括以下步骤:
步骤301,接收传入的场景变化信号。
步骤302,根据场景变化信号对目标区域重新进行点云扫描操作,得到新点云数据。
以上步骤301-302与如图2所示的步骤201-202一致,相同部分内容请参见上一实施例的相应部分,此处不再进行赘述。
步骤303,将新点云数据发送给地图更新服务器,并控制地图更新服务器将目标区域的旧点云数据更新为该新点云数据,得到新的完整点云地图。
在本实施例中,获取上述步骤302得到的新点云数据后,将该新点云数据发送给地图更新服务器,地图更新服务器通常与生成、保存有完整点云地图的服务器为同一服务器,在地图更新服务器获取该新点云数据后,可以根据该新点云数据中的内容以确定对当前的完整点云地图进行更新的内容,然后对当前的完整点云地图进行更新,以得到完整的点云地图。
在本实施例的一些可选方式中,控制地图更新服务器将目标区域的旧点云数据更新为新点云数据,包括:响应于在预设时长内连续向地图更新服务器发送了目标区域分别在多个时刻的新点云数据,控制地图更新服务器将目标区域的旧点云数据更新为最新接收到的新点云数据。
具体的,可以根据应用场景不同选择合适的预设时长,例如在交通路口的场景下,可以根据交通信号指示灯的变换周期来确定预设时长,在确定预设时长后,若在该预设时间内,上述执行主体连续向地图更新服务器发送有多个新点云数据时,控制地图更新服务器将在接收到新的点云数据时,将点云数据更新为最新接收到的点云数据,以在发生连续动作时,以确定的最终状态的点云数据对完整点云地图进行更新,以过滤价值较低的过程信息,减少干扰。
应当理解的是,根据地图更新服务器的处理能力和用户需求不同,可以在完成对点云数据的更新后,删除历史数据中的点云数据以节省存储空间,也可以保留历史数据中的点云数据以便于后续查询、调取。
在本实施例的一些可选方式中,在控制地图更新服务器将目标区域的旧点云数据更新为新点云数据之前,还包括:确定该新点云数据与该目标区域的旧点云数据的差异大小;响应于确定该差异大小小于预设差异程度,等待至预设的下一地图更新周期的起始时刻执行该控制该地图更新服务器将该目标区域的旧点云数据更新为该新点云数据的步骤。
具体的,在控制地图更新服务器将目标区域的旧点云数据更新为新点云数据之前,将获取到的新点云数据与之前目标区域中的旧点云数据进行比较,以确定两者差异,在两者差异小于预设差异程度时,即两者差异较小的情况下,等待至预设的下一地图更新周期的起始时刻执行控制地图更新服务器将目标区域的旧点云数据更新为新点云数据的步骤,在目标区域中内容变化较小时予以等待,避免频繁对差异较小的内容进行更新,产生数据干扰。
在此基础上,若获取到的新点云数据与之前目标区域中的旧点云数据进行比较差异较大,或者连续获取有预设数量的新点云信息与旧点云数据的总差异满足预设的阈值条件时,则可认为一个新点云数据或多个新点云数据累加后产生了明显差异,则此时立刻执行对应的更新操作,以避免信息遗漏,通过这种方式以达到处理效率和处理质量的良好平衡。
在上述两实施例的基础上,考虑到在不同场景下点云扫描设备和目标事件相机之间的连接方式可能不同,因此点云扫描设备可以通过建立与目标事件相机之间的第一通信链路,以便于后续通过该第一通信链路向点云扫描设备发送场景变化信息,以实现对点云扫描设备的直接控制,提高效率。
同样的,点云扫描设备也可以通过建立与中转服务器之间的第二通信链路,以便于后续通过该第二通信链路接收由目标事件相机发送给中转服务器的场景变化信号,通过这种发送方式可以基于中转服务器对场景变化信号进行例如信号优化、信号筛选的二次处理,又在具有多个点云扫描设备和目标事件相机时进行整体统筹,提升获取新点云数据的灵活性。
在实践中,中转服务器可以与地图更新服务器设置于同一服务器中,以便于该服务器可以同时实现上述功能的任意组合,以达到对应的效果。
为加深理解,本申请还结合一个具体应用场景,给出了一种具体的实现方案,以表明在一个具体的应用场景下,成对设置有多组事件相机和点云扫描设备,具体步骤如下:
以该场景下设置的点云扫描设备A和对应的目标事件相机B为例,两者的监测视野中存在有相同的目标区域中,如图4所示。
可直接将点云扫描设备A和目标事件相机B进行连接,在预设时间内,目标事件相机B中连续监测到目标区域中存在亮度变化超过预设阈值,对应的生成多个场景变化信号并直接发送给点云扫描设备A;
点云扫描设备A中在该预设时间内连续收到多个场景变化信号后,对应的生成了新点云数据a1、a2……an,在每生成一个新点云数据后,便将该新点云数据发送给地图更新服务器。
在发送新点云数据a1之后,便连续的控制地图更新服务器,将目标区域中的电锯数据更新为最新接收到的新点云数据,以得到新的完整点云地图。
在本应用场景下,在接收到由目标事件相机监测到目标区域存在场景内容变化时生成的场景变化信号传入后,根据该场景变化信号对目标区域重新进行点云扫描操作,得到新点云数据,基于事件相机的特性,对目标区域进行监控,在确定目标区域存在满足预先要求的场景变化时再获取目标区域中的内容,以得到更新点云数据,减少无用点云数据的生成,以降低后续处理点云数据、生成点云地图时的数据处理压力。
进一步参考图5,作为对上述各图所示方法的实现,本申请提供了一种用于执行点云扫描操作的装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图5所示,本实施例的用于执行点云扫描操作的装置500可以包括:变化信号接收单元501和新点云数据获取单元502。其中,变化信号接收单元501,被配置成接收传入的场景变化信号;其中,该场景变化信号由目标事件相机监测到目标区域存在场景内容变化时生成;新点云数据获取单元502,被配置成从根据该场景变化信号对该目标区域重新进行点云扫描操作,得到新点云数据;其中,每个目标区域均设置有事件相机和点云扫描设备。
在本实施例中,用于执行点云扫描操作的装置500中:变化信号接收单元501和新点云数据获取单元502的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-202的相关说明,在此不再赘述。
在本实施例的一些可选实现方式中,该装置还包括:事件相机控制单元,被配置成控制该目标事件相机监测到目标区域中存在亮度变化超过预设阈值时,生成该场景变化信号。
在本实施例的一些可选实现方式中,该装置还包括:第一链路建立单元,被配置成建立与目标事件相机的之间的第一通信链路;以及变化信号接收单元501进一步被配置成,通过该第一通信链路从该目标事件相机接收传入的场景变化信号。
在本实施例的一些可选实现方式中,该装置还包括:第二通信链路建立单元,被配置成建立与中转服务器之间的第二通信链路;其中,该中转服务器与该目标事件相机之间通信相连;以及变化信号接收单元501进一步被配置成,通过该第二通信链路从该中转服务器中获取该目标事件相机发出的场景变化信号。
在本实施例的一些可选实现方式中,该装置还包括:新点云数据发送单元,被配置成将新点云数据发送给地图更新服务器;新点云地图更新单元,被配置成控制该地图更新服务器将该目标区域的旧点云数据更新为该新点云数据,得到新的完整点云地图。
在本实施例的一些可选实现方式中,新点云地图更新单元进一步被配置成:响应于在预设时长内连续向该地图更新服务器发送了该目标区域分别在多个时刻的新点云数据,控制该地图更新服务器将该目标区域的旧点云数据更新为最新接收到的新点云数据。
在本实施例的一些可选实现方式中,该装置还包括:点云数据比较单元,被配置成确定该新点云数据与该目标区域的旧点云数据的差异大小;以及新点云地图更新单元进一步被配置成:响应于确定该差异大小小于预设差异程度,等待至预设的下一地图更新周期的起始时刻执行该控制该地图更新服务器将该目标区域的旧点云数据更新为该新点云数据的步骤。
本实施例作为对应于上述方法实施例的装置实施例存在,本实施例提供的用于执行点云扫描操作的装置基于事件相机的特性,对目标区域进行监控,在确定目标区域存在满足预先要求的场景变化时再获取目标区域中的内容,以得到更新点云数据,减少无用点云数据的生成,以降低后续处理点云数据、生成完整点云地图和更新点完整云地图时的数据处理压力。
根据本申请的实施例,本申请还提供了一种电子设备、一种计算机可读存储介质和一种计算机程序产品。
图6示出了可以用来实施本申请的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示,设备600包括计算单元601,其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序,来执行各种适当的动作和处理。在RAM 603中,还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理,例如执行点云扫描操作的方法。例如,在一些实施例中,执行点云扫描操作的方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时,可以执行上文描述的执行点云扫描操作的方法的一个或多个步骤。备选地,在其他实施例中,计算单元601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行点云扫描操作的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本申请的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决传统物理主机与虚拟专用服务器(VPS,Virtual Private Server)服务中存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
云计算(cloud computing),指的是通过网络接入弹性可扩展的共享物理或虚拟资源池,资源可以包括服务器、操作系统、网络、软件、应用和存储设备等,并可以以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算,可以为人工智能、区块链等技术应用、模型训练提供高强大的数据处理能力。
根据本申请实施例的技术方案,基于事件相机的特性,对目标区域进行监控,在确定目标区域存在满足预先要求的场景变化时再获取目标区域中的内容,以得到更新点云数据,减少无用点云数据的生成,以降低后续处理点云数据、生成完整点云地图和更新点完整云地图时的数据处理压力。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (17)
1.一种用于执行点云扫描操作的方法,包括:
接收传入的场景变化信号;其中,所述场景变化信号由目标事件相机监测到目标区域存在场景内容变化时生成;
根据所述场景变化信号对所述目标区域重新进行点云扫描操作,得到新点云数据;其中,每个目标区域均设置有事件相机和点云扫描设备。
2.根据权利要求1所述的方法,其中,所述目标事件相机监测到目标区域中存在亮度变化超过预设阈值时,生成所述场景变化信号。
3.根据权利要求1所述的方法,还包括:
建立与目标事件相机的之间的第一通信链路;以及
所述接收传入的场景变化信号包括:
通过所述第一通信链路从所述目标事件相机接收传入的场景变化信号。
4.根据权利要求1所述的方法,还包括:
建立与中转服务器之间的第二通信链路;其中,所述中转服务器与所述目标事件相机之间通信相连;以及
所述接收传入的场景变化信号包括:
通过所述第二通信链路从所述中转服务器中获取所述目标事件相机发出的场景变化信号。
5.根据权利要求1-4任一项所述的方法,还包括:
将所述新点云数据发送给地图更新服务器,并控制所述地图更新服务器将所述目标区域的旧点云数据更新为所述新点云数据,得到新的完整点云地图。
6.根据权利要求5所述的方法,其中,所述控制所述地图更新服务器将所述目标区域的旧点云数据更新为所述新点云数据,包括:
响应于在预设时长内连续向所述地图更新服务器发送了所述目标区域分别在多个时刻的新点云数据,控制所述地图更新服务器将所述目标区域的旧点云数据更新为最新接收到的新点云数据。
7.根据权利要求5所述的方法,在控制所述地图更新服务器将所述目标区域的旧点云数据更新为所述新点云数据之前,还包括:
确定所述新点云数据与所述目标区域的旧点云数据的差异大小;
响应于确定所述差异大小小于预设差异程度,等待至预设的下一地图更新周期的起始时刻执行所述控制所述地图更新服务器将所述目标区域的旧点云数据更新为所述新点云数据的步骤。
8.一种用于执行点云扫描操的装置,包括:
变化信号接收单元,被配置成接收传入的场景变化信号;其中,所述场景变化信号由目标事件相机监测到目标区域存在场景内容变化时生成;
新点云数据获取单元,被配置成根据所述场景变化信号对所述目标区域重新进行点云扫描操作,得到新点云数据;其中,每个目标区域均设置有事件相机和点云扫描设备。
9.根据权利要求8所述的装置,还包括:
事件相机控制单元,被配置成控制所述目标事件相机监测到目标区域中存在亮度变化超过预设阈值时,生成所述场景变化信号。
10.根据权利要求8所述的装置,还包括:
第一链路建立单元,被配置成建立与目标事件相机的之间的第一通信链路;以及
所述变化信号接收单元进一步被配置成,通过所述第一通信链路从所述目标事件相机接收传入的场景变化信号。
11.根据权利要求8所述的装置,还包括:
第二通信链路建立单元,被配置成建立与中转服务器之间的第二通信链路;其中,所述中转服务器与所述目标事件相机之间通信相连;以及
所述变化信号接收单元进一步被配置成,通过所述第二通信链路从所述中转服务器中获取所述目标事件相机发出的场景变化信号。
12.根据权利要求8-11任一项所述的装置,还包括:
新点云数据发送单元,被配置成将所述新点云数据发送给地图更新服务器;
新点云地图更新单元,被配置成控制所述地图更新服务器将所述目标区域的旧点云数据更新为所述新点云数据,得到新的完整点云地图。
13.根据权利要求12所述的装置,其中,所述新点云地图更新单元进一步被配置成:
响应于在预设时长内连续向所述地图更新服务器发送了所述目标区域分别在多个时刻的新点云数据,控制所述地图更新服务器将所述目标区域的旧点云数据更新为最新接收到的新点云数据。
14.根据权利要求12所述的装置,还包括:
点云数据比较单元,被配置成确定所述新点云数据与所述目标区域的旧点云数据的差异大小;以及
所述新点云地图更新单元进一步被配置成:响应于确定所述差异大小小于预设差异程度,等待至预设的下一地图更新周期的起始时刻执行所述控制所述地图更新服务器将所述目标区域的旧点云数据更新为所述新点云数据的步骤。
15.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的用于执行点云扫描操作的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的用于执行点云扫描操作的方法。
17.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的用于执行点云扫描操作的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011469057.8A CN112688991B (zh) | 2020-12-15 | 2020-12-15 | 用于执行点云扫描操作的方法、相关装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011469057.8A CN112688991B (zh) | 2020-12-15 | 2020-12-15 | 用于执行点云扫描操作的方法、相关装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112688991A true CN112688991A (zh) | 2021-04-20 |
CN112688991B CN112688991B (zh) | 2022-11-04 |
Family
ID=75447639
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011469057.8A Active CN112688991B (zh) | 2020-12-15 | 2020-12-15 | 用于执行点云扫描操作的方法、相关装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112688991B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113568997A (zh) * | 2021-07-30 | 2021-10-29 | 京东鲲鹏(江苏)科技有限公司 | 点云地图更新方法、装置、电子设备和计算机可读介质 |
WO2023175890A1 (ja) * | 2022-03-18 | 2023-09-21 | 株式会社ソニー・インタラクティブエンタテインメント | センサシステムおよびセンシング方法 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140328519A1 (en) * | 2011-12-16 | 2014-11-06 | Universitat Zu Lubeck | Method and apparatus for estimating a pose |
JP2014240920A (ja) * | 2013-06-12 | 2014-12-25 | 三菱電機株式会社 | 地図更新装置、地図更新システム及び地図の更新管理方法 |
CN105973145A (zh) * | 2016-05-19 | 2016-09-28 | 深圳市速腾聚创科技有限公司 | 移动式三维激光扫描系统及移动式三维激光扫描方法 |
CN108171733A (zh) * | 2016-12-07 | 2018-06-15 | 赫克斯冈技术中心 | 扫描仪vis |
CN109271893A (zh) * | 2018-08-30 | 2019-01-25 | 百度在线网络技术(北京)有限公司 | 一种仿真点云数据的生成方法、装置、设备及存储介质 |
US20190204089A1 (en) * | 2018-01-04 | 2019-07-04 | Wipro Limited | Method and system for generating and updating vehicle navigation maps with features of navigation paths |
US10345447B1 (en) * | 2018-06-27 | 2019-07-09 | Luminar Technologies, Inc. | Dynamic vision sensor to direct lidar scanning |
US20190287296A1 (en) * | 2018-03-16 | 2019-09-19 | Microsoft Technology Licensing, Llc | Using a one-dimensional ray sensor to map an environment |
CN110702111A (zh) * | 2018-07-09 | 2020-01-17 | 三星电子株式会社 | 使用双事件相机的同时定位与地图创建(slam) |
JP2020056657A (ja) * | 2018-10-01 | 2020-04-09 | パイオニア株式会社 | 情報処理装置 |
CN111133473A (zh) * | 2017-09-28 | 2020-05-08 | 三星电子株式会社 | 相机姿态确定和跟踪 |
US20200150233A1 (en) * | 2018-11-09 | 2020-05-14 | Beijing Didi Infinity Technology And Development Co., Ltd. | Vehicle positioning system using lidar |
CN111417983A (zh) * | 2017-11-14 | 2020-07-14 | 苹果公司 | 基于事件相机的可变形对象跟踪 |
CN111521161A (zh) * | 2019-02-05 | 2020-08-11 | 莱卡地球系统公开股份有限公司 | 包括事件相机的勘测装置 |
CN111932943A (zh) * | 2020-10-15 | 2020-11-13 | 深圳市速腾聚创科技有限公司 | 动态目标的检测方法、装置、存储介质及路基监测设备 |
-
2020
- 2020-12-15 CN CN202011469057.8A patent/CN112688991B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140328519A1 (en) * | 2011-12-16 | 2014-11-06 | Universitat Zu Lubeck | Method and apparatus for estimating a pose |
JP2014240920A (ja) * | 2013-06-12 | 2014-12-25 | 三菱電機株式会社 | 地図更新装置、地図更新システム及び地図の更新管理方法 |
CN105973145A (zh) * | 2016-05-19 | 2016-09-28 | 深圳市速腾聚创科技有限公司 | 移动式三维激光扫描系统及移动式三维激光扫描方法 |
CN108171733A (zh) * | 2016-12-07 | 2018-06-15 | 赫克斯冈技术中心 | 扫描仪vis |
CN111133473A (zh) * | 2017-09-28 | 2020-05-08 | 三星电子株式会社 | 相机姿态确定和跟踪 |
CN111417983A (zh) * | 2017-11-14 | 2020-07-14 | 苹果公司 | 基于事件相机的可变形对象跟踪 |
US20190204089A1 (en) * | 2018-01-04 | 2019-07-04 | Wipro Limited | Method and system for generating and updating vehicle navigation maps with features of navigation paths |
US20190287296A1 (en) * | 2018-03-16 | 2019-09-19 | Microsoft Technology Licensing, Llc | Using a one-dimensional ray sensor to map an environment |
US10345447B1 (en) * | 2018-06-27 | 2019-07-09 | Luminar Technologies, Inc. | Dynamic vision sensor to direct lidar scanning |
CN110702111A (zh) * | 2018-07-09 | 2020-01-17 | 三星电子株式会社 | 使用双事件相机的同时定位与地图创建(slam) |
CN109271893A (zh) * | 2018-08-30 | 2019-01-25 | 百度在线网络技术(北京)有限公司 | 一种仿真点云数据的生成方法、装置、设备及存储介质 |
JP2020056657A (ja) * | 2018-10-01 | 2020-04-09 | パイオニア株式会社 | 情報処理装置 |
US20200150233A1 (en) * | 2018-11-09 | 2020-05-14 | Beijing Didi Infinity Technology And Development Co., Ltd. | Vehicle positioning system using lidar |
CN111521161A (zh) * | 2019-02-05 | 2020-08-11 | 莱卡地球系统公开股份有限公司 | 包括事件相机的勘测装置 |
CN111932943A (zh) * | 2020-10-15 | 2020-11-13 | 深圳市速腾聚创科技有限公司 | 动态目标的检测方法、装置、存储介质及路基监测设备 |
Non-Patent Citations (2)
Title |
---|
WENJUN SHI ET AL.: ""Dynamic Obstacles Rejection for 3D Map Simultaneous Updating"", 《IEEE ACCESS》 * |
郧晓光等: "基于VGI的普通相机更新室内地图技术初探", 《科技风》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113568997A (zh) * | 2021-07-30 | 2021-10-29 | 京东鲲鹏(江苏)科技有限公司 | 点云地图更新方法、装置、电子设备和计算机可读介质 |
WO2023175890A1 (ja) * | 2022-03-18 | 2023-09-21 | 株式会社ソニー・インタラクティブエンタテインメント | センサシステムおよびセンシング方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112688991B (zh) | 2022-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10085055B2 (en) | Application sharing by dynamic partitioning | |
CN111524166B (zh) | 视频帧的处理方法和装置 | |
CN112862877B (zh) | 用于训练图像处理网络和图像处理的方法和装置 | |
CN112688991B (zh) | 用于执行点云扫描操作的方法、相关装置及存储介质 | |
CN110675465A (zh) | 用于生成图像的方法和装置 | |
CN113538235A (zh) | 图像处理模型的训练方法、装置、电子设备及存储介质 | |
CN115103210A (zh) | 信息处理方法、装置、终端和存储介质 | |
CN113419865B (zh) | 云资源处理方法、相关装置及计算机程序产品 | |
CN110489508A (zh) | 热力图生成方法、装置、设备及计算机可读存储介质 | |
CN114119990A (zh) | 用于图像特征点匹配的方法、装置及计算机程序产品 | |
CN116938953A (zh) | 基于区块链的数据处理方法、装置、电子设备及存储介质 | |
CN113641688B (zh) | 节点更新方法、相关装置及计算机程序产品 | |
CN114095564B (zh) | 数据处理方法及装置、设备和介质 | |
CN113836455B (zh) | 特效渲染方法、装置、设备、存储介质及计算机程序产品 | |
CN113010285B (zh) | 用于处理数据的方法、装置、设备、介质和产品 | |
CN114567661A (zh) | 交通照明装置的控制方法、装置、电子设备和介质 | |
KR20210091075A (ko) | 트래픽 조정 방법 및 장치 | |
CN112700657B (zh) | 用于生成检测信息的方法、装置、路侧设备和云控平台 | |
CN114222073B (zh) | 视频输出方法、装置、电子设备和存储介质 | |
CN116546009B (zh) | 资产发现的方法、装置、电子设备和存储介质 | |
CN115272524B (zh) | 多曲线并行绘制方法、装置、设备以及存储介质 | |
CN112612980B (zh) | 图片服务方法、装置、设备、存储介质及计算机程序产品 | |
CN113359669A (zh) | 生成测试数据的方法、装置、电子设备和介质 | |
CN117827625A (zh) | 图片展示方法、装置、设备和存储介质 | |
CN117914836A (zh) | 车辆的业务处理方法、装置、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |