CN110084885A - 一种点云和图像优化方法、装置、设备和存储介质 - Google Patents
一种点云和图像优化方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN110084885A CN110084885A CN201910372208.9A CN201910372208A CN110084885A CN 110084885 A CN110084885 A CN 110084885A CN 201910372208 A CN201910372208 A CN 201910372208A CN 110084885 A CN110084885 A CN 110084885A
- Authority
- CN
- China
- Prior art keywords
- point
- cloud
- image
- optimization
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 121
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000002159 abnormal effect Effects 0.000 claims abstract description 133
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 abstract description 7
- 238000012790 confirmation Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 10
- 230000015654 memory Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000004804 winding Methods 0.000 description 9
- 230000007613 environmental effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 231100000572 poisoning Toxicity 0.000 description 1
- 230000000607 poisoning effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种点云和图像优化方法、装置、设备和存储介质。其中，该点云优化方法包括：依次根据图像集合对应点云的第一数据误差和第二数据误差，确定点云中的异常点；去除所述异常点，得到优化后的点云。本发明实施例提供的技术方案，依次根据由图像集合对应生成的点云的第一数据误差和第二数据误差，确定点云中的异常点，并去除点云中的异常点，得到优化后的点云，全面筛选点云中各点，依次根据第一数据误差和第二数据误差确定异常点，相对于现有技术仅针对非关键帧上的点来过滤掉点云中的异常点的方式，提高异常点确认的全面性，从而提高优化后点云的精度和准确性。
Description
技术领域
本发明实施例涉及图像处理领域，尤其涉及一种点云和图像优化方法、装置、设备和存储介质。
背景技术
随着即时定位与地图构建(Simultaneous Localization And Mapping，SLAM)系统的广泛发展，SLAM系统可以通过搭载的摄像头采集当前场景下的连续帧，并进行相应的分析，从而构建当前场景的环境模型并实现自身定位。目前SLAM系统通过对连续采集的视频帧进行特征点提取与匹配，并根据不同帧上特征点之间的匹配情况获取对应三维场景下的点云。
由于SLAM系统在特征点匹配时采用特征点的特征描述符进行匹配，而特征描述符之间的匹配精度较低，同时摄像头可能连续采集重复纹理或纹理不丰富的视频帧，导致匹配难度大，而且在SLAM系统快速运动下，摄像头连续采集的视频帧比较模糊等各种因素，使得获取的点云中存在不准确的点。目前通过剔除摄像头采集的非关键帧上的点来过滤掉点云中的异常点，但并不能完全消除点云数据中的异常点，此时极大降低了点云生成的精度。
发明内容
本发明实施例提供了一种点云和图像优化方法、装置、设备和存储介质，去除点云中的异常点，提高优化后点云的精度。
第一方面，本发明实施例提供了一种点云优化方法，该方法包括：
依次根据图像集合对应点云的第一数据误差和第二数据误差，确定点云中的异常点；
去除所述异常点，得到优化后的点云。
第二方面，本发明实施例提供了一种图像优化方法，该方法包括：
执行如第一方面所述的点云优化方法，去除点云中的异常点，得到优化后的点云；
根据优化后的点云获取当前图像；
去除所述当前图像中与异常点匹配的特征点，得到优化后的图像。
第三方面，本发明实施例提供了一种点云优化装置，该装置包括：
异常点确定模块，用于依次根据图像集合对应点云的第一数据误差和第二数据误差，确定点云中的异常点；
点云优化模块，用于去除所述异常点，得到优化后的点云。
第四方面，本发明实施例提供了一种图像优化装置，该装置包括：
点云确定模块，设置如第三方面所述的点云优化装置，用于去除点云中的异常点，得到优化后的点云；
当前图像获取模块，用于根据优化后的点云获取当前图像；
图像优化模块，用于去除所述当前图像中与异常点匹配的特征点，得到优化后的图像。
第五方面，本发明实施例提供了一种设备，该设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明第一方面中所述的点云优化方法，或者实现本发明第二方面中所述的图像优化方法。
第六方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明第一方面中所述的点云优化方法，或者实现本发明第二方面中所述的图像优化方法。
本发明实施例提供了一种点云和图像优化方法、装置、设备和存储介质，依次根据由图像集合对应生成的点云的第一数据误差和第二数据误差，确定点云中的异常点，并去除点云中的异常点，得到优化后的点云，本发明实施例的方式，全面筛选点云中各点，依次根据第一数据误差和第二数据误差确定异常点，相对于现有技术仅针对非关键帧上的点来过滤掉点云中的异常点的方式，提高异常点确认的全面性，从而提高优化后点云的精度和准确性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例一提供的一种点云优化方法的流程图；
图2A为本发明实施例二提供的一种点云优化方法的流程图；
图2B为本发明实施例二提供的一种点云优化过程的原理示意图；
图2C为本发明实施例二提供的方法中计算重投影误差的原理示意图；
图3为本发明实施例三提供的一种图像优化方法的流程图；
图4为本发明实施例四提供的一种点云优化装置的结构示意图；
图5为本发明实施例五提供的一种图像优化装置的结构示意图；
图6为本发明实施例六提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
图1为本发明实施例一提供的一种点云优化方法的流程图，本实施例可应用于任一种具备图像处理能力的服务端中。本发明实施例的方案可以适用于如何提高点云准确性的问题。本实施例提供的一种点云优化方法可以由本发明实施例提供的点云优化装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在执行本方法的设备中，该设备可以是任一具备图像处理能力的服务器。
具体的，参考图1，该方法可以包括如下步骤：
S110，依次根据图像集合对应点云的第一数据误差和第二数据误差，确定点云中的异常点。
具体的，本实施例中主要应用于视觉SLAM系统中，该视觉SLAM系统通过其上配置的摄像头实时采集所处场景在不同时刻下的图像，并通过对采集到的图像进行分析而构建所处场景对应的三维环境模型，此时视觉SLAM系统在通过摄像头采集到所处场景在不同时刻下的图像时，会提取各个图像中的特征点，并对不同图像中的特征点进行匹配，从而建立不同特征点在图像上的二维约束关系，并估计不同图像对应的摄像头的位姿信息，同时检测不同图像之间的回环情况，从而根据多幅图像上各个特征点之间的二维约束条件以及回环信息，消除不同图像对应的摄像头的位姿信息在估计时存在的累计误差，并获取图像中各个特征点对应的在三维环境下的点云，进而构建所处场景对应的三维环境模型。
其中，图像集合是指视觉SLAM系统上的摄像头所采集的用于对其上的特征点进行分析，而生成所处场景对应的点云的各个图像的集合；本实施例中图像集合根据视觉SLAM系统上的摄像头实时采集的图像进行动态更新，根据图像采集的时间对图像集合中的图像依次进行分析，从而根据不同图像上各个特征点之间的约束关系以及回环信息，得到所处场景对应的点云。具体的，点云是指能够通过三维坐标点表示某一场景中存在的各类产品外观表面的各个点的集合，点云能够直观形象地描绘出所处场景下的物体形态，从而构建出对应的三维环境模型。此外，图像集合可以是在执行本实施例中的点云优化方法之前，通过视觉SLAM系统上的摄像头预先采集的所处场景下的图像集合，也可以是在执行本实施例中的点云优化方法的同时，通过摄像头实时采集所处场景下的各类图像；比如可以通过视觉SLAM系统上的摄像头预先采集大量所处场景下的图像，后续按照采集顺序对图像集合中的每一图像进行分析，得到对应的点云；或者在点云优化过程中实时采集所处场景的当前图像，与历史图像构成对应的图像集合，从而得到对应的点云。
可选的，本实施例在根据图像集合得到对应的点云后，同时会得到该点云中的每一点对应的能够表示该点在由图像集合到点云的生成过程中相关联的各项数据，可以包括表示该点在三维坐标下的位置信息，在各个图像上对应的深度、光度或者反射强度等数据，以及该点在点云确定过程中被处理的相关信息。本实施例中根据点云中的各点在各个图像中对应的在不同属性下的数据，可以确定各点不同属性下的数据标准值，属性可以表示当前数据具体属于位置、深度、光度或者反射强度中的哪一类型；针对不同的数据属性和各点在不同属性下对于各图像对应的点云数据，能够匹配有不同的标准值。
此时，为了更加准确的确定出点云中存在的异常点，本实施例根据视觉SLAM系统上所采集的各个图像中具体针对的数据属性，可以预先设置不同精度级别下的异常点确定方式，第一数据误差为异常点确定精度较高的异常参考算法，第二数据误差为异常点确定精度较低的异常参考算法；本实施例中可以依次判断图像集合对应点云中各点的第一数据误差和第二数据误差，在点云中筛选出对应的异常点，此时根据各点在各个图像中对应的处于不同属性下的数据值，与该属性下对应的标准值确定各点的数据误差，为了能够准确确定出点云中的异常点，本实施例对于不同属性下的第一数据误差和第二数据误差，均设定有匹配的误差阈值，若各点对应的第一数据误差或者第二数据误差超出匹配的误差阈值，则确定该点为异常点，通过分步骤依次判断点云的第一数据误差和第二数据误差，在根据图像集合对应的点云中确定出各个异常点，以便后续对得到的点云进行优化，从而构建与所处场景准确匹配的三维环境模型。
S120，去除异常点，得到优化后的点云。
可选的，依次根据图像集合对应点云的第一数据误差和第二数据误差，确定点云中的异常点后，为了保证点云的准确性，可以在当前得到的点云中去除所有的异常点，以使得到的点云中不存在由于视觉SLAM系统采集的图像集合中特征点追踪与匹配不准确导致的异常点，得到优化后的点云，保证优化后点云与实际场景之间的准确性。
可选的，由于视觉SLAM系统在基于所采集的图像集合来获取所处场景对应的点云，以构建所处场景对应下的三维环境模型时，一般分为前端、回环和后端三个线程；其中，前端线程用于对采集的每一图像进行特征点的提取和匹配，而建立点云中各点对应的特征点在图像上的二维约束关系，并估计摄像头在对应图像下的位姿信息，前端线程仅关心相邻图像上特征点之间的运动关系；回环线程用于对不同时刻下的多个图像之间的相似性进行判断，从而检测摄像头是否到达过先前的位置，以便根据回环信息判断不同时刻下多个图像上特征点的匹配关系；后端线程根据前端线程和回环线程确定的多幅图像之间的二维约束条件和回环信息，消除前端线程估计在摄像头的位姿信息时存在的累计误差，并获取所处场景对应的点云；此时通过执行本实施例中的点云优化方法，确定出点云中的异常点时，本实施例还可以将异常点反馈给前端线程，使得前端线程确定出异常点在所采集的各个图像中匹配的特征点，并对该异常点对应的特征点不再进行跟踪匹配，从而提高前端线程对应的图像处理效率。
本实施例提供的技术方案，依次根据由图像集合对应生成的点云的第一数据误差和第二数据误差，确定点云中的异常点，并去除点云中的异常点，得到优化后的点云，本发明实施例的方式，全面筛选点云中各点，根据第一数据误差和第二数据误差确定异常点，相对于现有技术仅针对非关键帧上的点来过滤掉点云中的异常点的方式，提高异常点确认的全面性，从而提高优化后点云的精度和准确性。
实施例二
图2A为本发明实施例二提供的一种点云优化方法的流程图，图2B为本发明实施例二提供的一种点云优化过程的原理示意图。本实施例中是在上述实施例提供的技术方案的基础上进行优化。具体的，本实施例中主要对点云的生成过程以及异常点的具体确定过程进行详细的解释说明。
可选的，如图2A所示，本实施例中可以包括如下步骤：
S210，获取图像集合。
具体的，本实施例可以通过视觉SLAM系统上配置的摄像头来采集所处场景在不同时刻下对应的图像，从而获取本次用于生成所处场景对应的点云的图像集合；此时可以在点云优化的过程中实时采集当前时刻下的图像，将当前图像和历史图像构成对应的图像集合进行分析，得到对应的点云；也可以预先采集所处场景在不同时刻下的大量历史图像，得到对应的图像集合，后续按照图像集合中的采集时间对各个图像进行分析，从而得到对应的点云。
S220，生成图像集合对应的点云，并得到图像集合对应的点云数据。
可选的，获取到图像集合后，按照图像采集时间对各个图像中的特征点进行提取、匹配与跟踪，获取各个特征点在图像上的二维约束条件，同时对图像之间的相似度进行分析，从而检测视觉SLAM系统中摄像头是否回环，得到对应的回环信息，并根据多幅图像上各个特征点之间的二维约束条件以及回环信息，消除不同图像对应的摄像头的位姿信息在估计时存在的累计误差，进而针对各个特征点之间的位置匹配关系生成各特征点对应在三维坐标下的点云；同时根据图像中各特征点在点云生成过程中被处理的信息，得到图像集合对应的点云数据，其中包括生成的点云中各点在三维坐标下的位置信息，在各个图像上对应的深度、光度或者反射强度等数据，以及该点在点云确定过程中被处理的相关信息等，以便后续根据对应的点云数据确定对应点云的第一数据误差和第二数据误差。
示例性的，本实施例在对图像集合中的各图像进行分析，生成对应的点云时，会采用预先设定的初始优化算法对图像集合进行初始优化处理，从而得到对应的点云，本实施例中的初始优化算法可以为非线性优化算法，此时会设定一个相应的优化窗口，该优化窗口用于指示在图像集合中参与本次初始优化的图像。具体的，图像集合按照图像的采集时间顺序输入预设的优化窗口中，如图2B所示，对于位于优化窗口内的图像上对应的特征点进行初始优化处理，同时记录各点的优化次数，从而得到对应的点云，并获取对应的点云数据。
S230，根据点云中各个目标点的第一数据误差，在各个目标点中确定出为异常点的目标点。
其中，目标点为生成点云过程中被处理次数大于次数阈值的点。具体的，由于图像集合在点云生成过程中，按照图像的采集时间对各图像进行处理，此时各图像中特征点在点云中对应的点的被处理次数不同，使得在生成点云时，某些点的属性数据并不稳定，此时如果在判断数据不稳定的点是否为异常点时会存在判断误差，不能准确确定出点云中的异常点，因此本实施例中在判断点云中的异常点时，并不对所有点进行判断，而是判断点云中的各点在生成点云过程中的被处理次数是否大于预先设定的次数阈值，若某点的被处理次数大于次数阈值，说明该点对应的各项属性数据均已比较稳定，从而将该点作为目标点；本实施例中在点云中选取出在生成点云过程中被处理次数大于次数阈值的全部目标点，由于本实施例依次根据对应点云的第一数据误差和第二数据误差判断异常点，因此首先获取点云中的全部目标点在各个图像中对应的处于第一数据误差对应属性下的数据值，与第一数据误差对应属性下预先设定的标准值进行比对，进而确定出对应点云中各个目标点的第一数据误差，并分别根据各个目标点的第一数据误差，判断各个目标点是否为异常点，进而在全部目标点中初次筛选出为异常点的目标点，后续根据第二数据误差继续在剩余目标点中进行筛选。示例性的，本实施例中的目标点可以为生成点云过程中图像集合在优化窗口进行初始优化时优化次数大于优化次数阈值的点；本实施例中根据初始优化时记录的点云中每个点的优化次数，选取出参与本次点云优化的目标点，进行后续的优化过程。
S240，根据点云中剩余目标点的第二数据误差，在剩余目标点中继续确定出为异常点的目标点。
可选的，根据点云中各个目标点的第一数据误差，在各个目标点中初步筛选出为异常点的目标点后，继续判断点云中剩余目标点的第二数据误差，此时本实施例获取点云中的剩余目标点在各个图像中对应的处于第二数据误差对应属性下的数据值，与第二数据误差对应属性下预先设定的标准值进行比对，进而确定出对应点云中剩余目标点的第二数据误差，并分别根据剩余目标点的第二数据误差，判断剩余目标点中的各个目标点是否为异常点，进而在剩余目标点中再次筛选出为异常点的目标点，从而将初步筛选出为异常点的目标点以及再次筛选出为异常点的目标点，均作为本实施例点云中的异常点，分层次筛选异常点，提高异常点确认的全面性。
此外，本实施例通过分步骤根据点云中各个目标点的第一数据误差和第二数据误差，依次得到点云中的异常点，此时根据第一数据误差和第二数据误差分别判断目标点是否为异常点时，均可以通过执行下述操作判断：如果目标点的点云数据与目标图像的原始数据的差值大于对应的误差阈值，则确定该目标点为异常点。
其中，目标图像为图像集合中与目标点对应的图像。具体的，在获取到图像集合对应的点云以及点云数据后，根据生成点云过程中各点的被处理次数选取出参与本次异常点判断的目标点，此时由于后续需要依次判断目标点对应的第一数据误差和第二数据误差，也就是需要依次判断目标点的与第一数据误差对应的属性下的点云数据与该目标点关联的目标图像的与第一数据误差对应属性下的原始数据的差值，以及判断目标点的与第二数据误差对应的属性下的点云数据与该目标点关联的目标图像的与第二数据误差对应属性下的原始数据的差值，此时根据第一数据误差和第二数据误差判断异常点时，针对各个目标点，均需要在图像集合中选取出包含有该目标点的目标图像，并分析目标点在目标图像上位于第一数据误差对应属性或者第二数据误差对应属性下的原始数据，例如在计算目标点的第一数据误差为重投影误差时，如图2C所示，点P为三维点云中的目标点，p1和p2分别为点P在相邻两幅图像上匹配的特征点，此时点P在第二幅图像上可以重投影到位置此时p2与之间的像素误差e则为目标点的重投影误差。可选的，如果目标点针对第一数据误差和第二数据误差对应属性下的点云数据与目标图像在对应数据误差属性下的原始数据的差值大于对应的误差阈值，则确定目标点为异常点。
本实施例中在确定异常点时选择参考的第一数据误差为重投影误差或者光度误差，第二数据误差为深度误差。
此时，本实施例中依次根据图像集合对应点云的第一数据误差和第二数据误差，确定点云中的异常点，具体可以包括：根据点云中目标点在图像集合中的最新图像上的重投影误差和目标点在图像集合中的重投影误差平均值，以及，根据点云中目标点在图像集合中的深度值和满足正态分布的3σ准则下的正向深度指标，确定点云中的异常点。
示例性的，本实施例中可以依次根据点云中各个目标点的重投影误差和深度误差，或者光度误差和深度误差来判断目标点是否为异常点；以重投影误差和深度误差为例，首先通过重投影误差来判断点云中各个目标点是否为异常点，此时针对每一目标点，可以在图像集合中位于优化窗口的图像中确定出包含该目标点的多个目标图像，并确定该目标点在各个目标图像上的重投影误差，进而将各个目标图像上的重投影误差的平均值作为对应的重投影误差阈值，由于重投影误差是判断点云中各点的位置准确性，此时只要保证目标点在位于优化窗口中的最新图像上的重投影误差小于对应的重投影误差阈值，则可以保证该目标点的准确性较高，因此本实施例中无需判断目标点在优化窗口中除最新图像之外的其他图像上的重投影误差，仅判断目标点在优化窗口中最新图像上的重投影误差是否大于对应的重投影误差阈值，也就是目标点在各个目标图像上的重投影误差的平均值，如果大于重投影误差阈值说明该目标点为异常点；进而在全部目标点中筛选出为异常点的目标点，并继续通过深度误差来判断剩余目标点是否为异常点，此时本实施例中要求对于优化窗口中的每一图像，点云的深度满足正态分布，因此对于剩余目标点中的每一目标点所在目标图像，首先获取该目标点在各个目标图像中的深度di，i表示目标图像在优化窗口中的图像序号，计算该目标点在各目标图像上深度的平均值dave，以及正态分布下的标准差σi；此时所满足的正态分布通过下述公式计算判断：
其中，n为目标图像的数量。
此时，由于正态分布在(dave-3σi,dave+3σi)之间的概率能够达到99％以上，不在这个深度范围的点可认为是异常点，因此本实施例中的深度误差为di-dave，深度误差阈值为3σi，将di-dave大于3σi的目标点作为异常点；进而在剩余目标点中筛选出为异常点的目标点，从而根据重投影误差和深度误差的判断结果确定出点云中的全部异常点，提高了异常点确认的全面性。
此外，依次根据光度误差和深度误差来判断目标点是否为异常点时，是将重投影误差替换为光度误差，通过光度误差来判断目标点是否为异常点时，本实施例将目标点在各个目标图像上对应的光度信息的平均值作为标准值，此时将目标点在各个目标图像上的光度与该标准值作差，将得到的差值大于预设光度误差阈值的目标点作为异常点。
S250，去除异常点，得到优化后的点云。
本实施例提供的技术方案，在由图像集合对应生成的点云中选取出目标点，根据目标点的第一数据误差和第二数据误差，全面筛选点云中各点，确定点云中的异常点，提高异常点确认的全面性，并去除点云中的异常点，得到优化后的点云，进而提高优化后点云的精度和准确性。
实施例三
图3为本发明实施例三提供的一种图像优化方法的流程图，本实施例可应用于任一种具备图像处理能力的服务端中。本实施例提供的一种图像优化方法可以由本发明实施例提供的图像优化装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在执行本方法的设备中，该设备可以是任一具备图像处理能力的服务器。
可选的，如图3所示，本实施例中可以包括如下步骤：
S310，执行上述点云优化方法，去除点云中的异常点，得到优化后的点云。
具体的，本实施例中视觉SLAM系统通过其上配置的摄像头实时采集所处场景在不同时刻下的图像，并通过对采集到的图像进行分析而构建所处场景对应的三维环境模型时，首先会根据预先获取的图像集合生成对应的点云，并采用本发明上述实施例中提及的点云优化方法，确定出所生成点云中的异常点，从而通过去除该异常点来对点云进行优化，得到优化后的点云。
S320，根据优化后的点云获取当前图像。
可选的，视觉SLAM系统根据优化后的点云确定对应当前所处的场景，同时会通过其上配置的摄像头重新采集所处场景在当前时刻下的图像，后续通过对当前图像中的特征点进行分析，从而进一步优化对应生成的点云。
S330，去除当前图像中与异常点匹配的特征点，得到优化后的图像。
可选的，由于在对所处场景对应的点云进行优化时，能够确定出点云中存在的异常点，为了提高图像的处理效率，在对获取的当前图像中的特征点进行处理时，首先可以确定出异常点在当前图像中对应的特征点，此时无需对异常点进行分析，因此去除当前图像中与异常点匹配的特征点，得到优化后的图像，以对当前图像中剩余的特征点，也就是优化后的图像中的特征点进行分析，不再对异常点对应的特征点进行跟踪匹配，进而提高相应的图像处理效率。
本实施例在得到优化后的图像后，可以对优化后的图像中去除与点云中存在的异常点匹配的特征点后剩余的特征点继续进行分析，并参照上述点云优化方法的具体执行过程，将优化后的图像添加至对应的图像集合中，再次根据新的图像集合对应点云的数据误差，确定点云中的异常点，从而继续优化所处场景对应的点云。
示例性的，在视觉SLAM系统中，去除当前图像中与异常点匹配的特征点，进而根据优化后图像中剩余的特征点估计当前图像在所处场景中的位姿数据，并确定出当前图像的位姿数据在上一点云中估计的数据误差，进而继续优化所处场景对应的点云。
本实施例提供的技术方案，通过在根据优化后的点云获取的当前图像中去除与异常点匹配的特征点，得到优化后的图像，无需对异常点对应的特征点进行跟踪匹配，提高相应的图像处理效率。
实施例四
图4为本发明实施例四提供的一种点云优化装置的结构示意图，具体的，如图4所示，该装置可以包括：
异常点确定模块410，用于依次根据图像集合对应点云的第一数据误差和第二数据误差，确定点云中的异常点；
点云优化模块420，用于去除异常点，得到优化后的点云。
本实施例提供的技术方案，依次根据由图像集合对应生成的点云的第一数据误差和第二数据误差，确定点云中的异常点，并去除点云中的异常点，得到优化后的点云，本发明实施例的方式，全面筛选点云中各点，依次根据第一数据误差和第二数据误差确定异常点，相对于现有技术仅针对非关键帧上的点来过滤掉点云中的异常点的方式，提高异常点确认的全面性，从而提高优化后点云的精度和准确性。
进一步的，上述点云优化装置，还可以包括：
图像获取模块，用于获取图像集合；
点云生成模块，用于生成图像集合对应的点云，并得到图像集合对应的点云数据。
进一步的，上述异常点确定模块410，具体可以用于：
根据点云中各个目标点的第一数据误差，在各个目标点中确定出为异常点的目标点，该目标点为生成点云过程中被处理次数大于次数阈值的点；
根据点云中剩余目标点的第二数据误差，在剩余目标点中继续确定出为异常点的目标点。
进一步的，上述异常点可以通过下述操作确定：
如果目标点的点云数据与目标图像的原始数据的差值大于对应的误差阈值，则确定目标点为异常点，该目标图像为图像集合中与目标点对应的图像。
进一步的，上述第一数据误差为重投影误差或者光度误差，上述第二数据误差为深度误差。
进一步的，上述异常点确定模块410，具体可以用于：
根据点云中目标点在图像集合中的最新图像上的重投影误差和目标点在图像集合中的重投影误差平均值，以及，根据点云中目标点在图像集合中的深度值和满足正态分布的3σ准则下的正向深度指标，确定点云中的异常点，该目标点为生成点云过程中被处理次数大于次数阈值的点。
本实施例提供的点云优化装置可适用于本发明任意实施例提供的点云优化方法，具备相应的功能和有益效果。
实施例五
图5为本发明实施例五提供的一种图像优化装置的结构示意图，具体的，如图5所示，该装置可以包括：
点云确定模块510，设置如上述实施例中的点云优化装置，用于去除点云中的异常点，得到优化后的点云；
当前图像获取模块520，用于根据优化后的点云获取当前图像；
图像优化模块530，用于去除当前图像中与异常点匹配的特征点，得到优化后的图像。
本实施例提供的技术方案，通过在根据优化后的点云获取的当前图像中去除与异常点匹配的特征点，得到优化后的图像，无需对异常点对应的特征点进行跟踪匹配，提高相应的图像处理效率。
本实施例提供的图像优化装置可适用于本发明任意实施例提供的图像优化方法，具备相应的功能和有益效果。
实施例六
图6为本发明实施例六提供的一种设备的结构示意图，如图6所示，该设备包括处理器60、存储装置61和通信装置62；设备中处理器60的数量可以是一个或多个，图6中以一个处理器60为例；设备中的处理器60、存储装置61和通信装置62可以通过总线或其他方式连接，图6中以通过总线连接为例。
存储装置61作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中提供的点云优化方法或者图像优化方法对应的程序指令/模块。处理器60通过运行存储在存储装置61中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述点云优化方法或者图像优化方法。
存储装置61可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置61可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置61可进一步包括相对于处理器60远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信装置62可用于实现设备间的网络连接或者移动数据连接。
本实施例提供的一种设备可用于执行本发明任意实施例提供的点云优化方法或者图像优化方法，具备相应的功能和有益效果。
实施例七
本发明实施例七还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现本发明任意实施例中的点云优化方法或者图像优化方法。其中，该点云优化方法具体可以包括：
依次根据图像集合对应点云的第一数据误差和第二数据误差，确定点云中的异常点；
去除异常点，得到优化后的点云。
该图像优化方法具体可以包括：
执行上述点云优化方法，去除点云中的异常点，得到优化后的点云；
根据优化后的点云获取当前图像；
去除当前图像中与异常点匹配的特征点，得到优化后的图像。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的点云优化方法或者图像优化方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述点云优化装置或者图像优化装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (11)
1.一种点云优化方法，其特征在于，包括：
依次根据图像集合对应点云的第一数据误差和第二数据误差，确定点云中的异常点；
去除所述异常点，得到优化后的点云。
2.根据权利要求1所述的方法，其特征在于，在依次根据图像集合对应点云的第一数据误差和第二数据误差，确定点云中的异常点之前，还包括：
获取图像集合；
生成所述图像集合对应的点云，并得到所述图像集合对应的点云数据。
3.根据权利要求2所述的方法，其特征在于，所述依次根据图像集合对应点云的第一数据误差和第二数据误差，确定点云中的异常点，包括：
根据点云中各个目标点的第一数据误差，在各个目标点中确定出为异常点的目标点，所述目标点为生成点云过程中被处理次数大于次数阈值的点；
根据点云中剩余目标点的第二数据误差，在剩余目标点中继续确定出为异常点的目标点。
4.根据权利要求3所述的方法，其特征在于，所述异常点通过下述操作确定：
如果目标点的点云数据与目标图像的原始数据的差值大于对应的误差阈值，则确定所述目标点为异常点，所述目标图像为所述图像集合中与目标点对应的图像。
5.根据权利要求2至4任一项所述的方法，其特征在于，所述第一数据误差为重投影误差或者光度误差，所述第二数据误差为深度误差。
6.根据权利要求5所述的方法，其特征在于，依次根据图像集合对应点云的第一数据误差和第二数据误差，确定点云中的异常点，包括：
根据所述点云中目标点在所述图像集合中的最新图像上的重投影误差和目标点在所述图像集合中的重投影误差平均值，以及，根据所述点云中目标点在所述图像集合中的深度值和满足正态分布的3σ准则下的正向深度指标，确定点云中的异常点，所述目标点为生成点云过程中被处理次数大于次数阈值的点。
7.一种图像优化方法，其特征在于，包括：
执行如权利要求1至6任一项所述的点云优化方法，去除点云中的异常点，得到优化后的点云；
根据优化后的点云获取当前图像；
去除所述当前图像中与异常点匹配的特征点，得到优化后的图像。
8.一种点云优化装置，其特征在于，包括：
异常点确定模块，用于依次根据图像集合对应点云的第一数据误差和第二数据误差，确定点云中的异常点；
点云优化模块，用于去除所述异常点，得到优化后的点云。
9.一种图像优化装置，其特征在于，包括：
点云确定模块，设置如权利要求7所述的点云优化装置，用于去除点云中的异常点，得到优化后的点云；
当前图像获取模块，用于根据优化后的点云获取当前图像；
图像优化模块，用于去除所述当前图像中与异常点匹配的特征点，得到优化后的图像。
10.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的点云优化方法，或者实现如权利要求7所述的图像优化方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的点云优化方法，或者实现如权利要求7所述的图像优化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910372208.9A CN110084885A (zh) | 2019-05-06 | 2019-05-06 | 一种点云和图像优化方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910372208.9A CN110084885A (zh) | 2019-05-06 | 2019-05-06 | 一种点云和图像优化方法、装置、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110084885A true CN110084885A (zh) | 2019-08-02 |
Family
ID=67418908
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910372208.9A Pending CN110084885A (zh) | 2019-05-06 | 2019-05-06 | 一种点云和图像优化方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110084885A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112561836A (zh) * | 2019-09-25 | 2021-03-26 | 北京地平线机器人技术研发有限公司 | 一种获取目标物的点云集合的方法及装置 |
| CN112837424A (zh) * | 2021-02-04 | 2021-05-25 | 脸萌有限公司 | 图像处理方法、装置、设备和计算机可读存储介质 |
| CN117056749A (zh) * | 2023-10-12 | 2023-11-14 | 深圳市信润富联数字科技有限公司 | 点云数据处理方法、装置、电子设备及可读存储介质 |
| CN117710243A (zh) * | 2024-02-05 | 2024-03-15 | 法奥意威(苏州)机器人系统有限公司 | 点云去噪方法、装置、电子设备及可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160171735A1 (en) * | 2014-12-16 | 2016-06-16 | Fu Tai Hua Industry (Shenzhen) Co., Ltd. | Computing device and method for joining point clouds |
| CN107796397A (zh) * | 2017-09-14 | 2018-03-13 | 杭州迦智科技有限公司 | 一种机器人双目视觉定位方法、装置和存储介质 |
| CN109671120A (zh) * | 2018-11-08 | 2019-04-23 | 南京华捷艾米软件科技有限公司 | 一种基于轮式编码器的单目slam初始化方法及系统 |
-
2019
- 2019-05-06 CN CN201910372208.9A patent/CN110084885A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160171735A1 (en) * | 2014-12-16 | 2016-06-16 | Fu Tai Hua Industry (Shenzhen) Co., Ltd. | Computing device and method for joining point clouds |
| CN107796397A (zh) * | 2017-09-14 | 2018-03-13 | 杭州迦智科技有限公司 | 一种机器人双目视觉定位方法、装置和存储介质 |
| CN109671120A (zh) * | 2018-11-08 | 2019-04-23 | 南京华捷艾米软件科技有限公司 | 一种基于轮式编码器的单目slam初始化方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 李成龙: "基于RGB-D数据的头部姿态估计研究", 《博士电子期刊》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112561836A (zh) * | 2019-09-25 | 2021-03-26 | 北京地平线机器人技术研发有限公司 | 一种获取目标物的点云集合的方法及装置 |
| CN112561836B (zh) * | 2019-09-25 | 2024-04-16 | 北京地平线机器人技术研发有限公司 | 一种获取目标物的点云集合的方法及装置 |
| CN112837424A (zh) * | 2021-02-04 | 2021-05-25 | 脸萌有限公司 | 图像处理方法、装置、设备和计算机可读存储介质 |
| CN112837424B (zh) * | 2021-02-04 | 2024-02-06 | 脸萌有限公司 | 图像处理方法、装置、设备和计算机可读存储介质 |
| CN117056749A (zh) * | 2023-10-12 | 2023-11-14 | 深圳市信润富联数字科技有限公司 | 点云数据处理方法、装置、电子设备及可读存储介质 |
| CN117056749B (zh) * | 2023-10-12 | 2024-02-06 | 深圳市信润富联数字科技有限公司 | 点云数据处理方法、装置、电子设备及可读存储介质 |
| CN117710243A (zh) * | 2024-02-05 | 2024-03-15 | 法奥意威(苏州)机器人系统有限公司 | 点云去噪方法、装置、电子设备及可读存储介质 |
| CN117710243B (zh) * | 2024-02-05 | 2024-05-28 | 法奥意威(苏州)机器人系统有限公司 | 点云去噪方法、装置、电子设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110084885A (zh) | 一种点云和图像优化方法、装置、设备和存储介质 | |
| CN111951397B (zh) | 一种多机协同构建三维点云地图的方法、装置和存储介质 | |
| JP6978330B2 (ja) | オブジェクト形状および設計からのずれの監視 | |
| CN110555901B (zh) | 动静态场景的定位和建图方法、装置、设备和存储介质 | |
| US20200234397A1 (en) | Automatic view mapping for single-image and multi-view captures | |
| CN110648397B (zh) | 场景地图生成方法、装置、存储介质及电子设备 | |
| US10467800B2 (en) | Method and apparatus for reconstructing scene, terminal device, and storage medium | |
| Ückermann et al. | Real-time 3D segmentation of cluttered scenes for robot grasping | |
| CN111652974B (zh) | 三维人脸模型的构建方法、装置、设备及存储介质 | |
| CN109033985B (zh) | 商品识别的处理方法、装置、设备、系统及存储介质 | |
| CN112085838A (zh) | 自动清洁设备控制方法、装置及存储介质 | |
| CN111680573B (zh) | 人脸识别方法、装置、电子设备和存储介质 | |
| CN113256691A (zh) | 一种目标跟踪方法、装置、设备和存储介质 | |
| US20200036961A1 (en) | Constructing a user's face model using particle filters | |
| CN111338669A (zh) | 智能分析盒子中智能功能的更新方法及装置 | |
| CN112270748B (zh) | 基于图像的三维重建方法及装置 | |
| CN112581444A (zh) | 一种异常检测方法、装置及设备 | |
| CN112070035A (zh) | 基于视频流的目标跟踪方法、装置及存储介质 | |
| RU2493602C1 (ru) | Способ и система для выделения ключевых кадров из видео последовательностей | |
| CN112288817B (zh) | 基于图像的三维重建处理方法及装置 | |
| CN113886631A (zh) | 视频档案生成方法、装置及存储介质 | |
| CN113160389A (zh) | 基于特征线匹配的图像重建方法、装置及存储介质 | |
| CN113160102A (zh) | 三维场景重建的方法、装置、设备和存储介质 | |
| CN113496176A (zh) | 动作识别方法、装置以及电子设备 | |
| CN115797412B (zh) | 动态对象异常值并行检测方法、装置、系统、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |