CN114723672A - 一种三维重建数据采集校验的方法、系统、装置和介质 - Google Patents
一种三维重建数据采集校验的方法、系统、装置和介质 Download PDFInfo
- Publication number
- CN114723672A CN114723672A CN202210232971.3A CN202210232971A CN114723672A CN 114723672 A CN114723672 A CN 114723672A CN 202210232971 A CN202210232971 A CN 202210232971A CN 114723672 A CN114723672 A CN 114723672A
- Authority
- CN
- China
- Prior art keywords
- data
- acquisition
- association
- route
- verification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000012795 verification Methods 0.000 title claims abstract description 61
- 238000004364 calculation method Methods 0.000 claims abstract description 34
- 238000013524 data verification Methods 0.000 claims abstract description 25
- 230000033001 locomotion Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 18
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241000255969 Pieris brassicae Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- BULVZWIRKLYCBC-UHFFFAOYSA-N phorate Chemical compound CCOP(=S)(OCC)SCSCC BULVZWIRKLYCBC-UHFFFAOYSA-N 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Instructional Devices (AREA)
Abstract
本申请涉及一种三维重建数据采集校验的方法、系统、装置和介质,其中,该方法包括:获取待采集地图的规划路径和数据校验参数,对每条路线进行单次采集,并根据不同的计算指标和数据校验参数对采集到的数据进行校验,得到单次采集校验数据;将当前路线中得到的单次采集校验数据与历史路线中得到的单次采集校验数据进行关联校验,得到关联关系,并计算关联强度;最后,通过单次采集校验数据、关联关系和关联强度对评分规则进行分级评分,并将评分结果反馈到后台服务器。通过本申请,解决了采集三维重建数据时,存在的采集效率低、人工成本高的问题,不仅降低了数据采集人员的门槛,降低了人工成本,还提高了采集效率和数据质量。
Description
技术领域
本申请涉及三维重建技术领域,特别是涉及一种三维重建数据采集校验的方法、系统、装置和介质。
背景技术
作为元宇宙的重要入口之一,增强现实(AR)技术在学术和产业界备受关注,并跟随越来越多的落地应用,逐步深入到更多行业和应用场景,如工业AR,文旅AR,教育AR等。在AR应用所依赖的各项技术中,现实场景的三维地图构建是最基础、最关键的环节。具体来说,AR应用一般都需要知道场景的三维几何结构,从而确定虚拟内容如何放置,或确定虚实间的遮挡关系;也常常需要知道场景中的数字化特征,以便进行AR设备的自动定位。
现如今,在各种三维场景重建的技术路线,如:激光、RGBD和视觉中,基于纯视觉图片的三维重建方法是成本最低,使用最广泛的一种方式,即只需要使用RGB相机对场景进行图像数据采集,再将采集到的建图数据输入开源或商业化视觉建图软件中,即可完成场景的几何与纹理重建。
然而,在相关技术中,虽然纯视觉三维建图的方法在采集设备和采集成本上门槛不高,但有些基本原则需要在数据采集过程中得到保证,才能成功地重建出场景的三维地图。例如,采集的场景图像之间是否能够形成连通的视觉关联,如果不能,则只能重建出割裂的场景;再例如,采集时,图像间不能存在较多的纯旋转运动,也不能采集太多连续的弱纹理区域,不然均会对地图的重建质量带来不利影响。因此,为了保证这些采集准则,往往需要很多专业人士进行建图数据采集,或者需要投入一定资源来临时培训数据采集人员,人工成本较高。
目前针对相关技术中采集三维重建数据时,存在的采集效率低、人工成本高的问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种三维重建数据采集校验的方法、系统、装置和介质,以至少解决相关技术中采集三维重建数据时,存在的采集效率低、人工成本高的问题。
第一方面,本申请实施例提供了一种三维重建数据采集校验的方法,所述方法包括:
获取待采集地图的规划路径和数据校验参数;
对每条路线进行单次采集,并根据不同的计算指标和数据校验参数对采集到的数据进行校验,得到单次采集校验数据;
将当前路线中得到的单次采集校验数据与历史路线中得到的单次采集校验数据进行关联校验,得到关联关系,并计算关联强度;
通过所述单次采集校验数据、所述关联关系和所述关联强度对评分规则进行分级评分,并将评分结果反馈到后台服务器。
在其中一些实施例中,所述对每条路线进行单次采集包括:
当计算指标触发采集失败的阈值时,采集中断,记录当前采集到的数据,并选择是否继续采集;
在选择不继续采集的情况下,重新采集当前路线的所有数据,反之,则继续采集剩下的数据,并将最新采集到的数据与已采集的数据进行关联,得到当前路线完整的采集数据。
在其中一些实施例中,根据不同的计算指标对采集到的数据进行校验,得到单次采集校验数据包括:
计算相机运动速度,判断采集速度是否过快;
分别计算短时间内的相机位移量和旋转量,以及单位位移内的旋转量,判断相机的运动模式是否接近纯旋转体;
计算地图图像中场景特征水平,判断是否有足够的可用特征。
在其中一些实施例中,将当前路线中得到的单次采集校验数据与历史路线中得到的单次采集校验数据进行关联校验包括:
查找当前路线单次采集校验数据与历史路线单次采集校验数据之间相似的全局特征,并分别对当前路线、历史路线中具有所述全局特征的图像进行全局聚类,使所述当前路线和所述历史路线中分别形成多个图像簇;
将所述当前路线中的图像簇与所述历史路线中的图像簇进行全局关联判定,在判断得到有效的全局关联之后,通过二视图几何校验对所述有效的全局关联进行局部关联判定,得到有效关联;
当所述当前路线与所述历史路线之间至少存在一个有效关联的情况下,则判断所述当前路线与所述历史路线之间存在关联,否则不存在关联;
对存在关联的路线进行校验,判断路线关联是否达标,若不达标,则需要重新采集路线。
在其中一些实施例中,在获取待采集地图的规划路径和数据校验参数之前,所述方法包括:
根据不同的任务要求,对所述待采集地图的采集路径进行不同的规划设计,得到所述规划路径,并确定数据的采集校验要求。
在其中一些实施例中,在通过所述单次采集校验数据、所述关联关系和所述关联强度对评分规则进行分级评分之前,所述方法包括:
对所有路线的采集数据进行筛选,当不符合采集要求时,进行重新采集或强制结束任务;
获取评分规则,其中,所述评分规则包括评分项和分项权重,所述评分项包括路线连通性、路线质量和关联质量。
在其中一些实施例中,所述通过所述单次采集校验数据、所述关联关系和所述关联强度对评分规则进行分级评分包括:
通过所述单次采集校验数据、所述关联关系和所述关联强度计算校验所述评分规则中的各个评分项,并根据分项权重对各个评分项进行加权平均计算,得到评分结果。
第二方面,本申请实施例提供了一种三维重建数据采集校验的系统,所述系统包括:
路径规划模块,用于获取待采集地图的规划路径和数据校验参数;
单次模块,用于对每条路线进行单次采集,并根据不同的计算指标和数据校验参数对采集到的数据进行校验,得到单次采集校验数据;
多次模块,用于将当前路线中得到的单次采集校验数据与历史路线中得到的单次采集校验数据进行关联校验,得到关联关系,并计算关联强度;
评分模块,用于通过所述单次采集校验数据、所述关联关系和所述关联强度对评分规则进行分级评分,并将评分结果反馈到后台服务器。
第三方面,本申请实施例提供了一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的三维重建数据采集校验的方法。
第四方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的三维重建数据采集校验的方法。
相比于相关技术,本申请实施例提供的三维重建数据采集校验的方法,获取待采集地图的规划路径和数据校验参数;对每条路线进行单次采集,并根据不同的计算指标和数据校验参数对采集到的数据进行校验,得到单次采集校验数据;将当前路线中得到的单次采集校验数据与历史路线中得到的单次采集校验数据进行关联校验,得到关联关系,并计算关联强度;最后,通过单次采集校验数据、关联关系和关联强度对评分规则进行分级评分,并将评分结果反馈到后台服务器。
本申请对三维重建数据的采集过程进行引导和校验,根据采集要求不仅对路线进行单次采集和校验,还对多次采集间的数据进行相互关联校验,保障了采集数据的质量,解决了采集三维重建数据时,存在的采集效率低、人工成本高的问题,不仅降低了数据采集人员的门槛,降低了人工成本,还提高了采集效率和数据质量。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的三维重建数据采集校验的方法的流程图;
图2是根据本申请实施例的多条待采集路线不同关联情况的路径规划示意图;
图3是根据本申请实施例的三维重建数据采集校验的系统的结构框图;
图4是根据本申请实施例的电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
本实施例提供了一种三维重建数据采集校验的方法,图1是根据本申请实施例的三维重建数据采集校验的方法的流程图,如图1所示,该流程包括如下步骤:
步骤S101,获取待采集地图的规划路径和数据校验参数;
优选的,在获取待采集地图的路径规划和数据校验参数之前,采集者需要在数据采集软件上知悉待采集地图的场景环境和采集路径的规划,具体地:
根据采集任务要求,对待采集地图的采集路径进行不同的规划设计,为采集者提供采集路线的指导,其中,规划类型包括:高级规划、中级规划、低级规划和无规划,具体如下:
高级规划:基于可定位的已有场景地图,规划出若干条标注好的采集路线;这种路径规划形式,支持采集者的实时定位,并将采集者的位置呈现到路径规划图上,还能自动检测采集者行进路线是否偏离预设路线。需要说明的是,这里所提到的“已有场景地图”,也可能是多种形式的,例如,蓝牙定位地图、gps定位地图、UWB定位地图,还甚至是基于视觉定位的AR地图;
中级规划:中级规划与高级规划的区别在于,中级规划仅做规划路线的直观呈现,而不支持采集者定位和路线偏离的反馈。呈现的形式包括:基于场景CAD底图或某场景平面图等,并以图片形式呈现在采集软件上;
低级规划:低级规划也只是做规划路线的直观呈现,且受限于缺少场景的实际图纸,只能在图纸上随意描绘出大致的采集路线,比较简单;
不规划:对于一些非常简单的场景,比如,拍摄采集某个雕塑,此时,可以不用做场景采集规划路线,仅需要作简单的配图和文字说明即可,如:围绕雕塑拍摄2圈,第一圈离雕塑2米,第二圈离雕塑4米等。
同时,除了确定采集路线之外,还需要确定数据的采集任务要求,如哪些路径间必须关联,哪些路径之间是不作硬性关联要求的,还有各个路线数据采集的速度要求等。其中,采集校验要求与路线的评分规则相对应,例如,可以根据评分规则中路线的连通性计算校验路径间的关联要求。具体地,评分规则中包括了评分项和分项权重,评分项包括:路线连通性、路线质量和关联质量,具体如下:
评分项1:路线连通性。路线连通性用来判断所采集的若干条路线的图像数据之间,是否满足特定的关联要求,具体可采用算法评判路线间拍摄的图像之间是否有足够强的共视关系。
图2是根据本申请实施例的多条待采集路线不同关联情况的路径规划示意图,如图2所示,有6条待采集路线(a~f),在前期路径规划时,给出了预期的关联情况如图2.1所示,如果本次采集任务要求为所有路线间必须保证连通,那么采集完成后,再评定路线连通性评分项时,图2.2的得分则为100分,而图2.3的得到则为0分;但是,如果本次采集任务不要求所有节点必须连通,那么图2.2和图2.3的路线连通性评分项的得分则可以按照下式(7)所示的计算方法进行计算,计算公式如下式(1)所示:
SC=h(ρc,Npra)*100 (1)
其中Npra是实际完成的关联边数,ρc是关联边数的截断归一化参数;
评分项2:路线质量。路线质量用来评判当前路线的采集数据质量,若质量不及格,那么这条路线就需要进行重新采集。路线质量在每次路线采集过程中都会对各项校验指标进行计算和自动评判,从而对每次采集到的路径数据进行校验,提高数据质量。此外,每条路线的路线质量要求在路径规划时也会根据重要性、难度等因素赋予不同权重。比如有些路线涉及到的场景是本次采集任务的重点,相应的权重也会更高,其相应要求的路线质量也会更高。
评分项3:关联质量。对于任意两条路线,路线规划时都会有相应的关联要求,并通过权重来表示这一关联要求,比如可以将权重设为0~1之间的数字,权重为0表示这两条路线一定不能关联(这种情况很少见),权重为1表示这两条路线间必须关联,其他数值则代表路线间可关联也可不关联,以及重要性的高低;此外,对于任意两条路线,校验算法都可以自动判断二者间是否关联,以及关联程度,关联程度即为关联质量的评分,整个采集结果的关联评分即为所有路线间关联评分的加权平均值。
在完成上述采集任务前期准备工作之后,即可获取待采集地图的规划路径,并根据采集任务要求获取数据校验参数,如各路线关联关系、采集速度等,为后续的数据校验提供校验参数,保障数据质量;
步骤S102,对每条路线进行单次采集,并根据不同的计算指标和数据校验参数对采集到的数据进行校验,得到单次采集校验数据;
优选的,通过步骤S101获取待采集地图的规划路径和数据校验参数之后,对每条路线进行单次采集,在每条路线的单次数据采集过程中,采集软件会自动对整个采集过程的各项计算指标进行实时监控,并实时反馈至软件界面,当某项计算指标触发采集失败的阈值时,会强制中断当前采集,并记录当前采集到的可用数据,并选择是否继续采集,如果选择不继续采集,那么采集者可以选择重新采集该条路线,反之,则继续采集剩下未完成的数据,并将最新采集到的数据与之前已采集并记录的数据进行关联,得到当前路线完整的采集数据,其中,需要对这段关联关系进行校验,具体的关联校验方法在后续内容中进行详细说明。
当整条路线的数据采集成功之后,根据不同的计算指标和数据校验参数对采集到的数据进行校验,得到单次采集校验数据,具体的校验计算指标包括:
1、运动速度。运动速度用来衡量数据采集过程中每一刻的相机运动速度,即采集速度。当速度过快时,采集的数据往往会存在严重的运动模块,对地图的重建质量带来不利影响。
设t代表当前时刻,Δt代表很小的一个时间段(秒级,甚至毫秒级),则此时刻的相机运动速度的计算公式如下式(2)所示:
vt=|Pt-Pt-Δt|/Δt (2)
其中,Pt,Pt-Δt分别代表相应时刻下的相机位置,该位置可以有很多种方式获取,例如,可以在数据采集过程中运行相机的位置跟踪算法(VO,VIO),也可以直接调用手机中内置的位置跟踪算法,如苹果手机的ARKit。
需要说明的是,当连续一段时间内计算到的运动速度均为vt>vmax时,需要中断当前采集过程。
2、运动模式。运动模式主要检验某一段时间内,相机主要在做什么样的运动,例如平移,旋转,或二者的叠加运动。其中,纯旋转或者接近于纯旋转的相机运动是采集过程中应尽量避免出现的情况。运动模式的计算可以通过分别计算短时间内的相机位移量和旋转量,以及单位位移内的旋转量,来判断相机的运动模式是否接近纯旋转。具体计算公式如下式(3)-(5)所示:
Trat=|Pt-Pt-Δt| (3)
Rott=ac cos<Zt,Zt-Δt> (4)
mt=Rott/Trat (5)
其中Zt,Zt-Δt是代表相应时刻的相机朝向的单位向量,与Pt,Pt-Δt的获取方式同理。
需要说明的是,当连续一段时间内计算到的运动模式均为mt>mmax时,需要中断当前采集过程。
3、特征水平。特征水平用来检测采集的图片数据中包含的场景特征情况,判断该场景特征中是否存在足够的可用特征。例如某段时间内,数据采集者都是在对着大白墙在拍摄,那么这段数据几乎是没有任何可用特征的,此时这段数据也往往无法用于后期的地图重建。其中,特征水平的计算公式如下式(6)所示:
ft=∑t-Δt≤s≤tN(Is)/Δt (6)
其中N(Is)代表s时刻采集到的那一帧图像中包含的特征数量。
需要说明的是,当连续一段时间计算到的特征水平均为ft<fmin时,需要中断当前采集过程。
此外需要说明的是,当整条路线的数据采集成功并通过校验后,评分规则也会根据采集中计算到的各项校验指标,为本段路线的采集质量进行路线连通性、路线质量和关联质量的评分计算。具体的评分计算过程会在步骤S104中进行详细说明。
通过上述步骤完成每条路线的采集工作后,采集软件会将相关数据进行打包,一是为了便于最后直接上传任务数据,二是为了方便后续的当前路线与历史路线之间采集数据的关联校验。其中,打包的数据包括但不限于:原始视频或图像、关键帧、gps信息、采集轨迹(由位置跟踪算法产出)、路线专属的特征库等;
步骤S103,将当前路线中得到的单次采集校验数据与历史路线中得到的单次采集校验数据进行关联校验,得到关联关系,并计算关联强度;
本实施例中,除了要保证每条路线都能满足采集要求外,还要保证路线间的关联情况能够符合路径规划的要求。因此,在每条路线采集完成并通过采集质量校验后,采集软件将会继续执行多次采集间的数据校验:即将当前路线中得到的单次采集校验数据与历史路线中得到的单次采集校验数据进行关联校验,判断当前路线与历史路线中的哪些路线存在关联,与哪些路线又不存在关联,得到关联关系,并计算得到关联强度和其他必要的反馈信息。其中,具体的关联校验过程如下:
假设当前路线为路线A,路线B为历史路线中的某一条路线;
S1:全局特征查找:对于路线A中的每一帧,在路线专属特征库中查找其全局特征,并使用该全局特征到路线B的特征库中查找相似的全局特征,进而确定路线B中哪些图像与路线A中的某一帧图像“相似”;
S2:全局聚类:获取步骤S1中涉及到的所有图像,分别对路线A、B中具有相似全局特征的图像进行单独的全局聚类,聚类规则包括:各图像对应的相机位置,以及图像之间的相似程度。最后分别使得路线A中形成了多个图像簇,路线B中也形成了多个图像簇。其中,每个图像簇都有本簇的位置中心,该中心是本簇所含图像的相机位置的平均值;
S3:全局关联判定:本步骤用来判定:路线A中的每个图像簇,与路线B中的哪些图像簇之间存在关联。具体来说:如果某个图像簇A1中有超过一定比例的图像在另一簇B1中存在相似图像,或者簇B1中有超过一定比例的图像都是簇A1中某些图像的相似图像,则认为A1和B1是全局关联的。然而,如果路线A中的某个图像簇,与B路线中大于等于2个图像簇存在全局关联,且B路线中被关联到的这若干个簇之间,存在空间隔离,则认为该全局关联为歧义关联,并被视为无效关联。需要说明的是,空间隔离是指两个簇的位置中心之间隔得很远,从而不太可能真的是同一个地方;
S4:局部关联判定:在完成步骤S3之后,对于每个有效的全局关联,进一步执行局部关联判定。由于一个全局关联可能会涉及到两个图像簇,且两个图像簇之间存在相互相似的图像,但这里的“相似”仅代表全局特征判据上的“相似”,而数据校验算法期望的“相似”是局部特征判据上的“相似”。因此,对于某个图像簇之间的每个相似的图像对,可通过二视图几何校验对有效的全局关联进行局部关联判定,若校验通过,则该图像对之间真的存在相似,否则仅仅是“伪相似”;进一步地,在某个图像簇之间,有超过一定比例的图像对均通过了二视图几何校验之后,那么该图像簇之间的关联即为有效关联,否则为无效关联;
S5:路线间关联判定:通过S4完成校验后,如果在路线A和路线B之间,至少存在一个有效的图像簇间关联,则路线A和路线B视为存在关联,并计算得到相应的关联强度,其中,关联强度的计算公式如下式(7)所示:
S6:路线关联检验:最后对S5中存在关联的路线进行校验,判断路线之间的关联是否达标,若不达标,则需要重新采集路线。
通过上述过程可实现多次采集和各个路线之间的数据校验,有利于提高采集数据的质量,满足采集任务要求;
步骤S104,通过单次采集校验数据、关联关系和关联强度对评分规则进行分级评分,并将评分结果反馈到后台服务器。
优选的,在通过单次采集校验数据、关联关系和关联强度对评分规则进行分级评分之前,需要对所有路线的采集数据进行筛选,当不符合采集要求时,进行重新采集或强制结束任务。
具体地,如果所有的采集路线中,存在某条路线本身质量不过关,或者某些必要的路线关联未得到满足时,那么需要重新采集该条路线或者强制结束任务,但如果强制结束本次任务,那么最后的评分结果将一律判为负分,因为此时数据采集者无视规则,强行结束未完成任务,耽误了任务进度。
或者,如果上述问题不存在,那么评分系统会先判断路线连通性是否满足采集要求,若不满足,则需要重新采集或者强制结束任务。同样地,如果强制结束任务,得分将同样判为负分。
最后,如果上述两步评分均通过,那么获取评分规则,评分系统会通过之前得到的单次采集校验数据、关联关系和关联强度,计算校验评分规则中的各个评分项,需要说明的是,各评分项的得分由上述各步骤中得到的采集校验数据进行计算得出,最后的任务得分结果则为各评分项得分的加权平均;评分规则中的分项权重则根据具体任务,由人为或算法来设定。
优选地,本实施例中通过单次采集校验数据、关联关系和关联强度计算校验评分规则中的各个评分项,并根据分项权重对各个评分项进行加权平均计算,得到最终的评分结果。具体步骤如下:
首先,对路线连通性进行评分,计算公式如上式(1)所示;
接着,对路线质量进行评分,计算公式如下式(8)所示:
然后,对关联质量进行评分,计算公式如下式(9)所示:
最后,根据分项权重对上述各个评分项进行加权平均计算,得到最终的评分结果,计算公式如下式(10)所示:
其中,W为各分项权重,S为各分项得分。
评分结束后,采集者就可以点击确认,相关数据和评分结果也将自动上传至后台服务器,完成采集任务。
通过上述步骤S101至步骤S104,本实施例对三维重建数据的采集过程进行引导和校验,根据采集要求不仅对路线进行单次采集和校验,还对多次采集间的数据进行相互关联校验,保障了采集数据的质量,解决了采集三维重建数据时,存在的采集效率低、人工成本高的问题,不仅降低了数据采集人员的门槛,降低了人工成本,还提高了采集效率和数据质量。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种三维重建数据采集校验的系统,该系统用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图3是根据本申请实施例的三维重建数据采集校验的系统的结构框图,如图3所示,该系统包括路径规划模块31、单次模块32、多次模块33和评分模块34:
路径规划模块31,用于获取待采集地图的规划路径和数据校验参数;单次模块32,用于对每条路线进行单次采集,并根据不同的计算指标和数据校验参数对采集到的数据进行校验,得到单次采集校验数据;多次模块33,用于将当前路线中得到的单次采集校验数据与历史路线中得到的单次采集校验数据进行关联校验,得到关联关系,并计算关联强度;评分模块34,用于通过单次采集校验数据、关联关系和关联强度对评分规则进行分级评分,并将评分结果反馈到后台服务器。
通过上述系统,本实施例对三维重建数据的采集过程进行引导和校验,根据采集要求不仅对路线进行单次采集和校验,还对多次采集间的数据进行相互关联校验,保障了采集数据的质量,解决了采集三维重建数据时,存在的采集效率低、人工成本高的问题,不仅降低了数据采集人员的门槛,降低了人工成本,还提高了采集效率和数据质量。
需要说明的是,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
此外,需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
另外,结合上述实施例中的三维重建数据采集校验的方法,本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种三维重建数据采集校验的方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种三维重建数据采集校验的方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
在一个实施例中,图4是根据本申请实施例的电子设备的内部结构示意图,如图4所示,提供了一种电子设备,该电子设备可以是服务器,其内部结构图可以如图4所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器,其中,该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力,网络接口用于与外部的终端通过网络连接通信,内存储器用于为操作系统和计算机程序的运行提供环境,计算机程序被处理器执行时以实现一种三维重建数据采集校验的方法,数据库用于存储数据。
本领域技术人员可以理解,图4中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域的技术人员应该明白,以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种三维重建数据采集校验的方法,其特征在于,所述方法包括:
获取待采集地图的规划路径和数据校验参数;
对每条路线进行单次采集,并根据不同的计算指标和数据校验参数对采集到的数据进行校验,得到单次采集校验数据;
将当前路线中得到的单次采集校验数据与历史路线中得到的单次采集校验数据进行关联校验,得到关联关系,并计算关联强度;
通过所述单次采集校验数据、所述关联关系和所述关联强度对评分规则进行分级评分,并将评分结果反馈到后台服务器。
2.根据权利要求1所述的方法,其特征在于,所述对每条路线进行单次采集包括:
当计算指标触发采集失败的阈值时,采集中断,记录当前采集到的数据,并选择是否继续采集;
在选择不继续采集的情况下,重新采集当前路线的所有数据,反之,则继续采集剩下的数据,并将最新采集到的数据与已采集的数据进行关联,得到当前路线完整的采集数据。
3.根据权利要求1或2所述的方法,其特征在于,根据不同的计算指标对采集到的数据进行校验,得到单次采集校验数据包括:
计算相机运动速度,判断采集速度是否过快;
分别计算短时间内的相机位移量和旋转量,以及单位位移内的旋转量,判断相机的运动模式是否接近纯旋转体;
计算地图图像中场景特征水平,判断是否有足够的可用特征。
4.根据权利要求1所述的方法,其特征在于,将当前路线中得到的单次采集校验数据与历史路线中得到的单次采集校验数据进行关联校验包括:
查找当前路线单次采集校验数据与历史路线单次采集校验数据之间相似的全局特征,并分别对当前路线、历史路线中具有所述全局特征的图像进行全局聚类,使所述当前路线和所述历史路线中分别形成多个图像簇;
将所述当前路线中的图像簇与所述历史路线中的图像簇进行全局关联判定,在判断得到有效的全局关联之后,通过二视图几何校验对所述有效的全局关联进行局部关联判定,得到有效关联;
当所述当前路线与所述历史路线之间至少存在一个有效关联的情况下,则判断所述当前路线与所述历史路线之间存在关联,否则不存在关联;
对存在关联的路线进行校验,判断路线关联是否达标,若不达标,则需要重新采集路线。
5.根据权利要求1所述的方法,其特征在于,在获取待采集地图的规划路径和数据校验参数之前,所述方法包括:
根据不同的任务要求,对所述待采集地图的采集路径进行不同的规划设计,得到所述规划路径,并确定数据的采集校验要求。
6.根据权利要求1所述的方法,其特征在于,在通过所述单次采集校验数据、所述关联关系和所述关联强度对评分规则进行分级评分之前,所述方法包括:
对所有路线的采集数据进行筛选,当不符合采集要求时,进行重新采集或强制结束任务;
获取评分规则,其中,所述评分规则包括评分项和分项权重,所述评分项包括路线连通性、路线质量和关联质量。
7.根据权利要求6所述的方法,其特征在于,所述通过所述单次采集校验数据、所述关联关系和所述关联强度对评分规则进行分级评分包括:
通过所述单次采集校验数据、所述关联关系和所述关联强度计算校验所述评分规则中的各个评分项,并根据分项权重对各个评分项进行加权平均计算,得到评分结果。
8.一种三维重建数据采集校验的系统,其特征在于,所述系统包括:
路径规划模块,用于获取待采集地图的规划路径和数据校验参数;
单次模块,用于对每条路线进行单次采集,并根据不同的计算指标和数据校验参数对采集到的数据进行校验,得到单次采集校验数据;
多次模块,用于将当前路线中得到的单次采集校验数据与历史路线中得到的单次采集校验数据进行关联校验,得到关联关系,并计算关联强度;
评分模块,用于通过所述单次采集校验数据、所述关联关系和所述关联强度对评分规则进行分级评分,并将评分结果反馈到后台服务器。
9.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的三维重建数据采集校验的方法。
10.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行权利要求1至7中任一项所述的三维重建数据采集校验的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210232971.3A CN114723672B (zh) | 2022-03-09 | 2022-03-09 | 一种三维重建数据采集校验的方法、系统、装置和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210232971.3A CN114723672B (zh) | 2022-03-09 | 2022-03-09 | 一种三维重建数据采集校验的方法、系统、装置和介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114723672A true CN114723672A (zh) | 2022-07-08 |
CN114723672B CN114723672B (zh) | 2024-08-20 |
Family
ID=82237488
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210232971.3A Active CN114723672B (zh) | 2022-03-09 | 2022-03-09 | 一种三维重建数据采集校验的方法、系统、装置和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114723672B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019174544A1 (zh) * | 2018-03-14 | 2019-09-19 | Oppo广东移动通信有限公司 | 图像合成的方法、装置、计算机存储介质及电子设备 |
CN110349250A (zh) * | 2019-06-28 | 2019-10-18 | 浙江大学 | 一种基于rgbd相机的室内动态场景的三维重建方法 |
US20200284883A1 (en) * | 2019-03-08 | 2020-09-10 | Osram Gmbh | Component for a lidar sensor system, lidar sensor system, lidar sensor device, method for a lidar sensor system and method for a lidar sensor device |
CN112785585A (zh) * | 2021-02-03 | 2021-05-11 | 腾讯科技(深圳)有限公司 | 基于主动学习的图像视频质量评价模型的训练方法以及装置 |
CN112884894A (zh) * | 2021-04-28 | 2021-06-01 | 深圳大学 | 场景重建数据采集方法、装置、计算机设备和存储介质 |
EP3843386A1 (en) * | 2018-09-30 | 2021-06-30 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Data processing method and apparatus, and electronic device and storage medium |
US20210201465A1 (en) * | 2019-12-31 | 2021-07-01 | Lyft, Inc. | Processing map data for human quality check |
WO2021128297A1 (zh) * | 2019-12-27 | 2021-07-01 | 深圳市大疆创新科技有限公司 | 三维点云地图构建方法、系统和设备 |
US20210407119A1 (en) * | 2020-06-30 | 2021-12-30 | Lyft, Inc. | Validating a Map Reconstruction Using Sensor Data Constraints |
-
2022
- 2022-03-09 CN CN202210232971.3A patent/CN114723672B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019174544A1 (zh) * | 2018-03-14 | 2019-09-19 | Oppo广东移动通信有限公司 | 图像合成的方法、装置、计算机存储介质及电子设备 |
EP3843386A1 (en) * | 2018-09-30 | 2021-06-30 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Data processing method and apparatus, and electronic device and storage medium |
US20200284883A1 (en) * | 2019-03-08 | 2020-09-10 | Osram Gmbh | Component for a lidar sensor system, lidar sensor system, lidar sensor device, method for a lidar sensor system and method for a lidar sensor device |
CN110349250A (zh) * | 2019-06-28 | 2019-10-18 | 浙江大学 | 一种基于rgbd相机的室内动态场景的三维重建方法 |
WO2021128297A1 (zh) * | 2019-12-27 | 2021-07-01 | 深圳市大疆创新科技有限公司 | 三维点云地图构建方法、系统和设备 |
US20210201465A1 (en) * | 2019-12-31 | 2021-07-01 | Lyft, Inc. | Processing map data for human quality check |
US20210407119A1 (en) * | 2020-06-30 | 2021-12-30 | Lyft, Inc. | Validating a Map Reconstruction Using Sensor Data Constraints |
CN112785585A (zh) * | 2021-02-03 | 2021-05-11 | 腾讯科技(深圳)有限公司 | 基于主动学习的图像视频质量评价模型的训练方法以及装置 |
CN112884894A (zh) * | 2021-04-28 | 2021-06-01 | 深圳大学 | 场景重建数据采集方法、装置、计算机设备和存储介质 |
Non-Patent Citations (2)
Title |
---|
SIYUAN PENG, ET.AL: "Fast 3D Map Reconstruction Using Dense Visual Simultaneous Localization and Mapping Based on Unmanned Aerial Vehicle", IGARSS 2018 - 2018 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM, 27 July 2018 (2018-07-27), pages 5712 - 5715, XP033436968, DOI: 10.1109/IGARSS.2018.8517796 * |
韩海燕,等: "基于虚拟现实的三维动态场景重建", 现代电子技术, vol. 41, no. 2, 23 January 2018 (2018-01-23), pages 170 - 173 * |
Also Published As
Publication number | Publication date |
---|---|
CN114723672B (zh) | 2024-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110599583B (zh) | 无人机飞行轨迹生成方法、装置、计算机设备和存储介质 | |
CN108875524B (zh) | 视线估计方法、装置、系统和存储介质 | |
CN106096670B (zh) | 级联卷积神经网络训练和图像检测方法、装置及系统 | |
CN108895981B (zh) | 一种三维测量方法、装置、服务器和存储介质 | |
Chen et al. | Rise of the indoor crowd: Reconstruction of building interior view via mobile crowdsourcing | |
US20180321776A1 (en) | Method for acting on augmented reality virtual objects | |
CN107358149A (zh) | 一种人体姿态检测方法和装置 | |
WO2021238548A1 (zh) | 区域识别方法、装置、设备及可读存储介质 | |
CN109035330A (zh) | 箱体拟合方法、设备和计算机可读存储介质 | |
CN112070782B (zh) | 识别场景轮廓的方法、装置、计算机可读介质及电子设备 | |
US20200117952A1 (en) | Target object position prediction and motion tracking | |
CN113643329B (zh) | 一种基于孪生注意力网络的在线更新目标跟踪方法和系统 | |
US20230060211A1 (en) | System and Method for Tracking Moving Objects by Video Data | |
US20220269883A1 (en) | Methods, apparatuses, devices and storage media for predicting correlation between objects involved in image | |
US20210326376A1 (en) | Navigating through a set of images | |
CN108550181B (zh) | 移动设备上在线跟踪与稠密重建方法、系统及设备 | |
CN111405314B (zh) | 一种信息处理方法、装置、设备及存储介质 | |
CN109165654A (zh) | 一种目标定位模型的训练方法和目标定位方法及装置 | |
CN113869218B (zh) | 人脸活体检测方法、装置、电子设备及可读存储介质 | |
US20220300774A1 (en) | Methods, apparatuses, devices and storage media for detecting correlated objects involved in image | |
US11989264B2 (en) | Automatic generation system of training image and method thereof | |
CN114723672A (zh) | 一种三维重建数据采集校验的方法、系统、装置和介质 | |
CN114998743A (zh) | 一种视觉地图点的构建方法、装置、设备及介质 | |
CN107016351A (zh) | 拍摄指导信息的获取方法以及装置 | |
CN113706543A (zh) | 一种三维位姿的构建方法、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |