CN114743075A - 点云模型的检测方法和装置、电子设备和可读存储介质 - Google Patents

点云模型的检测方法和装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN114743075A
CN114743075A CN202210375016.5A CN202210375016A CN114743075A CN 114743075 A CN114743075 A CN 114743075A CN 202210375016 A CN202210375016 A CN 202210375016A CN 114743075 A CN114743075 A CN 114743075A
Authority
CN
China
Prior art keywords
point cloud
cloud model
weight
acquiring
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210375016.5A
Other languages
English (en)
Inventor
张东波
秦旭洲
焦少慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Youzhuju Network Technology Co Ltd
Original Assignee
Beijing Youzhuju Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Youzhuju Network Technology Co Ltd filed Critical Beijing Youzhuju Network Technology Co Ltd
Priority to CN202210375016.5A priority Critical patent/CN114743075A/zh
Publication of CN114743075A publication Critical patent/CN114743075A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Algebra (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了一种点云模型的检测方法和装置、电子设备和可读存储介质,属于点云模型技术领域。其中,点云模型的检测方法,包括:获取点云模型,对点云模型进行预处理。获取预处理后点云模型的融合参数。获取预处理后点云模型的倒角距离。获取预处理后点云模型的局部一致性参数。获取融合参数的第一权重、倒角距离的第二权重和局部一致性参数的第三权重。基于融合参数、倒角距离、局部一致性参数、第一权重、第二权重和第三权重,获取检测结果,完成对点云模型的检测。

Description

点云模型的检测方法和装置、电子设备和可读存储介质
技术领域
本申请属于点云模型技术领域,具体涉及一种点云模型的检测方法和装置、电子设备和可读存储介质。
背景技术
相关技术中,点云模型具有稀疏、不规则属性且较难获取真值(ground truth)的问题,点云模型的质量评价主要应用于对点云处理算法的评价(点云压缩、点云去噪等),缺少对于点云模型本身质量进行有效的评估。
相关技术的评价方法中,一般分为全局度量方法和局部度量方法。
对于全局度量方法主要有推土机距离(EMD)和倒角距离两类,推土机距离虽然精度较准确,但需要严格保证对比点云数量的一致性,难以灵活应用于实际场景中。倒角距离不需要严格保证对比点云数量一致性,可以灵活应用于落地场景中,但是难以保证精度。由于缺少局部结构信息,全局方法对于点云模型细节难以有效度量。
对于局部度量方法,比较常用的方法借助局部评价指标度量点云模型,比如局部法线是否保持一致性、点云分布是否均匀等。局部方法虽然能够有效度量局部结构信息,但是由于缺少全局信息的比较,无法作为统一的度量标准直接应用于实际场景。
发明内容
本申请实施例的目的是提供一种点云模型的检测方法和装置、电子设备和可读存储介质,能够解决如何更有效的从全局和局部两个层面同时对点云模型的质量进行检测,既兼顾点云全局度量的精度和灵活性,也保证局部几何结构的一致性,并且可以有效的应用于实际场景的问题。
第一方面,本申请实施例提供了一种点云模型的检测方法,包括:获取点云模型,对点云模型进行预处理。获取预处理后点云模型的融合参数。获取预处理后点云模型的倒角距离。获取预处理后点云模型的局部一致性参数。获取融合参数的第一权重、倒角距离的第二权重和局部一致性参数的第三权重。基于融合参数、倒角距离、局部一致性参数、第一权重、第二权重和第三权重,获取检测结果,完成对点云模型的检测。
第二方面,本申请实施例提供了一种点云模型的检测装置,包括第一获取模块、第二获取模块、第三获取模块、第四获取模块、第五获取模块和第六获取模块。第一获取模块用于获取点云模型,对点云模型进行预处理;第二获取模块用于获取预处理后点云模型的融合参数;第三获取模块用于获取预处理后点云模型的倒角距离;第四获取模块用于获取预处理后点云模型的局部一致性参数;第五获取模块用于获取融合参数的第一权重、倒角距离的第二权重和局部一致性参数的第三权重;第六获取模块用于基于融合参数、倒角距离、局部一致性参数、第一权重、第二权重和第三权重,获取检测结果,完成对点云模型的检测。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器和存储器,存储器存储可在处理器上运行的程序或指令,程序或指令被处理器执行时实现如第一方面的点云模型的检测方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,可读存储介质上存储程序或指令,程序或指令被处理器执行时实现如第一方面的点云模型的检测方法的步骤。
本申请通过获取融合参数、倒角距离、局部一致性参数以及上述参数的权重,获取对于点云模型的检测结果。从全局和局部两个层面同时对点云模型进行检测,可以兼顾点云全局度量的精度和灵活性,也可以保证局部几何结构的一致性。同时,保证了检测结果的有效性。
附图说明
图1示出了本申请实施例提供的点云模型的检测方法的流程示意图之一;
图2示出了本申请实施例提供的点云模型的检测方法的流程示意图之二;
图3示出了本申请实施例提供的点云模型的检测方法的流程示意图之三;
图4示出了本申请实施例提供的点云模型的检测方法的流程示意图之四;
图5示出了本申请实施例提供的点云模型的检测方法的流程示意图之五;
图6示出了本申请实施例提供的点云模型的检测方法的流程示意图之六;
图7示出了本申请实施例提供的点云模型的检测方法的流程示意图之七;
图8示出了本申请实施例提供的点云模型的检测方法的流程示意图之八;
图9示出了本申请实施例提供的点云模型的检测方法的流程示意图之九;
图10示出了本申请实施例提供的点云模型的检测方法的流程示意图之十;
图11示出了本申请实施例提供的点云模型的检测方法的流程示意图之十一;
图12示出了本申请实施例提供的点云模型的检测方法的方案示意图;
图13示出了本申请实施例提供的点云模型的检测装置的结构框图;
图14示出了本申请实施例提供的电子设备的结构框图;
图15示出了本申请实施例的一种电子设备的硬件结构示意图。
其中,图13至图15中附图标记与部件名称之间的对应关系为:
100:云模型的检测装置,110:第一获取模块;120:第二获取模块;130:第三获取模块;140:第四获取模块;150:第五获取模块;160:第六获取模块;1000:电子设备;1002:处理器;1004:存储器;1100:电子设备;1101:射频单元;1102:网络模块;1103:音频输出单元;1104:输入单元;11041:图形处理器;11042:麦克风;1105:传感器;1106:显示单元;11061:显示面板;1107:用户输入单元;11071:触控面板;11072:其他输入设备;1108:接口单元;1109:存储器;1110:处理器。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图1至图15,通过具体的实施例及其应用场景对本申请实施例提供的点云模型的检测方法和装置、电子设备和可读存储介质进行详细地说明。
在本申请实施例提供了一种点云模型的检测方法,图1示出了本申请实施例提供的点云模型的检测方法的流程示意图之一,如图1所示,点云模型的检测方法包括:
步骤102,获取点云模型,对点云模型进行预处理。
步骤104,获取预处理后点云模型的融合参数。
步骤106,获取预处理后点云模型的倒角距离。
步骤108,获取预处理后点云模型的局部一致性参数。
步骤110,获取融合参数的第一权重、倒角距离的第二权重和局部一致性参数的第三权重。
步骤112,基于融合参数、倒角距离、局部一致性参数、第一权重、第二权重和第三权重,获取检测结果,完成对点云模型的检测。
本实施例中,通过获取融合参数、倒角距离、局部一致性参数以及上述参数的权重,获取对于点云模型的检测结果。从全局和局部两个层面同时对点云模型进行检测,可以兼顾点云全局度量的精度和灵活性,也可以保证局部几何结构的一致性。同时,保证了检测结果的有效性。通过检测结果可以有效的度量点云模型的质量,使得在对点云模型进行实际场景应用时,能够作为一种统一的度量指标,对点云模型的质量可以有效进行质量评估。
本实施例中,通过获取融合参数、倒角距离、局部一致性参数以及上述参数的权重,获取对于点云模型的检测结果。其中,通过采用混合式的质量评价体系,从全局和局部两个层面设计,并尽可能的覆盖点云的特性举例而言,可以为分布均匀、局部一致性、全局一致性等,使得最终得到的检测结果可以对点云质量进行综合评判,为点云模型在实际场景应用时的选取,提供有效的技术支撑。
本实施例中,点云模型可以为获取的点云模型,或者生成的点云模型。举例而言,获取的点云模型可以为通过三维扫描设备获取的点云模型,生成的点云模型可以为基于RGBD(RGB和Depth Map(深度图))相机点云生成的点云模型。并且,对于点云模型的真值没有要求,使得点云模型的检测方法具有更加广泛的应用范围。
在本申请的一些实施例中,对点云模型进行预处理,具体包括:
对点云模型进行归一化处理。
本实施例中,对于点云模型进行预处理操作,可以有效减少后续运算对点云模型产生的影响,使得检测结果更加准确。
具体而言,针对获取的原始点云模型进行归一化处理,通过归一下处理,可以消除点云模型尺度以及几何刚性变换对于点云模型产生的影响,使得后续对点云模型进行获取的各种参数更加准确。
在本申请的一些实施例中,图2示出了本申请实施例提供的点云模型的检测方法的流程示意图之二,如图2所示,获取预处理后点云模型的融合参数,具体包括:
步骤202,获取预处理后点云模型的精度。
步骤204,获取预处理后点云模型的完整度。
步骤206,获取精度和完整度的调和平均数,得到融合参数。
本实施例中,融合参数F1 score可以包括两部分,分别为精确度Accuracy和完整度Completeness。具体而言,精确度是指,对于每个待评估点云模型的三维点,可以在第一预设阈值内匹配到真值三维点的比例。考虑到点云真值本身不完整的情况,需要先估计出真值空间中不可观测的部分,估计精度时忽略掉。完整度是指,对于每个点云真值的三维点,可以在第二预设阈值内匹配到待评估点云模型的三维点的比例。举例而言,第一预设阈值的取值可以包括5mm,第二预设阈值的取值可以包括5mm。
可以理解地,精确度和完整度均对点云重建效果有重要的评估意义,但以上两者为一对对立指标。假如使点云布满整个空间,则完整度达到100%,但是会会导致精确度降低很多。假如只保留较少的绝对精确的点,进而得到较高的精确度指标,但是会导致完整度较低很多。
本实施例中,对精度和完整度进行调和,采用精度和完整度的调和平均数,即融合参数作为检测指标(评估指标),通过融合参数对点云模型的精确度和完整度进行评估,具体地:
设精度为p,完整度为r,则融合参数(也就是F1分数)为精度和完整度的调和平均数,即:
Figure BDA0003590406900000061
其中,LF1表示融合参数p表示精度,r表示完整度。
本实施例中,通过将精度和完整度进行融合,得到融合参数。进而后续通过融合参数获取点云模型的检测结果,可以提升检测结果的准确性和有效性,对点云模型的质量进行有效质量评估。
在本申请的一些实施例中,图3示出了本申请实施例提供的点云模型的检测方法的流程示意图之三,如图3所示,获取预处理后点云模型的倒角距离,具体包括:
步骤302,设定预处理后点云模型中每个点邻域的半径为预处理后点云模型对角线长度的第一百分比距离。
步骤304,基于邻域信息构建协方差矩阵,对协方差矩阵进行特征分解,得到第一特征值、第二特征值和第三特征值。
步骤306,基于第一特征值、第二特征值和第三特征值,构建特征指示函数,获取每个点的特征指示函数值,并进行归一化。
步骤308,提取特征指示函数值大于第一阈值的点为特征点,特征点组成特征点集合。
步骤310,对特征点集合进行最远点采样,基于采样后的点云与采样后的真值点云,获取倒角距离。
本实施例中,对于输入点云模型中每个点,以模型对角线长度第一百分比的距离为半径作为其邻域,举例而言,第一百分比的取值包括5%。然后基于邻域信息构建协方差矩阵,对协方差矩阵进行特征分解,分解后得到三个特征值λ1、λ2和λ3,其中,λ1表示第一特征值,λ2表示第二特征值,λ3表示第三特征值,λ1≥λ2≥λ3,根据特征值组合构建特征指示函数f:
Figure BDA0003590406900000071
获取每个点的特征指示函数值,并进行归一化[0,1]。
本实施例中,举例而言,第一阈值的取值包括0.8,可以提取特征指示函数大于0.8的点作为特征点,组成特征点集合。
本实施例中,基于特征点构建倒角距离,与直接应用倒角距离到点云模型不同,本实施例将倒角距离应用于上上述的特征点集合上。同时为了保证全局度量的一致性,对所比较的特征点集合进行一个最远点采样,使其全局评价指标不受点云密度的影响。最后对采样后的点云与采样后的真值点云计算倒角距离,即:
Figure BDA0003590406900000072
其中,Lchamfer表示倒角距离,S1表示待评估点云模型,S2表示真值点云,x、y表示特征点集合中的特征点。
本实施例中,通过构建特征指示函数,获取特征指示函数值大于第一阈值的特征点集合,基于特征点集合,计算倒角距离,进而后续通过倒角距离获取点云模型的检测结果,可以提升检测结果的准确性和有效性,对点云模型的质量进行有效质量评估。
本实施例通过计算倒角距离,采用全局度量方法,不需要严格保证对比点云数量一致性,可以灵活应用于落地场景中,提高检测应用的广度。
在本申请的一些实施例中,图4示出了本申请实施例提供的点云模型的检测方法的流程示意图之四,如图4所示,获取预处理后点云模型的局部一致性参数,具体包括:
步骤402,获取预处理后点云模型中点的密度值方差。
步骤404,获取预处理后点云模型中点的点乘结果平均值。
步骤406,基于密度值方差和点乘结果平均值,得到局部一致性参数。
本实施例中,局部一致性参数表示为:
Llocal=0.5×Ldistribution+0.5×Lnormal
其中,Llocal表示局部一致性参数,Ldistribution表示密度值方差,Lnormal表示点乘结果平均值。
本实施例中,通过密度值方差、点乘结果平均值得到局部一致性参数,进而后续通过局部一致性参数获取点云模型的检测结果,可以提升检测结果的准确性和有效性,对点云模型的质量进行有效质量评估。
本实施例通过计算局部一致性参数,能够有效度量局部结构信息,对点云模型细节进行有效度量,提升检测结果的精度。
在本申请的一些实施例中,图5示出了本申请实施例提供的点云模型的检测方法的流程示意图之五,如图5所示,获取预处理后点云模型中点的密度值方差,具体包括:
步骤502,设定预处理后点云模型中每个点邻域的半径为预处理后点云模型对角线长度的第二百分比距离。
步骤504,获取每个点的密度值,将密度值进行归一化。
步骤506,基于每个点的归一化后的密度值,得到所有点的密度值方差。
本实施例中,对于输入点云模型中每个点,以模型对角线长度第二百分比的距离为半径作为其邻域,统计其邻域内点的数量作为该点的一个密度值,然后统计所有点密度的方差来作为其分布均匀的度量信息。举例而言,可以将上述密度值归一化至[0,1]区间,然后计算其方差并表示为Ldistribution
本实施例中,举例而言,第二百分比的取值可以包括5%。
本实施例通过获取每个点的密度值以及密度值方差,对分布均匀进行度量,后续通过密度值方差得到局部一致性参数,通过局部一致性参数进行点云模型的检测,可以提升检测结果的准确性和有效性,对点云模型的质量进行有效质量评估。
在本申请的一些实施例中,图6示出了本申请实施例提供的点云模型的检测方法的流程示意图之六,如图6所示,获取预处理后点云模型中点的点乘结果平均值,具体包括:
步骤602,获取预处理后点云模型中每个点的法线。
步骤604,设定每个点邻域的半径为预处理后点云模型对角线长度的第三百分比距离。
步骤606,获取每个点在其邻域内的法线分布。
步骤608,针对任意点,获取任意点法线与其邻域内法线点乘结果。
步骤610,获取所有点的点乘结果平均值,将点乘结果平均值进行归一化。
本实施例中,对于输入的点云模型,首先可以通过主成分分析方法(PCA)对每个点计算其法线,对于输入点云模型中每个点,以模型对角线长度第三百分比的距离为半径作为其邻域,评估邻域内法线的分布。具体为该点法线与其邻域内法线点乘并求平均值来作为该点局部法线是否一致的度量指标。由于法线本身只有方向意义,所以法线的叉乘可以由其法线之间的夹角表示。将上述点乘结果平均值归一化至[0,1]区间,表示为Lnormal
本实施例中,举例而言,第三百分比的取值可以包括5%。
本实施例通过获取点乘结果平均值,对局部法线一致性进行度量,后续通过点乘结果平均值得到局部一致性参数,通过局部一致性参数进行点云模型的检测,可以提升检测结果的准确性和有效性,对点云模型的质量进行有效质量评估。
在本申请的一些实施例中,图7示出了本申请实施例提供的点云模型的检测方法的流程示意图之七,如图7所示,获取融合参数的第一权重、倒角距离的第二权重和局部一致性参数的第三权重,具体包括:
步骤702,获取融合参数、倒角距离、局部一致性参数中任意两个参数之间的第一相关性系数。
步骤704,基于第一相关性系数,获取融合参数的独立性权重、倒角距离的独立性权重和局部一致性参数的独立性权重。
步骤706,对融合参数的独立性权重、倒角距离的独立性权重和局部一致性参数的独立性权重分别进行归一化处理,得到融合参数的第一权重、倒角距离的第二权重和局部一致性参数的第三权重。
可以理解地,由于获取融合参数、倒角距离、局部一致性参数对点云质量的评价有所侧重,因此需要对每个参数均赋予权重,以获得最终的检测结果。独立性权重根据各指标与其他指标之间的相关性强弱来确定权重,与其他指标相关性越低,权重越高。
指标的个数根据检测参数确定,当点云模型为基于RGBD重建的点云时,指标i或指标j表示融合参数、倒角距离、局部一致性参数或重投影误差中的任意一个,当点云模型不是基于RGBD重建的点云时,指标i或指标j表示融合参数、倒角距离或局部一致性参数的任意一个。指标i与指标j不同,则指标i和指标j之间的相关性通过相关系数表示:
Figure BDA0003590406900000101
其中,rij表示指标i和指标j的相关系数,Cov(i,j)表示指标i和指标j的协方差,Var(i)表示指标i的方差,Var(j)表示指标j的方差。
本实施例中,通过上式获取融合参数、倒角距离、局部一致性参数中任意两个参数之间的第一相关性系数。
指标j的独立权重为:
Figure BDA0003590406900000102
其中,Cj表示指标j的独立权重,σj表示指标j的标准差,n表示指标的个数。举例而言,本实施例中,n取值为3,i取值1、2、3时,分别对应三个指标,三个指标分别为融合参数、倒角距离、局部一致性参数。通过上式,分别得到获取融合参数的独立性权重、倒角距离的独立性权重和局部一致性参数的独立性权重。
对指标j的独立权重进行归一化:
Figure BDA0003590406900000103
其中,Wj表示指标j的归一化后的独立性权重。n取值为3时,k分别取值1、2、3时,Ck分别对应三个指标的独立权重,三个指标分别为融合参数、倒角距离、局部一致性参数。通过上式得到融合参数的第一权重、倒角距离的第二权重和局部一致性参数的第三权重。
本实施例中,分别获取融合参数的第一权重、倒角距离的第二权重和局部一致性参数的第三权重,通过设置权重,综合对点云模型进行检测,可以兼顾点云全局度量的精度和灵活性,也可以保证局部几何结构的一致性,实现对点云模型的质量的有效评估。
在本申请的一些实施例中,图8示出了本申请实施例提供的点云模型的检测方法的流程示意图之八,如图8所示,基于融合参数、倒角距离、局部一致性参数、第一权重、第二权重和第三权重,获取检测结果,完成对点云模型的检测,具体包括:
步骤802,获取融合参数与第一权重的第一乘积。
步骤804,获取倒角距离与第二权重的第二乘积。
步骤806,获取局部一致性参数与第三权重的第三乘积。
步骤808,获取第一乘积、第二乘积和第三乘积的第一和。
步骤810,基于第一和,得到检测结果,完成对点云模型的检测。
本实施例中,为了方便使用人员对于点云质量的综合评判,采用独立性权重的策略对所采用的指标进行加权,最终得到检测结果,上述检测结果可以为[0,1]的量化分数。量化分数越接近1,表示点云模型的质量越好。
具体而言,量化分数可以表示为:
S=W1×LF1+W2×Lchamfer+W3×Llocal
其中,S表示量化分数,W1表示第一权重,W2表示第二权重,W3表示第三权重。
本实施例采用混合式的质量评价体系,从全局和局部两个层面设计,覆盖点云的分布均匀、局部一致性、全局一致性等特性,最终得到检测结果可以为量化分数,通过量化分数对点云质量进行综合评判,点云模型越满足分布均匀、局部一致性和全局一致性,量化分数越接近1,通过检测结果可以有效的度量点云模型的质量,使得在对点云模型进行实际场景应用时,能够作为一种统一的度量指标,对点云模型的质量可以有效进行质量评估。
在本申请的一些实施例中,图9示出了本申请实施例提供的点云模型的检测方法的流程示意图之九,如图9所示,点云模型的检测方法,还包括:
步骤902,基于预处理后点云模型为重建后的点云,获取预处理后点云模型重投影后的深度图信息;
步骤904,针对深度图中任一像素,获取深度图信息与原始数据的第一距离;
步骤906,基于第一距离小于第二阈值,判定深度图信息准确;
步骤908,获取预处理后点云模型的重投影误差,重投影误差为深度图的平均准确率。
可以理解地,对于基于RGBD重建的点云,本实施例还设置了重投影误差对其点云质量进行度量。重投影误差为对于重建后的点云,根据相机拍摄的点位信息,获取点云模型重投影后的深度图信息(Depth),然后利用L2距离(即第一距离)度量获得的深度图与深度相机所获取的原始数据进行比较。对于每张深度图的任一像素,计算L2距离,若L2距离小于第二阈值,则认为准确。最终得到对所有图像的平均准确率Lreproj
本实施例中,举例而言,第二阈值的取值可以为1cm。
本实施例中,对于预处理后点云模型为重建后点云的情况,设置了重投影误差对点云模型进行度量,后续通过重投影误差进行点云模型的检测,可以提升检测结果的准确性和有效性,对点云模型的质量进行有效质量评估。
在本申请的一些实施例中,图10示出了本申请实施例提供的点云模型的检测方法的流程示意图之十,如图10所示,点云模型的检测方法,还包括:
步骤1002,获取重投影误差分别与融合参数、倒角距离、局部一致性参数的第二相关性系数;
步骤1004,基于第二相关性系数,获取重投影误差的独立性权重;
步骤1006,对重投影误差的独立性权重进行归一化处理,得到重投影误差的第四权重。
本实施例中,根据下述公式获取重投影误差分别与融合参数、倒角距离、局部一致性参数的第二相关性系数:
Figure BDA0003590406900000121
然后,根据下述公式获取重投影误差的独立性权重:
Figure BDA0003590406900000122
其中,n取值为4,i取值1、2、3、4时,分别对应四个指标,四个指标分别为融合参数、倒角距离、局部一致性参数、重投影误差。
根据下属公式对重投影误差的独立性权重进行归一化处理,得到重投影误差的第四权重:
Figure BDA0003590406900000131
其中,n取值为4时,k分别取值1、2、3、4时,Ck分别对应四个指标的独立权重,四个指标分别为融合参数、倒角距离、局部一致性参数、重投影误差。
本实施例中,获取重投影误差的第四权重,通过设置重投影误差权重,针对预处理后点云模型为重建后点云的情况,可以进行更加准确的点云模型进行检测,实现对点云模型的质量的有效评估。
在本申请的一些实施例中,图11示出了本申请实施例提供的点云模型的检测方法的流程示意图之十一,如图11所示,基于融合参数、倒角距离、局部一致性参数、第一权重、第二权重和第三权重,获取检测结果,完成对点云模型的检测,还包括:
步骤1102,获取重投影误差与第四权重的第四乘积;
步骤1104,获取第一乘积、第二乘积、第三乘积和第四乘积的第二和;
步骤1106,基于第二和,得到检测结果,完成对点云模型的检测。
本实施例中,针对预处理后点云模型为重建后点云的情况,添加了重投影误差对点云模型进行度量,采用独立性权重的策略对所采用的指标进行加权,可以提升检测结果的准确性和有效性,对点云模型的质量进行有效质量评估。为了方便使用人员对于点云质量的综合评判,检测结果可以为[0,1]的量化分数。量化分数越接近1,表示点云模型的质量越好。
具体而言,量化分数可以表示为:
S=W1×LF1+W2×Lchamfer+W3×Llocal+W4×Lreproj
其中,S表示量化分数,W1表示第一权重,W2表示第二权重,W3表示第三权重,W4表示第三权重。
本实施例采用混合式的质量评价体系,从全局和局部两个层面设计,覆盖点云的分布均匀、局部一致性、全局一致性等特性,最终得到检测结果可以为量化分数,通过量化分数对点云质量进行综合评判,点云模型越满足分布均匀、局部一致性和全局一致性,量化分数越接近1,通过检测结果可以有效的度量点云模型的质量,使得在对点云模型进行实际场景应用时,能够作为一种统一的度量指标,对点云模型的质量可以有效进行质量评估。
在本申请的一些实施例中,图12示出了本申请实施例提供的点云模型的检测方法的方案示意图,如图12所示,点云模型的检测方法,首先,输入点云模型1202。然后,获取参数1204,具体包括:获取融合参数、倒角距离、局部一致性参数、重投影误差、第一权重、第二权重、第三权重和第四权重。最终,输出量化分数1206。
其中,融合参数LF1、倒角距离Lchamfer、局部一致性参数Llocal、重投影误差Lreproj、第一权重W1、第二权重W2、第三权重W3、第四权重W4分别通过上述实施例中的公式获取,量化分数表示为:
S=W1×LF1+W2×Lchamfer+W3×Llocal+W4×Lreproj
本申请实施例提供的点云模型的检测方法,执行主体可以为点云模型的检测装置。本申请实施例中以点云模型的检测装置执行点云模型的检测方法为例,说明本申请实施例提供的点云模型的检测装置。
在本申请的一些实施例中提供了一种点云模型的检测装置,图13示出了本申请实施例提供的点云模型的检测装置的结构框图,如图13所示,点云模型的检测装置100,包括第一获取模块110、第二获取模块120、第三获取模块130、第四获取模块140、第五获取模块150和第六获取模块160。第一获取模块110用于获取点云模型,对点云模型进行预处理。第二获取模块120用于获取预处理后点云模型的融合参数。第三获取模块130用于获取预处理后点云模型的倒角距离。第四获取模块140用于获取预处理后点云模型的局部一致性参数。第五获取模块150用于获取融合参数的第一权重、倒角距离的第二权重和局部一致性参数的第三权重。第六获取模块160用于基于融合参数、倒角距离、局部一致性参数、第一权重、第二权重和第三权重,获取检测结果,完成对点云模型的检测。
本实施例中,通过获取融合参数、倒角距离、局部一致性参数以及上述参数的权重,获取对于点云模型的检测结果。从全局和局部两个层面同时对点云模型进行检测,可以兼顾点云全局度量的精度和灵活性,也可以保证局部几何结构的一致性。同时,保证了检测结果的有效性。通过检测结果可以有效的度量点云模型的质量,使得在对点云模型进行实际场景应用时,能够作为一种统一的度量指标,对点云模型的质量可以有效进行质量评估。
本申请实施例中的点云模型的检测装置可以是电子设备,也可以是电子设备中的部件,例如集成电路或芯片。该电子设备可以是终端,也可以为除终端之外的其他设备。示例性的,电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device,MID)、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,还可以为服务器、网络附属存储器(Network Attached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的点云模型的检测装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为iOS操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的点云模型的检测装置能够实现上述方法实施例实现的各个过程,为避免重复,这里不再赘述。
可选地,如图14所示,本申请实施例还提供一种电子设备1000,电子设备1000包括处理器1002和存储器1004,存储器1004上存储有可在处理器1002上运行的程序或指令,该程序或指令被处理器1002执行时实现上述方法实施例的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。
图15为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备1100包括但不限于:射频单元1101、网络模块1102、音频输出单元1103、输入单元1104、传感器1105、显示单元1106、用户输入单元1107、接口单元1108、存储器1109、以及处理器1110等部件。
本领域技术人员可以理解,电子设备1100还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器1110逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图15中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,处理器1110,用于获取点云模型,对点云模型进行预处理。
处理器1110,用获取预处理后点云模型的融合参数。
处理器1110,用获取预处理后点云模型的倒角距离。
处理器1110,用获取预处理后点云模型的局部一致性参数。
处理器1110,用获取融合参数的第一权重、倒角距离的第二权重和局部一致性参数的第三权重。
处理器1110,用基于融合参数、倒角距离、局部一致性参数、第一权重、第二权重和第三权重,获取检测结果,完成对点云模型的检测。
本实施例中,通过获取融合参数、倒角距离、局部一致性参数以及上述参数的权重,获取对于点云模型的检测结果。从全局和局部两个层面同时对点云模型进行检测,可以兼顾点云全局度量的精度和灵活性,也可以保证局部几何结构的一致性。同时,保证了检测结果的有效性。通过检测结果可以有效的度量点云模型的质量,使得在对点云模型进行实际场景应用时,能够作为一种统一的度量指标,对点云模型的质量可以有效进行质量评估。
本申请实施例提供的处理器110可以实现上述点云模型的检测方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解的是,本申请实施例中,输入单元1104可以包括图形处理器(GraphicsProcessing Unit,GPU)11041和麦克风11042,图形处理器11041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1106可包括显示面板11061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板11061。用户输入单元1107包括触控面板11071以及其他输入设备11072中的至少一种。触控面板11071,也称为触摸屏。触控面板11071可包括触摸检测装置和触摸控制器两个部分。其他输入设备11072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
存储器1109可用于存储软件程序以及各种数据。存储器1109可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器1109可以包括易失性存储器或非易失性存储器,或者,存储器1109可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本申请实施例中的存储器1109包括但不限于这些和任意其它适合类型的存储器。
处理器1110可包括一个或多个处理单元;可选的,处理器1110集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器1110中。
本申请实施例还提供一种可读存储介质,可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述点云模型的检测方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,处理器为上述实施例中的电子设备中的处理器。可读存储介质,包括计算机可读存储介质,如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片,芯片包括处理器和通信接口,通信接口和处理器耦合,处理器用于运行程序或指令,实现上述点云模型的检测方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如上述点云模型的检测方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

Claims (15)

1.一种点云模型的检测方法,其特征在于,包括:
获取点云模型,对所述点云模型进行预处理;
获取预处理后点云模型的融合参数;
获取预处理后点云模型的倒角距离;
获取预处理后点云模型的局部一致性参数;
获取所述融合参数的第一权重、所述倒角距离的第二权重和所述局部一致性参数的第三权重;
基于所述融合参数、所述倒角距离、所述局部一致性参数、所述第一权重、所述第二权重和所述第三权重,获取检测结果,完成对所述点云模型的检测。
2.根据权利要求1所述的点云模型的检测方法,其特征在于,所述对所述点云模型进行预处理,具体包括:
对所述点云模型进行归一化处理。
3.根据权利要求1所述的点云模型的检测方法,其特征在于,所述获取预处理后点云模型的融合参数,具体包括:
获取所述预处理后点云模型的精度;
获取所述预处理后点云模型的完整度;
获取所述精度和所述完整度的调和平均数,得到所述融合参数。
4.根据权利要求1所述的点云模型的检测方法,其特征在于,所述获取预处理后点云模型的倒角距离,具体包括:
设定所述预处理后点云模型中每个点邻域的半径为所述预处理后点云模型对角线长度的第一百分比距离;
基于所述邻域信息构建协方差矩阵,对所述协方差矩阵进行特征分解,得到第一特征值、第二特征值和第三特征值;
基于所述第一特征值、所述第二特征值和所述第三特征值,构建特征指示函数,获取每个点的特征指示函数值,并进行归一化;
提取所述特征指示函数值大于第一阈值的点为特征点,所述特征点组成特征点集合;
对所述特征点集合进行最远点采样,基于采样后的点云与采样后的真值点云,获取所述倒角距离。
5.根据权利要求1所述的点云模型的检测方法,其特征在于,所述获取预处理后点云模型的局部一致性参数,具体包括:
获取所述预处理后点云模型中点的密度值方差;
获取所述预处理后点云模型中点的点乘结果平均值;
基于所述密度值方差和所述点乘结果平均值,得到所述局部一致性参数。
6.根据权利要求5所述的点云模型的检测方法,其特征在于,所述获取所述预处理后点云模型中点的密度值方差,具体包括:
设定所述预处理后点云模型中每个点邻域的半径为所述预处理后点云模型对角线长度的第二百分比距离;
获取每个点的密度值,将所述密度值进行归一化;
基于每个点的归一化后的密度值,得到所有点的所述密度值方差。
7.根据权利要求5所述的点云模型的检测方法,其特征在于,所述获取所述预处理后点云模型中点的点乘结果平均值,具体包括:
获取所述预处理后点云模型中每个点的法线;
设定每个点邻域的半径为所述预处理后点云模型对角线长度的第三百分比距离;
获取每个点在其所述邻域内的法线分布;
针对任意点,获取任意点法线与其所述邻域内法线点乘结果;
获取所有点的所述点乘结果平均值,将所述点乘结果平均值进行归一化。
8.根据权利要求1所述的点云模型的检测方法,其特征在于,所述获取所述融合参数的第一权重、所述倒角距离的第二权重和所述局部一致性参数的第三权重,具体包括:
获取所述融合参数、所述倒角距离、所述局部一致性参数中任意两个参数之间的第一相关性系数;
基于所述第一相关性系数,获取所述融合参数的独立性权重、所述倒角距离的独立性权重和所述局部一致性参数的独立性权重;
对所述融合参数的独立性权重、所述倒角距离的独立性权重和所述局部一致性参数的独立性权重分别进行归一化处理,得到所述融合参数的第一权重、所述倒角距离的第二权重和所述局部一致性参数的第三权重。
9.根据权利要求8所述的点云模型的检测方法,其特征在于,所述基于所述融合参数、所述倒角距离、所述局部一致性参数、所述第一权重、所述第二权重和所述第三权重,获取检测结果,完成对所述点云模型的检测,具体包括:
获取所述融合参数与所述第一权重的第一乘积;
获取所述倒角距离与所述第二权重的第二乘积;
获取所述局部一致性参数与所述第三权重的第三乘积;
获取所述第一乘积、所述第二乘积和所述第三乘积的第一和;
基于所述第一和,得到检测结果,完成对所述点云模型的检测。
10.根据权利要求1至9中任一项所述的点云模型的检测方法,其特征在于,在所述获取预处理后点云模型的局部一致性参数之前,还包括:
基于所述预处理后点云模型为重建后的点云,获取所述预处理后点云模型重投影后的深度图信息;
针对所述深度图中任一像素,获取所述深度图信息与原始数据的第一距离;
基于所述第一距离小于第二阈值,判定所述深度图信息准确;
获取预处理后点云模型的重投影误差,所述重投影误差为所述深度图的平均准确率。
11.根据权利要求10所述的点云模型的检测方法,其特征在于,还包括:
获取所述重投影误差分别与所述融合参数、所述倒角距离、所述局部一致性参数的第二相关性系数;
基于所述第二相关性系数,获取所述重投影误差的独立性权重;
对所述重投影误差的独立性权重进行归一化处理,得到所述重投影误差的第四权重。
12.根据权利要求11所述的点云模型的检测方法,其特征在于,所述基于所述融合参数、所述倒角距离、所述局部一致性参数、所述第一权重、所述第二权重和所述第三权重,获取检测结果,完成对所述点云模型的检测,还包括:
获取所述重投影误差与所述第四权重的第四乘积;
获取第一乘积、第二乘积、第三乘积和第四乘积的第二和;
基于所述第二和,得到检测结果,完成对所述点云模型的检测。
13.一种点云模型的检测装置,其特征在于,包括:
第一获取模块,用于获取点云模型,对所述点云模型进行预处理;
第二获取模块,用于获取预处理后点云模型的融合参数;
第三获取模块,用于获取预处理后点云模型的倒角距离;
第四获取模块,用于获取预处理后点云模型的局部一致性参数;
第五获取模块,用于获取所述融合参数的第一权重、所述倒角距离的第二权重和所述局部一致性参数的第三权重;
第六获取模块,用于基于所述融合参数、所述倒角距离、所述局部一致性参数、所述第一权重、所述第二权重和所述第三权重,获取检测结果,完成对所述点云模型的检测。
14.一种电子设备,其特征在于,包括:
存储器,其上存储有程序或指令;
处理器,用于执行所述程序或指令时实现如权利要求1至12中任一项所述的点云模型的检测方法的步骤。
15.一种可读存储介质,其上存储有程序或指令,其特征在于,所述程序或指令被处理器执行时实现如权利要求1至12中任一项所述的点云模型的检测方法的步骤。
CN202210375016.5A 2022-04-11 2022-04-11 点云模型的检测方法和装置、电子设备和可读存储介质 Pending CN114743075A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210375016.5A CN114743075A (zh) 2022-04-11 2022-04-11 点云模型的检测方法和装置、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210375016.5A CN114743075A (zh) 2022-04-11 2022-04-11 点云模型的检测方法和装置、电子设备和可读存储介质

Publications (1)

Publication Number Publication Date
CN114743075A true CN114743075A (zh) 2022-07-12

Family

ID=82282082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210375016.5A Pending CN114743075A (zh) 2022-04-11 2022-04-11 点云模型的检测方法和装置、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN114743075A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116432052A (zh) * 2023-06-12 2023-07-14 深圳市欣精艺科技有限公司 一种新能源汽车模具用夹具质量检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116432052A (zh) * 2023-06-12 2023-07-14 深圳市欣精艺科技有限公司 一种新能源汽车模具用夹具质量检测方法
CN116432052B (zh) * 2023-06-12 2023-08-18 深圳市欣精艺科技有限公司 一种新能源汽车模具用夹具质量检测方法

Similar Documents

Publication Publication Date Title
CN110751149B (zh) 目标对象标注方法、装置、计算机设备和存储介质
Redding Estimating the parameters of the K distribution in the intensity domain
CN114332977A (zh) 关键点检测方法、装置、电子设备及存储介质
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN114743075A (zh) 点云模型的检测方法和装置、电子设备和可读存储介质
CN112084864A (zh) 模型优化方法、装置、电子设备和存储介质
CN107958236B (zh) 人脸识别样本图像的生成方法及终端
CN116596935B (zh) 形变检测方法、装置、计算机设备及计算机可读存储介质
CN110956131A (zh) 单目标追踪方法、装置及系统
CN116597246A (zh) 模型训练方法、目标检测方法、电子设备及存储介质
CN115452101A (zh) 一种仪表检定方法、装置、设备及介质
CN115294280A (zh) 三维重建方法、装置、设备、存储介质和程序产品
CN114925153A (zh) 基于业务的地理信息数据质量检测方法、装置和设备
CN110619624B (zh) 一种图像分解方法及装置
Feng et al. A new mesh visual quality metric using saliency weighting-based pooling strategy
CN116109699A (zh) 角度测量方法、装置、设备、计算机程序及存储介质
CN111982152A (zh) 点云地图量化方法、装置、计算机设备和存储介质
CN112036504A (zh) 温度测量模型的训练方法、装置、设备及存储介质
Yang et al. A local structural information representation method for image quality assessment
CN115861520B (zh) 高光检测方法、装置、计算机设备和存储介质
CN116933107B (zh) 数据分布边界确定方法、装置、计算机设备和存储介质
US9478044B2 (en) Method and apparatus of creating a perceptual harmony map
CN110555892B (zh) 多角度图像生成方法、装置及电子设备
CN117576645B (zh) 基于bev视角的车位检测方法、装置和计算机设备
CN114414065B (zh) 物体温度探测方法、装置、计算机设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination