CN114723800A - 点云数据的校正方法和校正装置、电子设备和存储介质 - Google Patents

点云数据的校正方法和校正装置、电子设备和存储介质 Download PDF

Info

Publication number
CN114723800A
CN114723800A CN202210372759.7A CN202210372759A CN114723800A CN 114723800 A CN114723800 A CN 114723800A CN 202210372759 A CN202210372759 A CN 202210372759A CN 114723800 A CN114723800 A CN 114723800A
Authority
CN
China
Prior art keywords
point
target
cloud data
determining
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210372759.7A
Other languages
English (en)
Inventor
王烁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Youzhuju Network Technology Co Ltd
Original Assignee
Beijing Youzhuju Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Youzhuju Network Technology Co Ltd filed Critical Beijing Youzhuju Network Technology Co Ltd
Priority to CN202210372759.7A priority Critical patent/CN114723800A/zh
Publication of CN114723800A publication Critical patent/CN114723800A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种点云数据的校正方法和校正装置、电子设备和存储介质。点云数据的校正方法，包括：接收对初始点云数据的标注输入；响应于标注输入，在初始点云数据中，标注目标对象；根据目标对象的位置信息，在初始点云数据中，确定N个目标点位，N为正整数；判断目标点位是否为可视点位；在目标点位为可视点位的情况下，校正目标点位的深度信息。本申请实施例通过标注输入，标注出点云数据对应的房间中，镜子、窗户等具有镜面属性的目标对象，对其附近的点位的深度信息进行校正，从而消除了因深度采集设备对镜面对象的深度信息的采集误差，提高了点云数据的深度信息的准确性。

Description

点云数据的校正方法和校正装置、电子设备和存储介质
技术领域
本申请属于VR(Virtual Reality，虚拟现实)看房技术领域，具体涉及一种点云数据的校正方法和校正装置、电子设备和存储介质。
背景技术
在相关技术中，为了提高看房效率，出现了VR看房的场景。在VR看房前，需要通过深度采集设备，如TOF(Time of flight，飞行时间法)相机，结构光相机，激光相机等对房间进行拍摄，得到三维点云模型，从而根据点云模型建立房间的VR模型。
而深度采集设备对于镜面、窗户等物体具有强反射或透射的情况，无法采集到正确的深度信息，导致点云数据中存在部分点位数据的深度信息不准确。
发明内容
本申请实施例的目的是提供一种点云数据的校正方法和校正装置、电子设备和存储介质，能够解决点云数据深度信息不准确的问题。
第一方面，本申请实施例提供了一种点云数据的校正方法，包括：
接收对初始点云数据的标注输入；
响应于标注输入，在初始点云数据中，标注目标对象；
根据目标对象的位置信息，在初始点云数据中，确定N个目标点位，N为正整数；
判断目标点位是否为可视点位；
在目标点位为可视点位的情况下，校正目标点位的深度信息。
第二方面，本申请实施例提供了一种点云数据的校正装置，包括：
接收模块，用于接收对初始点云数据的标注输入；
标注模块，用于响应于标注输入，在初始点云数据中，标注目标对象；
确定模块，用于根据目标对象的位置信息，在初始点云数据中，确定N个目标点位，N为正整数；
判断模块，用于判断目标点位是否为可视点位；
校正模块，用于在目标点位为可视点位的情况下，校正目标点位的深度信息。
第三方面，本申请实施例提供了一种点云数据的校正装置，包括：
存储器，用于存储程序或指令；
处理器，用于执行程序或指令时实现如第一方面的方法的步骤。
第四方面，本申请实施例提供了一种电子设备，包括处理器和存储器，存储器存储可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面的方法的步骤。
第五方面，本申请实施例提供了一种可读存储介质，该可读存储介质上存储程序或指令，该程序或指令被处理器执行时实现如第一方面的方法的步骤。
第六方面，本申请实施例提供了一种芯片，该芯片包括处理器和通信接口，该通信接口和该处理器耦合，该处理器用于运行程序或指令，实现如第一方面的方法的步骤。
第七方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面的方法。
在本申请实施例中，在通过深度采集设备和图像采集设备，如TOF相机和RGB相机(Red Green Blue，红绿蓝三通道色彩)采集得到点云数据后，根据拍摄者或用户的标注输入，通过标注输入，标注出点云数据对应的房间中，镜子、窗户等具有镜面属性的目标对象，根据这些具有镜面属性的目标对象，在点云数据中对应的位置信息，对其附近的点位的深度信息进行校正，从而消除了因深度采集设备对镜面对象的深度信息的采集误差，提高了点云数据的深度信息的准确性。
附图说明
图1示出了根据本申请实施例的点云数据的校正方法的流程图；
图2示出了根据本申请实施例的标注目标对象的示意图；
图3示出了根据本申请实施例的判断目标点位是否为可视点位的示意图；
图4示出了根据本申请实施例的处理镜面物体的深度图的示意图；
图5示出了根据本申请实施例的标注玻璃隔断的示意图；
图6示出了根据本申请实施例的处理玻璃隔断的深度图的示意图；
图7示出了根据本申请实施例的点云数据的校正装置的结构框图；
图8示出了根据本申请实施例的电子设备的结构框图；
图9为实现本申请实施例的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的点云数据的校正方法和校正装置、电子设备和存储介质进行详细地说明。
在本申请的一些实施例中，提供了一种点云数据的校正方法，图1示出了根据本申请实施例的点云数据的校正方法的流程图，如图1所示，方法包括：
步骤102，接收对初始点云数据的标注输入；
步骤104，响应于标注输入，在初始点云数据中，标注目标对象；
步骤106，根据目标对象的位置信息，在初始点云数据中，确定N个目标点位，N为正整数；
步骤108，判断目标点位是否为可视点位；
步骤110，在目标点位为可视点位的情况下，校正目标点位的深度信息。
在本申请实施例中，在通过深度采集设备和图像采集设备，如TOF相机和RGB相机(Red Green Blue，红绿蓝三通道色彩)采集得到点云数据后，可以以可视化视图的方式，显示该点云数据，比如显示该点云数据的俯视图。
在显示点云数据后，系统接受拍摄者或用户的标注输入，根据该标注输入，在点云数据对应的房间中，标注出代表镜子、窗户等具有镜面属性的目标对象，并得到目标对象在点云数据中的位置信息。
由于深度采集设备对于镜面、窗户等物体具有强反射或透射的情况，无法采集到正确的深度信息，因此基于该目标对象的存在，可能会造成目标对象附近的部分点位的深度信息没有被正确获取。
针对这种情况，本申请实施例在标注出目标对象在点云数据中的位置信息后，对目标对象附近的目标点位进行获取，并基于目标点位是否为可视化点位，也即在通过房间的初点云数据建立房间VR模型后，该目标点位是否处于可视范围内。
如果目标点位为可视点位，即正常建立房间VR模型后，该目标点位是应该可以被用户“看到”的点位，则对该目标点位的深度信息进行校正，从而消除当前点位因深度采集设备对镜面对象的深度信息的采集误差，得到正确的点位信息。
在将全部可能因具有镜面属性的目标对象导致深度信息采样不正确的点位，均进行深度信息校正后，得到的校正后的点云数据中的全部点位均具有正确的深度信息，因此提高了点云数据的深度信息的准确性，也提高了通过校正后的点云数据建立的房间VR模型的准确性。
在本申请的一些实施例中，响应于标注输入，在初始点云数据中，标注目标对象，包括：
根据标注输入，确定第一点位、第二点位和厚度信息；
以第一点位为起点，以第二点位为终点，确定有向线段；
根据有向线段和厚度信息，标注目标对象。
在本申请实施例中，摄影师或用户可以通过标注模块，在初始点云数据中，标注一条有向线段。
具体地，以摄影师对某一个目标对象进行标注为例，首先，摄影师在初始点云数据的俯视图中，标注第一点位，该第一点位是目标对象的起点。然后，摄影师在初始点云数据的俯视图中，标注第二点位，该第二点位是目标对象的终点。
具体地，图2示出了根据本申请实施例的标注目标对象的示意图，如图2所示，摄影师标注第一点位P0和第二点位P1，通过第一点位和第二点位，形成为一条有向线段L，即可有效标注出具有镜面属性的目标对象，如镜子、窗户等在房间的初始点云数据中的位置，以及具有镜面属性的镜面朝向。
之后，摄影师输入厚度信息，该厚度信息用于标注目标物体的厚度，如目标物体是玻璃隔断或双面玻璃时，由于其厚度带来的特殊反射或投射性质，将会对点位的深度信息造成额外影响，因此对于这种情况，准确标注目标物体的厚度，有利于提高点位的深度信息的校正准确度。
其中，可以通过标注一个无向线段的方式输入厚度信息，该标注的无向线段的长度可以精确调节，如用户可以在标注有向线段后，手动输入目标对象的厚度，从而提高标注精度。
能够理解的是，对于镜面，如镜子，或窗户等，其厚度可以忽略，对于这种情况，可以将厚度信息设置为0或缺省。
通过对目标对象的精确标注，能够提高初始点云数据的校正效果，提高校正后的点云数据的准确性。
在本申请的一些实施例中，根据目标对象的位置信息，在初始点云数据中，确定N个目标点位，包括：
确定目标对象的中心点位；
确定初始点云数据中各点位与中心点位之间的距离值；
将距离值小于阈值的点位，确定为目标点位。
在本申请实施例中，对于每一个标注出来的具有镜面属性的目标对象，均收集其周围一定范围内的点位，作为待校正的目标点位。具体地，首先确定目标对象的中心点位，该中心点位可以是目标对象的镜面的中心点，也可以是目标对象的几何中心点，本申请对此不作限制。
在得到目标对象的中心点位后，获取包含在采集范围内的全部N个目标点位的信息，其中，目标点位采集范围指的是与中心点位之间的距离值小于阈值的点位，该阈值与采集初始点云数据时，使用的深度采集设备的有效深度采集范围相关，举例来说，如果深度采集设备的有效深度采集范围为5米，则阈值可以设置为4.5米至5.5米，如设置为5米。
具体地，可通过以下公式，判断一个点位与目标对象的中心点位之间的距离是否小于阈值，即判断一个点位是否为目标点位：
Figure BDA0003589507820000061
其中，Pstart为第一点位的坐标，Pend为第二点位的坐标，X为初始点云数据中任一点位的坐标，dmin为阈值。
在上述公式中，第一点位的坐标Pstart、第二点位的坐标Pend和初始点云数据中任一点位的坐标X都是世界坐标系下的坐标，且仅表示x坐标和z坐标。如果点位X的坐标满足上述判别式，则说明点位X与目标对象的中心点的距离小于阈值，点位X是目标点位。
通过仅将与目标对象的距离小于阈值，也即目标对象附近的点位纳为待校正的点位，能够有效减少深度校正时的计算量，提高校正效率。
在本申请的一些实施例中，判断目标点位是否为可视点位，包括：
根据目标点位的位置信息，确定对应的第一射线，其中，第一射线经过目标点位，且第一射线与拍摄目标点位的深度信息的相机的拍摄方向相关；
在第一射线与目标对象相交的情况下，确定目标点位为可视点位；
在第一射线与目标对象不相交的情况下，确定目标点位为非可视点位。
在本申请实施例中，在根据目标对象的位置，确定出满足条件的N个目标点位后，进一步判断这些目标点位是否为可视点位，即判断目标点位是应该可以被用户“看到”的点位。
具体地，图3示出了根据本申请实施例的判断目标点位是否为可视点位的示意图，如图3所示，首先，标注拍摄当前目标点位的相机的位置x。然后，根据拍摄目标点位的相机的内参，确定出相机朝向和相机拍摄范围，即相机朝向即图3中的向量
Figure BDA0003589507820000074
其中，Pstart即第一点位，Pend为第二点位，有向线段PstartPend即标注出的目标对象。
根据相机的拍摄方向，确定第一射线xP，该第一射线xP的起点是相机x，第一射线的方向满足相机x的拍摄方向，且第一射线经过目标点位P。如果第一射线xP与有向线段PstartPend相交，如图3所示，则确定目标点位P为可视点位，即需要对目标点位P的深度信息进行校正。
如果第一射线xP与有向线段PstartPend不相交，则确定目标点位P是非可视点位，则无需对目标点位P的深度信息进行校正。
具体的判断条件如下：
Figure BDA0003589507820000071
其中，通过以下公式计算c1：
Figure BDA0003589507820000072
通过以下公式计算c2：
Figure BDA0003589507820000073
其中，X为目标点位的坐标，Pstart即第一点位的坐标，Pend为第二点位的坐标，D为拍摄目标点位的深度图的相机的朝向向量，通过相机设备的旋转参数确定方向向量D，c1和c2分别为方向向量D与中心点位和标准有向线段的第一点位和第二点位的两个向量的叉乘，具体来说，以图3为例，c1是方向向量D与目标点位x和Pstart之间的向量的叉乘，c2是方向向量D与目标点位x和Pend之间的向量的叉乘。
在本申请的一些实施例中，校正目标点位的深度信息，包括：
确定第一射线与目标对象的交点点位；
确定第一射线与目标对象的交点点位；
根据交点点位和对应的深度图信息，校正目标点位的深度信息。
在本申请实施例中，如果当前的目标点位是可视点位，则需要对当前目标点位的深度信息进行校正。具体地，根据相机x的坐标和目标点位P的坐标，计算射线xP，并根据目标对象，也即有向线段PstartPend的位置信息，计算射线xP与有向线段PstartPend的交点点位。
首先，遍历深度图像素，根据相机位姿重建生成点云。如图3所示，对于点云中某个点P，计算其是否位于目标对象，也即镜面标注范围内(判断xP是否位于xPstart与xPend之间)。
具体地，判断是否满足：
Figure BDA0003589507820000081
Figure BDA0003589507820000082
c3＝PstartP×PstartPend＞0；
其中，c1、c2和c3为目标量，P为点云中任一点的坐标，Pstart即第一点位的坐标，Pend为第二点位的坐标，D为拍摄目标点位的深度图的相机的朝向向量。
其中，由于向线段PstartPend是基于待校正的初始点云数据的俯视图标注的，因此向线段PstartPend可以视为是一个具有高度属性的平面。因此射线xP与向线段PstartPend的交点，也相当于射线xP与目标对象所在平面的交点。
计算方法如下：
Figure BDA0003589507820000091
Pnew＝x+ratio·(P–x)
其中，r和p为中间量，Pstart即第一点位的坐标，Pend为第二点位的坐标，X为目标点位的坐标，Pnew即射线xP与向线段PstartPend的交点，也即射线xP与目标对象所在平面的交点。
获取相机x拍摄的深度图，根据深度图和交点点位的位置信息，确定交点点位Pnew的深度信息，将Pnew的深度信息作为目标点位P的深度信息，对深度图进行填补，从而得到目标点位的深度校正结果。
对于深度图中的无效深度，如深度值为0的情况，可以将该深度值无限的点位设置为像素值最大后，参与上述计算。
图4示出了根据本申请实施例的处理镜面物体的深度图的示意图，如图4所示，由拍摄深度图的摄影师，根据拍摄形成的点云俯视图，来标注镜面物体的位置。
标注完成后，将标注数据和点云数据发送至服务器端，服务器端根据标注数据，获取镜面位置，并采集范围内的有效点位，对于每个有效点位均判断其可视与否，对于不可视的则无需校正，对于可视的点位，则获取深度图，对深度图进行填补，完成点云的校正。
在本申请的一些实施例中，确定第一射线与目标对象的交点点位，包括：
在厚度信息为0的情况下，根据第一射线与有向线段的交点确定交点点位；
在厚度信息不为0的情况下，根据有向线段和厚度信息，确定目标对象的表面向量，根据第一射线与表面向量的交点确定交点点位。
在本申请实施例中，对于如镜子、窗户等单面反射的物体，其厚度不会对计算造成影响，因此对于这种情况，在标注时可以将厚度信息标注为0，此时第一射线与目标对象的交点也即第一射线与有向线段的交点。
而对于玻璃隔断等具有双面反射的物体，则在标准有向线段后，进一步标注玻璃隔断的厚度信息。图5示出了根据本申请实施例的标注玻璃隔断的示意图，如图5所示，P1即第一点位，P2为第二点位，d为厚度信息，基于有向线段P1P2和厚度信息d，计算目标对象的法线，得到目标对象的表面向量
Figure BDA0003589507820000101
和
Figure BDA0003589507820000102
根据第一射线的方向，确定参与反射的表面向量，并根据第一射线与该参与反射的表面向量的交点，确定对应的交点点位。
表面向量，也即法线的计算方法如下：
v＝P2–P1；
n1＝(-v[1]，v[0])T；
n2＝(v[1]，-v[0])T；
其中，P1为第一点位的坐标，P2为第二点位的坐标，n1和n2是有向线段P1P2的法线。
目标对象的表面向量
Figure BDA0003589507820000103
和
Figure BDA0003589507820000104
为：
Figure BDA0003589507820000105
Figure BDA0003589507820000106
图6示出了根据本申请实施例的处理玻璃隔断的深度图的示意图，如图4所示，由拍摄深度图的摄影师，根据拍摄形成的点云俯视图，来标注镜面物体的位置。
标注完成后，将标注数据和点云数据发送至服务器端，服务器端根据标注数据，获取双面镜位置，并处理为与图4相同的镜面数据。之后采集范围内的有效点位，对于每个有效点位均判断其可视与否，对于不可视的则无需校正，对于可视的点位，则获取深度图，对深度图进行填补，完成点云的校正。
在本申请的一些实施例中，提供了一种点云数据的校正装置，图7示出了根据本申请实施例的点云数据的校正装置的结构框图，如图7所示，校正装置700包括：
接收模块702，用于接收对初始点云数据的标注输入；
标注模块704，用于响应于标注输入，在初始点云数据中，标注目标对象；
确定模块706，用于根据目标对象的位置信息，在初始点云数据中，确定N个目标点位，N为正整数；
判断模块708，用于判断目标点位是否为可视点位；
校正模块710，用于在目标点位为可视点位的情况下，校正目标点位的深度信息。
在本申请实施例中，在通过深度采集设备和图像采集设备，如TOF相机和RGB相机采集得到点云数据后，根据拍摄者或用户的标注输入，通过标注输入，标注出点云数据对应的房间中，镜子、窗户等具有镜面属性的目标对象，根据这些具有镜面属性的目标对象，在点云数据中对应的位置信息，对其附近的点位的深度信息进行校正，从而消除了因深度采集设备对镜面对象的深度信息的采集误差，提高了点云数据的深度信息的准确性。
在本申请的一些实施例中，确定模块，还用于：
根据标注输入，确定第一点位、第二点位和厚度信息；
以第一点位为起点，以第二点位为终点，确定有向线段；
标注模块，还用于根据有向线段和厚度信息，标注目标对象。
本申请实施例通过对目标对象的精确标注，能够提高初始点云数据的校正效果，提高校正后的点云数据的准确性。
在本申请的一些实施例中，确定模块，还用于：
确定目标对象的中心点位；
确定初始点云数据中各点位与中心点位之间的距离值；
将距离值小于阈值的点位，确定为目标点位。
本申请实施例通过仅将与目标对象的距离小于阈值，也即目标对象附近的点位纳为待校正的点位，能够有效减少深度校正时的计算量，提高校正效率。
在本申请的一些实施例中，确定模块，还用于：
根据目标点位的位置信息，确定对应的第一射线，其中，第一射线经过目标点位，且第一射线与拍摄目标点位的深度信息的相机的拍摄方向相关；
在第一射线与目标对象相交的情况下，确定目标点位为可视点位；
在第一射线与目标对象不相交的情况下，确定目标点位为非可视点位。
在本申请实施例中，在根据目标对象的位置，确定出满足条件的N个目标点位后，进一步判断这些目标点位是否为可视点位，即判断目标点位是应该可以被用户“看到”的点位。
根据相机的拍摄方向，确定第一射线xP，该第一射线xP的起点是相机x，第一射线的方向满足相机x的拍摄方向，且第一射线经过目标点位P。如果第一射线xP与有向线段PstartPend相交，如图3所示，则确定目标点位P为可视点位，即需要对目标点位P的深度信息进行校正。
如果第一射线xP与有向线段PstartPend不相交，则确定目标点位P是非可视点位，则无需对目标点位P的深度信息进行校正。
在本申请的一些实施例中，确定模块，还用于：
确定第一射线与目标对象的交点点位；
确定第一射线与目标对象的交点点位；
校正模块，还用于根据交点点位和对应的深度图信息，校正目标点位的深度信息。
本申请实施例在标注完成后，将标注数据和点云数据发送至服务器端，服务器端根据标注数据，获取镜面位置，并采集范围内的有效点位，对于每个有效点位均判断其可视与否，对于不可视的则无需校正，对于可视的点位，则获取深度图，对深度图进行填补，完成点云的校正。
在本申请的一些实施例中，确定模块，还用于：
在厚度信息为0的情况下，根据第一射线与有向线段的交点确定交点点位；
在厚度信息不为0的情况下，根据有向线段和厚度信息，确定目标对象的表面向量，根据第一射线与表面向量的交点确定交点点位。
本申请实施例在标注完成后，将标注数据和点云数据发送至服务器端，服务器端根据标注数据，获取双面镜位置，并处理为与镜面数据。之后采集范围内的有效点位，对于每个有效点位均判断其可视与否，对于不可视的则无需校正，对于可视的点位，则获取深度图，对深度图进行填补，完成点云的校正。
本申请实施例中的点云数据的校正装置可以是电子设备，也也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的点云数据的校正装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的点云数据的校正装置能够实现上述方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，本申请实施例还提供一种电子设备，图8示出了根据本申请实施例的电子设备的结构框图，如图8所示，电子设备800包括处理器802，存储器804，存储在存储器804上并可在处理器802上运行的程序或指令，该程序或指令被处理器802执行时实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。
图9为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备900包括但不限于：射频单元901、网络模块902、音频输出单元903、输入单元904、传感器905、显示单元906、用户输入单元907、接口单元908、存储器909以及处理器910等部件。
本领域技术人员可以理解，电子设备900还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器910逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图9中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，处理器910用于接收对初始点云数据的标注输入；
响应于标注输入，在初始点云数据中，标注目标对象；
根据目标对象的位置信息，在初始点云数据中，确定N个目标点位，N为正整数；
判断目标点位是否为可视点位；
在目标点位为可视点位的情况下，校正目标点位的深度信息。
在本申请实施例中，在通过深度采集设备和图像采集设备，如TOF相机和RGB相机(Red Green Blue，红绿蓝三通道色彩)采集得到点云数据后，根据拍摄者或用户的标注输入，通过标注输入，标注出点云数据对应的房间中，镜子、窗户等具有镜面属性的目标对象，根据这些具有镜面属性的目标对象，在点云数据中对应的位置信息，对其附近的点位的深度信息进行校正，从而消除了因深度采集设备对镜面对象的深度信息的采集误差，提高了点云数据的深度信息的准确性。
可选地，处理器910还用于根据标注输入，确定第一点位、第二点位和厚度信息；
以第一点位为起点，以第二点位为终点，确定有向线段；
根据有向线段和厚度信息，标注目标对象。
本申请实施例通过对目标对象的精确标注，能够提高初始点云数据的校正效果，提高校正后的点云数据的准确性。
可选地，处理器910还用于确定目标对象的中心点位；
确定初始点云数据中各点位与中心点位之间的距离值；
将距离值小于阈值的点位，确定为目标点位。
本申请实施例通过仅将与目标对象的距离小于阈值，也即目标对象附近的点位纳为待校正的点位，能够有效减少深度校正时的计算量，提高校正效率。
可选地，处理器910还用于根据目标点位的位置信息，确定对应的第一射线，其中，第一射线经过目标点位，且第一射线的方向与拍摄目标点位的深度信息的相机的拍摄方向相关；
在第一射线与目标对象相交的情况下，确定目标点位为可视点位；
在第一射线与目标对象不相交的情况下，确定目标点位为非可视点位。
在本申请实施例中，在根据目标对象的位置，确定出满足条件的N个目标点位后，进一步判断这些目标点位是否为可视点位，即判断目标点位是应该可以被用户“看到”的点位。
根据相机的拍摄方向，确定第一射线xP，该第一射线xP的起点是相机x，第一射线的方向满足相机x的拍摄方向，且第一射线经过目标点位P。如果第一射线xP与有向线段PstartPend相交，如图3所示，则确定目标点位P为可视点位，即需要对目标点位P的深度信息进行校正。
如果第一射线xP与有向线段PstartPend不相交，则确定目标点位P是非可视点位，则无需对目标点位P的深度信息进行校正。
可选地，处理器910还用于确定第一射线与目标对象的交点点位；
根据交点点位和对应的深度图信息，校正目标点位的深度信息。
本申请实施例在标注完成后，将标注数据和点云数据发送至服务器端，服务器端根据标注数据，获取镜面位置，并采集范围内的有效点位，对于每个有效点位均判断其可视与否，对于不可视的则无需校正，对于可视的点位，则获取深度图，对深度图进行填补，完成点云的校正。
可选地，处理器910还用于在厚度信息为0的情况下，根据第一射线与有向线段的交点确定交点点位；
在厚度信息不为0的情况下，根据有向线段和厚度信息，确定目标对象的表面向量，根据第一射线与表面向量的交点确定交点点位。
本申请实施例在标注完成后，将标注数据和点云数据发送至服务器端，服务器端根据标注数据，获取双面镜位置，并处理为与镜面数据。之后采集范围内的有效点位，对于每个有效点位均判断其可视与否，对于不可视的则无需校正，对于可视的点位，则获取深度图，对深度图进行填补，完成点云的校正。
应理解的是，本申请实施例中，输入单元904可以包括图形处理器(GraphicsProcessing Unit，GPU)9041和麦克风9042，图形处理器9041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元906可包括显示面板9061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板9061。用户输入单元907包括触控面板9071以及其他输入设备9072中的至少一种。触控面板9071，也称为触摸屏。触控面板9071可包括触摸检测装置和触摸控制器两个部分。其他输入设备9072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
存储器909可用于存储软件程序以及各种数据。存储器909可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器909可以包括易失性存储器或非易失性存储器，或者，存储器909可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器909包括但不限于这些和任意其它适合类型的存储器。
处理器910可包括一个或多个处理单元；可选的，处理器910集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器910中。
本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，处理器为上述实施例中的电子设备中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种点云数据的校正方法，其特征在于，包括：
接收对初始点云数据的标注输入；
响应于所述标注输入，在所述初始点云数据中，标注目标对象；
根据所述目标对象的位置信息，在所述初始点云数据中，确定N个目标点位，N为正整数；
判断所述目标点位是否为可视点位；
在所述目标点位为可视点位的情况下，校正所述目标点位的深度信息。
2.根据权利要求1所述的校正方法，其特征在于，所述响应于所述标注输入，在所述初始点云数据中，标注目标对象，包括：
根据所述标注输入，确定第一点位、第二点位和厚度信息；
以所述第一点位为起点，以所述第二点位为终点，确定有向线段；
根据所述有向线段和所述厚度信息，标注所述目标对象。
3.根据权利要求2所述的校正方法，其特征在于，所述根据所述目标对象的位置信息，在所述初始点云数据中，确定N个目标点位，包括：
确定所述目标对象的中心点位；
确定所述初始点云数据中各点位与所述中心点位之间的距离值；
将所述距离值小于阈值的点位，确定为所述目标点位。
4.根据权利要求2所述的校正方法，其特征在于，所述判断所述目标点位是否为可视点位，包括：
根据所述目标点位的位置信息，确定对应的第一射线，其中，所述第一射线经过所述目标点位，且所述第一射线的方向与拍摄所述目标点位的深度信息的相机的拍摄方向相关；
在所述第一射线与所述目标对象相交的情况下，确定所述目标点位为可视点位；
在所述第一射线与所述目标对象不相交的情况下，确定所述目标点位为非可视点位。
5.根据权利要求4所述的校正方法，其特征在于，所述校正所述目标点位的深度信息，包括：
确定所述第一射线与所述目标对象的交点点位；
根据所述交点点位和对应的深度图信息，校正所述目标点位的深度信息。
6.根据权利要求5所述的校正方法，其特征在于，所述确定所述第一射线与所述目标对象的交点点位，包括：
在所述厚度信息为0的情况下，根据所述第一射线与所述有向线段的交点确定所述交点点位；
在所述厚度信息不为0的情况下，根据所述有向线段和所述厚度信息，确定所述目标对象的表面向量，根据所述第一射线与所述表面向量的交点确定所述交点点位。
7.一种点云数据的校正装置，其特征在于，包括：
接收模块，用于接收对初始点云数据的标注输入；
标注模块，用于响应于所述标注输入，在所述初始点云数据中，标注目标对象；
确定模块，用于根据所述目标对象的位置信息，在所述初始点云数据中，确定N个目标点位，N为正整数；
判断模块，用于判断所述目标点位是否为可视点位；
校正模块，用于在所述目标点位为可视点位的情况下，校正所述目标点位的深度信息。
8.一种点云数据的校正装置，其特征在于，包括：
存储器，用于存储程序或指令；
处理器，用于执行所述程序或指令时实现如权利要求1至6中任一项所述的校正方法的步骤。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至6中任一项所述校正方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至6中任一项所述校正方法的步骤。
CN202210372759.7A 2022-04-11 2022-04-11 点云数据的校正方法和校正装置、电子设备和存储介质 Pending CN114723800A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210372759.7A CN114723800A (zh) 2022-04-11 2022-04-11 点云数据的校正方法和校正装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210372759.7A CN114723800A (zh) 2022-04-11 2022-04-11 点云数据的校正方法和校正装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN114723800A true CN114723800A (zh) 2022-07-08

Family

ID=82241601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210372759.7A Pending CN114723800A (zh) 2022-04-11 2022-04-11 点云数据的校正方法和校正装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN114723800A (zh)

Similar Documents

Publication Publication Date Title
CN107223269B (zh) 三维场景定位方法和装置
JP4512584B2 (ja) イメージマッチング速度とブレンディング方法を改善したパノラマ映像提供方法および装置
CN111815755A (zh) 虚拟物体被遮挡的区域确定方法、装置及终端设备
US9756261B2 (en) Method for synthesizing images and electronic device thereof
US20110110557A1 (en) Geo-locating an Object from Images or Videos
JP6464938B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN112967344B (zh) 相机外参标定的方法、设备、存储介质及程序产品
CN109040736A (zh) 一种人眼空间位置的标定方法、装置、设备和存储介质
CN113029128B (zh) 视觉导航方法及相关装置、移动终端、存储介质
CN110866497B (zh) 基于点线特征融合的机器人定位与建图方法和装置
WO2008076772A1 (en) Selecting a reference image for images to be joined
CN110648363A (zh) 相机姿态确定方法、装置、存储介质及电子设备
CN103414844A (zh) 视频抖动修正方法及装置
US10154241B2 (en) Depth map based perspective correction in digital photos
CN111061421B (zh) 一种画面投影方法、装置及计算机存储介质
CN114387347A (zh) 确定外参标定的方法、装置、电子设备及介质
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
CN112634366B (zh) 位置信息的生成方法、相关装置及计算机程序产品
US10339702B2 (en) Method for improving occluded edge quality in augmented reality based on depth camera
US10169916B2 (en) Image processing device and image processing method
US11551368B2 (en) Electronic devices, methods, and computer program products for controlling 3D modeling operations based on pose metrics
CN114723800A (zh) 点云数据的校正方法和校正装置、电子设备和存储介质
CN115514887A (zh) 视频采集的控制方法、装置、计算机设备和存储介质
CN112308768B (zh) 一种数据处理方法、装置、电子设备以及存储介质
CN114119701A (zh) 图像处理方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination