CN111627061B - 位姿检测方法、装置以及电子设备、存储介质 - Google Patents

位姿检测方法、装置以及电子设备、存储介质 Download PDF

Info

Publication number
CN111627061B
CN111627061B CN202010492567.0A CN202010492567A CN111627061B CN 111627061 B CN111627061 B CN 111627061B CN 202010492567 A CN202010492567 A CN 202010492567A CN 111627061 B CN111627061 B CN 111627061B
Authority
CN
China
Prior art keywords
pixel point
dimensional
depth
pixel
depth map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010492567.0A
Other languages
English (en)
Other versions
CN111627061A (zh
Inventor
张文涛
胡洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
You Can See Beijing Technology Co ltd AS
Original Assignee
You Can See Beijing Technology Co ltd AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by You Can See Beijing Technology Co ltd AS filed Critical You Can See Beijing Technology Co ltd AS
Priority to CN202010492567.0A priority Critical patent/CN111627061B/zh
Publication of CN111627061A publication Critical patent/CN111627061A/zh
Application granted granted Critical
Publication of CN111627061B publication Critical patent/CN111627061B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种位姿检测方法、装置以及电子设备、存储介质，涉及三维全景技术领域，其中的方法包括：获取图像采集设备在两个不同点位处采集的两个深度图，以及与两个不同点位相对应的两个位姿信息；基于两个位姿信息获取与两个深度图相对应的遮挡体积比和重合面积；根据遮挡体积比和重合面积并基于位姿判别规则，判断两个位姿是否正确；本公开的方法、装置以及电子设备、存储介质，计算与在不同点位下采集的深度图相对应的遮挡体积比和重合面积，判断图像采集设备位姿的正确性，从而确保最终生成的三维模型质量；能够实现鲁棒的点位间的位姿检测，提高三维全景模型构建的准确性和质量，有效的改善了客户体验。

Description

位姿检测方法、装置以及电子设备、存储介质
技术领域
本公开涉及三维全景技术领域，尤其涉及一种位姿检测方法、装置以及电子设备、存储介质。
背景技术
三维全景是基于全景图像的真实场景虚拟现实技术，三维全景模型是将点云采集设备在多个拍摄点位采集的点云数据拼接成一个全景模型。在点云数据采集期间，新的点云数据不断添加到整体点云信息中，将其用作组合点云以生成三维模型。在室内场景3D扫描过程中，常常需要进行多个不同点位的拍摄，将在这些不同点位得到的深度图转为的点云都位于自己的相机坐标系下。在点云数据拼接时，需要将这些不同点位的点云变换到统一的世界坐标系(一般以第一个点位的坐标系作为世界坐标系)。在拼接过程中，无论是自动拼接，还是人工手动拼接点云，都很难确保100％的准确率，删除错误点位并调整拍摄位置得到新的点位信息，从而确保最终生成的三维模型质量。目前，基于图像采集设备在多个点位采集的多个深度图，获得多个点云图，将点云图拼接成一个全景模型。在拼接时，通过重合像素点数量判断图像采集设备在不同点位处的位姿是否正确，并提示相关人员。但是，在此位姿检测方法中，对于重合像素点数量阈值的选取比较困难，并且检测的结果的鲁棒性和准确性较低。
发明内容
为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种位姿检测方法、装置以及电子设备、存储介质。
根据本公开实施例的一个方面，提供一种位姿检测方法，包括：获取图像采集设备在两个不同点位处采集的两个深度图，以及与所述两个不同点位相对应的两个位姿信息；基于所述两个位姿信息获取与所述两个深度图相对应的遮挡体积比和重合面积；根据所述遮挡体积比和所述重合面积并基于位姿判别规则，判断所述两个位姿是否正确。
可选地，所述根据所述遮挡体积比和所述重合面积并基于位姿判别规则，判断所述两个位姿是否正确包括：判断所述遮挡体积比是否小于预设的体积比阈值并且所述重合面积大于预设的重合面积阈值；如果是，则确定与所述两个位姿信息相对应的位姿转换关系正确，如果否，则确定所述位姿转换关系错误。
可选地，所述两个深度图包括：所述图像采集装置在第一点位、第二点位分别采集的第一深度图、第二深度图；所述基于所述两个位姿信息获取与所述两个深度图相对应的遮挡体积比包括：基于所述两个位姿信息获取所述第一深度图遮挡所述第二深度图的第一遮挡体积、所述第二深度图遮挡所述第一深度图的第二遮挡体积；获取所述第一遮挡体积与所述第二深度图的像素点总体积的第一体积比、所述第二遮挡体积与所述第一深度图的像素点总体积的第二体积比；将所述第一体积比与所述第二体积比中的较大值，确定为所述遮挡体积比。
可选地，所述基于所述两个位姿信息获取与所述两个深度图相对应的重合面积包括：基于所述两个位姿信息获取所述第一深度图相对于所述第二深度图的重合部分的第一面积、所述第二深度图相对于所述第一深度图的重合部分的第二面积；将所述第一面积与第二面积中的较大值，确定为所述重合面积。
可选地，所述基于所述两个位姿信息获取所述第二深度图遮挡所述第一深度图的第二遮挡体积包括：基于所述两个位姿信息获取所述第二深度图遮挡所述第一深度图的遮挡像素点，以及与所述遮挡像素点相对应的、所述第一深度图中的被遮挡像素点；获取所述遮挡像素点在第一相机坐标系下的第一三维投影像素点，其中，所述第一相机坐标系为所述图像采集装置位于所述第一点位的相机坐标系；获取所述被遮挡像素点在所述第一相机坐标系下的第二三维投影像素点；基于所述图像采集设备的焦距以及所述第一三维投影像素点和第二三维投影像素点的深度信息，获取位于所述第一三维投影像素点和第二三维投影像素点之间的体积，将此体积设置为与所述遮挡像素点相对应的像素遮挡体积；获取与全部所述遮挡像素点相对应的全部所述像素遮挡体积，基于全部所述像素遮挡体积获得所述第二遮挡体积。
可选地，所述基于所述两个位姿信息获取所述第二深度图相对于所述第一深度图的重合部分的第二面积包括：基于所述两个位姿信息获取所述第二深度图相对于所述第一深度图的重合像素点，以及与所述重合像素点相对应的、所述第一深度图中的被重合像素点；获取所述重合像素点在第一相机坐标系下的第三三维投影像素点；获取所述被重合像素点在所述第一相机坐标系下的第四三维投影像素点；基于所述图像采集设备的焦距以及所述第三三维投影像素点和第四三维投影像素点的深度信息，获取所述第三三维投影像素点和所述第四三维投影像素点的像素重合面积；获取与全部所述重合像素点相对应的全部所述像素重合面积，基于全部所述像素重合面积获得所述第二面积。
可选地，所述两个位姿信息包括：与所述第一点位相对应的第一位姿信息、与所述第二点位相对应的第二位姿信息；所述方法还包括：基于所述第二位姿信息和所述第一位姿信息，将所述第二深度图中的二维像素点投影在所述第一相机坐标系中，获得第一投影三维像素点；获取所述第一投影三维像素点在所述第一相机坐标系下的第一深度；将所述第一投影三维像素点重投影在所述第一深度图所在的图像坐标系下，获得重投影二维像素点；基于所述第一位姿信息，将所述重投影二维像素点转换在所述第一相机坐标系中的第二投影三维像素点，获取所述第二投影三维像素点在所述第一相机坐标系下的第二深度；获取所述第一投影三维像素点的第一法向量和所述第二投影三维像素点的第二法向量；基于所述第一法向量、第二法向量、第一深度和第二深度确定所述二维像素点是否为重合像素点；基于所述第一深度和所述第二深度确定所述二维像素点是否为遮挡像素点。
可选地，所述基于所述第一法向量、第二法向量、第一深度和第二深度确定所述二维像素点是否为重合像素点包括：如果|第一深度-第二深度|<深度阈值，并且所述第一法向量和所述第二法向量的夹角小于预设的夹角阈值，则确定所述二维像素点为候选重合像素点；在所述第一深度图中选取以所述二维像素为中心的检测区域；如果在所述检测区域内，被确定为候选重合像素的其他二维像素点的数量与所述检测区域内的全部二维像素点总数的比例大于预设的第一比例阈值，则将所述二维像素点确定为重合像素点。
可选地，所述基于所述第一深度和所述第二深度确定所述二维像素点是否为遮挡像素点包括：如果第一深度-第二深度<-所述深度阈值，则确定所述二维像素点为候选遮挡像素点；如果在所述检测区域内，被确定为候选遮挡像素点的其他二维像素点的数量与所述检测区域内的全部二维像素点总数的比例大于预设的第二比例阈值，则将所述二维像素点确定为遮挡像素点。
根据本公开实施例的另一方面，提供一种位姿检测装置，包括：第一获取模块，用于获取图像采集设备在两个不同点位处采集的两个深度图，以及与所述两个不同点位相对应的两个位姿信息；第二获取模块，用于基于所述两个位姿信息获取与所述两个深度图相对应的遮挡体积比和重合面积；位姿判断模块，用于根据所述遮挡体积比和所述重合面积并基于位姿判别规则，判断所述两个位姿是否正确。
可选地，所述位姿判断模块，用于判断所述遮挡体积比是否小于预设的体积比阈值并且所述重合面积大于预设的重合面积阈值；如果是，则确定与所述两个位姿信息相对应的位姿转换关系正确，如果否，则确定所述位姿转换关系错误。
可选地，所述两个深度图包括：所述图像采集装置在第一点位、第二点位分别采集的第一深度图、第二深度图；所述第二获取模块，包括：遮挡获取单元，用于基于所述两个位姿信息获取所述第一深度图遮挡所述第二深度图的第一遮挡体积、所述第二深度图遮挡所述第一深度图的第二遮挡体积；获取所述第一遮挡体积与所述第二深度图的像素点总体积的第一体积比、所述第二遮挡体积与所述第一深度图的像素点总体积的第二体积比；将所述第一体积比与所述第二体积比中的较大值，确定为所述遮挡体积比。
可选地，所述第二获取模块，包括：重合获取单元，用于基于所述两个位姿信息获取所述第一深度图相对于所述第二深度图的重合部分的第一面积、所述第二深度图相对于所述第一深度图的重合部分的第二面积；将所述第一面积与第二面积中的较大值，确定为所述重合面积。
可选地，所述遮挡获取单元，用于基于所述两个位姿信息获取所述第二深度图遮挡所述第一深度图的遮挡像素点，以及与所述遮挡像素点相对应的、所述第一深度图中的被遮挡像素点；获取所述遮挡像素点在第一相机坐标系下的第一三维投影像素点，其中，所述第一相机坐标系为所述图像采集装置位于所述第一点位的相机坐标系；所述遮挡获取单元，用于获取所述被遮挡像素点在所述第一相机坐标系下的第二三维投影像素点；基于所述图像采集设备的焦距以及所述第一三维投影像素点和第二三维投影像素点的深度信息，获取位于所述第一三维投影像素点和第二三维投影像素点之间的体积，将此体积设置为与所述遮挡像素点相对应的像素遮挡体积；获取与全部所述遮挡像素点相对应的全部所述像素遮挡体积，基于全部所述像素遮挡体积获得所述第二遮挡体积。
可选地，所述重合获取单元，用于基于所述两个位姿信息获取所述第二深度图相对于所述第一深度图的重合像素点，以及与所述重合像素点相对应的、所述第一深度图中的被重合像素点；获取所述重合像素点在第一相机坐标系下的第三三维投影像素点；获取所述被重合像素点在所述第一相机坐标系下的第四三维投影像素点；所述重合获取单元，用于基于所述图像采集设备的焦距以及所述第三三维投影像素点和第四三维投影像素点的深度信息，获取所述第三三维投影像素点和所述第四三维投影像素点的像素重合面积；获取与全部所述重合像素点相对应的全部所述像素重合面积，基于全部所述像素重合面积获得所述第二面积。
可选地，所述两个位姿信息包括：与所述第一点位相对应的第一位姿信息、与所述第二点位相对应的第二位姿信息；所述装置还包括：深度确定模块，用于基于所述第二位姿信息和所述第一位姿信息，将所述第二深度图中的二维像素点投影在所述第一相机坐标系中，获得第一投影三维像素点；获取所述第一投影三维像素点在所述第一相机坐标系下的第一深度；将所述第一投影三维像素点重投影在所述第一深度图所在的图像坐标系下，获得重投影二维像素点；基于所述第一位姿信息，将所述重投影二维像素点转换在所述第一相机坐标系中的第二投影三维像素点，获取所述第二投影三维像素点在所述第一相机坐标系下的第二深度；法向量确定模块，用于获取所述第一投影三维像素点的第一法向量和所述第二投影三维像素点的第二法向量；重合确定模块，用于基于所述第一法向量、第二法向量、第一深度和第二深度确定所述二维像素点是否为重合像素点；遮挡确定模块，用于基于所述第一深度和所述第二深度确定所述二维像素点是否为遮挡像素点。
可选地，所述重合确定模块，用于如果|第一深度-第二深度|<深度阈值，并且所述第一法向量和所述第二法向量的夹角小于预设的夹角阈值，则确定所述二维像素点为候选重合像素点；在所述第一深度图中选取以所述二维像素为中心的检测区域；如果在所述检测区域内，被确定为候选重合像素的其他二维像素点的数量与所述检测区域内的全部二维像素点总数的比例大于预设的第一比例阈值，则将所述二维像素点确定为重合像素点。
可选地，所述遮挡确定模块，用于如果第一深度-第二深度<-所述深度阈值，则确定所述二维像素点为候选遮挡像素点；如果在所述检测区域内，被确定为候选遮挡像素点的其他二维像素点的数量与所述检测区域内的全部二维像素点总数的比例大于预设的第二比例阈值，则将所述二维像素点确定为遮挡像素点。
根据本公开实施例的又一方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述的方法。
根据本公开实施例的再一方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述的方法。
基于本公开上述实施例提供的位姿检测方法、装置以及电子设备、存储介质，计算与在不同点位下采集的深度图相对应的遮挡体积比和重合面积，判断图像采集设备位姿的正确性，从而确保最终生成的三维模型质量；能够实现鲁棒的点位间的位姿检测，提高三维全景模型构建的准确性和质量，有效的改善了客户体验。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其它目的、特征以及优势将变得更加明显。附图用来提供对本公开实施例的进一步的理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为本公开的位姿检测方法的一个实施例的流程图；
图2为本公开的位姿检测方法的一个实施例中的判断位姿是否正确的流程图；
图3为本公开的位姿检测方法的一个实施例中的获取遮挡体积比的流程图；
图4为本公开的位姿检测方法的一个实施例中的获取重合面积的流程图；
图5A为深度图的像素点在相机坐标系中的投影示意图，图5B为深度图的像素点的几何关系图，图5C为像素点之间的遮挡和重合关系示意图，图5D为遮挡体积比与位姿是否正确的对应图；
图6为本公开的位姿检测方法的一个实施例中的获取第二深度图遮挡第一深度图的第二遮挡体积的流程图；
图7为本公开的位姿检测方法的一个实施例中的获取第二深度图相对于第一深度图的重合部分的第二面积的流程图；
图8为本公开的位姿检测装置的一个实施例的结构示意图；
图9为本公开的位姿检测装置的一个实施例中的第二获取模块的结构示意图；
图10为本公开的位姿检测装置的另一个实施例的结构示意图；
图11是本公开的电子设备的一个实施例的结构图。
具体实施方式
下面将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
还应理解，在本公开实施例中，“多个”可以指两个或者两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
另外，本公开中术语“和/或”，仅是一种描述关联对象的关联关系，表示可以存在三种关系，如A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开的实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或者专用计算系统环境或配置一起操作。适于与终端设备、计算机系统或者服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施。在分布式云计算环境中，任务可以是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
申请概述
在实现本公开的过程中，发明人发现，基于图像采集设备在多个点位采集的多个深度图，获得多个点云图，将点云图拼接成一个全景模型。在拼接时，通过重合像素点数量判断图像采集设备在不同点位处的位姿是否正确，并提示相关人员。但是，在此位姿检测方法中，对于重合像素点数量阈值的选取比较困难，并且检测的结果准确性较低，并且重合像素点点数量并不具备物理意义，无法说明重合像素点数量与位姿准确性的相关关系，不同的场景可能需要不同的阈值。
本公开提供的位姿检测方法，获取图像采集设备在两个不同点位处采集的两个深度图，以及与两个不同点位相对应的两个位姿信息；基于两个位姿信息获取与两个深度图相对应的遮挡体积比和重合面积；根据遮挡体积比和重合面积并基于位姿判别规则，判断两个位姿是否正确；通过计算与在不同点位下采集的深度图相对应的三维图像的遮挡体积比(遮挡部分体积/三维图像总体积)和重合面积，判断图像采集设备位姿的正确性，进而保证点云拼接的正确性，可以提高鲁棒性和检测的准确性；并且，通过计算重合面积来辅助检测，能够排除两个深度图完全相离的情况；提高了三维全景模型构建的准确性和质量。
示例性方法
图1为本公开的位姿检测方法的一个实施例的流程图，如图1所示的方法包括步骤：S101-S103。下面对各步骤分别进行说明。
S101，获取图像采集设备在两个不同点位处采集的两个深度图，以及与两个不同点位相对应的两个位姿信息。
在一实施例中，图像采集设备可以有多种，例如为深度相机等。深度相机分别设置在多个拍摄点位，获取深度相机对于室内房屋采集的多个深度图。通过深度图可以获得室内房间的三维结构点云图等信息，室内房间包括客厅、卧室、餐厅、厨房、卫生间等。两个位姿信息为图像采集设备在两个不同点位处的位姿信息，包括相机的外参、内参等。深度图可以通过相机的外参、内参等生成三维图像，三维图像经过现有的多种方法进行处理，获得三维点云图，使用点云图可以拼接三维全景模型。
S102，基于两个位姿信息获取与两个深度图相对应的遮挡体积比和重合面积。
在一实施例中，可以基于图像采集设备在两个不同点位处的外参、内参等，获取两个深度图投影在空间坐标系下的三维图像，获取两个三维图像的遮挡体积比和重合面积，其中，遮挡体积比为一个三维图像被另一三维图像所遮挡的体积占此三维图像体积的比例。
S103，根据遮挡体积比和重合面积并基于位姿判别规则，判断两个位姿是否正确。位姿判别规则可以有多种。
本公开的位姿检测方法，计算与在不同点位下采集的深度图相对应的三维图像的遮挡体积比(遮挡部分体积/三维图像总体积)和重合面积，判断图像采集设备位姿的正确性，进而保证点云拼接的正确性。
图2为本公开的位姿检测方法的一个实施例中的判断位姿是否正确的流程图，如图2所示的方法包括步骤：S201-S202。下面对各步骤分别进行说明。
S201，判断遮挡体积比是否小于预设的体积比阈值并且重合面积大于预设的重合面积阈值。
在一实施例中，体积比阈值可以设置，例如为10％，20％等，重合面积阈值可以设置，例如为0.2、0.5平方米等。
S202，如果是，则确定与两个位姿信息相对应的位姿转换关系正确；如果否，则确定位姿转换关系错误。
在拼接过程中，获取图像采集设备在两个点位处的两个位姿信息，这两个位姿信息之间具有相应的位姿转换关系，如果位置转换关系正确，则确定两个位姿信息都正确，可以利用图像采集装置在前一个点位的位姿和位姿转换关系求得图像采集装置在另一点位的位姿，最终利用每个点位的位姿将点云拼接在世界坐标系内，形成三维模型；如果位姿转换关系不正确，则说明至少一个位姿信息出现了错误，即位姿转换关系错误。
在一实施例中，如果遮挡体积比小于预设的体积比阈值并且重合面积大于预设的重合面积阈值，则确定图像采集设备在两个不同点位处的位姿都正确；如果遮挡体积比大于或等于预设的体积比阈值并且重合面积小于或等于预设的重合面积阈值，则确定两个位姿中至少一个位姿不正确。
在一个实施例中，两个深度图包括图像采集装置在第一点位、第二点位分别采集的第一深度图、第二深度图。图3为本公开的位姿检测方法的一个实施例中的获取遮挡体积比的流程图，如图3所示的方法包括步骤：S301-S303。下面对各步骤分别进行说明。
S301基于两个位姿信息获取第一深度图遮挡第二深度图的第一遮挡体积、第二深度图遮挡第一深度图的第二遮挡体积。
S302，获取第一遮挡体积与第二深度图的像素点总体积的第一体积比、第二遮挡体积与第一深度图的像素点总体积的第二体积比。
S303，将第一体积比与第二体积比中的较大值，确定为遮挡体积比。
图4为本公开的位姿检测方法的一个实施例中的获取重合面积的流程图，如图4所示的方法包括步骤：S401-S402。下面对各步骤分别进行说明。
S401，基于两个位姿信息获取第一深度图相对于第二深度图的重合部分的第一面积、第二深度图相对于第一深度图的重合部分的第二面积。
S402，将第一面积与第二面积中的较大值，确定为重合面积。
在一个实施例中，两个位姿信息包括：与第一点位相对应的第一位姿信息、与第二点位相对应的第二位姿信息，即图像采集设备在第一点位的第一位姿信息、图像采集设备在第二点位的第二位姿信息。基于第二位姿信息和第一位姿信息，将第二深度图中的二维像素点投影在第一相机坐标系中，获得第一投影三维像素点，获取第一投影三维像素点在第一相机坐标系下的第一深度。
在一实施例中，如图5A所示，第一深度图为图A，第二深度图为图B，遍历第二深度图B中的每个像素B(i，j)，利用第一位姿信息中的相机内参将像素B(i，j)投影第二相机坐标系，在3D空间中生成三维像素点B(x，y，z)；结合第一、第二位姿信息中的相机外参、内参等，将三维像素点B(x，y，z)变换到第一相机坐标系下的第一投影三维像素点Bi(x，y，z)，获取第一投影三维像素点Bi(x，y，z)的第一深度为d1(该第一投影三维像素点Bi(x，y，z)在第一相机坐标系下的深度)。
可以采用现有方法，通过第一投影三维像素点Bi(x，y，z)的三维坐标获得第一深度为d1。第一相机坐标系为图像采集设备在第一点位处的相机坐标系，第二相机坐标系为图像采集设备在第二点位处的相机坐标系。可以采用现有的方法利用第一位姿信息中的相机内参将像素B(i，j)投影第二相机坐标系，以及将三维像素点B(x，y，z)变换到第一相机坐标系下。
将第一投影三维像素点重投影在第一深度图所在的图像坐标系下，获得重投影二维像素点，基于第一位姿信息，将重投影二维像素点转换在第一相机坐标系中的第二投影三维像素点，获取第二投影三维像素点在第一相机坐标系下的第二深度。
在一实施例中，可以采用现有的多种方法，将第一投影三维像素点Bi(x，y，z)重投影在第一深度图所在的图像坐标系下，重投影二维像素点的坐标为i’，j’，为重投影二维像素点A(i’，j’)。获取重投影二维像素点A(i’，j’)的第二深度为d2，将重投影二维像素点A(i’，j’)转换在第一相机坐标系中的第二投影三维像素点A(x’，y’，z’)，获取第二投影三维像素点A(x’，y’，z’)在第一相机坐标系下的第二深度为d2。
获取第一投影三维像素点的第一法向量和第二投影三维像素点的第二法向量，基于第一法向量、第二法向量、第一深度和第二深度确定二维像素点是否为重合像素点；基于第一深度和第二深度确定二维像素点是否为遮挡像素点。
可以有多种方法确定二维像素点是否为重合像素点。例如，如果|第一深度-第二深度|<深度阈值，并且第一法向量和第二法向量的夹角小于预设的夹角阈值，则确定二维像素点为候选重合像素点。在第一深度图中选取以二维像素为中心的检测区域；如果在检测区域内，被确定为候选重合像素的其他二维像素点的数量与检测区域内的全部二维像素点总数的比例大于预设的第一比例阈值，则将二维像素点确定为重合像素点。
可以有多种方法确定二维像素点是否为遮挡像素点。例如，如果第一深度-第二深度<-深度阈值，则确定二维像素点为候选遮挡像素点；如果在检测区域内，被确定为候选遮挡像素点的其他二维像素点的数量与检测区域内的全部二维像素点总数的比例大于预设的第二比例阈值，则将二维像素点确定为遮挡像素点。
在一实施例中，如图5A所示，将三维像素点B(x，y，z)变换到第一相机坐标系下的第一投影三维像素点Bi(x，y，z)，如果第一投影三维像素点Bi为B1或B2，则第二深度图B中的像素B(i，j)为重合像素点，重投影二维像素点A(i’，j’)为被重合像素点；如果第一投影三维像素点Bi为B3，则第二深度图B中的像素B(i，j)为遮挡像素点，重投影二维像素点A(i’，j’)为被遮挡像素点。
可以根据深度一致性和法向一致性来判断重合像素点或遮挡像素点。如果|第一深度d1-第二深度d2|<深度阈值fDepthValidDiffTh(深度一致性)，且第一投影三维像素点Bi的第一法向量和第二投影三维像素点A的第二法向量夹角小于夹角阈值NormalAngleTh(法向一致性)，则认为像素B(i，j)为重合像素点，可以避免由于深度估计错误产生的噪声对判别器的影响。如果d1-d2<-深度阈值fDepthValidDiffTh，则认为像素B(i，j)为遮挡像素点。
如果像素B(i，j)的邻域(检测区域)内大于90％(第一比例阈值)的像素点为重合像素点，则该像素B(i，j)为重合像素点，如果像素B(i，j)的邻域(检测区域)内大于50％(第二比例阈值)为遮挡像素点，则该像素B(i，j)为遮挡像素点，可以避免由于深度估计错误产生的噪声对判别器的影响。
在一个实施例中，如图5B所示，根据空间采样可知，深度图上的一个像素点对应于空间的一个正方形块(全景图考虑到不同经度采样比率不同，应为一个矩形)。O为相机光心，f为相机焦距，d为该像素点的深度，AB为该像素点的长度，CD为其对应的空间采样边长，根据相似三角形可以计算得到：
CD＝d/f (1-1)；
全景图中的f＝cols/(2π)，cols为全景图的宽，rows为全景图的高，全景图采样矩形宽为CD，则高为CD*cos(α)，α＝π*(i/rows–0.5)；α为该像素点相对于相机光心的夹角。
如图5C所示，计算重合面积：
重合面积＝d2*cos(α)/f2 (1-2)；
计算遮挡体积：
总体积＝SA*d/3 (1-3)；
遮挡体积＝V梯台＝[SA+SB+√(SA*SB)]*(d2–d1)/3(1-4)：
其中，SA为像素A的面积，SA为像素B的面积,d2和d1为两个像素A、B的深度。
图6为本公开的位姿检测方法的一个实施例中的获取第二深度图遮挡第一深度图的第二遮挡体积的流程图，如图6所示的方法包括步骤：S501-S505。下面对各步骤分别进行说明。
S501，基于两个位姿信息获取第二深度图遮挡第一深度图的遮挡像素点，以及与遮挡像素点相对应的、第一深度图中的被遮挡像素点。
S502，获取遮挡像素点在第一相机坐标系下的第一三维投影像素点，其中，第一相机坐标系为图像采集装置位于第一点位的相机坐标系。
S503，获取被遮挡像素点在第一相机坐标系下的第二三维投影像素点。
S504，基于图像采集设备的焦距以及第一三维投影像素点和第二三维投影像素点的深度信息，获取位于第一三维投影像素点和第二三维投影像素点之间的体积，将此体积设置为与遮挡像素点相对应的像素遮挡体积。
在一实施例中，获取第二深度图遮挡第一深度图的遮挡像素点，以及与遮挡像素点相对应的、第一深度图中的被遮挡像素点、第一三维投影像素点、第二三维投影像素点等。基于上述公式(1-4)计算位于第一三维投影像素点和第二三维投影像素点之间的像素遮挡体积。
S505，获取与全部遮挡像素点相对应的全部像素遮挡体积，基于全部像素遮挡体积获得第二遮挡体积。
在一实施例中，获得全部遮挡像素点的全部像素遮挡体积，计算全部像素遮挡体积之和，作为第二遮挡体积。
基于相同的方法，可以获取第一深度图遮挡第二深度图的第一遮挡体积。
图7为本公开的位姿检测方法的一个实施例中的获取第二深度图相对于第一深度图的重合部分的第二面积的流程图，如图7所示的方法包括步骤：S601-S605。下面对各步骤分别进行说明。
S601，基于两个位姿信息获取第二深度图相对于第一深度图的重合像素点，以及与重合像素点相对应的、第一深度图中的被重合像素点。
S602，获取重合像素点在第一相机坐标系下的第三三维投影像素点。
S603，获取被重合像素点在第一相机坐标系下的第四三维投影像素点。
S604，基于图像采集设备的焦距以及第三三维投影像素点和第四三维投影像素点的深度信息，获取第三三维投影像素点和第四三维投影像素点的像素重合面积。
在一实施例中，可以使用上面的方法，获取第二深度图相对于第一深度图的重合像素点，以及与重合像素点相对应的、第一深度图中的被重合像素点、第三三维投影像素点、第四三维投影像素点等。可以基于上述的公式(1-2)计算第三三维投影像素点和第四三维投影像素点的像素重合面积。
S605，获取与全部重合像素点相对应的全部像素重合面积，基于全部像素重合面积获得第二面积。
在一个实施例中，获得全部重合像素点的全部像素重合面积，计算全部像素重合面积之和，作为第二面积。
基于相同的方法，获取第一深度图相对于第二深度图的重合部分的第一面积。
在一个实施例中，获取第一遮挡体积与第二深度图的像素点总体积的第一体积比、第二遮挡体积与第一深度图的像素点总体积的第二体积比；将第一体积比与第二体积比中的较大值，确定为遮挡体积比。基于两个位姿信息获取第一深度图相对于第二深度图的重合部分的第一面积、第二深度图相对于第一深度图的重合部分的第二面积；将第一面积与第二面积中的较大值，确定为重合面积。
如果遮挡体积比<体积比阈值OcclusionVTh，且重合面积>重合面积阈值ValidAreaTh，则认为图像采集设备的位姿正确，如果确定图像采集设备的位姿不正确，则提醒摄影师换个点位重新拍照。
在一个实施例中，对于体积比阈值等阈值进行选取：输入19682对图像数据(它们的深度图与位姿)，位姿数据包含一定的噪声，将这19682对图像计算得到的遮挡体积比按由小到大的顺序排列，结果如图5D所示，在遮挡体积0.1(10％)处，曲线突变，因此，可以认为遮挡体积比超过10％时，位姿是错误的。以摄影师手动拼接，并经过错误筛选，得到的位姿为真值，未进行本公开的位姿检测处理的自动拼接准确率为0.986757，进行本公开的位姿检测处理后，准确率提高为0.997351。在自动拼接准确率已经达到98.7％的前提下，进行本公开的位姿检测处理，依然能够将准确率提高1％，可以证明进行本公开的位姿检测处理对于三维重建过程中点云拼接的准确性判断是十分有效的。
本公开的位姿检测方法，计算与在不同点位下采集的深度图相对应的三维图像的遮挡体积比(遮挡部分体积/三维图像总体积)和重合面积，判断图像采集设备位姿的正确性，通过判别图像采集设备在不同点位的位姿的准确性，能够调整拍摄中的点位，从而确保最终生成的三维模型质量；如果两个三维图像的遮挡或被遮挡的体积超过预设的最大遮挡体积比，或重合面积小于预设的最小重合面积，可以认为图像采集设备位姿错误，具有实际的物理意义；可以提高位姿检测鲁棒性和准确性；通过计算重合面积来辅助检测，能够排除两个深度图完全相离的情况；结合像素邻域判断像素是否为遮挡点或重合点，能够去除深度图中的噪声，提高位姿检测的鲁棒性以及准确性。
示例性装置
在一个实施例中，如图8所示，本公开提供一种位姿检测装置，包括：第一获取模块801、第二获取模块802和位姿判断模块803。第一获取模块801获取图像采集设备在两个不同点位处采集的两个深度图，以及与两个不同点位相对应的两个位姿信息。第二获取模块802基于两个位姿信息获取与两个深度图相对应的遮挡体积比和重合面积。位姿判断模块803根据遮挡体积比和重合面积并基于位姿判别规则，判断两个位姿是否正确。
位姿判断模块803判断遮挡体积比是否小于预设的体积比阈值并且重合面积大于预设的重合面积阈值；如果是，则位姿判断模块803确定与两个位姿信息相对应的位姿转换关系正确；如果否，则确定位姿转换关系错误。
如图9所示，第二获取模块803包括：遮挡获取单元8031和重合获取单元8032。两个深度图包括：图像采集装置在第一点位、第二点位分别采集的第一深度图、第二深度图。遮挡获取单元8031基于两个位姿信息获取第一深度图遮挡第二深度图的第一遮挡体积、第二深度图遮挡第一深度图的第二遮挡体积。遮挡获取单元8031获取第一遮挡体积与第二深度图的像素点总体积的第一体积比、第二遮挡体积与第一深度图的像素点总体积的第二体积比。遮挡获取单元8031将第一体积比与第二体积比中的较大值，确定为遮挡体积比。
重合获取单元8032基于两个位姿信息获取第一深度图相对于第二深度图的重合部分的第一面积、第二深度图相对于第一深度图的重合部分的第二面积，重合获取单元8032将第一面积与第二面积中的较大值，确定为重合面积。
在一个实施例中，遮挡获取单元8031基于两个位姿信息获取第二深度图遮挡第一深度图的遮挡像素点，以及与遮挡像素点相对应的、第一深度图中的被遮挡像素点。遮挡获取单元8031获取遮挡像素点在第一相机坐标系下的第一三维投影像素点，其中，第一相机坐标系为图像采集装置位于第一点位的相机坐标系；
遮挡获取单元8031获取被遮挡像素点在第一相机坐标系下的第二三维投影像素点。遮挡获取单元8031基于图像采集设备的焦距以及第一三维投影像素点和第二三维投影像素点的深度信息，获取位于第一三维投影像素点和第二三维投影像素点之间的体积，将此体积设置为与遮挡像素点相对应的像素遮挡体积。遮挡获取单元8031获取与全部遮挡像素点相对应的全部像素遮挡体积，基于全部像素遮挡体积获得第二遮挡体积。
重合获取单元8032基于两个位姿信息获取第二深度图相对于第一深度图的重合像素点，以及与重合像素点相对应的、第一深度图中的被重合像素点。重合获取单元8032获取重合像素点在第一相机坐标系下的第三三维投影像素点，获取被重合像素点在第一相机坐标系下的第四三维投影像素点。
重合获取单元8032基于图像采集设备的焦距以及第三三维投影像素点和第四三维投影像素点的深度信息，获取第三三维投影像素点和第四三维投影像素点的像素重合面积。重合获取单元8032获取与全部重合像素点相对应的全部像素重合面积，基于全部像素重合面积获得第二面积。
如图10所示，位姿检测装置还包括：深度确定模块804、法向量确定模块805、重合确定模块806和遮挡确定模块807。两个位姿信息包括：与第一点位相对应的第一位姿信息、与第二点位相对应的第二位姿信息。深度确定模块804基于第二位姿信息和第一位姿信息，将第二深度图中的二维像素点投影在第一相机坐标系中，获得第一投影三维像素点。深度确定模块804获取第一投影三维像素点在第一相机坐标系下的第一深度。
深度确定模块804将第一投影三维像素点重投影在第一深度图所在的图像坐标系下，获得重投影二维像素点。深度确定模块804基于第一位姿信息，将重投影二维像素点转换在第一相机坐标系中的第二投影三维像素点，获取第二投影三维像素点在第一相机坐标系下的第二深度。
法向量确定模块805获取第一投影三维像素点的第一法向量和第二投影三维像素点的第二法向量。重合确定模块806基于第一法向量、第二法向量、第一深度和第二深度确定二维像素点是否为重合像素点。遮挡确定模块807基于第一深度和第二深度确定二维像素点是否为遮挡像素点。
如果|第一深度-第二深度|<深度阈值，并且第一法向量和第二法向量的夹角小于预设的夹角阈值，则重合确定模块806确定二维像素点为候选重合像素点；重合确定模块806在第一深度图中选取以二维像素为中心的检测区域；如果在检测区域内，被确定为候选重合像素的其他二维像素点的数量与检测区域内的全部二维像素点总数的比例大于预设的第一比例阈值，则重合确定模块806将二维像素点确定为重合像素点。
遮挡确定模块807如果第一深度-第二深度<-深度阈值，则确定二维像素点为候选遮挡像素点；如果在检测区域内，被确定为候选遮挡像素点的其他二维像素点的数量与检测区域内的全部二维像素点总数的比例大于预设的第二比例阈值，则遮挡确定模块807将二维像素点确定为遮挡像素点。
图11是本公开的电子设备的一个实施例的结构图，如图11所示，电子设备111包括一个或多个处理器1111和存储器1112。
处理器1111可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制电子设备111中的其它组件以执行期望的功能。
存储器1112可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器，例如，可以包括：随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器，例如，可以包括：只读存储器(ROM)、硬盘以及闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1111可以运行程序指令，以实现上文的本公开的各个实施例的位姿检测方法以及/或者其它期望的功能。在计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备111还可以包括：输入装置1113以及输出装置1114等，这些组件通过总线系统和/或其它形式的连接机构(未示出)互连。此外，该输入设备1113还可以包括例如键盘、鼠标等等。该输出装置1114可以向外部输出各种信息。该输出设备1114可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图11中仅示出了该电子设备111中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备111还可以包括任何其它适当的组件。
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的位姿检测方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的位姿检测方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列举)可以包括：具有一个或者多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势以及效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
上述实施例中的位姿检测方法、装置以及电子设备、存储介质，计算与在不同点位下采集的深度图相对应的三维图像的遮挡体积比(遮挡部分体积/三维图像总体积)和重合面积，判断图像采集设备位姿的正确性，通过判别图像采集设备在不同点位的位姿的准确性，能够调整拍摄中的点位，从而确保最终生成的三维模型质量；如果两个三维图像的遮挡或被遮挡的体积超过预设的最大遮挡体积比，或重合面积小于预设的最小重合面积，可以认为图像采集设备位姿错误，具有实际的物理意义；可以提高位姿检测鲁棒性和准确性；通过计算重合面积来辅助检测，能够排除两个深度图完全相离的情况；结合像素邻域判断像素是否为遮挡点或重合点，能够去除深度图中的噪声，提高位姿检测的鲁棒性以及准确性；能够提高三维全景模型构建的准确性和质量，有效的改善了客户体验。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备以及系统。诸如“包括”、“包含、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述，以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改等对于本领域技术人员而言，是非常显而易见的，并且在此定义的一般原理可以应用于其它方面，而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式中。尽管以上已经讨论了多个示例方面以及实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (16)

1.一种位姿检测方法，包括：
获取图像采集设备在两个不同点位处采集的两个深度图，以及与所述两个不同点位相对应的两个位姿信息；
基于所述两个位姿信息获取与所述两个深度图相对应的遮挡体积比和重合面积；
其中，所述两个深度图包括：所述图像采集装置在第一点位、第二点位分别采集的第一深度图、第二深度图；所述基于所述两个位姿信息获取与所述两个深度图相对应的遮挡体积比包括：
基于所述两个位姿信息获取所述第一深度图遮挡所述第二深度图的第一遮挡体积、所述第二深度图遮挡所述第一深度图的第二遮挡体积；获取所述第一遮挡体积与所述第二深度图的像素点总体积的第一体积比、所述第二遮挡体积与所述第一深度图的像素点总体积的第二体积比；将所述第一体积比与所述第二体积比中的较大值，确定为所述遮挡体积比；
根据所述遮挡体积比和所述重合面积并基于位姿判别规则，判断所述两个位姿是否正确，包括：
判断所述遮挡体积比是否小于预设的体积比阈值并且所述重合面积大于预设的重合面积阈值；如果是，则确定与所述两个位姿信息相对应的位姿转换关系正确；如果否，则确定所述位姿转换关系错误。
2.如权利要求1所述的方法，所述基于所述两个位姿信息获取与所述两个深度图相对应的重合面积包括：
基于所述两个位姿信息获取所述第一深度图相对于所述第二深度图的重合部分的第一面积、所述第二深度图相对于所述第一深度图的重合部分的第二面积；
将所述第一面积与第二面积中的较大值，确定为所述重合面积。
3.如权利要求1所述的方法，所述基于所述两个位姿信息获取所述第二深度图遮挡所述第一深度图的第二遮挡体积包括：
基于所述两个位姿信息获取所述第二深度图遮挡所述第一深度图的遮挡像素点，以及与所述遮挡像素点相对应的、所述第一深度图中的被遮挡像素点；
获取所述遮挡像素点在第一相机坐标系下的第一三维投影像素点，其中，所述第一相机坐标系为所述图像采集装置位于所述第一点位的相机坐标系；
获取所述被遮挡像素点在所述第一相机坐标系下的第二三维投影像素点；
基于所述图像采集设备的焦距以及所述第一三维投影像素点和第二三维投影像素点的深度信息，获取位于所述第一三维投影像素点和第二三维投影像素点之间的体积，将此体积设置为与所述遮挡像素点相对应的像素遮挡体积；
获取与全部所述遮挡像素点相对应的全部所述像素遮挡体积，基于全部所述像素遮挡体积获得所述第二遮挡体积。
4.如权利要求2所述的方法，所述基于所述两个位姿信息获取所述第二深度图相对于所述第一深度图的重合部分的第二面积包括：
基于所述两个位姿信息获取所述第二深度图相对于所述第一深度图的重合像素点，以及与所述重合像素点相对应的、所述第一深度图中的被重合像素点；
获取所述重合像素点在第一相机坐标系下的第三三维投影像素点；
获取所述被重合像素点在所述第一相机坐标系下的第四三维投影像素点；
基于所述图像采集设备的焦距以及所述第三三维投影像素点和第四三维投影像素点的深度信息，获取所述第三三维投影像素点和所述第四三维投影像素点的像素重合面积；
获取与全部所述重合像素点相对应的全部所述像素重合面积，基于全部所述像素重合面积获得所述第二面积。
5.如权利要求4所述的方法，所述两个位姿信息包括：与所述第一点位相对应的第一位姿信息、与所述第二点位相对应的第二位姿信息；所述方法还包括：
基于所述第二位姿信息和所述第一位姿信息，将所述第二深度图中的二维像素点投影在所述第一相机坐标系中，获得第一投影三维像素点；
获取所述第一投影三维像素点在所述第一相机坐标系下的第一深度；
将所述第一投影三维像素点重投影在所述第一深度图所在的图像坐标系下，获得重投影二维像素点；
基于所述第一位姿信息，将所述重投影二维像素点转换在所述第一相机坐标系中的第二投影三维像素点，获取所述第二投影三维像素点在所述第一相机坐标系下的第二深度；
获取所述第一投影三维像素点的第一法向量和所述第二投影三维像素点的第二法向量；
基于所述第一法向量、第二法向量、第一深度和第二深度确定所述二维像素点是否为重合像素点；
基于所述第一深度和所述第二深度确定所述二维像素点是否为遮挡像素点。
6.如权利要求5所示的方法，所述基于所述第一法向量、第二法向量、第一深度和第二深度确定所述二维像素点是否为重合像素点包括：
如果|第一深度-第二深度|<深度阈值，并且所述第一法向量和所述第二法向量的夹角小于预设的夹角阈值，则确定所述二维像素点为候选重合像素点；
在所述第一深度图中选取以所述二维像素为中心的检测区域；
如果在所述检测区域内，被确定为候选重合像素的其他二维像素点的数量与所述检测区域内的全部二维像素点总数的比例大于预设的第一比例阈值，则将所述二维像素点确定为重合像素点。
7.如权利要求6所示的方法，所述基于所述第一深度和所述第二深度确定所述二维像素点是否为遮挡像素点包括：
如果|第一深度-第二深度|<所述深度阈值，则确定所述二维像素点为候选遮挡像素点；
如果在所述检测区域内，被确定为候选遮挡像素点的其他二维像素点的数量与所述检测区域内的全部二维像素点总数的比例大于预设的第二比例阈值，则将所述二维像素点确定为遮挡像素点。
8.一种位姿检测装置，包括：
第一获取模块，用于获取图像采集设备在两个不同点位处采集的两个深度图，以及与所述两个不同点位相对应的两个位姿信息；
第二获取模块，用于基于所述两个位姿信息获取与所述两个深度图相对应的遮挡体积比和重合面积；
其中，所述两个深度图包括：所述图像采集装置在第一点位、第二点位分别采集的第一深度图、第二深度图；所述第二获取模块，包括：
遮挡获取单元，用于基于所述两个位姿信息获取所述第一深度图遮挡所述第二深度图的第一遮挡体积、所述第二深度图遮挡所述第一深度图的第二遮挡体积；获取所述第一遮挡体积与所述第二深度图的像素点总体积的第一体积比、所述第二遮挡体积与所述第一深度图的像素点总体积的第二体积比；将所述第一体积比与所述第二体积比中的较大值，确定为所述遮挡体积比；
位姿判断模块，用于根据所述遮挡体积比和所述重合面积并基于位姿判别规则，判断所述两个位姿是否正确；
其中，所述位姿判断模块，用于判断所述遮挡体积比是否小于预设的体积比阈值并且所述重合面积大于预设的重合面积阈值；如果是，则确定与所述两个位姿信息相对应的位姿转换关系正确，如果否，则确定所述位姿转换关系错误。
9.如权利要求8所述的装置，其中，
所述第二获取模块，包括：
重合获取单元，用于基于所述两个位姿信息获取所述第一深度图相对于所述第二深度图的重合部分的第一面积、所述第二深度图相对于所述第一深度图的重合部分的第二面积；将所述第一面积与第二面积中的较大值，确定为所述重合面积。
10.如权利要求8所述的装置，其中，
所述遮挡获取单元，用于基于所述两个位姿信息获取所述第二深度图遮挡所述第一深度图的遮挡像素点，以及与所述遮挡像素点相对应的、所述第一深度图中的被遮挡像素点；获取所述遮挡像素点在第一相机坐标系下的第一三维投影像素点，其中，所述第一相机坐标系为所述图像采集装置位于所述第一点位的相机坐标系；
所述遮挡获取单元，用于获取所述被遮挡像素点在所述第一相机坐标系下的第二三维投影像素点；基于所述图像采集设备的焦距以及所述第一三维投影像素点和第二三维投影像素点的深度信息，获取位于所述第一三维投影像素点和第二三维投影像素点之间的体积，将此体积设置为与所述遮挡像素点相对应的像素遮挡体积；获取与全部所述遮挡像素点相对应的全部所述像素遮挡体积，基于全部所述像素遮挡体积获得所述第二遮挡体积。
11.如权利要求9所述的装置，其中，
所述重合获取单元，用于基于所述两个位姿信息获取所述第二深度图相对于所述第一深度图的重合像素点，以及与所述重合像素点相对应的、所述第一深度图中的被重合像素点；获取所述重合像素点在第一相机坐标系下的第三三维投影像素点；获取所述被重合像素点在所述第一相机坐标系下的第四三维投影像素点；
所述重合获取单元，用于基于所述图像采集设备的焦距以及所述第三三维投影像素点和第四三维投影像素点的深度信息，获取所述第三三维投影像素点和所述第四三维投影像素点的像素重合面积；获取与全部所述重合像素点相对应的全部所述像素重合面积，基于全部所述像素重合面积获得所述第二面积。
12.如权利要求11所述的装置，所述两个位姿信息包括：与所述第一点位相对应的第一位姿信息、与所述第二点位相对应的第二位姿信息；所述装置还包括：
深度确定模块，用于基于所述第二位姿信息和所述第一位姿信息，将所述第二深度图中的二维像素点投影在所述第一相机坐标系中，获得第一投影三维像素点；获取所述第一投影三维像素点在所述第一相机坐标系下的第一深度；将所述第一投影三维像素点重投影在所述第一深度图所在的图像坐标系下，获得重投影二维像素点；基于所述第一位姿信息，将所述重投影二维像素点转换在所述第一相机坐标系中的第二投影三维像素点，获取所述第二投影三维像素点在所述第一相机坐标系下的第二深度；
法向量确定模块，用于获取所述第一投影三维像素点的第一法向量和所述第二投影三维像素点的第二法向量；
重合确定模块，用于基于所述第一法向量、第二法向量、第一深度和第二深度确定所述二维像素点是否为重合像素点；
遮挡确定模块，用于基于所述第一深度和所述第二深度确定所述二维像素点是否为遮挡像素点。
13.如权利要求12所示的装置，其中，
所述重合确定模块，用于如果|第一深度-第二深度|<深度阈值，并且所述第一法向量和所述第二法向量的夹角小于预设的夹角阈值，则确定所述二维像素点为候选重合像素点；在所述第一深度图中选取以所述二维像素为中心的检测区域；如果在所述检测区域内，被确定为候选重合像素的其他二维像素点的数量与所述检测区域内的全部二维像素点总数的比例大于预设的第一比例阈值，则将所述二维像素点确定为重合像素点。
14.如权利要求13所示的装置，其中，
所述遮挡确定模块，用于如果|第一深度-第二深度|<所述深度阈值，则确定所述二维像素点为候选遮挡像素点；如果在所述检测区域内，被确定为候选遮挡像素点的其他二维像素点的数量与所述检测区域内的全部二维像素点总数的比例大于预设的第二比例阈值，则将所述二维像素点确定为遮挡像素点。
15.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7任一项所述的方法。
16.一种电子设备，所述电子设备包括：
处理器；用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-7任一项所述的方法。
CN202010492567.0A 2020-06-03 2020-06-03 位姿检测方法、装置以及电子设备、存储介质 Active CN111627061B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010492567.0A CN111627061B (zh) 2020-06-03 2020-06-03 位姿检测方法、装置以及电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010492567.0A CN111627061B (zh) 2020-06-03 2020-06-03 位姿检测方法、装置以及电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN111627061A CN111627061A (zh) 2020-09-04
CN111627061B true CN111627061B (zh) 2023-07-11

Family

ID=72259393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010492567.0A Active CN111627061B (zh) 2020-06-03 2020-06-03 位姿检测方法、装置以及电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN111627061B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013021569A (ja) * 2011-07-12 2013-01-31 Univ Of Tokyo 撮像素子およびこれを用いた撮像装置
JP2018136832A (ja) * 2017-02-23 2018-08-30 セコム株式会社 対象物画像推定装置および対象物画像判定装置
CN108510536A (zh) * 2017-02-28 2018-09-07 富士通株式会社 多视点图像的深度估计方法和深度估计设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018061010A1 (en) * 2016-09-28 2018-04-05 Pixtier Maps Ltd. Point cloud transforming in large-scale urban modelling
CN107121062A (zh) * 2016-12-07 2017-09-01 苏州笛卡测试技术有限公司 一种机器人三维扫描装置及方法
CN110800020B (zh) * 2017-07-28 2021-07-09 深圳配天智能技术研究院有限公司 一种图像信息获取方法、图像处理设备及计算机存储介质
CN109523581B (zh) * 2017-09-19 2021-02-23 华为技术有限公司 一种三维点云对齐的方法和装置
CN108537876B (zh) * 2018-03-05 2020-10-16 清华-伯克利深圳学院筹备办公室 三维重建方法、装置、设备及存储介质
CN110798677B (zh) * 2018-08-01 2021-08-31 Oppo广东移动通信有限公司 三维场景建模方法及装置、电子装置、可读存储介质及计算机设备
CN110555908B (zh) * 2019-08-28 2022-12-02 西安电子科技大学 基于室内移动目标背景修复的三维重建方法
CN110853133A (zh) * 2019-10-25 2020-02-28 深圳奥比中光科技有限公司 重建人体三维模型的方法、装置、系统和可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013021569A (ja) * 2011-07-12 2013-01-31 Univ Of Tokyo 撮像素子およびこれを用いた撮像装置
JP2018136832A (ja) * 2017-02-23 2018-08-30 セコム株式会社 対象物画像推定装置および対象物画像判定装置
CN108510536A (zh) * 2017-02-28 2018-09-07 富士通株式会社 多视点图像的深度估计方法和深度估计设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
冯春 ; 花省 ; 王树磊 ; 尹飞鸿 ; 江炜 ; .基于RGB-D相机的球体三维重建及定位方法研究.机电工程.2019,(第05期), *
宋爽 ; 陈驰 ; 杨必胜 ; 李清泉 ; .低成本大视场深度相机阵列系统.武汉大学学报(信息科学版).2018,(第09期), *

Also Published As

Publication number Publication date
CN111627061A (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
US10529086B2 (en) Three-dimensional (3D) reconstructions of dynamic scenes using a reconfigurable hybrid imaging system
JP6951595B2 (ja) 住宅のデータ収集およびモデル生成方法
US10872467B2 (en) Method for data collection and model generation of house
US10154246B2 (en) Systems and methods for 3D capturing of objects and motion sequences using multiple range and RGB cameras
US10026218B1 (en) Modeling indoor scenes based on digital images
US20180329485A1 (en) Generation of virtual reality with 6 degrees of freedom from limited viewer data
CN112712584B (zh) 空间建模方法、装置、设备
KR101893771B1 (ko) 3d 정보 처리 장치 및 방법
CN104641633B (zh) 用于组合来自多个深度相机的数据的系统和方法
CN111009002B (zh) 点云配准检测方法、装置以及电子设备、存储介质
CN114399597B (zh) 场景空间模型的构建方法、装置以及存储介质
CN111563950B (zh) 纹理映射策略确定方法、装置及计算机可读存储介质
US20220078385A1 (en) Projection method based on augmented reality technology and projection equipment
US10354399B2 (en) Multi-view back-projection to a light-field
US10444931B2 (en) Vantage generation and interactive playback
WO2022237026A1 (zh) 平面信息检测方法及系统
CN111402404B (zh) 全景图补全方法、装置、计算机可读存储介质及电子设备
CN113989376B (zh) 室内深度信息的获取方法、装置和可读存储介质
KR102337209B1 (ko) 주변 상황 정보를 통지하기 위한 방법, 전자 장치 및 저장 매체
CN109644280A (zh) 生成场景的分层深度数据的方法
CN114640833A (zh) 投影画面调整方法、装置、电子设备和存储介质
CN113298708A (zh) 三维房型的生成方法、装置及设备
CN111627061B (zh) 位姿检测方法、装置以及电子设备、存储介质
CN112634366A (zh) 位置信息的生成方法、相关装置及计算机程序产品
CN112328150A (zh) 自动截图方法、装置以及设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201029

Address after: 100085 Floor 102-1, Building No. 35, West Second Banner Road, Haidian District, Beijing

Applicant after: Seashell Housing (Beijing) Technology Co.,Ltd.

Address before: 300 457 days Unit 5, Room 1, 112, Room 1, Office Building C, Nangang Industrial Zone, Binhai New Area Economic and Technological Development Zone, Tianjin

Applicant before: BEIKE TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220325

Address after: 100085 8th floor, building 1, Hongyuan Shouzhu building, Shangdi 6th Street, Haidian District, Beijing

Applicant after: As you can see (Beijing) Technology Co.,Ltd.

Address before: 100085 Floor 101 102-1, No. 35 Building, No. 2 Hospital, Xierqi West Road, Haidian District, Beijing

Applicant before: Seashell Housing (Beijing) Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant