CN112367514A - 三维场景构建方法、装置、系统和存储介质 - Google Patents

三维场景构建方法、装置、系统和存储介质 Download PDF

Info

Publication number
CN112367514A
CN112367514A CN202011197688.9A CN202011197688A CN112367514A CN 112367514 A CN112367514 A CN 112367514A CN 202011197688 A CN202011197688 A CN 202011197688A CN 112367514 A CN112367514 A CN 112367514A
Authority
CN
China
Prior art keywords
dimensional
point cloud
information
cloud data
key object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011197688.9A
Other languages
English (en)
Other versions
CN112367514B (zh
Inventor
王友学
马小惠
耿凯
侯孟军
哈谦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202011197688.9A priority Critical patent/CN112367514B/zh
Publication of CN112367514A publication Critical patent/CN112367514A/zh
Priority to PCT/CN2021/116304 priority patent/WO2022088982A1/zh
Priority to US17/789,217 priority patent/US11954813B2/en
Application granted granted Critical
Publication of CN112367514B publication Critical patent/CN112367514B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

一种三维场景构建方法、装置、系统和存储介质，所述三维场景构建方法包括：获取目标场景中关键物体和背景物体的点云数据，其中所述关键物体的点云数据包括三维信息和对应的特征信息，所述背景物体的点云数据至少包括三维信息，建立所述目标场景的特征数据库，所述特征数据库至少包括关键物体特征库，用于记录所述关键物体的三维信息和特征信息；对所述关键物体的点云数据和背景物体的点云数据进行配准和融合，得到所述目标场景的三维模型；更新所述三维模型时，根据所述特征数据库分区域对所述三维模型进行重建。

Description

三维场景构建方法、装置、系统和存储介质
技术领域
本公开实施例涉及但不限于显示技术领域，尤指一种三维场景构建方法、装置、系统和存储介质。
背景技术
随着5G技术越来越成熟，使大数据实时传输成为可能。同时，随着物联网、云技术等基础应用技术发展，对远程沟通连接，远程场景呈现的需求日益强烈。当前广泛应用的云直播、云课堂等场景就属于此类技术应用。
但当前基于直播形式的展示技术具有观测角度少，展示场景固定等缺点。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本公开提供了一种三维场景构建方法、装置、系统和存储介质，可以实时构建三维场景。
一方面，本公开实施例提供了一种三维场景构建方法，包括：
获取目标场景中关键物体和背景物体的点云数据，其中所述关键物体的点云数据包括三维信息和对应的特征信息，所述背景物体的点云数据至少包括三维信息，建立所述目标场景的特征数据库，所述特征数据库至少包括关键物体特征库，用于记录所述关键物体的三维信息和特征信息；
对所述关键物体的点云数据和背景物体的点云数据进行配准和融合，得到所述目标场景的三维模型；
更新所述三维模型时，根据所述特征数据库对所述三维模型进行重建。
另一方面，本公开实施例还提供了一种计算机设备，包括处理器以及存储有可在处理器上运行的计算机程序的存储器，其中，所述处理器执行所述程序时实现上述三维场景构建方法的步骤。
再一方面，本公开实施例还提供了一种三维场景构建系统，包括图像采集测距装置和前述计算机设备。
再一方面，本公开实施例还提供了一种计算机可读存储介质，存储有可在处理器上运行的计算机程序，所述计算机程序被所述处理器执行时用于实现上述三维场景构建方法。
本公开实施例通过对图像中的关键物体和背景物体分别采用不同的精度，构建三维场景，可以提高三维场景构建的实时性。另外，可以通过逐步更新，减少更新量，减少场景模型重建内容，进一步提高三维场景构建的实时性。采用本公开实施例方案，能够实时、真实地呈现当前目标场景的三维场景。
本公开的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开而了解。本公开的其他优点可通过在说明书、权利要求书以及附图中所描述的方案来实现和获得。
在阅读并理解了附图和详细描述后，可以明白其他方面。
附图说明
附图用来提供对本公开技术方案的理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开的技术方案，并不构成对本公开技术方案的限制。附图中各部件的形状和大小不反映真实比例，目的只是示意说明本公开内容。
图1为一种需要前期和后期处理的三维场景构建效果图；
图2为本公开实施例三维场景构建方法流程图；
图3为本公开实施例场景二维图像的轮廓提取示意图；
图4为坐标系关系示意图；
图5为本公开实施例一种外围边缘区域范围示意图；
图6为本公开实施例场景标注第一类物体后的示意图；
图7为本公开实施例中的三维场景构建装置的结构示意图。
具体实施方式
本公开描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本公开所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。
本公开包括并设想了与本领域普通技术人员已知的特征和元件的组合。本公开已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本公开中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。
此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本公开实施例的精神和范围内。
如前所述，当前基于直播形式的展示技术具有观测角度少，展示场景固定等缺点。目前虽然有关于场景构建、视频融合等方法，但都依赖于前期场景建模，或者全景后期图像处理技术。如图1所示，前期形成固定场景并进行渲染，再将关注的物和人，根据图层进行融合，形成三维场景。这些方法由于需要前期和后期处理，因此处理复杂，处理时间长，无法做到实时构建三维场景。并且，由于该方法依赖前期制作，无法实时、准确构建环境变化。
本公开实施例提供一种三维场景构建方法，如图2所示，包括以下步骤：
步骤11，获取目标场景中关键物体和背景物体的点云数据，建立所述目标场景的特征数据库，所述特征数据库至少包括关键物体特征库，用于记录所述关键物体的三维信息和特征信息；
例如，可以采用双目摄像设备对目标场景进行拍摄，得到所述目标场景的当前图像(以下简称第一图像)，对所述当前图像进行图像分割(或者进行特征提取)，以区分第一图像中的关键物体和背景物体。
可以通过双目测距算法，得到所述目标场景当前的点云数据，包括关键物体的点云数据和背景物体的点云数据，其中所述关键物体的点云数据包括三维信息和对应的特征信息，所述背景物体的点云数据至少包括三维信息。通过区分背景物体与关键物体，可以先仅获取关键物体的特征信息，以减少计算量，达到快速构建的目的。所述特征信息例如可以包括但不限于以下信息的一种或多种：纹理信息、颜色信息、光照信息。
为使后期获得的三维场景效果更好，可选高清摄像头采集图像。另外，还可以结合雷达测距获得更为精确的三维信息。
所述关键物体可以是用户关注(或感兴趣)的物体，例如可以包括但不限于以下物体中的一种或多种：移动的物体，位于第一图像较佳视角位置的物体，尺寸大于预设阈值的物体；所述背景物体是除关键物体之外其他的物体，例如位于屏幕边缘的物体和/或背景。所述关键物体可以是一个或多个。
步骤12，对所述关键物体的点云数据和背景物体的点云数据进行配准和融合，得到所述目标场景的三维模型；
步骤13，更新所述三维模型时，根据所述特征数据库对所述三维模型进行重建。
采用本公开实施例方法，初始建立三维模型时，通过区分背景物体与关键物体，使得关键物体获得较高的三维构建精度，一方面可以减少计算量，另一方面可以提高模型构建的实时性。在后续更新三维模型时，基于特征数据库可以优先对关键物体进行三维模型的重建，随着更新次数的增加可以逐渐获得越来越逼真的三维模型效果，以提高用户体验。本公开方法对外部设备要求低，且无需提前建模，可以实现实时三维场景构建。
在一示例性实施例中，所述特征数据库还可以包括边缘区域特征库和遮罩区域特征库；对所述关键物体的点云数据和背景物体的点云数据进行配准和融合后，所述方法还包括：
确定所述关键物体的外围边缘区域，获取所述外围边缘区域的三维信息和特征信息，在所述边缘区域特征库中保存所述外围边缘区域的三维信息、对应的特征信息，以及所述外围边缘区域对应的关键物体；
基于所述边缘区域特征库推测被关键物体遮挡的每个遮罩区域的三维信息和特征信息，在所述遮罩区域特征库中保存所述遮罩区域三维信息、对应的特征信息，以及所述遮罩区域对应的关键物体；
基于所述遮罩区域特征库更新所述目标场景的三维模型。
可以将关键物体轮廓周围预设距离范围内的区域设定为该关键物体的外围边缘区域，或者可以预先设置包含该关键物体的规则形状，将该规则形状边缘与该关键物体轮廓边缘之间的区域设定为该关键物体的外围边缘区域。
通过利用关键物体外围边缘区域的特征信息推测遮罩区域的三维特征，无需复杂的图像获取设备，即可获得较好的三维显示效果，对外部设备要求低。另外，由于边缘区域特征库和遮罩区域特征库中均保存有关键物体(例如关键物体标识)，可以以关键物体为索引在特征数据库中快速进行数据查询，当关键物体有多个时，可以对不同关键物体的遮罩区域进行区分，以及进行分时逐步构建。
在一示例性实施例中，所述基于所述边缘区域特征库推测被关键物体遮挡的每个遮罩区域的三维信息和特征信息，包括：
对于任意一个遮罩区域，确定该遮罩区域对应的关键物体；
根据所述边缘区域特征库确定所述关键物体对应的外围边缘区域的三维信息和特征信息；
根据所述外围边缘区域的三维信息和特征信息确定三维信息和特征信息的变化规律；
根据所述三维信息和特征信息的变化规律推测所述遮罩区域的三维信息和特征信息。
由于图像中关键物体外围边缘区域可以反映遮罩区域背景的特征，因此可以根据外围边缘区域对遮罩区域进行特征推测，对外部设备要求低。
例如，可以采用以下步骤确定变化规律：
确定遮罩区域外边界上的多个采样点，所述遮罩区域的外边界与所述外围边缘区域的内边界重合；
根据所述外围边缘区域的三维信息和特征信息，确定每个采样点的三维信息和特征信息；
对于每个采样点，朝远离遮罩区域的方向寻找与所述采样点特征信息相似的图像区域；
获取所述图像区域内的三维信息变化梯度和特征信息变化梯度。
在上述步骤中，朝远离遮罩区域的方向寻找与所述采样点特征信息相似的图像区域时，可以在外围边缘区域进行寻找，计算速度快，或者可以超出外围边缘区域进行寻找，将会获得更好的推测效果。
在一示例性实施例中，所述方法还包括：当目标场景图像中关键物体的三维位置和/或特征信息有变更时，获取变更处所述关键物体的点云数据，更新所述三维模型。当只对关键物体的三维模型进行更新，可以大大减少计算量，快速得到变更后的三维模型。当关键物体的移动导致背景物体发生变更时，例如可能会显示出原来没有显示出的背景部分(原遮罩区域背景)，此时可以用推测出的遮罩区域的三维信息和特征信息组成背景部分的点云数据，进行该部分区域的三维重建。
在一示例性实施例中，可以采用以下方式任意之一获取变更处的关键物体的点云数据包括：
通过图像采集设备获取所述关键物体变更处的点云数据，采用此种方式可以获得较好的显示效果；或者，
采用变更处关键物体的三维信息，更新所述关键物体的点云数据，通过仅更新三维信息，保留原特征信息，以保证实时性；或者，
利用运动估计或运动补偿预估所述关键物体变更处，预先计算出所述变更处的点云数据，采用所述变更处的点云数据更新所述三维模型，通过预先估计，可以同时保证实时性和显示效果。
其中，当采用运动估计或运动补偿预计算所述关键物体变更处点云数据后，所述方法还可以包括：获取目标场景中所述关键物体当前实际点云数据，与所述预先计算出的点云数据进行比较，确定差异部分的点云数据，用所述差异部分的点云数据重新更新所述三维模型。
在一示例性实施例中，更新所述三维模型时，根据所述特征数据库对所述三维模型进行重建，包括：
每隔一帧或者多帧目标场景图像，基于所述特征数据库获取一个区域或多个区域的部分或者全部的稠密点云数据，用所述稠密点云数据对所述三维模型进行稠密重建。
初始建立三维模型时，为了快速获得三维模型，获取的可以是稀疏点云数据，在更新过程中，则可以获取稠密点云数据。对于同一位置，当当前帧获取的点云的精度高于前一帧获取的点云的精度时，则当前帧获取的点云为稠密点云，先前帧获取的点云为稀疏点云。稠密点云中，点与点之间的距离小于稀疏点云中点与点的距离，或者稠密点云中特征信息的内容可以相较于稀疏点云更加详细。
更新所述三维模型时，例如可以分时逐步获取所述关键物体局部的稠密点云数据，用所述稠密点云数据更新所述三维模型中的关键物体模型，直到所有关键物体模型更新完毕；
再例如，分时逐步获取所述背景物体局部的稠密点云数据，用所述稠密点云数据更新所述三维模型中的背景物体模型，直到所有背景物体模型更新完毕。
通过分区域对三维模型进行重建，可以将庞大的重建过程按照区域拆解为逐个小过程，减少每次的计算量。例如，可以每一时间阶段进行一部分三维模型的重建。时间阶段可以为一帧或多帧。例如，每隔一帧或者多帧目标场景图像，以所述特征数据库中的区域信息为索引，获取一个区域的部分、或者一个区域的全部、或者多个区域的部分的稠密点云数据，用所述稠密点云数据对所述三维模型进行稠密重建。
在一示例性实施例中，可以用稠密重建后的边缘区域的点云数据推测所述遮罩区域的点云数据，更新所述三维模型。例如，可以设置背景物体特征库，用于保存背景物体的三维信息和特征信息，由于外围边缘区域属于背景物体，因此，当得到背景物体稠密点云后，即可以得到外围边缘区域的稠密点云，即三维信息和详细的特征信息，进而可以根据该外围边缘区域的稠密点云推测相应遮罩区域的三维信息和特征信息，进而获得更好的三维显示效果。
在一示例性实施例中，所述方法还可以包括：用获取的稠密点云数据推测相邻位置的点云数据。即可以根据场景特点或物体特点，根据部分的点云数据生成其他部分的点云数据，进而减少计算量，提高三维场景构建的实时性。
在一示例性实施例中，所述方法还包括：增加所述目标场景中的物体作为所述关键物体，对新增的关键物体进行稠密重建。如果新增的物体在原目标场景中就有，即已经构建过三维模型，则可以在后续过程中获取稠密点云，进行稠密重建。如果新增的物体在原目标场景中没有，则可以先获取稀疏点云，构建三维模型，在更新过程中，再逐渐获取稠密点云，进行稠密重建。即通过逐步增加关键物体，可以逐渐获得效果更好的三维模型。
在一示例性实施例中，所述特征数据库包括关键物体特征库、边缘区域特征库和遮罩区域特征库，其中：所述关键物体特征库用于保存关键物体的三维信息和对应的特征信息；所述边缘区域特征库用于保存所述外围边缘区域的三维信息、对应的特征信息，以及所述外围边缘区域对应的关键物体；所述遮罩区域特征库用于保存所述遮罩区域三维信息、对应的特征信息，以及所述遮罩区域对应的关键物体。
本公开实施例通过对图像中的关键物体和背景物体分别采用不同的精度，构建三维场景，可以提高三维场景构建的实时性。另外，可以通过逐步更新，减少更新量，减少场景模型重建内容，进一步提高三维场景构建的实时性。采用本公开实施例方案，能够实时、真实地呈现当前目标场景的三维场景。
本公开实施例方案与视频融合方案相比，可以大大减少图像融合算法的复杂度，提高对实体环境数字场景构建速度，并且构建精度有很大程度提高。与半游戏场景相比，本公开方案所有制作流程由系统自动完成，无需前期及后期人工建模和渲染。
下面以双目摄像头采集图像为例，通过一应用实施例对上述方法进行说明。
步骤21，采集当前目标场景的第一图像；
可以利用双目图像采集设备进行采集，以便于后续进行点云数据获取。
步骤22，确定所述第一图像中的关键物体；
例如，可以对第一图像进行初步的图像分割(即分割出哪部分属于一个物体)，初步标记出物体的分布关系(即位置关系)，进行物体轮廓提取，获得场景的轮廓图，图3为一个场景初步轮廓示例图。
在本实施例中，图像分割的目的在于将分属不同物体的像素区域分开，可以采用基于阈值的分割方法、或者基于边缘检测的分割方法，或者基于深度学习的分割方法，例如采用语义分割分类出每一块区域的语义，即该块区域是什么物体。
基于轮廓图，可以将第一图像中的物体区分为关键物体和背景物体。其中：
关键物体可以是用户关注(感兴趣)的物体，例如，可结合前一帧图像判断物体是否有移动，将移动的物体确定为用户关注的物体；再例如，可以将位于较佳视角位置的物体(例如位于图像中心区域的物体)确定为用户关注的物体；再例如，可以根据物体的尺寸(面积)是否大于第一预设尺寸阈值确定是否为用户关注的物体；上述确定关键物体的方法可以结合使用，例如可以结合物体位置和尺寸判断是否为关键物体，或者结合是否移动和物体位置判断是否为关键物体，或者结合是否移动和物体尺寸判断是否为关键物体，或者结合是否移动、物体位置和物体尺寸判断是否为关键物体。
背景物体可以是除关键物体之外其他的物体或背景，例如可以包括以下一种或多种：背景、位于屏幕边缘的物体、尺寸小于第一预设尺寸阈值的物体。所述位于屏幕边缘的物体，可以结合物体位置和面积进行判断，例如将位于图像边缘且面积小于第二预设尺寸阈值的物体视为背景物体，以此可以排除不重要的前景物体。所述第二预设尺寸阈值小于第一预设尺寸阈值。
在确定关键物体后，后续在获取点云数据时，可以以相较于背景物体更高的精度得到关键物体的点云，对于背景物体则可以以较低的精度得到点云。
为了后续便于处理，加快处理速度，生成关键物体特征库，记录有关键物体的标识，还可以记录以下信息中的一种或多种，关键物体的位置、尺寸等。
步骤23，获取目标场景中的点云数据，其中所述关键物体的点云数据包括三维信息和对应的特征信息，所述背景物体的点云数据至少包括三维信息；
包括以下步骤：
步骤231，采集目标场景的坐标信息和特征信息，对于关键物体，此时可以只采集特征信息；
可以采用双目测距算法结合雷达测距算法得到上述坐标信息。
其中，可以利用双目图像采集设备结合视差测距法获得深度信息。例如，可以先对双目图像采集设备进行标定，根据标定结果对原始图像进行校正，校正后的两张图像位于同一平面且互相平行，对校正后的两张图像进行像素点匹配，根据匹配结果计算每个像素的深度值。
可选地，可以结合雷达进行深度的精确测量。即使用雷达测距获得的深度信息对图像中每个像素的深度进行替换或者校正。
同样地，采用双目测距算法结合雷达测距算法可得到特征信息。特征信息包括用于构建所述物体三维模型的特征，例如可以包括但不限于以下信息的一种或多种：纹理信息、颜色信息、光照信息。获取特征信息可以采用其他方法，本公开实施例对如何获取特征信息不做限定。
采集特征信息时，关键物体的采集精度可以高于背景物体的采集精度。
步骤232，将坐标信息转换为世界坐标；
如图4所示，图像处理中涉及四个坐标系，用于描述相机位置的世界坐标系(图中Ow-XwYwZw，单位为m)，光心为原点的相机坐标系(图中Oc-XcYcZc，单位为m)，原点为图像中点的图像坐标系(图中o-xy，单位为mm)，原点位于图像左上角的像素坐标系(图中u-v，单位为像素)。对于生活中真实的任一点P，即世界坐标系中的任意一点P(Xw,Yw,Zw)，在图像中的成像点为p，其在图像坐标系中的坐标为(x,y)，在像素坐标系中的坐标为(u,v)，相机的焦距f即为相机坐标系原点Oc与图像坐标系原点o之间的距离，f＝||o-Oc||。可以采用下式进行世界坐标转换：
Figure BDA0002754470310000111
其中，(u0,v0)代表Oc在u-v坐标系下的坐标，dx和dy分别表示每个像素在横轴x和纵轴y的物理尺寸，R为旋转矩阵，T为平移向量，
Figure BDA0002754470310000121
将坐标信息转换为世界坐标，得到点云数据。
点云数据是指在一个三维坐标系统中的一组向量的集合。这些向量通常以X,Y,Z三维坐标的形式表示，除了代表物体的三维信息外，所述点云数据还可以包含以下信息的一种或多种：颜色信息(例如RGB值)，灰度信息(例如灰度值，可以用于表示光照信息)，深度信息(用于表示距离)，纹理信息，所属物体标识等。
一组点云数据可以表示为：Point Cloud＝{P1,P2,P3,…..Pn}，其中Pi＝{Xi,Yi,Zi,…….}表示空间中的一个点。
步骤233，对双目图像采集设备采集到的两个点云数据进行配准和融合；
点云配准是通过计算得到较好的坐标变换，将处于不同视角下的点云数据经过旋转平移等刚性变换统一整合到指定坐标系之下。换句话说，即进行配准的两个点云，它们彼此之间可以通过旋转平移等位置变换实现重合，因此这两个点云属于刚性变换即形状大小是完全一样的，只是坐标位置不一样。点云配准就是求出两个点云之间的坐标位置变换关系。
点云配准基本的输入输出是：两个刚性变换的点云：源点云(source)以及目标点云(target)，且形状、大小相同；
点云配准得到一个旋转平移变换矩阵RTMatrix简称RT，该矩阵表示了这两个点云的位置变换关系，即通过RT可以将源点云变换到目标点云的位置，使二者能够重合。
点云配准包括粗配准和细配准，其中：
点云粗配准：提取source与target的邻域几何特征，通过几何特征快速确定二者之间的点对的对应关系，再计算此关系进而获得初始变换矩阵。点云的几何特征可以采用快速点特征直方图(Fast Point Feature Histgrams，简称FPFH)表征。
点云细配准：精确配准是利用已知的初始变换矩阵，通过迭代最近点算法(ICP算法)等计算得到较为精确的解。ICP算法通过计算source与target对应点距离，构造旋转平移矩阵RT，通过RT对source变换，计算变换之后的均方差。若均方差满足阈值条件，则算法结束，如果不满足，则继续重复迭代直至误差满足阈值条件或者迭代次数终止。
通过点云配准可将两个点云映射到同一坐标系中。
步骤284，对配准后的点云数据进行融合处理，以获得初步的三维构建模型；
所述融合处理是指在配准后的点云基础上，对特征信息进行叠加等处理。
通过点云融合，可以得到目标场景的初始三维图像。
步骤24，基于融合后的点云数据，更新特征数据库，包括更新关键物体特征库和边缘区域特征库，并根据边缘区域特征库推测遮罩区域点云数据；
包括以下步骤：
步骤241，更新关键物体特征库；
基于融合后的点云数据，在关键物体特征库中记录每个关键物体对应的三维信息和三维信息对应的特征信息；
步骤242，确定外围边缘区域范围，生成边缘区域特征库，在边缘区域特征库中记录边缘区域的三维信息和特征信息；
可以采用以下方式确定外围边缘区域范围，可以将任意一个关键物体轮廓外围预设距离范围内的区域设定为该关键物体的外围边缘区域，或者可以设置包含所述关键物体的规则边框，将该规则边框边缘与所述关键物体轮廓边缘之间的区域设定为该关键物体的外围边缘区域，所述规则边框的形状可以根据第一类物体的轮廓确定例如可以包括但不限于以下一种或多种：圆形、椭圆形、三角形、四边形、五边形、六边形等。如图5中示例所示，图中人物为关键物体，图中矩形边框包含人物轮廓，所述矩形边框与人物轮廓之间的区域即为外围边缘区域(或简称为边缘区域)。在另一示例性实施例中，边框可以不与关键物体轮廓相交。
生成边缘区域特征库，此时，所述边缘区域特征库中可以记录有边缘区域对应的关键物体的标识(即是哪个关键物体的边缘区域)，还可以记录边缘区域的尺寸；例如可根据关键物体的轮廓图，利用双目测距算法(可选地，还可结合雷达测距算法)，感知并标注出边缘区域的尺寸(如图6中矩形框所示)；
获取边缘区域的特征信息；所述特征信息可以包括但不限于以下信息的一种或多种：纹理信息、颜色信息、光照信息。在本步骤中获取的边缘区域的特征信息可用于帮助构建遮罩区域的三维模型。获取得到的特征信息可以记录在边缘区域特征信息库中。
此时，所述边缘区域特征库中记录有边缘区域对应的关键物体的标识，边缘区域的三维信息以及对应的特征信息，此外还可以记录边缘区域尺寸大小等。
步骤243，确定遮罩区域位置，生成遮罩区域特征库，推测遮罩区域的点云数据；
首先获取遮罩区域的位置，所述遮罩区域是指被关键物体遮挡住的不可见区域。遮罩区域的位置即关键物体的位置。
生成遮罩区域特征库，此时，所述遮罩区域特征库中保存有该遮罩区域对应的关键物体(即被哪个关键物体遮挡)，还可以保存每个遮罩区域的位置。
根据边缘区域特征库推测遮罩区域的三维信息和特征信息。
对于任一遮罩区域，该遮罩区域对应了至少一个关键物体，以对应一个关键物体为例，可以根据该关键物体边缘区域的点云数据推测对应遮罩区域的点云数据，例如可以包括以下步骤：
步骤a，确定遮罩区域外边界上的多个采样点；
可以根据遮罩区域范围大小确定采样点的数量。不同遮罩区域采样点数量不同。采样点的数量越多，后续三维效果越好。采样点数量越少，处理速度越快。
遮罩区域的外边界，即为关键物体的轮廓边界，也即为外围边缘区域的内边界。
步骤b，根据边缘区域特征库中的边缘区域的三维信息和特征信息，确定每个采样点位置的三维信息和特征信息；
步骤c，对于每个采样点，朝远离遮罩区域的方向寻找与该采样点特征信息相似的区域，即寻找与所述采样点属于同一物体的图像区域；
例如寻找与采样点颜色和纹理相似的区域，或者可以寻找与采样点纹理相似的区域，比对的特征越少，处理速度越快，比对的特征越多，后期效果越好。在比对三维信息时，如果三维坐标的变化符合物体的坐标变化规律，则认为属于同一物体。可选地，可以结合轮廓图来进行判断，以减少运算量，提高处理速度。所谓相似是指两者的差异在一定预设范围之内。
该图像区域不限于在边缘区域范围之内，可以延伸到边缘区域范围之外的背景物体部分。
步骤d，获取与采样点属于同一物体的图像区域内的特征变化梯度，包括但不限于以下一种或多种：三维坐标变化梯度，颜色变化梯度、纹理变化梯度；
例如，可以以步骤c确定的图像区域为目标，分别在m个方向按照固定步长，确定特征变化梯度。以m的范围可以是[2,16]，以m＝8为例，则需要在0°、45°、90°、135°、180°、225°、270°、315°、360°，共8个方向上确定特征变化梯度。固定步长例如可以为1/N，N＝[3,5]。
步骤e，按照特征变化梯度推测遮罩区域的三维信息和特征信息，获得所述遮罩区域的点云数据。
例如可以按照步骤d中确定的方向，在遮罩区域内部，按照上述固定步长和特征变化梯度，补充遮罩区域的三维信息和特征信息，获得所述遮罩区域的点云数据。当推测的多个图像区域在遮罩区域内部相遇时，可以进行平滑处理，例如采用线性或者高斯模糊处理等方法。
遮罩区域可能还包含的关键物体背面，可以根据关键物体的形状和正面部分的特征信息进行推测。关键物体的正面是指摄像设备能够拍到面，背面指摄像设备无法拍到的面。
步骤25，将推测出的遮罩区域的点云数据与融合后的点云数据进行拼接，得到所述目标场景的三维模型。
将遮罩区域的点云数据与融合后的点云进行拼接时，通过寻找图像中的角点(锚定点，拼接点)进行拼接。
通过上述步骤21至25，初步完成二维图像到三维场景的构建过程。后续在更新三维场景时，无需重复上述全部过程，例如可以在目标场景图像中关键物体的三维位置和/或特征信息有变更时，仅获取变更处关键物体的点云数据，更新所述三维模型。例如，判断出关键物体出现变化时，例如增加、减少、移动等，仅对变化量部分求解点云数据，进行三维场景的稠密重建，可以减少运算量，提高重建质量。
对变化量部分求解点云数据时，可以采用以下方式任意之一：
方式一，通过双目图像采集设备获取所述关键物体变更处的点云数据，例如可以包括通过双目图像采集设备获取关键物体变更处的坐标和特征信息，将坐标转换为世界坐标，生成变更处的点云数据，去除原三维模型中相应位置的点云数据，用生成的变更处的点云数据进行替换；
方式二，可以采用变更处关键物体的三维信息，更新所述关键物体的点云数据，例如可以包括：通过双目图像采集设备获取关键物体变更处的坐标，并将其转换为世界坐标，作为变更处的关键物体的三维信息，更新三维模型时，仅更新关键物体的三维信息，保留原位置处的特征信息。例如在直播场景中，主播手臂位置发生变化，由于其特征信息未发生变化，故可以仅更新三维信息。
方式三，利用运动估计或运动补偿预估所述关键物体变更处，预先计算出所述变更处的点云数据，采用所述变更处的点云数据更新所述三维模型；通过运动估计算法可以搜索出运动矢量，通过运动补偿算法可以对前一帧或多帧运动矢量进行预测，得到当前帧或后几帧的局部图像。采用运动估计和运动补偿技术可以减少构建任务。例如可以根据运动估计或运动补偿的结果预先构建出部分点云数据，以提高处理速度。此外，可以将新帧模型和预计模型作比较，对差异部分作补偿。
在一示例性实施例中，可以在判断出背景出现变化时，例如新增背景、减少背景时，仅对背景变化量部分求解点云数据，进行三维场景的重建。
可选地，可以设置一背景物体特征库，至少保存背景物体的三维信息，还可以保存三维信息对应的特征信息(可在稠密重建过程中逐步添加)。更新时，仅更新变化量部分的背景点云数据。对于固定目标场景，经过后续多次稠密重建之后，背景特征数据库中的特性信息已经足够丰富，则可以直接通过背景物体特征库中的三维信息和特征信息进行三维构建。
当设置有背景物体特征库时，由于对关键物体点云数据内容和背景物体点云数据内容分别进行记录，可以在后续更新三维模型时提高数据搜索速度，减少处理时间。如果未设置背景物体特征库，则可以在点云数据中增加标记，标记包括但不限于背景物体的标识，属于哪个物体的标识等。
在一示例性实施例中，在执行完上述步骤21至25后，即初步完成二维图像到三维场景的构建过程之后，由于上述构建过程是为了保证实时性的粗略构建，因此，可以通过后续不断的重建过程，更新该三维场景，获得更为逼真的三维显示效果。例如，更新时可以每隔一帧或者多帧目标场景图像，基于所述特征数据库获取一个区域或多个区域的部分或者全部的稠密点云数据，用所述稠密点云数据对所述三维模型进行稠密重建。所述基于特征数据库获取一个区域或多个区域的部分或者全部的稠密点云数据是指，每次从特征数据库中选择一个区域的部分，或者一个区域的全部，或者多个区域的部分，获取该些部分的稠密点云数据。由于构建了特征数据库，因此可以实现分时逐步的对三维模型进行更新，以使得三维模型的显示效果越来越好。可选地，在重建过程中，可以用稠密点云数据中的
在一示例性实施例中，当获得了背景物体的稠密点云后，背景物体的特征信息越来越丰富，因此，可以基于背景物体的特征信息，更新边缘区域特征库，重新进行遮罩区域点云数据的推测，即用稠密重建后的边缘区域的点云数据推测所述遮罩区域的点云数据，以获得更好的遮罩区域显示效果。
在一示例性实施例中，可以在采用本公开实施例方法构建的三维场景上增加虚拟数字内容，以构建更有特色的数字场景。
在一种示例性实施例中，本公开还提供了一种三维场景构建装置。所述三维场景构建装置可以包括处理器和存储器，所述存储器存储有可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现本公开上述任一实施例中的三维场景构建方法的步骤。
在一种示例性实施例中，图7为本公开实施例中的三维场景构建装置的结构示意图。如图7所示，该装置60包括：至少一个处理器601；以及与处理器601连接的至少一个存储器602、总线603；其中，处理器601、存储器602通过总线603完成相互间的通信；处理器601用于调用存储器602中的程序指令，以执行上述任一实施例中的缺陷检测方法和/或缺陷修复方法的步骤。
处理器可以是中央处理单元(Central Processing Unit，CPU)、微处理器(MicroProcessor Unit，MPU)、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)、晶体管逻辑器件等，本公开对此不做限定。
存储器可以包括只读存储器(Read Only Memory，ROM)和随机存取存储器(RandomAccess Memory，RAM)，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。
总线除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图7中将各种总线都标为总线。
在实现过程中，处理设备所执行的处理可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。即本公开实施例的方法步骤可以体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
在一种示例性实施例中，本公开还提供了一种三维场景构建系统，所述三维场景构建系统可以包括图像采集测距装置和前述实施例中所述三维场景构建装置。所述图像采集测距摄像装置例如为双目摄像机。
在一示例性实施例中，本公开实施例还提供了一种非易失性计算机可读存储介质，其上存储有可在处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现前述三维场景构建方法的步骤。
在本公开实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据情况理解上述术语在本公开中的含义。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (15)

1.一种三维场景构建方法，其特征在于，包括：
获取目标场景中关键物体和背景物体的点云数据，其中所述关键物体的点云数据包括三维信息和对应的特征信息，所述背景物体的点云数据至少包括三维信息，建立所述目标场景的特征数据库，所述特征数据库至少包括关键物体特征库，用于记录所述关键物体的三维信息和特征信息；
对所述关键物体的点云数据和背景物体的点云数据进行配准和融合，得到所述目标场景的三维模型；
更新所述三维模型时，根据所述特征数据库对所述三维模型进行重建。
2.根据权利要求1所述的三维场景构建方法，其特征在于，所述特征数据库还包括边缘区域特征库和遮罩区域特征库；
对所述关键物体的点云数据和背景物体的点云数据进行配准和融合后，所述方法还包括：
确定所述关键物体的外围边缘区域，获取所述外围边缘区域的三维信息和特征信息，在所述边缘区域特征库中保存所述外围边缘区域的三维信息、对应的特征信息，以及所述外围边缘区域对应的关键物体；
基于所述边缘区域特征库推测被关键物体遮挡的遮罩区域的三维信息和特征信息，在所述遮罩区域特征库中保存所述遮罩区域三维信息、对应的特征信息，以及所述遮罩区域对应的关键物体；
基于所述遮罩区域特征库更新所述目标场景的三维模型。
3.根据权利要求2所述的三维场景构建方法，其特征在于，所述基于所述边缘区域特征库推测被关键物体遮挡的遮罩区域的三维信息和特征信息，包括：
对于任意一个遮罩区域，确定该遮罩区域对应的关键物体；
根据所述边缘区域特征库确定所述关键物体对应的外围边缘区域的三维信息和特征信息；
根据所述外围边缘区域的三维信息和特征信息确定三维信息和特征信息的变化规律；
根据所述三维信息和特征信息的变化规律推测所述遮罩区域的三维信息和特征信息。
4.根据权利要求3所述的三维场景构建方法，其特征在于，所述根据所述外围边缘区域的三维信息和特征信息确定三维信息和特征信息的变化规律，包括：
确定遮罩区域外边界上的多个采样点，所述遮罩区域的外边界与所述外围边缘区域的内边界重合；
根据所述外围边缘区域的三维信息和特征信息，确定每个采样点的三维信息和特征信息；
对于每个采样点，朝远离遮罩区域的方向寻找与所述采样点特征信息相似的图像区域；
获取所述图像区域内的三维信息变化梯度和特征信息变化梯度。
5.根据权利要求1至4中任一项所述的三维场景构建方法，其特征在于，还包括：
当目标场景图像中关键物体的三维位置和/或特征信息有变更时，获取变更处所述关键物体的点云数据，更新所述三维模型。
6.根据权利要求5所述的三维场景构建方法，其特征在于，所述获取变更处的所述关键物体的点云数据包括：
通过图像采集设备获取所述关键物体变更处的点云数据；或者，
采用变更处关键物体的三维信息，更新所述关键物体的点云数据；或者，
利用运动估计或运动补偿预估所述关键物体变更处，预先计算出所述变更处的点云数据，采用所述变更处的点云数据更新所述三维模型。
7.根据权利要求6所述的三维场景构建方法，其特征在于，所述利用运动估计或运动补偿预估所述关键物体变更处，预先计算出所述变更处的点云数据后，所述方法还包括：获取目标场景中所述关键物体当前实际点云数据，与所述预先计算出的点云数据进行比较，确定差异部分的点云数据，用所述差异部分的点云数据重新更新所述三维模型。
8.根据权利要求1至4中任一项所述的三维场景构建方法，其特征在于，所述更新所述三维模型时，根据所述特征数据库对所述三维模型进行重建，包括：
每隔一帧或者多帧目标场景图像，基于所述特征数据库获取一个区域或多个区域的部分或者全部的稠密点云数据，用所述稠密点云数据对所述三维模型进行稠密重建。
9.根据权利要求8所述的三维场景构建方法，其特征在于，还包括：
用稠密重建后的边缘区域的点云数据推测遮罩区域的点云数据，更新所述三维模型。
10.根据权利要求8所述的三维场景构建方法，其特征在于，还包括：
用获取的稠密点云数据推测相邻位置的点云数据。
11.根据权利要求1所述的三维场景构建方法，其特征在于，所述特征数据库包括关键物体特征库、边缘区域特征库和遮罩区域特征库，其中：所述关键物体特征库用于保存关键物体的三维信息和对应的特征信息；所述边缘区域特征库用于保存外围边缘区域的三维信息、对应的特征信息，以及所述外围边缘区域对应的关键物体；所述遮罩区域特征库用于保存遮罩区域三维信息、对应的特征信息，以及所述遮罩区域对应的关键物体。
12.根据权利要求1所述的三维场景构建方法，其特征在于，还包括：
增加目标场景中的物体作为所述关键物体，对新增的关键物体进行稠密重建。
13.一种计算机设备，包括处理器以及存储有可在处理器上运行的计算机程序的存储器，其中，所述处理器执行所述程序时实现如权利要求1至12中任一项所述方法的步骤。
14.一种三维场景构建系统，其特征在于，包括图像采集测距装置和如权利要求13所述的计算机设备。
15.一种计算机可读存储介质，其特征在于，其上存储有可在处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至12中任一项所述方法的步骤。
CN202011197688.9A 2020-10-30 2020-10-30 三维场景构建方法、装置、系统和存储介质 Active CN112367514B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011197688.9A CN112367514B (zh) 2020-10-30 2020-10-30 三维场景构建方法、装置、系统和存储介质
PCT/CN2021/116304 WO2022088982A1 (zh) 2020-10-30 2021-09-02 三维场景构建方法、装置、系统和存储介质
US17/789,217 US11954813B2 (en) 2020-10-30 2021-09-02 Three-dimensional scene constructing method, apparatus and system, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011197688.9A CN112367514B (zh) 2020-10-30 2020-10-30 三维场景构建方法、装置、系统和存储介质

Publications (2)

Publication Number Publication Date
CN112367514A true CN112367514A (zh) 2021-02-12
CN112367514B CN112367514B (zh) 2022-12-09

Family

ID=74514173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011197688.9A Active CN112367514B (zh) 2020-10-30 2020-10-30 三维场景构建方法、装置、系统和存储介质

Country Status (3)

Country Link
US (1) US11954813B2 (zh)
CN (1) CN112367514B (zh)
WO (1) WO2022088982A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096003A (zh) * 2021-04-02 2021-07-09 北京车和家信息技术有限公司 针对多视频帧的标注方法、装置、设备和存储介质
CN113343016A (zh) * 2021-06-01 2021-09-03 中国计量大学 一种监管建筑材料的系统及方法
CN113362445A (zh) * 2021-05-25 2021-09-07 上海奥视达智能科技有限公司 基于点云数据重建对象的方法及装置
WO2022088982A1 (zh) * 2020-10-30 2022-05-05 京东方科技集团股份有限公司 三维场景构建方法、装置、系统和存储介质
CN114756798A (zh) * 2022-06-13 2022-07-15 中汽创智科技有限公司 基于Web端的点云渲染方法、系统及存储介质
CN115082628A (zh) * 2022-07-27 2022-09-20 浙江大学 一种基于隐式光传输函数的动态绘制方法和装置
CN115457202A (zh) * 2022-09-07 2022-12-09 北京四维远见信息技术有限公司 一种三维模型更新的方法、装置及存储介质
EP4207094A3 (en) * 2021-12-29 2023-08-23 Virnect, Co., Ltd. Method of learning a target object by detecting an edge from a digital model of the target object and setting sample points, and method of augmenting a virtual model on a real object implementing the target object using the learning method

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230260223A1 (en) * 2022-02-14 2023-08-17 Faro Technologies, Inc. Augmented reality alignment and visualization of a point cloud
CN114979612A (zh) * 2022-06-20 2022-08-30 极世代(武汉)文化科技有限公司 一种基于区块链的虚拟场景应用系统
CN115409941B (zh) * 2022-08-31 2023-05-30 中南大学 一种三维道路场景中三维地物模型融合方法及其系统
CN116233390B (zh) * 2023-03-10 2024-04-26 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于多目立体视觉的煤堆无人自动化作业系统及方法
CN116630598B (zh) * 2023-07-19 2023-09-29 齐鲁空天信息研究院 大场景下的视觉定位方法、装置、电子设备及存储介质
CN116740325B (zh) * 2023-08-16 2023-11-28 广州和音科技文化发展有限公司 一种基于展馆场景三维效果设计的图像拼接方法及系统
CN116797744B (zh) * 2023-08-29 2023-11-07 武汉大势智慧科技有限公司 多时相实景三维模型的构建方法、系统及终端设备
CN116993025B (zh) * 2023-09-26 2023-12-15 广东省农业科学院植物保护研究所 一种基于数据处理的虫害诱杀设备管理方法及系统
CN117314164B (zh) * 2023-10-07 2024-08-09 武汉映瑞电力科技有限公司 一种基于三维建模的输电线路关键工序分析方法
CN117495694B (zh) * 2023-11-09 2024-05-31 大庆安瑞达科技开发有限公司 一种视频和地图三维场景融合的方法、电子设备及存储介质
CN118172507B (zh) * 2024-05-13 2024-08-02 国网山东省电力公司济宁市任城区供电公司 基于数字孪生的变电站场景融合三维重建方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013178725A1 (en) * 2012-05-31 2013-12-05 Thomson Licensing Segmentation of a foreground object in a 3d scene
US20150105889A1 (en) * 2013-10-16 2015-04-16 Shiann-Tsong Tsai Cloud 3d model construction system and construction method thereof
WO2015184764A1 (zh) * 2014-11-17 2015-12-10 中兴通讯股份有限公司 行人检测方法及装置
CN106803267A (zh) * 2017-01-10 2017-06-06 西安电子科技大学 基于Kinect的室内场景三维重建方法
CN107958482A (zh) * 2016-10-17 2018-04-24 杭州海康威视数字技术股份有限公司 一种三维场景模型构建方法及装置
US20180161986A1 (en) * 2016-12-12 2018-06-14 The Charles Stark Draper Laboratory, Inc. System and method for semantic simultaneous localization and mapping of static and dynamic objects
CN108830879A (zh) * 2018-05-29 2018-11-16 上海大学 一种适用于遮挡场景的无人艇海面相关滤波目标跟踪方法
US20190378283A1 (en) * 2018-06-09 2019-12-12 Lot Spot Inc. System and method for transforming video data into directional object count

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8179393B2 (en) * 2009-02-13 2012-05-15 Harris Corporation Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment
US20130163879A1 (en) 2010-08-30 2013-06-27 Bk-Imaging Ltd. Method and system for extracting three-dimensional information
GB201208088D0 (en) * 2012-05-09 2012-06-20 Ncam Sollutions Ltd Ncam
US9761002B2 (en) * 2013-07-30 2017-09-12 The Boeing Company Stereo-motion method of three-dimensional (3-D) structure information extraction from a video for fusion with 3-D point cloud data
US10210618B1 (en) 2013-12-27 2019-02-19 Google Llc Object image masking using depth cameras or three-dimensional (3D) models
CN104599314A (zh) 2014-06-12 2015-05-06 深圳奥比中光科技有限公司 三维模型重建方法与系统
US10438408B2 (en) * 2017-07-28 2019-10-08 The Boeing Company Resolution adaptive mesh for performing 3-D metrology of an object
CN110798677B (zh) 2018-08-01 2021-08-31 Oppo广东移动通信有限公司 三维场景建模方法及装置、电子装置、可读存储介质及计算机设备
JP7063837B2 (ja) 2019-03-27 2022-05-09 Kddi株式会社 領域抽出装置及びプログラム
CN112367514B (zh) 2020-10-30 2022-12-09 京东方科技集团股份有限公司 三维场景构建方法、装置、系统和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013178725A1 (en) * 2012-05-31 2013-12-05 Thomson Licensing Segmentation of a foreground object in a 3d scene
US20150105889A1 (en) * 2013-10-16 2015-04-16 Shiann-Tsong Tsai Cloud 3d model construction system and construction method thereof
WO2015184764A1 (zh) * 2014-11-17 2015-12-10 中兴通讯股份有限公司 行人检测方法及装置
CN107958482A (zh) * 2016-10-17 2018-04-24 杭州海康威视数字技术股份有限公司 一种三维场景模型构建方法及装置
US20180161986A1 (en) * 2016-12-12 2018-06-14 The Charles Stark Draper Laboratory, Inc. System and method for semantic simultaneous localization and mapping of static and dynamic objects
CN106803267A (zh) * 2017-01-10 2017-06-06 西安电子科技大学 基于Kinect的室内场景三维重建方法
CN108830879A (zh) * 2018-05-29 2018-11-16 上海大学 一种适用于遮挡场景的无人艇海面相关滤波目标跟踪方法
US20190378283A1 (en) * 2018-06-09 2019-12-12 Lot Spot Inc. System and method for transforming video data into directional object count

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
耿凯等: "一种基于灰度直方图的交通检测系统", 《计算机工程与应用》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11954813B2 (en) 2020-10-30 2024-04-09 Boe Technology Group Co., Ltd. Three-dimensional scene constructing method, apparatus and system, and storage medium
WO2022088982A1 (zh) * 2020-10-30 2022-05-05 京东方科技集团股份有限公司 三维场景构建方法、装置、系统和存储介质
CN113096003A (zh) * 2021-04-02 2021-07-09 北京车和家信息技术有限公司 针对多视频帧的标注方法、装置、设备和存储介质
CN113096003B (zh) * 2021-04-02 2023-08-18 北京车和家信息技术有限公司 针对多视频帧的标注方法、装置、设备和存储介质
CN113362445B (zh) * 2021-05-25 2023-05-05 上海奥视达智能科技有限公司 基于点云数据重建对象的方法及装置
CN113362445A (zh) * 2021-05-25 2021-09-07 上海奥视达智能科技有限公司 基于点云数据重建对象的方法及装置
CN113343016A (zh) * 2021-06-01 2021-09-03 中国计量大学 一种监管建筑材料的系统及方法
EP4207094A3 (en) * 2021-12-29 2023-08-23 Virnect, Co., Ltd. Method of learning a target object by detecting an edge from a digital model of the target object and setting sample points, and method of augmenting a virtual model on a real object implementing the target object using the learning method
CN114756798B (zh) * 2022-06-13 2022-10-18 中汽创智科技有限公司 基于Web端的点云渲染方法、系统及存储介质
CN114756798A (zh) * 2022-06-13 2022-07-15 中汽创智科技有限公司 基于Web端的点云渲染方法、系统及存储介质
CN115082628A (zh) * 2022-07-27 2022-09-20 浙江大学 一种基于隐式光传输函数的动态绘制方法和装置
CN115082628B (zh) * 2022-07-27 2022-11-15 浙江大学 一种基于隐式光传输函数的动态绘制方法和装置
WO2024021363A1 (zh) * 2022-07-27 2024-02-01 浙江大学 一种基于隐式光传输函数的动态绘制方法和装置
CN115457202A (zh) * 2022-09-07 2022-12-09 北京四维远见信息技术有限公司 一种三维模型更新的方法、装置及存储介质

Also Published As

Publication number Publication date
WO2022088982A1 (zh) 2022-05-05
US20230032036A1 (en) 2023-02-02
CN112367514B (zh) 2022-12-09
US11954813B2 (en) 2024-04-09

Similar Documents

Publication Publication Date Title
CN112367514B (zh) 三维场景构建方法、装置、系统和存储介质
Koch et al. Evaluation of cnn-based single-image depth estimation methods
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
CN111275750B (zh) 基于多传感器融合的室内空间全景图像生成方法
CN105374019B (zh) 一种多深度图融合方法及装置
US20160196658A1 (en) 3d image generation
CN115035235A (zh) 三维重建方法及装置
CN110738731A (zh) 一种用于双目视觉的3d重建方法和系统
Sharma et al. A flexible architecture for multi-view 3DTV based on uncalibrated cameras
Bebeselea-Sterp et al. A comparative study of stereovision algorithms
CN113345084B (zh) 三维建模系统及三维建模方法
CN109064533B (zh) 一种3d漫游方法及系统
Bajpayee et al. Real-time light field processing for autonomous robotics
Koch et al. Comparison of monocular depth estimation methods using geometrically relevant metrics on the IBims-1 dataset
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
CN116205961A (zh) 多镜头组合影像和激光雷达点云的自动配准方法及其系统
CN112017259B (zh) 一种基于深度相机与热像仪的室内定位与建图方法
JP2022518402A (ja) 三次元再構成の方法及び装置
Ling et al. A dense 3D reconstruction approach from uncalibrated video sequences
Evers‐Senne et al. Image based interactive rendering with view dependent geometry
CN110148086B (zh) 稀疏深度图的深度补齐方法、装置及三维重建方法、装置
CN116704111B (zh) 图像处理方法和设备
CN111738061A (zh) 基于区域特征提取的双目视觉立体匹配方法及存储介质
CN116630528A (zh) 基于神经网络的静态场景重建方法
Wong et al. 3D object model reconstruction from image sequence based on photometric consistency in volume space

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant