CN113240789B - 虚拟对象构建方法及装置 - Google Patents

虚拟对象构建方法及装置 Download PDF

Info

Publication number
CN113240789B
CN113240789B CN202110393913.4A CN202110393913A CN113240789B CN 113240789 B CN113240789 B CN 113240789B CN 202110393913 A CN202110393913 A CN 202110393913A CN 113240789 B CN113240789 B CN 113240789B
Authority
CN
China
Prior art keywords
planes
target object
plane
clustering
corner
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110393913.4A
Other languages
English (en)
Other versions
CN113240789A (zh
Inventor
吴涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202110393913.4A priority Critical patent/CN113240789B/zh
Publication of CN113240789A publication Critical patent/CN113240789A/zh
Priority to PCT/CN2021/118548 priority patent/WO2022217830A1/zh
Priority to US17/817,647 priority patent/US11741678B2/en
Application granted granted Critical
Publication of CN113240789B publication Critical patent/CN113240789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Probability & Statistics with Applications (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开涉及一种虚拟对象构建方法及装置，该方法包括：根据获取的环境图像，得到所述环境图像中的目标物体上的多个第一平面；根据所述多个第一平面得到多个角点；根据所述多个角点中的位于所述目标物体上的角点，构建对应所述目标物体的虚拟对象。

Description

虚拟对象构建方法及装置
技术领域
本公开实施例涉及电学技术领域，更具体地，涉及一种虚拟对象构建方法和一种虚拟对象构建装置。
背景技术
计算机可以控制用户界面来创建扩展现实(XR)环境。用户所感知的该扩展现实环境中的部分或全部，由计算机使用描述环境的数据生成，通过用户界面呈现这些数据给用户，使得用户可以体验据此构建出的虚拟对象。
因此，有必要提供一种构建虚拟对象的方法。
发明内容
本公开实施例的一个目的是提供一种构建虚拟对象的新的技术方案。
根据本公开的第一方面，提供了一种虚拟对象构建方法，包括：根据获取的环境图像，得到所述环境图像中的目标物体上的多个第一平面；根据所述多个第一平面得到多个角点；根据所述多个角点中的位于所述目标物体上的角点，构建对应所述目标物体的虚拟对象。
可选地，所述根据获取的环境图像，得到所述环境图像中的目标物体上的多个第一平面，包括：根据获取的环境图像，得到所述环境图像中的目标物体上的点的深度信息；根据所述目标物体上的点的深度信息，得到所述目标物体上的多个第一平面。
可选地，所述根据所述目标物体上的点的深度信息，得到所述目标物体上的多个第一平面，包括：根据所述目标物体上的点的深度信息，获取所述目标物体上的多个第二平面；生成每一所述第二平面的法线；根据每一所述第二平面的法线对所述多个第二平面进行聚类，得到设定数量的多类第二平面；根据所述多类第二平面，得到所述目标物体上的多个第一平面，所述多类第二平面和所述多个第一平面一一对应。
可选地，所述根据每一所述第二平面的法线对所述多个第二平面进行聚类，得到设定数量的多类第二平面，包括：获取设定数量的多个第一聚类中心，所述多个第一聚类中心为多条线；对于每一所述第二平面，根据所述第二平面的法线与每一所述第一聚类中心间的相对位置关系，对应计算所述第二平面与每一所述第一聚类中心的聚类值，并将所述第二平面归类到与其具有最大聚类值的第一聚类中心；对于每一所述第一聚类中心，对归类到所述第一聚类中心的各个第二平面的法线作加权平均处理，并将处理得到的线作为相应的第二聚类中心；生成所述第一聚类中心与相应第二聚类中心的相似度；对比所述相似度和设定的相似度阈值；在生成的任一所述相似度小于所述相似度阈值的情况下，以得到的每一第二聚类中心分别作为相应的第一聚类中心，并执行所述计算所述第二平面与每一所述第一聚类中心的聚类值的步骤；在生成的每一所述相似度均不小于所述相似度阈值的情况下，将归类到同一第一聚类中心的各个第二平面作为一类第二平面，以得到所述设定数量的多类第二平面。
可选地，所述根据所述多个第一平面得到多个角点，包括：对于所述多个第一平面中任意的两个第一平面，获取所述两个第一平面在无限延伸状态下的相交线；对于所述多个第一平面中的在无限延伸状态下与所述相交线相交的任一其他第一平面，以所述其他第一平面与所述相交线的交点作为一个角点，以得到多个角点。
可选地，在所述构建对应所述目标物体的虚拟对象之前，所述方法还包括：以所述多个角点中的任一角点作为目标角点，获取所述多个角点中距离所述目标角点相对更近的三个其他角点；根据所述目标角点和所述三个其他角点得到两个三角形，所述三角形的三个顶点包括所述目标角点和任意两个所述其他角点；获取所述两个三角形的夹角值；检测所述夹角值是否在设定的取值范围内；在所述夹角值在所述取值范围内的情况下，确定所述目标角点为位于所述目标物体上的角点。
可选地，所述方法还包括：在所述夹角值不在所述取值范围内的情况下，删除所述多个角点中的所述目标角点。
根据本公开的第二方面，还提供了一种虚拟对象构建装置，包括：第一处理模块，用于根据获取的环境图像，得到所述环境图像中的目标物体上的多个第一平面；第二处理模块，用于根据所述多个第一平面得到多个角点；以及，第三处理模块，用于根据所述多个角点中的位于所述目标物体上的角点，构建对应所述目标物体的虚拟对象。
根据本公开的第三方面，还提供了一种虚拟对象构建装置，包括存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序，以实现根据本公开第一方面所述的方法。
根据本公开的第四方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序在被处理器执行时实现根据本公开的第一方面所述的方法。
本公开实施例的一个有益效果在于，可以实现对物体虚拟对象的构建，具体可根据环境图像得到环境图像中物体上的多个平面，再根据该多个平面得到多个角点，进而根据该多个角点中的物体上的角点来构建物体的虚拟对象。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开实施例的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且连同其说明一起用于解释本公开实施例的原理。
图1是能够应用根据一个实施例的虚拟对象构建方法的电子设备的组成结构的示意图；
图2是根据一个实施例的虚拟对象构建方法的流程示意图；
图3是根据另一个实施例的虚拟对象构建方法的流程示意图；
图4是根据一个实施例的虚拟对象构建装置的方框原理图；
图5是根据一个实施例的虚拟对象构建装置的硬件结构示意图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开实施例的一个应用场景为构建虚拟对象。基于此，发明人提出了一种虚拟对象构建方法，可以实现对物体虚拟对象的构建，具体可根据环境图像得到环境图像中物体上的多个平面，再根据该多个平面得到多个角点，进而根据该多个角点中的物体上的角点来构建物体的虚拟对象。
<硬件配置>
图1示出了可以实现本发明的实施例的电子设备1000的硬件配置的示意图。该电子设备1000可以应用于虚拟对象构建场景。
电子设备1000可以是智能手机、便携式电脑、台式计算机、平板电脑、服务器等，在此不做限定。
该电子设备1000的硬件配置可以包括但不限于处理器1100、存储器1200、接口装置1300、通信装置1400、显示装置1500、输入装置1600、扬声器1700、麦克风1800等等。其中，处理器1100可以是中央处理器CPU、图形处理器GPU、微处理器MCU等，用于执行计算机程序，该计算机程序可以采用比如x86、Arm、RISC、MIPS、SSE等架构的指令集编写。存储器1200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300例如包括USB接口、串行接口、并行接口等。通信装置1400例如能够利用光纤或电缆进行有线通信，或者进行无线通信，具体地可以包括WiFi通信、蓝牙通信、2G/3G/4G/5G通信等。显示装置1500例如是液晶显示屏、触摸显示屏等。输入装置1600例如可以包括触摸屏、键盘、体感输入等。用户可以通过扬声器1700和麦克风1800输入/输出语音信息。
应用于本公开实施例中，电子设备1000的存储器1200用于存储指令，所述指令用于控制所述处理器1100进行操作以支持实现根据本公开任意实施例的虚拟对象构建方法。技术人员可以根据本公开所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。该电子设备1000可以安装有智能操作系统(例如Windows、Linux、安卓、IOS等系统)和应用软件。
本领域技术人员应当理解，尽管在图1中示出了电子设备1000的多个装置，但是，本公开实施例的电子设备1000可以仅涉及其中的部分装置，例如，只涉及处理器1100和存储器1200。这是本领域公知，此处不再赘述。
下面，参照附图描述根据本发明的各个实施例和例子。
<方法实施例>
图2是根据一个实施例的虚拟对象构建方法的流程示意图。本实施例的实施主体例如为图1所示的电子设备1000。
如图2所示，本实施例的虚拟对象构建方法可以包括如下步骤S210～步骤S230：
步骤S210，根据获取的环境图像，得到所述环境图像中的目标物体上的多个第一平面。
详细地，获取的环境图像可以为用于捕捉物理世界环境信息的传感器所采集到的任一帧图像，即为该传感器视野内的物理世界图像。
在可行的实现方式中，该传感器可以为单色(Monochrome)相机。本实施例中，一个电子设备中可以内置有至少两个单色相机。
考虑到相机分辨率越高可使得重建精度越高，但过高的分辨率会增大计算负载，故而在综合考虑混合现实系统使用精度和计算负载的情况下，本实施例中，上述相机的分辨率可以优选为640*480。
考虑到捕捉范围越大越有利于3D重建，但是范围越大相机的光学畸变越大，使得重建精度越有损失，故而在综合考虑重建效果的情况下，本实施例中，上述相机的相机捕捉范围可以优选为153°*120°*167°(H*V*D)左右(比如任一视角取值的上下浮动量不超过设定值，该设定值比如可以为1°、3°、5°等)。其中，D表示对角线视角，H表示水平方向视角，V表示垂直方向视角。
基于上述内容，在可行的实现方式下，上述相机的主要配置可以如下所述：帧率不小于30Hz、分辨率为640*480、捕捉范围为153°*120°*167°(H*V*D)。
本实施例中，基于获取的环境图像，可以得到环境图像中目标物体上的多个第一平面。其中，该目标物体可以为物理世界中有特征的任一物理物体。该多个第一平面可以组成传感器视野内的该目标物体的表面。
在本公开一个实施例中，为了说明一种根据环境图像得到多个第一平面的可能实现方式，所述步骤S210，根据获取的环境图像，得到所述环境图像中的目标物体上的多个第一平面，可以包括以下步骤S2101～步骤S2102：
步骤S2101，根据获取的环境图像，得到所述环境图像中的目标物体上的点的深度信息。
如上所述，可以由用于捕捉物理世界环境信息的传感器来采集该环境图像。如此，该环境图像可以反映在传感器采集图像时，传感器与传感器所在三维空间环境中其他物体间的空间相对位置关系。
如此，根据传感器采集的环境图像，可以得到该环境图像中目标物体上的任意点的深度信息。
本公开一个实施例中，可以通过计算机视觉技术和立体匹配技术，对环境图像数据进行深度数据计算，以获取传感器视场中的各个区域深度信息。
步骤S2102，根据所述目标物体上的点的深度信息，得到所述目标物体上的多个第一平面。
详细地，在同一视角下，若三个及以上点的深度相等，可以认为这些点在一个平面上，如此可根据点的深度信息来得到物体上的多个平面。
本实施例中，根据环境图像得到该目标物体上的点的深度信息，进而据此得到目标物体上的多个第一平面。
在本公开一个实施例中，为了说明一种根据深度信息得到多个第一平面的可能实现方式，所述步骤S2102，根据所述目标物体上的点的深度信息，得到所述目标物体上的多个第一平面，可以包括以下步骤S21011～步骤S21014：
步骤S21011，根据所述目标物体上的点的深度信息，获取所述目标物体上的多个第二平面。
上面提到，通过对环境图像数据进行深度数据计算，可以获得传感器视场中的各个区域深度信息。进而，可以从各个区域的深度信息中提取多个平面信息块，即得到本实施例中的多个第二平面。
本公开一个实施例中，可以使用平面拟合算法，从深度信息中提取平面信息块。比如可以使用Ransac平面拟合算法。
步骤S21012，生成每一所述第二平面的法线。
该步骤中，对于获取到的每一第二平面，均计算其法线。
步骤S21013，根据每一所述第二平面的法线对所述多个第二平面进行聚类，得到设定数量的多类第二平面。
详细地，该设定数量的值可以被预先设定好。
考虑到根据物体上点的深度信息所得到的第二平面的个数通常较多，为降低数据处理压力，可根据第二平面的法线对得到的多个第二平面进行聚类，以将数量较多的多个小平面(即第二平面)聚类为数量较少的多个大平面(即第一平面)。如此，后续可基于数量较少的大平面来构建虚拟对象，而非基于数量较多的大平面来构建虚拟对象，以降低数据处理压力。
此外，对一个真实物体上的多个平面按照法线约束进行聚类，在真实物体上的多个平面应该是在一个类别中，故而根据聚类后的大平面来构建虚拟对象时，同样能够达到预期的构建精度及效果。
步骤S21014，根据所述多类第二平面，得到所述目标物体上的多个第一平面，所述多类第二平面和所述多个第一平面一一对应。
该步骤中，聚类出几类第二平面，即可得到相同数量的几个第一平面。在可行的实现方式下，可以由同一类的各个第二平面组合得到相应的一个第一平面。
由上可知，本实施例是先将提取的数量较多的多个小平面进行聚类，进而使用聚类得到的数量较少的多个大平面来构建虚拟对象，以期保证构建效果的同时，尽可能的降低数据处理压力。
基于不同实际应用需求，在本公开其他实施例中，也可直接使用提取的数量较多的多个小平面来构建虚拟对象。如此，上述从各个区域的深度信息中提取多个平面信息块，即得到本实施例中的多个第一平面。其中，上述使用大平面构建虚拟对象所对应的构建精度，可以小于或接近该使用小平面构建虚拟对象所对应的构建精度，以满足精度要求为准。
基于上述内容，在本公开一个实施例中，为了说明一种根据平面法线对第二平面进行聚类的可能实现方式，所述步骤S21013，根据每一所述第二平面的法线对所述多个第二平面进行聚类，得到设定数量的多类第二平面，可以包括以下步骤S210131～步骤S210137：
步骤S210131，获取设定数量的多个第一聚类中心，所述多个第一聚类中心为多条线。
本实施例中，根据第二平面的法线进行聚类处理，故而一个聚类中心可以为一条线。
在可行的实现方式中，该多个第一聚类中心可以随机从该多个第二平面的法线中选取得到。在可行的其他实现方式中，该多个第一聚类中心还可以为任意的多条线。
步骤S210132，对于每一所述第二平面，根据所述第二平面的法线与每一所述第一聚类中心间的相对位置关系，对应计算所述第二平面与每一所述第一聚类中心的聚类值，并将所述第二平面归类到与其具有最大聚类值的第一聚类中心。
详细地，在3D物理世界中，不同线的空间位置不同，不同线间存在一定的空间位置关系，比如夹角角度。本实施例中，相平行的两条线间的夹角角度可以为0°。本实施例中，两条线间的夹角角度越小，可以认为两条线对应的第二平面越容易被归为同一类。
如此，上述相对位置关系可以包括夹角角度，夹角角度与相应聚类值呈负相关。因此，若第二平面的法线与第一聚类中心间的夹角角度越小，该第二平面与该第一聚类中心的聚类值越大，越容易将该第二平面归类到该第一聚类中心。如此，可以将得到的多个第二平面归类为多类第二平面。
步骤S210133，对于每一所述第一聚类中心，对归类到所述第一聚类中心的各个第二平面的法线作加权平均处理，并将处理得到的线作为相应的第二聚类中心。
详细地，在聚类效果较好的情况下，对同一类第二平面中各第二平面的法线做加权平均所得到的线(即第二聚类中心)，应与相应第一聚类中心相平行，否则即可认为当前的聚类效果较差，可再次进行聚类处理，如此反复，直至达到较好的聚类效果。
步骤S210134，生成所述第一聚类中心与相应第二聚类中心的相似度。
基于上述内容，该步骤中，可以计算第一聚类中心与相应第二聚类中心间的相似度。两者的夹角角度可与相似度呈负相关。
步骤S210135，对比所述相似度和设定的相似度阈值。
步骤S210136，在生成的任一所述相似度小于所述相似度阈值的情况下，以得到的每一第二聚类中心分别作为相应的第一聚类中心，并执行所述计算所述第二平面与每一所述第一聚类中心的聚类值的步骤。
该步骤中，相似度不符合要求，故而可基于新的聚类中心以再一次的执行聚类处理。
步骤S210137，在生成的每一所述相似度均不小于所述相似度阈值的情况下，将归类到同一第一聚类中心的各个第二平面作为一类第二平面，以得到所述设定数量的多类第二平面。
该步骤中，相似度符合要求，结束聚类处理，得到多类第二平面。同一类第二平面可组成相应的一个第一平面。
步骤S220，根据步骤S210中得到的所述多个第一平面得到多个角点。
该步骤中，由于第一平面在目标物体上，据此得到的角点与该目标物体相关(比如得到的这些角点包括位于目标物体上的角点)，故而可根据得到的角点来构建目标物体的虚拟对象。
在本公开一个实施例中，为了说明一种根据多个第一平面得到多个角点的可能实现方式，所述步骤S220，根据所述多个第一平面得到多个角点，可以包括以下步骤S2201～步骤S2202：
步骤S2201，对于所述多个第一平面中任意的两个第一平面，获取所述两个第一平面在无限延伸状态下的相交线。
该步骤中，对于真实物体上的多个平面，选择任意两个平面，对这两个平面进行无限延伸，获取两个平面相交的边界线(即上述相交线)。
步骤S2202，对于所述多个第一平面中的在无限延伸状态下与所述相交线相交的任一其他第一平面，以所述其他第一平面与所述相交线的交点作为一个角点，以得到多个角点。
该步骤中，获取其他平面中任意一个可以和上述边界线相交的平面，该平面与上述边界线相交，故而可以按照一定规则获取相交处的3D角点信息，即得到一个角点。
如此，可以得到多个角点。得到该多个角点后即可执行下述步骤S230。
步骤S230，根据所述多个角点中的位于所述目标物体上的角点，构建对应所述目标物体的虚拟对象。
如上所述，角点是通过平面的无限延伸而得到，故而得到的多个角点中，既存在位于目标物体上的角点，也存在不位于目标物体上的角点。故而本实施例中，可以直接根据位于目标物体上的角点来构建相应虚拟对象。
与直接利用得到的全部角点来构建虚拟对象，再对构建的虚拟对象进行修整处理的实现方式相比，本公开实施例仅利用位于目标物体上的角点来构建虚拟对象，不仅可以降低模型构建的数据数量压力，还可省略掉后续修整处理的操作步骤。
详细地，可以通过物理真实物体的3D角点特征信息，判断物理真实物体上生成的3D角点是否形成闭合，以确定该角点是否在物体上。比如可以判断多个角点的边界线是否可以连接到一个连接和绑定闭合体积的表面。其中，如果存在没有连接和绑定闭合体的表面的角点，则将其从该物体对应的3D角点集中删除掉。最后，基于3D角点集中剩余的角点来构建相应虚拟对象。
基于上述内容，在本公开一个实施例中，在所述步骤S230，根据所述多个角点中的位于所述目标物体上的角点，构建对应所述目标物体的虚拟对象之前，所述方法还可以包括如下步骤A1～步骤A5：
步骤A1，以所述多个角点中的任一角点作为目标角点，获取所述多个角点中距离所述目标角点相对更近的三个其他角点。
比如以角点A作为目标角点，并得到距离其相对最近的其他三个角点：角点B、角点C、角点D。
步骤A2，根据所述目标角点和所述三个其他角点得到两个三角形，所述三角形的三个顶点包括所述目标角点和任意两个所述其他角点。
比如这两个三角形可以为△ABC和△ABD。
步骤A3，获取所述两个三角形的夹角值。
该夹角值不大于180°。若该两个三角形可形成一个平面，则两者的夹角值即可以为180°或0°。
步骤A4，检测所述夹角值是否在设定的取值范围内。
比如，若两个三角形的夹角值90°，则在设定的取值范围内。
步骤A5，在所述夹角值在所述取值范围内的情况下，确定所述目标角点为位于所述目标物体上的角点。
本实施例中，在所述夹角值在所述取值范围内的情况下，可以认为目标角点在目标物体上，故而可以保留角点集中的该目标角点。
本实施例中，在得到各个角点后，可基于角点来构造三角形，一个三角形即为一个平面。由于真实物体上相邻的两个平面应接近于形成一个平面，故而若相邻三角形接近于形成一个平面，即表示相应角点在物体上，否则表示相应角点不在物体上。
基于上述内容，在本公开一个实施例中，所述方法还可以包括如下步骤A6：
步骤A6，在所述夹角值不在所述取值范围内的情况下，删除所述多个角点中的所述目标角点。
本实施例中，在步骤A4之后，根据检测结果对应的执行步骤A5或步骤A6。
本实施例中，在所述夹角值不在所述取值范围内的情况下，可以认为目标角点不在目标物体上，故而可以从角点集中删除该目标角点。如此，在对角点集中的各个角点均检测完成之后，即可基于角点集中的剩余的角点来构建虚拟对象。
基于上述内容，可以依次对所述多个角点中的每一角点进行是否在目标物体上的校验。如此，对于删除掉的角点可不参与对其他角点的校验操作，从而可提高数据处理效率。
在本公开一个实施例中，可以按照3D Mesh规则，对位于目标物体上的角点进行三角形化，以构建对应所述目标物体的虚拟对象。
详细地，每个三角形即决定一个平面，每个三角形在现实物理世界中的对象的曲面上都有连接点的边，因此每个三角形即可表示曲面的一部分。
本实施例中，通过对得到的位于目标物体上的角点进行三角形化，即可构建得到目标物体的虚拟对象。
此外，在本公开一个实施例中，对于经三角形化得到的每一个三角形，还可按照设定的数据存储规则，存储该三角形的物体属性信息。
其中，该物体属性信息可以包括颜色、纹理等信息。通过结合物体的物理属性信息，可构建得到具有相应属性特征的虚拟对象。
在可行的实现方式下，任一三角形的物体属性信息均可根据环境图像中的物体上该三角形的物体属性来确定。在其他可行的实现方式中，还可自定义物体属性信息。
可见，本公开实施例提供的虚拟对象构建方法可根据环境图像得到环境图像中物体上的多个第一平面，再根据该多个第一平面得到多个角点，进而根据该多个角点中的物体上的角点来构建物体的虚拟对象，从而完成对物体虚拟对象的构建。
进一步地，构建出的虚拟对象可用于3D世界重建。本公开实施例通过计算机视觉技术将物理世界环境重建为数字环境，重建出的3D世界可应用于扩展现实(XR)环境，比如可应用于虚拟现实(VR)环境、增强现实(AR)环境和混合现实(MR)环境。如此，扩展现实环境中的部分或全部环境信息可以由计算机使用描述环境的数据生成。进而通过相关电子设备的人类用户界面向用户展示创建的扩展现实环境时，用户可以体验到扩展现实环境中的虚拟对象。
本实施例中，该相关电子设备可以有虚拟现实头戴式一体机设备、增强现实一体机设备、混合现实一体机设备等。
本公开实施例提供的虚拟对象构建方法可应用于扩展现实环境，进而可用于多个应用领域，比如可用于科学可视化、医疗培训、工程设计和原型制作、远程办公操作以及个人娱乐等领域。此外，与虚拟现实不同，增强现实系统和混合现实包括一个或多个与物理世界的真实对象相关的虚拟对象。虚拟对象与真实对象交互的体验极大地增强了用户使用扩展现实系统的乐趣，同时也为各种应用环境打开了大门，通过虚拟和现实的交互结合，可使得用户更加理解了现实物理世界的一些关键数据的乐趣。
图3给出了根据一实施例的虚拟对象构建方法的流程示意图。本实施例的实施主体例如为图1所示的电子设备1000。
如图3所示，该实施例的方法可以包括如下步骤S310～步骤S390：
步骤S310，根据获取的环境图像，得到所述环境图像中的目标物体上的点的深度信息。
步骤S320，根据所述目标物体上的点的深度信息，获取所述目标物体上的多个第二平面。
步骤S330，生成每一所述第二平面的法线。
步骤S340，根据每一所述第二平面的法线对所述多个第二平面进行聚类，得到设定数量的多类第二平面。
本实施例中，根据第二平面的法线对得到的多个第二平面进行聚类的具体实现过程可参考上述内容，本实施例在此不做赘述。
步骤S350，根据所述多类第二平面，得到所述目标物体上的多个第一平面，所述多类第二平面和所述多个第一平面一一对应。
步骤S360，对于所述多个第一平面中任意的两个第一平面，获取所述两个第一平面在无限延伸状态下的相交线。
步骤S370，对于所述多个第一平面中的在无限延伸状态下与所述相交线相交的任一其他第一平面，以所述其他第一平面与所述相交线的交点作为一个角点，以得到多个角点。
步骤S380，对于所述多个角点中的每一角点，检测所述角点是否位于所述物体上，并在所述角点位于所述物体上的情况下，保留所述角点，而在所述角点不位于所述物体上的情况下，将所述角点从所述多个角点中删除。
本实施例中，对于角点是否在物体上的具体检测方式可参考上述内容，本实施例在此不做赘述。
步骤S390，根据所述多个角点中的位于所述目标物体上的角点，构建对应所述目标物体的虚拟对象。
本实施例中，所述多个角点中的被保留下来的角点即为位于目标物体上的角点，根据目标物体上的角点可构建目标物体的虚拟对象。
在扩展现实系统中，3D物理世界的重建需要耗费较多的系统计算资源，而本公开实施例提供的这一虚拟对象构建方法可以根据环境图像，得到环境图像中物体上的多个小平面，并在得到小平面后，先将多个小平面聚类为一个大平面以得到数量较少的多个大平面，再根据该多个大平面得到多个角点，此外将该多个角点中的不在物体上的角点筛除，从而仅根据物体上的角点来构建物体的虚拟对象，以完成对物体虚拟对象的构建。基于此，使得这一虚拟对象构建方法至少可以具有处理时间短、计算资源占用少、存储空间利用率高的特点，减少了对计算资源的要求和依赖，从而降低了对扩展现实系统的硬件计算资源的依赖。比如可以适用于常规的计算平台。
<设备实施例>
图4是根据一个实施例的虚拟对象构建装置400的原理框图。如图4所示，该虚拟对象构建装置400可以包括第一处理模块410、第二处理模块420和第三处理模块430。该虚拟对象构建装置400可以为图1所示的电子设备1000或包括该电子设备1000。
其中，第一处理模块410根据获取的环境图像，得到所述环境图像中的目标物体上的多个第一平面。第二处理模块420根据所述多个第一平面得到多个角点。第三处理模块430根据所述多个角点中的位于所述目标物体上的角点，构建对应所述目标物体的虚拟对象。
在本公开一个实施例中，所述第一处理模块410根据获取的环境图像，得到所述环境图像中的目标物体上的点的深度信息；根据所述目标物体上的点的深度信息，得到所述目标物体上的多个第一平面。
在本公开一个实施例中，所述第一处理模块410根据所述目标物体上的点的深度信息，获取所述目标物体上的多个第二平面；生成每一所述第二平面的法线；根据每一所述第二平面的法线对所述多个第二平面进行聚类，得到设定数量的多类第二平面；根据所述多类第二平面，得到所述目标物体上的多个第一平面，所述多类第二平面和所述多个第一平面一一对应。
在本公开一个实施例中，所述第一处理模块410获取设定数量的多个第一聚类中心，所述多个第一聚类中心为多条线；对于每一所述第二平面，根据所述第二平面的法线与每一所述第一聚类中心间的相对位置关系，对应计算所述第二平面与每一所述第一聚类中心的聚类值，并将所述第二平面归类到与其具有最大聚类值的第一聚类中心；对于每一所述第一聚类中心，对归类到所述第一聚类中心的各个第二平面的法线作加权平均处理，并将处理得到的线作为相应的第二聚类中心；生成所述第一聚类中心与相应第二聚类中心的相似度；对比所述相似度和设定的相似度阈值；在生成的任一所述相似度小于所述相似度阈值的情况下，以得到的每一第二聚类中心分别作为相应的第一聚类中心，并执行所述计算所述第二平面与每一所述第一聚类中心的聚类值的步骤；在生成的每一所述相似度均不小于所述相似度阈值的情况下，将归类到同一第一聚类中心的各个第二平面作为一类第二平面，以得到所述设定数量的多类第二平面。
在本公开一个实施例中，所述第二处理模块420对于所述多个第一平面中任意的两个第一平面，获取所述两个第一平面在无限延伸状态下的相交线；对于所述多个第一平面中的在无限延伸状态下与所述相交线相交的任一其他第一平面，以所述其他第一平面与所述相交线的交点作为一个角点，以得到多个角点。
在本公开一个实施例中，虚拟对象构建装置400还包括第四处理模块。第四处理模块在所述第三处理模块430构建对应所述目标物体的虚拟对象之前，以所述多个角点中的任一角点作为目标角点，获取所述多个角点中距离所述目标角点相对更近的三个其他角点；根据所述目标角点和所述三个其他角点得到两个三角形，所述三角形的三个顶点包括所述目标角点和任意两个所述其他角点；获取所述两个三角形的夹角值；检测所述夹角值是否在设定的取值范围内；在所述夹角值在所述取值范围内的情况下，确定所述目标角点为位于所述目标物体上的角点。
在本公开一个实施例中，所述第四处理模块在所述夹角值不在所述取值范围内的情况下，删除所述多个角点中的所述目标角点。
图5是根据另一个实施例的虚拟对象构建装置500的硬件结构示意图。该虚拟对象构建装置500可以为图1所示的电子设备1000或包括该电子设备1000。
如图5所示，该虚拟对象构建装置500包括处理器510和存储器520，该存储器520用于存储可执行的计算机程序，该处理器510用于根据该计算机程序的控制，执行如以上任意方法实施例的方法。
以上虚拟对象构建装置500的各模块可以由本实施例中的处理器510执行存储器520存储的计算机程序实现，也可以通过其他电路结构实现，在此不做限定。
此外，本公开实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序在被处理器执行时实现如以上任意方法实施例的方法。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (7)

1.一种虚拟对象构建方法，包括：
根据获取的环境图像，得到所述环境图像中的目标物体上的多个第一平面；
根据所述多个第一平面得到多个角点；
根据所述多个角点中的位于所述目标物体上的角点，构建对应所述目标物体的虚拟对象；
所述根据获取的环境图像，得到所述环境图像中的目标物体上的多个第一平面，包括：
根据获取的环境图像，得到所述环境图像中的目标物体上的点的深度信息；
根据所述目标物体上的点的深度信息，得到所述目标物体上的多个第一平面；
所述根据所述目标物体上的点的深度信息，得到所述目标物体上的多个第一平面，包括：
根据所述目标物体上的点的深度信息，获取所述目标物体上的多个第二平面；
生成每一所述第二平面的法线；
根据每一所述第二平面的法线对所述多个第二平面进行聚类，得到设定数量的多类第二平面；
根据所述多类第二平面，得到所述目标物体上的多个第一平面，所述多类第二平面和所述多个第一平面一一对应；
所述根据每一所述第二平面的法线对所述多个第二平面进行聚类，得到设定数量的多类第二平面，包括：
获取设定数量的多个第一聚类中心，所述多个第一聚类中心为多条线；
对于每一所述第二平面，根据所述第二平面的法线与每一所述第一聚类中心间的相对位置关系，对应计算所述第二平面与每一所述第一聚类中心的聚类值，并将所述第二平面归类到与其具有最大聚类值的第一聚类中心；
对于每一所述第一聚类中心，对归类到所述第一聚类中心的各个第二平面的法线作加权平均处理，并将处理得到的线作为相应的第二聚类中心；
生成所述第一聚类中心与相应第二聚类中心的相似度；
对比所述相似度和设定的相似度阈值；
在生成的任一所述相似度小于所述相似度阈值的情况下，以得到的每一第二聚类中心分别作为相应的第一聚类中心，并执行所述计算所述第二平面与每一所述第一聚类中心的聚类值的步骤；
在生成的每一所述相似度均不小于所述相似度阈值的情况下，将归类到同一第一聚类中心的各个第二平面作为一类第二平面，以得到所述设定数量的多类第二平面。
2.根据权利要求1所述的方法，其中，所述根据所述多个第一平面得到多个角点，包括：
对于所述多个第一平面中任意的两个第一平面，获取所述两个第一平面在无限延伸状态下的相交线；
对于所述多个第一平面中的在无限延伸状态下与所述相交线相交的任一其他第一平面，以所述其他第一平面与所述相交线的交点作为一个角点，以得到多个角点。
3.根据权利要求1所述的方法，其中，在所述构建对应所述目标物体的虚拟对象之前，所述方法还包括：
以所述多个角点中的任一角点作为目标角点，获取所述多个角点中距离所述目标角点相对更近的三个其他角点；
根据所述目标角点和所述三个其他角点得到两个三角形，所述三角形的三个顶点包括所述目标角点和任意两个所述其他角点；
获取所述两个三角形的夹角值；
检测所述夹角值是否在设定的取值范围内；
在所述夹角值在所述取值范围内的情况下，确定所述目标角点为位于所述目标物体上的角点。
4.根据权利要求3所述的方法，其中，所述方法还包括：
在所述夹角值不在所述取值范围内的情况下，删除所述多个角点中的所述目标角点。
5.一种虚拟对象构建装置，包括：
第一处理模块，用于根据获取的环境图像，得到所述环境图像中的目标物体上的多个第一平面；
第二处理模块，用于根据所述多个第一平面得到多个角点；
以及，第三处理模块，用于根据所述多个角点中的位于所述目标物体上的角点，构建对应所述目标物体的虚拟对象；
所述第一处理模块根据获取的环境图像，得到所述环境图像中的目标物体上的点的深度信息；根据所述目标物体上的点的深度信息，得到所述目标物体上的多个第一平面；
所述第一处理模块根据所述目标物体上的点的深度信息，获取所述目标物体上的多个第二平面；生成每一所述第二平面的法线；根据每一所述第二平面的法线对所述多个第二平面进行聚类，得到设定数量的多类第二平面；根据所述多类第二平面，得到所述目标物体上的多个第一平面，所述多类第二平面和所述多个第一平面一一对应；
所述第一处理模块获取设定数量的多个第一聚类中心，所述多个第一聚类中心为多条线；对于每一所述第二平面，根据所述第二平面的法线与每一所述第一聚类中心间的相对位置关系，对应计算所述第二平面与每一所述第一聚类中心的聚类值，并将所述第二平面归类到与其具有最大聚类值的第一聚类中心；对于每一所述第一聚类中心，对归类到所述第一聚类中心的各个第二平面的法线作加权平均处理，并将处理得到的线作为相应的第二聚类中心；生成所述第一聚类中心与相应第二聚类中心的相似度；对比所述相似度和设定的相似度阈值；在生成的任一所述相似度小于所述相似度阈值的情况下，以得到的每一第二聚类中心分别作为相应的第一聚类中心，并执行所述计算所述第二平面与每一所述第一聚类中心的聚类值的步骤；在生成的每一所述相似度均不小于所述相似度阈值的情况下，将归类到同一第一聚类中心的各个第二平面作为一类第二平面，以得到所述设定数量的多类第二平面。
6.一种虚拟对象构建装置，包括存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序，以实现根据权利要求1-4中任意一项所述的方法。
7.一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-4中任意一项所述的方法。
CN202110393913.4A 2021-04-13 2021-04-13 虚拟对象构建方法及装置 Active CN113240789B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110393913.4A CN113240789B (zh) 2021-04-13 2021-04-13 虚拟对象构建方法及装置
PCT/CN2021/118548 WO2022217830A1 (zh) 2021-04-13 2021-09-15 虚拟对象构建方法及装置、存储介质
US17/817,647 US11741678B2 (en) 2021-04-13 2022-08-04 Virtual object construction method, apparatus and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110393913.4A CN113240789B (zh) 2021-04-13 2021-04-13 虚拟对象构建方法及装置

Publications (2)

Publication Number Publication Date
CN113240789A CN113240789A (zh) 2021-08-10
CN113240789B true CN113240789B (zh) 2023-05-23

Family

ID=77128000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110393913.4A Active CN113240789B (zh) 2021-04-13 2021-04-13 虚拟对象构建方法及装置

Country Status (3)

Country Link
US (1) US11741678B2 (zh)
CN (1) CN113240789B (zh)
WO (1) WO2022217830A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240789B (zh) 2021-04-13 2023-05-23 青岛小鸟看看科技有限公司 虚拟对象构建方法及装置
CN113985383B (zh) * 2021-12-27 2022-05-31 广东维正科技有限公司 一种房屋外轮廓测绘方法、装置、系统和可读介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017300A (zh) * 2020-07-22 2020-12-01 青岛小鸟看看科技有限公司 混合现实图像的处理方法、装置及设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5988862A (en) * 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
US6420698B1 (en) * 1997-04-24 2002-07-16 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three-dimensional objects
CN102682477B (zh) * 2012-05-16 2015-04-08 南京邮电大学 一种基于结构先验的规则场景三维信息提取方法
CN103500340B (zh) * 2013-09-13 2017-02-08 南京邮电大学 基于主题知识迁移的人体行为识别方法
CN105139416A (zh) * 2015-10-10 2015-12-09 北京微尘嘉业科技有限公司 一种基于图像信息和深度信息的物体识别方法
US11348269B1 (en) * 2017-07-27 2022-05-31 AI Incorporated Method and apparatus for combining data to construct a floor plan
WO2019032736A1 (en) * 2017-08-08 2019-02-14 Smart Picture Technologies, Inc. METHOD OF MEASURING AND MODELING SPACES USING AUGMENTED REALITY WITHOUT MARKER
US10593120B1 (en) * 2018-08-28 2020-03-17 Kyocera Document Solutions Inc. Augmented reality viewing of printer image processing stages
CN109544677B (zh) * 2018-10-30 2020-12-25 山东大学 基于深度图像关键帧的室内场景主结构重建方法及系统
CN109584375B (zh) * 2018-11-21 2023-11-17 维沃移动通信有限公司 一种物体信息显示方法及移动终端
CN110163064B (zh) * 2018-11-30 2022-04-05 腾讯科技（深圳）有限公司 一种道路标志物的识别方法、装置及存储介质
US11508141B2 (en) * 2019-07-03 2022-11-22 Magic Leap, Inc. Simple environment solver using planar extraction
CN110852323B (zh) * 2019-11-18 2022-03-15 南京莱斯电子设备有限公司 一种基于角点的空中目标探测方法
CN111178127B (zh) * 2019-11-20 2024-02-20 青岛小鸟看看科技有限公司 显示目标物体的图像的方法、装置、设备及存储介质
EP4115392A4 (en) * 2020-03-04 2023-08-23 Magic Leap, Inc. SYSTEMS AND PROCESSES FOR EFFICIENT GENERATION OF FLOOR PLANS FROM 3D SCANS OF INTERIOR SCENES
CN111784765B (zh) * 2020-06-03 2024-04-26 Oppo广东移动通信有限公司 物体测量、虚拟对象处理方法及装置、介质和电子设备
US11797724B2 (en) * 2020-11-13 2023-10-24 Qualcomm Incorporated Scene layout estimation
CA3142154A1 (en) * 2021-01-08 2022-07-08 Zillow, Inc. Automated determination of image acquisition locations in building interiors using multiple data capture devices
CN113240789B (zh) * 2021-04-13 2023-05-23 青岛小鸟看看科技有限公司 虚拟对象构建方法及装置
US11651533B2 (en) * 2021-05-07 2023-05-16 Tencent America LLC Method and apparatus for generating a floor plan

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017300A (zh) * 2020-07-22 2020-12-01 青岛小鸟看看科技有限公司 混合现实图像的处理方法、装置及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵杰 等.基于涡轮叶片有限元分析离散数据点的NURBS曲面重构.中国制造业信息化》.2006,第35卷(第1期),第36-37页，第2节. *

Also Published As

Publication number Publication date
WO2022217830A1 (zh) 2022-10-20
US20220375179A1 (en) 2022-11-24
US11741678B2 (en) 2023-08-29
CN113240789A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
US20170154468A1 (en) Method and electronic apparatus for constructing virtual reality scene model
CN111369681A (zh) 三维模型的重构方法、装置、设备及存储介质
US11741678B2 (en) Virtual object construction method, apparatus and storage medium
CN111402143A (zh) 图像处理方法、装置、设备及计算机可读存储介质
KR20210013150A (ko) 조명 추정
JP7389840B2 (ja) 画像画質補強方法、装置、機器および媒体
CN111739167B (zh) 3d人头重建方法、装置、设备和介质
US20140184596A1 (en) Image based rendering
CN117274491B (zh) 三维重建模型的训练方法、装置、设备和介质
CN114792355B (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN111862349A (zh) 虚拟画笔实现方法、装置和计算机可读存储介质
CN116097316A (zh) 用于非模态中心预测的对象识别神经网络
CN113052962A (zh) 模型训练、信息输出方法，装置，设备以及存储介质
CN113470112A (zh) 图像处理方法、装置、存储介质以及终端
CN114708374A (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN115482325A (zh) 画面渲染方法、装置、系统、设备及介质
US11651533B2 (en) Method and apparatus for generating a floor plan
CN115311414A (zh) 基于数字孪生的实景渲染方法、装置及相关设备
CN114529648A (zh) 模型展示方法、设备、装置、电子设备及存储介质
CN116843807B (zh) 虚拟形象生成、模型的训练方法、装置及电子设备
CN116246026B (zh) 三维重建模型的训练方法、三维场景渲染方法及装置
CN116863078A (zh) 三维人体模型重建方法、装置、电子设备和可读介质
CN115965735B (zh) 纹理贴图的生成方法和装置
CN115393487B (zh) 一种虚拟角色模型处理方法、装置、电子设备及存储介质
CN115761123B (zh) 三维模型处理方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant