CN114758055A - 三维模型生成方法、xr设备及存储介质 - Google Patents
三维模型生成方法、xr设备及存储介质 Download PDFInfo
- Publication number
- CN114758055A CN114758055A CN202011584771.1A CN202011584771A CN114758055A CN 114758055 A CN114758055 A CN 114758055A CN 202011584771 A CN202011584771 A CN 202011584771A CN 114758055 A CN114758055 A CN 114758055A
- Authority
- CN
- China
- Prior art keywords
- dimensional model
- dimensional
- preset
- target
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 230000008569 process Effects 0.000 claims abstract description 35
- 238000010276 construction Methods 0.000 claims abstract description 31
- 230000001960 triggered effect Effects 0.000 claims description 17
- 238000012790 confirmation Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000011161 development Methods 0.000 abstract description 12
- 238000003384 imaging method Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000007654 immersion Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Artificial Intelligence (AREA)
- Architecture (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例提供一种三维模型生成方法、XR设备及存储介质，属于模型构建领域。该方法包括：获取三维扫描装置在扫描过程中发送的目标对象的三维数据流，并根据三维数据流构建目标对象的三维模型；计算三维模型与多个预设三维模型之间的匹配度，并根据多个匹配度确定与三维模型匹配的预设三维模型；根据与三维模型匹配的预设三维模型，更新三维模型，得到目标对象的目标三维模型。本发明实施例的技术方案能够实时且快速地生成目标对象的三维模型，提高三维场景的开发效率。
Description
技术领域
本发明涉及模型构建的技术领域，尤其涉及一种三维模型生成方法、XR设备及存储介质。
背景技术
扩展现实(Extended Reality，XR)是指通过计算机技术和可穿戴设备产生的一个真实与虚拟组合的、可人机交互的环境，包括增强现实(AR)，虚拟现实(VR)，混合现实(MR)等多种形式。通过AR、VR、MR等多种形式的融合，将现实世界无缝转换为完全沉浸式的虚拟世界，用户能够根据自己的意愿选择将现实世界扩展到虚拟世界的程度。目前，通过三维扫描装置扫描得到目标对象的三维数据，并由用户利用平面显示器对根据目标对象的三维数据构建的三维模型进行编辑，致使目标对象的三维模型的成像过程繁琐，无法实时地生成三维模型，降低了由多个三维模型组成的三维场景的开发效率。
发明内容
本发明实施例提供一种三维模型生成方法、XR设备及存储介质，旨在实时且快速地生成目标对象的三维模型，优化三维模型的成像过程，从而提高三维场景的开发效率。
第一方面，本发明实施例提供一种三维模型生成方法，应用于扩展现实XR设备，包括：
获取三维扫描装置在扫描过程中发送的目标对象的三维数据流，并根据所述三维数据流构建所述目标对象的三维模型；
计算所述三维模型与多个预设三维模型之间的匹配度，并根据多个所述匹配度确定与所述三维模型匹配的预设三维模型；
根据与所述三维模型匹配的预设三维模型，更新所述三维模型，得到所述目标对象的目标三维模型。
第二方面，本发明实施例还提供一种XR设备，所述XR设备包括处理器、存储器、存储在所述存储器上并可被所述处理器执行的计算机程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，其中所述计算机程序被所述处理器执行时，实现如本发明实施例提供的任一项三维模型生成方法的步骤。
第三方面，本发明实施例还提供一种存储介质，用于计算机可读存储，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如本发明实施例提供的任一项三维模型生成方法的步骤。
本发明实施例提供一种三维模型生成方法、XR设备及存储介质，本发明实施例通过获取三维扫描装置在扫描过程中发送的目标对象的三维数据流，并根据三维数据流构建目标对象的三维模型，然后计算三维模型与多个预设三维模型之间的匹配度，并根据多个匹配度确定与三维模型匹配的预设三维模型，根据与三维模型匹配的预设三维模型，更新三维模型，得到目标对象的目标三维模型。本发明实施例将XR技术与模型成像相结合，无需费时费力地生成完整的三维模型，通过预设三维模型能够实时且快速地匹配到目标对象的目标三维模型，优化了现有的三维模型的成像过程，大大提高了三维场景的开发效率。
附图说明
图1为本发明实施例提供的一种三维模型生成方法的步骤流程示意图；
图2为图1中的三维模型生成方法的子步骤流程示意图；
图3为实施本发明实施例提供的三维模型生成方法的一场景示意图；
图4为本发明实施例提供的另一种三维模型生成方法的步骤流程示意图；
图5为本发明实施例提供的一种XR设备的结构示意框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
本发明实施例提供一种三维模型生成方法、XR设备及存储介质。其中，该三维模型生成方法可应用于XR扩展现实设备中，XR设备能够摆脱外接计算机的束缚，实现从PC端到移动端的跨越，该XR设备包括VR设备、AR设备、MR设备和/或穿戴式设备等，例如XR设备为HoloSuit(世界上第一款实现了无线双向反馈的全身动捕XR设备)，该XR设备包括一件体感衣、一双手套以及一条运动裤。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参照图1，图1为本发明实施例提供的一种三维模型生成方法的步骤流程示意图。
如图1所示，该三维模型生成方法包括步骤S101至步骤S103。
步骤S101、获取三维扫描装置在扫描过程中发送的目标对象的三维数据流，并根据三维数据流构建目标对象的三维模型。
目前，通过三维扫描装置扫描得到目标对象的三维数据，并由用户利用平面显示器对根据目标对象的三维数据构建的三维模型进行编辑。对此，本发明实施例通过XR设备获取三维扫描装置在扫描过程中发送的目标对象的三维数据流，并由XR设备实时地对目标对象的三维数据流进行模型成像，能够快速生成目标对象的三维模型，提高由多个三维模型组成的三维场景的开发效率。
其中，目标对象可以为物体、人体、环境等。具体地，目标对象可以为车辆、沙发、房间等，可根据实际情况进行设定。三维数据流包括不间断发送的三维数据，XR设备能够实时地根据不间断发送的三维数据构建目标对象的三维模型，即该目标对象的三维模型随着三维数据流的堆叠而处于不断完善的过程中。需要说明的是，本实施例所指的三维模型包括构建不完整的三维模型，例如包括构建进度为50％的的三维模型，通过构建不完整的三维模型能够实现模型快速匹配，从而提高构建完整的三维模型的成像速度，优化了三维模型的成像过程。
其中，三维扫描装置包括三维扫描仪、航拍无人机、探测雷达、超景深相机等设备，三维扫描装置与XR设备通信连接，例如通过5G网络连接，能够实时且快速进行三维数据的传输。通过三维扫描装置对目标对象进行扫描，并实时地将扫描得到的目标对象的三维数据流发送至XR设备，XR设备可以获取三维扫描装置实时采集到的目标对象的三维数据流，并根据三维数据流构建目标对象的三维模型。通过三维扫描装置与XR设备之间的实时通信，实时且快速地生成目标对象的三维模型，有利于提高三维模型的开发效率。
示例性的，通过三维扫描仪(3Dimensional Scanner)扫描目标对象，得到目标对象的三维数据；三维扫描仪实时地将扫描得到的三维数据发送至XR设备，以使XR设备获取目标对象的三维数据流，并根据三维数据流构建目标对象的三维模型。其中，三维扫描仪又称为三维数字化仪(3Dimensional Digitizer)，该三维扫描仪与XR设备通信连接，例如通过5G网络信号实现三维数据的快速同步传输，并通过XR设备精确且快速地根据目标对象的三维数据对目标对象进行三维建模，得到三维模型。
具体地，通过三维扫描仪扫描目标对象，将真实世界的目标对象的立体彩色信息转换为计算机能直接处理的数字信号，得到空间内的物体表面每个采样点的三维空间坐标；将包含物体表面每个采样点的三维空间坐标发送至XR设备，XR设备基于接收的包含物体表面每个采样点的三维空间坐标，构建目标对象的三维模型。需要说明的是，三维扫描仪还包括彩色扫描仪，彩色扫描仪可以输出物体表面色彩纹理贴图，得到包含物体表面每个采样点的三维空间坐标和色彩的数字模型文件，使得XR设备构建的三维模型更加真实。
此外，借助雷达原理，通过激光或超声波等媒介，对目标对象进行深度测量，也可以得到目标对象的三维数据。具体地，测距器向目标对象发出深度测量信号，依据深度测量信号的反射时间或相位变化，可以得到目标对象的物体表面的空间位置，从而得到目标对象的三维数据。通过雷达原理能够方便且快速地获取目标对象的三维数据，实用性高。
在一实施例中，目标对象所在的空间中安装有超景深相机，三维数据包括超景深相机拍摄得到的清晰图像。例如，调整该超景深相机的焦距对目标对象的不同位置进行拍摄，以使该超景深相机拍摄得到目标对象的不同位置区域的清晰图像；XR设备获取超景深相机发送到多个清晰图像，并获取每个清晰图像的拍摄时刻点，并根据每个清晰图像的拍摄时刻点，确定每个清晰图像的拼接顺序；根据每个清晰图像的拼接顺序，拼接每个清晰图像，得到目标对象的三维模型。其中，按照每个清晰图像的拍摄时刻点的先后顺序，确定每个清晰图像的拼接顺序，其中，拍摄时刻点越靠前，则拼接顺序越靠前，拍摄时刻点越靠后，则拼接顺序越靠后。需要说明的是，通过超景深相机拍摄目标对象的不同位置区域的清晰图像，并将该清晰图像发送至XR设备，使得XR设备能够基于目标对象的不同位置区域的清晰图像，便捷地构建目标对象的三维模型。
步骤S102、计算三维模型与多个预设三维模型之间的匹配度，并根据多个匹配度确定与三维模型匹配的预设三维模型。
其中，XR设备中预存有多个预设三维模型，该预设三维模型为构建完整的三维模型，当然也可以为构建不完整的三维模型。计算目标对象的三维模型与多个预设三维模型之间的匹配度，得到与每个预设三维模型各自对应的匹配度。根据该多个匹配度可以确定至少一个预设三维模型，并建立目标对象的三维模型与至少一个预设三维模型之间的匹配关系。
在一实施例中，数据库存储有多个预设三维模型，将三维模型发送至数据库，以将该三维模型与数据库存储的每个预设三维模型进行对比，得到多个匹配度，该匹配度与预设三维模型相对应。
在一实施例中，如图2所示，根据多个匹配度确定与三维模型匹配的预设三维模型，包括：子步骤S1021至子步骤S1022。
子步骤S1021、从多个匹配度中选取至少一个目标匹配度。
在一实施例中，从多个匹配度中选取至少一个目标匹配度，包括：对多个匹配度进行排序，并按照排序顺序选取至少一个目标匹配度；和/或，从多个匹配度中选取大于或等于预设匹配度的至少一个目标匹配度。其中，可以对多个匹配度进行大小排序，并按照从大到小的排序顺序选取至少一个(例如预设数量个)目标匹配度，同时，选取的至少一个目标匹配度大于或等于预设匹配度，预设匹配度可以灵活设置，例如预设匹配度为90％，从而保证选取的目标匹配度对应的预设三维模型的准确性。
需要说明的是，也可以随机地从多个匹配度中选取至少一个目标匹配度，或者是按照本领域技术人员容易想到的其他规则选取至少一个目标匹配度，本实施例不做具体限定。
在一实施例中，预设匹配度根据三维模型的构建进度确定，构建进度可以根据三维数据流的接收进度确定，由于本实施例能够实时地根据获取的三维数据流构建目标对象的三维模型，因此构建进度与三维数据流的接收进度之间的误差较小。需要说明的是，三维模型的构建进度越大，预设匹配度也随之越大，三维模型的构建进度变小，预设匹配度也随之变小，接收进度、构建进度以及预设匹配度之间的关系可以由用户自行设置，可选的，通过映射关系表进行设置。示例性的，三维数据流的接收进度为30％时，通过映射关系表确定三维模型的构建进度为25％，预设匹配度为20％。
子步骤S1022、将至少一个目标匹配度对应的预设三维模型确定为与三维模型匹配的预设三维模型。
其中，匹配度与预设三维模型相对应，目标匹配度同样与预设三维模型相对应，将至少一个目标匹配度对应的预设三维模型确定为与三维模型匹配的预设三维模型，即建立目标对象的三维模型与至少一个预设三维模型之间的匹配关系，以便后续调用至少一个预设三维模型来更新目标对象的三维模型，无需费时费力地生成完整的三维模型，提高目标对象的三维模型的成像效率。
在一实施例中，对多个所述匹配度进行排序，并按照排序顺序选取至少一个目标匹配度；通过显示装置显示至少一个目标匹配度对应的预设三维模型；基于用户对显示的至少一个预设三维模型的触发操作，从至少一个预设三维模型中确定与所述三维模型匹配的预设三维模型。需要说明的是，排序顺序可以是从大到小的顺序，便于用户自行选取预设三维模型与三维模型进行匹配，加快了三维模型的成像过程。
步骤S103、根据与三维模型匹配的预设三维模型，更新三维模型，得到目标对象的目标三维模型。
其中，利用与三维模型匹配的预设三维模型将目标对象的三维模型替换，从而得到目标对象的目标三维模型，将未构建完成的三维模型更新为构建完成的预设三维模型，无需费时费力地生成完整的三维模型，能够实时且快速地生成目标对象的目标三维模型，优化了现有的三维模型的成像过程，大大提高了三维场景的开发效率。
在一实施例中，XR设备包括显示装置，该显示装置例如为多面屏、智能眼镜、智能头盔等。通过显示装置显示与三维模型匹配的预设三维模型，并根据接收的用户触发的确认指令选取预设三维模型，以及确定是否根据与三维模型匹配的预设三维模型，更新三维模型，从而得到目标对象的目标三维模型。
在一实施例中，显示目标三维模型；根据用户触发的编辑指令，对显示的目标三维模型进行编辑。其中，XR设备包括显示装置和控制装置，控制装置包括手持交互设备，例如为摇杆、遥控器、终端等。需要说明的是，通过显示装置显示目标三维模型，控制装置用于对显示的目标三维模型进行编辑，基于用户对控制装置的触发操作，生成编辑指令，根据用户触发的编辑指令，对显示的目标三维模型进行编辑。能够实现对目标三维模型的编辑，无需用户切换设备来编辑三维模型，优化了现有的三维模型的成像过程，大大提高了三维场景的开发效率。
在一实施例中，编辑指令包括模型调整指令。根据用户触发的模型调整指令，确定显示的目标三维模型的位置、色彩、纹理、尺寸和/或形状的模型调整参数；根据模型调整参数，对显示的目标三维模型进行调整。需要说明的是，用户可以通过控制装置触发模型调整指令，从而调整目标三维模型的位置、色彩、纹理、尺寸和/或形状等，XR设备基于模型调整指令生成模型调整参数，并按照模型调整参数对显示的目标三维模型进行调整，操作简单易懂，不同于通过平面显示屏来编辑三维模型，通过XR设备来编辑三维模型能够提高虚拟世界的沉浸感，从而提高用户的编辑体验。
在一实施例中，编辑指令包括模型组合指令。根据用户触发的模型组合指令，选取至少一个预设三维模型，并确定至少一个预设三维模型对应的模型组合参数；根据模型组合参数，将至少一个预设三维模型与显示的目标三维模型进行组合。其中，数据库中存储有多个预设三维模型。需要说明的是，用户可以通过控制装置触发模型组合指令，从而从数据库中选取至少一个预设三维模型，并确定如何将选取的预设三维模型与目标三维模型进行组合，组合过程的操作简单，能够在虚拟世界中以搭积木式的方式，快速的构建出接近真实效果的虚拟场景，不同于通过平面显示屏来编辑三维模型，通过XR设备进行模型组合能够最大程度的还原用户在虚拟世界的沉浸感，从而提高用户体验。
在一实施例中，得到目标对象的目标三维模型之后，将目标三维模型作为预设三维模型添加至多个预设三维模型中。例如，将目标三维模型存储至存储有数据库的指定文件中，该指定文件存储有多个预设三维模型，从而扩大数据库中的预设三维模型的数量，便于预设三维模型的匹配和调用。
请参照图3，图3为实施本发明实施例提供的三维模型生成方法的一场景示意图，如图3所示，三维扫描装置20对目标对象10进行扫描，得到目标对象10的三维数据；三维扫描装置20将采集到的目标对象10的三维数据汇集成三维数据流发送至XR设备30；XR设备30接收三维扫描装置20发送的目标对象10的三维数据流，并根据三维数据流构建目标对象10的三维模型，XR设备30计算三维模型与多个预设三维模型之间的匹配度，并根据多个匹配度确定与三维模型匹配的预设三维模型，根据与三维模型匹配的预设三维模型，更新三维模型，得到目标对象10的目标三维模型。
上述实施例提供的三维模型生成方法，通过获取三维扫描装置在扫描过程中发送的目标对象的三维数据流，并根据三维数据流构建目标对象的三维模型，计算三维模型与多个预设三维模型之间的匹配度，并根据多个匹配度确定与三维模型匹配的预设三维模型，根据与三维模型匹配的预设三维模型，更新三维模型，得到目标对象的目标三维模型。本发明实施例将XR技术与模型成像相结合，通过预设三维模型能够实时且快速地匹配到目标对象的目标三维模型，优化了现有的三维模型的成像过程，大大提高了三维场景的开发效率。
请参照图4，图4为本发明实施例提供的另一种三维模型生成方法的步骤流程示意图。
如图4所示，该三维模型生成方法包括步骤S201至S206。
步骤S201、获取三维扫描装置在扫描过程中发送的目标对象的三维数据流，并根据三维数据流构建目标对象的三维模型。
其中，目标对象可以为物体、人体、环境等。具体地，目标对象可以为车辆、沙发、房间等，可根据实际情况进行设定。三维数据流包括不间断发送的三维数据，XR设备能够实时地根据不间断发送的三维数据构建目标对象的三维模型，即该目标对象的三维模型随着三维数据流的堆叠而处于不断完善的过程中。
需要说明的是，本实施例所指的三维模型包括构建不完整的三维模型，例如包括构建进度为50％的的三维模型，通过构建不完整的三维模型能够实现模型快速匹配，从而提高构建完整的三维模型的快速成像，优化了三维模型的成像过程。
其中，三维扫描装置包括三维扫描仪、航拍无人机、探测雷达、超景深相机等设备，三维扫描装置与XR设备通信连接，例如通过5G网络连接，能够实时且快速进行三维数据的传输。通过三维扫描装置对目标对象进行扫描，并实时地将扫描得到的目标对象的三维数据流发送至XR设备，XR设备可以获取三维扫描装置实时采集到的目标对象的三维数据流，并根据三维数据流构建目标对象的三维模型。通过三维扫描装置与XR设备之间的实时通信，实时且快速地生成目标对象的三维模型，有利于提高三维模型的开发效率。
步骤S202、计算三维模型与多个预设三维模型之间的匹配度。
其中，XR设备中预存有多个预设三维模型，该预设三维模型为构建完整的三维模型，当然也可以为构建不完整的三维模型。计算目标对象的三维模型与多个预设三维模型之间的匹配度，得到与每个预设三维模型各自对应的匹配度。
步骤S203、若多个匹配度均小于预设匹配度，则继续获取三维扫描装置在扫描过程中发送的目标对象的三维数据流。
其中，若多个匹配度均小于预设匹配度，即多个匹配度不包括大于或等于预设匹配度的目标匹配度，则认为多个预设三维模型不能与三维模型相匹配，此时继续获取三维扫描装置在扫描过程中发送的目标对象的三维数据流，从而继续构建不完整的三维模型。例如，构建进度为25％的三维模型与多个预设三维模型之间的匹配度均小于预设匹配度，则继续获取三维扫描装置在扫描过程中发送的目标对象的三维数据流，以继续生成构建进度为25％以上(例如构建进度为30％)的三维模型。
步骤S204、根据继续获取到的三维数据流，更新三维模型。
其中，根据继续获取到的三维数据流，更新三维模型，从而得到构建进度更高的三维模型，构建进度高的三维模型更加完善，有利于后续计算三维模型与多个预设三维模型之间的匹配度，从而得到相匹配的预设三维模型。
在一实施例中，根据继续获取到的三维数据流，更新三维模型之后，还包括：确定更新的三维模型的构建进度，当构建进度大于或等于预设构建进度时，将更新的三维模型确认为目标对象的目标三维模型；或者，接收用户触发的确认指令，并基于确认指令将更新的三维模型确认为目标对象的目标三维模型。其中，构建进度可以根据三维数据流的接收进度确定，构建进度与三维数据流的接收进度之间的误差较小，当构建进度大于或等于预设构建进度时，将更新的三维模型确认为目标对象的目标三维模型，例如，预设构建进度为99％，当构建进度大于或等于99％，认为该更新的三维模型为完整的三维模型，将该完整的三维模型作为目标对象的目标三维模型，无需进行后续的预设三维模型的匹配。或者，当用户认为更新的三维模型达到标准时，用户通过控制装置等触发确认指令，XR设备接收用户触发的确认指令，并基于确认指令将更新的三维模型确认为目标对象的目标三维模型。
在一实施例中，对更新的三维模型进行修正，得到目标对象的目标三维模型；将目标三维模型作为预设三维模型添加至多个预设三维模型中。示例性的，获取更新的三维模型的形状信息和多个点阵的坐标信息，根据形状信息和多个点阵的坐标信息确定异常点阵，调整每个异常点阵的坐标信息，得到目标对象的目标三维模型。需要说明的是，根据形状信息和多个点阵的坐标信息可以确定三维模型的目标坐标信息，将目标坐标信息与多个点阵的坐标信息进行对比从而确定异常点阵，将异常点阵的的坐标信息调整为对应的目标坐标信息，即可得到目标对象的目标三维模型。通过模型修正能够对更新的三维模型进行修正，提高目标三维模型的完整性。将目标三维模型作为预设三维模型添加至多个预设三维模型中，便于预设三维模型的匹配和调用。
在一实施例中，XR设备包括图形处理装置，通过图形处理装置对更新的三维模型进行修正。其中，图形处理装置包括图形编辑模块和图形处理模块。图形编辑模块可适应模型编辑参数，可根据模型编辑参数编辑三维模型的位置、色彩、纹理、尺寸和/或形状的模型调整参数，或者根据模型组合参数将至少一个预设三维模型与显示的目标三维模型进行组合。通过图形处理模块可以主动或者被动地修正三维模型。
步骤S205、计算三维模型与多个预设三维模型之间的匹配度，并根据多个匹配度确定与三维模型匹配的预设三维模型。
其中，更新三维模型之后，继续计算目标对象的三维模型与多个预设三维模型之间的匹配度，得到与每个预设三维模型各自对应的匹配度。三维模型经过更新之后变得更加完整，三维模型的构建进度更高，有利于通过多个匹配度确定与三维模型匹配的预设三维模型。
在一实施例中，数据库存储有多个预设三维模型，将三维模型发送至数据库，以将该三维模型与数据库存储的每个预设三维模型进行对比，得到多个匹配度，该匹配度与预设三维模型相对应。
步骤S206、根据与三维模型匹配的预设三维模型，更新三维模型，得到目标对象的目标三维模型。
其中，利用与三维模型匹配的预设三维模型将目标对象的三维模型替换，从而得到目标对象的目标三维模型，将未构建完成的三维模型更新为构建完成的预设三维模型，无需费时费力地生成完整的三维模型，能够智能且快速地生成目标对象的目标三维模型，优化了现有的三维模型的成像过程，大大提高了三维场景的开发效率。
上述实施例提供的三维模型生成方法，通过获取三维扫描装置在扫描过程中发送的目标对象的三维数据流，并根据三维数据流构建目标对象的三维模型，计算三维模型与多个预设三维模型之间的匹配度，若多个匹配度均小于预设匹配度，则继续获取三维扫描装置在扫描过程中发送的目标对象的三维数据流，根据继续获取到的三维数据流，更新三维模型，计算三维模型与多个预设三维模型之间的匹配度，并根据多个匹配度确定与三维模型匹配的预设三维模型，根据与三维模型匹配的预设三维模型，更新三维模型，得到目标对象的目标三维模型。本发明实施例将XR技术与模型成像相结合，通过预设三维模型能够实时且快速地匹配到目标对象的目标三维模型，优化了现有的三维模型的成像过程，大大提高了三维场景的开发效率。
请参阅图5，图5为本发明实施例提供的一种XR设备的结构示意性框图。该XR扩展现实设备包括VR设备、AR设备、MR设备和/或穿戴式设备等，例如XR设备为HoloSuit(世界上第一款实现了无线双向反馈的全身动捕XR设备)，该XR设备包括一件体感衣、一双手套以及一条运动裤。
如图5所示，XR设备300包括处理器301和存储器302，处理器301和存储器302通过总线303连接，该总线比如为I2C(Inter-integrated Circuit)总线。
具体地，处理器301用于提供计算和控制能力，支撑整个XR设备的运行。处理器301可以是中央处理单元(Central Processing Unit，CPU)，该处理器301还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
具体地，存储器302可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本发明实施例相关的部分结构的框图，并不构成对本发明实施例所应用于其上的XR设备的限定，具体的XR设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器用于运行存储在存储器中的计算机程序，并在执行所述计算机程序时实现本发明实施例提供的任意一种所述的三维模型生成方法。
在一实施例中，所述处理器用于运行存储在存储器中的计算机程序，并在执行所述计算机程序时实现如下步骤：
获取三维扫描装置在扫描过程中发送的目标对象的三维数据流，并根据所述三维数据流构建所述目标对象的三维模型；
计算所述三维模型与多个预设三维模型之间的匹配度，并根据多个所述匹配度确定与所述三维模型匹配的预设三维模型；
根据与所述三维模型匹配的预设三维模型，更新所述三维模型，得到所述目标对象的目标三维模型。
在一实施例中，所述处理器在实现所述根据多个所述匹配度确定与所述三维模型匹配的预设三维模型时，用于实现：
从多个所述匹配度中选取至少一个目标匹配度；
将至少一个所述目标匹配度对应的预设三维模型确定为与所述三维模型匹配的预设三维模型。
在一实施例中，所述处理器在实现所述从多个所述匹配度中选取至少一个目标匹配度时，用于实现：
对多个所述匹配度进行排序，并按照排序顺序选取至少一个目标匹配度；和/或
从多个所述匹配度中选取大于或等于预设匹配度的至少一个目标匹配度。
在一实施例中，所述处理器在实现所述计算所述三维模型与多个预设三维模型之间的匹配度之后，还用于实现：
若多个所述匹配度均小于预设匹配度，则继续获取三维扫描装置在扫描过程中发送的所述目标对象的三维数据流；
根据继续获取到的三维数据流，更新所述三维模型；
执行所述计算所述三维模型与多个预设三维模型之间的匹配度的步骤。
在一实施例中，所述处理器在实现所述根据继续获取到的三维数据流，更新所述三维模型之后，还用于实现：
确定更新的所述三维模型的构建进度，当所述构建进度大于或等于预设构建进度时，将更新的所述三维模型确认为所述目标对象的目标三维模型；或者
接收用户触发的确认指令，并基于所述确认指令将更新的所述三维模型确认为所述目标对象的目标三维模型。
在一实施例中，所述处理器在实现所述根据继续获取到的三维数据流，更新所述三维模型之后，还用于实现：
对更新的所述三维模型进行修正，得到所述目标对象的目标三维模型；
将所述目标三维模型作为预设三维模型添加至所述多个预设三维模型中。
在一实施例中，所述处理器还用于实现：
显示所述目标三维模型；
根据用户触发的编辑指令，对显示的所述目标三维模型进行编辑。
在一实施例中，所述处理器在实现所述根据用户触发的编辑指令，对显示的所述目标三维模型进行编辑时，用于实现：
根据用户触发的模型调整指令，确定显示的所述目标三维模型的位置、色彩、纹理、尺寸和/或形状的模型调整参数；
根据所述模型调整参数，对显示的所述目标三维模型进行调整；或者
根据用户触发的模型组合指令，选取至少一个预设三维模型，并确定至少一个所述预设三维模型对应的模型组合参数；
根据所述模型组合参数，将至少一个所述预设三维模型与显示的所述目标三维模型进行组合。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的XR设备的具体工作过程，可以参考前述三维模型生成方法实施例中的对应过程，在此不再赘述。
本发明实施例还提供一种存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如本发明实施例提供的任一项三维模型生成方法的步骤。
其中，所述存储介质可以是前述实施例所述的XR设备的内部存储单元，例如所述XR设备的硬盘或内存。所述存储介质也可以是所述XR设备的外部存储设备，例如所述XR设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
应当理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种三维模型生成方法，其特征在于，应用于扩展现实XR设备，包括：
获取三维扫描装置在扫描过程中发送的目标对象的三维数据流，并根据所述三维数据流构建所述目标对象的三维模型；
计算所述三维模型与多个预设三维模型之间的匹配度，并根据多个所述匹配度确定与所述三维模型匹配的预设三维模型；
根据与所述三维模型匹配的预设三维模型，更新所述三维模型，得到所述目标对象的目标三维模型。
2.根据权利要求1所述的三维模型生成方法，其特征在于，所述根据多个所述匹配度确定与所述三维模型匹配的预设三维模型，包括：
从多个所述匹配度中选取至少一个目标匹配度；
将至少一个所述目标匹配度对应的预设三维模型确定为与所述三维模型匹配的预设三维模型。
3.根据权利要求2所述的三维模型生成方法，其特征在于，所述从多个所述匹配度中选取至少一个目标匹配度，包括：
对多个所述匹配度进行排序，并按照排序顺序选取至少一个目标匹配度；和/或
从多个所述匹配度中选取大于或等于预设匹配度的至少一个目标匹配度。
4.根据权利要求1所述的三维模型生成方法，其特征在于，所述计算所述三维模型与多个预设三维模型之间的匹配度之后，还包括：
若多个所述匹配度均小于预设匹配度，则继续获取所述三维扫描装置在扫描过程中发送的目标对象的三维数据流；
根据继续获取到的三维数据流，更新所述三维模型；
执行所述计算所述三维模型与多个预设三维模型之间的匹配度的步骤。
5.根据权利要求4所述的三维模型生成方法，其特征在于，所述根据继续获取到的三维数据流，更新所述三维模型之后，还包括：
确定更新的所述三维模型的构建进度，当所述构建进度大于或等于预设构建进度时，将更新的所述三维模型确认为所述目标对象的目标三维模型；或者
接收用户触发的确认指令，并基于所述确认指令将更新的所述三维模型确认为所述目标对象的目标三维模型。
6.根据权利要求4所述的三维模型生成方法，其特征在于，所述根据继续获取到的三维数据流，更新所述三维模型之后，还包括：
对更新的所述三维模型进行修正，得到所述目标对象的目标三维模型；
将所述目标三维模型作为预设三维模型添加至所述多个预设三维模型中。
7.根据权利要求1-6中任一项所述的三维模型生成方法，其特征在于，所述方法还包括：
显示所述目标三维模型；
根据用户触发的编辑指令，对显示的所述目标三维模型进行编辑。
8.根据权利要求7所述的三维模型生成方法，其特征在于，所述根据用户触发的编辑指令，对显示的所述目标三维模型进行编辑，包括：
根据用户触发的模型调整指令，确定显示的所述目标三维模型的位置、色彩、纹理、尺寸和/或形状的模型调整参数；
根据所述模型调整参数，对显示的所述目标三维模型进行调整；或者
根据用户触发的模型组合指令，选取至少一个预设三维模型，并确定至少一个所述预设三维模型对应的模型组合参数；
根据所述模型组合参数，将至少一个所述预设三维模型与显示的所述目标三维模型进行组合。
9.一种XR设备，其特征在于，所述XR设备包括处理器、存储器、存储在所述存储器上并可被所述处理器执行的计算机程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，其中所述计算机程序被所述处理器执行时，实现如权利要求1至8中任一项所述的三维模型生成方法的步骤。
10.一种存储介质，用于计算机可读存储，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1至8中任一项所述的三维模型生成方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011584771.1A CN114758055A (zh) | 2020-12-28 | 2020-12-28 | 三维模型生成方法、xr设备及存储介质 |
| PCT/CN2021/133183 WO2022142908A1 (zh) | 2020-12-28 | 2021-11-25 | 三维模型生成方法、xr设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011584771.1A CN114758055A (zh) | 2020-12-28 | 2020-12-28 | 三维模型生成方法、xr设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114758055A true CN114758055A (zh) | 2022-07-15 |
Family
ID=82260193
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011584771.1A Pending CN114758055A (zh) | 2020-12-28 | 2020-12-28 | 三维模型生成方法、xr设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114758055A (zh) |
| WO (1) | WO2022142908A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116704156A (zh) * | 2023-04-28 | 2023-09-05 | 北京优酷科技有限公司 | 模型生成方法、电子设备及模型生成系统 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115457202B (zh) * | 2022-09-07 | 2023-05-16 | 北京四维远见信息技术有限公司 | 一种三维模型更新的方法、装置及存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105913492B (zh) * | 2016-04-06 | 2019-03-05 | 浙江大学 | 一种rgbd图像中物体形状的补全方法 |
| CN109685907A (zh) * | 2017-10-18 | 2019-04-26 | 深圳市掌网科技股份有限公司 | 基于增强现实的图像结合方法及系统 |
| US20190251744A1 (en) * | 2018-02-12 | 2019-08-15 | Express Search, Inc. | System and method for searching 3d models using 2d images |
| CN111179408B (zh) * | 2018-11-12 | 2024-04-12 | 北京物语科技有限公司 | 三维建模的方法及设备 |
| CN113436350A (zh) * | 2021-07-07 | 2021-09-24 | 武汉湾流科技股份有限公司 | 一种三维模型生成方法及系统 |
-
2020
- 2020-12-28 CN CN202011584771.1A patent/CN114758055A/zh active Pending
-
2021
- 2021-11-25 WO PCT/CN2021/133183 patent/WO2022142908A1/zh unknown
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116704156A (zh) * | 2023-04-28 | 2023-09-05 | 北京优酷科技有限公司 | 模型生成方法、电子设备及模型生成系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022142908A1 (zh) | 2022-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109584151B (zh) | 人脸美化方法、装置、终端及存储介质 | |
| CN104835138B (zh) | 使地基图像和航拍图像对准 | |
| JP2021527895A (ja) | オブジェクト・モデリング動作方法及び装置並びにデバイス | |
| CN108286945B (zh) | 基于视觉反馈的三维扫描系统和方法 | |
| US11315313B2 (en) | Methods, devices and computer program products for generating 3D models | |
| JP6647433B1 (ja) | 点群データ通信システム、点群データ送信装置および点群データ送信方法 | |
| CN113436270B (zh) | 传感器标定方法及装置、电子设备和存储介质 | |
| JP2014106681A5 (zh) | ||
| CN113205560B (zh) | 多深度相机的标定方法、装置、设备及存储介质 | |
| WO2022142908A1 (zh) | 三维模型生成方法、xr设备及存储介质 | |
| CN112270736B (zh) | 增强现实处理方法及装置、存储介质和电子设备 | |
| JP2013254480A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| US20170330384A1 (en) | Product Image Processing Method, and Apparatus and System Thereof | |
| CN114782646A (zh) | 房屋模型的建模方法、装置、电子设备和可读存储介质 | |
| KR20210097559A (ko) | 3차원 가상 공간을 구축하기 위한 방법, 컴퓨터 판독 가능한 기록 매체, 컴퓨터 프로그램 및 장치 | |
| CN112887601B (zh) | 拍摄方法、装置及电子设备 | |
| JP7040511B2 (ja) | 情報処理装置および方法 | |
| US20200211211A1 (en) | Simultaneous localization and mapping (slam) devices with scale determination and methods of operating the same | |
| CN115278084A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| KR20220169472A (ko) | 센서 캘리브레이트 방법 및 장치, 전자 기기와 저장 매체 | |
| KR102146839B1 (ko) | 실시간 가상현실 구축을 위한 시스템 및 방법 | |
| CN114359425A (zh) | 正射图像生成方法及装置、正射指数图生成方法及装置 | |
| JP2016071496A (ja) | 情報端末装置、方法及びプログラム | |
| CN114723923B (zh) | 一种传动解决方案模拟展示系统和方法 | |
| JP2020057038A (ja) | 変更画素領域抽出装置、画像処理システム、変更画素領域抽出方法、画像処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |