CN114371807B - 混合现实显示方法、三维扫描设备及存储介质 - Google Patents

混合现实显示方法、三维扫描设备及存储介质 Download PDF

Info

Publication number
CN114371807B
CN114371807B CN202210289927.6A CN202210289927A CN114371807B CN 114371807 B CN114371807 B CN 114371807B CN 202210289927 A CN202210289927 A CN 202210289927A CN 114371807 B CN114371807 B CN 114371807B
Authority
CN
China
Prior art keywords
dimensional model
target object
dimensional
displayed
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210289927.6A
Other languages
English (en)
Other versions
CN114371807A (zh
Inventor
区士超
刘晓涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Super Node Innovative Technology Shenzhen Co ltd
Original Assignee
Super Node Innovative Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Super Node Innovative Technology Shenzhen Co ltd filed Critical Super Node Innovative Technology Shenzhen Co ltd
Priority to CN202210289927.6A priority Critical patent/CN114371807B/zh
Publication of CN114371807A publication Critical patent/CN114371807A/zh
Application granted granted Critical
Publication of CN114371807B publication Critical patent/CN114371807B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例提供一种混合现实显示方法、三维扫描设备及存储介质，属于图像处理领域。该方法包括：通过显示装置实时显示放置于三维扫描设备上的目标对象的三维模型重建画面；在所述目标对象的初始三维模型重建完成时，显示所述三维扫描设备上的相机装置在当前时刻对所述目标对象进行拍摄得到的RGB图像；响应于用户触发的三维模型切换操作，将显示的所述RGB图像切换为所述目标对象的对应三维模型。本发明实施例的技术方案提高了目标对象的损坏检查的便利性和准确性。

Description

混合现实显示方法、三维扫描设备及存储介质
技术领域
本发明涉及图像处理领域，尤其涉及一种混合现实显示方法、三维扫描设备及存储介质。
背景技术
人们通过物流公司、快递公司或者航空公司托运行李、家具、家电等物品，但在托运行李、家具、家电等物品时需要对行李、家具、家电等物品进行跟踪检测和实时稽查行李、家具、家电等物品是否发生破损，进而保证行李、家具、家电等物品的安全运达。目前，对行李、家具、家电等物品很难进行全方面度无死角的检测，如果行李、家具、家电等物品在运输过程中发生小面积的几何形变或者破损，则很难及时发现，这会导致在行李、家具、家电等物品的运输过程中，可能出现物品损坏或丢失的风险，影响用户的体验效果。
发明内容
本发明实施例提供了一种混合现实显示方法、三维扫描设备及存储介质，旨在提高用户对行李、家具、家电等物品进行损坏检查的便利性和准确性。
第一方面，本发明实施例提供一种混合现实显示方法，包括：
实时显示放置于三维扫描设备上的目标对象的三维模型重建画面；
在所述目标对象的初始三维模型重建完成时，显示所述三维扫描设备上的相机装置在当前时刻对所述目标对象进行拍摄得到的RGB图像；
响应于用户触发的三维模型切换操作，将显示的所述RGB图像切换为所述目标对象的对应三维模型。
第二方面，本发明实施例还提供一种三维扫描设备，所述三维扫描设备包括显示装置、处理器、存储器、存储在所述存储器上并可被所述处理器执行的计算机程序以及用于实现所述显示装置、所述处理器和所述存储器之间的连接通信的数据总线，其中所述计算机程序被所述处理器执行时，实现如本发明说明书提供的任一项混合现实显示方法的步骤。
第三方面，本发明实施例还提供一种存储介质，用于计算机可读存储，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如本发明说明书提供的任一项显示的方法的步骤。
本发明实施例提供一种混合现实显示方法、三维扫描设备及存储介质，该混合现实显示方法通过实时显示放置于三维扫描设备上的目标对象的三维模型重建画面，在目标对象的初始三维模型重建完成时，显示三维扫描设备上的相机装置在当前时刻对目标对象进行拍摄得到的RGB图像，响应于用户触发的三维模型切换操作，将显示的RGB图像切换为目标对象的三维模型，从而使得用户能够预览目标对象的三维重建过程，而通过显示目标对象的RGB图像以及用户手动将显示的RGB图像切换为目标对象的三维模型，可以使目标对象的RGB图像和虚拟的三维模型进行无缝融合，以实现虚拟与现实之间的融合，连续的三维模型渲染弥补了离散的查看RGB图像方式所丢失的空间感，又不会让简陋的三维模型让用户失去查看目标对象破损的能力。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是实施本发明实施例提供的混合现实显示方法的一场景示意图；
图2是实施本发明实施例提供的混合现实显示方法的另一场景示意图；
图3是本发明实施例提供的一种混合现实显示方法的流程示意图；
图4是本发明实施例中的三维模型重建画面的一示意图；
图5是本发明实施例中的三维模型重建画面的另一示意图；
图6是本发明实施例中的三维模型重建画面的另一示意图；
图7是本发明实施例中的三维模型重建画面的另一示意图；
图8是本发明实施例中的三维模型重建画面的另一示意图；
图9是本发明实施例中的三维模型重建画面的另一示意图；
图10是本发明实施例中的目标对象的RGB图像的一示意图；
图11是本发明实施例中的目标对象的三维模型的一示意图；
图12是本发明实施例提供的一种三维扫描设备的结构示意框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。下面结合附图，对本发明的一些实施例作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
目前，对行李、家具、家电等物品很难进行全方面度无死角的检测，如果行李、家具、家电等物品在运输过程中发生小面积的几何形变或者破损，则很难及时发现，这会导致在行李、家具、家电等物品的运输过程中，可能出现物品损坏或丢失的风险，影响用户的体验效果。
为解决上述问题，本发明实施例提供了一种混合现实显示方法、三维扫描设备及存储介质，该混合现实显示方法通过实时显示放置于三维扫描设备上的目标对象的三维模型重建画面，在目标对象的初始三维模型重建完成时，显示三维扫描设备上的相机装置在当前时刻对目标对象进行拍摄得到的RGB图像，响应于用户触发的三维模型切换操作，将显示的RGB图像切换为目标对象的三维模型，从而使得用户能够预览目标对象的三维重建过程，而通过将显示的RGB图像切换为目标对象的三维模型，可以使目标对象的RGB图像和虚拟的三维模型进行无缝融合，以实现虚拟与现实之间的融合，连续的三维模型渲染弥补了离散的查看RGB图像方式所丢失的空间感，又不会让简陋的三维模型让用户失去查看目标对象破损的能力，方便用户全面的对目标对象进行损坏检测，提高了目标对象的损坏检查的便利性和准确性。
请参阅图1，图1是实施本发明实施例提供的混合现实显示方法的一场景示意图。如图1所示，三维扫描设备100包括称重装置110、第一旋转机构120、第二旋转机构130、垂直升降机构140、旋转力臂150和显示装置160，第一旋转机构120通过旋转力臂150与第二旋转机构130连接，第二旋转机构130和垂直升降机构140连接，称重装置110用于放置目标对象170，称重装置110还用于对目标对象170进行称重。其中，相机装置121包括单目深度相机、多目深度相机，目标对象170可以包括行李、家具、家电、人偶等，显示装置160可以包括触摸屏或液晶显示屏。
示例性的，第一旋转机构120上设有相机装置121，第一旋转机构120为垂直180°旋转机构，用于调整相机装置121的俯仰角，使得相机装置121能够在俯角90°至仰角0°之间拍摄目标对象170。第二旋转机构130为水平360°旋转机构，第二旋转机构130用于驱动旋转力臂150水平旋转0°至360°，从而带动相机装置121水平旋转0°至360°。垂直升降机构140用于调整第一旋转机构120、第二旋转机构130和旋转力臂150与称重装置110之间的距离。
示例性的，三维扫描设备100还包括处理器，该处理器用于获取称重装置110的输出值，当称重装置110的输出值大于预设值时，可以确定称重装置110上放置有目标对象170，此时处理器控制相机装置121在水平方向上对目标对象170进行360°拍摄，并在拍摄的过程中，使用拍摄得到的图像数据实时地对目标对象170进行三维模型重建，同时通过显示装置160实时显示目标对象170的三维模型重建画面；在目标对象的初始三维模型重建完成时，显示设备200显示三维扫描设备上的相机装置121在当前时刻对目标对象170进行拍摄得到的RGB图像；在目标对象170的目标三维模型重建完成时，显示目标三维模型，其中，初始三维模型的精度小于目标三维模型的精度。
示例性的，若相机装置121与目标对象170之间的相对高度不处于预设高度范围内，则控制垂直升降机构140运行，以调整相机装置121与目标对象170之间的相对高度，直至相机装置121与目标对象170之间的相对高度处于预设高度范围内；在相机装置121与目标对象170之间的相对高度处于预设高度范围内时，控制相机装置121在水平方向上对目标对象170进行360°拍摄，并在拍摄的过程中，使用拍摄得到的图像数据实时地对目标对象170进行三维模型重建。
请参阅图2，图2是实施本发明实施例提供的混合现实显示方法的另一场景示意图。如图2所示，三维扫描设备100与显示设备200通信连接，显示设备200包括显示装置210。其中，三维扫描设备100可以通过有线或无线的方式与显示设备200通信连接。显示设备200可以为手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等。
示例性的，三维扫描设备100的处理器用于获取称重装置110的输出值，当称重装置110的输出值大于预设值时，可以确定称重装置110上放置有目标对象170，此时处理器控制相机装置121在水平方向上对目标对象170进行360°拍摄，并在拍摄的过程中，使用拍摄得到的图像数据实时地对目标对象170进行三维模型重建，同时将目标对象170的三维模型重建画面发送给显示设备200，显示设备200通过显示装置210实时显示目标对象170的三维模型重建画面，在目标对象的初始三维模型重建完成时，显示设备200通过显示装置210显示三维扫描设备上的相机装置121在当前时刻对目标对象170进行拍摄得到的RGB图像；在目标对象170的目标三维模型重建完成时，显示目标三维模型，其中，初始三维模型的精度小于目标三维模型的精度。
请参照图3，图3是本发明实施例提供的一种混合现实显示方法的流程示意图。该混合现实显示方法可以应用于三维扫描设备，也可以应用于显示设备。
如图3所示，该混合现实显示方法包括步骤S101至步骤S103。
步骤S101、实时显示放置于三维扫描设备上的目标对象的三维模型重建画面。
示例性的，当检测到三维扫描设备上放置有目标对象时，三维扫描设备控制相机装置在水平方向上对目标对象进行360°拍摄，并在拍摄的过程中，使用拍摄得到的图像数据实时地对目标对象进行三维模型重建，同时实时显示目标对象的三维模型重建画面。其中，目标对象包括但不限于行李、家具、家电、人偶等。
可以理解的是，目标对象的三维模型重建是一个连续的过程，在目标对象的三维模型重建过程中，不同时刻的目标对象的三维模型重建画面不同，随着重建时间的增加，目标对象的三维模型会越来越完整。例如，图4至图9为目标对象在不同时刻下的三维模型重建画面，如图4所示，目标对象在A时刻下的三维模型为三维模型11，如图5所示，目标对象在B时刻下的三维模型为三维模型12，如图6所示，目标对象在C时刻下的三维模型为三维模型13，如图7所示，目标对象在D时刻下的三维模型为三维模型14，如图8所示，目标对象在E时刻下的三维模型为三维模型15，如图9所示，目标对象在F时刻下的三维模型为三维模型16。
步骤S102、在目标对象的初始三维模型重建完成时，显示三维扫描设备上的相机装置在当前时刻对目标对象进行拍摄得到的RGB图像。
示例性的，目标对象的三维模型重建的具体实现方式包括：获取相机装置在围绕目标对象旋转的每一时刻的相机位姿；基于每一时刻的相机位姿和相机装置的旋转矩阵，将相机装置采集到的点云数据转换到相同的坐标系下，得到每一时刻的目标点云数据，然后基于三维重建算法和每一时刻的目标点云数据对目标对象进行三维模型重建。其中，三维重建算法可以为TSDF(Truncated Signed Distance Function)算法，目标对象的初始三维模型是基于三维重建算法和相机装置在不同时刻采集到的点云数据重建的。利用TSDF算法对目标对象的三维模型进行重建，可以保证目标对象的三维模型重建的实时性。
示例性的，在目标对象的初始三维模型重建完成后，三维扫描设备获取相机装置采集到的全部深度图，并利用针孔相机模型公式将全部深度度投影到相同的坐标系，形成目标对象的融合点云数据集；利用Delaunay三角剖分算法（Delaunay triangulationalgorithm），使用目标对象的融合点云数据集生成目标对象的初始网格模型；对目标对象的初始网格模型进行平滑处理，得到目标网络模型，并对目标网络模型进行高清贴图，得到目标对象的目标三维模型。其中，目标三维模型的精度高于初始三维模型的精度。
在一实施例中，响应于用户对该RGB图像的缩放操作，对显示的RGB图像进行缩放处理。其中，所述缩放处理包括缩小处理或放大处理，用户对RGB图像的缩放操作包括用户对鼠标滚轮的第一滚动操作或第二滚动操作，第一滚动操作为用户向着鼠标滚轮的第一方向滚动鼠标滚轮，第二滚动操作为用户向着鼠标滚轮的第二方向滚动鼠标滚轮，第一方向与第二方向不同。通过对目标对象的RGB图像进行缩放处理，便于用户对目标对象进行仔细的检查。
示例性的，响应于用户对鼠标滚轮的第一滚动操作，获取鼠标滚轮的滚轮距离，并根据鼠标滚轮的滚轮距离，确定RGB图像的放大倍数；按照确定的放大倍数，在RGB图像中的鼠标图标对应的位置对RGB图像进行放大处理。
示例性的，响应于用户对鼠标滚轮的第二滚动操作，获取鼠标滚轮的滚轮距离，根据鼠标滚轮的滚轮距离，按照确定RGB图像的缩小倍数；确定按照该缩小倍数进行缩小后的RGB图像是否铺满显示屏，若按照该缩小倍数进行缩小后的RGB图像铺满显示屏，则按照该缩小倍数，在RGB图像中的鼠标图标对应的位置对RGB图像进行缩小处理。
示例性的，若按照该缩小倍数进行缩小后的RGB图像未铺满显示屏，则将显示的RGB图像切换为目标对象的对应三维模型；响应于用户对三维模型的缩放操作，对显示的三维模型进行缩放处理。其中，通过在缩小RGB图像的过程中，若检测到缩小后的RGB图像未铺满显示屏，则自动将RGB图像切换为目标对象的对应三维模型，这样可以继续让用户对目标对象进行缩放操作，极大地提高了用户体验。
步骤S103、响应于用户触发的三维模型切换操作，将显示的RGB图像切换为目标对象的对应三维模型。
示例性的，三维模型切换操作包括以下任一项：用户对与显示装置连接的鼠标的长按操作、用户对与显示装置连接的鼠标的长按拖拽操作、用户对显示装置的显示页面内的预设图标的第一预设操作。其中，该显示装置包括三维扫描设备上的显示屏或与三维扫描设备通信连接的显示设备上的显示屏，预设图标可以基于实际情况进行设置，本实施例对此不做具体限定。
示例性的，响应于用户触发的三维模型切换操作，将相机装置拍摄RGB图像时的相机姿态确定为在目标对象的三维重建坐标系下的初始虚拟相机姿态；根据三维模型切换操作和初始虚拟相机姿态，确定目标对象的目标三维模型，并将显示的RGB图像切换为待显示的三维模型。
示例性的，根据三维模型切换操作和该初始虚拟相机姿态，确定目标虚拟相机姿态；将目标对象在目标虚拟相机姿态下的三维模型确定为待显示的三维模型。其中，显示的三维模型随着长按拖拽操作的拖拽位移的改变而发生变化。例如，若三维模型切换操作为用户对与显示装置连接的鼠标的长按拖拽操作，则获取该长按拖拽操作的拖拽位移，并根据该拖拽位移和初始相机姿态，确定目标虚拟相机姿态；将目标对象在目标虚拟相机姿态下的三维模型确定为待显示的三维模型，并将显示的RGB图像切换为待显示的三维模型。
示例性的，显示的三维模型随着用户对鼠标的长按操作的长按时长的改变而发生变化。例如，响应于用户对鼠标的长按操作，将显示的RGB图像切换为目标对象在初始虚拟相机姿态下的三维模型，并以间隔预设时间更新初始虚拟相机姿态，然后将显示的三维模型切换为目标对象在更新后的初始虚拟相机姿态下的三维模型。其中，预设时间可以基于实际情况进行设置，本实施例对此不做具体限定。通过自动改变显示的三维模型，可以更加的方便用户全方位的检查目标对象。
示例性的，显示的三维模型随着用户对预设图标的第一预设操作的触发时长的改变而发生变化。例如，响应于用户对预设图标的第一预设操作，将显示的RGB图像切换为目标对象在初始虚拟相机姿态下的三维模型，并以间隔预设时间更新初始虚拟相机姿态，然后将显示的三维模型切换为目标对象在更新后的初始虚拟相机姿态下的三维模型。其中，预设时间可以基于实际情况进行设置，本实施例对此不做具体限定。通过自动改变显示的三维模型，可以更加的方便用户全方位的检查目标对象。
在一实施例中，响应于用户触发的二维图像切换操作，获取当前显示的三维模型对应的虚拟相机姿态；将显示的三维模型切换为距离虚拟相机姿态最近的RGB图像。通过将显示的三维模型切换为距离虚拟相机姿态最近的RGB图像可以实现三维模型与RGB图像之间的平滑过渡，便于用户检查目标对象。
示例性的，将显示的三维模型切换为距离虚拟相机姿态最近的RGB图像的方式可以为：获取相机装置拍摄的每帧RGB图像各自对应的相机姿态；确定每帧RGB图像各自对应的相机姿态与该虚拟相机姿态之间的距离，将该距离最小所对应的相机姿态确定为目标相机姿态；平滑地更新虚拟相机姿态，直至更新后的虚拟相机姿态为目标相机姿态，且显示拍摄装置在目标相机姿态下所拍摄得到的RGB图像，以将显示的三维模型平滑的切换为距离该虚拟相机姿态最近的RGB图像。
示例性的，平滑地更新虚拟相机姿态，直至更新后的虚拟相机姿态为目标相机姿态的方式可以为：在触发二维图像切换操作后的s秒内，通过姿态调整公式更新虚拟相机姿态，直至更新后的虚拟相机姿态为目标相机姿态。例如，记当前显示的三维模型对应的虚拟相机姿态为(q0,t0)，记目标相机姿态为(q1,t1)，姿态调整公式为q(s)=(q0*sin((1-s)*w)+q1*sin(s*w))/sin(w)，t(s)=(1-s)*t0+s*t1，w=cos-1(q0●q1)，s∈[0,1]对，因此，在触发二维图像切换操作后的1秒内，通过姿态调整公式可以将虚拟相机姿态由(q0,t0)平滑地调整为(q1,t1)，进而实现三维模型与RGB图像之间的平滑过渡，便于用户检查目标对象。
示例性的，二维图像切换操作包括以下至少一项：用户释放对与显示装置连接的鼠标的长按操作、用户释放对与显示设备连接的鼠标的长按拖拽操作、用户对显示装置的显示页面内的预设图标的第二预设操作，第一预设操作与第二预设操作不同，且第一预设操作为长按操作、双击操作、滑动操作、单击操作中的任一项，第二预设操作为长按操作、双击操作、滑动操作、单击操作中的任一项。
例如，在显示三维扫描设备上的相机装置在当前时刻对目标对象进行拍摄得到的RGB图像后，若用户对鼠标进行长按操作，则将显示的RGB图像切换为目标对象在初始虚拟姿态下的三维模型，之后若用户释放对鼠标的长按操作，则将显示的三维模型切换为RGB图像。如图10所示，显示装置显示目标对象的RGB图像21，当用户对鼠标进行长按操作后，显示装置显示的目标对象的三维模型可以如图11所示，通过比较图10和图11可以发现，图10中的RGB图像21显示的目标对象比图11中的目标对象的三维模型22更清晰和完整。
又例如，在显示三维扫描设备上的相机装置在当前时刻对目标对象进行拍摄得到的RGB图像后，若用户对鼠标进行长按拖拽操作，则基于长按拖拽操作和初始虚拟姿态，确定目标虚拟相机姿态，并将显示的RGB图像切换为目标对象在该目标虚拟相机姿态下的三维模型，之后若用户释放对鼠标的长按拖拽操作，则将显示的三维模型切换为距离目标虚拟相机姿态最近的RGB图像。
在一实施例中，通过显示装置实时显示放置于三维扫描设备上的目标对象的三维模型重建画面；在目标对象的初始三维模型重建完成时，显示三维扫描设备上的相机装置在当前时刻对目标对象进行拍摄得到的RGB图像；在目标对象的目标三维模型重建完成时，显示目标三维模型，目标对象的初始三维模型的精度小于目标对象的目标三维模型的精度。通过显示精度更高的三维模型，可以更加方便用户对目标对象进行检查，提高了目标对象的损坏检查的便利性和准确性。
在一实施例中，通过显示装置实时显示放置于三维扫描设备上的目标对象的三维模型重建画面；在目标对象的初始三维模型重建完成时，显示三维扫描设备上的相机装置在当前时刻对目标对象进行拍摄得到的RGB图像；响应于用户触发的三维模型切换操作，将显示的RGB图像切换为目标对象的对应三维模型；在目标对象的目标三维模型重建完成时，显示目标三维模型。
在一实施例中，通过显示装置实时显示放置于三维扫描设备上的目标对象的三维模型重建画面；在目标对象的初始三维模型重建完成时，显示三维扫描设备上的相机装置在当前时刻对目标对象进行拍摄得到的RGB图像；响应于用户触发的三维模型切换操作，将显示的RGB图像切换为目标对象的对应三维模型；响应于用户触发的二维图像切换操作，获取当前显示的三维模型对应的虚拟相机姿态；获取距离虚拟相机姿态最近的RGB图像，并将显示的三维模型切换为距离虚拟相机姿态最近的RGB图像；在目标对象的目标三维模型重建完成时，显示目标三维模型。
其中，在显示目标三维模型之后，用户可以手动调整相机姿态，从而使得用户可以在不同的角度观看目标对象的目标三维模型，进而方便用户检查目标对象。例如，在显示目标三维模型之后，用户对鼠标进行长按拖拽操作，进而改变显示的目标三维模型。用户也可以通过滚动鼠标滚轮，放大或缩小显示的目标三维模型。
上述实施例提供的混合现实显示方法，通过实时显示放置于三维扫描设备上的目标对象的三维模型重建画面，在目标对象的初始三维模型重建完成时，显示三维扫描设备上的相机装置在当前时刻对目标对象进行拍摄得到的RGB图像，响应于用户触发的三维模型切换操作，将显示的RGB图像切换为目标对象的三维模型，从而使得用户能够预览目标对象的三维重建过程，而通过将显示的RGB图像切换为目标对象的三维模型，可以使目标对象的RGB图像和虚拟的三维模型进行无缝融合，以实现虚拟与现实之间的融合，连续的三维模型渲染弥补了离散的查看RGB图像方式所丢失的空间感，又不会让简陋的三维模型让用户失去查看目标对象破损的能力，方便用户全面的对目标对象进行损坏检测，提高了目标对象的损坏检查的便利性和准确性。
请参阅图12，图12是本发明实施例提供的一种三维扫描设备的结构示意性框图。
如图12所示，三维扫描设备300包括显示装置310、处理器320和存储器330，显示装置310、处理器320和存储器330通过总线340连接，该总线比如为I2C（Inter-integratedCircuit）总线。
具体地，处理器320用于提供计算和控制能力，支撑整个三维扫描设备300的运行。处理器320可以是中央处理单元 (Central Processing Unit，CPU)，该处理器320还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
具体地，存储器330可以是Flash芯片、只读存储器 (ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
本领域技术人员可以理解，图12中示出的结构，仅仅是与本发明实施例方案相关的部分结构的框图，并不构成对本发明实施例方案所应用于其上的三维扫描设备300的限定，具体的三维扫描设备300可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器用于运行存储在存储器中的计算机程序，并在执行所述计算机程序时实现本发明实施例提供的任意一种所述的混合现实显示方法。
在一实施例中，所述处理器用于运行存储在存储器中的计算机程序，并在执行所述计算机程序时实现以下步骤：
通过显示装置310实时显示放置于三维扫描设备上的目标对象的三维模型重建画面；
在所述目标对象的初始三维模型重建完成时，显示所述三维扫描设备上的相机装置在当前时刻对所述目标对象进行拍摄得到的RGB图像；
响应于用户触发的三维模型切换操作，将显示的所述RGB图像切换为所述目标对象的对应三维模型。
在一实施例中，所述处理器在实现响应于用户触发的三维模型切换操作，将显示的所述RGB图像切换为所述目标对象的对应三维模型时，用于实现：
响应于用户触发的三维模型切换操作，将所述相机装置拍摄所述RGB图像时的相机姿态确定为在所述目标对象的三维重建坐标系下的初始虚拟相机姿态；
根据所述三维模型切换操作和所述初始虚拟相机姿态，确定所述目标对象的待显示的三维模型，并将显示的所述RGB图像切换为所述待显示的三维模型。
在一实施例中，所述处理器在实现根据所述三维模型切换操作和所述初始虚拟相机姿态，确定所述目标对象的待显示的三维模型时，用于实现：
根据所述三维模型切换操作和所述初始虚拟相机姿态，确定目标虚拟相机姿态；
将所述目标对象在所述目标虚拟相机姿态下的三维模型确定为所述待显示的三维模型。
在一实施例中，所述三维模型切换操作包括以下任一项：用户对与所述显示装置连接的鼠标的长按操作、用户对与所述显示装置连接的鼠标的长按拖拽操作、用户对所述显示装置的显示页面内的预设图标的第一预设操作，所述显示装置包括所述三维扫描设备上的显示装置或与所述三维扫描设备通信连接的显示设备上的显示装置。
在一实施例中，显示的所述三维模型随着所述长按拖拽操作的拖拽位移的改变而发生变化；
或者，显示的所述三维模型随着用户对所述鼠标的长按操作的长按时长的改变而发生变化；
或者，显示的所述三维模型随着用户对所述预设图标的第一预设操作的触发时长的改变而发生变化。
在一实施例中，所述处理器在实现响应于用户触发的三维模型切换操作，将显示的所述RGB图像切换为所述目标对象的对应三维模型之后，还用于实现：
响应于用户触发的二维图像切换操作，获取当前显示的三维模型对应的虚拟相机姿态；
将显示的三维模型切换为距离所述虚拟相机姿态最近的RGB图像。
在一实施例中，所述二维图像切换操作包括以下至少一项：用户释放对与所述显示装置连接的鼠标的长按操作、用户释放对与所述显示设备连接的鼠标的长按拖拽操作、用户对所述显示装置的显示页面内的预设图标的第二预设操作，第一预设操作与所述第二预设操作不同。
在一实施例中，所述处理器还用于实现以下步骤：
在所述目标对象的目标三维模型重建完成时，显示所述目标三维模型，其中，所述初始三维模型的精度小于所述目标三维模型的精度。
需要说明的是，三维扫描设备300可以为图1或图2中的三维扫描设备100，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的三维扫描设备的具体工作过程，可以参考前述混合现实显示方法实施例中的对应过程，在此不再赘述。
本发明实施例还提供一种存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如本发明实施例说明书提供的任一项显示的方法的步骤。
其中，所述存储介质可以是前述实施例所述的三维扫描设备的内部存储单元，例如所述三维扫描设备的硬盘或内存。所述存储介质也可以是所述三维扫描设备的外部存储设备，例如所述三维扫描设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施例中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
应当理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅为本发明的具体实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种混合现实显示方法，其特征在于，包括：
通过显示装置实时显示放置于三维扫描设备上的目标对象的三维模型重建画面；
在所述目标对象的初始三维模型重建完成时，显示所述三维扫描设备上的相机装置在当前时刻对所述目标对象进行拍摄得到的RGB图像；
响应于用户触发的三维模型切换操作，将显示的所述RGB图像切换为所述目标对象的对应三维模型；
响应于用户触发的二维图像切换操作，获取当前显示的三维模型对应的虚拟相机姿态，并获取所述相机装置拍摄的每帧RGB图像各自对应的相机姿态；
确定每帧所述RGB图像各自对应的相机姿态与所述虚拟相机姿态之间的距离，将所述距离最小所对应的相机姿态确定为目标相机姿态；
平滑地更新虚拟相机姿态，直至更新后的虚拟相机姿态为所述目标相机姿态，以将显示的三维模型平滑地切换为所述目标相机姿态对应的RGB图像。
2.根据权利要求1所述的混合现实显示方法，其特征在于，所述响应于用户触发的三维模型切换操作，将显示的所述RGB图像切换为所述目标对象的对应三维模型，包括：
响应于用户触发的三维模型切换操作，将所述相机装置拍摄所述RGB图像时的相机姿态确定为在所述目标对象的三维重建坐标系下的初始虚拟相机姿态；
根据所述三维模型切换操作和所述初始虚拟相机姿态，确定所述目标对象的待显示的三维模型，并将显示的所述RGB图像切换为所述待显示的三维模型。
3.根据权利要求2所述的混合现实显示方法，其特征在于，所述根据所述三维模型切换操作和所述初始虚拟相机姿态，确定所述目标对象的待显示的三维模型，包括：
根据所述三维模型切换操作和所述初始虚拟相机姿态，确定目标虚拟相机姿态；
将所述目标对象在所述目标虚拟相机姿态下的三维模型确定为所述待显示的三维模型。
4.根据权利要求1所述的混合现实显示方法，其特征在于，所述三维模型切换操作包括以下任一项：用户对与所述显示装置连接的鼠标的长按操作、用户对与所述显示装置连接的鼠标的长按拖拽操作、用户对所述显示装置的显示页面内的预设图标的第一预设操作，所述显示装置包括所述三维扫描设备上的显示装置或与所述三维扫描设备通信连接的显示设备上的显示装置。
5.根据权利要求4所述的混合现实显示方法，其特征在于，显示的所述三维模型随着所述长按拖拽操作的拖拽位移的改变而发生变化；
或者，显示的所述三维模型随着用户对所述鼠标的长按操作的长按时长的改变而发生变化；
或者，显示的所述三维模型随着用户对所述预设图标的第一预设操作的触发时长的改变而发生变化。
6.根据权利要求1所述的混合现实显示方法，其特征在于，所述二维图像切换操作包括以下至少一项：用户释放对与所述显示装置连接的鼠标的长按操作、用户释放对与所述显示装置连接的鼠标的长按拖拽操作、用户对所述显示装置的显示页面内的预设图标的第二预设操作，第一预设操作与所述第二预设操作不同。
7.根据权利要求1-5中任一项所述的混合现实显示方法，其特征在于，所述方法还包括：
在所述目标对象的目标三维模型重建完成时，显示所述目标三维模型，其中，所述初始三维模型的精度小于所述目标三维模型的精度。
8.一种三维扫描设备，其特征在于，所述三维扫描设备包括显示装置、处理器、存储器、存储在所述存储器上并可被所述处理器执行的计算机程序以及用于实现所述显示装置、所述处理器和所述存储器之间的连接通信的数据总线，其中所述计算机程序被所述处理器执行时，实现如权利要求1至7中任一项所述的混合现实显示方法的步骤。
9.一种存储介质，用于计算机可读存储，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1至7中任一项所述的混合现实 显示方法的步骤。
CN202210289927.6A 2022-03-23 2022-03-23 混合现实显示方法、三维扫描设备及存储介质 Active CN114371807B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210289927.6A CN114371807B (zh) 2022-03-23 2022-03-23 混合现实显示方法、三维扫描设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210289927.6A CN114371807B (zh) 2022-03-23 2022-03-23 混合现实显示方法、三维扫描设备及存储介质

Publications (2)

Publication Number Publication Date
CN114371807A CN114371807A (zh) 2022-04-19
CN114371807B true CN114371807B (zh) 2022-06-28

Family

ID=81146936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210289927.6A Active CN114371807B (zh) 2022-03-23 2022-03-23 混合现实显示方法、三维扫描设备及存储介质

Country Status (1)

Country Link
CN (1) CN114371807B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310220A (zh) * 2012-03-12 2013-09-18 中国人民解放军海军装备研究院信息工程技术研究所 一种三维舰船识别方法
CN104679227A (zh) * 2013-12-02 2015-06-03 创世界科技有限公司 一种产品展示实现方法
CN112905097A (zh) * 2021-03-23 2021-06-04 贵州航天云网科技有限公司 一种基于3d技术的工业产品展示系统及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100220910A1 (en) * 2009-03-02 2010-09-02 General Electric Company Method and system for automated x-ray inspection of objects
CN101969523B (zh) * 2010-10-21 2012-10-03 西北农林科技大学 一种三维扫描装置及三维扫描方法
CN102520787B (zh) * 2011-11-09 2015-05-06 浙江大学 实时空间三维呈现系统及方法
US10132616B2 (en) * 2015-04-20 2018-11-20 Samsung Electronics Co., Ltd. CMOS image sensor for 2D imaging and depth measurement with ambient light rejection
CN107945282B (zh) * 2017-12-05 2021-01-29 洛阳中科信息产业研究院(中科院计算技术研究所洛阳分所) 基于对抗网络的快速多视角三维合成和展示方法及装置
WO2022077238A1 (zh) * 2020-10-13 2022-04-21 深圳市大疆创新科技有限公司 成像显示方法、遥控终端、装置、系统及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310220A (zh) * 2012-03-12 2013-09-18 中国人民解放军海军装备研究院信息工程技术研究所 一种三维舰船识别方法
CN104679227A (zh) * 2013-12-02 2015-06-03 创世界科技有限公司 一种产品展示实现方法
CN112905097A (zh) * 2021-03-23 2021-06-04 贵州航天云网科技有限公司 一种基于3d技术的工业产品展示系统及方法

Also Published As

Publication number Publication date
CN114371807A (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
US20230154097A1 (en) Systems and methods for displaying representative images
CN108304075B (zh) 一种在增强现实设备进行人机交互的方法与设备
CN106575160B (zh) 根据用户视点识别动作的界面提供方法及提供装置
US10911818B2 (en) Electronic device and method for controlling the same
EP2864832B1 (en) Method and apparatus for augmenting an index image generated by a near eye display
CN107204044B (zh) 一种基于虚拟现实的画面显示方法及相关设备
CN107329671B (zh) 模型显示方法和装置
CN111833461B (zh) 一种图像特效的实现方法、装置、电子设备及存储介质
CN109472824B (zh) 物品位置变化检测方法及装置、存储介质、电子设备
KR102337209B1 (ko) 주변 상황 정보를 통지하기 위한 방법, 전자 장치 및 저장 매체
CN108846899B (zh) 提高用户对房源中每个功能间的面积感知的方法及系统
US10268216B2 (en) Method and system for providing position or movement information for controlling at least one function of an environment
CN114640833A (zh) 投影画面调整方法、装置、电子设备和存储介质
EP3651144A1 (en) Method and apparatus for information display, and display device
US9536133B2 (en) Display apparatus and control method for adjusting the eyes of a photographed user
CN114371807B (zh) 混合现实显示方法、三维扫描设备及存储介质
CN110662015A (zh) 用于显示图像的方法及装置
US9881419B1 (en) Technique for providing an initial pose for a 3-D model
EP3177005B1 (en) Display control system, display control device, display control method, and program
CN112634339B (zh) 商品对象信息展示方法、装置及电子设备
CN112862976A (zh) 一种图像生成方法、装置及电子设备
KR102683669B1 (ko) 메타버스 환경에서 전시 서비스를 제공하는 서버 및 그 동작 방법
CN110910307B (zh) 图像处理方法、装置、终端及存储介质
CN107742275B (zh) 一种信息处理方法及电子设备
CN107147775B (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant