CN112817449A - 增强现实场景的交互方法、装置、电子设备及存储介质 - Google Patents

增强现实场景的交互方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112817449A
CN112817449A CN202110116789.7A CN202110116789A CN112817449A CN 112817449 A CN112817449 A CN 112817449A CN 202110116789 A CN202110116789 A CN 202110116789A CN 112817449 A CN112817449 A CN 112817449A
Authority
CN
China
Prior art keywords
virtual furniture
furniture model
model
virtual
editing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110116789.7A
Other languages
English (en)
Other versions
CN112817449B (zh
Inventor
于宏鑫
侯欣如
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202110116789.7A priority Critical patent/CN112817449B/zh
Publication of CN112817449A publication Critical patent/CN112817449A/zh
Application granted granted Critical
Publication of CN112817449B publication Critical patent/CN112817449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2024—Style variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提供一种增强现实场景的交互方法、装置、电子设备及计算机可读存储介质，所述方法包括：通过增强现实AR设备的屏幕展示家具操作界面以及采集的真实房间的视频画面；检测到所述家具操作界面中任一虚拟家具模型被触发后，基于所述AR设备的定位信息以及所述虚拟家具模型的初始位置信息，将所述虚拟家具模型展示在所述视频画面中；获取作用于所述虚拟家具模型的编辑操作的编辑参数；利用所述编辑参数，更新所述虚拟家具模型在所述视频画面中的展示效果。

Description

增强现实场景的交互方法、装置、电子设备及存储介质
技术领域
本公开涉及增强现实(Augmented Reality，AR)技术领域，具体而言，涉及一种增强现实场景的交互方法、装置、电子设备及存储介质。
背景技术
在装修设计领域，一般是由装修门店在线下提供专门的定制化软件，通过录入待装修的房间的尺寸，重建出一个简单的三维模型，然后选中某一家具(如橱柜)添加在三维空间模型中，通过修改家具的尺寸颜色结构等，实现对家具的定制化设计。但是由于软件上基于尺寸重构的三维模型很难反映出真实的房间环境细节，比如无法反映出真实的墙纸颜色、地板纹理颜色，以及真实的各家具的空间布局等，导致定制好的家具并不能完全适配实际的房间场景。
发明内容
本公开实施例提供一种增强现实场景的交互方法、装置、电子设备及计算机存储介质。
本公开实施例的技术方案是这样实现的：
第一方面，本公开实施例提供一种增强现实场景的交互方法，所述方法包括：
通过AR设备的屏幕展示家具操作界面以及采集的真实房间的视频画面；
检测到所述家具操作界面中任一虚拟家具模型被触发后，基于所述AR设备的定位信息以及所述虚拟家具模型的初始位置信息，将所述虚拟家具模型展示在所述视频画面中；
获取作用于所述虚拟家具模型的编辑操作的编辑参数；
利用所述编辑参数，更新所述虚拟家具模型在所述视频画面中的展示效果。
本公开实施例中，可以通过AR设备直接在真实房间的视频画面中完成对虚拟家具模型的编辑操作，不仅可以通过触发家具操作界面中的任一虚拟家具模型叠加展示在真实房间的视频画面中，还可以对虚拟家具模型进行编辑，使得视频画面中展示更新后的虚拟家具模型的展示效果。通过以上方式能够实现手持AR设备身处在待装修的房间中实现家具的定制化设计，从而使得定制后的家具模型与真实的房间环境更加适配，定制方案更符合实际场景需求，定制效果更优。并且，相对现有方案中由专业人员在专业的定制化软件中进行编辑操作，本方案提供的上述方式，在家具的定制化设计过程中操作更为简便，便于用户使用，提升用户体验。
在一些实施方式中，所述AR设备的定位信息包括：在即时定位与地图构建(Simultaneous Localization and Mapping，SLAM)坐标系下的定位信息；其中，所述SLAM坐标系与所述真实房间匹配的三维地图模型的世界坐标系对齐，和/或，所述SLAM坐标系与所述AR设备的屏幕坐标系对齐。
上述实施方式中，通过即时定位与地图SLAM技术实现对AR设备的定位，且可以将SLAM坐标系与真实房间匹配的三维地图模型和/或AR设备的屏幕坐标系进行对齐，以使虚拟家具模型与真实房间的实体对象的位置能够建立起关联，为后续虚拟家具模型在真实房间的视频画面中进行叠加呈现提供准确的位置信息。
在一些实施方式中，所述基于所述AR设备的定位信息以及所述虚拟家具模型的初始位置信息，将所述虚拟家具模型展示在所述视频画面，包括：
获取被触发的所述虚拟家具模型在SLAM坐标系或三维地图模型的世界坐标系下的预设的初始位置信息；
将所述AR设备的定位信息以及所述初始位置信息转换至同一所述屏幕坐标系下，得到所述虚拟家具模型在所述视频画面中的第一展示位置；
在所述视频画面的第一展示位置展示所述虚拟家具模型。
上述实施方式中，可以预先设置好虚拟家具模型在SLAM坐标系或三维地图模型的世界坐标系下的初始位置信息，以便在触发虚拟家具模型后，通过SLAM坐标系或三维地图模型的世界坐标系与屏幕坐标系的转换，将虚拟家具模型叠加展示在视频画面的对应位置处，从而实现虚拟与现实的叠加呈现。
在一些实施方式中，所述获取作用于所述虚拟家具模型的编辑操作的编辑参数，包括：
获取作用于所述虚拟家具模型的第一编辑参数，所述第一编辑参数包括所述虚拟家具的尺寸、纹理、颜色中的至少一种；
所述利用所述编辑参数，更新所述虚拟家具模型在所述视频画面中的展示效果，包括：
利用所述第一编辑参数，更新所述虚拟家具模型在所述视频画面中展示的尺寸、纹理、颜色中的至少一种；并在所述视频画面的展示位置处展示更新后的虚拟家具模型。
上述实施方式中，可以支持对虚拟家具模型的尺寸、纹理、颜色等外观效果的实时编辑与更新，由于更新后的虚拟家具模型会实时呈现在视频画面的真实房间中，从而在编辑过程中可以让用户随时查看家具在真实房间中的展示效果，使得定制后的家具模型与真实的房间环境更加适配。
在一些实施方式中，所述获取作用于所述虚拟家具模型的编辑操作的编辑参数，包括：
检测到作用于所述虚拟家具模型的编辑操作，并获取所述编辑操作对应的目标型号的虚拟家具模型；
利用所述编辑参数，更新所述虚拟家具模型在所述视频画面中的展示效果，包括：
在所述视频画面中展示的初始型号的虚拟家具模型更新为所述目标型号的虚拟家具模型。
上述实施方式中，可以支持对虚拟家具模型的型号的实时编辑与更新，如将沙发的型号由双人位改为三人位的沙发等，由于更新后的虚拟家具模型会实时呈现在视频画面的真实房间中，从而在编辑过程中可以让用户随时查看家具在真实房间中的展示效果，使得定制后的家具模型与真实的房间环境更加适配。
在一些实施方式中，所述获取作用于所述虚拟家具模型的编辑操作的编辑参数，包括：
获取作用于所述虚拟家具模型的位置编辑参数；
利用所述编辑参数，更新所述虚拟家具模型在所述视频画面中的展示效果，包括：
根据所述位置编辑参数，更新所述虚拟家具模型在所述视频画面中的展示位置。
上述实施方式中，还可以支持对虚拟家具模型在真实房间中的展示位置进行实时调整与更新，从而在编辑过程中可以支持用户查看虚拟家具模型摆放在真实房间的不同位置上的展示效果，使得定制后的家具模型与真实的房间环境更加适配。
在一些实施方式中，所述获取作用于所述虚拟家具模型的位置编辑参数，包括：
获取在所述家具操作界面中接收的所述虚拟家具模型的位置编辑参数；或者，
检测作用于屏幕中展示的所述虚拟家具模型的移动位置操作，基于所述移动位置操作，确定所述虚拟家具模型的位置编辑参数。
上述实施方式中，既可以支持由用户直接通过家具操作界面输入虚拟家具模型的位置，还可以由用户选中虚拟家具模型中进行移动以便将虚拟家具模型移动到真实房间的理想位置处，从而能够通过简单的交互操作实现对虚拟家具模型的位置进行准确的编辑。
在一些实施方式中，所述检测作用于屏幕中展示的所述虚拟家具模型的移动位置操作，基于所述移动位置操作，确定所述虚拟家具模型的位置编辑参数，包括：
检测到作用于屏幕中展示的所述虚拟家具模型的第一触发操作，记录所述虚拟家具模型在屏幕坐标系上当前展示的第一中心点以及所述虚拟摄像头的中心点之间的相对位置；
移动所述AR设备且保持所述相对位置不变；
在检测到作用于屏幕中展示的所述虚拟家具模型的第二触发操作后，基于所述移动后的虚拟摄像头的中心点以及所述相对位置，确定所述虚拟家具模型的位置编辑参数。
上述实施方式中提供一种移动虚拟家具模型的交互方式，用户可在选中虚拟家具模型后通过移动AR设备，在到达真实房间的理想位置处之后便可以将虚拟家具模型放置在此处，交互方式新颖且简单，还能精准地将虚拟家具模型展示在用户的理想位置处，提升交互体验。
在一些实施方式中，所述检测作用于屏幕中展示的所述虚拟家具模型的移动位置操作，基于所述移动位置操作，确定所述虚拟家具模型的位置编辑参数，包括：
检测到作用于屏幕中展示的所述虚拟家具模型的第一移动操作，记录所述虚拟家具模型在屏幕坐标系上的移动位置；
基于所述移动位置，确定所述虚拟家具模型的位置编辑参数。
上述实施方式中提供另一种移动虚拟家具模型的交互方式，用户可在选中虚拟家具模型后，拖动虚拟家具模型在真实房间的视频画面中移动，直至将虚拟家具模型放置在理想的位置处，交互方式新颖且简单，还能精准地将虚拟家具模型展示在用户的理想位置处，提升交互体验。
在一些实施方式中，所述方法还包括：
记录更新后的所述虚拟家具模型的展示效果；
在检测到导出操作之后，导出所述真实房间的视频画面与所述虚拟家具模型的展示效果相叠加的AR画面。
上述实施方式中，可以保存更新后的虚拟家具模型的展示效果，并支持导出真实房间与虚拟家具模型相叠加的AR画面，以便用户可以随时查看编辑好的家具定制效果图。
第二方面，本公开实施例还提供一种增强现实场景的交互装置，所述交互装置包括：
展示模块，用于通过AR设备的屏幕展示家具操作界面以及采集的真实房间的视频画面；
确定模块，用于检测到所述家具操作界面中任一虚拟家具模型被触发后，基于所述AR设备的定位信息以及所述虚拟家具模型的初始位置信息，将所述虚拟家具模型展示在所述视频画面中；
获取模块，用于获取作用于所述虚拟家具模型的编辑操作的编辑参数；
更新展示模块，用于利用所述编辑参数，更新所述虚拟家具模型在所述视频画面中的展示效果。
在一些实施方式中，所述AR设备的定位信息包括：在即时定位与地图构建SLAM坐标系下的定位信息；其中，所述SLAM坐标系与所述真实房间匹配的三维地图模型的世界坐标系对齐，和/或，所述SLAM坐标系与所述AR设备的屏幕坐标系对齐。
在一些实施方式中，所述确定模块，在基于所述AR设备的定位信息以及所述虚拟家具模型的初始位置信息，将所述虚拟家具模型展示在所述视频画面时，具体用于：
获取被触发的所述虚拟家具模型在SLAM坐标系或三维地图模型的世界坐标系下的预设的初始位置信息；
将所述AR设备的定位信息以及所述初始位置信息转换至同一所述屏幕坐标系下，得到所述虚拟家具模型在所述视频画面中的第一展示位置；
在所述视频画面的第一展示位置展示所述虚拟家具模型。
在一些实施方式中，所述获取模块，在获取作用于所述虚拟家具模型的编辑操作的编辑参数时，具体用于：
获取作用于所述虚拟家具模型的第一编辑参数，所述第一编辑参数包括所述虚拟家具的尺寸、纹理、颜色中的至少一种；
所述更新展示模块，在利用所述编辑参数，更新所述虚拟家具模型在所述视频画面中的展示效果时，具体用于：
利用所述第一编辑参数，更新所述虚拟家具模型在所述视频画面中展示的尺寸、纹理、颜色中的至少一种；并在所述视频画面的展示位置处展示更新后的虚拟家具模型。
在一些实施方式中，所述获取模块，在获取作用于所述虚拟家具模型的编辑操作的编辑参数时，具体用于：
检测到作用于所述虚拟家具模型的编辑操作，并获取所述编辑操作对应的目标型号的虚拟家具模型；
所述更新展示模块，在利用所述编辑参数，更新所述虚拟家具模型在所述视频画面中的展示效果时，具体用于：
在所述视频画面中展示的初始型号的虚拟家具模型更新为所述目标型号的虚拟家具模型。
在一些实施方式中，所述获取模块，在获取作用于所述虚拟家具模型的编辑操作的编辑参数时，具体用于：
获取作用于所述虚拟家具模型的位置编辑参数；
所述更新展示模块，在利用所述编辑参数，更新所述虚拟家具模型在所述视频画面中的展示效果时，具体用于：
根据所述位置编辑参数，更新所述虚拟家具模型在所述视频画面中的展示位置。
在一些实施方式中，所述获取模块，在获取作用于所述虚拟家具模型的位置编辑参数时，具体用于：
获取在所述家具操作界面中接收的所述虚拟家具模型的位置编辑参数；或者，
检测作用于屏幕中展示的所述虚拟家具模型的移动位置操作，基于所述移动位置操作，确定所述虚拟家具模型的位置编辑参数。
在一些实施方式中，所述获取模块，在检测作用于屏幕中展示的所述虚拟家具模型的移动位置操作，基于所述移动位置操作，确定所述虚拟家具模型的位置编辑参数时，具体用于：
检测到作用于屏幕中展示的所述虚拟家具模型的第一触发操作，记录所述虚拟家具模型在屏幕坐标系上当前展示的第一中心点以及所述虚拟摄像头的中心点之间的相对位置；
移动所述AR设备且保持所述相对位置不变；
在检测到作用于屏幕中展示的所述虚拟家具模型的第二触发操作后，基于所述移动后的虚拟摄像头的中心点以及所述相对位置，确定所述虚拟家具模型的位置编辑参数。
在一些实施方式中，所述获取模块，在检测作用于屏幕中展示的所述虚拟家具模型的移动位置操作，基于所述移动位置操作，确定所述虚拟家具模型的位置编辑参数时，具体用于：
检测到作用于屏幕中展示的所述虚拟家具模型的第一移动操作，记录所述虚拟家具模型在屏幕坐标系上的移动位置；
基于所述移动位置，确定所述虚拟家具模型的位置编辑参数。
在一些实施方式中，所述装置还包括：
导出模块，用于记录更新后的所述虚拟家具模型的展示效果；在检测到导出操作之后，导出所述真实房间的视频画面与所述虚拟家具模型的展示效果相叠加的AR画面。
第三方面，本公开实施例还提供一种电子设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
关于上述增强现实场景的交互装置、电子设备、及计算机可读存储介质的效果描述参见上述增强现实场景的交互方法的说明，这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例提供的增强现实场景的交互方法的流程示意图；
图2示出了本公开实施例提供的定位及展示方式的流程示意图；
图3示出了本公开实施例提供的调整虚拟家具模型的展示效果的第一示例的流程示意图；
图4示出了本公开实施例提供的调整虚拟家具模型的展示效果的第二示例的流程示意图；
图5示出了本公开实施例提供的调整虚拟家具模型的展示效果的第三示例的流程示意图；
图6示出了本公开实施例提供的改变虚拟家具模型的展示位置的第一示例的流程示意图；
图7示出了本公开实施例提供的改变虚拟家具模型的展示位置的第二示例的流程示意图；
图8示出了本公开实施例提供的一种增强现实场景的交互装置的示意图；
图9示出了本公开实施例提供的电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
本公开实施例可应用于装修设计领域。经调研发现，在定制家具过程中一般是由装修门店在线下提供专门的定制化软件，通过录入待装修的房间的尺寸，重建出一个简单的三维模型，然后选中某一家具(如橱柜)添加在三维空间模型中，通过修改家具的尺寸颜色结构等，实现对家具的定制化设计。但是由于软件上基于尺寸重构的三维模型很难反映出真实的房间环境细节，比如无法反映出真实的墙纸颜色、地板纹理颜色，以及真实的各家具的空间布局等，导致定制好的家具并不能完全适配实际的房间场景。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
基于上述研究，本公开提供一种增强现实场景的交互方案，以实现通过手持AR设备身处在待装修的房间中完成家具的定制化设计，具体的，不仅可以通过触发家具操作界面中的任一虚拟家具模型叠加展示在真实房间的视频画面中，还可以对虚拟家具模型进行编辑，使得视频画面中展示更新后的虚拟家具模型的展示效果从而使得定制后的家具模型与真实的房间环境更加适配，定制方案更符合实际场景需求，定制效果更优。并且，相对现有方案中由专业人员在专业的定制化软件中进行编辑操作，本公开提供的家具的定制化设计过程中操作更为简便，便于用户使用，提升用户体验。
本公开实施例所提供的增强现实场景的交互方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、平板电脑、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。终端设备也可以被称为AR设备，用于对AR内容进行处理和呈现的设备均可作为是AR设备的一种，本公开实施例中对AR设备的形式并不限定。在一些可能的实现方式中，该增强现实场景的交互方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种增强现实的交互方法进行详细介绍。
参见图1所示，为本公开实施例提供的增强现实场景的交互方法的流程示意图，方法包括步骤S101～S104，其中：
步骤S101，通过AR设备的屏幕展示家具操作界面以及采集的真实房间的视频画面。
示例性的，AR设备中可安装有家具定制软件，通过家具定制软件可提供家具的定制化操作功能，以及家具在真实房间进行展示的实时预览功能等。具体实施中，可通过AR设备的屏幕展示家具定制软件的界面，界面中可包括家具操作界面的第一展示区域，以及，展示AR设备采集的真实房间的视频画面的第二展示区域。其中，第一展示区域和/或第二展示区域可在用户的操作下显示或者隐藏，具体根据实际操作需求来设计即可，本公开对此并不限定。
对于第一展示区域中展示的家具操作页面可提供多种类型的虚拟家具模型的选项，多种类型的虚拟家具模型包括但不限于不同种类的虚拟家具模型(例如沙发、床、衣柜等不同种类的虚拟家具模型等)、同一种类不同样式的虚拟家具模型(例如颜色不同、材质不同或者尺寸不同的虚拟沙发模型等)、同一种类同一样式但不同型号的虚拟家具模型(例如单人位沙发、双人位沙发、三人位沙发等)等的至少一种。多种类型的虚拟家具模型可根据不同的分类标准按照不同的层级进行展示，这样可通过在家具操作页面的触发操作，触发相应层级的虚拟家具模型进行展示。当然，视具体应用场景需求，家具操作界面中还可包括对各虚拟家具模型的描述信息，比如对虚拟家具模型的尺寸、材质、风格、品牌、价格等信息的描述等，本公开对此并不限定。
对于第二展示区域可展示有AR设备采集的视频流，若在真实房间中进行视频流的采集，那么第二展示区域展示的即为真实房间的视频画面。其中，AR设备既可以通过内置的图像采集设备也可以通过外接的图像采集设备进行视频画面的采集。在应用于家装设计场景下，采集的可以是待装修的真实房间的视频画面，当然，若应用于其它定制化场景下，还可以包括是其他任意一种符合需求的真实场景的视频画面。
需要说明的是，本公开实施例中，具体以虚拟家具模型为例展开介绍AR交互过程，但是虚拟家具模型并不局限于床、沙发、衣柜等传统意义上的家具，还可包括地板、墙壁、屋顶等任意三维空间或二维平面上的装饰物品或者电器等。只要是能够摆放在真实房间中的任一实体物品所抽象出来的虚拟模型，在本公开实施例中均可被称为虚拟家具模型。虚拟家具模型既可以是三维虚拟模型也可以是二维虚拟模型。虚拟家具模型可预先基于实际场景需求进行定制，并作为家具操作页面中的可编辑元素，以便于用户对感兴趣的虚拟家具模型进行编辑。
步骤S102，检测到家具操作界面中任一虚拟家具模型被触发后，基于AR设备的定位信息以及虚拟家具模型的初始位置信息，将虚拟家具模型展示在视频画面中。
本公开实施例中，触发任一虚拟家具模型的方式有多种，例如通过触摸操作(如点击操作)触摸家具操作界面中的任一虚拟家具模型的选项以触发虚拟家具模型，或者通过语音指令、文字输入指令等输入指令来触发虚拟家具模型，本公开对此并不限定。
具体实施中，在启动AR设备或者启动家具定制软件后，可自动进行AR设备的定位过程。其中，AR设备的定位过程既可以是通过SLAM技术来实现定位，也可以将SLAM技术与高精地图定位技术相结合来实现定位。示例性的，AR设备的定位信息包括：在SLAM坐标系下的定位信息，在采用SLAM技术与高精地图定位技术相结合时，AR设备的定位信息还可包括：在真实房间的三维地图模型的世界坐标系下的定位信息。其中，三维地图模型可以预先构建，具体可通过采集大量不同方位的真实房间的图像，提取图像的点云信息，进而重构出与真实房间相匹配的三维地图模型，用以表征真实房间。
为了使虚拟家具模型与真实房间的实体对象的位置能够建立起关联，以便为后续虚拟家具模型在真实房间的视频画面中进行叠加呈现提供准确的位置信息。本公开实施例中，在对AR设备进行成功定位之后，还可以将SLAM坐标系与真实房间匹配的三维地图模型的世界坐标系对齐，和/或，SLAM坐标系与AR设备的屏幕坐标系对齐。
在具体应用场景，如对房间的二维平面所摆放的虚拟家具模型进行定制的场景中，仅利用SLAM坐标系以及屏幕坐标系的对齐便可实现虚拟家具模型与真实空间的位置关联，那么，可以对齐SLAM坐标系与AR设备的屏幕坐标系。如，在对房间的三维空间所摆放的虚拟家具模型进行定制的场景中，为了实现精准定位可引入三维地图模型的世界坐标系，这种情况下不仅对齐SLAM坐标系与AR设备的屏幕坐标系，还需对齐SLAM坐标系与真实房间匹配的三维地图模型的世界坐标系。
基于上述定位过程的介绍，为便于理解，在执行步骤S102，基于AR设备的定位信息以及虚拟家具模型的初始位置信息，将虚拟家具模型展示在视频画面的过程中，示例性的，可采用图2提供的定位及展示方式，具体可包括：
步骤S1021，获取被触发的虚拟家具模型在SLAM坐标系或三维地图模型的世界坐标系下的预设的初始位置信息；
步骤S1022，将AR设备的定位信息以及初始位置信息转换至同一屏幕坐标系下，得到虚拟家具模型在视频画面中的第一展示位置；
步骤S1023，在视频画面的第一展示位置展示虚拟家具模型。
通过预先设置好虚拟家具模型在SLAM坐标系或三维地图模型的世界坐标系下的初始位置信息，可在触发虚拟家具模型后，通过SLAM坐标系或三维地图模型的世界坐标系与屏幕坐标系的转换，将虚拟家具模型叠加展示在视频画面的对应位置处，从而实现虚拟与现实的叠加呈现。
结合以上描述，在实现各坐标系的对齐之后，虚拟家具模型的位置以及AR设备的位置可实现在以上各坐标系上的任意转换，通过将虚拟家具模型以及AR设备的位置信息转换到同一坐标系下，可进一步确定出虚拟家具模型在真实房间的视频画面中的展示位置。
步骤S103，获取作用于虚拟家具模型的编辑操作的编辑参数。
步骤S104，利用编辑参数，更新虚拟家具模型在视频画面中的展示效果。
考虑到上述步骤S102中通过虚拟家具模型的初始位置信息，将虚拟家具模型展示在视频画面中，可能在视频画面中的展示效果并不能满足用户的定制化需求，故本公开实施例中可通过步骤S103和步骤S104对视频画面中展示的虚拟家具模型进行进一步调整，并基于调整后的结果更新虚拟家具模型在视频画面中的展示效果。
其中，上述编辑操作可包括至少一种类型的编辑操作，不同类型的编辑操作所得到的编辑参数也不相同。编辑操作包括但不限于对虚拟家具模型的外观展示效果的编辑操作、对虚拟家具模型的展示位置的编辑操作等。相应地，编辑操作对应的编辑参数包括但不限于外观编辑参数、位置编辑参数等。
下面结合三种具体实施方式，对上述步骤S103和S104的过程进行示例性说明。
参照图3所示，为本公开实施例提供的调整虚拟家具模型的展示效果的第一示例的流程示意图，包括以下步骤：
步骤S301，获取作用于虚拟家具模型的第一编辑参数，第一编辑参数包括虚拟家具的尺寸、纹理、颜色中的至少一种。
步骤S302，利用第一编辑参数，更新虚拟家具模型在视频画面中展示的尺寸、纹理、颜色中的至少一种；并在视频画面的展示位置处展示更新后的虚拟家具模型。
其中，第一编辑参数可以理解为是上述外观编辑参数中的一种，第一编辑参数包括但不限于虚拟家具的尺寸、纹理、颜色中的至少一种。当然，对虚拟家具的材质等其他能够影响虚拟家具模型的外观展示效果的参数，均可视为本公开提供的第一编辑参数，本公开不再穷举所有可能的示例。
获取第一编辑参数的方式既可以通过在虚拟家具模型的编辑界面的输入操作(比如字符输入操作或者语音操作等)来获取，也可以在虚拟家具模型的编辑界面中提供多种编辑选项，比如对于虚拟家具的尺寸，可按照常规设计提供多种尺寸供用户选择，在检测到任一编辑选项被选中后，即可将被选中的编辑选项对应的尺寸作为第一编辑参数。其他类型的第一编辑参数也可按照该处理逻辑来获取。
进一步地，可根据第一编辑参数，调用渲染工具重新渲染符合第一编辑参数的虚拟家具模型，将重新渲染的虚拟家具模型作为更新后的虚拟家具模型，并将其实时渲染在真实房间的视频画面中。或者，还可根据第一编辑参数，从虚拟家具模型的数据库中获取得到与第一编辑参数对应的虚拟家具模型，进而根据获取到的虚拟家具模型的渲染参数，将其实时渲染在真实房间的视频画面中。
上述第一示例中，可以支持对虚拟家具模型的尺寸、纹理、颜色等外观效果的实时编辑与更新，由于更新后的虚拟家具模型会实时呈现在视频画面的真实房间中，从而在编辑过程中可以让用户随时查看家具在真实房间中的展示效果，使得定制后的家具模型与真实的房间环境更加适配。
参照图4所示，为本公开实施例提供的调整虚拟家具模型的展示效果的第二示例的流程示意图，包括以下步骤：
步骤S401，检测到作用于虚拟家具模型的编辑操作，并获取编辑操作对应的目标型号的虚拟家具模型；
步骤S402，在视频画面中展示的初始型号的虚拟家具模型更新为目标型号的虚拟家具模型。
其中，上述编辑操作包括但是限于如下至少一种：点击虚拟家具模型的操作、双击虚拟家具模型的操作、长按虚拟家具模型的操作、两指捏合屏幕的操作(pinch操作)、两指散开的操作等。
示例性的，检测到作用于虚拟家具模型的编辑操作之后，可以记录编辑操作的次数(如点击的次数)，响应于每一次的编辑操作，获取与该编辑操作的对应次数相匹配的目标型号，进而获取得到目标型号的虚拟家具模型。比如，点击一次，对应的目标型号为单人位沙发，点击两次，对应的目标型号为双人位沙发等，以此类推。
示例性的，检测到作用于虚拟家具模型的编辑操作之后，可以记录编辑操作的类型，响应于每个类型的编辑操作，获取与该编辑操作的对应类型相匹配的目标型号，进而获取得到目标型号的虚拟家具模型。比如，双指捏合，对应的目标型号为单人位沙发，双指散开，对应的目标型号为双人位沙发等，以此类推。
进一步地，在从虚拟家具模型的数据库中获取得到目标型号的虚拟家具模型，进而根据获取到的目标型号的虚拟家具模型的渲染参数，将其实时渲染在真实房间的视频画面中，以实现更新展示的虚拟家具模型的型号的效果。
当然，上述编辑操作还可用于获取上述第一示例中的第一编辑参数，比如，通过识别编辑操作的属性(编辑操作的累计次数或类型等)确定匹配的第一编辑参数。本公开不再逐一介绍。
上述第二示例中，可以支持对虚拟家具模型的型号的实时编辑与更新，如将沙发的型号由双人位改为三人位的沙发等，由于更新后的虚拟家具模型会实时呈现在视频画面的真实房间中，从而在编辑过程中可以让用户随时查看家具在真实房间中的展示效果，使得定制后的家具模型与真实的房间环境更加适配。
参照图5所示，为本公开实施例提供的调整虚拟家具模型的展示效果的第三示例的流程示意图，包括以下步骤：
步骤S501，获取作用于虚拟家具模型的位置编辑参数；
步骤S502，根据位置编辑参数，更新虚拟家具模型在视频画面中的展示位置。
上述第三示例中，还可以支持对虚拟家具模型在真实房间中的展示位置进行实时调整与更新，从而在编辑过程中可以支持用户查看虚拟家具模型摆放在真实房间的不同位置上的展示效果，使得定制后的家具模型与真实的房间环境更加适配。
具体实施中，获取作用于虚拟家具模型的位置编辑参数有多种。比如可以支持由用户直接通过家具操作界面输入虚拟家具模型的位置编辑参数，这样AR设备可以获取在家具操作界面中接收的虚拟家具模型的位置编辑参数。再比如，可以由用户选中虚拟家具模型并进行移动以便将虚拟家具模型移动到真实房间的理想位置处，这样，AR设备可以通过检测作用于屏幕中展示的虚拟家具模型的移动位置操作，进而基于移动位置操作，确定虚拟家具模型的位置编辑参数。从而能够通过简单的交互操作实现对虚拟家具模型的位置进行准确的编辑。
在采用由用户通过触摸操作实时改变虚拟家具模型的展示位置的方案时，即在检测作用于屏幕中展示的虚拟家具模型的移动位置操作，基于移动位置操作，确定虚拟家具模型的位置编辑参数的过程中，可采用图6所示的改变虚拟家具模型的展示位置的第一示例的流程示意图，包括如下步骤：
步骤S601，检测到作用于屏幕中展示的虚拟家具模型的第一触发操作，记录虚拟家具模型在屏幕坐标系上当前展示的第一中心点以及虚拟摄像头的中心点之间的相对位置。
步骤S602，移动AR设备且保持相对位置不变。
步骤S603，在检测到作用于屏幕中展示的虚拟家具模型的第二触发操作后，基于移动后的虚拟摄像头的中心点以及相对位置，确定虚拟家具模型的位置编辑参数。
上述第一触发操作例如为对虚拟家具模型的长按操作。相应地，上述第二触发操作例如为取消对虚拟家具模型的长按操作，即“释放”虚拟家具模型的操作。
上述虚拟家具模型在屏幕上当前展示的第一中心点，也可以理解为虚拟家具模型在屏幕坐标系下的第一中心点，虚拟家具模型所在区域的中心位置可作为第一中心点。虚拟摄像头的中心点也可以理解为是AR设备的虚拟摄像头在屏幕坐标系下的位置，虚拟摄像头的位置根据AR设备的位置的改变而改变。在保持虚拟摄像头与虚拟家具模型之间的相对位置保持不变的情况下，通过检测虚拟摄像头的移动后的中心点的位置以及相对位置，便可以确定移动后的虚拟家具模型的位置。
示例性的，在长按虚拟家具模型的过程中，可保持屏幕中展示的虚拟家具模型不移动，进而移动AR设备。例如，移动AR设备可由用户手持AR设备进行移动来实现。在移动AR设备的过程中，步骤S601中记录的相对位置可保持不变，这样，可实现选中虚拟家具模型后，虚拟家具模型在屏幕上的展示位置不变，但其背景的真实房间的视频画面的内容随着AR设备的移动一直在改变的展示效果。当背景的真实房间的视频画面显示到达理想的位置处时，可通过第二触发操作释放虚拟家具模型，则虚拟家具模型可根据移动后的虚拟摄像头的中心点以及相对位置，确定虚拟家具模型移动后在屏幕中展示的第二中心点，进而确定位置编辑参数，位置编辑参数用于确定位置更新后的虚拟家具模型在视频画面中的展示位置。
上述第一示例中提供一种移动虚拟家具模型的交互方式，用户可在选中虚拟家具模型后通过移动AR设备，在到达真实房间的理想位置处之后便可以将虚拟家具模型放置在此处，交互方式新颖且简单，还能精准地将虚拟家具模型展示在用户的理想位置处，提升交互体验。
在采用由用户通过触摸操作实时改变虚拟家具模型的展示位置的方案时，即在检测作用于屏幕中展示的虚拟家具模型的移动位置操作，基于移动位置操作，确定虚拟家具模型的位置编辑参数的过程中，还可采用图7所示的改变虚拟家具模型的展示位置的第二示例的流程示意图，包括如下步骤：
步骤S701，检测到作用于屏幕中展示的虚拟家具模型的第一移动操作，记录虚拟家具模型在屏幕坐标系上的移动位置；
步骤S702，基于移动位置，确定虚拟家具模型的位置编辑参数。
上述第一移动操作例如为对虚拟家具模型选中并拖动的操作。在选中虚拟家具模型后可记录在屏幕中选中的初始位置，并记录在屏幕中拖动的位置，进而可计算初始位置以及实时拖动的位置可确定移动位置(即在屏幕中移动的距离)。在停止拖动虚拟家具模型后可得到移动位置，进一步地，可将屏幕坐标系下的移动位置转换至SLAM坐标系或者三维地图模型的世界坐标系下，即可得到SLAM坐标系或者三维地图模型的世界坐标系下的移动距离或移动位置，将其作为位置编辑参数用于确定位置更新后的虚拟家具模型在视频画面中的展示位置。
上述第二示例中提供另一种移动虚拟家具模型的交互方式，用户可在选中虚拟家具模型后，拖动虚拟家具模型在真实房间的视频画面中移动，直至将虚拟家具模型放置在理想的位置处，交互方式新颖且简单，还能精准地将虚拟家具模型展示在用户的理想位置处，提升交互体验。
本公开实施例中，还可以保存更新后的虚拟家具模型的展示效果，并支持导出真实房间与虚拟家具模型相叠加的AR画面。具体的，可记录更新后的虚拟家具模型的展示效果，进而在检测到导出操作之后，导出真实房间的视频画面与虚拟家具模型的展示效果相叠加的AR画面。以便用户可以随时查看编辑好的家具定制效果图。
需要说明的是，本公开实施例中，上述涉及的展示位置、定位信息等与位置有关的描述，不仅可以指AR设备或者虚拟家具模型的位置点的坐标信息，还可指AR设备或者虚拟家具模型在位置点的展示角度、朝向等姿态信息。故，本公开实施例中，视具体应用场景而定，在需要引入姿态信息的情况下，上述与位置有关的描述还可以泛指位置与姿态，即位姿信息。其中，姿态的确定和调整的处理逻辑与位置的确定和调整的处理逻辑相似，可参照执行，本公开实施例中不再展开说明。
为便于对本方案的理解，下面结合上述技术特征提供一个具体的应用场景的操作流程的介绍。
在AR设备中展示实时采集的真实房间的视频画面并显示家具操作界面，其中家具操作界面提供初始的各类型的虚拟家具模型，虚拟家具模型被选中之后可以展示在真实房间的视频画面中，并支持如下编辑操作：
(1)、对于橱柜等定制类的虚拟家具模型，通过输入虚拟家具模型的尺寸、色彩来更改虚拟家具模型在真实房间的视频画面中的展示效果。
(2)、对于成品类家具，可以基于用户在屏幕中的pinch等编辑操作，更换虚拟家具模型的型号，如三人沙发切换为两人位沙发等。
(3)、可以支持在实时采集的真实房间的视频画面上调整虚拟家具模型的展示位置。其中，对于摆放在平面的虚拟家具模型，比如墙壁挂画、地毯等，通过拖动虚拟家具模型进行屏幕坐标系与SLAM坐标系的映射可实现在2D平面上移动；对于立体摆放的产品，还可以通过拖动虚拟家具模型进行屏幕坐标系、SLAM、三维地图模型之间的映射可实现在3D空间中移动。
以下是具体实现流程：
第一步，定位AR设备
实施方式一，利用高精地图以及SLAM实现定位。
通过高精地图构建与真实房间相匹配的三维地图模型，并将三维地图模型、SLAM坐标系以及AR设备的屏幕坐标系进行对齐，以便基于AR设备的屏幕坐标位置与所处的三维地图模型中的位置相映射，实现对AR设备的定位。
实施方式二，利用SLAM实现定位。
基于SLAM坐标系与AR设备的屏幕坐标系的映射，实现对AR设备的定位。
第二步，选中虚拟家具模型并基于AR设备的定位信息确定虚拟家具模型在AR设备中的展示位置。还可以基于用户画像信息匹配合适的家具模型基于AR设备的定位信息在AR设备中进行呈现。
具体的，定位成功之后，在AR设备展示的家具操作界面中可按照家具分类展示不同的选项，每种选项下有对应的虚拟家具模型。通过选中虚拟家具模型后基于当前定位信息，直接呈现在真实房间图像中。具体的，虚拟家具模型可以预先设置有在三维地图模型/SLAM坐标系中的展示位置，通过三维地图模型/SLAM以及设备屏幕坐标系之间的坐标转换，可得到虚拟家具模型在当前展示的图像中的呈现位置。
第三步，在真实房间的视频画面中展示虚拟家具模型，并支持以下编辑操作：
(1)、尺寸、颜色、纹理的编辑：点击虚拟家具模型可更换虚拟家具模型的颜色、纹理等，还可以更改虚拟家具模型的尺寸，进而在真实房间图像中展示更新后的家具模型的效果图；
(2)、型号的编辑：检测在屏幕中的编辑操作，比如两指捏住缩小的操作为选取小型号的虚拟家具模型的操作，两指按住放大的操作为选取大型号的虚拟家具模型的操作。
(3)、若虚拟家具模型所在呈现位置不符合用户需求，还可以支持在AR设备中拖动虚拟家具模型进行移动，以便将虚拟家具模型移动至理想位置。
实施方式一、直接在家具操作界面中展示家具模型的当前位置，通过更改当前位置，以更新家具模型在当前画面中的展示位置；
实施方式二、在视频画面中直接长按虚拟家具模型，记录虚拟家具模型在屏幕坐标系上当前展示的中心点与虚拟摄像头的中心点之间的相对位置。在移动AR设备的过程中实时画面一直改变但保证两者之间的相对位置不变。在将虚拟家具模型移动到理想位置之后，基于虚拟摄像头移动后的中心点以及相对位置，呈现虚拟家具模型进行位置更新后的展示位置。
实施方式三、在视频画面中长按家具模型，将家具模型拖动到理想的展示位置上，记录在屏幕坐标系上虚拟家具模型的移动位置，基于该移动位置，映射到SLAM坐标系或者三维地图模型上，更新SLAM坐标系或者三维地图模型上的位置信息，基于该位置信息呈现移动后的虚拟家具模型。
第四步，在编辑好一个虚拟家具模型后可以保存该虚拟家具模型的编辑参数，并记录展示效果和展示位置。
进一步地，对下一个虚拟家具模型进行编辑。在对全部虚拟家具模型编辑完之后，可以导出包括真实房间图像上设置各个家具模型的三维效果图。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与增强现实场景的交互方法对应的增强现实场景的交互装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述增强现实场景的交互方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图8所示，为本公开实施例提供的一种增强现实场景的交互装置的示意图，所述装置包括：
展示模块81，用于通过AR设备的屏幕展示家具操作界面以及采集的真实房间的视频画面；
确定模块82，用于检测到所述家具操作界面中任一虚拟家具模型被触发后，基于所述AR设备的定位信息以及所述虚拟家具模型的初始位置信息，将所述虚拟家具模型展示在所述视频画面中；
获取模块83，用于获取作用于所述虚拟家具模型的编辑操作的编辑参数；
更新展示模块84，用于利用所述编辑参数，更新所述虚拟家具模型在所述视频画面中的展示效果。
在一些实施方式中，所述AR设备的定位信息包括：在即时定位与地图构建SLAM坐标系下的定位信息；其中，所述SLAM坐标系与所述真实房间匹配的三维地图模型的世界坐标系对齐，和/或，所述SLAM坐标系与所述AR设备的屏幕坐标系对齐。
在一些实施方式中，所述确定模块82，在基于所述AR设备的定位信息以及所述虚拟家具模型的初始位置信息，将所述虚拟家具模型展示在所述视频画面时，具体用于：
获取被触发的所述虚拟家具模型在SLAM坐标系或三维地图模型的世界坐标系下的预设的初始位置信息；
将所述AR设备的定位信息以及所述初始位置信息转换至同一所述屏幕坐标系下，得到所述虚拟家具模型在所述视频画面中的第一展示位置；
在所述视频画面的第一展示位置展示所述虚拟家具模型。
在一些实施方式中，所述获取模块83，在获取作用于所述虚拟家具模型的编辑操作的编辑参数时，具体用于：
获取作用于所述虚拟家具模型的第一编辑参数，所述第一编辑参数包括所述虚拟家具的尺寸、纹理、颜色中的至少一种；
所述更新展示模块84，在利用所述编辑参数，更新所述虚拟家具模型在所述视频画面中的展示效果时，具体用于：
利用所述第一编辑参数，更新所述虚拟家具模型在所述视频画面中展示的尺寸、纹理、颜色中的至少一种；并在所述视频画面的展示位置处展示更新后的虚拟家具模型。
在一些实施方式中，所述获取模块83，在获取作用于所述虚拟家具模型的编辑操作的编辑参数时，具体用于：
检测到作用于所述虚拟家具模型的编辑操作，并获取所述编辑操作对应的目标型号的虚拟家具模型；
所述更新展示模块84，在利用所述编辑参数，更新所述虚拟家具模型在所述视频画面中的展示效果时，具体用于：
在所述视频画面中展示的初始型号的虚拟家具模型更新为所述目标型号的虚拟家具模型。
在一些实施方式中，所述获取模块83，在获取作用于所述虚拟家具模型的编辑操作的编辑参数时，具体用于：
获取作用于所述虚拟家具模型的位置编辑参数；
所述更新展示模块84，在利用所述编辑参数，更新所述虚拟家具模型在所述视频画面中的展示效果时，具体用于：
根据所述位置编辑参数，更新所述虚拟家具模型在所述视频画面中的展示位置。
在一些实施方式中，所述获取模块83，在获取作用于所述虚拟家具模型的位置编辑参数时，具体用于：
获取在所述家具操作界面中接收的所述虚拟家具模型的位置编辑参数；或者，
检测作用于屏幕中展示的所述虚拟家具模型的移动位置操作，基于所述移动位置操作，确定所述虚拟家具模型的位置编辑参数。
在一些实施方式中，所述获取模块83，在检测作用于屏幕中展示的所述虚拟家具模型的移动位置操作，基于所述移动位置操作，确定所述虚拟家具模型的位置编辑参数时，具体用于：
检测到作用于屏幕中展示的所述虚拟家具模型的第一触发操作，记录所述虚拟家具模型在屏幕坐标系上当前展示的第一中心点以及所述虚拟摄像头的中心点之间的相对位置；
移动所述AR设备且保持所述相对位置不变；
在检测到作用于屏幕中展示的所述虚拟家具模型的第二触发操作后，基于所述移动后的虚拟摄像头的中心点以及所述相对位置，确定所述虚拟家具模型的位置编辑参数。
在一些实施方式中，所述获取模块83，在检测作用于屏幕中展示的所述虚拟家具模型的移动位置操作，基于所述移动位置操作，确定所述虚拟家具模型的位置编辑参数时，具体用于：
检测到作用于屏幕中展示的所述虚拟家具模型的第一移动操作，记录所述虚拟家具模型在屏幕坐标系上的移动位置；
基于所述移动位置，确定所述虚拟家具模型的位置编辑参数。
在一些实施方式中，所述装置还包括：
导出模块85，用于记录更新后的所述虚拟家具模型的展示效果；在检测到导出操作之后，导出所述真实房间的视频画面与所述虚拟家具模型的展示效果相叠加的AR画面。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
本公开实施例还提供了一种电子设备，如图9所示，为本公开实施例提供的电子设备的结构示意图，包括：
处理器91和存储器92；所述存储器92存储有处理器91可执行的机器可读指令，处理器91用于执行存储器92中存储的机器可读指令，所述机器可读指令被处理器91执行时，处理器91执行下述步骤：
通过AR设备的屏幕展示家具操作界面以及采集的真实房间的视频画面；
检测到所述家具操作界面中任一虚拟家具模型被触发后，基于所述AR设备的定位信息以及所述虚拟家具模型的初始位置信息，将所述虚拟家具模型展示在所述视频画面中；
获取作用于所述虚拟家具模型的编辑操作的编辑参数；
利用所述编辑参数，更新所述虚拟家具模型在所述视频画面中的展示效果。
上述存储器92包括内存921和外部存储器922；这里的内存921也称内存储器，用于暂时存放处理器91中的运算数据，以及与硬盘等外部存储器922交换的数据，处理器91通过内存921与外部存储器922进行数据交换。
上述指令的具体执行过程可以参考本公开实施例中所述的增强现实场景的交互方法的步骤，此处不再赘述。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的增强现实场景的交互方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的增强现实场景的交互方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的增强现实场景的交互方法的步骤，具体可参见上述方法实施例，在此不再赘述。
本公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种增强现实场景的交互方法，其特征在于，所述方法包括：
通过增强现实AR设备的屏幕展示家具操作界面以及采集的真实房间的视频画面；
检测到所述家具操作界面中任一虚拟家具模型被触发后，基于所述AR设备的定位信息以及所述虚拟家具模型的初始位置信息，将所述虚拟家具模型展示在所述视频画面中；
获取作用于所述虚拟家具模型的编辑操作的编辑参数；
利用所述编辑参数，更新所述虚拟家具模型在所述视频画面中的展示效果。
2.根据权利要求1所述的交互方法，其特征在于，所述获取作用于所述虚拟家具模型的编辑操作的编辑参数，包括：
获取作用于所述虚拟家具模型的第一编辑参数，所述第一编辑参数包括所述虚拟家具的尺寸、纹理、颜色中的至少一种；
所述利用所述编辑参数，更新所述虚拟家具模型在所述视频画面中的展示效果，包括：
利用所述第一编辑参数，更新所述虚拟家具模型在所述视频画面中展示的尺寸、纹理、颜色中的至少一种；并在所述视频画面的展示位置处展示更新后的虚拟家具模型。
3.根据权利要求1或2所述的交互方法，其特征在于，所述获取作用于所述虚拟家具模型的编辑操作的编辑参数，包括：
检测到作用于所述虚拟家具模型的编辑操作，并获取所述编辑操作对应的目标型号的虚拟家具模型；
利用所述编辑参数，更新所述虚拟家具模型在所述视频画面中的展示效果，包括：
在所述视频画面中展示的初始型号的虚拟家具模型更新为所述目标型号的虚拟家具模型。
4.根据权利要求1至3任一所述的交互方法，其特征在于，所述获取作用于所述虚拟家具模型的编辑操作的编辑参数，包括：
获取作用于所述虚拟家具模型的位置编辑参数；
利用所述编辑参数，更新所述虚拟家具模型在所述视频画面中的展示效果，包括：
根据所述位置编辑参数，更新所述虚拟家具模型在所述视频画面中的展示位置。
5.根据权利要求4所述的交互方法，其特征在于，所述获取作用于所述虚拟家具模型的位置编辑参数，包括：
获取在所述家具操作界面中接收的所述虚拟家具模型的位置编辑参数；或者，
检测作用于屏幕中展示的所述虚拟家具模型的移动位置操作，基于所述移动位置操作，确定所述虚拟家具模型的位置编辑参数。
6.根据权利要求5所述的交互方法，其特征在于，所述检测作用于屏幕中展示的所述虚拟家具模型的移动位置操作，基于所述移动位置操作，确定所述虚拟家具模型的位置编辑参数，包括：
检测到作用于屏幕中展示的所述虚拟家具模型的第一触发操作，记录所述虚拟家具模型在屏幕坐标系上当前展示的第一中心点以及所述虚拟摄像头的中心点之间的相对位置；
移动所述AR设备且保持所述相对位置不变；
在检测到作用于屏幕中展示的所述虚拟家具模型的第二触发操作后，基于所述移动后的虚拟摄像头的中心点以及所述相对位置，确定所述虚拟家具模型的位置编辑参数。
7.根据权利要求5所述的交互方法，其特征在于，所述检测作用于屏幕中展示的所述虚拟家具模型的移动位置操作，基于所述移动位置操作，确定所述虚拟家具模型的位置编辑参数，包括：
检测到作用于屏幕中展示的所述虚拟家具模型的第一移动操作，记录所述虚拟家具模型在屏幕坐标系上的移动位置；
基于所述移动位置，确定所述虚拟家具模型的位置编辑参数。
8.根据权利要求1至7任一所述的方法，其特征在于，所述方法还包括：
记录更新后的所述虚拟家具模型的展示效果；
在检测到导出操作之后，导出所述真实房间的视频画面与所述虚拟家具模型的展示效果相叠加的AR画面。
9.根据权利要求1至8任一所述的交互方法，其特征在于，所述AR设备的定位信息包括：在即时定位与地图构建SLAM坐标系下的定位信息；其中，所述SLAM坐标系与所述真实房间匹配的三维地图模型的世界坐标系对齐，和/或，所述SLAM坐标系与所述AR设备的屏幕坐标系对齐。
10.根据权利要求9所述的交互方法，其特征在于，所述基于所述AR设备的定位信息以及所述虚拟家具模型的初始位置信息，将所述虚拟家具模型展示在所述视频画面，包括：
获取被触发的所述虚拟家具模型在SLAM坐标系或三维地图模型的世界坐标系下的预设的初始位置信息；
将所述AR设备的定位信息以及所述初始位置信息转换至同一所述屏幕坐标系下，得到所述虚拟家具模型在所述视频画面中的第一展示位置；
在所述视频画面的第一展示位置展示所述虚拟家具模型。
11.一种增强现实场景的交互装置，其特征在于，所述装置包括：
展示模块，用于通过增强现实AR设备的屏幕展示家具操作界面以及采集的真实房间的视频画面；
确定模块，用于检测到所述家具操作界面中任一虚拟家具模型被触发后，基于所述AR设备的定位信息以及所述虚拟家具模型的初始位置信息，将所述虚拟家具模型展示在所述视频画面中；
获取模块，用于获取作用于所述虚拟家具模型的编辑操作的编辑参数；
更新展示模块，用于利用所述编辑参数，更新所述虚拟家具模型在所述视频画面中的展示效果。
12.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的计算机可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述计算机可读指令被所述处理器执行时执行如权利要求1至10任一所述的交互方法的步骤。
13.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至10任一所述的交互方法的步骤。
CN202110116789.7A 2021-01-28 2021-01-28 增强现实场景的交互方法、装置、电子设备及存储介质 Active CN112817449B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110116789.7A CN112817449B (zh) 2021-01-28 2021-01-28 增强现实场景的交互方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110116789.7A CN112817449B (zh) 2021-01-28 2021-01-28 增强现实场景的交互方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112817449A true CN112817449A (zh) 2021-05-18
CN112817449B CN112817449B (zh) 2023-07-21

Family

ID=75859810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110116789.7A Active CN112817449B (zh) 2021-01-28 2021-01-28 增强现实场景的交互方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112817449B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359524A (zh) * 2022-01-07 2022-04-15 合肥工业大学 一种基于反转增强现实的智能家具体验官系统
CN114625468A (zh) * 2022-03-21 2022-06-14 北京字跳网络技术有限公司 增强现实画面的展示方法、装置、计算机设备及存储介质
CN114998517A (zh) * 2022-05-27 2022-09-02 广亚铝业有限公司 一种铝合金门窗展厅及共享展示方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130215109A1 (en) * 2012-02-22 2013-08-22 Silka Miesnieks Designating Real World Locations for Virtual World Control
CN106527719A (zh) * 2016-11-09 2017-03-22 大连文森特软件科技有限公司 基于ar虚拟现实技术和实时三维建模的待售房屋考察系统
US20170105052A1 (en) * 2015-10-09 2017-04-13 Warner Bros. Entertainment Inc. Cinematic mastering for virtual reality and augmented reality
CN107330980A (zh) * 2017-07-06 2017-11-07 重庆邮电大学 一种基于无标志物的虚拟家具布置系统
US20180182178A1 (en) * 2016-12-22 2018-06-28 Thomson Licensing Geometric warping of a stereograph by positional contraints
CN109903129A (zh) * 2019-02-18 2019-06-18 北京三快在线科技有限公司 增强现实显示方法与装置、电子设备、存储介质
CN110523085A (zh) * 2019-08-30 2019-12-03 腾讯科技（深圳）有限公司 虚拟对象的控制方法、装置、终端及存储介质
CN111295631A (zh) * 2017-10-30 2020-06-16 赛多利斯司特蒂姆生物工艺公司 用于虚拟配置设备的方法、计算机程序产品和相应的增强现实系统
CN112070907A (zh) * 2020-08-31 2020-12-11 北京市商汤科技开发有限公司 一种增强现实系统及增强现实数据的生成方法、装置
CN112148197A (zh) * 2020-09-23 2020-12-29 北京市商汤科技开发有限公司 增强现实ar交互方法、装置、电子设备及存储介质
CN112270736A (zh) * 2020-11-16 2021-01-26 Oppo广东移动通信有限公司 增强现实处理方法及装置、存储介质和电子设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130215109A1 (en) * 2012-02-22 2013-08-22 Silka Miesnieks Designating Real World Locations for Virtual World Control
US20170105052A1 (en) * 2015-10-09 2017-04-13 Warner Bros. Entertainment Inc. Cinematic mastering for virtual reality and augmented reality
CN106527719A (zh) * 2016-11-09 2017-03-22 大连文森特软件科技有限公司 基于ar虚拟现实技术和实时三维建模的待售房屋考察系统
US20180182178A1 (en) * 2016-12-22 2018-06-28 Thomson Licensing Geometric warping of a stereograph by positional contraints
CN107330980A (zh) * 2017-07-06 2017-11-07 重庆邮电大学 一种基于无标志物的虚拟家具布置系统
CN111295631A (zh) * 2017-10-30 2020-06-16 赛多利斯司特蒂姆生物工艺公司 用于虚拟配置设备的方法、计算机程序产品和相应的增强现实系统
CN109903129A (zh) * 2019-02-18 2019-06-18 北京三快在线科技有限公司 增强现实显示方法与装置、电子设备、存储介质
CN110523085A (zh) * 2019-08-30 2019-12-03 腾讯科技（深圳）有限公司 虚拟对象的控制方法、装置、终端及存储介质
CN112070907A (zh) * 2020-08-31 2020-12-11 北京市商汤科技开发有限公司 一种增强现实系统及增强现实数据的生成方法、装置
CN112148197A (zh) * 2020-09-23 2020-12-29 北京市商汤科技开发有限公司 增强现实ar交互方法、装置、电子设备及存储介质
CN112270736A (zh) * 2020-11-16 2021-01-26 Oppo广东移动通信有限公司 增强现实处理方法及装置、存储介质和电子设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359524A (zh) * 2022-01-07 2022-04-15 合肥工业大学 一种基于反转增强现实的智能家具体验官系统
CN114359524B (zh) * 2022-01-07 2024-03-01 合肥工业大学 一种基于反转增强现实的智能家具体验官系统
CN114625468A (zh) * 2022-03-21 2022-06-14 北京字跳网络技术有限公司 增强现实画面的展示方法、装置、计算机设备及存储介质
CN114625468B (zh) * 2022-03-21 2023-09-22 北京字跳网络技术有限公司 增强现实画面的展示方法、装置、计算机设备及存储介质
CN114998517A (zh) * 2022-05-27 2022-09-02 广亚铝业有限公司 一种铝合金门窗展厅及共享展示方法

Also Published As

Publication number Publication date
CN112817449B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN112817449A (zh) 增强现实场景的交互方法、装置、电子设备及存储介质
CN107169247B (zh) 基于3d云设计的家居行业服务系统
JP5833772B2 (ja) 実世界オブジェクトの３ｄモデルおよび正しい縮尺のメタデータをキャプチャし移動させるための方法およびシステム
TWI444836B (zh) 用於遠端工作空間分享的方法及設備
US11875464B2 (en) Systems and methods for scene-independent augmented reality interfaces
CN111047379B (zh) 房屋装修信息处理方法、装置及系统
CN111414225A (zh) 三维模型远程展示方法、第一终端、电子设备及存储介质
CN108959668A (zh) 智能的家居设计方法和装置
US12020311B2 (en) Systems and methods for product visualization using a single-page application
CN110321048A (zh) 三维全景场景信息处理、交互方法及装置
US10777009B2 (en) Dynamically forming an immersive augmented reality experience through collaboration between a consumer and a remote agent
WO2022021965A1 (zh) 虚拟对象的调整方法、装置、电子设备、计算机存储介质及程序
CN111539054A (zh) 一种基于ar虚拟现实技术的室内装修设计系统
CN111860252A (zh) 图像处理方法、设备及存储介质
AU2019447524A1 (en) Method, apparatus and storage medium for displaying three-dimensional space view
CN111369664A (zh) 显示户型场景的方法、装置、设备、存储介质
CN110197532A (zh) 增强现实会场布置的系统、方法、装置及计算机存储介质
CN115439171A (zh) 商品信息展示方法、装置及电子设备
WO2024114408A1 (zh) 提供商品虚拟试用信息的方法、装置及电子设备
CN109408851B (zh) 家具展示方法、装置、存储介质及电子设备
CN111045770A (zh) 用于远程展示的方法、第一终端、设备、可读存储介质
CN114445525A (zh) 虚拟对象的显示方法、装置及电子设备
Sun et al. Enabling participatory design of 3D virtual scenes on mobile devices
CA3166296C (en) Systems and methods for product visualization using a single-page application
Iyobe et al. Development of a mobile virtual traditional crafting presentation system using augmented reality technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant