CN109840953A - 基于增强现实的家居设计系统和方法 - Google Patents

Abstract

本发明涉及一种基于增强现实的家居设计系统，包括：环境信息收集器；建模模块，包括场景模拟器、对象模拟器；场景模拟器基于环境信息收集器收集的三维信息生成虚拟场景模型；显示模块，在现实场景上叠加显示所述虚拟对象模型、或在现实场景上叠加显示虚拟场景模型及虚拟对象模型；输入模块，供用户操控以改变所述模拟对象的空间属性和\或形态属性。上述基于增强现实的家居设计系统，通过使用环境信息收集器收集用户家中的三维信息并基于该三维信息建模，提高了增强现实家居设计系统对用户具体环境和需求的针对性。

Description

基于增强现实的家居设计系统和方法

技术领域

本发明涉及增强现实技术领域，尤其涉及一种基于增强现实的家居设计系统。

本发明还涉及一种基于增强现实的家居设计方法。

背景技术

增强现实技术(AR)和虚拟现实技术(VR)在家居设计领域已经得到应用。例如，部分家装卖场设立了虚拟现实技术体验区，消费者在佩戴VR眼镜/头盔后，能够看到虚拟的三维空间，并在虚拟三维空间中体验卖场的商品。然而，上述方案只能在商家的卖场中，体验商家所限定的场景；消费者所体验试用的虚拟空间、工具、商品和消费者的实际家居环境，实际设计和改装需求截然不同，不能直接呈现消费者自身的家居设计和改造效果。

发明内容

基于此，本发明提供了一种基于增强现实的家居设计系统，其包括：

环境信息收集器，用于探测并收集环境的三维信息；

建模模块，包括场景模拟器、对象模拟器，分别生成虚拟场景模型、虚拟对象模型；所述场景模拟器基于环境信息收集器收集的三维信息生成所述虚拟场景模型；所述虚拟对象模型具有空间属性和形态属性，所述空间属性包括模拟对象的空间位置和/或角度、所述形态属性包括模拟对象的自身形态和\或与其他对象或场景的连接关系；

显示模块，基于虚拟对象模型在虚拟场景模型中的定位，在现实场景上叠加显示所述虚拟对象模型、或在现实场景上叠加显示虚拟场景模型及虚拟对象模型；

输入模块，供用户操控所述虚拟对象模型或虚拟工具模型，以改变所述模拟对象的空间属性和\或形态属性。

进一步的，所述对象模拟器基于环境信息收集的三维信息，生成所述虚拟对象模型。

进一步的，所述家居设计系统存储有、或者连接到数据库，所述对象模拟器从所述数据库中获取信息并生成虚拟对象模型。

进一步的，所述形态属性包括形状属性、大小属性、连接属性、装配属性中的至少一种。

进一步的，所述家居设计系统还包括工具模型器，所述工具模型器生成虚拟工具模型，所述虚拟工具模型能够模拟现实工具的加工效果，相应的改变模拟对象的形态属性。

进一步的，所述工具模型器从内部工具库、或者外部数据源获取虚拟工具模型的属性数据，所述属性数据包含工具的类型数据及工作参数数据，所述工具模拟模块根据所述属性数据模拟现实工具的加工效果。

进一步的，所述外部数据源为工具本身或云端工具数据库。

进一步的，所述环境信息收集器为深度摄像仪、结构光探测仪、激光雷达中的一种。

进一步的，还包括购买模块，所述购买模块生成和模拟对象有关的服务和或商品购买建议。

进一步的，所述购买模块基于用户所选择操控的模拟对象的形态属性，生成加工所述现实对象所需的工具或服务的购买建议。

本发明还提供了一种基于增强现实的家居设计系统和工具的组合，其包括前述任一条所述的家居设计系统，还包括工具，所述家居设计系统录入所述工具的属性数据，并基于工具的属性数据，改变虚拟对象模型的形态属性。

进一步的，所述家居设计系统包括工具信息读取器，以识别所述工具并录入所述工具的属性数据。

进一步的，所述家居设计系统根据用户对模拟对象的操控，生成工具使用指导步骤，并向用户显示。

进一步的，所述工具为电动工具。

本发明还提供了一种工具，其上设有工具属性标记，供前述的家居设计系统读取，以获得所述工具的属性数据。

进一步的，所述工具属性标记为标记图案，RFID标签或内置存储器。

进一步的，所述工具为电动工具。

本发明还提供了一种基于增强现实的家居设计方法，包括以下步骤：

探测并收集现实场景的场景数据，所述场景数据包括图像信息和深度信息；

根据场景数据，生成现实场景的虚拟场景模型；

生成用户可操控的虚拟对象模型，所述虚拟对象模型具有空间属性和形态属性，所述空间属性包括模拟对象的空间位置和/或角度、所述形态属性包括虚拟对象模型的自身形态和\或与其他对象或场景的连接关系；

基于虚拟对象模型在虚拟场景模型中的定位，在现实场景上叠加显示所述虚拟对象模型、或在现实场景上叠加显示虚拟场景模型及虚拟对象模型；

接收用户对所述虚拟对象模型的操控，改变所述虚拟对象模型的空间属性和或形态属性。

本发明还提供了一种基于增强现实的家居设计方法，包括以下步骤：

生成现实场景的虚拟场景模型；

生成用户可操控的虚拟对象模型，所述虚拟对象模型具有空间属性和形态属性，所述空间属性包括模拟对象的空间位置和/或角度、所述形态属性包括虚拟对象模型的自身形态和\或与其他对象或场景的连接关系；

基于虚拟对象模型在虚拟场景模型中的定位，在现实场景上叠加显示所述虚拟对象模型、或在现实场景上叠加显示虚拟场景模型及虚拟对象模型；

接收用户对所述虚拟对象模型的操控，改变所述虚拟对象模型的空间属性和或形态属性；

基于用户对所述虚拟对象模型的操控，提供服务/商品购买建议。

上述基于增强现实的家居设计系统，通过使用环境信息收集器收集用户家中的三维信息，并基于该三维信息建模，提高了增强现实家居设计系统对用户具体环境和需求的针对性。通过提供工具模拟器，实时模拟真实工具对家居设计改装工作的加工效果，增加了家居DIY工作的乐趣。

附图说明

图1为一实施例的家居设计系统的模块图；

1、控制器；3、场景模拟器；4、对象模拟器；5、工具模拟器；6、服务器；7、环境信息收集器；8、显示模块；9、输入模块

具体实施方式

如图1所示，一实施例的基于增强现实的家居设计系统包括控制器1，控制器1包括场景模拟器3、对象模拟器4、工具模拟器5；环境信息收集器7、显示模块8以及输入模块9。家居设计系统和云端的服务器6之间通信。

环境信息收集器5能够扫描环境的三维信息，并发送给控制器。例如，环境信息收集器扫描环境中的现实场景，将现实场景的三维信息发送给场景模拟器3，场景模拟器3基于接收到的信息生成虚拟场景模型。环境信息收集器也可扫描环境中的现实对象，将现实对象的三维信息发送给对象模拟器，对象模拟器4基于接收到的信息生成虚拟对象模型。环境信息收集器也可扫描环境中的现实工具，将现实工具的信息发送给对象模拟器，对象模拟器4基于接收到的信息生成虚拟对象模型。在此，场景构成对象所处的背景环境，对象为场景中的待加工、改变的标的物体，工具为加工、改变标的物体的器具。在一个例子中，场景为用户家中的客厅，对象为需要挂到墙壁上的相框，而工具为电钻。然而，对象模拟器和工具模拟器也可以基于其他信源，如服务器的发送的信息生成虚拟对象模型和虚拟工具模型。具体在后详述。

除了三维信息，环境信息收集器还可以收集环境中的图像信息，在该种情况下，基于前述的信息所生成的虚拟场景模型、虚拟对象模型为三维信息和图像信息的融合模型。

在一种实施例中，环境信息收集器为多目深度相机，多目深度相机至少包括两个摄像头，其利用了目标点在两个摄像头所拍摄的两幅视图上成像的坐标差异，和目标点到成像平面的距离之间的反比关系，来获取目标点的距离信息。在收集环境三维信息和建立模型时，首先通过多目深度相机扫描环境，然后，控制器中的相应建模模块(如场景建模器、对象建模器等)将照片分解成图片、以及对应的深度信息并记录下来。再后，通过内置的三维重建算法，建模模块将图片拼接为全景图，再将记录的深度信息还原到图片上，最终就得到了所扫描的物体的三维模型。

在另一种实施例中，环境信息收集器为结构光扫描仪。结构光是已知空间方向的投射光线，可以是各种激光、投影仪或者其他光源投射的点、直线、栅格线。结构光扫描仪可以包括激光发射器和摄像头，例如，激光发射器以一定角度投射点状激光，反射点在摄像头的X轴向上的位置及对应反射点与测量装置的直线距离。如果所投射的为线状激光，经过结构光扫描仪360°扫描后，可以得到3D点云。在一种实施方案中，摄像头可以有多个。在一种实施方案中，结构光扫描仪包括相机以获取被扫描物体的明暗、色彩等信息。与多目深度相机的方案类似，结构光扫描仪获得了环境三维信息之后，控制器中的相应建模模块将图片、以及对应的深度信息并记录下来。再后，通过内置的三维重建算法，建模模块将图片拼接为全景图，再将记录的深度信息还原到图片上，最终就得到了所扫描的物体的三维模型。

在另一种可选的实施例中，环境信息收集器为测距仪，例如激光测距仪。测距仪360°旋转并扫描周围的物体，获得环境的三维信息并发送到控制器1，控制器1中的建模模块根据接收的信息，建立虚拟三维模型，例如虚拟场景模型、虚拟对象模型、虚拟工具模型等。

如前所述，控制器1包括场景模拟器，对象模拟器、工具模拟器。需要指出，上述各模拟器为非结构的功能模块。控制器1的实体包括微处理器、易失性存储器、非易失性存储器等习知的部件。非易失性存储器内存储有建模相关的算法。

场景模拟器用于接收场景信息以建立或更新虚拟场景模型。如前所述，在一种实施例中，场景信息来自于环境信息收集器所收集的场景三维信息和图像信息，例如客厅、书房等房间的信息。在其他实施例中，场景信息也可来自于云端的服务器，或者用户的输入等。虚拟场景模型包括场景的三维空间信息和表面图像信息；在一些实施例中，还包括场景中的物体的材质信息等。

对象模拟器用于接收对象信息以建立虚拟对象模型。在一种实施例中，对象信息来自于环境信息收集器所收集的对象的三维信息和图像信息。但在其他的实施例中，对象信息也可以来自于云端的服务器或者用户的输入等。例如，本系统中，待加工或改装的对象可以并不真实存在于用户家中，而是由用户在一个对象库中选取后，由对象模拟器建模并投射在虚拟场景模型中，或者现实场景中。例如，用户想在自己的客厅中试验增添一个茶几的效果，则可以先在本地或者云端的对象库中选择一个茶几，通过对象模拟器建模之后，显示于虚拟场景模型或者现实场景中，以供用户观察茶几的尺寸是否合适，风格是否和现有的布置搭配等。用户再通过输入模块调整虚拟茶几模型的参数，如空间位置、颜色等，显示模块根据用户的输入调整显示内容，反映用户的操作。优选的，显示模块会根据用户的输入，实时调整显示内容。

在更复杂的实施例中，对象模拟器可以即根据环境信息收集器的信息建立一些虚拟对象模型，也从对象库中选取模型。仍以客厅为例，本系统由环境信息收集器扫描场景信息，供场景模拟器建立客厅的虚拟场景模型；扫描沙发、落地灯等对象信息，供对象模拟器建立虚拟沙发模型、虚拟落地灯模型，然后用户再从对象库中选择一个茶几，供对象模拟器建立虚拟茶几模型。随后，显示模块将虚拟场景模型和各个虚拟对象模型融合在一起，并通过显示模块向用户显示茶几的摆放效果，并且通过输入模块，供用户调整各个虚拟对象模型的参数并将调整后的效果再次通过显示模块显示。在本实施例中，用户既能观察现实场景中并不存在的对象、如茶几在场景中的摆放效果，还能调整现实场景中存在的对象、如沙发、落地灯等的摆放效果，从而可以观察和试验添置了家居用品之后，现有的家居用品需要如何挪动，挪动后空间是否足够，效果是否满意等。

对象模拟器建立的对象模型除了包括空间属性、颜色属性等外形相关的属性参数，还包括形态属性。形态属性和对象的可改装性质相关。例如，形态属性包括对象的可分解属性，例如是否可以拆成不同的块；或对象的可加工属性，任意位置或者特定位置是否可以切割或者打磨；或对象的安装属性，如是否可以和其他对象或者场景以某种方式安装或拼接，如粘合、焊接、镶嵌、螺纹连接等。

工具模拟器用于建立虚拟工具模型。前述的虚拟场景模型和虚拟对象模型均具有和现实相当物对应的三维尺寸信息。在一个实施例中，虚拟工具模型与之不同，可以不具有三维尺寸信息，但具有类型信息和加工/改装能力信息，例如。类型信息为该虚拟工具模型为电钻，或往复锯，砂光机等；加工/改装能力信息为电钻的功率、工作时间、加工孔径等；或往复锯的功率、可切割工件类型等。当然，在其他实施例中，虚拟工具模型也可具有三维尺寸信息。

在一种实施例中，工具模拟器根据从服务器或本地存储器的数据库中获得的工具数据建立虚拟工具模型；在另一种实施例中，工具模拟器根据现实工具建立虚拟工具模型，例如，现实工具上具有可读取标志物如二维码、磁标或者RFID标签等，其中记录了工具信息，家居设计系统相应的具有扫码器，磁感应器或者RFID阅读器等来读取工具信息。工具模拟器根据读取的工具信息建立虚拟工具模型。进一步可选的，前述可读取的工具信息仅包括简单的工具类型信息，工具模拟器根据工具类型信息，从数据库中读取详细工具信息，如前述的加工/改装能力信息等。

在一种实施例中，显示模块为透明或者半透明的显示屏。该种显示屏的优势在于用户可以透过显示屏看到现实环境，从而将虚拟模型，以及其他需要的信息叠加显示在现实环境中。例如，显示模块可以为带有透明显示镜片的头盔或者眼睛。显示模块中内置有位置和姿态传感器，能够感应到自身位置姿态的变化以及和使用者的相对位置关系，从而保证显示的内容随用户视角而变化，始终处于正确位置。例如，在用户位置和姿态发生变化时，始终保证虚拟场景模型和现实场景重合，虚拟对象模型处于虚拟场景模型中、也即是现实场景中的设定位置。

在可选的实施例中，显示模块可以为手持式显示器，投影仪等。

在一种实施例中，输入模块可以为触摸板，用户通过触控操作进行输入。在其他实施例中，输入模块可以为自然交互界面设备，例如手势感应设备，感应用户的自然手势进行相应的控制，例如用户的拖拽、推移等动作。在更进一步的实施例中，输入设备和显示模块相互融合，例如，用户通过自然手势控制显示设备所显示在虚拟空间中的虚拟对象和虚拟工具，执行用户的各种指令。例如，用户可以直接拖移虚拟空间中的虚拟茶几，其就会相应移动到所拖动的位置，用户也可以用虚拟的电钻将虚拟相框挂在某个墙面。

在一种实施例中，家居设计系统模拟现实工具对现实对象的加工效果。在模拟之前，家居设计系统的各个模拟器首先完成建模工作，例如，建立虚拟场景模型、虚拟工具模型和虚拟对象模型。建模完成后，显示模块在用户视野中，叠加于真实场景显示虚拟工具模型和虚拟对象模型，用户通过前述的操作模块操作虚拟工具模型，随着用户的操作，显示模块实时显示加工过程，并在加工完成后显示加工结果。在一种具体场景中，用户可以操作一个虚拟曲线锯，在虚拟木板上切割出一个圆形板。在一种具体场景中，虚拟对象模型叠加显示于真实对象上，在用户操作虚拟工具模型时，加工过程将实时叠加显示于真实对象之上。在上述的操作过程中，虚拟对象模型的属性被改变，例如，虚拟木板的形状属性由方形变为圆形。

在一种实施例中，家居设计系统为用户提供商品/服务供应建议。如前所述的，家居设计系统内置本地数据库或与云端数据库通信，获取商品/服务供应信息。商品/服务供应信息包括但不限于，虚拟对象模型所对应的现实物品的购买或出租信息，如沙发、相框等的购买链接或购买地址、售价或租金等；虚拟工具模型所对应的现实工具的购买或出租信息、如电钻、往复锯，螺丝批等工具的购买链接或购买地址、售价或租金等。例如，在用户进入家居设计系统，进行家居设计时，若用户选择在家中添置摆设物品，并从数据库中选取了虚拟对象模型时，家居设计系统同时从数据库中获取虚拟对象模型对应的物品的购买链接，并通过显示模型显示给用户，用户可以通过输入模块改变虚拟对象模型的位置、切换其他款型的虚拟对象模型等，如果效果满意，则可以通过商品/服务供应信息来进行购买，例如在家居设计系统中直接下单和付款，由商家送货上门。用户也可以在通过家居设计系统进行家居设计时，购买或者租借所选中的虚拟工具模型对应的现实工具，具体过程类似上面的物品购买过程，不再赘述。

用户也可以在通过家居设计系统进行家居设计时，购买或获得家居设计/改装服务。例如，用户在通过家居设计系统，选择了需要购买的商品，并确定了摆设、改装方案之后，家居设计系统直接将整体设计方案打包生成一个购买链接，用户确认购买后，商家提供商品送货上门和摆设、改装服务。具体的，比如用户在家居设计系统中，通过增强现实技术确认了在客厅中安放一套特定款型的沙发、在墙面上设定的位置悬挂若干幅画，并铺设地毯。那么，该整体设计方案将被上传到商家，商家按照整体设计方案将沙发、画、地毯送到客户家中，并安装设计方案，将地毯铺好、沙发摆放到位、画安装到墙上。

在一种实施例中，家居设计系统为用户提供设计/改装操作指导建议。某些改装工作涉及到的工序比较多，并且需要用到多种工具，那么在这种典型情形下，家居设计系统能够为用户一步一步的分解操作指导。例如，用户需要自己动手制作一个书柜，在设计方案确定、原材料准备完成之后，家居设计系统通过显示模块指导用户进行工作，显示模块如前所述，可以为投影仪或带有透明或半透明显示仪的眼镜或头盔，显示模块将操作指导直接叠加显示在现实场景、对象和工具上。具体的，书柜制作需要板材切割、板材抛光、表面喷漆、安装孔制作、拼接固定等步骤；需要使用到夹具、切割锯、砂光机、刷子或喷漆设备、电钻等工具。相应的，家居设计系统分解为多个操作步骤，并在显示模块上显示目前正在进行的步骤，需要使用的材料、工具，以及需要用户如何操作。例如，第一步为，将板材夹持在夹具上，那么显示模块则在板材和夹具的位置上做出标记，并通过动画或者文字告诉用户将板材夹在夹具上；第二步为，使用切割锯切割出定长的板材，那么显示模块在用户完成第一步后，取消第一步中的提示，改为在切割锯上做出标记，并在夹具上的板材的待切割位置显示一条虚拟切割写，并通过动画或者问题告诉用户使用切割锯，沿切割线切割板材。后续的分解步骤，家居设计系统的指导方式类似，不再赘述。

Claims (19)

1.一种基于增强现实的家居设计系统，其特征在于，包括：

环境信息收集器，用于探测并收集环境的三维信息；

建模模块，包括场景模拟器、对象模拟器，分别生成虚拟场景模型、虚拟对象模型；所述场景模拟器基于环境信息收集器收集的三维信息生成所述虚拟场景模型；所述虚拟对象模型具有空间属性和形态属性，所述空间属性包括模拟对象的空间位置和/或角度、所述形态属性包括模拟对象的自身形态和\或与其他对象或场景的连接关系；

显示模块，基于虚拟对象模型在虚拟场景模型中的定位，在现实场景上叠加显示所述虚拟对象模型、或在现实场景上叠加显示虚拟场景模型及虚拟对象模型；

输入模块，供用户操控所述虚拟对象模型，以改变所述模拟对象的空间属性和\或形态属性。

2.根据权利要求1所述的家居设计系统，其特征在于，所述对象模拟器基于环境信息收集的三维信息，生成所述虚拟对象模型。

3.根据权利要求1所述的家居设计系统，其特征在于：所述家居设计系统存储有、或者连接到数据库，所述对象模拟器从所述数据库中获取信息并生成虚拟对象模型。

4.根据权利要求1所述的家居设计系统，其特征在于，所述形态属性包括形状属性、大小属性、连接属性、装配属性中的至少一种。

5.根据权利要求1所述的家居设计系统，其特征在于：所述家居设计系统还包括工具模型器，所述工具模型器生成虚拟工具模型，所述虚拟工具模型能够模拟现实工具的加工效果，相应的改变模拟对象的形态属性。

6.根据权利要求5所述的家居设计系统，其特征在于：所述工具模型器从内部工具库、或者外部数据源获取虚拟工具模型的属性数据，所述属性数据包含工具的类型数据及工作参数数据，所述工具模拟模块根据所述属性数据模拟现实工具的加工效果。

7.根据权利要求6所述的家居设计系统，其特征在于，所述外部数据源为工具本身或云端工具数据库。

8.根据权利要求1所述的家居设计系统，其特征在于：所述环境信息收集器为深度摄像仪、结构光探测仪、激光雷达中的一种。

9.根据权利要求1所述的家居设计系统，其特征在于：还包括购买模块，所述购买模块生成和模拟对象有关的服务和或商品购买建议。

10.根据权利要求9所述的家居设计系统，其特征在于：所述购买模块基于用户所选择操控的模拟对象的形态属性，生成加工所述现实对象所需的工具或服务的购买建议。

11.一种家居设计系统和工具的组合，包括前述任一权利要求所述的家居设计系统，还包括工具，其特征在于，所述家居设计系统录入所述工具的属性数据，并基于工具的属性数据，改变虚拟对象模型的形态属性。

12.根据权利要求11所述的组合，其特征在于：所述家居设计系统包括工具信息读取器，以识别所述工具并录入所述工具的属性数据。

13.根据权利要求11所述的组合，其特征在于，所述家居设计系统根据用户对模拟对象的操控，生成工具使用指导步骤，并向用户显示。

14.根据权利要求11所述的组合，其特征在于，所述工具为电动工具。

15.一种工具，其特征在于，其上设有工具属性标记，供权利要求11所述的家居设计系统读取，以获得所述工具的属性数据。

16.根据权利要求15所述的工具，其特征在于，所述工具属性标记为标记图案，RFID标签或内置存储器。

17.根据权利要求15所述的工具，其特征在于，所述工具为电动工具。

18.一种基于增强显示的家居设计方法，其特征在于，包括以下步骤：

探测并收集现实场景的场景数据，所述场景数据包括图像信息和深度信息；

根据场景数据，生成现实场景的虚拟场景模型；

生成用户可操控的虚拟对象模型，所述虚拟对象模型具有空间属性和形态属性，所述空间属性包括模拟对象的空间位置和/或角度、所述形态属性包括虚拟对象模型的自身形态和\或与其他对象或场景的连接关系；

基于虚拟对象模型在虚拟场景模型中的定位，在现实场景上叠加显示所述虚拟对象模型、或在现实场景上叠加显示虚拟场景模型及虚拟对象模型；

接收用户对所述虚拟对象模型的操控，改变所述虚拟对象模型的空间属性和或形态属性。

19.一种基于增强显示的家居设计方法，其特征在于，包括以下步骤：

生成现实场景的虚拟场景模型；

生成用户可操控的虚拟对象模型，所述虚拟对象模型具有空间属性和形态属性，所述空间属性包括模拟对象的空间位置和/或角度、所述形态属性包括虚拟对象模型的自身形态和\或与其他对象或场景的连接关系；

基于虚拟对象模型在虚拟场景模型中的定位，在现实场景上叠加显示所述虚拟对象模型、或在现实场景上叠加显示虚拟场景模型及虚拟对象模型；

接收用户对所述虚拟对象模型的操控，改变所述虚拟对象模型的空间属性和或形态属性；

基于用户对所述虚拟对象模型的操控，提供服务/商品购买建议。