CN105787993B - 一种扩增实境方法与系统 - Google Patents

Abstract

本发明公开了一种扩增实境(AR)方法，其包括：拍摄一实体空间的所有实体对象，以得到该些实体对象的各自深度信息；产生这些实体对象的各自实体坐标；建构出该实体空间的一立体地图；找出对应该实体空间的一AR配置；将该AR配置中的多个AR对象的各自AR虚拟坐标转换为该些AR对象在该实体空间中的各自实体坐标；判断是否发生AR摆放错误；如果发生AR摆放错误的话，则针对导致AR摆放错误的该些AR对象的至少一第一AR对象调整该第一AR对象的一第一AR虚拟坐标；以及进行AR展示。

Description

一种扩增实境方法与系统

技术领域

本发明是有关于一种扩增实境方法与系统。

背景技术

通过实体宅妆，看房者能看到屋内家具摆置情况，使得房屋成交率能被提高，并藉此了解消费者的喜好。自从扩增实境(Augment Reality，AR)被提出后，设计业者/厂商将设计风格及虚拟家具上传到扩增实境开发平台，让消费者可以在移动装置上看到虚拟家具与实体房屋对象的结合。

本发明提出一种扩增实境方法与系统，可随着用户客户喜好/需求来更换不同的展示风格与展示坪数。

发明内容

本发明是有关于一种扩增实境方法与系统，其对实体空间预先拍摄，以建构出实体空间下的所有实体对象的各自实体坐标及立体地图，并将所有实体对象的各自实体坐标比对于所有虚拟对象的实体坐标，来据以调整该些虚拟对象的显示位置。

根据本发明一实施例，提出一种扩增实境(AR)方法，包括：由一用户移动装置拍摄一实体空间的所有实体对象，以得到该些实体对象的各自深度信息；由该用户移动装置产生这些实体对象的各自实体坐标，并传送至一AR伺服系统；由该AR伺服系统建构出该实体空间的一立体地图；由该AR伺服系统找出对应该实体空间的一AR配置；由该AR伺服系统将该AR配置中的多个AR对象的各自AR虚拟坐标转换为该些AR对象在该实体空间中的各自实体坐标；由该AR伺服系统判断是否发生AR摆放错误；如果发生AR摆放错误的话，则该AR伺服系统针对导致AR摆放错误的该些AR对象的至少一第一AR对象调整该第一AR对象的一第一AR虚拟坐标；以及由该用户移动装置进行AR展示。

根据本发明另一实施例，提出一种扩增实境(AR)系统，包括：一用户移动装置，拍摄一实体空间的所有实体对象，以得到该些实体对象的各自深度信息，并产生这些实体对象的各自实体坐标；以及一AR伺服系统，连接至该用户移动装置。该AR伺服系统包括：一实体空间建构模块，接收该用户移动装置所产生的这些实体对象的该些实体坐标，以建构出该实体空间的一立体地图；一AR对象智能推荐模块，找出对应该实体空间的一AR配置；一AR空间转换模块，将该AR配置中的多个AR对象的各自AR虚拟坐标转换为该些AR对象在该实体空间中的各自实体坐标；以及一AR空间配置校正模块，判断是否发生AR摆放错误，如果发生AR摆放错误的话，则该AR空间配置校正模块针对导致AR摆放错误的该些AR对象的至少一第一AR对象调整该第一AR对象的一第一AR虚拟坐标。该AR对象智能推荐模块将调整后的该AR配置回传给该用户移动装置，由该用户移动装置进行AR展示。

为了对本发明的上述及其他方面有更佳的了解，下文特举实施例，并配合附图，作详细说明如下：

附图说明

图1所示为根据本发明一实施例的扩增实境(Augmented Reality)系统的功能示意图。

图2A～图2E所示为根据本发明一实施例的AR展示及解决AR摆放错误的示意图。

图3所示为根据本发明一实施例的AR方法的流程图。

用户移动装置：100 3D深度照相机：111

3D空间建立模块：113 AR基本模块：115

屏幕：117 AR伺服系统：150

实体空间建构模块：151

AR对象智能推荐模块：153

AR空间配置校正模块：155

AR空间转换模块：157

实体空间数据库：159

AR配置数据库：161

AR基本模块：163

人物：210 台灯：220

实体参考对象：230 AR虚拟沙发：245

AR虚拟参考对象：240 步骤310～380

具体实施方式

本说明书的技术用语为参照本技术领域的习惯用语，如本说明书对部分用语有加以说明或定义，该部分用语的解释以本说明书的说明或定义为准。本发明的各个实施例分别具有一或多个技术特征。在可能实施的前提下，本技术领域具有通常知识者可选择性地实施任一实施例中部分或全部的技术特征，或者选择性地将这些实施例中部分或全部的技术特征加以组合。

现请参考图1，其显示根据本发明一实施例的扩增实境(Augmented Reality)系统的功能示意图。如图1所示，根据本发明实施例的用户移动装置100至少包括：3D(三维)深度照相机111、3D空间建立模块113、AR基本模块115与屏幕117。AR伺服系统150则至少包括：实体空间建构模块(physical space generation module)151、AR对象智能推荐模块(ARobject intelligent suggestion module)153、AR空间配置校正模块(AR spacecorrection module)155、AR空间转换模块(AR space converting module)157、实体空间数据库(physical space database)159、AR配置数据库(AR deposition database)161与AR基本模块163。3D空间建立模块113与AR基本模块115可由安装于用户移动装置100上的AR应用程序(未示出)来提供。

虽然图1中并未示出，但用户移动装置100还包括处理器、内存等其他元件。用户移动装置100可以是智能型手机、平板计算机等。

用户移动装置100的3D深度照相机111用以对实体空间进行照相、感测等，以得到在此实体空间中的所有实体对象的2D影像及其相关深度信息。3D深度照相机111将所拍摄到的2D影像及其相关深度信息传送给3D空间建立模块113。3D空间建立模块113据以建立出在此实体空间下的所有实体对象的各自实体3D坐标。比如，以5坪大小的房间为例，用户手持用户移动装置100，对此房间内进行环绕式拍摄，来拍摄此房间的所有实体对象(包括墙壁、椅子、桌子、实体参考对象(physical marker)等)，以得到所有实体对象的各自深度数据。进一步说，3D深度照相机111对于所拍到的每一个2D影像点，侦测其深度值。

在拍摄时，可能是一张一张地拍摄，然后由用户移动装置100的AR应用程序将所拍摄的2D影像组合起来。接着，3D空间建立模块113建立出此实体空间内的所有实体对象的各自实体坐标。

更进一步地说，在拍摄时，可将用户移动装置100及实体参考对象置于实体空间的中心位置。用户移动装置100的3D空间建立模块113取得所有墙壁相距于此中心的各自距离，以估算出此实体空间的面积/坪数。

由3D空间建立模块113所得到的所有实体对象的相关实体坐标则通过网络而传送至AR伺服系统150。

AR基本模块115则是与AR应用相关的基本模块，其细节在此不予详述。屏幕117则可显示出由3D深度照相机111所拍摄出的照片，及显示出由AR伺服系统150所来的AR空间配置。

AR伺服系统150的实体空间建构模块151则根据由3D空间建立模块113所得到的所有实体对象的该些实体坐标来建构出此实体空间的3D地图，并存放于实体空间数据库159内。也就是说，实体空间建构模块151来建构出在此实体空间的所有实体对象(如实体椅子与实体桌子)在此5坪房间中的各自真实3D位置，并存放于实体空间数据库159内。

AR对象智能推荐模块153从AR配置数据库161中所预先设计好的多个AR配置中，来找出适合此实体空间的AR配置。比如，以5坪房间为例，AR对象智能推荐模块153从AR配置数据库161中找出适合放置于5坪房间中的AR配置。

如果AR对象智能推荐模块153所推荐的AR配置造成AR对象在实体空间中的遮蔽、穿墙等问题，则AR空间配置校正模块155将调整AR对象在此实体空间的AR对象位置，以解决遮蔽、穿墙等问题，其细节将于底下说明。

于AR配置中，会配置一AR虚拟参考对象(marker)，所有的AR对象的位置、方向、大小、距离等都是参考此AR参考对象而定。故而，在本发明实施例中，由AR空间转换模块157从AR配置数据库161中，找出所有欲配置的AR对象相对于此AR参考对象的位置、方向、大小、距离等空间参数，以传送给AR空间配置校正模块155。也就是说，AR空间转换模块157可将AR配置中的所有AR对象的虚拟坐标转换成该些AR对象在实体空间的各自实体坐标。

AR空间转换模块157计算出所找出的AR配置所组合出的面积；找出AR虚拟参考对象于虚拟空间中所占的面积；计算出AR虚拟参考对象在实体空间中所占的面积。

AR基本模块163则包括AR伺服系统150在执行AR功能时可能用到的其他AR模块，其细节在此不详述。

现将说明本发明一实施例如何解决AR对象所造成的摆放错误问题。

如图2A所示，首先，用户移动装置100对实体空间进行拍摄，以建立出此实体空间内的所有实体对象的相关实体坐标。人物210的实体坐标为(x1，y1，z1)，而台灯220的实体坐标为(x2，y2，z2)。此外，用户移动装置100亦可预估出此实体空间的大小。用户移动装置100将此实体空间内的所有实体对象(人物210、台灯220与实体参考对象230)的相关实体坐标通过网络来传送给实体空间建构模块151，来建构出此实体空间中的3D地图。也就是说，实体空间建构模块151可以得到所有实体对象(人物210、台灯220与实体参考对象230)在此实体空间中的实际位置。

AR对象智能推荐模块153从AR配置数据库161找出适合此实体空间的AR配置、AR对象配置关系、AR空间等，如图2B所示。AR空间的大小乃是配合于实体空间的大小，比如，如果实体空间大小约5坪的话，则所找出的AR空间也是5坪左右。请注意，为方便了解，在图2B中只显示出AR对象及其配置，而暂将实体对象不显示在图2B。如图2B所示，AR对象智能推荐模块153所找出的AR对象包括：AR虚拟参考对象240与AR虚拟沙发245。当然，本发明并不受限于此。

AR空间转换模块157能将AR空间的虚拟坐标转换成实体空间的实体坐标。也就是说，AR空间转换模块157找出AR虚拟沙发245相对于AR虚拟参考对象240的位置、方向、大小、距离等空间参数，来推算出这些AR对象在实体空间中的各自实体坐标，以传送给AR空间配置校正模块155。详细地说，由于已预先设计好AR空间(故能得知AR空间所对应的空间大小)，且AR虚拟参考对象240在此AR空间中的尺寸与位置也是由设计师所事先设计好，故而，AR空间转换模块157能据此来找出所有AR对象在此AR空间中的位置参数，并转换成这些AR对象在实体空间的坐标。亦即，AR空间转换模块157可推算出，AR虚拟沙发245在此实体空间的坐标(xar1，yar1，zar1)。

所以，AR空间配置校正模块155可根据这些实体对象的各自实体坐标以及该些AR对象的各自实体坐标，来判断出是否有AR摆放错误。比如，经过空间转换后，AR空间转换模块157判断出，AR虚拟沙发245的初始位置(xar1，yar1，zar1)将有可能导致，在进行AR展示时，此AR虚拟沙发245遮蔽到实体空间中的任何实体对象，或者是导致此AR虚拟沙发245穿过墙壁，如图2C所示。

如果有AR摆放错误的话，由AR空间配置校正模块155来校正AR对象的位置/实体坐标/虚拟坐标。比如，在本发明一实施例中，AR空间转换模块157计算出待移动的AR虚拟沙发245在x方向与y方向上的移动量；并据以计算出，移动后的AR虚拟沙发245在实体空间的(位置移动/调整后)实体坐标。

所以，AR空间配置校正模块155据以调整AR虚拟沙发245在AR空间中的位置，直到人物210不被AR虚拟沙发245遮蔽为止。比如，经过调整后，AR虚拟沙发245的实体坐标被调整为(xar1’，yar1’，zar1’)，如图2D所示。也就是说，AR空间配置校正模块155调整AR对象的摆放位置、方向等，以解决AR摆放错误。

AR空间配置校正模块155将AR对象的校正后坐标(比如，转换成AR空间中的虚拟坐标)存回至AR配置数据库161。之后，AR对象智能推荐模块153从AR配置数据库161读出经校正过后的AR对象配置，并传给用户移动装置100。用户移动装置100将AR对象配置与所拍摄的实时影像实时地显示于屏幕117上，如图2E所示。由图2E可看出，经过AR配置调整后，显示在用户移动装置100的屏幕117上的AR虚拟沙发245将不再遮蔽人物210。

此外，在本发明一实施例中，当AR空间配置校正模块155在校正AR对象的摆放位置时，会将在生活习惯/使用习惯上被人们视为一对的AR对象进行连动调整。比如，以AR对象包括成对展示的AR虚拟沙发与AR虚拟茶几为例做说明。当AR空间配置校正模块155判断出AR虚拟沙发的摆放位置需要调整时，AR空间配置校正模块155会一并连动调整AR虚拟沙发与AR虚拟茶几的摆放位置。这样的话，经过位置调整时，在进行AR展示，即便是经过位置调整，初始设计为成对展示的AR虚拟沙发与AR虚拟茶几仍是成对展示，以让使用者不会觉得突兀。否则的话，如果在调整位置时，只对成对展示的其中一件AR对象调整其位置，但成对展示的其他AR对象的位置不调整的话，则在进行AR展示时，原本该成对展示的这些AR对象可能不再被用户视为是成对对象，使得用户体验度降低。本发明实施例能兼顾到此方面的使用者观感。

现请参考图3，其显示根据本发明一实施例的AR方法的流程图。于步骤310中，拍摄实体空间的所有实体对象，以得到该些实体对象的各自深度信息。于步骤320中，产生这些实体对象的各自实体坐标。于步骤330中，建构出实体空间的立体地图。于步骤340中，找出对应此实体空间的AR配置。于步骤350中，将所找出AR配置中的AR对象的各自AR虚拟坐标转换为AR对象在实体空间中的各自实体坐标。于步骤360中，判断是否发生AR摆放错误(比如，遮蔽、迭合、穿墙等)。如果发生AR摆放错误的话，则调整AR对象的AR虚拟坐标，直到解决AR摆放错误为止，如步骤370。于步骤380中，进行AR展示。至于各步骤的细节，于上述实施例已进行相关描述，故在此不重述。

本发明实施例的AR方法能解决现有技术中，以实体宅妆展示装潢室内所导致的庞大物流通路成本以及耗时、费工的缺点。用户在用户移动装置中预安装好AR应用程序。当用户到达实体空间(比如，待租/售的房屋对象)时，用户操作AR应用程序，即可达到实时AR展示的功能。故而，不再须要实体展示家具，能节省成本与时间。

在现有技术中，一个AR虚拟参考对象通常只能代表单一AR配置，在AR展示时，需要有很多AR虚拟参考对象，才能达到多AR配置展示。相反地，在本发明实施例中，无须使用众多AR虚拟参考对象来构建AR展示，甚至可以通过单一AR虚拟参考对象即可建构一个实体空间的多家具AR展示。

更甚至，在使用者想要更换单一家具款式时，通过本发明实施例，使用者无须重新下载并注册AR对象，用户可点选用户移动装置上的AR应用程序的选单，以达到单一对象更换。

此外，由于房屋格局彼此不同，且有些房屋格局复杂，传统作法是为各种坪数客制化摆设风格，这样需要费时且需付出额外设计成本/设计时间。但在本发明实施例中，由于用户可通过AR应用程序来实时更换AR展示，故而更能节省相关成本花费。

本发明实施例可以不通过设计师，让用户在AR应用程序上进行AR展示空间坪数调整，达到多坪数适应性的AR展示，更能提供使用者友善便利性。

在进行AR展示的同时，本发明实施例的AR伺服系统/平台可收集使用者行为/喜好，以提供房产中介了解客户的习惯及喜好，提升房产中介成交对象的成交率。

此外，以本发明实施例而言，用户移动装置只需要配置能感测深度信息的3D深度照相机，并预先下载AR应用程序。在进行AR展示时，用户移动装置连线至AR伺服系统，将所得到的实体对象的实体坐标传送给AR伺服系统。故而，用户移动装置的硬件需求并不太高。相反地，在现有技术中，如果让用户移动装置来解决AR摆放错误的话，则对用户移动装置的硬件需求甚高。

综上所述，虽然本发明已以实施例公开如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种更动与润饰。因此，本发明的保护范围当以后附的权利要求范围为准。

Claims (14)

1.一种扩增实境(AR)方法，包括：

由一用户移动装置拍摄一实体空间的所有实体对象，以得到该实体空间中该些实体对象的各自深度信息与各自影像；

由该用户移动装置根据该些实体对象的各该深度信息与各该影像以产生该些实体对象于该实体空间的各自实体坐标，并传送至一AR伺服系统；

由该AR伺服系统依据该实体空间的该些实体对象的各该实体坐标以建构出该实体空间的一立体地图；

由该AR伺服系统找出对应该实体空间尺寸的一AR配置；

由该AR伺服系统将该AR配置中的多个AR对象的各自AR虚拟坐标转换为该些AR对象在该实体空间中的各自实体坐标；

由该AR伺服系统判断是否发生AR摆放错误；

如果发生AR摆放错误的话，则该AR伺服系统针对导致AR摆放错误的该些AR对象的至少一第一AR对象调整该第一AR对象的一第一AR虚拟坐标；以及

由该用户移动装置进行AR展示。

2.如权利要求1所述的扩增实境方法，还包括：

将具有一三维(3D)深度照相机的该用户移动装置及一实体参考对象置于该实体空间的一中心位置；以及

该用户移动装置取得该实体空间的所有墙壁相距于该中心位置的各自距离，以估算出该实体空间的一面积。

3.如权利要求1所述的扩增实境方法，其中，

该AR伺服系统将所建构出的该实体空间的该立体地图存放于一实体空间数据库内；以及

该AR伺服系统从一AR配置数据库找出适合该实体空间的该AR配置。

4.如权利要求1所述的扩增实境方法，其中，

该AR伺服系统计算该AR配置所组合出的面积；

该AR伺服系统找出一AR虚拟参考对象在一AR虚空间中所占的面积；以及

该AR伺服系统计算该AR虚拟参考对象在该实体空间中所占的面积。

5.如权利要求1所述的扩增实境方法，其中，判断是否发生AR摆放错误的该步骤包括：

根据该些实体对象的各自实体坐标以及该些AR对象的各自实体坐标，来判断是否有AR摆放错误。

6.如权利要求5所述的扩增实境方法，其中，

判断该些AR对象是否遮蔽或与在该实体空间中的该些实体对象的至少之一重合，来判断是否有AR摆放错误；以及

判断该些AR对象是否穿透该实体空间中的至少一墙壁，来判断是否有AR摆放错误。

7.如权利要求1所述的扩增实境方法，其中，如果该第一AR对象跟一第二AR对象属于成对展示的话，则在调整该第一AR对象的该第一AR虚拟坐标时，还对该第二AR对象的一第二AR虚拟坐标进行连动调整。

8.一种扩增实境(AR)系统，包括：

用户移动装置，拍摄一实体空间的所有实体对象，以得到该实体空间中该些实体对象的各自深度信息与各自影像，并根据该些实体对象的各该深度信息与各该影像以产生该些实体对象于该实体空间的各自实体坐标；以及

AR伺服系统，连接至该用户移动装置，该AR伺服系统包括：

实体空间建构模块，接收该用户移动装置所产生的这些实体对象的该些实体坐标，以依据该实体空间的该些实体对象的各该实体坐标以建构出该实体空间的一立体地图；

AR对象智能推荐模块，找出对应该实体空间尺寸的一AR配置；

AR空间转换模块，将该AR配置中的多个AR对象的各自AR虚拟坐标转换为该些AR对象在该实体空间中的各自实体坐标；以及

AR空间配置校正模块，判断是否发生AR摆放错误，如果发生AR摆放错误的话，则该AR空间配置校正模块针对导致AR摆放错误的该些AR对象的至少一第一AR对象调整该第一AR对象的一第一AR虚拟坐标；

其中，该AR对象智能推荐模块将调整后的该AR配置回传给该用户移动装置，由该用户移动装置进行AR展示。

9.如权利要求8所述的扩增实境系统，其中，该用户移动装置包括：

三维(3D)深度照相机，用以拍摄；以及

3D空间建立模块；

其中，

当该用户移动装置及一实体参考对象置于该实体空间的一中心位置时，该3D空间建立模块取得该实体空间的所有墙壁相距于该中心位置的各自距离，以估算出该实体空间的一面积。

10.如权利要求8所述的扩增实境系统，其中，该AR伺服系统还包括一实体空间数据库与一AR配置数据库；

该实体空间建构模块将所建构出的该实体空间的该立体地图存放于该实体空间数据库内；以及

该AR对象智能推荐模块从该AR配置数据库找出适合该实体空间的该AR配置。

11.如权利要求8所述的扩增实境系统，其中，

该AR空间转换模块计算该AR配置所组合出的一面积；

该AR空间转换模块找出一AR虚拟参考对象于一AR虚空间中所占的一面积；以及

该AR空间转换模块计算该AR虚拟参考对象在该实体空间中所占的一面积。

12.如权利要求8所述的扩增实境系统，其中，根据该些实体对象的各自实体坐标以及该些AR对象的各自实体坐标，该AR空间配置校正模块判断是否有AR摆放错误。

13.如权利要求12所述的扩增实境系统，其中，

该AR空间配置校正模块判断该些AR对象是否遮蔽/迭合在该实体空间中的该些实体对象的至少一者，来判断是否有AR摆放错误；以及

该AR空间配置校正模块判断该些AR对象是否穿透该实体空间中的至少一墙壁，来判断是否有AR摆放错误。

14.如权利要求8所述的扩增实境系统，其中，如果该第一AR对象跟一第二AR对象属于成对展示的话，则该AR空间配置校正模块调整该第一AR对象的该第一AR虚拟坐标时，该AR空间配置校正模块还对该第二AR对象的一第二AR虚拟坐标进行连动调整。