CN106371585A - 扩增实境系统及其方法 - Google Patents

扩增实境系统及其方法 Download PDF

Info

Publication number
CN106371585A
CN106371585A CN201610711110.8A CN201610711110A CN106371585A CN 106371585 A CN106371585 A CN 106371585A CN 201610711110 A CN201610711110 A CN 201610711110A CN 106371585 A CN106371585 A CN 106371585A
Authority
CN
China
Prior art keywords
augmented reality
image
dynamic
reality system
reality image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610711110.8A
Other languages
English (en)
Other versions
CN106371585B (zh
Inventor
谈飞
黄均昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Wen
Original Assignee
Taap Yi Hai (shanghai) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taap Yi Hai (shanghai) Technology Co Ltd filed Critical Taap Yi Hai (shanghai) Technology Co Ltd
Priority to CN201610711110.8A priority Critical patent/CN106371585B/zh
Priority claimed from CN201610711110.8A external-priority patent/CN106371585B/zh
Publication of CN106371585A publication Critical patent/CN106371585A/zh
Application granted granted Critical
Publication of CN106371585B publication Critical patent/CN106371585B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种扩增实境系统及方法，其特征在于，包括:电子装置，包括：影像撷取单元，用以撷取影像；处理模块，包括处理单元及记忆单元，用以执行扩增实境应用程式，经比对撷取影像与标志物特征后，加载扩增实境图像于影像以形成扩增实境影像；显示单元，用以显示扩增实境影像；配戴装置，包括：动态感测单元，用以感测使用者身体的动态参数；其中动态参数自配戴装置传输至电子装置，并以动态参数动态调整扩增实境图像。

Description

扩增实境系统及其方法
技术领域
本发明是有关于一种扩增实境系统，特别是有关于一种动态感测装置提升扩增实境互动程度的系统及方法。
背景技术
扩增实境技术(Augmented Reality，AR)，为将虚拟世界的视效、音效及空间信息等信息整合至真实环境信息的技术，扩增实境技术不仅展现真实环境的信息，亦同时将虚拟的信息显示出来，藉由两种信息相互补充、迭加，藉此让使用者可获得更丰富的感知信息，通常，搭载扩增实境技术的电子装置可透过配置于其上的摄像镜头捕捉真实环境的影像，并实时地计算所捕捉影像的位置、角度，同时加上相应虚拟图像，其目的是在显示屏幕上把虚拟世界信息套在现实环境信息中，让使用者透过所捕捉的影像与虚拟世界的信息进行互动。
现今扩增实境技术主要应用于智能手机、平板计算机等移动装置，近年来由于虚拟现实(Virtual Reality，VR)技术的发展，也开始将扩增实境技术应用于智能头盔、智能眼镜等穿戴式设备上。透过3D图像动画的渲染，多媒体视频、音频的播放，扩增实境技术被广泛地应用于电玩游戏、媒体传播及教育等领域。
扩增实境技术利用虚拟特效增强真实环境中的场景，将需要被展示或被突显的目标事物更加生动且具体，带给使用者强烈鲜明的视觉效果。然而，由于欠缺互动功能及千篇一律的虚拟特效，也容易让使用者的新鲜感消退而失去使用的兴趣。
有鉴于此，如何提供一种互动性佳、娱乐性高的扩增实境系统，为本发明欲解决的技术课题。
发明内容
本发明提供一种互动性佳、娱乐性高的扩增实境系统及其方法，使用者可透过配戴装置控制形成的扩增实境图像并与其进行互动。
为达上述目的，本发明提供一种扩增实境系统，其特征在于，包括:
电子装置，包括：
影像撷取单元，用以撷取影像；
处理模块，包括处理单元及记忆单元，其中处理单元用以执行扩增实境应用程式以及记忆单元用以存取标志物数据库，且于标志物数据库中包括多个标志物特征，处理单元对影像与标志物特征进行比对及匹配，以加载扩增实境图像于影像以形成扩增实境影像；
显示单元，用以显示扩增实境影像；及
第一无线单元；以及
配戴装置，包括
动态感测单元，用以感测使用者身体的动态参数；及
第二无线单元；
其中配戴装置透过第二无线单元以无线连接第一无线单元，并与电子装置进行配对，并将动态参数由配戴装置传输至电子装置，处理单元利用动态参数动态调整扩增实境图像。
较佳的，本发明的扩增实境应用程式的执行步骤包括：
(a).扩增实境系统初始化；
(b).以影像撷取单元撷取影像；
(c).判断影像是否具有标志物特征，若否，则退回至步骤(b)；
(d).加载扩增实境图像；
(e).以影像撷取单元撷取次一帧影像；
(f).判断次一帧影像是否具有标志物特征，若否，则退回至步骤(b)；
(g).判断是否接收到动态参数,若是，则进行动态调整扩增实境图像,若否，则进行更新扩增实境图像；以及
(h).回至步骤(e)。
较佳的，本发明的步骤(a)包括读取影像撷取单元参数、标志物数据库及扩增实境应用程式执行檔，并暂存于记忆单元；
较佳的，本发明的步骤(d)藉由计算2D-3D变换矩阵以形成扩增实境图像。
较佳的，本发明的步骤(g)依据标志物新位置更新2D-3D变换矩阵以更新扩增实境图像。
较佳的，本发明的步骤(g)依据标志物新位置及动态参数更新2D-3D变换矩阵以动态调整扩增实境图像。
较佳的，本发明的配戴装置与电子装置于步骤(a)至(f)任一步骤进行时，以无线方式进行配对。
较佳的，本发明的无线方式为：Wi-Fi、蓝牙、群蜂无线网络、超宽带、Sub-GHz、家用高周波无线传输、无线射频识别或近距离无线通信。
较佳的，本发明的电子装置为：笔记本电脑、平板、个人数字助理、移动电话、智能头盔、智慧眼镜或游戏机。
较佳的，本发明的配戴装置为：智慧手表或智慧手环。
较佳的，本发明的动态感测单元为：重力传感器、方向传感器、磁力传感器、加速度传感器或角速度传感器。
本发明另提供一种扩增实境方法，其特征在于藉由感测使用者身体的动态参数以动态调整扩增实境图像，包括下列步骤:
(a).撷取影像；
(b).判断影像是否具有标志物特征，若否，则退回至步骤(a)重新撷取影像；
(c).加载扩增实境图像；
(d).撷取次一帧影像；
(e).判断次一帧影像是否具有标志物特征，若否，则退回至步骤(a)重新撷取所述影像；以及
(f).判断是否接收到动态参数,若是，则进行动态调整扩增实境图像,若否，则进行更新扩增实境图像。
较佳的，本发明的步骤(c)藉由计算2D-3D变换矩阵以形成扩增实境图像。
较佳的，本发明的步骤(f)更新扩增实境图像步骤是依据标志物新位置更新2D-3D变换矩阵以更新扩增实境图像。
较佳的，本发明的步骤(f)动态调整扩增实境图像是依据标志物新位置及动态参数更新2D-3D变换矩阵以动态调整扩增实境图像。
附图说明
图1A为本发明所提供扩增实境系统运作的示意图；
图1B为本发明标志物数据库中标志物特征生成的流程图；
图2为本发明所提供扩增实境系统运作的流程图；
图3为本发明所提供扩增实境系统实施例的示意图；以及
图4A至4C为本发明所提供扩增实境系统实施例运作的示意图。
具体实施方式
本发明的优点及特征以及达到其方法将参照例示性实施例及附图进行更详细的描述而更容易理解。然而，本发明可以不同形式来实现且不应被理解仅限于此处所陈述的实施例。相反地，对所属技术领域具有通常知识者而言，所提供的此些实施例将使本揭露更加透彻与全面且完整地传达本发明的范畴。
首先，请参阅图1，图1为本发明所提供扩增实境系统运作的示意图，如图1所示，本发明所提供的扩增实境系统包括电子装置10及配戴装置20，电子装置10具有显示单元101、处理模块102、第一无线单元103及影像撷取单元104，其中，处理模块102包括：处理单元1021及记忆单元1022，其中处理单元1021用于执行扩增实境应用程式，记忆单元1022用于暂存执行扩增实境应用程式时，扩增实境系统初始化的资料包括：影像撷取单元104的参数、扩增实境应用程式内含的标志物数据库及扩增实境应用程式的执行檔。
当用户开启扩增实境应用程式时，影像撷取单元104(例如：摄像镜头)可撷取周遭环境的影像，例如撷取真实环境中包含物件3的影像，处理单元1021则是将所撷取到包含物件3的影像与标志物数据库内所储存的标志物特征进行比对及匹配，若物件3符合标志物特征，则处理单元1021会将3D扩增实境图像加载于所撷取的影像，以形成扩增实境影像，而形成的扩增实境影像则进一步于显示单元101(例如：移动电话屏幕、平板屏幕)上进行显示。
请继续参阅图1，配戴装置20具有动态感测单元201及第二无线单元202，第二无线单元202可透过无线方式与电子装置10中的第一无线单元103进行无线通讯连接，使配戴装置20可与电子装置10进行配对，过配戴装置20可配戴于使用者身上并可藉由动态感测单元201感测使用者身体姿态的变化，例如：挥手、转圈、奔跑或跳跃，当使用者身体姿态产生变化时，感测单元201将感测到的身体姿态变化转换成动态参数，并透过第二无线单元202将动态参数传输至电子装置10，而处理单元1021则利用所接收到动态参数对加载于影像上的扩增实境图像进行动态的调整。
在本发明的实施例中，电子装置10可为：笔记本电脑、平板、个人数字助理、移动电话、智能头盔、智慧眼镜或游戏机；配戴装置20可为：智慧手表或智慧手环；配戴装置20中的动态感测单元201可为：重力传感器、方向传感器、磁力传感器、加速度传感器或角速度传感器。而第一无线单元103与第二无线单元202两者连接的无线方式可为：Wi-Fi、蓝牙(Bluetooth)、群蜂无线网络(ZigBee)、超宽带(Ultra WideBand；UWB)、Sub-GHz(1GHz以下频段)、家用高周波无线传输(HomeRF)、无线射频识别(RFID)或近距离无线通信(NFC)等无线连接技术。
接着请参阅图1B，图1B是用来说明本发明标志物数据库中标志物特征生成的流程图。标志物特征生成的流程包括：任意选取一张标志物图像(步骤S301)，于步骤S301中，为达到稳定的扩增实境效果，标志物图像的像素数量不能过低且不能过于简单或单调，理想情况为具有足够多的特征点；接着，生成标志物图像层(步骤S302)，于步骤S302中，运用线性插值法(Iinear interpolation)对标志物图像进行不同尺度的缩小并建立图层塔，藉由不同尺度的缩小，使扩增实境系统可与影像撷取单元所撷取影像中各种不同尺寸的标志物进行匹配；紧接着，生成跟踪组的标志物特征点(步骤S303)，于步骤S303中，首先，先对标志物图像提取角点，尔后再对提取出的角点进行相关性的检测，筛选并剔除相关性过高的角点，其中，各角点附近区域内光强度平均值的差异为相关性筛选的原则。当影像撷取单元104连续撷取多帧影像时，扩增实境系统即可使用跟踪组的标志物特征点对所撷取影像中的物件进行追踪，而毋须进行重复的比对及匹配；最后，生成匹配组的标志物特征点及描述子(步骤S304)，于步骤S304中，对标志物图像进行标志物特征点的提取，同时生成对应该标志物特征点的描述子。当影像撷取单元104撷取第一帧影像后，即使用步骤S304中形成的标志物特征点及描述子与所撷取的影像进行比对和匹配。于本发明中，所生成跟踪组的标志物特征点、匹配组的标志物特征点及描述子等相关数据以二进制元数字的方式储存于副檔名为RDX的文件檔中，并可于扩增实境应用程序执行时进行读取的动作。
接者，请同时参阅图1及图3，图3为本发明所提供扩增实境系统运作的流程图，在用户开启扩增实境应用程式时，首先进行扩增实境系统初始化(步骤S100)，于步骤S100中，处理模块102的处理单元1021会读取影像撷取单元104的参数、扩增实境应用程式内含的标志物数据库及扩增实境应用程式的执行檔，并将其暂存于记忆单元1022中。其中，影像撷取单元104的参数用于确定扩增实境图像的2D-3D变换矩阵，标志物数据库则包含多笔标志物特征信息，以利后续与撷取影像进行比对、匹配与追踪，而扩增实境应用程式执行檔则提供3D扩增实境图像的加载及作业环境。
接着，藉由影像撷取单元104撷取影像(步骤S101)，尔后判断影像中使否具有标志物特征(步骤S102)，于步骤S102中，将所撷取包含物件3的影像与标志物数据库进行比对与匹配(透过图1B所述步骤S304中所生成匹配组的标志物特征点及描述子)，经由比对来确认撷取的影像中是否具有标志物特征，若撷取的影像不具有标志物特征，则退回至步骤S101，再藉由影像撷取单元104重新撷取一帧新的影像进行标志物特征的比对。
若经步骤S102的比对后，确认撷取的影像具有标志物特征，则开始计算2D-3D变换矩阵(步骤S103)，于步骤S103中，藉由2D-3D变换矩阵，可建立物件3在显示单元101中的屏幕坐标及物件3在真实环境中的位置坐标，尔后，再进行加载扩增实境图像(步骤S104)，于步骤S104中，将扩增实境图像加载于撷取的影像，使其形成扩增实境影像并于显示单元101上进行显示，扩增实境图像则藉由2D-3D变换矩阵确认其于显示单元101屏幕中摆放的位置、大小，及在XYZ轴三维角度的调整。此外，扩增实境图像可为可动/不可动的3D图像，并可做出拟真的动作或发出拟真的声音。
于扩增实境图像加载完成后，则再藉由影像撷取单元104撷取次一帧影像(步骤S105)，随后再进行判断影像中使否具有标志物特征(步骤S106)，于步骤S106中，藉由图1B中步骤S303中所生成追踪组的标志物特征点进行比对与追踪，由于物件3可能已经脱离影像撷取单元104撷取的范围，或物件3的位置已经发生改变，因此需要再行判断的步骤，若撷取的影像已不具有标志物特征，则退回至步骤S101(如同步骤S102)。
若经步骤S106的比对后，确认撷取的影像具有标志物特征(但物件3的位置可能发生改变)后，接着，判断是否接收到动态参数(步骤S107)，于步骤S107中，若无接收到动态参数，则依据物件3的新位置更新2D-3D变换矩阵(步骤S108)，并依据更新后的2D-3D变换矩阵更新扩增实境图像(步骤S109)；若接收到动态参数，则依据标志物3新位置及动态参数更新2D-3D变换矩阵(步骤S110)，并依据更新后的2D-3D变换矩阵及动态参数动态调整扩增实境图像(步骤S111)。
最后，则判断是否接收到结束讯号(步骤S112)，于步骤S112中，若未接收到结束讯号，则会再退回至步骤S105继续进行更新/动态调整扩增实境图像；若接收到结束讯号，则结束执行扩增实境应用程式，同时释放暂存于记忆单元1022的实境系统初始化资料。
于步骤S107中，除可藉由扩增实境应用程式自动判断是否接收到动态参数外，另一较佳实施方式中，使用者亦可透过电子装置10或配戴装置20中使用者接口(UserInterface，UI)(未示于图中)上的虚拟按键开启/关闭动态参数的接收/传输，或是电子装置10与配戴装置20上的实体按键开启/关闭动态参数的接收/传输，如此可让使用者更精确地控制扩增实境图像于显示单元中的位置及动作。此外，电子装置10与配戴装置20可于步骤S100至步骤S106中的任一步骤进行配对的操作，使电子装置10或配戴装置20可透过无线方式进行数据的传输。
请同时参阅图3及图4A至4C，图3为本发明所提供扩增实境系统实施例的示意图；以及图4A至4C为本发明所提供扩增实境系统实施例运作的示意图。于图3中，使用者4配戴配戴装置20，配戴装置20以具有方向传感器(未示于图中)的智能手表来做说明，智能手表20以无线方式与电子装置10进行配对与数据传输，而电子装置10则是以具有摄像镜头(未示于图中)的平板计算机来做说明，物件3为具有标志物特征的椅子，同时平板计算机10藉由摄像镜头撷取椅子3的影像。
请参阅图4A至4C，于图4A中，过扩增实境系统将所撷取包含椅子3的影像与标志物数据库中标志物特征进行比对与匹配，随后过扩增实境系统将扩增实境图像5加载于所撷取包含椅子3的影像中，并在平板计算机10的屏幕上显示具有扩增实境图像5及椅子3的扩增实境影像，于图4A的实施例当中，扩增实境图像5为一只动态的3D企鹅图像。接着，请参阅图4B，当使用者4后退远离椅子3时，此时扩增实境系统会持续追踪椅子3的图像并依据椅子3位置的变化，重新计算并实时更新2D-3D变换矩阵以更新3D企鹅图像5的位置，于扩增实境影像中，位置的远离使椅子3的大小变小，此时依据更新的2D-3D变换矩阵，3D企鹅图像5也产生变小的情况。当然，若预先设定3D企鹅图像5会跟随使用者4的状态，远离椅子3时，3D企鹅图像5会产生行走的动态，而随着使用者4后退的状态，于扩增实境影像中产生向前步行的状态，并维持其原先的大小。
请参阅图4C，当使用者4开启动态参数传输时，此时若进行挥手的动作，智慧手表20中的方向传感器(未示于图中)感测挥手的动作并将其转换成动态参数并以蓝牙方式传输至平板计算机10，扩增实境系统则藉由动态参数动态调整3D企鹅图像5的动作，如图4C所示，挥手的动作可控制3D企鹅图像5由原先站立的姿态，变成滑行的姿态，同时产生滑行的声音并由平板计算机10屏幕的左方滑行至右方。在椅子3仍存在于撷取影像中的情况下，扩增实境系统可控制3D企鹅图像5，使其可在平板计算机10屏幕中显示各种不同的拟真的动作及声响，也可经由设定，让3D企鹅图像5的动作超出或不超出平板计算机10屏幕的边际。
本实施例仅提出以椅子3作为具有标志物特征的物件，而加载的扩增实境图像为3D企鹅图像5，但于实际实施的情况，可依据扩增实境应用程式中的标志物数据库及执行档可形成的扩增实境图像，于各种具标志物特征的物件的不同位置上，形成多种不同类型的扩增实境图像，并且可以单一一种或多种动态感测单元对扩增实境图像进行动态的调整，而不以图4A至4C的实施方式为限。
综上所述，本发明所提供扩增实境系统及方法，除了可以让使用者利用虚拟特效加强真实环境的信息外，亦可同时与虚拟特效产生的图像、声音进行互动，提高了扩增实境系统的多样性及娱乐效果；故，本发明实为一极具产业价值之作。
本发明得由熟悉本技艺之人士任施匠思而为诸般修饰，然皆不脱如附申请专利范围所欲保护。

Claims (15)

1.一种扩增实境系统，其特征在于，包括:
电子装置，包括：
影像撷取单元，用以撷取影像；
处理模块，包括处理单元及记忆单元，其中所述处理单元用以执行扩增实境应用程式以及所述记忆单元用以存取标志物数据库，且于所述标志物数据库中包括多个标志物特征，所述处理单元对所述影像与所述标志物特征进行比对及匹配，以加载扩增实境图像于所述影像以形成扩增实境影像；
显示单元，用以显示所述扩增实境影像；及
第一无线单元；以及
配戴装置，包括
动态感测单元，用以感测使用者身体的动态参数；及
第二无线单元；
其中所述配戴装置透过所述第二无线单元以无线连接所述第一无线单元，并与所述电子装置进行配对，并将所述动态参数由所述配戴装置传输至所述电子装置，所述处理单元利用所述动态参数动态调整所述扩增实境图像。
2.如权利要求1所述的扩增实境系统，其特征在于所述扩增实境应用程式的执行步骤包括：
(a).扩增实境系统初始化；
(b).以所述影像撷取单元撷取所述影像；
(c).判断所述影像是否具有所述标志物特征，若否，则退回至步骤(b)；
(d).加载所述扩增实境图像；
(e).以所述影像撷取单元撷取次一帧所述影像；
(f).判断次一帧所述影像是否具有所述标志物特征，若否，则退回至步骤(b)；
(g).判断是否接收到所述动态参数,若是，则进行动态调整所述扩增实境图像,若否，则进行更新所述扩增实境图像；以及
(h).回至步骤(e)。
3.如权利要求2所述的扩增实境系统，其特征在于所述步骤(a)包括读取所述影像撷取单元参数、所述标志物数据库及所述扩增实境应用程式执行檔，并暂存于所述记忆单元；
4.如权利要求2所述的扩增实境系统，其特征在于所述步骤(d)藉由计算2D-3D变换矩阵以形成所述扩增实境图像。
5.如权利要求2所述的扩增实境系统，其特征在于所述步骤(g)依据标志物新位置更新2D-3D变换矩阵以更新所述扩增实境图像。
6.如权利要求2所述的扩增实境系统，其特征在于所述步骤(g)依据标志物新位置及动态参数更新2D-3D变换矩阵以动态调整所述扩增实境图像。
7.如权利要求2所述的扩增实境系统，其特征在于所述配戴装置与所述电子装置于步骤(a)至(f)任一步骤进行时，以无线方式进行配对。
8.如权利要求7所述的扩增实境系统，其特征在所述无线方式为：Wi-Fi、蓝牙、群蜂无线网络、超宽带、Sub-GHz、家用高周波无线传输、无线射频识别或近距离无线通信。
9.如权利要求1所述的扩增实境系统，其特征在于所述电子装置为：笔记本电脑、平板、个人数字助理、移动电话、智能头盔、智慧眼镜或游戏机。
10.如权利要求1所述的扩增实境系统，其特征在于所述配戴装置为：智慧手表或智慧手环。
11.如权利要求1所述的扩增实境系统，其特征在于所述动态感测单元为：重力传感器、方向传感器、磁力传感器、加速度传感器或角速度传感器。
12.一种扩增实境方法，其特征在于藉由感测使用者身体的动态参数以动态调整扩增实境图像，包括下列步骤:
(a).撷取影像；
(b).判断所述影像是否具有标志物特征，若否，则退回至步骤(a)重新撷取所述影像；
(c).加载所述扩增实境图像；
(d).撷取次一帧所述影像；
(e).判断次一帧所述影像是否具有所述标志物特征，若否，则退回至步骤(a)重新撷取所述影像；以及
(f).判断是否接收到所述动态参数,若是，则进行动态调整所述扩增实境图像,若否，则进行更新所述扩增实境图像。
13.如权利要求12所述的扩增实境方法，其特征在于所述步骤(c)藉由计算2D-3D变换矩阵以形成所述扩增实境图像。
14.如权利要求12所述的扩增实境方法，其特征在于所述步骤(f)更新所述扩增实境图像步骤是依据标志物新位置更新2D-3D变换矩阵以更新所述扩增实境图像。
15.如权利要求12所述的扩增实境方法，特征在于所述步骤(f)动态调整所述扩增实境图像是依据标志物新位置及动态参数更新2D-3D变换矩阵以动态调整所述扩增实境图像。
CN201610711110.8A 2016-08-23 扩增实境系统及其方法 Active CN106371585B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610711110.8A CN106371585B (zh) 2016-08-23 扩增实境系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610711110.8A CN106371585B (zh) 2016-08-23 扩增实境系统及其方法

Publications (2)

Publication Number Publication Date
CN106371585A true CN106371585A (zh) 2017-02-01
CN106371585B CN106371585B (zh) 2024-05-28

Family

ID=

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845435A (zh) * 2017-02-10 2017-06-13 深圳前海大造科技有限公司 一种基于实物检测追踪算法的扩增实境技术实现方法
CN106843493A (zh) * 2017-02-10 2017-06-13 深圳前海大造科技有限公司 一种图像追踪方法及应用该方法的扩增实境实现方法
CN108875460A (zh) * 2017-05-15 2018-11-23 腾讯科技（深圳）有限公司 增强现实处理方法及装置、显示终端及计算机存储介质
CN109427414A (zh) * 2017-08-28 2019-03-05 健康力股份有限公司 实时互动分析的扩增实境方法及系统
CN110377147A (zh) * 2018-04-13 2019-10-25 中华电信股份有限公司 扩增实境的方法及系统
CN111957030A (zh) * 2019-05-20 2020-11-20 黄明月 扩增实境游戏系统及方法
CN112985372A (zh) * 2019-12-13 2021-06-18 南宁富桂精密工业有限公司 路径规划系统及其方法
CN114201028A (zh) * 2020-09-01 2022-03-18 宏碁股份有限公司 扩增实境系统与其锚定显示虚拟对象的方法
US11977232B2 (en) 2021-04-23 2024-05-07 Coretronic Corporation Wearable device and method for adjusting display state based on environment

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102495959A (zh) * 2011-12-05 2012-06-13 无锡智感星际科技有限公司 一种基于位置映射的增强现实平台系统及应用方法
WO2012165882A2 (ko) * 2011-05-31 2012-12-06 주식회사 네오펙트 재활 운동 장치, 착용형 통신 장치 및 이를 응용한 응용 시스템 및 방법
TWM482797U (zh) * 2014-03-17 2014-07-21 ji-zhong Lin 能顯示三維影像的擴增實境系統
TW201516884A (zh) * 2013-10-23 2015-05-01 Inst Information Industry 擴增實境系統及方法
CN105759963A (zh) * 2016-02-15 2016-07-13 众景视界（北京）科技有限公司 基于相对位置关系定位人手在虚拟空间中运动轨迹的方法
US20160232715A1 (en) * 2015-02-10 2016-08-11 Fangwei Lee Virtual reality and augmented reality control with mobile devices
CN206209592U (zh) * 2016-08-23 2017-05-31 塔普翊海（上海）智能科技有限公司 扩增实境系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012165882A2 (ko) * 2011-05-31 2012-12-06 주식회사 네오펙트 재활 운동 장치, 착용형 통신 장치 및 이를 응용한 응용 시스템 및 방법
CN102495959A (zh) * 2011-12-05 2012-06-13 无锡智感星际科技有限公司 一种基于位置映射的增强现实平台系统及应用方法
TW201516884A (zh) * 2013-10-23 2015-05-01 Inst Information Industry 擴增實境系統及方法
TWM482797U (zh) * 2014-03-17 2014-07-21 ji-zhong Lin 能顯示三維影像的擴增實境系統
US20160232715A1 (en) * 2015-02-10 2016-08-11 Fangwei Lee Virtual reality and augmented reality control with mobile devices
CN105759963A (zh) * 2016-02-15 2016-07-13 众景视界（北京）科技有限公司 基于相对位置关系定位人手在虚拟空间中运动轨迹的方法
CN206209592U (zh) * 2016-08-23 2017-05-31 塔普翊海（上海）智能科技有限公司 扩增实境系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TAKASHI YOSHINAGA ET AL.: "Application of wearable human sensing system for human-CG interaction in AR space" *
蒋峥峥;高瞻;陈翔;王丹丹;孙万捷;孙其可;: "基于ARToolKit的虚拟手表试戴系统的实现" *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845435A (zh) * 2017-02-10 2017-06-13 深圳前海大造科技有限公司 一种基于实物检测追踪算法的扩增实境技术实现方法
CN106843493A (zh) * 2017-02-10 2017-06-13 深圳前海大造科技有限公司 一种图像追踪方法及应用该方法的扩增实境实现方法
CN108875460A (zh) * 2017-05-15 2018-11-23 腾讯科技（深圳）有限公司 增强现实处理方法及装置、显示终端及计算机存储介质
TWI669956B (zh) * 2017-05-15 2019-08-21 大陸商騰訊科技（深圳）有限公司 擴增實境處理方法及裝置、顯示終端及電腦存儲介質
CN109427414A (zh) * 2017-08-28 2019-03-05 健康力股份有限公司 实时互动分析的扩增实境方法及系统
CN110377147A (zh) * 2018-04-13 2019-10-25 中华电信股份有限公司 扩增实境的方法及系统
CN110377147B (zh) * 2018-04-13 2024-04-16 台湾中华电信股份有限公司 扩增实境的方法及系统
CN111957030A (zh) * 2019-05-20 2020-11-20 黄明月 扩增实境游戏系统及方法
CN112985372A (zh) * 2019-12-13 2021-06-18 南宁富桂精密工业有限公司 路径规划系统及其方法
CN114201028A (zh) * 2020-09-01 2022-03-18 宏碁股份有限公司 扩增实境系统与其锚定显示虚拟对象的方法
CN114201028B (zh) * 2020-09-01 2023-08-04 宏碁股份有限公司 扩增实境系统与其锚定显示虚拟对象的方法
US11977232B2 (en) 2021-04-23 2024-05-07 Coretronic Corporation Wearable device and method for adjusting display state based on environment

Similar Documents

Publication Publication Date Title
US11819763B2 (en) Predictive display of thrown projectile
CN110021061B (zh) 搭配模型构建方法、服饰推荐方法、装置、介质及终端
US20200327692A1 (en) Position and pose determining method, apparatus, smart device, and storage medium
EP3786893A1 (en) Pose determination method and device, intelligent apparatus, and storage medium
CN105027030B (zh) 用于三维成像、映射、建网和界面连接的无线腕式计算和控制设备和方法
CN108734736A (zh) 相机姿态追踪方法、装置、设备及存储介质
US20130069931A1 (en) Correlating movement information received from different sources
CN109918975A (zh) 一种增强现实的处理方法、对象识别的方法及终端
CN110147231A (zh) 组合特效生成方法、装置及存储介质
CN107622524A (zh) 用于移动终端的显示方法和显示装置
CN109791405A (zh) 用于控制由成像装置捕捉的图像的系统和方法
CN106104361A (zh) 与移动计算装置一起使用的头戴式显示器眼罩
CN106255943A (zh) 身体锁定增强现实与世界锁定增强现实之间的转换
CN107169939A (zh) 图像处理方法及相关产品
CN102142151A (zh) 用于提供增强现实的终端和方法
CN107832784A (zh) 一种图像美化的方法和一种移动终端
KR20210113639A (ko) 연결된 증강 환경을 위한 시스템 및 방법
CN107633499A (zh) 图像处理方法及相关产品
CN107566749A (zh) 拍摄方法及移动终端
CN117916776A (zh) 利用物理模拟的适配身体的配件
CN107464290A (zh) 三维信息展示方法、装置和移动终端
CN108170817A (zh) 照片主体的演变视频获取方法、装置及可读存储介质
CN107894842A (zh) 增强现实场景复原方法、终端及计算机可读存储介质
CN108182726A (zh) 三维重建方法、云端服务器及计算机可读存储介质
CN108288032A (zh) 动作特征获取方法、装置及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240305

Address after: 570100 collective household of Nansha community, room 1001, building a, Guosen Plaza, 64 Nansha Road, Longhua District, Haikou City, Hainan Province

Applicant after: Sun Wen

Country or region after: China

Address before: 201800 room 412, building 5, No. 1082, Huyi Road, Jiading District, Shanghai

Applicant before: TAPUYIHAI (SHANGHAI) INTELLIGENT TECHNOLOGY Co.,Ltd.

Country or region before: China

GR01 Patent grant