CN112947901A - 扩增实境的内容控制系统、方法及计算机存储介质 - Google Patents

扩增实境的内容控制系统、方法及计算机存储介质 Download PDF

Info

Publication number
CN112947901A
CN112947901A CN202010076630.2A CN202010076630A CN112947901A CN 112947901 A CN112947901 A CN 112947901A CN 202010076630 A CN202010076630 A CN 202010076630A CN 112947901 A CN112947901 A CN 112947901A
Authority
CN
China
Prior art keywords
augmented reality
electronic device
command
content
reality content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010076630.2A
Other languages
English (en)
Inventor
杨仕丞
游佳明
陈正扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chunghwa Telecom Co Ltd
Original Assignee
Chunghwa Telecom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chunghwa Telecom Co Ltd filed Critical Chunghwa Telecom Co Ltd
Publication of CN112947901A publication Critical patent/CN112947901A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/20Software design
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • G06F8/33Intelligent editors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • G06F8/34Graphical or visual programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种扩增实境的内容控制系统、方法及计算机存储介质。首先,提供扩增实境内容设计工具模块以载入素材,且通过用户界面以新增命令。同时,扩增实境内容设计工具模块将命令与素材的内容两者绑定,再将两者的绑定结果储存至扩增实境设定数据以上传至云端。然后,第一与第二电子装置分别从云端下载扩增实境设定数据。当第一与第二电子装置连线时,第一或第二电子装置取得输入信息以识别出另一命令。若另一命令相同或相应于扩增实境设定数据中的命令,则第一或第二电子装置依据命令与素材的内容两者的绑定结果运用素材的内容来呈现扩增实境效果。

Description

扩增实境的内容控制系统、方法及计算机存储介质
技术领域
本发明关于一种扩增实境的控制技术,特别是指一种扩增实境的内容控制系统、方法及计算机存储介质。
背景技术
“扩增实境”顾名思义就是要在实境上扩增一些信息,而扩增方式或所扩增的内容则会因需求不同而千变万化。因此,为了满足不同的扩增实境需求,现有技术已出现有Wikitude GmbH的Wikitude Studio、PTC的ThingWorx物联网平台、Facebook的CameraEffects等扩增实境内容设计工具模块,让用户能自行设计及产制各式各样的扩增实境应用。
在技术文献方面,也有一些技术与扩增实境的应用有关,其中,现有技术各有不同功用,但皆未指出如何借由在扩增实境内容设计工具模块中,客制化地将素材的内容与命令绑定,并在电子装置的扩增实境应用中,用命令来操作素材或满足多个电子装置的同步需求。
因此,如何提供一种新颖或创新的扩增实境的控制技术,实已成为本领域技术人员的一大研究课题。
发明内容
本发明提供一种扩增实境的内容控制系统、方法及计算机存储介质,例如能允许用户通过扩增实境内容设计工具模块来自定义扩增实境内容的命令以利客制化扩增实境内容的控制方式,或者能提供用户用命令来操作扩增实境内容以降低扩增实境内容的控制复杂度。
本发明中扩增实境的内容控制系统包括:一扩增实境内容设计工具模块,其用以载入素材,且扩增实境内容设计工具模块具有一用户界面以通过用户界面新增至少一命令,其中,扩增实境内容设计工具模块将命令与素材的内容的至少一部分两者绑定,以将命令与素材的内容的至少一部分两者的绑定结果储存至一扩增实境设定数据,再将扩增实境设定数据置放或上传至云端;以及一第一电子装置与至少一第二电子装置,其分别从云端接收或下载扩增实境设定数据,其中,当第一电子装置与第二电子装置连线时,第一电子装置或第二电子装置取得一输入信息,以从输入信息中识别出另一命令,若另一命令相同或相应于扩增实境设定数据所储存的命令,则第一电子装置或第二电子装置依据命令与素材的内容的至少一部分两者的绑定结果运用素材的内容中被绑定的部分来呈现扩增实境效果。
本发明中扩增实境的内容控制方法包括:提供一扩增实境内容设计工具模块以载入素材,且扩增实境内容设计工具模块具有一用户界面以通过用户界面新增至少一命令,其中,扩增实境内容设计工具模块将命令与素材的内容的至少一部分两者绑定,以将命令与素材的内容的至少一部分两者的绑定结果储存至一扩增实境设定数据,再将扩增实境设定数据置放或上传至云端;以及由一第一电子装置与至少一第二电子装置分别从云端接收或下载扩增实境设定数据,以于第一电子装置与第二电子装置连线时,令第一电子装置或第二电子装置取得一输入信息,且从输入信息中识别出另一命令,若另一命令相同或相应于扩增实境设定数据所储存的命令,则第一电子装置或第二电子装置依据命令与素材的内容的至少一部分两者的绑定结果运用素材的内容中被绑定的部分来呈现扩增实境效果。
再者,本发明另提供一种计算机存储介质,应用于电脑中,其储存有指令,以执行如上所述的扩增实境的内容控制方法。
为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合附图作详细说明。在以下描述内容中将部分阐述本发明的额外特征及优点,且这些特征及优点将部分自所述描述内容可得而知,或可借由对本发明的实践习得。本发明的特征及优点借助于在权利要求书中特别指出的元件及组合来认识到并达到。应理解,前文一般描述与以下详细描述二者均仅为例示性及解释性的,且不欲约束本发明所欲主张的范围。
附图说明
图1为本发明中扩增实境的内容控制系统的架构示意图;
图2为本发明中扩增实境的内容控制方法的流程示意图;
图3为本发明中扩增实境的内容元素的位置布局图;
图4为本发明中扩增实境内容设计工具模块的示意图;
图5为本发明中在电子装置中载入素材(资源档案)的模型档与输入命令的示意图;以及
图6为本发明中二个电子装置进行扩增实境(AR)视频的连线的示意图。
符号说明
1 扩增实境的内容控制系统
10 扩增实境内容设计工具模块
11 用户界面 12 资源档案
13 素材 14 设定档
15 命令 16 命令识别子
20 第一电子装置 21 扩增实境应用程序
22 网页浏览器元件 30 第二电子装置
A 三维立体空间 B 按钮
B1 储存按钮 C 云端
D 扩增实境设定数据 E 编辑区
F 扩增实境内容 H 控件
L1 下拉式清单 L2 元件列表
M1 语音辨识模块 M2 影像辨识模块
P 图片 R 识别标的
S1至S6 步骤 U 用户。
具体实施方式
以下借由特定的具体实施形态说明本发明的实施方式,本领域技术人员可由本说明书所揭示的内容了解本发明的其他优点与功效,也可因而借由其他不同的具体等同实施形态加以施行或应用。
图1为本发明中扩增实境的内容控制系统1的架构示意图,且扩增实境的内容控制系统1的主要内容如下,其余内容相同于图2至图6的内容,于此不再重复叙述。如图1所示,扩增实境的内容控制系统1可包括一扩增实境内容设计工具模块10、一第一电子装置20、至少一第二电子装置30、一语音辨识模块M1与影像辨识模块M2。
扩增实境内容设计工具模块10可以载入素材13,且扩增实境内容设计工具模块10具有一用户界面11以通过用户界面11新增至少一命令15,其中,扩增实境内容设计工具模块10将命令15与素材13的内容的至少一部分两者绑定,以将命令15与素材13的内容的至少一部分两者的绑定结果储存至一扩增实境设定数据D,再将扩增实境设定数据D置放或上传至云端C。第一电子装置20与第二电子装置30可分别从云端C接收或下载扩增实境设定数据D以于第一电子装置20与第二电子装置30连线(即为处在已连线状态)时,令第一电子装置20或第二电子装置30取得一输入信息,且从输入信息中识别出另一命令,若另一命令相同或相应于扩增实境设定数据D所储存的命令15,则第一电子装置20或第二电子装置30依据命令15与素材13的内容的至少一部分两者的绑定结果运用素材13的内容中被绑定的部分来呈现扩增实境效果。
例如,扩增实境内容设计工具模块10可为具有用户界面11且能运行于互联网的浏览器上的应用程序(APP)。第一电子装置20或第二电子装置30可为移动装置(如智能型手机)、电脑(如笔记型电脑/平板电脑/桌上型电脑)、智能型眼镜等。语音辨识模块M1可为硬件的语音辨识器、软件的语音辨识程序、具人工智能(Artificial Intelligence;AI)的语音辨识模块等。影像辨识模块M2可为硬件的影像辨识器、软件的影像辨识程序、具人工智能(AI)的影像辨识模块等。但是,本发明并不以此为限。
扩增实境的内容控制系统1可借由扩增实境内容设计工具模块10上传一扩增实境内容F(见图4)并绑定扩增实境内容F的命令15(如控制命令),以供用户U(见图5至图6)在例如扩增实境(AR)视频通话的过程中,能通过至少一命令15来控制第一电子装置20或第二电子装置30上的扩增实境内容F,甚至进一步使被控制的扩增实境内容F在互相视频通话的第一电子装置20与第二电子装置30上同步。
本发明通过在扩增实境内容设计工具模块10中提供素材13的内容与命令15(如控制命令)的绑定界面,让用户U能在扩增实境内容设计工具模块10中自行依据不同需求来设计命令15与素材13的内容的关系,能将用户U自行客制扩增实境内容F的命令15(如控制命令)导入于第一电子装置20或第二电子装置30的扩增实境应用中。
图2为本发明中扩增实境的内容控制方法的流程示意图,图3为本发明中扩增实境的内容元素的位置布局图,图4为本发明中扩增实境内容设计工具模块10的示意图,图5为本发明中在第一电子装置20中载入素材13(或资源档案12)的模型档与输入命令15的示意图,图6为本发明中二个电子装置(如第一电子装置20与第二电子装置30)进行扩增实境(AR)视频的连线的示意图。
同时,图2所示扩增实境的内容控制方法可包括下列步骤S1至步骤S6,且参照图1与图3至图6予以说明。
在图2的步骤S1中,提供具有用户界面11的扩增实境内容设计工具模块10(见图1或图4),例如具有用户界面11(如图形用户界面)且能运行于互联网的浏览器上的应用程序(APP)。用户U(见图5)通过例如第一电子装置20登入扩增实境内容设计工具模块10后,可借由扩增实境内容设计工具模块10的上传界面将一资源档案12(例如:.mp3-音档、.jpg-图片档、.fbx-3D模型档等)上传至云端C中保存,且扩增实境内容设计工具模块10载入资源档案12的内容以供用户U预览。用户U可用命令15控制资源档案12的播放行为,例如资源档案12中的音档的快转、跳至指定时间点播放音档、图片档的旋转、3D模型档的模型动作或姿态切换等。另外,用户U也可通过扩增实境内容设计工具模块10的资源连接功能,使扩增实境内容设计工具模块10从网络上载入资源档案12。
扩增实境内容设计工具模块10可编辑各扩增实境的内容元素的位置布局。例如,在图3的三维立体空间A中,R为可用影像辨识的一识别标的,B处放有一个按钮,P处摆上一张图片,且扩增实境内容设计工具模块10的位置布局的设计结果可存放在云端C,以供后续再次将位置布局的设计结果载入扩增实境内容设计工具模块10中进行编辑。
本发明可于第一电子装置20(如移动装置)上提供一内嵌有网页浏览器元件(WebView)22的扩增实境应用程序(APP)21,并通过网页浏览器元件22载入扩增实境内容设计工具模块10的位置布局的设计结果至第一电子装置20。另外,依据扩增实境内容设计工具模块10所设计的位置布局的方位信息,当扩增实境应用程序21辨识出第一电子装置20(如移动装置)的画面中有R时,即在B处摆上一个按钮且在P处摆上一张图片,并将网页背景设为透明,再将识别标的R、按钮B、图片P与网页背景设等叠加于扩增实境应用程序21中的摄像机画面元件(Camera View)上,借此达成扩增实境的效果,也可达成设计期间与执行期间的视觉效果一致。
在图2的步骤S2中,用户U可通过扩增实境内容设计工具模块10的用户界面11自定义或新增至少一命令15(如控制命令),例如跳跃、顺旋90度、1分30秒、右移等命令。通常可以简单用文字栏位来取得用户U的输入信息,并利用文字型态或档案(如音轨档案或影像档)来保存用户U的输入信息,例如可利用一档案(如音轨档案)录下用户U的输入信息为语音“右移”,再将档案(如音轨档案)上传至扩增实境内容设计工具模块10中,且由扩增实境内容设计工具模块10通过一语音辨识模块M1(如具人工智能的语音辨识模块)以识别出档案(如音轨档案)所代表的命令为“右移”。同理,也可上传一段录有“向右挥动的手势”的档案(如影像档)至扩增实境内容设计工具模块10中,再由扩增实境内容设计工具模块10将档案(如影像档)串接一个影像辨识模块M2(如具人工智能的影像辨识模块),以利用影像辨识模块M2识别出档案(如影像档)所代表的命令15为“右移”。另外,扩增实境内容设计工具模块10可提供一命令修改功能以供用户U调整或修改命令15,也可在无法识别出命令15时提供手动标示所代表的命令15的功能。
在图2的步骤S3中,用户U可在扩增实境内容设计工具模块10上定义出素材13的内容的至少一部分,并通过用户界面11找出该部分素材13的内容位置,且扩增实境内容设计工具模块10可将上述命令15与素材13的内容的至少一部分两者绑定,再将命令15与素材13的内容的至少一部分两者的绑定结果(或绑定信息)储存至一扩增实境设定数据D(设定档14),以供第一电子装置20(如移动装置)的扩增实境应用程序21载入扩增实境设定数据D(设定档14)及执行命令15。
本发明可将素材13或资源档案12区分为影音档、图片档、模型档等类别。针对素材13或资源档案12的影音档,“素材的一部分”可以用档案的播放时间点来定义,例如“1分30秒”借由绑定关系,可以使扩增实境应用程序21直接跳至播放时间点来播放内容。针对素材13或资源档案12的图片档,可由扩增实境内容设计工具模块10提供一切分或框选工具,并由用户U通过切分或框选工具选出一部份的图片内容以借此定义“素材的一部分”,例如对于一张含有一只蝴蝶的图片,“放大蝴蝶”借由绑定关系,可以使扩增实境应用程序21找到蝴蝶的那一部分,并将蝴蝶中部分的图片内容放大。针对素材13或资源档案12的模型档(例如一FBX格式的3D模型档),因模型档可以包括多种模型的姿态或动作,“素材的一部分”则可以用至少一模型的姿态或动作来定义,例如对于一个包括挥拳动作的猩猩模型,“挥拳”的命令15借由绑定关系,可以使扩增实境应用程序21于载入模型档的模型后,播放猩猩挥拳的样子。
在图2的步骤S4中,由具有摄像机的第一电子装置20(如移动装置)与具有摄像机的第二电子装置30(如笔记型电脑)分别通过网络从云端C下载或接收扩增实境设定数据D(设定档14)后,再利用第一电子装置20上所安装的扩增实境应用程序21载入扩增实境设定数据D(设定档14),以提供扩增实境的功能。
在图2的步骤S5中,当第一电子装置20与第二电子装置30连线时(例如可扩增实境的视频连线或可扩增实境的语音通话连线),第一电子装置20或第二电子装置30可接收得到语音(声音)、手势影像等输入信息,例如输入信息为(1)用户U口说的一段语音、(2)通过麦克风收取第一电子装置20或第二电子装置30周边的一段声音、(3)通过第一电子装置20或第二电子装置30的摄像机拍摄用户U挥出的手势影像等。
在图2的步骤S6中,第一电子装置20的扩增实境应用程序21取得输入信息后,可进一步识别出输入信息所包括的命令,并将命令与扩增实境设定数据D(设定档14)所记载的命令15进行比对。若命令符合扩增实境设定数据D(设定档14)中所记载的命令15,则依据命令15载入所绑定的那一部分素材13的内容,并将素材13的内容叠加在实景影像上以执行或播放素材13的内容,且提供用户U基于部分素材13的内容的扩增实境信息。上述第一电子装置20的扩增实境应用程序21的识别方式可包括:以语音辨识模块M1(如具人工智能的语音辨识模块)识别一音档是否含有语音命令,并以声音特征方式识别一音档是否含有特定声音或音档录制时所处的环境状态,且以特定声音或环境状态所对应的一命令识别子16作为命令15;或者,以影像辨识模块M2(如具人工智能的影像辨识模块)识别从第一电子装置20或第二电子装置30的摄像机所取得的影像数据是否含有一手势,且以手势所对应的一命令识别子16作为命令15。
本发明也可设置一影像辨识模块M2(如具人工智能的影像辨识模块)来处理从影像数据识别出手势命令这部分,也就是影像辨识模块M2(如具人工智能的影像辨识模块)可依据传入的影像数据输出一命令识别子16作为结果。因此,扩增实境应用程序21在取得输入信息后,可将输入信息传递给影像辨识模块M2(如具人工智能的影像辨识模块),并从影像辨识模块M2(如具人工智能的影像辨识模块)取回一命令识别子16,再将命令识别子16与扩增实境设定数据D(设定档14)所记载的命令15进行比对,之后再继续进行剩余工作。
本发明可依据扩增实境设定数据D(设定档14)找出被绑定的那一部分素材13的内容,再将部分素材13的内容(如影像或声音)呈现在可接收输入信息的第一电子装置20(如移动装置)上,甚至可以同步地在第一电子装置20及其他参与连线的第二电子装置30上呈现该部分素材13的内容。例如,同步的方法可包括:使各参与连线的第一电子装置20与第二电子装置30两者皆识别出命令15及执行命令15,以同步呈现该部分素材13的内容;或者,使第一电子装置20与第二电子装置30其中一者先依据命令15呈现该绑定的素材13的内容,再将呈现前后所形成的内容的异动部分同步至参与连线的第一电子装置20与第二电子装置30其中另一者,以同步呈现该部分素材13的内容而满足同步效果。
若以人工智能辨识模块(如具人工智能的语音辨识模块M1或影像辨识模块M2)来处理命令15的识别问题,无论是影像或声音,本发明皆可在上述步骤S2中将扩增实境内容设计工具模块10介接人工智能辨识模块(如具人工智能的语音辨识模块M1或影像辨识模块M2),并将用户U输入的一含有命令信息的数据传递给人工智能辨识模块(如具人工智能的语音辨识模块M1或影像辨识模块M2)以识别出及取回一命令识别子16,让用户U能在扩增实境内容设计工具模块10上将命令识别子16与素材13的内容两者绑定,并将两者的绑定结果存入扩增实境设定数据D(设定档14)中,使步骤S6中能有扩增实境设定数据D(设定档14)得以依循。
举例而言,在第一电子装置20(如移动装置)上,依据自行定义的命令15(如语音命令),当扩增实境出一黑猩猩的模型后,用命令15来控制黑猩猩的模型,例如下列所述。
如图4及图5所示,先在网页式的扩增实境内容设计工具模块10中载入一个FBX格式(.fbx)的黑猩猩的模型档(即素材13),在扩增实境内容设计工具模块10中的专属属性视窗中,有一个下拉式清单L1(选择动画)罗列出此模型档可以呈现的动画态样,且下拉式清单L1中有一个黑猩猩跑步的动画形式(gorillishArmature|gorrillishRUN),故可以选定此动画态样,并在下拉式清单L1下方的文字栏位(即命令15的栏位)中输入命令“Run”以代表将命令“Run”与此动画态样绑定。接着,在第一电子装置20(如移动装置)上,通过扩增实境应用程序21载入黑猩猩的FBX模型档,且可以想象此黑猩猩是当扩增实境应用程序21辨识出某一标的后,在标的上叠加显示出来的。然后,当用户U对第一电子装置20说“Run”时,就可以在第一电子装置20上看见黑猩猩跑步的样子。
详言之,在图4中,用户U可先在扩增实境内容设计工具模块10的元件列表L2中选用与拖拉一个模型元件的控件H至编辑区E中,并载入一模型至扩增实境内容设计工具模块10的编辑区E中,以令扩增实境内容设计工具模块10将模型与模型元件的控件H进行绑定以产生绑定结果,再由用户U按下储存按钮B1将绑定结果以扩增实境设定数据D的方式保存或储存至云端C。
如图6所示,本发明可通过第一电子装置20(如移动装置)上的扩增实境应用程序21(见图1)从云端C下载扩增实境设定数据D,并启动扩增实境(AR)视频的连线,以使第一电子装置20撷取实景至第二电子装置30(如笔记型电脑),并由第二电子装置30依据扩增实境设定数据D绘出扩增实境内容F。接着,通过第二电子装置30的麦克风(Mic)接收命令15(如语音命令),当第二电子装置30识别出命令15为“Run”时,第二电子装置30绘出猩猩奔跑的扩增实境动画。最后,第二电子装置30将命令“Run”传至第一电子装置20,使第一电子装置20识别及绘出同样的扩增实境动画。
除上述技术内容外,本发明也可提供下列相关技术,例如[1]语音辨识、[2]扩增实境内容的同步方式、[3]手势命令等。
[1]语音辨识:可在第一电子装置20或第二电子装置30中设置一语音侧录器(图未示),以通过语音侧录器侧录第一电子装置20与第二电子装置30的扩增实境视频通话中的语音,也可将语音转换成文字,并通过下述方式对文字进行识别。例如,先辨识出文字中的唤醒语,再对后接的文字做命令15比对;或者,无需辨识出文字中的唤醒语,直接在文字的串流中比对出命令15。
[2]扩增实境内容F的同步方式:使第一电子装置20与第二电子装置30两者皆识别出命令15及执行命令15以达成两者的同步效果;或者,可由第一电子装置20与第二电子装置30其中一者使用麦克风来接收命令15(如语音命令),并依据命令15变更扩增实境内容F后,再将扩增实境内容F中的异动部分同步至第一电子装置20与第二电子装置30其中另一者,据以调整异动部分来达成第一电子装置20与第二电子装置30两者的同步效果。
[3]手势命令:在扩增实境视频通话中,各参与连线的第一电子装置20与第二电子装置30基本上皆具有麦克风,因此可以实施语音命令的方式来操作扩增实境内容F。另外,若要实施手势命令来操作扩增实境内容F,则具有摄像机的第一电子装置20或第二电子装置30才能用手势命令,未具有摄像机者无法使用手势命令来操作扩增实境内容F。
本发明另提供一种计算机存储介质,应用于具有处理器及/或存储器的电脑或计算装置中,其储存有指令,电脑或计算装置通过处理器(例如,CPU、GPU等)及/或存储器通过指令执行如上所述的扩增实境的内容控制方法。
综上,本发明中扩增实境的内容控制系统、方法及计算机存储介质至少具有下列特色、优点或技术功效。
一、本发明能允许用户通过扩增实境内容设计工具模块来自定义扩增实境内容的命令,以利用户客制化扩增实境内容的控制方式。
二、本发明能结合人工智能辨识技术(如具人工智能的语音辨识模块或影像辨识模块)来使命令更具有弹性。
三、本发明能提供用户用命令(如语音命令或手势命令)来操作扩增实境内容,以利降低扩增实境内容的控制复杂度。
四、本发明的控制方式可使用语音命令(声控方式)、手势命令、文字命令等,以增加控制方式的选择性或便利性。
五、本发明可用于多个(如至少二个)电子装置的连线模式,也能满足多个电子装置的内容控制后的同步效果。
六、本发明可能应用的产业为例如扩增实境(AR)应用产业、物联网(IOT)等,且可能应用的产品为例如移动装置(如智能型手机)、电脑(如笔记型电脑/平板电脑)、智能型眼镜等电子装置。
上述实施形态仅例示性说明本发明的原理、特点及其功效,并非用以限制本发明的可实施范畴,任何本领域技术人员均能在不违背本发明的精神及范畴下,对上述实施形态进行修饰与改变。任何使用本发明所揭示内容而完成的等效改变及修饰,均仍应为权利要求范围所涵盖。因此,本发明的权利保护范围,应如权利要求书所列。

Claims (21)

1.一种扩增实境的内容控制系统,其特征在于,包括:
一扩增实境内容设计工具模块,其用以载入素材,且该扩增实境内容设计工具模块具有一用户界面以通过该用户界面新增至少一命令,其中,该扩增实境内容设计工具模块将该命令与该素材的内容的至少一部分两者绑定,以将该命令与该素材的内容的至少一部分两者的绑定结果储存至一扩增实境设定数据,再将该扩增实境设定数据置放或上传至云端;以及
一第一电子装置与至少一第二电子装置,其分别从该云端接收或下载该扩增实境设定数据,其中,当该第一电子装置与该第二电子装置连线时,该第一电子装置或该第二电子装置取得一输入信息,以从该输入信息中识别出另一命令,若该另一命令相同或相应于该扩增实境设定数据所储存的该命令,则该第一电子装置或该第二电子装置依据该命令与该素材的内容的至少一部分两者的绑定结果运用该素材的内容中被绑定的部分来呈现扩增实境效果。
2.根据权利要求1所述的扩增实境的内容控制系统,其特征在于,用户通过该第一电子装置登入该扩增实境内容设计工具模块,以借由该扩增实境内容设计工具模块的上传界面将一资源档案上传至该云端中保存,再由该扩增实境内容设计工具模块载入该资源档案的内容以供该用户预览。
3.根据权利要求2所述的扩增实境的内容控制系统,其特征在于,该用户用该命令控制该资源档案的播放行为,且该扩增实境内容设计工具模块具有资源连接功能以从网络上载入该资源档案。
4.根据权利要求1所述的扩增实境的内容控制系统,其特征在于,该第一电子装置提供一具有网页浏览器元件的扩增实境应用程序,以通过该网页浏览器元件载入该扩增实境内容设计工具模块的位置布局的设计结果至该第一电子装置。
5.根据权利要求1所述的扩增实境的内容控制系统,其特征在于,该命令与该素材的内容的至少一部分两者的绑定结果更储存至一设定档,以供该第一电子装置的扩增实境应用程序载入该设定档及执行该命令。
6.根据权利要求1所述的扩增实境的内容控制系统,其特征在于,该输入信息为用户所输入并利用音轨档案或影像档来保存,且该扩增实境内容设计工具模块通过一语音辨识模块识别出该音轨档案所代表的命令、或通过一影像辨识模块识别出该影像档所代表的命令。
7.根据权利要求1所述的扩增实境的内容控制系统,其特征在于,该第一电子装置的扩增实境应用程序的识别方式包括:
以语音辨识模块识别一音档是否含有语音命令,并以声音特征方式识别该音档是否含有特定声音或该音档录制时所处的环境状态,且以该特定声音或该环境状态所对应的命令识别子作为该命令;或者
以影像辨识模块识别从该第一电子装置或该第二电子装置的摄像机所取得的影像数据是否含有手势,且以该手势所对应的命令识别子作为该命令。
8.根据权利要求6或7中任一项所述的扩增实境的内容控制系统,其特征在于,该语音辨识模块为具人工智能的语音辨识模块,且该影像辨识模块为具人工智能的影像辨识模块。
9.根据权利要求1所述的扩增实境的内容控制系统,其特征在于,参与连线的该第一电子装置与该第二电子装置两者皆识别出该命令及执行该命令,以同步呈现该素材的内容;或者,该第一电子装置与该第二电子装置其中一者先依据该命令呈现该素材的内容,再将呈现前后所形成该素材的内容的异动部分同步至参与连线的该第一电子装置与该第二电子装置其中另一者,以同步呈现该素材的内容。
10.根据权利要求1所述的扩增实境的内容控制系统,其特征在于,该扩增实境内容设计工具模块具有一元件列表与一编辑区,供用户在该元件列表中选用与拖拉模型元件的控件至该编辑区,且该编辑区载入有一模型,以由该扩增实境内容设计工具模块将该模型与该模型元件的控件进行绑定以产生绑定结果。
11.根据权利要求1所述的扩增实境的内容控制系统,其特征在于,该第一电子装置或该第二电子装置设置有一语音侧录器,以通过该语音侧录器侧录该第一电子装置与该第二电子装置的扩增实境视频通话中的语音。
12.一种扩增实境的内容控制方法,其特征在于,包括:
提供一扩增实境内容设计工具模块以载入素材,且该扩增实境内容设计工具模块具有一用户界面以通过该用户界面新增至少一命令,其中,该扩增实境内容设计工具模块将该命令与该素材的内容的至少一部分两者绑定,以将该命令与该素材的内容的至少一部分两者的绑定结果储存至一扩增实境设定数据,再将该扩增实境设定数据置放或上传至云端;以及
由一第一电子装置与至少一第二电子装置分别从该云端接收或下载该扩增实境设定数据,以于该第一电子装置与该第二电子装置连线时,令该第一电子装置或该第二电子装置取得一输入信息,且从该输入信息中识别出另一命令,若该另一命令相同或相应于该扩增实境设定数据所储存的该命令,则该第一电子装置或该第二电子装置依据该命令与该素材的内容的至少一部分两者的绑定结果运用该素材的内容中被绑定的部分来呈现扩增实境效果。
13.根据权利要求12所述的扩增实境的内容控制方法,其特征在于,该方法还包括由用户通过该第一电子装置登入该扩增实境内容设计工具模块,以借由该扩增实境内容设计工具模块的上传界面将一资源档案上传至该云端中保存,再由该扩增实境内容设计工具模块载入该资源档案的内容以供该用户预览。
14.根据权利要求12所述的扩增实境的内容控制方法,其特征在于,该方法还包括由该第一电子装置提供一具有网页浏览器元件的扩增实境应用程序,以通过该网页浏览器元件载入该扩增实境内容设计工具模块的位置布局的设计结果至该第一电子装置。
15.根据权利要求12所述的扩增实境的内容控制方法,其特征在于,该方法还包括将该命令与该素材的内容的至少一部分两者的绑定结果储存至一设定档,以供该第一电子装置的扩增实境应用程序载入该设定档及执行该命令。
16.根据权利要求12所述的扩增实境的内容控制方法,其特征在于,该方法还包括利用音轨档案或影像档来保存用户的该输入信息,且由该扩增实境内容设计工具模块通过一语音辨识模块识别出该音轨档案所代表的命令、或通过一影像辨识模块识别出该影像档所代表的命令。
17.根据权利要求12所述的扩增实境的内容控制方法,其特征在于,该第一电子装置的扩增实境应用程序的识别方式包括:
以语音辨识模块识别一音档是否含有语音命令,并以声音特征方式识别该音档是否含有特定声音或该音档录制时所处的环境状态,且以该特定声音或该环境状态所对应的命令识别子作为该命令;或者
以影像辨识模块识别从该第一电子装置或该第二电子装置的摄像机所取得的影像数据是否含有手势,且以该手势所对应的命令识别子作为该命令。
18.根据权利要求12所述的扩增实境的内容控制方法,其特征在于,该方法还包括:
由参与连线的该第一电子装置与该第二电子装置两者皆识别出该命令及执行该命令,以同步呈现该素材的内容;或者
由该第一电子装置与该第二电子装置其中一者先依据该命令呈现该素材的内容,再将呈现前后所形成该素材的内容的异动部分同步至参与连线的该第一电子装置与该第二电子装置其中另一者,以同步呈现该素材的内容。
19.根据权利要求12所述的扩增实境的内容控制方法,其特征在于,该方法还包括由用户在该扩增实境内容设计工具模块的元件列表中选用与拖拉模型元件的控件至该扩增实境内容设计工具模块的编辑区,并载入一模型至该编辑区中,以令该扩增实境内容设计工具模块将该模型与该模型元件的控件进行绑定以产生绑定结果。
20.根据权利要求12所述的扩增实境的内容控制方法,其特征在于,该方法还包括在该第一电子装置或该第二电子装置设置一语音侧录器,以通过该语音侧录器侧录该第一电子装置与该第二电子装置的扩增实境视频通话中的语音。
21.一种计算机存储介质,应用于电脑中,该计算机存储介质中储存有用于执行根据权利要求12所述的扩增实境的内容控制方法的各步骤的指令。
CN202010076630.2A 2019-12-11 2020-01-23 扩增实境的内容控制系统、方法及计算机存储介质 Pending CN112947901A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW108145320 2019-12-11
TW108145320A TWI744737B (zh) 2019-12-11 2019-12-11 擴增實境之內容控制系統、方法及電腦可讀儲存媒介

Publications (1)

Publication Number Publication Date
CN112947901A true CN112947901A (zh) 2021-06-11

Family

ID=76234493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010076630.2A Pending CN112947901A (zh) 2019-12-11 2020-01-23 扩增实境的内容控制系统、方法及计算机存储介质

Country Status (2)

Country Link
CN (1) CN112947901A (zh)
TW (1) TWI744737B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI804294B (zh) * 2022-04-28 2023-06-01 中華電信股份有限公司 用於擴增實境協作之遠端設備控制系統、方法及電腦可讀媒介

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201523512A (zh) * 2013-12-02 2015-06-16 Chunghwa Telecom Co Ltd 擴增實境系統、其應用方法以及包含擴增實境應用程式之非暫時性電腦可讀取媒體
CN104995583A (zh) * 2012-12-13 2015-10-21 微软技术许可有限责任公司 用于混合现实环境的直接交互系统
CN105719522A (zh) * 2016-01-25 2016-06-29 成都趣动力教育科技有限公司 一种双客户端语音通信方法、装置及系统
US20160292925A1 (en) * 2015-04-06 2016-10-06 Scope Technologies Us Inc. Method and appartus for sharing augmented reality applications to multiple clients
CN106033333A (zh) * 2015-03-10 2016-10-19 沈阳中云普华科技有限公司 一种可视化的增强现实场景制作系统及方法
CN106873760A (zh) * 2015-12-14 2017-06-20 技嘉科技股份有限公司 可携式虚拟现实系统
CN108269307A (zh) * 2018-01-15 2018-07-10 歌尔科技有限公司 一种增强现实交互方法及设备
US20190065027A1 (en) * 2017-08-31 2019-02-28 Apple Inc. Systems, Methods, and Graphical User Interfaces for Interacting with Augmented and Virtual Reality Environments
CN110007750A (zh) * 2018-01-04 2019-07-12 英特尔公司 实体对象与虚拟对象的增强现实绑定
US20190251750A1 (en) * 2018-02-09 2019-08-15 Tsunami VR, Inc. Systems and methods for using a virtual reality device to emulate user experience of an augmented reality device
US20190278591A1 (en) * 2018-02-16 2019-09-12 Accenture Global Solutions Limited Representing a software application using extended reality
CN110377147A (zh) * 2018-04-13 2019-10-25 中华电信股份有限公司 扩增实境的方法及系统
KR20190132191A (ko) * 2019-01-03 2019-11-27 남정규 증강현실 콘텐츠의 제작 및 편집이 가능한 증강현실 편집 시스템 및 증강현실 구현 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109960872B (zh) * 2019-03-22 2023-02-03 南京可居网络科技有限公司 Ar虚拟软装搭配管理系统及其工作方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104995583A (zh) * 2012-12-13 2015-10-21 微软技术许可有限责任公司 用于混合现实环境的直接交互系统
TW201523512A (zh) * 2013-12-02 2015-06-16 Chunghwa Telecom Co Ltd 擴增實境系統、其應用方法以及包含擴增實境應用程式之非暫時性電腦可讀取媒體
CN106033333A (zh) * 2015-03-10 2016-10-19 沈阳中云普华科技有限公司 一种可视化的增强现实场景制作系统及方法
US20160292925A1 (en) * 2015-04-06 2016-10-06 Scope Technologies Us Inc. Method and appartus for sharing augmented reality applications to multiple clients
CN106873760A (zh) * 2015-12-14 2017-06-20 技嘉科技股份有限公司 可携式虚拟现实系统
CN105719522A (zh) * 2016-01-25 2016-06-29 成都趣动力教育科技有限公司 一种双客户端语音通信方法、装置及系统
US20190065027A1 (en) * 2017-08-31 2019-02-28 Apple Inc. Systems, Methods, and Graphical User Interfaces for Interacting with Augmented and Virtual Reality Environments
CN110007750A (zh) * 2018-01-04 2019-07-12 英特尔公司 实体对象与虚拟对象的增强现实绑定
CN108269307A (zh) * 2018-01-15 2018-07-10 歌尔科技有限公司 一种增强现实交互方法及设备
US20190251750A1 (en) * 2018-02-09 2019-08-15 Tsunami VR, Inc. Systems and methods for using a virtual reality device to emulate user experience of an augmented reality device
US20190278591A1 (en) * 2018-02-16 2019-09-12 Accenture Global Solutions Limited Representing a software application using extended reality
CN110377147A (zh) * 2018-04-13 2019-10-25 中华电信股份有限公司 扩增实境的方法及系统
KR20190132191A (ko) * 2019-01-03 2019-11-27 남정규 증강현실 콘텐츠의 제작 및 편집이 가능한 증강현실 편집 시스템 및 증강현실 구현 시스템

Also Published As

Publication number Publication date
TWI744737B (zh) 2021-11-01
TW202123025A (zh) 2021-06-16

Similar Documents

Publication Publication Date Title
WO2019205882A1 (zh) 视频制作方法、装置、计算机设备和存储介质
US9529492B2 (en) Reproduction of file series
US20140192140A1 (en) Visual Content Modification for Distributed Story Reading
EP3050604A1 (en) Location based augmentation for story reading
US20140195222A1 (en) Speech Modification for Distributed Story Reading
EP2706734B1 (en) Method and apparatus for executing an application in a device
US20230057566A1 (en) Multimedia processing method and apparatus based on artificial intelligence, and electronic device
CN109905592B (zh) 根据用户的交互控制或者合成的内容的提供方法及装置
CN112445395B (zh) 音乐片段的选取方法、装置、设备及存储介质
US20130117670A1 (en) System and method for creating recordings associated with electronic publication
CN106105245A (zh) 互连视频的回放
US10965629B1 (en) Method for generating imitated mobile messages on a chat writer server
JP2020529680A (ja) 通話中の感情を認識し、認識された感情を活用する方法およびシステム
CN112947901A (zh) 扩增实境的内容控制系统、方法及计算机存储介质
US11095938B2 (en) Online video editor
CN109587236A (zh) 多媒体文件分享方法、装置及存储介质
KR20150083475A (ko) 터치입력을 이용한 미디어 편집 방법 및 장치
JP2021103520A (ja) ジェスチャーを利用して対話メッセージに感情を表現する方法、システム、およびコンピュータプログラム
CN114793286A (zh) 基于虚拟形象的视频编辑方法和系统
KR101553272B1 (ko) 복수의 타이머를 사용하여 멀티미디어 콘텐츠를 저작하는 방법 및 복수의 타이머를 사용하여 멀티미디어 콘텐츠를 저작하는 저작 장치
KR102575821B1 (ko) 이메일소프트웨어구동 디지털액터 운용시스템
KR102488623B1 (ko) 영상 컨텐츠에 대한 합성음 실시간 생성에 기반한 컨텐츠 편집 지원 방법 및 시스템
KR102533209B1 (ko) 다이나믹 확장현실(xr) 콘텐츠 생성 방법 및 시스템
EP4187905A1 (en) Method and system for live multicasting performances to devices
TWM560053U (zh) 線上整合擴增實境的編輯裝置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination