CN105468249B - 智能互动系统及其控制方法 - Google Patents

智能互动系统及其控制方法 Download PDF

Info

Publication number
CN105468249B
CN105468249B CN201410455058.5A CN201410455058A CN105468249B CN 105468249 B CN105468249 B CN 105468249B CN 201410455058 A CN201410455058 A CN 201410455058A CN 105468249 B CN105468249 B CN 105468249B
Authority
CN
China
Prior art keywords
user
intelligent interaction
unit
dummy object
identification information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410455058.5A
Other languages
English (en)
Other versions
CN105468249A (zh
Inventor
姚美叶
张友鸿
叶志勇
张贝源
王文俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LIANSHENG (CHINA) TECHNOLOGY CO LTD
Wintek Corp
Original Assignee
LIANSHENG (CHINA) TECHNOLOGY CO LTD
Wintek Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LIANSHENG (CHINA) TECHNOLOGY CO LTD, Wintek Corp filed Critical LIANSHENG (CHINA) TECHNOLOGY CO LTD
Priority to CN201410455058.5A priority Critical patent/CN105468249B/zh
Publication of CN105468249A publication Critical patent/CN105468249A/zh
Application granted granted Critical
Publication of CN105468249B publication Critical patent/CN105468249B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

一种智能互动系统及其控制方法。智能互动系统包括一特征提取单元、一虚拟物体产生单元、一互动单元及一显示单元。特征提取单元用以提取一第一使用者的一第一使用者识别信息,并提取第一使用者的一第一使用者动态特征。虚拟物体产生单元用以依据第一使用者识别信息以载入一第一虚拟物体。互动单元用以依据第一使用者动态特征进行对应至第一虚拟物体的一第一智能互动。显示单元用以显示第一智能互动。

Description

智能互动系统及其控制方法
技术领域
本发明涉及一种智能互动系统及其控制方法,特别是一种关于扩增实境技术的智能互动系统及其控制方法。
背景技术
传统上利用扩增实境技术实现的互动游戏必须要搭配标记卡(AR Card),才能实现扩增实境的效果。请参照图1A,其绘示现有一种互动电子宠物猴在屏幕上显示的扩增实境的画面。藉由让使用者手持一张实体的标记卡1,而扩增实境系统在拍摄取得实际场景的画面时,一并辨识标记卡1上面的标记(mark),再载入对应使用者的宠物,并将虚拟宠物与实际场景的画面一并显示在屏幕上。
另外一种扩增实境技术实现的互动游戏采用的是无标记(unmark)技术,如图1B所示,其实现手法与传统的标记卡类似,但将标记卡上的标记图案化,使标记卡成为一张静态图片3,扩增实境系统藉由识别静态图片3上的特征以载入虚拟宠物,并将虚拟宠物与实际场景的画面(例如,具有静态图片3的实际场景)一并显示在屏幕上,以达到扩增实境的效果。
然而,以上两种技术由于都必须使用到额外的部件(例如是标记卡1或静态图片3),便利性较低,因此,上述扩增实境游戏仍难以普便于便携式电子装置上,限制了扩增实境技术所能应用的范围;除此之外,现有的扩增实境游戏仅限于与单只宠物进行互动,游戏趣味性较低。
发明内容
本申请涉及一种智能互动系统及其控制方法,此方法可以不需使用到传统作法中具有标记(mark)的标记卡或者静态图片,不但提升了扩增实境技术的使用便利性及应用范围,还增加了智能互动的多样性。
根据本申请的第一方面,提出一种智能互动系统。智能互动系统包括一特征提取单元、一虚拟物体产生单元、一互动单元及一显示单元。特征提取单元用以提取一第一使用者的一第一使用者识别信息,并提取第一使用者的一第一使用者动态特征。虚拟物体产生单元用以依据第一使用者识别信息以载入一第一虚拟物体。互动单元用以依据第一使用者动态特征进行对应至第一虚拟物体的一第一智能互动。显示单元用以显示第一智能互动。
根据本申请的一第二方面,提出一种智能互动系统的控制方法,包括以下步骤。提取一第一使用者的一第一使用者识别信息。依据第一使用者识别信息以载入一第一虚拟物体。提取第一使用者的一第一使用者动态特征。依据第一使用者动态特征进行对应至第一虚拟物体的一第一智能互动。显示第一智能互动。
为了对本发明的上述及其他方面有更佳的了解,下文特举优选实施例,并配合附图,作详细说明如下:
附图说明
图1A~图1B绘示现有互动电子宠物猴的示意图。
图2A绘示本发明实施例的智能互动系统的方块图。
图2B绘示图2A的智能互动系统的详细作法的一例的方块图。
图3绘示本发明实施例的智能互动系统的控制方法的流程图。
图4A~图4B绘示实施例的智能互动系统的操作的示意图。
图5A~图5B绘示实施例的智能互动系统的操作的示意图。
图6绘示实施例的智能互动系统的操作的示意图。
图7绘示实施例的智能互动系统的操作的示意图。
图8A~图8B绘示实施例的智能互动系统的操作的示意图。
【符号说明】
1:标记卡
3:静态图片
100:智能互动系统
10:第一摄像镜头模块
12:特征提取单元
15:平板计算机
20:第二摄像镜头模块
40:数据库
42:存储单元
45:虚拟物体产生单元
50:处理单元
52:人脸识别单元
58:互动单元
60:显示单元
65:主画面区域
67:小窗口
70:体感操作器
72:语音模块
74:表情识别模块
80:特征识别单元
S301~S309:流程步骤
A:第一使用者
B:第二使用者
C:第三使用者
Pa:第一影像
Pb:第二影像
Pc:第三影像
Da、Db、Dc:虚拟宠物
具体实施方式
请参照图2A,其绘示本发明实施例的智能互动系统100的方块图。如图2A所示,智能互动系统100包括一特征提取单元12、一虚拟物体产生单元45、一互动单元58、及一显示单元60。特征提取单元12用以提取一第一使用者的一第一使用者识别信息,并提取此第一使用者的一第一使用者动态特征。虚拟物体产生单元45用以依据第一使用者识别信息以载入一第一虚拟物体。互动单元58用以依据第一使用者动态特征进行对应至第一虚拟物体的一第一智能互动。而显示单元60则是用以显示第一智能互动。
藉由特征提取单元12提取第一使用者的第一使用者识别信息,虚拟物体产生单元45依据第一使用者识别信息载入第一虚拟物体的作法,可以不需使用到传统作法中的标记卡或静态图片,较容易应用于便携式电子装置上。本发明的实施例不但提升了扩增实境技术的使用便利性与应用范围,还增加了智能互动的多样性。
进一步来说,在上述的智能互动系统中,第一使用者识别信息至少包含一第一人脸影像。特征提取单元12还用以辨识第一使用者识别信息中的第一人脸影像,而虚拟物体产生单元45还用以依据对应至第一人脸影像的第一使用者识别信息载入第一虚拟物体。
其中,显示单元60还可显示第一人脸影像,并显示对应至第一虚拟物体的一虚拟物体图像。虚拟物体图像是邻近于第一人脸影像。
上述的第一使用者识别信息至少包括第一使用者的人脸、声音、指纹三者其中之一,这些特征可用以区别不同的使用者。特征提取单元12还用以提取一第二使用者的一第二使用者识别信息,并提取第二使用者的一第二使用者动态特征。第二使用者识别信息至少包括第二使用者的人脸、声音、指纹三者其中之一。虚拟物体产生单元45还用以依据第二使用者识别信息以载入一第二虚拟物体。互动单元58还用以依据第二使用者动态特征进行对应至第二虚拟物体的一第二智能互动,第二智能互动为第二使用者与第二虚拟物体之间的智能互动。显示单元60还用以显示第二智能互动。
除此之外,互动单元58还可用以依据第一使用者动态特征及第二使用者动态特征二者至少之一进行一第三智能互动。第三智能互动为第一虚拟物体与第二使用者之间的智能互动,或第一使用者与第二虚拟物体之间的智能互动。而显示单元60还用以显示第三智能互动。
更进一步地,互动单元58还可用以依据第一使用者动态特征及第二使用者动态特征进行一第四智能互动。第四智能互动为第一虚拟物体与第二虚拟物体之间的智能互动。而显示单元60则是还用以显示第四智能互动。
现在将智能互动系统100更进一步说明如下。请参照图2B,其绘示图2A的智能互动系统100的详细作法的一例的方块图。智能互动系统100更可具有一存储单元42,存储单元42具有数据库40,用以至少预先存储对应第一使用者的第一虚拟宠物,或对应第二使用者的第二虚拟宠物。第一虚拟宠物及第二虚拟宠物可由使用者预先进行初始设定来设定。在特征提取单元12提取第一使用者识别信息或第二使用者识别信息后,虚拟物体产生单元45依据第一使用者识别信息或第二使用者识别信息,将对应的第一虚拟宠物或第二虚拟宠物从存储单元42中载入虚拟物体产生单元45中。
此外,如图2B所示,特征提取单元12例如还可包括一第一摄像镜头模块10、一第二摄像镜头模块20、一人脸识别单元52、与一表情识别模块74。第一摄像镜头模块10与第二摄像镜头模块20例如分别配置在具有其的电子装置的两个不同侧面上,例如内侧面与外侧面。第一摄像镜头模块10用以提取第一使用者的动态影像或静态影像,例如第一人脸动态影像。第二摄像镜头模块20用以提取第二使用者的动态影像或静态影像,例如第二人脸动态影像。人脸识别单元52用以辨识第一使用者识别信息中的第一人脸影像,或第二使用者识别信息中的第二人脸影像。表情识别模块74用以辨识第一人脸动态影像所代表的一第一表情,或第二人脸动态影像所代表的一第二表情。特征提取单元12并且可以第一表情作为第一使用者动态特征,或以第二表情作为第二使用者动态特征。
再者,如图2B所示,特征提取单元12例如还可包括一语音模块72,用以感测第一使用者的一第一语音,或第二使用者的一第二语音。特征提取单元12可以第一语音作为第一使用者动态特征,或以第二语音作为第二使用者动态特征。
而且,特征提取单元12也可包括一体感操作器70,用以感测第一使用者的一第一手势,或感测第二使用者的一第二手势。特征提取单元12可以第一手势作为第一使用者动态特征,或以第二手势作为第二使用者动态特征。
本发明实施例更提出一种智能互动系统的控制方法。请参照图3,其绘示第一实施例的智能互动系统100的控制方法的流程图。首先,执行步骤S301,提取第一使用者的第一使用者识别信息。接着,执行步骤S303,依据第一使用者识别信息以载入第一虚拟物体。之后,进入步骤S305,提取第一使用者的第一使用者动态特征。然后,执行步骤S307,依据第一使用者动态特征进行对应至第一虚拟物体的第一智能互动。之后,进入步骤309,显示第一智能互动。
接着,以下将前述发明实施例列举数例说明如下。本申请所属领域技术人员均可了解,本实施例的控制方法并不局限于应用在图2A及图2B的智能互动系统100,也不局限于图3流程图的步骤顺序。
第一例
请参照图4A~图4B,其绘示智能互动系统100的操作的第一例的示意图。第一摄像镜头模块10提取第一使用者A的一第一影像,第一影像例如为第一使用者A的第一人脸影像Pa。
例如,第一使用者A手持一平板计算机15,并藉由内嵌于平板计算机15的第一摄像镜头模块10以提取第一使用者A的第一人脸影像Pa。
人脸识别单元52辨识第一使用者A的第一人脸影像Pa,以取得对应第一人脸影像Pa的第一使用者识别信息,且虚拟物体产生单元45依据第一使用者识别信息以产生对应第一使用者识别信息的第一虚拟物体Da。其中,人脸识别单元52使用人脸识别技术以辨识第一人脸影像Pa,此人脸辨识技术可以是利用一般的主成分分析法(Principal componentAnalysis,PCA),但不限制,以识别摄像镜头所提取到的人脸影像。此外,在另一实施例中,可藉由特征提取单元12辨识第一使用者A的指纹或声音,以取得对应第一使用者A的指纹或声音的第一使用者识别信息。
在图2B的智能互动系统100中,存储单元42的数据库40中存储有分别多个人脸影像(也可以是人脸影像特征或人脸影像特征参数)与多个使用者识别信息的对应关系,以及多个使用者识别信息所对应的多个虚拟宠物。如图4B所示,人脸识别单元52辨识第一人脸影像Pa后,藉由查询数据库40,以取得对应第一人脸影像Pa的第一使用者识别信息,藉此可辨识出使用者的身份。接着,虚拟物体产生单元45依据第一使用者识别信息以查询数据库40,以取得对应第一使用者识别信息的虚拟宠物Da,并利用扩增实境技术,使平板计算机15的显示单元60将虚拟宠物Da及第一人脸影像Pa显示出来,其中,虚拟宠物Da的图像显示于第一人脸影像Pa的邻近位置,例如:图4B所示,虚拟宠物Da的图像显示于邻近第一人脸影像Pa的右上角位置,虚拟宠物Da的图像小于该第一人脸影像Pa,例如虚拟宠物Da的图像约为第一人脸影像Pa的1/4大小。虚拟宠物Da的图像也可显示于邻近第一人脸影像Pa的其他位置,只要能显示出虚拟宠物Da与第一人脸影像Pa具有关联性即可。
在此例中,是以第一表情作为第一使用者动态特征为例来说明。
特征提取单元12的表情识别模块74识别出第一使用者A的第一表情,以产生对应第一使用者A的第一表情的第一表情识别信息。其中,表情识别模块74例如可使用但并不限制于,利用一般的几何分析法以识别摄像镜头所提取到的人脸影像。
接着,互动单元58依据第一表情识别信息进行对应至虚拟宠物Da的智能互动。
例如表一所示,当第一使用者A表现出不同表情时,第一使用者A与虚拟宠物Da之间进行智能互动的几种情形。
表一
表情 智能互动
微笑 虚拟宠物手舞足蹈
难过 虚拟宠物会抚摸人的头表示安慰
生气 虚拟宠物会低着头安静的站在一旁
惊讶 虚拟宠物做出惊讶的表情和动作
由表一可知,当表情识别模块74识别出第一使用者A的一第一表情为微笑时,所对应到的智能互动为“虚拟宠物手舞足蹈”,因此,互动单元58依据第一使用者A的表情,使虚拟宠物Da在屏幕上表现出跳舞、开心的样子与第一使用者A(第一人脸影像Pa)互动。又例如当表情识别模块74识别出第一使用者A的一第一表情为难过时,所对应到的智能互动为“虚拟宠物会抚摸人的头表示安慰”,因此,互动单元58依据第一使用者A的表情,使虚拟宠物Da抚摸第一使用者A(第一人脸影像Pa)的头表示安慰。
另外,表一所载的信息可预先存储于数据库40中,然而,使用者表情与对应的宠物的智能互动并不仅限于此表所示,本领域技术人员应知此表仅为举例的用途。
接着,显示单元60显示第一使用者A与第一虚拟物体Da的第一智能互动。
举例而言,如表一所示,当第一使用者A的第一表情为生气时,所对应到的第一智能互动为“虚拟宠物会低着头安静的站在一旁”,因此,显示单元60则会显示虚拟宠物Da低着头安静地站在第一使用者A(第一人脸影像Pa)一旁的画面。
另外,关于前述所提及的数据库40,用以存储对应多个预设使用者识别信息的多个预设虚拟物体(例如:虚拟宠物Da、Db)、对应多个预设使用者表情的多个预设表情识别信息,以及多个预设智能互动。其中,多个预设使用者识别信息包含第一使用者识别信息,多个预设虚拟物体包含第一虚拟物体Da,多个预设使用者表情包含第一表情识别信息,多个预设智能互动包含第一智能互动。
据此,人脸识别单元52藉由查询数据库40可取得对应第一人脸影像Pa的第一使用者识别信息、虚拟物体产生单元45藉由查询数据库40可取得对应第一使用者识别信息的第一虚拟物体Da、特征提取单元12的表情识别模块74藉由查询数据库40可取得对应第一表情的第一表情识别信息,及互动单元58产生对应第一使用者与第一虚拟物体的第一智能互动。
另外,在另一实施例中,还可通过第二摄像镜头20模块提取一第二使用者的一第二影像,虚拟物体产生单元45还用以依据一第二使用者识别信息以产生一第二虚拟物体,特征提取单元12用以识别第二使用者的一第二使用者动态特征,互动单元58用以依据第二使用者动态特征及第一使用者动态特征进行各种形态的智能互动。此些智能互动可以例如为:第一使用者与第一虚拟物体之间的智能互动、第二使用者与第二虚拟物体之间的智能互动、第一虚拟物体与第二使用者之间的智能互动或第一使用者与第二虚拟物体之间的智能互动、第一虚拟物体与第二虚拟物体之间的智能互动。
通过上述步骤,人脸识别单元52可利用人脸识别技术以识别出摄像头捕捉到的人脸身份,再利用扩增实境的方法将虚拟宠物显示在人脸影像旁边。由于不需配置额外的装置,即可达成让使用者(使用者的影像)可与虚拟宠物之间进行不同的智能互动的效果,藉此同时避免了传统上使用标记卡或静态图片,而造成限制扩增实境技术的应用范围与互动游戏的使用范围的问题。
此外,人脸识别单元52、表情识别模块74、互动单元58、及虚拟物体产生单元45例如由处理单元来实现。
其中,第一摄像镜头模块10及第二摄像镜头模块20可以是任何具有摄像功能的装置,用以对物体进行拍摄,例如为一网络摄像镜头(webcam)或一可嵌入智能互动系统100的摄像装置。在本例中,第一摄像镜头模块10可以是但并不限制于一前置摄像镜头模块,第二摄像镜头模块20可以是但并不限制于一后置摄像镜头模块。存储单元42可以是一存储器、一硬盘、或一存储卡等可用以存储各项信息的装置,也可为一远端连线的存取装置。处理单元可以是一处理器、一控制电路、数字信号处理器、或类似物。显示单元60用以显示影像画面,例如为一显示器或一触控面板。
第二例
在本例中,智能互动系统100是以使用到语音模块72以感测使用者输入的语音为例做说明。语音模块72例如可包括麦克风、及语音处理电路或语音处理程序(例如藉由处理器来执行)。
首先,语音模块72感测第一使用者A所输入的第一语音,以产生对应第一语音的第一语音识别信息,并以第一语音识别信息作为第一使用者动态特征。
如表二所示,当第一使用者A说出不同的话时,第一使用者A与虚拟宠物Da之间进行智能互动的几种情形。例如,当第一使用者A说出“转圈”时,虚拟宠物Da则会欢快地转起圈。
表二
语音 智能互动
“转圈” 宠物欢快地转起圈
“抱抱” 宠物欢快地拥抱主人
“我不开心” 宠物会抚摸人的头表示安慰
“讨厌你!” 宠物低着头安静的站在一旁
接着,互动单元58依据第一语音识别信息进行第一使用者(第一人脸影像Pa)与第一虚拟物体Da或第一虚拟物体Da与第二虚拟物体Db(未显示于图4A~图4B中)的智能互动,并显示于屏幕上。
第三例
此外,请参照图5A~图5B,图5A~图5B绘示本发明实施例的智能互动系统100的操作的另一例的示意图。当使用者想观看身边其他人之间的互动,可以从第一摄像镜头模块10切换至第二摄像镜头模块20。在本例中,如图5A所示,第一摄像镜头模块10可以为前置摄像镜头模块,第二摄像镜头模块20可以为后置摄像镜头模块。当系统从第一摄像镜头模块10切换至第二摄像镜头模块20后,通过特征提取单元12以识别出第二摄像镜头模块20所捕捉到的人脸身份,并利用扩增实境技术在人脸影像Pb、Pc旁边显示分别代表人脸的虚拟宠物Db、Dc,依据使用者不同的表情和语音控制,使对应的虚拟宠物Db、Dc进行智能互动。
如图5B所示,当第一使用者A想要控制附近拍摄到的人的宠物时,可以先用手点击选定平板计算机15上拍摄到的人任意两人,并将此两人的人脸影像显示于画面中,例如:第二使用者B的人脸影像Pb及第三使用者C的人脸影像Pc。接着,同时根据第一使用者A的表情控制第二使用者B及第三使用者C的第二虚拟宠物Db及第三虚拟宠物Dc间的互动。例如,如果第一使用者A的表情为微笑时,第一次选定的人(例如:第二使用者B)的虚拟宠物Db会去主动拥抱第二次选定的人(例如:第三使用者C)的虚拟宠物Dc;如果第一使用者A的表情为生气时,第一次选定的人(例如:第二使用者B)的虚拟宠物Db会去拍打第二次选定的人(例如:第三使用者C)的虚拟宠物Dc。
第四例
请参图6,其绘示实施例的智能互动系统100的操作的另一例的示意图。首先,智能互动系统100通过第一摄像镜头模块10以提取第一使用者A的第一人脸影像Pa,并通过第二摄像镜头模块20以提取一第二使用者B的一第二人脸影像Pb。接着,利用人脸识别单元52辨识第一人脸影像Pa,以取得对应第一人脸影像Pa的一第一使用者识别信息,并基于第一使用者识别信息以产生对应第一使用者识别信息的第一虚拟物体Da。同样地,利用人脸识别单元52辨识第二人脸影像Pb,以取得对应第二人脸影像Pb的一第二使用者识别信息,并基于第二使用者识别信息以产生对应该第二使用者识别信息的第二虚拟物体Db。接着,互动单元58依据第一使用者A的一第一表情及第二使用者B的一第二表情以进行虚拟宠物Da、Db之间的互动。
如表三所示,若第一使用者A与第二使用者B的表情皆为微笑时,第一使用者A的虚拟宠物Da会去拥抱第二使用者B的虚拟宠物Db。若第一使用者A与第二使用者B的表情皆为生气时,第一使用者A的虚拟宠物Da会与第二使用者B的虚拟宠物Db进行一场激烈的战斗。
此外,在本例中,也可用语音代替表情来控制虚拟宠物间的互动。例如若第一使用者A说出“抱抱”,第二使用者B回应说出“好啊”,则两只虚拟宠物欢快地拥抱,相反地,若第二使用者B回应说出“不要”,则第一使用者A的虚拟宠物Da想要去拥抱第二使用者B的虚拟宠物Db,但第二使用者B的虚拟宠物Db拼命挣扎。
在本例中,不需任何其他的传统的标记卡或静态图片,藉由人脸识别单元52、语音模块72及表情识别模块74以辨识出使用者输入的信息,即可达到让使用者与虚拟宠物或是虚拟宠物彼此之间的智能互动的效果,并藉此增加了使用者之间互动的方式与游戏的乐趣。
表三
第五例
请参阅图7,其绘示实施例的智能互动系统100的操作的另一例的示意图。如图7所示,当开启第二摄像镜头模块20时,在显示画面的左上角显示一个小窗口67,用以显示第一摄像镜头模块10提取到的第一使用者A的第一人脸影像Pa,而主画面区域65则显示第二摄像镜头模块20提取的第二使用者B的第二人脸影像Pb及第三使用者C的第三人脸影像Pc。此外,第一使用者A、第二使用者B及第三使用者C所对应到的第一虚拟宠物Da、第二虚拟宠物Db及第三虚拟宠物Dc则分别显示于邻近第一人脸影像Pa、第二人脸影像Pb及第三人脸影像Pc旁侧的位置。接着,第一使用者A可点选的画面上的任何一人,并依据第二摄像镜头模块20拍摄到的第二使用者B及第三使用者C的表情,使被第一使用者A所点选的画面上任何一人的虚拟宠物进行对应的智能互动。
其中,智能互动系统还可包括一判断单元(未绘示)。如图7所示,当第一使用者A点选的画面上的任何一人时,判断单元将判断第二影像Pb或第三影像Pc是否被点选。例如,判断单元判断第二人脸影像Pb被点选,则进行第一虚拟物体Da与第二虚拟物体Db的第二智能互动,例如,当小窗口67中的第一使用者A的表情为微笑时,虚拟宠物Da则会跳进主画面区域65,与虚拟宠物Db欢快地拥抱在一起。当小窗口67中的第一使用者A的表情为生气时,虚拟宠物Da则会跳进主画面区域65,并愤怒地拍打虚拟宠物Db。类似地,若判断第三影像Pc被点选,则进行第一虚拟物体Da与第三虚拟物体Dc的一第三智能互动。其中,判断单元耦接于互动单元58,判断单元例如是一微处理芯片、一固件电路或控制电路。
藉此,第一使用者A可点选第二影像Pb或第三影像Pc,以选择其欲互动的对象,让使用者在进行游戏时具有更多元的选择。
第六例
请参照图8A~图8B,其绘示实施例的智能互动系统100的操作的另一例的示意图。本例主要是使用到智能互动系统100的特征提取单元12的体感操作器70,用以感测使用者输入的手势。进一步而言,在图2B中,互动单元58可以选择性地由有线或无线方式耦接至体感操作器70。体感操作器70用以检测人体肌肉在运动时的相关数据,并将此些数据传输至其他电子设备。体感操作器70可以是一穿戴式体感操作器。
在本例中,体感操作器70用以感测第一使用者A所输入的第一手势,并产生对应第一手势的第一手势识别信息,并以第一手势识别信息作为第一使用者动态特征。
接着,互动单元58依据第一手势识别信息进行第一使用者A与第一虚拟物体Da或第一虚拟物体Da与第二虚拟物体Db的第一智能互动。
举例而言,当第一使用者A与第二使用者B手上配戴体感操作器70时,此体感操作器70可以是可穿戴式体感操作器,例如为肌肉感应臂带,其是一种三维体感控制器,其内置肌肉运动传感器,包括三轴加速度传感器、三轴陀螺仪等,并可通过蓝牙与智能设备连接。藉此,使用者只要动动手指或者手掌,就可操控其对应的虚拟宠物进行智能互动。
因此,在本例中,当使用者手部进行运动时,例如:当使用者的手掌轻轻翻转时,体感操作器70会产生第一手势识别信息,并将第一手势识别信息传给互动单元58,互动单元58再查询数据库40,以找出与第一手势识别信息对应的智能互动。
例如图8B所示,显示单元60的小窗口67显示代表第一使用者A的第一人脸影像Pa及虚拟宠物Da。当第一使用者A输入的手势为招手,互动单元58会控制显示单元60显示虚拟宠物Da进入主画面区域65,并与主画面区域65的一个或多个宠物进行翻跟斗比赛的画面。此外,当第一使用者A勾勾手指,则显示单元60的显示画面中,在视觉上距离第一使用者A较远的虚拟宠物会与视觉上距离第一使用者A较近的虚拟宠物进行娱乐互动。举例而言,在图8B中,虚拟宠物Dc的显示图像较小,而虚拟宠物Db的显示图像较大,就一般而言,在画面中较大的图像通常表示较靠近目前的使用者,较小的图像表示较远离目前的使用者,因此,可由此决定视觉上距离第一使用者A较近的宠物为虚拟宠物Db,距离第一使用者A较远的宠物为虚拟宠物Dc。当第一使用者A勾勾手指,则显示单元60的显示画面中,在视觉上距离第一使用者A较远的虚拟宠物Dc会从远处跑来与视觉上距离第一使用者A较近的虚拟宠物Db进行娱乐互动。又例如,当显示画面里配戴体感操作器70的使用者的手掌轻轻翻转时,即可控制主画面区域65内的宠物进行互动。
此外,本实施例可结合第一例~第五例至少之一,藉此可让多名使用者之间,使用语音、表情、手势三者至少其中之一来控制其各自虚拟宠物之间的互动。
在本例中,另一种互动方式为,请再参照图8A~图8B,第一使用者A可同时点击主画面区域65上的两个人,例如:第一使用者A同时点击画面区域65上第二使用者B及第三使用者C的人脸影像,主画面区域65的两个人(第二使用者B及第三使用者C)就会进行黑白配游戏。第二摄像镜头模块20分别捕捉到第二使用者B与第三使用者C同时说完“黑白配"后,再同时出石头剪刀布,此时第二使用者B与第三使用者C各自的虚拟宠物Db、Dc都在为主人加油。于此,当语音模块72识别第二使用者B与第三使用者C同时说完“黑白配”后,互动单元58可用以判断双方使用者猜拳各为赢家或输家。赢家的虚拟宠物欢快地跳起来,而输家的虚拟宠物还在继续为主人加油。接着,第二使用者B与第三使用者C同时喊出“男生女生配”,若前述猜拳输的一方使用者的头转向与前述猜拳赢方所指方向相同,则前述猜拳输的一方输了此局。此时,赢家的虚拟宠物兴奋的拥抱主人,而输家的虚拟宠物抚摸主人的头表示安慰。相反地,如果前述猜拳输的一方使用者的头转向与前述猜拳赢方所指方向不同,则前述猜拳赢的人的虚拟宠物就瞬间扭头并表示不屑,而前述猜拳输的人的虚拟宠物就做出了胜利的手势,并开心的拥抱主人。
以上互动方式系由语音模块72与体感操作器70感应出游戏双方在做石头剪刀布时的猜拳手势,进而控制各自宠物间的互动,藉此达成使用者可同时或分别利用语音、表情及手势来与虚拟宠物互动的功效,增加游戏的顺畅度与舒适度。
如上述可知,本发明可利用第一摄像镜头模块10、第二摄像镜头模块20两者中的至少一个,以提取多个使用者人脸影像。当第一使用者A想要控制附近拍摄到的其他使用者的宠物时,可以先用手点击选定平板计算机上拍摄到的其中一人,同时根据使用者的表情、声音至少其中之一控制此被选定的人与第一使用者A的宠物间的智能互动。因此,本发明可藉由用语音、表情、手势三者至少其中之一来控制宠物间的互动。此外,由于本实施例其余各个元件所对应的功能及其步骤与第一实施例相同,因此相同之处不再重述。
虽然上述是举多个例子做为说明,然而上述例子可视情况结合其中多个实施例同时实施于同一智能互动系统上,此外,本申请发明也可应用于一手持式移动装置、一笔记型计算机、一平板计算机三者至少其中之一。举例而言,结合上述例子时,可利用平板计算机的显示单元显示多名使用者,且此些使用者分别配戴体感操作器,并一起进行猜拳游戏,以控制主画面区域65内的宠物进行互动,以增加游戏的丰富度与趣味性。
因此,本发明利用人脸、语音或指纹等使用者特征的识别技术显示出代表不同人的宠物,从而代替传统的标记卡或者静态图片进行的扩增实境智能互动,使用者不需携带额外的配备,且不易被盗取,不但提升了扩增实境智能互动的使用便利性及应用场合,还增加了智能互动的娱乐效果,藉此不需要传统标记卡或者静态图片的情况下,又可进一步达到进行使用者与虚拟宠物或是虚拟宠物彼此之间的智能互动的效果。
综上所述,虽然本发明已以优选实施例公开如上,然其并非用以限定本发明。本发明所属领域技术人员在不脱离本发明的精神和范围内,当可作各种的更动与润饰。因此,本发明的保护范围当视所附权利要求书界定范围为准。

Claims (9)

1.一种智能互动系统,包括:
特征提取单元,用以提取第一使用者的第一使用者识别信息,并提取该第一使用者的第一使用者动态特征;
虚拟物体产生单元,用以依据该第一使用者识别信息以载入第一虚拟物体;
互动单元,用以依据该第一使用者动态特征进行对应至该第一虚拟物体的第一智能互动;以及
显示单元,用以显示该第一智能互动;
其中,该第一使用者识别信息至少包括该第一使用者的人脸、声音、指纹三者其中之一,该特征提取单元还用以提取第二使用者的第二使用者识别信息,并提取该第二使用者的第二使用者动态特征,该第二使用者识别信息至少包括该第二使用者的人脸、声音、指纹三者其中之一;
其中,该虚拟物体产生单元还用以依据该第二使用者识别信息以载入第二虚拟物体;
其中,该互动单元还用以依据该第一使用者动态特征及该第二使用者动态特征二者至少之一进行第三智能互动,该第三智能互动系为该第一虚拟物体与该第二使用者之间的智能互动,或该第一使用者与该第二虚拟物体之间的智能互动;以及
其中,该显示单元还用以显示该第三智能互动。
2.如权利要求1所述的智能互动系统,其中该第一使用者识别信息至少包含第一人脸影像,该特征提取单元还用以辨识该第一使用者识别信息中的该第一人脸影像,而该虚拟物体产生单元还用以依据对应至该第一人脸影像的该第一使用者识别信息载入该第一虚拟物体。
3.如权利要求1所述的智能互动系统,该互动单元还用以依据该第二使用者动态特征进行对应至该第二虚拟物体的第二智能互动,该第二智能互动是为该第二使用者与该第二虚拟物体之间的智能互动;该显示单元还用以显示该第二智能互动。
4.如权利要求1所述的智能互动系统,该互动单元还用以依据该第一使用者动态特征及该第二使用者动态特征进行第四智能互动,该第四智能互动是为该第一虚拟物体与该第二虚拟物体之间的智能互动;该显示单元还用以显示该第四智能互动。
5.如权利要求1所述的智能互动系统,其中,该第一使用者识别信息至少包含第一人脸影像,该特征提取单元还用以辨识该第一使用者识别信息中的该第一人脸影像;
其中,该虚拟物体产生单元还用以依据对应至该第一人脸影像的该第一使用者识别信息载入该第一虚拟物体;
其中,该显示单元还用以显示该第一人脸影像,并显示对应至该第一虚拟物体的虚拟物体图像,该虚拟物体图像邻近于该第一人脸影像。
6.如权利要求1所述的智能互动系统,其中,该特征提取单元还用以进一步提取第一人脸动态影像,并辨识该第一人脸动态影像所代表的一第一表情,并以该第一表情作为该第一使用者动态特征。
7.如权利要求1所述的智能互动系统,其中,该特征提取单元包括语音模块,用以感测该第一使用者的第一语音,并以该第一语音作为该第一使用者动态特征。
8.如权利要求1所述的智能互动系统,其中,该特征提取单元包括体感操作器,用以感测该第一使用者的第一手势,并以该第一手势作为该第一使用者动态特征。
9.如权利要求1所述的智能互动系统,其中,智能互动系统进一步具有存储单元,该存储单元预先存储有对应第一使用者的第一虚拟物体,且该虚拟物体产生单元是依据该第一使用者识别信息,将该第一虚拟物体自该存储单元载入虚拟物体产生单元中。
CN201410455058.5A 2014-09-09 2014-09-09 智能互动系统及其控制方法 Expired - Fee Related CN105468249B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410455058.5A CN105468249B (zh) 2014-09-09 2014-09-09 智能互动系统及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410455058.5A CN105468249B (zh) 2014-09-09 2014-09-09 智能互动系统及其控制方法

Publications (2)

Publication Number Publication Date
CN105468249A CN105468249A (zh) 2016-04-06
CN105468249B true CN105468249B (zh) 2019-01-08

Family

ID=55606014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410455058.5A Expired - Fee Related CN105468249B (zh) 2014-09-09 2014-09-09 智能互动系统及其控制方法

Country Status (1)

Country Link
CN (1) CN105468249B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095406A (zh) * 2016-05-31 2016-11-09 腾讯科技(深圳)有限公司 虚拟对象展示方法、装置及系统
CN106371607A (zh) * 2016-09-19 2017-02-01 深圳奥比中光科技有限公司 一种基于协同游戏的人机互动方法与系统
CN109214278B (zh) * 2018-07-27 2023-04-18 平安科技(深圳)有限公司 用户指令匹配方法、装置、计算机设备及存储介质
CN109190536B (zh) * 2018-08-23 2023-12-26 百度在线网络技术(北京)有限公司 人脸图像处理方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102033605A (zh) * 2009-09-29 2011-04-27 德信互动科技(北京)有限公司 人机互动信息系统及其方法
CN102622081A (zh) * 2011-01-30 2012-08-01 北京新岸线网络技术有限公司 一种实现体感交互的方法和系统
CN103105993A (zh) * 2013-01-25 2013-05-15 腾讯科技(深圳)有限公司 基于增强现实技术实现互动的方法和系统
CN103116451A (zh) * 2013-01-25 2013-05-22 腾讯科技(深圳)有限公司 一种智能终端的虚拟角色交互方法、装置和系统
CN103765462A (zh) * 2011-08-19 2014-04-30 高通股份有限公司 用于产品和服务的交互式促销的系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102033605A (zh) * 2009-09-29 2011-04-27 德信互动科技(北京)有限公司 人机互动信息系统及其方法
CN102622081A (zh) * 2011-01-30 2012-08-01 北京新岸线网络技术有限公司 一种实现体感交互的方法和系统
CN103765462A (zh) * 2011-08-19 2014-04-30 高通股份有限公司 用于产品和服务的交互式促销的系统和方法
CN103105993A (zh) * 2013-01-25 2013-05-15 腾讯科技(深圳)有限公司 基于增强现实技术实现互动的方法和系统
CN103116451A (zh) * 2013-01-25 2013-05-22 腾讯科技(深圳)有限公司 一种智能终端的虚拟角色交互方法、装置和系统

Also Published As

Publication number Publication date
CN105468249A (zh) 2016-04-06

Similar Documents

Publication Publication Date Title
Lv et al. Multimodal hand and foot gesture interaction for handheld devices
CN102301311B (zh) 标准姿势
CN102184020B (zh) 用于操纵用户界面的姿势和姿势修改
JP6750046B2 (ja) 情報処理装置及び情報処理方法
US8998718B2 (en) Image generation system, image generation method, and information storage medium
US20130335318A1 (en) Method and apparatus for doing hand and face gesture recognition using 3d sensors and hardware non-linear classifiers
CN105279795A (zh) 基于3d标记的增强现实系统
KR102148151B1 (ko) 디지털 커뮤니케이션 네트워크에 기반한 지능형 채팅
CN104914989B (zh) 姿势辨识装置以及姿势辨识装置的控制方法
CN102449576A (zh) 姿势快捷方式
TW201113743A (en) Method, electronic apparatus and computer program product for creating biologic feature data
CN111638784B (zh) 人脸表情互动方法、互动装置以及计算机存储介质
CN111627117B (zh) 画像展示特效的调整方法、装置、电子设备及存储介质
CN105468249B (zh) 智能互动系统及其控制方法
KR20150116897A (ko) Nui 관여의 검출
CN110389703A (zh) 虚拟物品的获取方法、装置、终端和存储介质
Cordeiro et al. ARZombie: A mobile augmented reality game with multimodal interaction
CN112150349A (zh) 一种图像处理方法、装置、计算机设备及存储介质
KR20190015332A (ko) 증강 현실의 가상 객체들에 영향을 미치는 장치
CN111862341A (zh) 虚拟对象的驱动方法、装置、显示设备及计算机存储介质
CN112905014A (zh) Ar场景下的交互方法、装置、电子设备及存储介质
CN116943191A (zh) 基于故事场景的人机互动方法、装置、设备及介质
CN111638798A (zh) 一种ar合影方法、装置、计算机设备及存储介质
Dardas Real-time hand gesture detection and recognition for human computer interaction
CN113986093A (zh) 互动方法及相关装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190108

CF01 Termination of patent right due to non-payment of annual fee