CN117631813A - 交互方法及电子设备 - Google Patents

交互方法及电子设备 Download PDF

Info

Publication number
CN117631813A
CN117631813A CN202210968220.8A CN202210968220A CN117631813A CN 117631813 A CN117631813 A CN 117631813A CN 202210968220 A CN202210968220 A CN 202210968220A CN 117631813 A CN117631813 A CN 117631813A
Authority
CN
China
Prior art keywords
user
head
hand
intelligent
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210968220.8A
Other languages
English (en)
Inventor
杨惠雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202210968220.8A priority Critical patent/CN117631813A/zh
Publication of CN117631813A publication Critical patent/CN117631813A/zh
Pending legal-status Critical Current

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

提供一种交互方法及电子设备,涉及终端技术领域。智能手戴设备可以根据用户头部和手部的联动动作开启对应的工作模式(例如第一工作模式和第二工作模式等),从而为用户提供更多的模式选择,满足用户在交互时不同的操作需求。在第一工作模式下,智能手戴设备灭屏显示,用户只需使用手势动作等就可以控制智能头戴设备,而无需在功能页面上多次点击选择功能控件等。这样,既可以使智能手戴设备节能使用,也可以为用户提供简单的操作方式,使整个交互过程更为简单和流畅,提高用户的交互体验。

Description

交互方法及电子设备
技术领域
本申请涉及终端技术领域,尤其涉及一种交互方法及电子设备。
背景技术
目前,智能头戴设备小巧方便,用户佩戴智能头戴设备可以查看或者听取通知消息、提醒消息等,也可以收听音乐、听书等,还可以控制一些智能语音助手等。
用户与这些智能头戴设备进行交互时,可以通过手机或者智能手表等设备来控制智能头戴设备,手机或者智能手表上可以显示控制智能头戴设备的功能页面等,用户可以在功能页面上进行操作,从而控制智能头戴设备。例如,用户可以在功能页面上点击音量“+”控件,从而控制智能头戴设备中的歌曲音量增加等。
然而,用户通过手机控制智能头戴设备时,需要解锁手机并在手机上找到控制智能头戴设备的应用或者功能选项等,这样会使得控制智能头戴设备的过程比较复杂。并且,用户通过智能手表控制智能头戴设备时,用户也需要不断在页面上点击不同的控件,找到相应的功能后,才能实现对智能头戴设备的控制,这样也会使得控制智能头戴设备的过程比较复杂。无论哪种控制方法,过于复杂的操作过程都会造成用户较差的交互体验。
发明内容
本申请实施例提供一种交互方法及电子设备,用户通过智能手戴设备控制智能头戴设备,并且智能手戴设备可以提供多种工作模式。并且在第一工作模式下,智能手戴设备无需亮屏显示,用户只需使用手势动作等就可以控制智能头戴设备,可以为用户提供简单的操作方式,提高用户的交互体验。
为达到上述目的,本申请的实施例采用如下技术方案:
第一方面,提供一种交互方法,该交互方法应用于智能手戴设备,并且智能手戴设备与智能头戴设备之间进行通信连接。该方法中,在确定用户的头部和手部发生第一联动动作的情况下,智能手戴设备开启第一工作模式,其中,第一联动动作包括用户抬腕且未低头,以及,在第一工作模式下,智能手戴设备的屏幕处于灭屏状态。之后,智能手戴设备再响应于用户针对智能手戴设备处于灭屏状态下的屏幕的操作,控制智能头戴设备执行相应的功能。
上述交互方法,在第一工作模式下,智能手戴设备无需亮屏显示,用户只需使用手势动作等就可以控制智能头戴设备,而无需在功能页面上多次点击选择功能控件等。这样,既可以使智能手戴设备节能使用,也可以为用户提供简单的操作方式,并且在第一工作模式下,用户可以对智能手戴设备进行不低头的盲操作,整个交互过程更为简单和流畅,提高用户的交互体验。
在第一方面的一种可实现方式中,在确定用户的头部和手部发生第二联动动作的情况下,智能手戴设备开启第二工作模式,其中,第二联动动作包括用户抬腕且低头,以及,在第二工作模式下,智能手戴设备处于亮屏状态并显示功能页面。之后,智能手戴设备响应于用户针对功能页面的功能控件的操作,执行相应的功能,或者控制智能头戴设备执行相应的功能。可见,智能手戴设备可以根据用户头部和手部的联动动作开启对应的工作模式,从而为用户提供更多的模式选择,满足用户在交互时不同的操作需求。
在第一方面的一种可实现方式中,智能手戴设备可以获取通过惯性测量单元检测到的用户的手部姿态数据,以及获取智能头戴设备通过惯性测量单元检测到的用户的头部姿态数据。之后,智能手戴设备根据手部姿态数据和头部姿态数据,获取用户的手部姿态和头部姿态,以及根据手部姿态和头部姿态,确定用户的头部和手部发生联动动作的类型。其中,联动动作的类型包括前述的第一联动动作和第二联动动作。惯性测量单元通常包括陀螺仪、加速度计、磁力计等,因此通过惯性测量单元可以检测到较为准确地用户的头部姿态数据和手部姿态数据等。
在第一方面的一种可实现方式中,智能手戴设备还可以获取通过惯性测量单元检测到的用户的手部姿态数据,以及获取通过前置摄像头采集的用户的头部图像数据。之后,智能手戴设备根据手部姿态数据和头部图像数据,获取用户的手部姿态和头部姿态,以及根据手部姿态和头部姿态,确定用户的头部和手部发生联动动作的类型,其中,联动动作的类型包括前述的第一联动动作和第二联动动作。智能手戴设备上可以设置前置摄像头,从而可以拍摄在智能手戴设备外部的图像,根据拍摄的图像内容确定用户是否低头,从而准确地确定用户的头部姿态。
在第一方面的一种可实现方式中,智能手戴设备还可以获取智能头戴设备通过惯性测量单元检测到的用户的头部姿态数据,以及获取智能头戴设备通过摄像头采集的用户的手部图像数据。之后,智能手戴设备根据头部姿态数据和手部图像数据,获取用户的手部姿态和头部姿态,以及根据手部姿态和头部姿态,确定用户的头部和手部发生联动动作的类型,其中,联动动作的类型包括第一联动动作和第二联动动作。智能头戴设备上可以设置摄像头,用于拍摄用户手部、手腕、手臂等部位的图像,智能手戴设备可以根据这些图像确定用户是否抬腕,从而准确地确定用户的手部姿态。
在第一方面的一种可实现方式中,智能手戴设备还可以获取第一超声信号数据,以及接收智能头戴设备发送的第二超声信号数据,其中,第一超声信号数据用于表示用户的手部姿态的数据,第二超声信号数据用于表示用户的头部姿态的数据。之后,智能手戴设备根据第一超声信号数据和第二超声信号数据,获取用户的手部姿态和头部姿态,以及根据手部姿态和头部姿态,确定用户的头部和手部发生联动动作的类型,其中,联动动作的类型包括第一联动动作和第二联动动作。一些智能手戴设备和智能头戴设备中可以都分别设置麦克风和扬声器,智能头戴设备和智能手戴设备可以通过扬声器向外界发出第一超声信号,当第一超声信号遇到物体被反射回来后,通过麦克风接收反射回来的第二超声信号,再通过发射和接收的第一超声信号数据和第二超声信号数据,确定手腕与头部的距离,以及手腕抬起的角度,头部低下的角度等。这样,也可以获得用户的头部和手部的动作或者姿态,从而确定用户的头部和手部发生联动动作。
在第一方面的一种可实现方式中,智能手戴设备还可以获取第一无线信号数据,以及接收智能头戴设备发送的第二无线信号数据,其中,第一无线信号数据用于表示用户的手部姿态的数据,第二无线信号数据用于表示用户的头部姿态的数据。之后,智能手戴设备根据第一无线信号数据和第二无线信号数据,获取用户的手部姿态和头部姿态,以及根据手部姿态和头部姿态,确定用户的头部和手部发生联动动作的类型,其中,联动动作的类型包括第一联动动作和第二联动动作。一些智能手戴设备和智能头戴设备中也可以都分别设置蓝牙信号收发模块、超带宽模块、雷达信号收发模块等,智能头戴设备和智能手戴设备还可以通过这些模块向外界发出第一无线信号,当第一无线信号遇到物体被反射回来后,通过这些模块接收反射回来的第二无线信号,再通过发射和接收的第一无线信号数据和第二无线信号数据,确定手腕与头部的距离,以及手腕抬起的位置,头部低下的位置等。这样,也可以获得用户的头部和手部的动作或者姿态,从而确定用户的头部和手部发生联动动作。
在第一方面的一种可实现方式中,如果在用户抬腕的同时,用户未低头,则智能手戴设备可以确定用户的头部和手部发生第一联动动作。或者,如果在用户抬腕之后的预设时长内,用户未低头,则智能手戴设备可以确定用户的头部和手部发生第一联动动作。
在第一方面的一种可实现方式中,如果在用户抬腕的同时,用户低头,则智能手戴设备可以确定用户的头部和手部发生第二联动动作。或者,如果在用户抬腕之后的预设时长内,用户低头,则智能手戴设备可以确定用户的头部和手部发生第二联动动作。或者,如果在用户低头之后的预设时长内,用户抬腕,则智能手戴设备可以确定用户的头部和手部发生第二联动动作。
在第一方面的一种可实现方式中,智能手戴设备在开启第一工作模式后,可以响应于用户在屏幕上向目标方向的滑动操作,控制智能头戴设备切换音频内容;或者,响应于用户在屏幕上向目标方向的滑动操作,控制智能头戴设备切换显示内容;或者,响应于用户在屏幕上向目标方向的滑动操作,控制智能头戴设备调整音量;或者,响应于用户在屏幕上的双击操作,控制智能头戴设备拾音。可见,智能手戴设备在开启第一工作模式后,用户可以在智能手戴设备屏幕上通过手势动作等对智能头戴设备进行控制,使智能头戴设备执行相应的功能。
在第一方面的一种可实现方式中,智能手戴设备在开启第二工作模式后,可以响应于用户在功能页面上选择功能控件的操作,控制智能头戴设备切换音频内容;或者,响应于用户在功能页面上选择功能控件的操作,控制智能头戴设备切换显示内容;或者,响应于用户在功能页面上选择功能控件的操作,控制智能头戴设备调整音量。可见,智能手戴设备在开启第二工作模式后,用户可以通过在智能手戴设备显示的功能页面上选择功能控件的方式对智能头戴设备进行控制,使智能头戴设备执行相应的功能。
在第一方面的一种可实现方式中,智能手戴设备在开启第二工作模式后,还可以响应于用户的头部动作,控制智能头戴设备执行相应的功能;或者,响应于用户的头部动作和用户佩戴智能手戴设备的手的手部动作,控制智能头戴设备执行相应的功能。可见,当智能手戴设备处于第二工作模式时,用户可以通过头部、头部和手部配合的方式继续对智能手戴设备进行操作,其中,头部与佩戴手表的一只手配合操作,可以解放用户的另一只手,在用户的另一只手被占用的情况下,也可以轻松地控制智能头戴设备,为用户提供更好的交互体验。
在第一方面的一种可实现方式中,智能手戴设备在开启第二工作模式后,还可以响应于用户的头部动作,将焦点定位到功能页面上的功能控件上。再响应于用户佩戴智能手戴设备的手的手部动作,控制智能头戴设备切换音频内容;或者,响应于用户佩戴智能手戴设备的手的手部动作,控制智能头戴设备切换显示内容;或者,响应于用户佩戴智能手戴设备的手的手部动作,控制智能头戴设备调整音量。
第二方面,提供一种电子设备,电子设备包括存储器、一个或多个处理器;存储器与处理器耦合;其中,存储器中存储有计算机程序代码,计算机程序代码包括计算机指令,当计算机指令被处理器执行时,使得电子设备执行如第一方面任一实现方式中的交互方法。
第三方面,提供一种计算机可读存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行如第一方面任一实现方式中的交互方法。
第四方面,提供一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行如第一方面任一实现方式中的交互方法。
可以理解地,上述提供的第二方面所述的电子设备,第三方面所述的计算机可读存储介质,第四方面所述的计算机程序产品所能达到的有益效果,可参考第一方面及其任一种可能的设计方式中的有益效果,此处不再赘述。
附图说明
图1为本申请实施例示出的一种交互系统的示意图;
图2为本申请实施例示出的又一种交互系统的示意图;
图3为本申请实施例示出的又一种交互系统的示意图;
图4为本申请实施例示出的一种交互系统的软件结构示意图;
图5为本申请实施例示出的一种交互方法的示流程意图;
图6为本申请实施例示出的一种联动动作的示意图;
图7为本申请实施例示出的又一种联动动作的示意图;
图8为本申请实施例示出的一种工作模式的示意图;
图9为本申请实施例示出的一种手指在手表屏幕上滑动的示意图;
图10为本申请实施例示出的又一种手指在手表屏幕上滑动的示意图;
图11为本申请实施例示出的一种手指在手表屏幕上双击的示意图;
图12为本申请实施例示出的又一种工作模式的示意图;
图13为本申请实施例示出的又一种手指在手表屏幕上滑动的示意图;
图14为本申请实施例示出的一种用户转头控制手表的示意图;
图15为本申请实施例示出的一种用户抬头控制手表的示意图;
图16为本申请实施例示出的一种用户头部与手部联动控制手表的示意图;
图17为本申请实施例示出的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请的描述中,除非另有说明,“/”表示前后关联的对象是一种“或”的关系,例如,A/B可以表示A或B;本申请中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,其中A,B可以是单数或者复数。并且,在本申请的描述中,除非另有说明,“多个”是指两个或多于两个。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。另外,为了便于清楚描述本申请实施例的技术方案,在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。同时,在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念,便于理解。
此外,本申请实施例描述的业务场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
目前,智能头戴设备(例如无线耳机、智能眼镜等)开始普及,很多用户可能每天都佩戴智能头戴设备,并且佩戴的时间也比较长。这些智能头戴设备小巧方便,用户佩戴智能头戴设备可以查看或者听取通知消息、提醒消息等,也可以收听音乐、听书等,还可以控制一些智能语音助手等。
通常,用户与这些智能头戴设备进行交互的方式,大多是要抬手到头部的位置,然后去点击或按压智能头戴设备上相应的按键或者相应的位置等。然而,智能头戴设备上只有很小的触碰传感器或者按压传感器,这样用户能交互面积就变得很小,很容易出现用户触摸和点击的位置不准确而导致交互效果差的问题,并且,用户一直抬手到头部进行交互也会很累,从而影响用户的交互体验。
并且智能头戴设备本身就小,导致只能设置很少的触摸传感器或者按压传感器等,这样智能头戴设备提供的功能也较少,或者针对于同一个触摸传感器或者按压传感器需要采用不同的操作方式实现不同的功能,例如针对于按压传感器,点击一次是暂停播放歌曲,而点击三次是切换下一首歌曲等。这种方式操作的难度又比较大,用户很容易混淆点击操作的次数与对应的功能。
为了使用户能够更加方便和准确地与智能头戴设备进行交互,目前用户也可以通过手机或者智能手表等设备来控制智能头戴设备,这样,用户可以与智能头戴设备进行间接的交互。通过手机或者智能手表与智能头戴设备进行交互时,手机或者智能手表与智能头戴设备可以无线连接。手机或者智能手表上可以显示控制智能头戴设备的功能页面等,用户可以在功能页面上进行操作,从而控制智能头戴设备。例如,用户可以在功能页面上点击音量“+”控件,从而控制智能头戴设备中的歌曲音量增加等。
然而,用户通过手机控制智能头戴设备时,如果手机并没有被用户拿在手里,而是放在口袋里或者包里,那么在控制智能头戴设备时,用户还在去翻找、解锁等,这样同样会使得控制智能头戴设备的过程比较复杂。
用户通过智能手表控制智能头戴设备时,由于智能手表的屏幕较小,很多功能不会在同一个页面上显示,因此用户需要不断在页面上点击不同的控件,找到相应的功能后,才能实现对智能头戴设备的控制,这样也会使得控制智能头戴设备的过程比较复杂。
另外,用户在通过智能手表控制智能头戴设备时,通常是双手都在使用,例如,佩戴智能手表的一只手抬起,另一只手在智能手表上操作等。而当用户的另一只手不方便(例如拎着东西等)时,用户就无法操作智能手表,也无法控制智能头戴设备了。
由上述内容可知,目前用户与智能头戴设备之间的交互方法,或多或少都存在着一些操作复杂或者操作局限的问题,从而影响用户的交互体验。
基于上述内容,本申请实施例提供了一种交互方法,可以实现智能头戴设备(例如无线耳机)与智能手戴设备(例如智能手表)之间的交互。其中,智能头戴设备与智能手戴设备中均包括用于测量姿态数据的传感器等,智能手戴设备可以获取智能头戴设备中传感器测量的用户的头部姿态数据,并结合自己内部传感器测量的用户的手部姿态数据,确定用户的头部和手部之间的联动动作。智能手戴设备再根据联动动作开启对应的工作模式。在第一工作模式下,智能手戴设备不亮屏(或者灭屏),但提供触屏功能,用户可以在此模式下在智能手戴设备的屏幕上通过一些手势动作等进行操作,从而控制智能头戴设备执行相应的功能。在第二工作模式下,智能手戴设备亮屏显示功能页面并提供触屏功能,用户可以在功能页面上对功能控件等进行操作,从而控制智能头戴设备执行相应的功能,或者,用户可以在功能页面上对功能控件等进行操作,从而直接控制智能手戴设备执行相应的功能。
本申请实施例提供的交互方法中,智能手戴设备可以根据用户头部和手部的联动动作开启对应的工作模式,从而为用户提供更多的模式选择,满足用户在交互时不同的操作需求。在第一工作模式下,智能手戴设备无需亮屏显示,用户只需使用手势动作等就可以控制智能头戴设备,而无需在功能页面上多次点击选择功能控件等。这样,既可以使智能手戴设备节能使用,也可以为用户提供简单的操作方式,使整个交互过程更为简单和流畅,提高用户的交互体验。
本申请实施例中的智能头戴设备可以是无线耳机、智能眼镜、VR眼镜、AR眼镜、VR头显设备、AR头显设备等智能电子设备,其中,智能头戴设备中都可以设置用于测量头部姿态数据的传感器,例如惯性测量单元(inertial measurement unit,IMU)、陀螺仪、加速度计、磁力计等。智能手戴设备可以是智能手表、智能手环、智能手带等带有显示器的智能电子设备,其中智能手戴设备中都可以设置用于测量手部姿态数据的传感器,例如IMU、陀螺仪、加速度计、磁力计等。
本申请实施例中的上述交互方法可以应用于交互系统中。交互系统包括智能头戴设备和智能手带设备。其中,智能头戴设备可以佩戴在用户的头部、耳朵、眼睛等部位。智能手戴设备佩戴在用户的手部、手腕、胳膊等部位。并且,智能头戴设备与智能手戴设备之间可以进行无线通信。
以智能头戴设备是无线耳机(以下简称耳机)、智能手戴设备是智能手表(以下简称手表)为例,参见图1,该交互系统可以包括耳机1和手表2,并且耳机1和手表2佩戴于同一个用户的头部和手部,耳机1和手表2无线连接,并进行无线通信。其中,耳机1可以通过内部的IMU测量用户的头部姿态数据,并将头部姿态数据发送给手表2,同时手表2也在通过内部的IMU测量用户的手部姿态数据。手表2结合当前获取到的头部姿态数据和检测到的手部姿态数据,确定用户的头部和手部是否发生联动,以及发生联动时的联动动作。手表2再根据联动动作开启对应的工作模式。
其中,第一联动动作对应于第一工作模式,第二联动动作对应于第二工作模式。第一联动动作包括用户抬手腕、未低头;第二联动动作包括用户抬手腕并低头。
即,在用户抬手腕、未低头时,手表2开启第一工作模式。手表2处于第一工作模式时,手表2的屏幕不点亮,但是提供触屏功能。此时,用户即使不低头,也能用手在屏幕上进行画手势等操作,从而使手表2响应这些操作,控制耳机1执行相应的功能,例如调整音量、切换音乐等。
在用户抬腕并低头时,手表2开启第二工作模式。手表2处于第二工作模式时,手表2的屏幕点亮,同时显示功能页面。此时,用户可以低头在手表2上通过点击或者触摸等方式选择功能页面上相应的功能控件,使手表2响应于点击或者触摸功能控件的操作,控制耳机1执行相应的功能,例如调整音量、切换音乐等;或者,用户也可以低头在手表2上通过点击或者触摸等方式选择功能页面上相应的功能控件,使手表2直接响应于点击或者触摸功能控件的操作,执行相应的功能,例如显示消息、显示时间、显示步数、显示运动时间等。
在一些实施例中,参见图2,上述交互系统中还可以包括控制设备,例如手机3等。耳机1、手表2可以分别与手机3进行无线通信,耳机1可以将IMU检测到的用户的头部姿态数据发送给手机3,手表2可以将IMU检测到的用户的手部姿态数据发送给手机3,从而手机3可以根据头部姿态数据和手部姿态数据,确定用户的头部和手部是否发生联动,以及发生联动时的联动动作。手机3可以根据联动动作控制手表2开启对应的工作模式。这种情况下,用户可以针对于手表2进行操作,从而通过手表2控制耳机1;或者,用户也可以针对于手机3进行操作,从而通过手机3控制耳机1;再或者,用户可以针对于手表2进行操作,手表2响应于该操作,将相应的消息发送给手机3,由手机3向耳机1发送控制指令,从而控制耳机1。
或者,手表2也可以直接接收耳机1发送的用户的头部姿态数据,而后手表2结合当前获取到的头部姿态数据和检测到的手部姿态数据,确定用户的头部和手部是否发生联动,以及发生联动时的联动动作。手表2再根据联动动作开启对应的工作模式。这种情况下,用户可以针对于手机3进行操作,从而通过手机3控制耳机;或者,用户可以针对于手表2进行操作,手表2响应于该操作,将相应的消息发送给手机3,由手机3向耳机1发送控制指令,从而控制耳机1。
在一些实施例中,参见图3,上述交互系统中还可以包括控制设备,例如服务器4等。耳机1、手表2可以分别与服务器4进行通信,耳机1可以将IMU检测到的用户的头部姿态数据发送给服务器4,手表2可以将IMU检测到的用户的手部姿态数据发送给服务器4,从而服务器4可以根据头部姿态数据和手部姿态数据,确定用户的头部和手部是否发生联动,以及发生联动时的联动动作。服务器4可以根据联动动作控制手表2开启对应的工作模式。这种情况下,用户可以针对于手表2进行操作,从而通过手表2控制耳机1,或者,用户也可以针对于手表2进行操作,手表2响应于该操作,将相应的消息发送给服务器4,由服务器4向耳机1发送控制指令,从而控制耳机1。
或者,手表2也可以直接接收耳机1发送的用户的头部姿态数据,而后手表2结合当前获取到的头部姿态数据和检测到的手部姿态数据,确定用户的头部和手部是否发生联动,以及发生联动时的联动动作。这种情况下,用户可以针对于手表2进行操作,手表2响应于该操作,将相应的消息发送给服务器4,由服务器4向耳机1发送控制指令,从而控制耳机1。
在上述交互系统中,手表可以在用户的头部和手部发生联动动作的情况下,针对于不同的联动动作开启相应的工作模式。其中,在第一工作模式下,手表不亮屏,但提供触屏功能,用户可以在此模式下在手表的屏幕上通过一些手势动作等进行操作,从而控制耳机执行相应的功能。在第二工作模式下,手表亮屏并显示功能页面,用户可以在功能页面上对功能控件等进行操作,从而控制耳机执行相应的功能,或者直接控制手表执行相应的功能。
手表根据不同的联动动作开启对应的工作模式,从而为用户提供更多的模式选择,满足用户在交互时不同的操作需求。并且,在第一工作模式下,手表无需亮屏显示,用户只需使用手势动作等就可以控制耳机,而无需在功能页面上多次点击选择功能控件等。这样,既可以使手表节能使用,也可以为用户提供简单的操作方式,使整个交互过程更为简单和流畅,提高用户的交互体验。
仍以智能头戴设备是无线耳机(以下简称耳机)、智能手戴设备是智能手表(以下简称手表)为例,参见图4,针对于图1所示的交互系统,该交互系统还可以包括耳机传感器模块11、耳机特征提取模块12、头部姿态识别模块13、手表传感器模块21、手表特征提取模块22、手部姿态识别模块23和联动性识别模块24。
在一些实施例中,耳机传感器模块11、耳机特征提取模块12可以位于耳机内,手表传感器模块21、手表特征提取模块22、头部姿态识别模块13、手部姿态识别模块23和联动性识别模块24可以位于手表内。
耳机传感器模块11可以包括IMU、陀螺仪、加速度计、磁力计和其他一些传感器(例如温度传感器、距离传感器、压力传感器)等,耳机传感器模块11可以检测到用户头部动作时的动作数据、距离数据等。耳机特征提取模块12可以从耳机传感器模块11检测到的数据中提取出头部的动作数据,例如方向数据、加速度数据等姿态数据。耳机可以将姿态数据发送给手表。
在手表中,头部姿态识别模块13可以根据耳机特征提取模块12提取到的姿态数据识别出用户的头部姿态,即头部动作。
并且,手表传感器模块21可以包括IMU、陀螺仪、加速度计、磁力计和其他一些传感器(例如温度传感器、距离传感器、压力传感器)等,耳机传感器模块21可以检测到用户手部动作时的动作数据、距离数据等。手表特征提取模块22可以从手表传感器模块21检测到的数据中提取出手部的动作数据,例如方向数据、加速度数据等姿态数据。手部姿态识别模块23可以根据手表特征提取模块22提取到的姿态数据识别出用户的手部姿态,即手部动作。最后,联动性识别模块24根据用户的头部动作和手部动作确定用户的头部和手部是否发生联动,以及发生联动时的联动动作。从而使手表根据联动动作开启对应的工作模式。
在另一些实施例中,上述头部姿态识别模块13可以位于耳机中,从而在耳机中确定出用户的头部姿态,即头部动作,并将确定出的头部姿态的结果发送给手表,由手表中的联动性识别模块24根据用户的头部动作和手部动作确定用户的头部和手部是否发生联动,以及发生联动时的联动动作。
在另一些实施例中,上述耳机特征提取模块12、头部姿态识别模块13、手表特征提取模块22、手部姿态识别模块23和联动性识别模块24也可以集成在一个功能模块中,并且该功能模块可以位于手表中,也可以位于手机中,还可以位于服务器中。
关于上述系统中的模块结构,本申请实施例中不做具体限定。
在上述图4所示的交互系统中,手表和耳机可以依赖于各自的传感器模块等检测到手部姿态数据和头部姿态数据,而后手部姿态识别模块和头部姿态识别模块分别基于手部姿态数据和头部姿态数据识别出用户的手部动作和头部动作,最后由联动性识别模块根据用户的头部动作和手部动作确定用户的头部和手部是否发生联动,以及发生联动时的联动动作。从而使手表根据联动动作开启对应的工作模式。
其中,在第一工作模式下,手表不亮屏,但提供触屏功能,用户可以在此模式下在手表的屏幕上通过一些手势动作等进行操作,从而控制耳机执行相应的功能。在第二工作模式下,手表亮屏并显示功能页面,用户可以在功能页面上对功能控件等进行操作,从而控制耳机执行相应的功能,或者,用户可以在功能页面上对功能控件等进行操作,从而直接控制手表执行相应的功能。
手表根据不同的联动动作开启对应的工作模式,从而为用户提供更多的模式选择,满足用户在交互时不同的操作需求。并且,在第一工作模式下,手表无需亮屏显示,用户只需使用手势动作等就可以控制耳机,而无需在功能页面上多次点击选择功能控件等。这样,既可以使手表节能使用,也可以为用户提供简单的操作方式,使整个交互过程更为简单和流畅,提高用户的交互体验。
以下基于上述图1所示的交互系统,并以智能头戴设备是耳机,以智能手戴设备是手表为例,对本申请实施例中的交互方法进行说明。
参见图5,本申请实施例中的交互方法可以包括如下步骤S501-S504。
S501、手表确定用户执行第一联动动作时,开启第一工作模式。
第一联动动作表示用户佩戴耳机和手表后,想要与手表进行交互时而产生的动作,并且第一联动动作还表示用户的头部和手部产生的联动动作。
用户想要与手表进行交互,通常是将手腕抬起,并观看手表,而想要观看手表,就要低头。示例性的,如图6所示,用户抬腕看表时,通常头部和手部时同时发生动作,头部低下以及手部抬起;或者,手部的动作和头部的动作之间有一定的时间差,比如手部抬起几秒钟后头部再低下等。无论哪种方式,都可以看作是用户操作手表时,头部和手部的联动动作。
或者,用户想要与手表进行交互时,也可以只将手抬起,而不低头观看手表。示例性的,如图7所示,用户可以只将手部抬起,而不低头,这种情况下,也可以看作是用户与手表进行交互时,头部和手部的联动动作。
本申请实施例中,第一联动动作表示包括上述图7所示的联动动作,该动作可以包括用户抬手腕、未低头。而如图6所示的联动动作可以称为第二联动动作,该动作可以包括用户抬手腕并低头。
用户抬手腕的目的通常是为了使佩戴的手表距离用户的头部更近,从而方便用户观看和操作;或者为了使佩戴的手表抬高,从而方便用户操作等。在一些实施例中,如果用户抬手臂,可能也会将手表抬高,那么这种情况下,第一联动动作也可以包括用户抬手臂、未低头;第二联动动作也可以包括用户抬手臂并低头。
用户佩戴的耳机中可以包括测量用户头部姿态数据的IMU、陀螺仪、加速度计、磁力计等。其中,IMU中包括陀螺仪、加速度计、磁力计。以耳机中包括IMU为例,IMU可以实时检测用户头部的姿态数据,并将该姿态数据发送给手表。
同样的,用户佩戴的手表中也可以包括测量用户手部姿态数据的IMU、陀螺仪、加速度计、磁力计等。以手表中包括IMU为例,IMU可以实时检测用户手部的姿态数据。
手表在根据手部姿态数据确定出用户手部抬起后,可以结合接收到的头部姿态数据,确定用户的头部和手部是否发生联动,以及发生联动动作的类型。或者,耳机可以根据IMU检测到的用户头部的姿态数据确定出用户的头部动作,并将确定出的头部动作发送给手表;手表确定用户手部抬起后,再结合头部动作,确定用户的头部和手部是否发生联动,以及发生联动动作的类型。
示例性的,手表根据手部姿态数据确定出用户手部抬起,又根据头部姿态数据确定用户手部抬起的同时用户未低头,或者用户手部抬起后的预设时长内用户一直未低头,则手表确定用户的头部和手部发生了联动,并且是第一联动动作。
而手表根据手部姿态数据确定出用户手部抬起,又根据头部姿态数据确定用户手部抬起的同时用户低头,或者用户手部抬起后的预设时长内用户低头,再或者用户低头后的预设时长内用户抬腕,则手表确定用户的头部和手部发生了联动,并且是第二联动动作。
其中,手表在确定用户是否抬手腕时,可以根据第一预设角度来确定,即当用户的手腕朝向用户的面部抬起时,手臂与水平线之间的夹角大于或者等于第一预设角度。在一些实施例中,第一预设角度可以是-15°到45°之间的任意角度,还可以为-15°和45°,本申请实施例中对此不做具体限制。
手表在确定用户是否低头时,可以根据第二预设角度来确定,即当用户的头朝向用户的手部低下时,头部与竖直线之间的夹角大于或者等于第二预设角度,其中竖直线与水平线相互垂直。在一些实施例中,第二预设角度可以是0°到60°之间的任意角度,还可以为0°和60°,本申请实施例中对此不做具体限制。
在一些实施例中,预设时长可以是1秒、2秒、3秒或者其他的数值,本申请实施例中对此不做具体限制。
上述第一联动动作表示用户抬腕但不低头的动作,或者表示预设时长内用户抬腕但不低头的动作,用于控制手表处于第一工作模式。第一工作模式表示手表处于灭屏状态的模式,用于提供手表屏幕给用户,从而使用户在手表屏幕上通过手势动作等控制耳机。
参见图8,第一联动动作中,用户只将手腕抬起,而并没有低头,因此可以看作是用户并不需要观看手表上显示的内容。此时手表并不需要亮屏,从而手表可以省电。另外,手表不亮屏,就意味着手表也不会显示屏幕上的内容或者一些消息等,从而也可以避免其他人查看到用户的私密信息或者私密内容等,保证用户的隐私安全。
手表在提供触屏功能时,用户可以在手表的屏幕上进行画手势等操作,并且不同的手势可以使手表对耳机进行不同的控制。或者,在一些实施例中,有些手表上也可以设置物理按键或者可以转动的表盘、滚轮等,用户也可以通过操作手表上的物理按键、表盘、滚轮等,从而使手表对耳机进行控制。
S502、手表处于第一工作模式时,手表不亮屏,提供触屏功能,以及响应于用户的第一操作,控制耳机执行相应的功能。
其中,用户的第一操作可以是用户在手表的屏幕上画手势的操作,也可以是用户对于手表上的物理按键、表盘、滚轮等外部结构进行按动、转动等操作。
在一些实施例中,用户在手表的屏幕上画手势的方式,可以是用户向目标方向滑动手指的方式,也可以是用户点击手表屏幕的方式,还可以是用户在屏幕上画出特定的图形的方式。
其中,在用户向目标方向滑动手指的方式中,手指向不同的方向滑动,可以通过手表控制耳机执行不同的功能。
示例性的,参见图9,手指在手表屏幕上左右滑动,可以通过手表控制耳机切换歌曲等音频资源,例如,向右滑动,切换下一曲;向左滑动,切换上一曲等。再示例性的,如果耳机当前正在播放语音消息或者播放听书内容等,手指在手表屏幕上左右滑动,也可以通过手表控制耳机切换语音消息或者切换听书内容。再示例性的,如果用户佩戴的智能头戴设备是头显设备等,那么手指在手表屏幕上左右滑动,也可以通过手表控制耳机切换头显设备当前正在显示的内容。
示例性的,参见图10,手指在手表屏幕上上下滑动,可以通过手表控制耳机调节音量,例如,向上滑动,提高音量;向下滑动,降低音量等。
在用户点击手表屏幕的方式中,手指可以在屏幕上连续点击不同的次数,从而通过手表控制耳机执行不同的功能。例如,双击、三击等。
示例性的,参见图11,用户的手指在手表屏幕上双击时,可以控制手表开启录音器,并通过耳机进行录音。
在用户在屏幕上画出特定的图形的方式中,手指画出不同的图形,可以通过手表控制耳机执行不同的功能。
另外,在一些实施例中,用户在手表屏幕上点击不同的次数,也可以控制手表本身执行不同的功能。或者,用户在手表屏幕上画出不同的图形,也可以控制手表本身执行不同的功能。
在一些实施例中,用户对于手表上的物理按键、表盘、滚轮等外部结构进行按动、转动等操作时,物理按键、表盘、滚轮等可能都对应着不同的功能,所以对这些外部结构进行操作时,也可以通过手表控制耳机执行相应的功能。例如,用户转动手表的滚轮,从而手表可以控制耳机调节音量;或者,用户转动表盘,从而手表可以控制耳机播放的歌曲等音频资源快进或者快退。
上述实施例中,用户可以通过第一联动动作来控制手表,并且手表根据第一联动动作开启第一工作模式。手表在开启第一工作模式时,用户可以在手表屏幕上通过手势动作等对耳机进行控制,使耳机执行相应的功能。或者,用户也可以通过手表上的外部结构等对耳机进行控制,使耳机执行相应的功能。
S503、手表确定用户执行第二联动动作时,开启第二工作模式。
第二联动动作表示用户佩戴耳机和手表后,想要与手表进行交互时而产生的动作,并且第二联动动作还表示用户的头部和手部产生的联动动作。
本申请实施例中,第二联动动作表示用户抬腕并且低头的动作,或者表示预设时长内用户抬腕并且低头的动作,用于控制手表处于第二工作模式。第二工作模式表示手表处于亮屏状态的模式,用于提供功能页面和功能控件给用户,从而使用户在功能页面上选择目标功能控件来控制手表或者通过控制手表来控制耳机。
参见图12,第二联动动作中,用户既将手腕抬起又低头,因此可以看作是用户想要观看手表上显示的内容。此时手表需要亮屏并显示功能页面。手表在显示功能页面上,用户可以在功能页面通过点击、触摸等方式选择相应的功能控件或者选择相应的功能,从而使手表对耳机进行控制,或者直接控制手表。
或者,在一些实施例中,有些手表也可以设置物理按键或者可以转动的表盘、滚轮等,用户也可以通过操作手表上的物理按键、表盘、滚轮等,从而使手表对耳机进行控制,或者直接控制手表。
通常,用户佩戴手表,但不使用手表时,用户的手臂自然下垂,手表处于既不亮屏也不提供触屏功能的第三工作模式。此时,不提供触屏功能,可以减少用户误触屏幕而控制手表的情况。
手表通过IMU等检测到用户当前的手部的姿态,在用户的手腕未抬起时,手表仍会处于上述第三工作模式,而不会切换为其他的工作模式或者开启其他的工作模式。而手表可以切换为其他的工作模式或者开启其他的工作模式的前提是,用户抬起手腕。
S504、手表处于第二工作模式时,手表亮屏,显示功能页面,以及响应于用户的第二操作,执行相应的功能;或者响应于用户的第二操作,控制耳机执行相应的功能。
其中,用户的第二操作可以是用户在手表显示的功能页面上选择相应功能控件或者功能的操作,也可以是用户对于手表上的物理按键、表盘、滚轮等外部结构进行按动、转动等操作。
在一些实施例中,用户也可以在手表的显示页面上通过向目标方向滑动手指,而控制手表显示不同的功能页面,例如,向左右滑动,控制手表屏幕向左右滑动,从而显示其他功能页面;或者向上下滑动,控制手表显示设置页面或者菜单页面等。在显示功能页面后,用户还可以在功能页面上通过点击或者触摸等操作选择功能页面上的功能控件或者功能等,从而控制手表执行相应的功能,例如,显示时间、显示消息、显示运动时长、显示步数、显示心率等。
示例性的,参见图13,手表在根据用户的第二联动动作亮屏后,可以首先显示时间首页,而后,用户在该页面上向右滑动手指,手表的页面则向右侧滑动,显示带有“步行”、“跑步”、“骑行”等功能控件的页面。而后,用户可以在该页面上点击某个“步行”控件,手表可以进一步显示“步行”控件对应的页面,并且该页面上可以显示用户当前的运动步数。
在一些实施例中,用户在手表的功能页面上可以通过选择不同的功能选项来控制耳机执行相应的功能。例如,用户在手表显示的用于控制耳机的功能页面上可以选择调整耳机的音量、音频的播放进度等。示例性的,用户可以在控制耳机的功能页面上,通过点击音量“+”、“-”控件等调整耳机的音量,或者通过点击“快进”、“快退”控件等调整耳机的播放进度,或者通过点击“上翻”、“下翻”等控件,切换耳机播放的音频资源等。
在一些实施例中,在手表亮屏显示功能页面时,用户也同样可以对手表上的物理按键、表盘、滚轮等外部结构进行按动、转动等操作,具体的操作方式可以参见前述实施例的内容。
上述实施例中,用户可以通过第二联动动作来控制手表,并且手表根据第二联动动作开启第二工作模式。手表在开启第二工作模式时,用户可以通过在手表显示的功能页面上选择目标功能控件的方式对手表进行控制,或者通过手表对耳机进行控制,使耳机执行相应的功能。另外,用户也可以通过手表上的外部结构等对手表进行控件,或者通过手表对耳机进行控制,使耳机执行相应的功能。
本申请实施例中上述交互方法的执行顺序只是示例性的说明,并不会对交互方法在实际应用中的执行顺序产生限制。
在用户不再需要控制手表或者不需要通过手表控制耳机时,用户可以将抬起的手腕放下,此时手表根据IMU等检测到的手部姿态数据,确定出用户的手腕已经放下,那么手表可以将关闭当前的第一工作或者第二工作模式,或者将当前的第一工作模式、第二工作模式等切换为第三工作模式。
在一些实施例中,手表控制耳机执行相应的功能时,如果该功能与耳机播放的音频资源有关,由于耳机的播放的音频资源可能是由手机或者服务器提供的,因此当用户通过手表控制耳机切换音频资源时,手表可以先将切换的请求发送给手机或者服务器,从而由手机或者服务器向耳机发送控制指令。
本申请实施例的上述交互方法中,手表可以根据用户头部和手部的联动动作开启对应的工作模式,从而为用户提供更多的模式选择,满足用户在交互时不同的操作需求。在第一工作模式下,手表无需亮屏显示,用户只需使用手势动作等就可以控制手表,而无需在功能页面上多次点击选择功能控件等。这样,既可以使手表节能使用,也可以为用户提供简单的操作方式,使整个交互过程更为简单和流畅,提高用户的交互体验。
在一些实施例中,手表处于第二工作模式时,如果用户未佩戴手表的一只手被占用(例如拎东西、拿东西等),用户也可以利用头部动作来进行上述第二操作,或者还可以利用头部和佩戴手表的一只手相互配合进行上述第二操作。
用户利用头部动作来进行上述第二操作时,头部动作可以包括左右转动、抬头、低头、摇头、点头等。并且,用户的头部动作也可以根据耳机等智能头戴设备中的IMU等检测到的头部数据进行确定。本申请实施例中不做具体限制。
示例性的,参见图14,用户在手表处于第二工作模式时,可以通过转动头部来控制手表显示页面的滑动,当用户向右侧转头时,手表的页面可以向右侧滑动,进而显示带有“步行”、“跑步”、“骑行”等功能控件的功能页面。而后,用户可以在该页面上再次转动头部,从而将焦点定位到某个功能控件,而后,用户可以点头从而选择该功能控件,也控制手表进一步显示该功能控件对应的目标功能页面。之后,用户在目标功能页面上可以继续通过转头、点头等方式选择不同的功能选项或者功能控件等来控制耳机执行相应的功能。
示例性的,参见图15,用户在手表处于第二工作模式时,可以通过抬头或者低头的方式来控制耳机调整音量等。例如,当用户抬头时,控制耳机播放的音频资源音量提高;当用户低头时,控制耳机播放的音频资源音量降低。
另外,在一些实施例中,用户利用头部动作来进行上述第二操作,也可以控制手表本身执行不同的功能。例如,摇头时,手表退出当前的应用、忽略通知等。
用户利用头部和佩戴手表的一只手相互配合进行上述第二操作时,配合的动作可以包括点头和握拳、点头和捏手指、转头和握拳、转头和捏手指等。本申请实施例中不做具体限制。
示例性的,用户可以通过左右转头将焦点定位到目标应用上或者目标控件上,用户佩戴手表的一只手握拳时,可以控制手表打开目标应用或者目标控件。而后,用户还可以通过这种配合的方式控制手表。例如,参见图16,用户右手佩戴手表,用户通过转头的头部动作控制手表显示的功能页面变为“心率”控件所在的页面,并且此时焦点定位到“心率”控件上。之后,用户再通过右手握拳的方式选择“心率”控件,从而控制手表显示“心率”控件对应的“心率”页面,在该页面上可以显示用户当前的心率数据。
再示例性的,用户还可以通过上述头部和手部配合的方式控制手表,从而进一步控制耳机。例如,用户右手佩戴手表,用户通过转头的头部动作将焦点定位到音量“+”的控件上。之后,用户在通过右手握拳的方式选择音量“+”控件,从而控制耳机提高音量,并且右手每握拳一次,可以对应增加“一格”的音量;或者,通过头部动作将焦点定位到音量“-”的控件上,再通过握拳或捏手指等方式选择音量“-”控件,从而控制耳机降低音量。
再示例性的,用户也可以通过头部动作将焦点定位到“快进”的控件上,再通过握拳或捏手指等方式选择“快进”控件,从而控制耳机加快播放音频资源的进度;或者,通过头部动作将焦点定位到“下一曲”的控件上,再通过握拳或捏手指等方式选择“下一曲”控件,从而控制耳机切换下一个音频资源进行播放。
在一些实施例中,手表中的IMU等可以检测手部的姿态数据或者动作数据等,从而根据姿态数据或者动作数据等确定佩戴手表的这只手的手部动作,例如握拳或者捏手指等。或者,手表中的摄像头等可以检测手部的姿态图像等,从而根据手部的姿态图像确定佩戴手表的这只手的手部动作,例如握拳或者捏手指等。或者,也可以根据手表中的IMU检测到的姿态数据结合摄像头拍摄的姿态图像,确定佩戴手表的这只手的手部动作,例如握拳或者捏手指等。再或者,在其他一些实施例中,手表还可能设置有其他的姿态检测单元或者姿态检测模块等,也可以检测到用户佩戴手表的这只手的姿态动作等,本申请实施例对此不作具体限制。
上述实施例中,当手表处于第二工作模式时,用户可以通过头部、头部和手部联动的方式继续对手表进行第二操作,其中,头部与佩戴手表的一只手联动,可以解放用户的另一只手,在用户的另一只手被占用的情况下,也可以轻松地控制手表或者耳机,为用户提供更高的交互体验。
本申请实施例中,无论用户通过哪种操作来触发或者控制手表等智能手戴设备,智能手戴设备所能控制耳机等智能头戴设备的功能都是相同的,本申请实施例中不再一一赘述。
在一些实施例中,例如手表等智能手戴设备上也会设有前置摄像头,从而当用户抬腕后,智能手戴设备可以通过前置摄像头拍摄图像,再根据拍摄的图像内容准确地确定用户是否低头。其中,用户低头时,前置摄像头拍摄的图像中通常可以包括用户的面部图像或者头部图像等,根据面部图像或者头部图像确定用户是否低头。当确定用户低头后,智能手戴设备再开启第二工作模式;而如果确定用户未低头,则智能手戴设备开启第一工作模式。
在另外一些实施例中,智能头戴设备也会设有摄像头(例如智能眼镜等),从而在用户低头后,可以通过智能头戴设备的摄像头拍摄用户手部、手腕、手臂等的姿态图像,智能手戴设备再根据拍摄的手部图像等内容准确地确定用户是否抬腕。并且,智能手戴设备也可以根据智能头戴设备检测到的用户头部的姿态数据确定出用户是否低头。示例性的,用户低头时,智能头戴设备的摄像头可以拍摄到用户低头后的图像,如果这个图像中包含用户佩戴智能手戴设备的手腕或者手臂,那么可以确定用户即低头又抬腕,此时智能手戴设备可以开启第二工作模式;而如果这个图像中不包含用户佩戴智能手戴设备的手腕或者手臂,那么可以确定用户低头但是未抬腕,此时智能手戴设备可以保持当前的工作模式不变。
在一些实施例中,耳机等智能头戴设备和手表等智能手戴设备中,都可以设置麦克风、扬声器等结构。智能头戴设备和智能手戴设备可以通过扬声器向外界发出第一超声信号,当第一超声信号遇到物体被反射回来后,通过麦克风接收反射回来的第二超声信号,再通过发射和接收的第一超声信号数据和第二超声信号数据,确定手腕与头部的距离,以及手腕抬起的角度,头部低下的角度等。这样,也可以获得用户的头部和手部的动作或者姿态。其中,根据超声信号确定头部和手部的姿态时,可以利用达到角度(angle-of-arrival,AoA),达到时间差(time difference of arrival,TdoA)等算法。
在另外一些实施例中,智能头戴设备可以通过扬声器向外界发出第一超声信号,由智能手戴设备的麦克风接收第一超声信号,并根据第一超声信号确定手腕与头部的距离,以及手腕抬起的角度,头部低下的角度等。或者,智能手戴设备可以通过扬声器向外界发出第一超声信号,由智能头戴设备的麦克风接收第一超声信号,并根据第一超声信号确定手腕与头部的距离,以及手腕抬起的角度,头部低下的角度等。这样,也可以获得用户的头部和手部的动作或者姿态。
在一些实施例中,耳机等智能头戴设备和手表等智能手戴设备中,也都可以设置蓝牙信号收发模块、超带宽(ultra wideband,UWB)模块、雷达信号收发模块等。智能头戴设备和智能手戴设备还可以通过这些模块向外界发出第一无线信号(包括雷达信号),当第一无线信号遇到物体被反射回来后,通过这些模块接收反射回来的第二无线信号,再通过发射和接收的第一无线信号数据和第二无线信号数据,确定手腕与头部的距离,以及手腕抬起的位置,头部低下的位置等。这样,也可以获得用户的头部和手部的动作或者姿态。
在一些实施例中,由于一些智能手戴设备上设置有前置摄像头,因此,智能手戴设备可以通过前置摄像头采集用户的眼部图像,根据眼部图像确定用户的眼动方向、用户是否在查看智能手戴设备等,如果用户的眼睛盯着智能手戴设备,那么可以认为用户想要操作智能手戴设备,此时智能手戴设备可以开启第二工作模式。同样的,用户也可以通过眼动的方式控制智能手戴设备,从而使智能手戴设备执行相应的操作,或者使智能手戴设备控制智能头戴设备执行相应的操作。可见,本申请实施例中的方法还可以提供除了头动、手动以外的其他方式来控制智能手戴设备和智能头戴设备,从而为用户提供了更多的控制方式,提高了用户的交互体验。
在另外一些实施例中,一些智能头戴设备上还可以设置体积较小的摄像头,或者用于获取眼电、眼电图的传感器和装置等。智能头戴设备可以通过摄像头、传感器等获取到用户的眼动数据、眼动方向等,并将眼动数据、眼动方向等发送给智能手戴设备。智能手戴设备根据眼动数据、眼动方向等确定是否开启第二工作模式。以及,在开启第二工作模式后,继续根据眼动数据、眼动方向等,执行相应的操作,或者控制智能头戴设备执行相应的操作。
前述实施例中,用户可以通过智能手戴设备控制智能头戴设备,并且在不低头的情况下,也可以针对智能手戴设备进行盲操作,从而控制智能头戴设备,这样,既可以使智能手戴设备节能使用,也可以为用户提供简单的操作方式,使整个交互过程更为简单和流畅,提高用户的交互体验。
基于此,在一些实施例中,用户也可以通过智能手戴设备控制其他的智能设备,例如智能电视、智能冰箱、智能空调等。其中,智能电视、智能冰箱、智能空调等智能设备分别与智能手戴设备通信连接,并且这些智能设备上可以设置摄像头。智能设备通过摄像头拍摄用户的图像,再将图像发送给智能手戴设备,由智能手戴设备根据图像确定用户是否在看智能设备或者面向智能设备,在用户抬腕并且面向智能设备的情况下,智能手戴设备可以开启第一工作模式或者开启第二工作模式,并响应于用户的操作等,对智能设备进行控制。其中,用户的操作可以参考前述实施例中的操作,此处不再赘述。
在另外一些实施例中,智能头戴设备中也可以预置智能设备的方向信息、位置信息等,智能头戴设备通过IMU等检测出用户的朝向,并根据用户的朝向和预置的智能设备的方向信息等,确定用户是否面向智能设备,以及将确定的结果发送给智能手戴设备。在用户抬腕并且面向智能设备的情况下,智能手戴设备可以开启第一工作模式或者开启第二工作模式,并响应于用户的操作等,对智能设备进行控制。其中,用户的操作可以参考前述实施例中的操作,此处不再赘述。
有上述内容可知,用户也可以通过智能手戴设备控制除了智能头戴设备以外的其他的智能设备(例如智能家电设备等),并且在不低头的情况下,也可以针对智能手戴设备进行盲操作,从而控制智能设备。同样可以为用户提供简单的操作方式,提高用户的交互体验。
可以理解的是,为了实现上述功能,电子设备包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本实施例可以根据上述方法示例对传感器进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是,本实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
本申请实施例还提供一种电子设备,如图17所示,该电子设备可以包括一个或者多个处理器1001、存储器1002和通信接口1003。
其中,存储器1002、通信接口1003与处理器1001耦合。例如,存储器1002、通信接口1003与处理器1001可以通过总线1004耦合在一起。
其中,通信接口1003用于与其他设备进行数据传输。存储器1002中存储有计算机程序代码。计算机程序代码包括计算机指令,当计算机指令被处理器1001执行时,使得电子设备执行本申请实施例中的交互方法。
其中,处理器1001可以是处理器或控制器,例如可以是中央处理器(CentralProcessing Unit,CPU),通用处理器,数字信号处理器(Digital Signal Processor,DSP),专用集成电路(Application-Specific Integrated Circuit,ASIC),现场可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等等。
其中,总线1004可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。上述总线1004可以分为地址总线、数据总线、控制总线等。为便于表示,图17中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
本申请实施例还提供一种计算机可读存储介质,该计算机存储介质中存储有计算机程序代码,当上述处理器执行该计算机程序代码时,电子设备执行上述方法实施例中的相关方法步骤。
本申请实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述方法实施例中的相关方法步骤。
其中,本申请提供的电子设备、计算机存储介质或者计算机程序产品均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种交互方法,其特征在于,应用于智能手戴设备,所述智能手戴设备与智能头戴设备通信连接,所述方法包括:
在确定用户的头部和手部发生第一联动动作的情况下,开启第一工作模式;所述第一联动动作包括所述用户抬腕且未低头;在所述第一工作模式下,所述智能手戴设备的屏幕处于灭屏状态;
响应于所述用户针对所述智能手戴设备处于灭屏状态下的屏幕的操作,控制所述智能头戴设备执行相应的功能。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在确定用户的头部和手部发生第二联动动作的情况下,开启第二工作模式;所述第二联动动作包括所述用户抬腕且低头;在所述第二工作模式下,所述智能手戴设备处于亮屏状态并显示功能页面;
响应于所述用户针对所述功能页面的功能控件的操作,执行相应的功能,或者控制所述智能头戴设备执行相应的功能。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
获取通过惯性测量单元检测到的所述用户的手部姿态数据,以及获取所述智能头戴设备通过惯性测量单元检测到的所述用户的头部姿态数据;
根据所述手部姿态数据和所述头部姿态数据,获取所述用户的手部姿态和头部姿态,以及根据所述手部姿态和所述头部姿态,确定所述用户的头部和手部发生联动动作的类型;所述类型包括所述第一联动动作和所述第二联动动作。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
获取通过惯性测量单元检测到的所述用户的手部姿态数据,以及获取通过前置摄像头采集的所述用户的头部图像数据;
根据所述手部姿态数据和所述头部图像数据,获取所述用户的手部姿态和头部姿态,以及根据所述手部姿态和所述头部姿态,确定所述用户的头部和手部发生联动动作的类型;所述类型包括所述第一联动动作和所述第二联动动作。
5.根据权利要求2所述的方法,其特征在于,所述方法还包括:
获取所述智能头戴设备通过惯性测量单元检测到的所述用户的头部姿态数据,以及获取所述智能头戴设备通过摄像头采集的所述用户的手部图像数据;
根据所述头部姿态数据和所述手部图像数据,获取所述用户的手部姿态和头部姿态,以及根据所述手部姿态和所述头部姿态,确定所述用户的头部和手部发生联动动作的类型;所述类型包括所述第一联动动作和所述第二联动动作。
6.根据权利要求2所述的方法,其特征在于,所述方法还包括:
获取第一超声信号数据,以及接收所述智能头戴设备发送的第二超声信号数据;所述第一超声信号数据用于表示所述用户的手部姿态的数据;所述第二超声信号数据用于表示所述用户的头部姿态的数据;
根据所述第一超声信号数据和所述第二超声信号数据,获取所述用户的手部姿态和头部姿态,以及根据所述手部姿态和所述头部姿态,确定所述用户的头部和手部发生联动动作的类型;所述类型包括所述第一联动动作和所述第二联动动作。
7.根据权利要求2所述的方法,其特征在于,所述方法还包括:
获取第一无线信号数据,以及接收所述智能头戴设备发送的第二无线信号数据;所述第一无线信号数据用于表示所述用户的手部姿态的数据;所述第二无线信号数据用于表示所述用户的头部姿态的数据;
根据所述第一无线信号数据和所述第二无线信号数据,获取所述用户的手部姿态和头部姿态,以及根据所述手部姿态和所述头部姿态,确定所述用户的头部和手部发生联动动作的类型;所述类型包括所述第一联动动作和所述第二联动动作。
8.根据权利要求3-7任一项所述的方法,其特征在于,所述根据所述手部姿态和所述头部姿态,确定所述用户的头部和手部发生联动动作的类型,包括:
若在所述用户抬腕的同时,所述用户未低头,则确定所述用户的头部和手部发生第一联动动作;
或者,若在所述用户抬腕之后的预设时长内,所述用户未低头,则确定所述用户的头部和手部发生第一联动动作。
9.根据权利要求3-7任一项所述的方法,其特征在于,所述根据所述手部姿态和所述头部姿态,确定所述用户的头部和手部发生联动动作的类型,包括:
若在所述用户抬腕的同时,所述用户低头,则确定所述用户的头部和手部发生第二联动动作;
或者,若在所述用户抬腕之后的预设时长内,所述用户低头,则确定所述用户的头部和手部发生第二联动动作;
或者,若在所述用户低头之后的预设时长内,所述用户抬腕,则确定所述用户的头部和手部发生第二联动动作。
10.根据权利要求1-9任一项所述的方法,其特征在于,所述响应于所述用户针对所述智能手戴设备处于灭屏状态下的屏幕的操作,控制所述智能头戴设备执行相应的功能,包括:
响应于所述用户在所述屏幕上向目标方向的滑动操作,控制所述智能头戴设备切换音频内容;
或者,响应于所述用户在所述屏幕上向目标方向的滑动操作,控制所述智能头戴设备切换显示内容;
或者,响应于所述用户在所述屏幕上向目标方向的滑动操作,控制所述智能头戴设备调整音量;
或者,响应于所述用户在所述屏幕上的双击操作,控制所述智能头戴设备拾音。
11.根据权利要求2所述的方法,其特征在于,所述响应于所述用户针对所述功能页面的功能控件的操作,控制所述智能头戴设备执行相应的功能,包括:
响应于所述用户在所述功能页面上选择功能控件的操作,控制所述智能头戴设备切换音频内容;
或者,响应于所述用户在所述功能页面上选择功能控件的操作,控制所述智能头戴设备切换显示内容;
或者,响应于所述用户在所述功能页面上选择功能控件的操作,控制所述智能头戴设备调整音量。
12.根据权利要求11所述的方法,其特征在于,所述方法还包括:
响应于所述用户的头部动作,控制所述智能头戴设备执行相应的功能;
或者,响应于所述用户的头部动作和所述用户佩戴所述智能手戴设备的手的手部动作,控制所述智能头戴设备执行相应的功能。
13.根据权利要求12所述的方法,其特征在于,所述响应于所述用户的头部动作和所述用户佩戴所述智能手戴设备的手的手部动作,控制所述智能头戴设备执行相应的功能,包括:
响应于所述用户的头部动作,将焦点定位到功能页面上的功能控件上;
响应于所述用户佩戴所述智能手戴设备的手的手部动作,控制所述智能头戴设备切换音频内容;
或者,响应于所述用户佩戴所述智能手戴设备的手的手部动作,控制所述智能头戴设备切换显示内容;
或者,响应于所述用户佩戴所述智能手戴设备的手的手部动作,控制所述智能头戴设备调整音量。
14.一种电子设备,其特征在于,所述电子设备包括存储器、一个或多个处理器;所述存储器与所述处理器耦合;其中,所述存储器中存储有计算机程序代码,所述计算机程序代码包括计算机指令,当所述计算机指令被所述处理器执行时,使得所述电子设备执行如权利要求1-13任一项所述的交互方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得计算机可以执行如权利要求1-13任一项所述的交互方法。
CN202210968220.8A 2022-08-12 2022-08-12 交互方法及电子设备 Pending CN117631813A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210968220.8A CN117631813A (zh) 2022-08-12 2022-08-12 交互方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210968220.8A CN117631813A (zh) 2022-08-12 2022-08-12 交互方法及电子设备

Publications (1)

Publication Number Publication Date
CN117631813A true CN117631813A (zh) 2024-03-01

Family

ID=90015142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210968220.8A Pending CN117631813A (zh) 2022-08-12 2022-08-12 交互方法及电子设备

Country Status (1)

Country Link
CN (1) CN117631813A (zh)

Similar Documents

Publication Publication Date Title
US11153431B2 (en) Mobile terminal and method of operating the same
CN110045819B (zh) 一种手势处理方法及设备
CN112911182B (zh) 游戏互动方法、装置、终端及存储介质
CN110321047B (zh) 一种显示控制方法及设备
KR101685363B1 (ko) 휴대 단말기 및 그 동작 방법
CN107193455B (zh) 一种信息处理方法及移动终端
EP3130980A1 (en) Portable apparatus and method for displaying a screen
WO2020030065A1 (zh) 应用程序的显示适配方法、装置、设备及存储介质
WO2016014601A2 (en) Remote user interface
KR20090101733A (ko) 휴대 단말기 및 그의 얼굴 인식을 이용한 표시정보의 표시방법
CN110300274B (zh) 视频文件的录制方法、装置及存储介质
CN110109539A (zh) 一种手势控制方法、穿戴式设备及计算机可读存储介质
KR20120000418A (ko) 휴대 단말기 및 그 동작 방법
CN107087137B (zh) 呈现视频的方法和装置及终端设备
WO2021115103A1 (zh) 显示控制方法和终端设备
CN110221761A (zh) 显示方法及终端设备
CN109831817B (zh) 终端控制方法、装置、终端及存储介质
US20220057978A1 (en) Display Method And Apparatus, Intelligent Wearable Device, And Storage Medium
CN114637452A (zh) 一种页面控制方法及可穿戴设备
US20240019938A1 (en) Systems for detecting gestures performed within activation-threshold distances of artificial-reality objects to cause operations at physical electronic devices, and methods of use thereof
US20240028129A1 (en) Systems for detecting in-air and surface gestures available for use in an artificial-reality environment using sensors at a wrist-wearable device, and methods of use thereof
CN108540668A (zh) 一种程序启动方法及移动终端
CN110152309B (zh) 语音通信方法、装置、电子设备及存储介质
CN110955378A (zh) 一种控制方法及电子设备
CN117631813A (zh) 交互方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination