CN115103261A - 耳机控制方法、设备及计算机可读存储介质 - Google Patents

耳机控制方法、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN115103261A
CN115103261A CN202210742640.4A CN202210742640A CN115103261A CN 115103261 A CN115103261 A CN 115103261A CN 202210742640 A CN202210742640 A CN 202210742640A CN 115103261 A CN115103261 A CN 115103261A
Authority
CN
China
Prior art keywords
earphone
control information
control
gesture
handle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210742640.4A
Other languages
English (en)
Inventor
马冬梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN202210742640.4A priority Critical patent/CN115103261A/zh
Publication of CN115103261A publication Critical patent/CN115103261A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041Mechanical or electronic switches, or control elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种耳机控制方法、设备及计算机可读存储介质,所述方法应用于头戴式设备,所述方法包括:获取耳机控制信息,其中,耳机控制信息包括通过对头戴式设备中摄像装置所获取的图像进行识别得到的手势控制信息,和/或操作手柄装置中的按键所触发的针对耳机设备的控制信息,手柄装置与头戴式设备通信连接;将耳机控制信息发送给与头戴式设备通信连接的耳机设备,以供耳机设备执行与耳机控制信息相应的操作。本发明利用头戴式设备的摄装置像或手柄装置,控制耳机设备执行相应的操作,实现相应的功能,提高了用户操作耳机的方便度和准确度,同时也丰富用户的人机交互体验。

Description

耳机控制方法、设备及计算机可读存储介质
技术领域
本发明涉及耳机技术领域,尤其涉及一种耳机控制方法、设备及计算机可读存储介质。
背景技术
随着无线耳机技术的发展和成熟,无线耳机的功能越来越丰富,使用也越来越广泛,用户对无线耳机的功能需求和体验需求也越来越高。目前,耳机人机交互功能大都是通过在耳机上使用触摸感应区或者物理按键,用户通过触摸或按压按键来进行交互。受限于耳机的形状及体积,一般只能定义简单的单击/双击/长按操作,导致用户操作相对复杂。
发明内容
本发明的主要目的在于提供一种耳机控制方法、设备及计算机可读存储介质,旨在解决目前无线耳机通过设置触摸感应区或物理按键来进行人机交互,导致用户操作复杂的技术问题。
为实现上述目的,本发明提供一种耳机控制方法,所述耳机控制方法应用于头戴式设备,所述耳机控制方法包括以下步骤:
获取耳机控制信息,其中,所述耳机控制信息包括通过对所述头戴式设备中摄像装置所获取的图像进行识别得到的手势控制信息,和/或操作手柄装置中的按键所触发的针对耳机设备的控制信息,所述手柄装置与所述头戴式设备通信连接;
将所述耳机控制信息发送给与所述头戴式设备通信连接的耳机设备,以供所述耳机设备执行与所述耳机控制信息相应的操作。
可选地,所述获取耳机控制信息的步骤包括:
对通过所述摄像装置获取的图像进行识别得到识别结果,其中,所述识别结果用于表征所述图像是否包含预设种类的控制手势;
当所述识别结果为所述图像中包含所述预设种类的控制手势时,生成与所述预设种类的控制手势对应的手势控制信息。
可选地,所述对通过所述摄像装置获取的图像进行识别得到识别结果的步骤包括:
识别通过所述摄像装置获取的图像中的皮肤区域;
对所述图像中的所述皮肤区域和所述皮肤区域外的区域进行二值化处理得到所述图像的二值化结果;
将所述图像的二值化结果输入手势识别模型进行识别得到所述图像的识别结果,其中,所述手势识别模型是预先采用训练样本训练得到的。
可选地,所述获取耳机控制信息的步骤之前,还包括:
当接收到所述耳机设备发送的信息提示时,开启手柄控制耳机模式;
所述获取耳机控制信息的步骤包括:
当在所述手柄控制耳机模式下检测到操作所述手柄装置中的按键所触发的控制信息时,根据所触发的控制信息生成针对所述耳机设备的控制信息。
可选地,当所述信息提示是指示用户在用户终端中进行文本输入的提示时,所述获取耳机控制信息的步骤之前,还包括:
当接收到所述耳机设备发送的所述信息提示时,通过所述头戴式设备的显示屏显示预设的文本输入窗口和所述信息提示对应的提示内容;
所述当在所述手柄控制耳机模式下检测到操作所述手柄装置中的按键所触发的控制信息时,根据所触发的控制信息生成针对所述耳机设备的控制信息的步骤包括:
当在所述手柄控制耳机模式下检测到通过操作所述手柄装置中的按键在所述文本输入窗口输入的目标文本时,将所述目标文本作为针对所述耳机设备的控制信息,以供所述耳机设备接收到所述目标文本后,执行将所述目标文本发送给用户终端的操作。
为实现上述目的,本发明还提供一种耳机控制方法,所述耳机控制方法应用于耳机设备,所述耳机控制方法包括以下步骤:
接收耳机控制信息,其中,所述耳机控制信息包括与所述耳机设备通信连接的头戴式设备通过对摄像装置所获取的图像进行识别得到的手势控制信息,和/或操作手柄装置中的按键所触发的针对耳机设备的控制信息,所述手柄装置为与所述头戴式设备通信连接的手柄装置;
执行与所述耳机控制信息对应的操作。
可选地,当所述耳机控制信息包括所述手势控制信息时,所述执行与所述耳机控制信息对应的操作的步骤包括:
提取所述手势控制信息中的目标手势种类;
根据预设的手势种类与操作类型之间的映射关系,确定与所述目标手势种类对应的目标操作类型,执行所述目标操作类型的操作。
可选地,所述接收耳机控制信息的步骤之前,还包括:
当接收到用户终端发送的信息提示时,将所述信息提示转发给所述头戴式设备,以供所述头戴式设备开启所述摄像装置获取图像或开启手柄控制耳机模式,并当在所述手柄控制耳机模式下检测到操作所述手柄装置中的按键所触发的控制信息时,将所触发的控制信息确定为针对所述耳机设备的控制信息。
为实现上述目的,本发明还提供一种耳机控制方法,所述耳机控制方法应用于手柄装置,所述耳机控制方法包括以下步骤:
当检测到操作所述手柄装置中的按键所触发的控制信息时,根据所述控制信息生成针对耳机设备的耳机控制信息;
将所述耳机控制信息发送给所述耳机设备,或通过与所述手柄装置通信连接的头戴式设备将所述耳机控制信息转发给所述耳机设备,以供所述耳机设备执行与所述耳机控制信息对应的操作。
为实现上述目的,本发明还提供一种耳机控制设备,耳机控制设备包括:存储器、处理器及存储在存储器上并可在处理器上运行的耳机控制程序,耳机控制程序被处理器执行时实现如上的耳机控制方法的步骤。
此外,为实现上述目的,本发明还提出一种计算机可读存储介质,计算机可读存储介质上存储有耳机控制程序,耳机控制程序被处理器执行时实现如上的耳机控制方法的步骤。
本发明中,通过头戴式设备获取耳机控制信息,耳机控制信息包括通过对头戴式设备中摄像装置所获取的图像进行识别得到的手势控制信息,和/或操作与头戴式设备通信连接的手柄装置中的按键所触发的针对耳机设备的控制信息,将该耳机控制信息发送给与头戴式设备通信连接的耳机设备,以供耳机设备执行与该耳机控制信息相应的操作,将耳机设备的人机交互和头戴式设备联系起来,利用头戴式设备的摄装置像或手柄装置,控制耳机设备执行相应的操作,实现相应的功能,提高了用户操作耳机的方便度和准确度,同时也丰富用户的人机交互体验。
附图说明
图1为本发明耳机控制方法第一实施例的流程示意图;
图2为本发明耳机控制方法第三实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明耳机控制方法第一实施例的流程示意图。
本发明实施例提供了耳机控制方法的实施例,需要说明的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。在本实施例中,耳机控制方法应用于头戴式设备,头戴式设备可以是带有显示装置,供用户佩戴在头部使用的设备,例如VR设备、AR设备等。在本实施例中,耳机控制方法包括:
步骤S10,获取耳机控制信息,其中,所述耳机控制信息包括通过对所述头戴式设备中摄像装置所获取的图像进行识别得到的手势控制信息,和/或操作手柄装置中的按键所触发的针对耳机设备的控制信息,所述手柄装置与所述头戴式设备通信连接;
耳机设备可以通过蓝牙多点连接功能与用户终端和头戴式设备分别通信连接。其中,用户终端可以是智能手机、个人电脑等用户终端设备。蓝牙多点连接功能是耳机设备中配置的可与多个设备建立蓝牙通信连接的功能,该功能可基于蓝牙多点连接技术实现,在本实施例中不做展开叙述。在一实施方式中,耳机设备可以与用户终端和头戴式设备分别采用不同的蓝牙链路连接,例如,基于SPP(Serial Port Profile,蓝牙串口)链路与用户终端连接,基于BLE(Bluetooh Low Energy,蓝牙低功耗)链路与头戴式设备连接。
本实施例中,可以将耳机设备的人机交互和头戴式设备联系起来,利用头戴式设备的摄装置像或手柄装置,控制耳机设备执行相应的操作,实现相应的功能,以提高用户操作耳机的方便度和准确度,同时也丰富用户的人机交互体验。
具体地,头戴式设备可以获取对耳机的控制信息(以下称为耳机控制信息以示区分)。耳机控制信息可以包括头戴式设备通过对头戴式设备中的摄像装置所获取的图像进行识别得到的手势控制信息,和/或操作手柄装置中的按键所触发的针对耳机设备的控制信息。其中,在具体实施方式中,头戴式设备中设置的摄像装置除用于获取手势控制信息外,还可以用于头戴式设备中的其他功能,例如人脸识别功能、辅助运动追踪功能或外部环境查看功能等。手势控制信息具体可以是通过识别图像所获得的用户手势的种类(或称手势ID),也可以是识别得到的用户手势所对应的耳机设备中的操作类型,在本实施例中并不做限制。
在具体实施方式中,头戴式设备中可以设置一个手势控制耳机模式,在进入手势控制耳机模式时,才执行对摄像装置获取的图像进行识别以获取手势控制信息的操作;在未进入手势控制耳机模式时,根据其他功能的启闭情况确定是否对摄像装置进行开启以及确定对摄像装置获取的图像所执行的操作,例如,当人脸识别功能开启后,开启摄像装置获取图像,并对图像进行人脸识别获得人脸识别结果。头戴式设备进入手势控制耳机模式的触发方式有多种,在此并不做限制,例如可以是语音触发,或通过按压头戴式设备中设置的物理按键触发,或在接收到耳机设备发送的信息提示时触发等等。
手柄装置与头戴式设备通信连接,手柄装置在检测到按键被按压时,生成控制信息发送给头戴式设备,控制信息具体可以包括被按压的按键ID或按键ID的组合等。头戴式设备根据从手柄装置接收的控制信息生成对耳机设备的控制信息。其中,手柄装置中设置的按键可以是触控按键也可以是物理按压按键,在本实施例中并不做限制。头戴式设备在接收到手柄装置发送的控制信息后,可以根据该控制信息生成针对耳机设备的控制信息。具体实施方式中,头戴式设备在接收到手柄装置发送的控制信息后,可以是直接将该控制信息作为针对耳机设备的控制信息,也可以是将该控制信息转换为耳机设备中对应的操作类型,或者,还可以是根据该控制信息执行头戴式设备相应的操作后,根据操作结果生成针对耳机的控制信息。
在具体实施方式中,头戴式设备中可以设置一个手柄控制耳机模式,在进入手柄控制耳机模式时,才根据手柄装置所发送的控制信息生成针对耳机设备的控制信息;在未进入手柄控制耳机模式时,将手柄装置所发送的控制信息识别为针对头戴式设备本身的控制信息。头戴式设备进入手柄控制耳机模式的触发方式有多种。
在具体实施方式中,手势控制耳机模式和手柄控制耳机模式可以基于同一种触发方式同时触发,也可以分别定义不同的触发方式以实现独立触发。当手势控制耳机模式与手柄控制耳机模式同时开启时,头戴式设备既可以通过识别摄像装置所获取的图像得到耳机控制信息,也可以通过手柄装置获得耳机控制信息。进一步地,在一实施方式中,若头戴式设备在一段较短时间(可根据需要定义时长)内对摄像装置所获取的图像进行识别得到了耳机控制信息也通过手柄装置获取到了耳机控制信息,且两个耳机控制信息对应的耳机设备中的操作类型属于冲突类型,则可以仅将其中一个耳机控制信息发送给耳机设备,例如将先获取到的那一个耳机控制信息发送给耳机设备;其中,冲突类型可以预先设置,例如设置挂断电话操作和接通电话操作的操作类型属于冲突类型。
步骤S20,将所述耳机控制信息发送给与所述头戴式设备通信连接的耳机设备,以供所述耳机设备执行与所述耳机控制信息相应的操作。
头戴式设备在获取到耳机控制信息后,将耳机控制信息发送给耳机设备。耳机设备接收到耳机控制信息后,执行与该耳机控制信息相应的操作,例如开启主动降噪模式、增大音量、播放音乐等等。预先可以定义不同的耳机控制信息在耳机设备中所对应的不同的操作。
在一实施方式中,当耳机控制信息是耳机设备中的操作类型时,耳机执行该类型的操作。在另一实施方式中,当耳机控制信息是对摄像装置所获取的图像进行识别得到的手势种类时,耳机设备执行与该手势种类对应关联的操作。在另一实施方式中,当耳机控制信息是用户所操作的手柄装置中的按键ID或按键ID的组合时,执行与该按键ID或按键ID的组合对应关联的操作。
在本实施例中,通过头戴式设备获取耳机控制信息,耳机控制信息包括通过对头戴式设备中摄像装置所获取的图像进行识别得到的手势控制信息,和/或操作与头戴式设备通信连接的手柄装置中的按键所触发的针对耳机设备的控制信息,将该耳机控制信息发送给与头戴式设备通信连接的耳机设备,以供耳机设备执行与该耳机控制信息相应的操作,将耳机设备的人机交互和头戴式设备联系起来,利用头戴式设备的摄装置像或手柄装置,控制耳机设备执行相应的操作,实现相应的功能,提高了用户操作耳机的方便度和准确度,同时也丰富用户的人机交互体验。
进一步地,在一实施方式中,所述步骤S10包括:
步骤S101,对通过所述摄像装置获取的图像进行识别得到识别结果,其中,所述识别结果用于表征所述图像是否包含预设种类的控制手势;
头戴式设备可以通过摄像装置获取图像(以下称为目标图像),并对该目标图像进行识别得到用于表征该目标图像是否包含预设种类的控制手势的识别结果。其中,预设种类可以有一个或多个,可以通过在头戴式设备中预先进行设置,控制手势是用户通过手指摆出的手势,例如“OK”手势。在本实施方式中,对目标图像进行识别得到该识别结果的方法有很多种,例如可以基于预先训练的图像识别模型进行识别,又如可以采用计算图像相似度的方式等。在一实施方式中,采用计算图像相似度的方式具体可以是在头戴式设备中设置包含预设种类的控制手势的图像,计算目标图像与该包含预设种类的控制手势的图像之间的相似度,将计算得到的相似度与一个预先设置的阈值进行比较,大于该阈值时,确定识别结果为目标图像包含预设种类的控制手势,小于或等于该阈值时,确定识别结果为目标图像不包含该预设种类的控制手势。
步骤S102,当所述识别结果为所述图像中包含所述预设种类的控制手势时,生成与所述预设种类的控制手势对应的手势控制信息。
当识别结果为目标图像中包含预设种类的控制手势时,头戴式设备可以生成与该预设种类的控制手势对应的手势控制信息。具体地,头戴式设备可以直接将该预设种类作为手势控制信息;或者,头戴式设备中可以预先设置预设种类与耳机设备中操作类型之间的映射关系,根据该映射关系确定预设种类的控制手势所对应的操作类型,将该操作类型作为手势控制信息。
需要说明的是,当有多个预设种类时,可以当识别结果为目标图像中包含任意一个预设种类的控制手势时,生成与所包含的预设种类的控制手势对应的手势控制信息;当识别结果为目标图像中不包含任意一个预设种类的控制手势时,不生成手势控制信息。
进一步地,在一实施方式中,所述步骤S101包括:
步骤S1011,识别通过所述摄像装置获取的图像中的皮肤区域;
在本实施方式中,提出一种对目标图像进行识别获得识别结果的方法。具体地,头戴式设备可以先识别目标图像中的皮肤区域。识别皮肤区域的方法有很多种,在本实施例中并不做限制,例如可以采用图像语义分割方法。
步骤S1012,对所述图像中的所述皮肤区域和所述皮肤区域外的区域进行二值化处理得到所述图像的二值化结果;
在识别得到皮肤区域后,对目标图像中的皮肤区域和除皮肤区域外的区域进行二值化处理得到目标图像的二值化结果。其中,二值化处理是将目标图像中处于皮肤区域的像素点置为第一数值,将处于皮肤区域以外的像素点置为第二数值的处理过程,处理得到的二值化结果也可以看做是一张图像,但该图像中各个像素点的值不是第一数值就是第二数值。其中,第一数值和第二数值是两个不同的数值,具体取多少在本实施例中并不做限制。
步骤S1013,将所述图像的二值化结果输入手势识别模型进行识别得到所述图像的识别结果,其中,所述手势识别模型是预先采用训练样本训练得到的。
头戴式设备将目标图像的二值化结果输入手势识别模型进行识别得到目标图像的识别结果。其中,头戴式设备中可以预先设置一个手势识别模型,用于识别图像中是否包含预设种类的控制手势。该手势识别模型可预先采用训练样本训练得到。在具体实施方式中,手势识别模型的模型结构可以采用神经网络模型、卷积神经网络模型等,在此并不做限制。一个训练样本中可以包括一条输入数据和与该输入数据对应的训练标签,该输入数据可以是将一张图像按照上述步骤S1011和步骤S1021进行二值化得到的二值化结果,训练标签可以是表征该图像是否包含预设种类的控制手势的标签;对手势识别模型进行训练的方法具体可以采用有监督训练方法,通过有监督训练方法可以使得手势识别模型基于训练标签的监督学习到如何识别图像中是否包含预设种类的控制手势的能力。
进一步地,基于上述第一实施例,提出本发明耳机控制方法第二实施例,在本实施例中,所述步骤S10之前,还包括:
步骤S30,当接收到所述耳机设备发送的信息提示时,开启手柄控制耳机模式;
耳机设备可以在接收到用户终端发送的信息提示时,将该信息提示发送给头戴式设备。信息提示是对用户做出的提示,例如可以是来电信息提示、短信信息提示等等,在本实施例中并不做限制。
头戴式设备在接收到信息提示时,可以开启手柄控制耳机模式。或者在其他实施方式中,头戴式设备可以在接收到信息提示时,同时开启手势控制耳机模式和手柄控制耳机模式,或者,只开启手势控制耳机模式。
所述步骤S10包括:
步骤S103,当在所述手柄控制耳机模式下检测到操作所述手柄装置中的按键所触发的控制信息时,则根据所触发的控制信息生成针对所述耳机设备的控制信息。
手柄装置在检测到按键被按压时,生成控制信息发送给头戴式设备。头戴式设备若在手柄控制模式下接收到手柄装置发送的控制信息,则根据该控制信息生成针对耳机设备的控制信息,也即,将该控制信息发送给耳机设备,或将该控制信息转换为对应的耳机设备中的操作类型后发送给耳机设备,或根据该控制信息执行头戴式设备中对应的操作后根据操作结果生成针对耳机设备的控制信息发送给耳机设备。
进一步地,在一实施方式中,当所述信息提示是指示用户在用户终端中进行文本输入的提示时,所述步骤S10之前,还包括:
步骤S40,当接收到所述耳机设备发送的所述信息提示时,通过所述头戴式设备的显示屏显示预设的文本输入窗口和所述信息提示对应的提示内容;
当头戴式设备从耳机设备接收到的信息提示是指示用户在用户终端中进行文本输入的提示时,头戴式设备在开启手柄控制耳机模式的同时,还可以通过头戴式设备的显示屏显示预设的文本输入窗口和信息提示所对应的提示内容。其中,指示用户在用户终端中进行文本输入的信息提示可以预先定义,例如可以将短信信息提示定义为指示用户在用户终端中进行文本输入的信息提示,那么该信息提示对应的提示内容具体可以是短信的内容。
所述步骤S103包括:
步骤S1031,当在所述手柄控制耳机模式下检测到通过操作所述手柄装置中的按键在所述文本输入窗口输入的目标文本时,将所述目标文本作为针对所述耳机设备的控制信息,以供所述耳机设备接收到所述目标文本后,执行将所述目标文本发送给用户终端的操作。
用户在头戴式设备的显示屏中看到所显示的文本输入窗口和提示内容后,可以通过操作手柄装置中的按键在头戴式设备中输出文本。头戴式设备在手柄控制耳机模式下检测到操作手柄装置中的按键在文本输入窗口所输出的文本(以下称为目标文本以示区分)时,可以将该目标文本作为针对耳机设备的控制信息,也即将该目标文本发送给耳机设备,耳机设备在接收到该目标文本后发送给用户终端,用户终端将该目标文本作为用户输入的文本,执行相应的操作,例如将针对短信提示信息反馈的目标文本作为回信发送给对方。
在本实施方式中,通过头戴式设备在接收到耳机设备发送的信息提示时,在显示屏中显示预设文本输入窗口和与该信息提示对应的提示内容,并开启手柄控制耳机模式,在手柄控制耳机模式下检测到通过操作手柄装置中的按键在所述文本输入窗口输入的目标文本时,将目标文本作为针对耳机设备的控制信息,以供耳机设备接收到目标文本后,执行将目标文本发送给用户终端的操作,提高了用户操作耳机的方便度和准确度,同时也丰富用户的人机交互体验。
进一步地,基于上述第一和/或第二实施例,提出本发明耳机控制方法第三实施例。参照图2,图2为本发明耳机控制方法第三实施例的流程示意图。在本实施例中,所述耳机控制方法应用于耳机设备。所述方法包括以下步骤:
步骤A10,接收耳机控制信息,其中,所述耳机控制信息包括与所述耳机设备通信连接的头戴式设备通过对摄像装置所获取的图像进行识别得到的手势控制信息,和/或操作手柄装置中的按键所触发的针对耳机设备的控制信息,所述手柄装置为与所述头戴式设备通信连接的手柄装置;
步骤A20,执行与所述耳机控制信息对应的操作。
步骤A10和步骤A20的具体实施方式可以参照上述第一实施例中步骤S10和S20的具体实施方式,在此不做赘述。另外,需要说明的是,手柄装置可以将操作手柄装置中的按键所触发的控制信息发送给头戴式设备,由头戴式设备根据该控制信息生成针对耳机设备的控制信息后发送给耳机设备,或者,手柄装置也可以根据操作手柄装置中的按键所触发的控制信息生成针对耳机设备的控制信息后,直接发送给耳机设备,也即,手柄装置可以与耳机设备建立通信连接。
进一步地,手柄装置直接向耳机设备发送控制信息的情况下,在手柄装置中可以设置一个手柄控制耳机模式;在手柄控制耳机模式开启时,手柄装置在检测到对按键的按压操作,可以生成针对耳机设备的控制信息发送给耳机设备;在手柄控制耳机模式关闭时,手柄装置在检测到对按键的按压操作,可以生成针对头戴式设备的控制信息发送给头戴式设备,以供头戴设备根据该控制信息执行相应的操作。
进一步地,在一实施方式中,当所述耳机控制信息包括所述手势控制信息时,所述步骤A20包括:
步骤A201,提取所述手势控制信息中的目标手势种类;
当耳机控制信息包括手势控制信息,且该手势控制信息中包括手势种类时,耳机设备可以提取手势控制信息中的手势种类(以下称为目标手势种类以示区分)。
步骤A202,根据预设的手势种类与操作类型之间的映射关系,确定与所述目标手势种类对应的目标操作类型,执行所述目标操作类型的操作。
耳机设备中可以预先设置不同的手势种类与各种操作类型之间的映射关系,例如设置“OK”手势对应接通电话操作。耳机设备根据该映射关系,确定与目标手势种类对应的操作类型(以下称为目标操作类型以示区分),执行该目标操作类型的操作。
进一步地,在一实施方式中,当耳机控制信息为包含手柄中按键ID按键ID的组合的信息时,耳机设备可以从耳机控制信息中提取按键ID或按键ID的组合信息。耳机设备中可以预先设置不同的按键ID或按键ID组合信息与各种操作类型之间的映射关系,例如设置“确认”按键对应接通电话操作。耳机设备根据该映射关系,确定与所提取的按键ID或按键ID组合信息对应的操作类型,执行该操作类型的操作。
进一步地,在一实施方式中,所述步骤A10之前,还包括:
步骤A30,当接收到用户终端发送的信息提示时,将所述信息提示转发给所述头戴式设备,以供所述头戴式设备开启所述摄像装置获取图像或开启手柄控制耳机模式,并当在所述手柄控制耳机模式下检测到操作所述手柄装置中的按键所触发的控制信息时,将所触发的控制信息确定为针对所述耳机设备的控制信息。
步骤A30的具体实施方式可以参照上述步骤S30和S103的具体实施方式,在此不做赘述。
进一步地,基于上述第一、第二和/或第三实施例,提出本发明耳机控制方法第四实施例。在本实施例中,所述耳机控制方法应用于手柄装置。所述方法包括以下步骤:
步骤B10,当检测到操作所述手柄装置中的按键所触发的控制信息时,根据所述控制信息生成针对耳机设备的耳机控制信息;
步骤B20,将所述耳机控制信息发送给所述耳机设备,或通过与所述手柄装置通信连接的头戴式设备将所述耳机控制信息转发给所述耳机设备,以供所述耳机设备执行与所述耳机控制信息对应的操作。
步骤B10和步骤B20的具体实施方式可以参照上述第一实施例中步骤S10和S20的具体实施方式,以及参照上述第三实施例中步骤A10和A20的具体实施方式,在此不做赘述。
此外,本发明实施例还提出一种耳机控制设备,该耳机控制设备可以是头戴式设备,在本实施例中,头戴式设备可以包括结构壳体、主控模块、存储器等组成。主控模块可包含微处理器、音频解码单元、电源及电源管理单元、系统所需的传感器和其他有源或无源器件等(可以根据实际功能进行更换、删减或增加),实现无线音频的接收与播放功能。头戴式设备的存储器中可以存储有耳机控制程序,微处理器可以用于调用存储器中存储的耳机控制程序,并执行以下操作:
获取耳机控制信息,其中,所述耳机控制信息包括通过对所述头戴式设备中摄像装置所获取的图像进行识别得到的手势控制信息,和/或操作手柄装置中的按键所触发的针对耳机设备的控制信息,所述手柄装置与所述头戴式设备通信连接;
将所述耳机控制信息发送给与所述头戴式设备通信连接的耳机设备,以供所述耳机设备执行与所述耳机控制信息相应的操作。
进一步地,所述获取耳机控制信息的操作包括:
对通过所述摄像装置获取的图像进行识别得到识别结果,其中,所述识别结果用于表征所述图像是否包含预设种类的控制手势;
当所述识别结果为所述图像中包含所述预设种类的控制手势时,生成与所述预设种类的控制手势对应的手势控制信息。
进一步地,所述对通过所述摄像装置获取的图像进行识别得到识别结果的操作包括:
识别通过所述摄像装置获取的图像中的皮肤区域;
对所述图像中的所述皮肤区域和所述皮肤区域外的区域进行二值化处理得到所述图像的二值化结果;
将所述图像的二值化结果输入手势识别模型进行识别得到所述图像的识别结果,其中,所述手势识别模型是预先采用训练样本训练得到的。
进一步地,所述获取耳机控制信息的操作之前,微处理器还可以用于调用存储器中存储的耳机控制程序,执行以下操作:
当接收到所述耳机设备发送的信息提示时,开启手柄控制耳机模式;
所述获取耳机控制信息的操作包括:
当在所述手柄控制耳机模式下检测到操作所述手柄装置中的按键所触发的控制信息时,根据所触发的控制信息生成针对所述耳机设备的控制信息。
进一步地,当所述信息提示是指示用户在用户终端中进行文本输入的提示时,所述获取耳机控制信息的操作之前,微处理器还可以用于调用存储器中存储的耳机控制程序,执行以下操作:
当接收到所述耳机设备发送的所述信息提示时,通过所述头戴式设备的显示屏显示预设的文本输入窗口和所述信息提示对应的提示内容;
所述当在所述手柄控制耳机模式下检测到操作所述手柄装置中的按键所触发的控制信息时,根据所触发的控制信息生成针对所述耳机设备的控制信息的操作包括:
当在所述手柄控制耳机模式下检测到通过操作所述手柄装置中的按键在所述文本输入窗口输入的目标文本时,将所述目标文本作为针对所述耳机设备的控制信息,以供所述耳机设备接收到所述目标文本后,执行将所述目标文本发送给用户终端的操作。
此外,本发明实施例还提出一种耳机控制设备,在本实施例中,耳机控制设备可以是耳机设备,耳机设备可以包括结构壳体、主控模块、扬声器、麦克风、存储器等组成。主控模块可包含微处理器、音频解码单元、电源及电源管理单元、系统所需的传感器和其他有源或无源器件等(可以根据实际功能进行更换、删减或增加),实现无线音频的接收与播放功能。耳机设备的存储器中可以存储有耳机控制程序,微处理器可以用于调用存储器中存储的耳机控制程序,并执行以下操作:
接收耳机控制信息,其中,所述耳机控制信息包括与所述耳机设备通信连接的头戴式设备通过对摄像装置所获取的图像进行识别得到的手势控制信息,和/或操作手柄装置中的按键所触发的针对耳机设备的控制信息,所述手柄装置为与所述头戴式设备通信连接的手柄装置;
执行与所述耳机控制信息对应的操作。
进一步地,当所述耳机控制信息包括所述手势控制信息时,所述执行与所述耳机控制信息对应的操作的操作包括:
提取所述手势控制信息中的目标手势种类;
根据预设的手势种类与操作类型之间的映射关系,确定与所述目标手势种类对应的目标操作类型,执行所述目标操作类型的操作。
进一步地,所述接收耳机控制信息的操作之前,微处理器还可以用于调用存储器中存储的耳机控制程序,执行以下操作:
当接收到用户终端发送的信息提示时,将所述信息提示转发给所述头戴式设备,以供所述头戴式设备开启所述摄像装置获取图像或开启手柄控制耳机模式,并当在所述手柄控制耳机模式下检测到操作所述手柄装置中的按键所触发的控制信息时,将所触发的控制信息确定为针对所述耳机设备的控制信息。
此外,本发明实施例还提出一种耳机控制设备,在本实施例中,耳机控制设备可以是手柄装置,手柄装置可以包括结构壳体、主控模块、存储器等组成。主控模块可包含微处理器、电源及电源管理单元、系统所需的传感器和其他有源或无源器件等(可以根据实际功能进行更换、删减或增加)。手柄装置的存储器中可以存储有耳机控制程序,微处理器可以用于调用存储器中存储的耳机控制程序,并执行以下操作:
当检测到操作所述手柄装置中的按键所触发的控制信息时,根据所述控制信息生成针对耳机设备的耳机控制信息;
将所述耳机控制信息发送给所述耳机设备,或通过与所述手柄装置通信连接的头戴式设备将所述耳机控制信息转发给所述耳机设备,以供所述耳机设备执行与所述耳机控制信息对应的操作。
此外,本发明实施例还提出一种计算机可读存储介质,所述存储介质上存储有耳机控制程序,所述耳机控制程序被处理器执行时实现如上所述的耳机控制方法的步骤。
本发明耳机控制设备和计算机可读存储介质的各实施例,均可参照本发明耳机控制方法各个实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种耳机控制方法,其特征在于,所述耳机控制方法应用于头戴式设备,所述耳机控制方法包括以下步骤:
获取耳机控制信息,其中,所述耳机控制信息包括通过对所述头戴式设备中摄像装置所获取的图像进行识别得到的手势控制信息,和/或操作手柄装置中的按键所触发的针对耳机设备的控制信息,所述手柄装置与所述头戴式设备通信连接;
将所述耳机控制信息发送给与所述头戴式设备通信连接的耳机设备,以供所述耳机设备执行与所述耳机控制信息相应的操作。
2.如权利要求1所述的耳机控制方法,其特征在于,所述获取耳机控制信息的步骤包括:
对通过所述摄像装置获取的图像进行识别得到识别结果,其中,所述识别结果用于表征所述图像是否包含预设种类的控制手势;
当所述识别结果为所述图像中包含所述预设种类的控制手势时,生成与所述预设种类的控制手势对应的手势控制信息。
3.如权利要求2所述的耳机控制方法,其特征在于,所述对通过所述摄像装置获取的图像进行识别得到识别结果的步骤包括:
识别通过所述摄像装置获取的图像中的皮肤区域;
对所述图像中的所述皮肤区域和所述皮肤区域外的区域进行二值化处理得到所述图像的二值化结果;
将所述图像的二值化结果输入手势识别模型进行识别得到所述图像的识别结果,其中,所述手势识别模型是预先采用训练样本训练得到的。
4.如权利要求1至3中任一项所述的耳机控制方法,其特征在于,所述获取耳机控制信息的步骤之前,还包括:
当接收到所述耳机设备发送的信息提示时,开启手柄控制耳机模式;
所述获取耳机控制信息的步骤包括:
当在所述手柄控制耳机模式下检测到操作所述手柄装置中的按键所触发的控制信息时,根据所触发的控制信息生成针对所述耳机设备的控制信息。
5.如权利要求4所述的耳机控制方法,其特征在于,当所述信息提示是指示用户在用户终端中进行文本输入的提示时,所述获取耳机控制信息的步骤之前,还包括:
当接收到所述耳机设备发送的所述信息提示时,通过所述头戴式设备的显示屏显示预设的文本输入窗口和所述信息提示对应的提示内容;
所述当在所述手柄控制耳机模式下检测到操作所述手柄装置中的按键所触发的控制信息时,根据所触发的控制信息生成针对所述耳机设备的控制信息的步骤包括:
当在所述手柄控制耳机模式下检测到通过操作所述手柄装置中的按键在所述文本输入窗口输入的目标文本时,将所述目标文本作为针对所述耳机设备的控制信息,以供所述耳机设备接收到所述目标文本后,执行将所述目标文本发送给用户终端的操作。
6.一种耳机控制方法,其特征在于,所述耳机控制方法应用于耳机设备,所述耳机控制方法包括以下步骤:
接收耳机控制信息,其中,所述耳机控制信息包括与所述耳机设备通信连接的头戴式设备通过对摄像装置所获取的图像进行识别得到的手势控制信息,和/或操作手柄装置中的按键所触发的针对耳机设备的控制信息,所述手柄装置为与所述头戴式设备通信连接的手柄装置;
执行与所述耳机控制信息对应的操作。
7.如权利要求6所述的耳机控制方法,其特征在于,当所述耳机控制信息包括所述手势控制信息时,所述执行与所述耳机控制信息对应的操作的步骤包括:
提取所述手势控制信息中的目标手势种类;
根据预设的手势种类与操作类型之间的映射关系,确定与所述目标手势种类对应的目标操作类型,执行所述目标操作类型的操作。
8.如权利要求6或7所述的耳机控制方法,其特征在于,所述接收耳机控制信息的步骤之前,还包括:
当接收到用户终端发送的信息提示时,将所述信息提示转发给所述头戴式设备,以供所述头戴式设备开启所述摄像装置获取图像或开启手柄控制耳机模式,并当在所述手柄控制耳机模式下检测到操作所述手柄装置中的按键所触发的控制信息时,将所触发的控制信息确定为针对所述耳机设备的控制信息。
9.一种耳机控制方法,其特征在于,所述耳机控制方法应用于手柄装置,所述耳机控制方法包括以下步骤:
当检测到操作所述手柄装置中的按键所触发的控制信息时,根据所述控制信息生成针对耳机设备的耳机控制信息;
将所述耳机控制信息发送给所述耳机设备,或通过与所述手柄装置通信连接的头戴式设备将所述耳机控制信息转发给所述耳机设备,以供所述耳机设备执行与所述耳机控制信息对应的操作。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有耳机控制程序,所述耳机控制程序被处理器执行时实现如权利要求1至9中任一项所述的耳机控制方法的步骤。
CN202210742640.4A 2022-06-28 2022-06-28 耳机控制方法、设备及计算机可读存储介质 Pending CN115103261A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210742640.4A CN115103261A (zh) 2022-06-28 2022-06-28 耳机控制方法、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210742640.4A CN115103261A (zh) 2022-06-28 2022-06-28 耳机控制方法、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN115103261A true CN115103261A (zh) 2022-09-23

Family

ID=83294014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210742640.4A Pending CN115103261A (zh) 2022-06-28 2022-06-28 耳机控制方法、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN115103261A (zh)

Similar Documents

Publication Publication Date Title
KR102339657B1 (ko) 전자 장치 및 이의 제어 방법
CN103529934A (zh) 用于处理多个输入的方法和装置
CN103197911A (zh) 一种提供语音输入的方法、系统和装置
CN109947650B (zh) 脚本步骤处理方法、装置和系统
US20150365515A1 (en) Method of triggering authentication mode of an electronic device
CN108551521B (zh) 一种登录信息提示方法及移动终端
CN108334196B (zh) 一种文件处理方法及移动终端
CN109032345B (zh) 设备控制方法、装置、设备、服务端和存储介质
CN112689201B (zh) 弹幕信息识别方法、显示方法、服务器及电子设备
CN108616448B (zh) 一种信息分享的路径推荐方法及移动终端
CN108391008B (zh) 一种消息提醒方法及移动终端
CN110855893A (zh) 一种视频拍摄的方法及电子设备
CN108345581A (zh) 一种信息识别方法、装置和终端设备
CN105871696B (zh) 一种信息发送、接收方法及移动终端
CN111459362A (zh) 信息显示方法、信息显示装置、电子设备及存储介质
CN108429855B (zh) 一种消息发送控制方法、终端及计算机可读存储介质
CN113033245A (zh) 一种功能调节方法、装置、存储介质及电子设备
CN111835522A (zh) 一种音频处理方法及装置
CN109669710B (zh) 便签处理方法及终端
CN114827068A (zh) 消息发送方法、装置、电子设备及可读存储介质
CN108765522B (zh) 一种动态图像生成方法及移动终端
CN107958273B (zh) 音量调节方法、装置及存储介质
KR101567154B1 (ko) 다중 사용자 기반의 대화 처리 방법 및 이를 수행하는 장치
US11157167B2 (en) Systems and methods for operating a mobile application using a communication tool
CN110007836B (zh) 一种账单生成方法及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination