CN113497988A - 一种无线耳机的佩戴状态确定方法及相关装置 - Google Patents

一种无线耳机的佩戴状态确定方法及相关装置 Download PDF

Info

Publication number
CN113497988A
CN113497988A CN202010258894.XA CN202010258894A CN113497988A CN 113497988 A CN113497988 A CN 113497988A CN 202010258894 A CN202010258894 A CN 202010258894A CN 113497988 A CN113497988 A CN 113497988A
Authority
CN
China
Prior art keywords
output
body portion
state
ear
indicates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010258894.XA
Other languages
English (en)
Other versions
CN113497988B (zh
Inventor
陈海莹
钱良芳
奚林兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010258894.XA priority Critical patent/CN113497988B/zh
Priority to PCT/CN2021/085300 priority patent/WO2021197476A1/zh
Priority to EP21779338.9A priority patent/EP4124061A4/en
Publication of CN113497988A publication Critical patent/CN113497988A/zh
Priority to US17/956,984 priority patent/US20230022327A1/en
Application granted granted Critical
Publication of CN113497988B publication Critical patent/CN113497988B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1025Accumulators or arrangements for charging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016Earpieces of the intra-aural type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041Mechanical or electronic switches, or control elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091Details not provided for in groups H04R1/1008 - H04R1/1083
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07Applications of wireless loudspeakers or wireless microphones

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • Headphones And Earphones (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及人工智能领域以及耳机领域,公开了一种无线耳机的佩戴状态确定方法,包括:获取所述传感器系统的第一输出,所述第一输出指示所述外壳的移动状态;根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中。本申请可以从无线耳机的移动状态这个维度作为判断耳机佩戴状态的参考,较准确的将无线耳机佩戴状态与上述干扰场景区分开,进而准确的分析出无线耳机所处的佩戴状态,提高了无线耳机佩戴状态识别的准确性。

Description

一种无线耳机的佩戴状态确定方法及相关装置
技术领域
本申请涉及无线耳机领域,尤其涉及一种无线耳机的佩戴状态确定方法及相关装置。
背景技术
无线耳机可以利用无线通信技术(例如蓝牙技术、红外射频技术、2.4G无线技术等)与终端设备进行通信,相比有线耳机来说,无线耳机由于摆脱了物理线材的束缚,使用更加便捷,因而得到迅速发展,无线耳机的左右耳机也可以通过蓝牙连接。
入耳检测同样是真无线耳机上非常常见的一种交互方式,例如摘下耳机自动停止播放、戴上耳机恢复播放。当前的无线耳机入耳检测基本都是通过光电探测的方式,利用光学感应原理来感知用户的佩戴状态,光信号被阻挡代表耳机处于佩戴状态,系统便会自动进入播放模式。
然而,现有佩戴检测技术对于一些复杂场景,比如当耳机位于口袋中或者用手握住耳机时,会被识别为佩戴状态。因此现有技术存在误检率较高的问题。
发明内容
本申请提供了一种无线耳机的佩戴状态确定方法,所述无线耳机包括外壳以及传感器系统,所述外壳具有主体部分和从所述主体部分延伸的柄部部分,所述方法包括:获取所述传感器系统的第一输出,所述第一输出指示所述外壳的移动状态;根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中。
需要说明的是,上述无线耳机的主体部分为用户在佩戴时需要进入耳道中的部分,其可以包括扬声器,用户在佩戴耳机时,可以通过抓握无线耳机的柄部部分,将无线耳机的主体部分放入耳中。
需要说明的是,第一输出可以是加速度传感器输出的数据。
第一输出仅仅为主体部分是否被放置在用户的耳朵中的一个判断依据,并不表示只根据第一输出确定所述主体部分是否被放置在用户的耳朵中,即,可以只根据第一输出确定所述主体部分是否被放置在用户的耳朵中,也可以根据第一输出以及除第一输出之外的其他数据信息来确定所述主体部分是否被放置在用户的耳朵中,也就是:至少根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中。
现有技术中,根据与外界物体的接触状态以及被遮挡状态来确定无线耳机的佩戴状态(主体部分是否被放置在用户的耳朵中),针对于一些干扰场景(与主体部分被放置在用户的耳朵中相似的场景),例如无线耳机放置在口袋里或者是无线耳机被手紧握住,若只根据接触状态以及被遮挡状态来确定无线耳机的佩戴状态,可能会出现一定的误检。然而,虽然干扰场景中接触状态以及被遮挡状态相似,但是无线耳机的移动状态的差异却很大,因此本实施例通过将指示所述外壳的移动状态的传感器系统输出作为判断无线耳机佩戴状态的依据,可以从无线耳机的移动状态这个维度作为判断耳机佩戴状态的参考,较准确的将无线耳机佩戴状态与上述干扰场景区分开,进而准确的分析出无线耳机所处的佩戴状态,提高了无线耳机佩戴状态识别的准确性。
需要说明的是,本实施例中并不是指完全准确的可以识别出主体部分是否被放置在用户的耳朵中,而是对一个大的数据量的处理结果中,本实施例的佩戴状态的综合识别准确率较高。
在一些实现方式中,所述根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中,包括:若所述第一输出至少指示所述主体部分存在第一状态,则确定所述主体部分被放置在用户的耳朵中;其中,所述第一状态指示所述主体部分存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态。
相应的,若第一输出指示所述主体部分不存在第一状态,则确定所述主体部分未被放置在用户的耳朵中。
其中,第一输出指示内容的确定可以基于预训练好的神经网络模型来实现,神经网络模型具有处理第一输出,以确定第一输出指示的用户对耳机的各种操作状态的能力,处理器在获取到第一输出之后,可以将第一输出作为预训练好的神经网络模型的输入数据,通过神经网络模型进行数据处理,并输出第一输出指示的内容,指示的内容可以表示用户对耳机的各种操作状态,操作状态可以包括主体部分被放置在用户的耳朵中。
需要说明的是,在一些实现中,若第一输出指示所述主体部分存在第一状态,则确定所述主体部分被放置在用户的耳朵中,在另一些实现中,若第一输出指示所述主体部分存在第一状态和其他状态,才可以确定主体部分被放置在用户的耳朵中。
需要说明的是,第一输出指示所述主体部分存在第一状态,表示第一输出指示所述主体部分处于第一状态,或者第一输出指示所述主体部分存在多个状态,第一状态为多个状态中的一个状态,例如,第一输出可以指示主体部分由其他状态变为第一状态,或者由第一状态变为其他状态。
需要说明的是,用户在佩戴无线耳机的过程中,可以握住无线耳机的柄部部分,并将主体部分放置在耳中,在这个过程中,当主体部分与耳中接触之后,用户需要调整主体部分在耳中的位置,以使得主体部分在耳中处于正确的位置(在该位置,主体部分的扬声器的出声孔朝向用户的耳洞,且对于用户而言具有较好的舒适性,当主体部分位于该位置时,用户可以清晰地听到扬声器发出的声音)。在上述调整耳机主体在耳中位置的过程中,主体部分会存在一定的震动(有浮动的位移),该震动状态会被传感器系统的加速度传感器获取到,相应的,输出的第一输出可以指示上述震动状态。
本实施例中,针对于一些干扰场景(与主体部分被放置在用户的耳朵中相似的场景),例如无线耳机放置在口袋里或者是无线耳机被手紧握住,虽然耳机的被遮挡情况和接触情况与耳机被佩戴时的相似,但是其移动状态却与耳机被佩戴时有较大的差异,本实施例通过将主体部分是否存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态,作为是否被放置在用户的耳朵的判断依据,更好的将无线耳机佩戴状态与上述干扰场景区分开,进而准确的分析出无线耳机所处的佩戴状态,提高了无线耳机佩戴状态识别的准确性。
在一些实现方式中,所述第一状态指示所述主体部分由移动至耳朵的移动状态变为与调整所述主体部分在耳朵中的位置的过程相对应的震动状态。
需要说明的是,用户在佩戴无线耳机的过程中,可以握住无线耳机的柄部部分,并将主体部分放置在耳中,在这个过程中,主体部分首先存在一个位移到人耳的移动状态,然后会进入人耳,并出现调整所述主体部分在耳朵中的位置的过程相对应的震动状态。上述移动状态也可以被加速度传感器捕捉到,相应的,通过解析其输出的第一输出,也可以确定出所述主体部分存在由移动至耳朵的移动状态。
本实施例中,通过将主体部分是否存在由移动至耳朵的移动状态变为与调整所述主体部分在耳朵中的位置的过程相对应的震动状态,作为是否被放置在用户的耳朵的判断依据,可以更好的将无线耳机佩戴状态与上述干扰场景区分开,进而准确的分析出无线耳机所处的佩戴状态,提高了无线耳机佩戴状态识别的准确性。
在一些实现方式中,所述根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中,包括:若所述第一输出至少指示所述主体部分振动幅度在第一预设范围内,且所述主体部分的振动频率在第二预设范围内,则确定所述主体部分被放置在用户的耳朵中。
需要说明的是,在一些实现方式中,可以基于一些检测算法对第一输出进行检测,并解析其具有的数学特征,数学特征可以包括振动幅度以及振动频率,并当振动幅度以及振动频率满足一定的条件时,确定所述主体部分被放置在用户的耳朵中。
需要说明的是,第一预设范围和第二预设范围可以根据主体部分被放置在用户的耳朵的过程中的移动状态的特点来确定,这里并不限定。
在一些实现方式中,所述根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中,包括:至少以所述第一输出为模型输入,通过神经网络模型确定所述主体部分是否被放置在用户的耳朵中。
需要说明的是,神经网络模型的模型输入可以包括所述第一输出或者其他数据,对于通过神经网络模型实现的技术方案而言,在训练神经网络模型时,可以将大量与调整所述主体部分在耳朵中的位置的过程相对应的震动状态相对应的加速度数据作为训练样本,通过训练神经网络模型,以使得神经网络模型能学习到识别出传感器系统的输出至少指示所述主体部分存在第一状态的能力。
本实施例中,基于预训练好的神经网络模型确定所述主体部分是否被放置在用户的耳朵中,由于神经网络模型可以学习到相比于普通数据处理算法更多的内容,具备更好的将无线耳机佩戴状态与其余干扰场景区分开的能力,提高了无线耳机佩戴状态识别的准确性。
需要说明的是,本实施例中的神经网络模型可以部署在云侧的服务器或者部署在耳机侧(以下各个方面的实施例中的神经网络模型也都可以部署在云侧的服务器或者部署在耳机侧);
若神经网络模型部署在服务器,则耳机传感器在获取到传感器系统的输出数据之后可以,可以将输出数据发送至服务器,以使得服务器通过神经网络模型来处理获取到的输出数据,并得到无线耳机佩戴状态的识别结果,并将识别结果发送至耳机侧。
若神经网络模型部署在耳机侧,则耳机传感器在获取到传感器系统的输出数据之后可以,可以通过神经网络模型来处理获取到的输出数据,并得到无线耳机佩戴状态的识别结果。其中,神经网络模型可以是由服务器侧训练好并发送至耳机侧的。
在一些实现方式中,所述方法还包括:获取所述传感器系统的第二输出;所述第二输出指示所述主体部分的被遮挡情况;相应的,所述根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中,包括:根据所述第一输出和所述第二输出确定所述主体部分是否被放置在用户的耳朵中。
本实施例中,在一些场景中,同时将指示所述主体部分的被遮挡情况的第二输出,以及指示外壳的移动状态的第一输出作为判断主体部分是否被放置在用户的耳朵中的依据,针对于一些场景中,存在和主体部分被放置在用户的耳朵的过程中所述外壳的移动状态相似的干扰场景(例如当耳机位于一些存在小幅度快频率震动的物体上时),结合被遮挡情况可以将无线耳机真实的佩戴状态与上述干扰场景区分开的能力,提高了无线耳机佩戴状态识别的准确性。
在一些实现方式中,所述第二状态指示所述主体部分存在被耳朵遮挡的遮挡状态。
用户在佩戴无线耳机的过程中,可以握住无线耳机的柄部部分,并将主体部分放置在耳中,此时位于主体部分的接近光传感器可以检测到无线耳机的主体部分被遮挡,通过对接近光传感器的第二输出的解析,可以确定出主体部分存在被耳朵遮挡的遮挡状态。
本实施例中,不只是通过确定主体部分是否被遮挡,来确定无线耳机被佩戴,而是在确定出主体部分存在被耳朵遮挡的遮挡状态,才会确定无线耳机被佩戴。本实施例可以更好的将无线耳机佩戴状态与其他干扰场景(例如被衣服等其他障碍物遮挡等)区分开,进而准确的分析出无线耳机所处的佩戴状态,提高了无线耳机佩戴状态识别的准确性。
上述实现可以基于神经网络模型来实现,通过训练神经网络模型,使得其具备区分被耳朵遮挡的遮挡状态和其他遮挡状态(例如被衣服等其他障碍物遮挡等)的能力。进而,通过该预训练好的神经网络模型对第二输出进行处理,确定出主体部分存在被耳朵遮挡的遮挡状态。
在一些实现方式中,所述第二状态指示所述主体部分由未被遮挡状态变为被耳朵遮挡的遮挡状态。
用户在佩戴无线耳机的过程中,可以握住无线耳机的柄部部分,此时主体部分处于未被遮挡状态,将主体部分放置在耳中之后,主体部分处于被耳朵遮挡的遮挡状态。此时位于主体部分的接近光传感器可以检测到无线耳机的主体部分的遮挡状态变化,通过对接近光传感器的第二输出的解析,可以确定出主体部分由未被遮挡状态变为被耳朵遮挡的遮挡状态。
本实施例中,将主体部分的遮挡状态变化作为判断无线耳机佩戴状态的依据,可以更好的将无线耳机佩戴状态与其他干扰场景(例如和处于被耳朵遮挡的遮挡状态的相似场景等)区分开,进而准确的分析出无线耳机所处的佩戴状态,提高了无线耳机佩戴状态识别的准确性。
在一些实现方式中,所述第二状态指示由所述柄部部分被手部遮挡的遮挡状态变为所述主体部分被耳朵遮挡的遮挡状态。
用户在佩戴无线耳机的过程中,可以握住无线耳机的柄部部分,此时柄部部分处于被手部遮挡的状态,将主体部分放置在耳中之后,主体部分处于被耳朵遮挡的遮挡状态。相应的,位于柄部部分和主体部分的接近光传感器可以检测到无线耳机由柄部部分被手部遮挡的遮挡状态变为所述主体部分被耳朵遮挡的遮挡状态,通过对接近光传感器的第二输出的解析,可以确定出所述柄部部分被手部遮挡的遮挡状态变为所述主体部分被耳朵遮挡的遮挡状态。
本实施例中,将柄部部分和主体部分的遮挡状态变化作为判断无线耳机佩戴状态的依据,可以更好的将无线耳机佩戴状态与其他干扰场景区分开,进而准确的分析出无线耳机所处的佩戴状态,提高了无线耳机佩戴状态识别的准确性。
在一些实现方式中,所述传感器系统包括接近光传感器,所述接近光传感器用于输出所述第二输出,所述第二输出表示所述接近光传感器接收到的光能量大小,所述第二状态指示所述主体部分在维持被耳朵遮挡的情况下,所述第二输出的值大于第一阈值。
本申请实施例中,在用户正常佩戴无线耳机时,若由于耳机在耳中松动,使得光线漏入耳朵,此时主体部分在维持被耳朵遮挡的情况下,所述第二输出的值大于第一阈值,在该场景中,还是可以认为无线耳机处于被放置在耳朵中的状态。本实施例进一步提高了无线耳机佩戴状态识别的准确性。
在一些实现方式中,所述根据所述第一输出和所述第二输出确定所述主体部分是否被放置在用户的耳朵中,包括:至少以所述第一输出和所述第二输出为模型输入,通过神经网络模型确定所述主体部分是否被放置在用户的耳朵中。
需要说明的是,神经网络模型的模型输入可以包括所述第一输出或者其他数据,对于通过神经网络模型实现的技术方案而言,在训练神经网络模型时,可以将大量与调整所述主体部分在耳朵中的位置的过程相对应的震动状态相对应的加速度数据以及表示无线耳机遮挡情况的接近光数据作为训练样本,通过训练神经网络模型,以使得神经网络模型能学习到识别出传感器系统的输出至少指示所述主体部分存在第一状态和第二状态的能力。
本实施例中,基于预训练好的神经网络模型确定所述主体部分是否被放置在用户的耳朵中,由于神经网络模型可以学习到相比于普通数据处理算法更多的内容,具备更好的将无线耳机佩戴状态与其余干扰场景区分开的能力,提高了无线耳机佩戴状态识别的准确性。
在一些实现方式中,所述方法还包括:获取所述传感器系统的第三输出;所述第三输出指示所述主体部分的接触状态;相应的,所述根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中,包括:根据所述第一输出和所述第三输出确定所述主体部分是否被放置在用户的耳朵中。
本实施例中,在一些场景中,同时将指示所述主体部分的接触状态的第三输出,以及指示外壳的移动状态的第一输出作为判断主体部分是否被放置在用户的耳朵中的依据,针对于一些场景中,存在和主体部分被放置在用户的耳朵的过程中所述外壳的移动状态相似的干扰场景(例如当耳机被悬挂且出现一些微小震动时),结合接触状态可以将无线耳机真实的佩戴状态与上述干扰场景区分开的能力,提高了无线耳机佩戴状态识别的准确性。
在一些实现方式中,所述根据所述第一输出和所述第三输出确定所述主体部分是否被放置在用户的耳朵中,包括:若所述第一输出指示所述主体部分存在第一状态、所述第三输出指示所述主体部分存在第三状态,则确定所述主体部分被放置在用户的耳朵中;其中,所述第一状态指示所述主体部分存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态;所述第三状态指示所述主体部分处于接触状态。
在一些实现方式中,所述第三状态指示所述主体部分存在与耳朵接触的接触状态。
用户在佩戴无线耳机的过程中,可以握住无线耳机的柄部部分,并将主体部分放置在耳中,此时位于主体部分的电容传感器可以检测到无线耳机的主体部分与耳朵接触,通过对电容传感器的第三输出的解析,可以确定出主体部分存在与耳朵接触的接触状态。
本实施例中,不只是通过确定主体部分是否与外界物体接触,来确定无线耳机被佩戴,而是在确定出主体部分存在与耳朵接触的接触状态,才会确定无线耳机被佩戴。本实施例可以更好的将无线耳机佩戴状态与其他干扰场景(例如与衣服等其他障碍物接触等)区分开,进而准确的分析出无线耳机所处的佩戴状态,提高了无线耳机佩戴状态识别的准确性。
上述实现可以基于神经网络模型来实现,通过训练神经网络模型,使得其具备区分与耳朵接触的接触状态和其他接触状态(例如与衣服等其他障碍物接触等)的能力。进而,通过该预训练好的神经网络模型对第三输出进行处理,确定出主体部分存在与耳朵接触的接触状态。
在一些实现方式中,所述第三状态指示所述主体部分由未接触状态变为与耳朵接触的接触状态。
用户在佩戴无线耳机的过程中,可以握住无线耳机的柄部部分,此时主体部分处于未接触状态,将主体部分放置在耳中之后,主体部分处于与耳朵接触的接触状态。此时位于主体部分的电容传感器可以检测到无线耳机的主体部分的接触状态变化,通过对电容传感器的第三输出的解析,可以确定出主体部分由未接触状态变为与耳朵接触的接触状态。
本实施例中,将主体部分的接触状态变化作为判断无线耳机佩戴状态的依据,可以更好的将无线耳机佩戴状态与其他干扰场景(例如和处于被耳朵接触的接触状态的相似场景等)区分开,进而准确的分析出无线耳机所处的佩戴状态,提高了无线耳机佩戴状态识别的准确性。
在一些实现方式中,所述第三状态指示由所述柄部部分与手部接触的接触状态变为所述主体部分与耳朵接触的接触状态。
用户在佩戴无线耳机的过程中,可以握住无线耳机的柄部部分,此时柄部部分处于与手部接触的接触状态,将主体部分放置在耳中之后,主体部分处于与耳朵接触的接触状态。相应的,位于柄部部分和主体部分的电容传感器可以检测到无线耳机由所述柄部部分与手部接触的接触状态变为所述主体部分与耳朵接触的接触状态,通过对电容传感器的第三输出的解析,可以确定出由所述柄部部分与手部接触的接触状态变为所述主体部分与耳朵接触的接触状态。
本实施例中,将柄部部分和主体部分的接触状态变化作为判断无线耳机佩戴状态的依据,可以更好的将无线耳机佩戴状态与其他干扰场景区分开,进而准确的分析出无线耳机所处的佩戴状态,提高了无线耳机佩戴状态识别的准确性。
在一些实现方式中,所述根据所述第一输出和所述第三输出确定所述主体部分是否被放置在用户的耳朵中,包括:至少以所述第一输出和所述第三输出为模型输入,通过神经网络模型确定所述主体部分是否被放置在用户的耳朵中。
具体的,若神经网络模型部署在服务器,则本申请实施例中由无线耳机和服务器组成的系统还可以执行如下步骤:
无线耳机获取其传感器系统的第一输出,所述第一输出指示所述外壳的移动状态;
无线耳机向服务器发送所述第一输出;
服务器根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中;
服务器将确定结果发送至无线耳机。
需要说明的是,上述确定结果可以表示出所述主体部分是否被放置在用户的耳朵中,例如确定结果可以是一个字符串。
在一种实现中,所述服务器根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中,包括:
若所述第一输出至少指示所述主体部分存在第一状态,则服务器确定所述主体部分被放置在用户的耳朵中;
其中,所述第一状态指示所述主体部分存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态。
在一种实现中,所述第一状态指示所述主体部分由移动至耳朵的移动状态变为与调整所述主体部分在耳朵中的位置的过程相对应的震动状态。
在一种实现中,所述服务器根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中,包括:
若所述第一输出至少指示所述主体部分振动幅度在第一预设范围内,且所述主体部分的振动频率在第二预设范围内,则服务器确定所述主体部分被放置在用户的耳朵中。
在一种实现中,所述服务器根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中,包括:
服务器至少以所述第一输出为模型输入,通过神经网络模型确定所述主体部分是否被放置在用户的耳朵中。
在一种实现中,所述方法还包括:
无线耳机获取所述传感器系统的第二输出;所述第二输出指示所述主体部分的被遮挡情况;所述方法还包括:
无线耳机向服务器发送所述第二输出;
相应的,所述服务器根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中,包括:
服务器根据所述第一输出和所述第二输出确定所述主体部分是否被放置在用户的耳朵中。
在一种实现中,所述服务器根据所述第一输出和所述第二输出确定所述主体部分是否被放置在用户的耳朵中,包括:
若所述第一输出指示所述主体部分存在第一状态,且所述第二输出至少指示所述主体部分存在第二状态,则服务器确定所述主体部分被放置在用户的耳朵中;
其中,所述第一状态指示所述主体部分存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态,所述第二状态指示所述主体部分存在被遮挡状态。
在一种实现中,所述第二状态指示所述主体部分存在被耳朵遮挡的遮挡状态。
在一种实现中,所述第二状态指示所述主体部分由未被遮挡状态变为被耳朵遮挡的遮挡状态。
在一种实现中,所述第二状态指示由所述柄部部分被手部遮挡的遮挡状态变为所述主体部分被耳朵遮挡的遮挡状态。
在一种实现中,所述传感器系统包括接近光传感器,所述接近光传感器用于输出所述第二输出,所述第二输出表示所述接近光传感器接收到的光能量大小,所述第二状态指示所述主体部分在维持被耳朵遮挡的情况下,所述第二输出的值大于第一阈值。
在一种实现中,所述服务器根据所述第一输出和所述第二输出确定所述主体部分是否被放置在用户的耳朵中,包括:
服务器至少以所述第一输出和所述第二输出为模型输入,通过神经网络模型确定所述主体部分是否被放置在用户的耳朵中。
在一种实现中,所述方法还包括:
无线耳机获取所述传感器系统的第三输出;所述第三输出指示所述主体部分的接触状态;所述方法还包括:
无线耳机向服务器发送所述第三输出;
相应的,所述服务器根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中,包括:
服务器根据所述第一输出和所述第三输出确定所述主体部分是否被放置在用户的耳朵中。
在一种实现中,所述服务器根据所述第一输出和所述第三输出确定所述主体部分是否被放置在用户的耳朵中,包括:
服务器若所述第一输出指示所述主体部分存在第一状态、所述第三输出指示所述主体部分存在第三状态,则确定所述主体部分被放置在用户的耳朵中;其中,
所述第一状态指示所述主体部分存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态;所述第三状态指示所述主体部分存在接触状态。
在一种实现中,所述第三状态指示所述主体部分存在与耳朵接触的接触状态。
在一种实现中,所述第三状态指示所述主体部分由未接触状态变为与耳朵接触的接触状态。
在一种实现中,所述第三状态指示由所述柄部部分与手部接触的接触状态变为所述主体部分与耳朵接触的接触状态。
在一种实现中,所述服务器根据所述第一输出和所述第三输出确定所述主体部分是否被放置在用户的耳朵中,包括:
服务器至少以所述第一输出和所述第三输出为模型输入,通过神经网络模型确定所述主体部分是否被放置在用户的耳朵中。
第二方面,本申请提供了一种无线耳机的双击状态确定方法,所述无线耳机包括外壳和传感器系统,所述方法包括:获取所述传感器系统的第一输出,所述第一输出指示所述外壳的移动状态;以所述第一输出为模型输入,通过神经网络模型确定所述外壳是否被外界物体双击。
需要说明的是,神经网络模型的模型输入可以包括所述第一输出或者其他数据,在训练神经网络模型时,可以将大量与无线耳机外壳被外界物体双击相对应的加速度数据作为训练样本,通过训练神经网络模型,以使得神经网络模型能学习到识别出传感器系统的输出外壳是否被外界物体双击的能力。
本实施例中,基于预训练好的神经网络模型确定所述外壳是否被外界物体双击,由于神经网络模型可以学习到相比于普通数据处理算法更多的内容,具备更好的将无线耳机的双击状态与其余干扰场景区分开的能力,提高了无线耳机双击状态识别的准确性。
在一些实现方式中,所述以所述第一输出为模型输入,通过神经网络模型确定所述外壳是否被外界物体双击,包括:若确定所述第一输出的数据峰值大于第二阈值、且所述第一输出的数据能量大于第三阈值、所述第一输出包含大于或等于两个波峰,则以所述第三输出为模型输入,通过神经网络模型确定所述外壳是否被外界物体双击。
本实施例采用分级检测方案,首先先通过普通的算法(该算法的算力开销可以较小)来检测加速度传感器输出数据的数学特征(峰值、数据能量以及波峰数量等),上述数据特征的确定可以不需要算力开销很大的算法或者神经网络来完成,通过判断确定的数学特征是否满足双击所对应的条件,来完成第一步的初筛,只有满足条件的加速度传感器数据才会进入神经网络模型(算力开销较大)来进行无线耳机双击状态的检测。
具体的,只有当第一输出的数据峰值大于第二阈值、且所述第一输出的数据能量大于第三阈值、所述第一输出包含大于或等于两个波峰时,才会通过神经网络模型进行无线耳机佩戴状态的检测,本实施例中,神经网络模型识别不会一直运行,很大程度上降低了耳机功耗。
具体的,若神经网络模型部署在服务器,则本申请实施例中由无线耳机和服务器组成的系统还可以执行如下步骤:
无线耳机获取其传感器系统的第一输出,所述第一输出指示所述外壳的移动状态;
无线耳机向服务器发送所述第一输出;
服务器以所述第一输出为模型输入,通过神经网络模型确定所述外壳是否被外界物体双击;
服务器将确定结果发送至无线耳机。
需要说明的是,上述确定结果可以表示出所述外壳是否被外界物体双击,例如确定结果可以是一个字符串。
可选的,服务器以所述第一输出为模型输入,通过神经网络模型确定所述外壳是否被外界物体双击,包括:服务器若确定所述第一输出的数据峰值大于第二阈值、且所述第一输出的数据能量大于第三阈值、所述第一输出包含大于或等于两个波峰,则以所述第三输出为模型输入,通过神经网络模型确定所述外壳是否被外界物体双击。
第三方面,本申请提供了一种无线耳机,所述无线耳机包括外壳、传感器系统以及处理器,所述传感器系统与所述处理器连接,所述外壳具有主体部分和从所述主体部分延伸的柄部部分,其特征在于,
所述处理器用于获取所述传感器系统的第一输出,所述第一输出指示所述外壳的移动状态;
根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中。
在一些实现方式中,所述处理器具体用于若所述第一输出至少指示所述主体部分存在第一状态,则确定所述主体部分被放置在用户的耳朵中;
其中,所述第一状态指示所述主体部分存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态。
在一些实现方式中,所述第一状态指示所述主体部分由移动至耳朵的移动状态变为与调整所述主体部分在耳朵中的位置的过程相对应的震动状态。
在一些实现方式中,所述处理器具体用于若所述第一输出至少指示所述主体部分振动幅度在第一预设范围内,且所述主体部分的振动频率在第二预设范围内,则确定所述主体部分被放置在用户的耳朵中。
在一些实现方式中,所述处理器具体用于至少以所述第一输出为模型输入,通过神经网络模型确定所述主体部分是否被放置在用户的耳朵中。
在一些实现方式中,所述处理器还用于获取所述传感器系统的第二输出;所述第二输出指示所述主体部分的被遮挡情况;
根据所述第一输出和所述第二输出确定所述主体部分是否被放置在用户的耳朵中。
在一些实现方式中,所述处理器具体用于若所述第一输出指示所述主体部分存在第一状态,且所述第二输出至少指示所述主体部分存在第二状态,则确定所述主体部分被放置在用户的耳朵中;
其中,所述第一状态指示所述主体部分存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态,所述第二状态指示所述主体部分存在被遮挡状态。
在一些实现方式中,所述第二状态指示所述主体部分存在被耳朵遮挡的遮挡状态。
在一些实现方式中,所述第二状态指示所述主体部分由未被遮挡状态变为被耳朵遮挡的遮挡状态。
在一些实现方式中,所述第二状态指示由所述柄部部分被手部遮挡的遮挡状态变为所述主体部分被耳朵遮挡的遮挡状态。
在一些实现方式中,所述传感器系统包括接近光传感器,所述接近光传感器用于输出所述第二输出,所述第二输出表示所述接近光传感器接收到的光能量大小,所述第二状态指示所述主体部分在维持被耳朵遮挡的情况下,所述第二输出的值大于第一阈值。
在一些实现方式中,所述处理器具体用于至少以所述第一输出和所述第二输出为模型输入,通过神经网络模型确定所述主体部分是否被放置在用户的耳朵中。
在一些实现方式中,所述处理器还用于获取所述传感器系统的第三输出;所述第三输出指示所述主体部分的接触状态;
根据所述第一输出和所述第三输出确定所述主体部分是否被放置在用户的耳朵中。
在一些实现方式中,所述处理器具体用于若所述第一输出指示所述主体部分存在第一状态、所述第三输出指示所述主体部分存在第三状态,则确定所述主体部分被放置在用户的耳朵中;其中,
所述第一状态指示所述主体部分存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态;所述第三状态指示所述主体部分处于接触状态。
在一些实现方式中,所述第三状态指示所述主体部分存在与耳朵接触的接触状态。
在一些实现方式中,所述第三状态指示所述主体部分由未接触状态变为与耳朵接触的接触状态。
在一些实现方式中,所述第三状态指示由所述柄部部分与手部接触的接触状态变为所述主体部分与耳朵接触的接触状态。
在一些实现方式中,所述处理器具体用于至少以所述第一输出和所述第三输出为模型输入,通过神经网络模型确定所述主体部分是否被放置在用户的耳朵中。
第四方面,本申请提供了一种无线耳机,所述无线耳机包括外壳、传感器系统和处理器,所述处理器用于获取所述传感器系统的第一输出,所述第一输出指示所述外壳的移动状态;以所述第一输出为模型输入,通过神经网络模型确定所述外壳是否被外界物体双击
在一些实现方式中,所述处理器具体用于在第一预设时间段内,若确定所述第一输出的数据峰值大于第二阈值、且所述第一输出的数据能量大于第三阈值、所述第一输出包含大于或等于两个波峰,则以所述第三输出为模型输入,通过神经网络模型确定所述外壳是否被外界物体双击。
第五方面,本申请提供了一种无线耳机的佩戴状态确定装置,所述无线耳机包括外壳以及传感器系统,所述外壳具有主体部分和从所述主体部分延伸的柄部部分,所述装置包括:
获取模块,用于获取所述传感器系统的第一输出,所述第一输出指示所述外壳的移动状态;
确定模块,用于根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中。
在一些实现方式中,所述确定模块,具体用于:
若所述第一输出至少指示所述主体部分存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态,则确定所述主体部分被放置在用户的耳朵中;
其中,所述第一状态指示所述主体部分存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态。
在一些实现方式中,所述第一状态指示所述主体部分由移动至耳朵的移动状态变为与调整所述主体部分在耳朵中的位置的过程相对应的震动状态。
在一些实现方式中,所述确定模块,具体用于:
若所述第一输出至少指示所述主体部分振动幅度在第一预设范围内,且所述主体部分的振动频率在第二预设范围内,则确定所述主体部分被放置在用户的耳朵中。
在一些实现方式中,所述确定模块,具体用于:
至少以所述第一输出为模型输入,通过神经网络模型确定所述主体部分是否被放置在用户的耳朵中。
在一些实现方式中,所述获取模块,用于获取所述传感器系统的第二输出;所述第二输出指示所述主体部分的被遮挡情况;相应的,所述确定模块,用于根据所述第一输出和所述第二输出确定所述主体部分是否被放置在用户的耳朵中。
在一些实现方式中,所述确定模块,具体用于:
若所述第一输出指示所述主体部分存在第一状态,且所述第二输出至少指示所述主体部分存在第二状态,则确定所述主体部分被放置在用户的耳朵中;
其中,所述第一状态指示所述主体部分存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态,所述第二状态指示所述主体部分存在被遮挡状态。
在一些实现方式中,所述第二状态指示所述主体部分存在被耳朵遮挡的遮挡状态。
在一些实现方式中,所述第二状态指示所述主体部分由未被遮挡状态变为被耳朵遮挡的遮挡状态。
在一些实现方式中,所述第二状态指示由所述柄部部分被手部遮挡的遮挡状态变为所述主体部分被耳朵遮挡的遮挡状态。
在一些实现方式中,所述传感器系统包括接近光传感器,所述接近光传感器用于输出所述第二输出,所述第二输出表示所述接近光传感器接收到的光能量大小,所述第二状态指示所述主体部分在维持被耳朵遮挡的情况下,所述第二输出的值大于第一阈值。
在一些实现方式中,所述确定模块,具体用于:
至少以所述第一输出和所述第二输出为模型输入,通过神经网络模型确定所述主体部分是否被放置在用户的耳朵中。
在一些实现方式中,所述获取模块,具体用于:
获取所述传感器系统的第三输出;所述第三输出指示所述主体部分的接触状态;相应的,所述根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中,包括:
所述确定模块,具体用于:
根据所述第一输出和所述第三输出确定所述主体部分是否被放置在用户的耳朵中。
在一些实现方式中,所述确定模块,具体用于:
若所述第一输出指示所述主体部分存在第一状态、所述第三输出指示所述主体部分存在第三状态,则确定所述主体部分被放置在用户的耳朵中;其中,
所述第一状态指示所述主体部分存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态;所述第三状态指示所述主体部分处于接触状态。
在一些实现方式中,所述第三状态指示所述主体部分存在与耳朵接触的接触状态。
在一些实现方式中,所述第三状态指示所述主体部分由未接触状态变为与耳朵接触的接触状态。
在一些实现方式中,所述第三状态指示由所述柄部部分与手部接触的接触状态变为所述主体部分与耳朵接触的接触状态。
在一些实现方式中,所述确定模块,具体用于:
至少以所述第一输出和所述第三输出为模型输入,通过神经网络模型确定所述主体部分是否被放置在用户的耳朵中。
第六方面,本申请提供了一种无线耳机的双击状态确定装置,所述无线耳机包括外壳和传感器系统,所述装置包括:
获取模块,用于获取所述传感器系统的第一输出,所述第一输出指示所述外壳的移动状态;
确定模块,用于以所述第一输出为模型输入,通过神经网络模型确定所述外壳是否被外界物体双击。
在一些实现方式中,所述确定模块,具体用于:
若确定所述第一输出的数据峰值大于第二阈值、且所述第一输出的数据能量大于第三阈值、所述第一输出包含大于或等于两个波峰,则以所述第三输出为模型输入,通过神经网络模型确定所述外壳是否被外界物体双击。
第七方面,本申请实施例提供了一种无线耳机的佩戴状态确定方法,所述无线耳机包括外壳以及传感器系统,所述外壳具有主体部分和从所述主体部分延伸的柄部部分,所述方法包括:
获取所述传感器系统的第一输出,所述第一输出指示所述外壳的移动状态;
若确定所述第一输出指示所述外壳的震动幅度在第一预设范围内,且所述外壳的震动频率在第二预设范围内,则通过神经网络模型确定所述主体部分被放置在用户的耳朵中。
本实施例采用分级检测方案,首先先通过普通的算法(该算法的算力开销可以较小)来检测加速度传感器输出数据的数学特征(震动幅度以及震动频率),上述数据特征的确定可以不需要算力开销很大的算法或者神经网络来完成,通过判断确定的数学特征是否满足主体部分被放置在用户的耳朵中所对应的条件(所述外壳的震动幅度在第一预设范围内,且所述外壳的震动频率在第二预设范围内),来完成第一步的初筛,只有满足条件的加速度传感器数据才会进入神经网络模型(算力开销较大)来进行无线耳机佩戴状态的检测。
具体的,只有当所述外壳的震动幅度在第一预设范围内,且所述外壳的震动频率在第二预设范围内时,才会通过神经网络模型来进行无线耳机佩戴状态的检测,神经网络模型识别不会一直运行,很大程度上降低了耳机功耗。
在一些实现方式中,所述传感器系统包括接近光传感器,所述接近光传感器用于输出所述第二输出,所述第二输出表示所述接近光传感器接收到的光能量大小,所述方法还包括:
获取所述接近光传感器的第二输出;
相应的,所述若确定所述第一输出指示所述外壳的震动幅度在第一预设范围内,且所述外壳的震动频率在第二预设范围内,包括:
若确定所述第一输出指示所述外壳的震动幅度在第一预设范围内、所述外壳的震动频率在第二预设范围内、且所述第二输出指示进入所述接近光传感器接收到的光能量大小在第三预设范围内,则通过神经网络模型确定所述主体部分被放置在用户的耳朵中。
本实施例只有当所述外壳的震动幅度在第一预设范围内、所述外壳的震动频率在第二预设范围内、且所述第二输出指示进入所述接近光传感器接收到的光能量大小在第三预设范围内时,才会通过神经网络模型来进行无线耳机佩戴状态的检测,神经网络模型识别不会一直运行,进一步降低了耳机功耗。
在一些实现方式中,所述传感器系统包括电容传感器,所述电容用于输出第三输出,所述方法还包括:
获取所述电容传感器的第三输出;
相应的,所述若确定所述第一输出指示所述外壳的震动幅度在第一预设范围内,且所述外壳的震动频率在第二预设范围内,包括:
若确定所述第一输出指示所述外壳的震动幅度在第一预设范围内、所述外壳的震动频率在第二预设范围内、且所述第三输出在第三预设范围内,则通过神经网络模型确定所述主体部分被放置在用户的耳朵中。
本实施例只有当所述外壳的震动幅度在第一预设范围内、所述外壳的震动频率在第二预设范围内、且所述第三输出在第三预设范围内时,才会通过神经网络模型来进行无线耳机佩戴状态的检测,神经网络模型识别不会一直运行,进一步降低了耳机功耗。
第八方面,本申请实施例提供了一种无线耳机的佩戴状态确定装置,所述无线耳机包括外壳以及传感器系统,所述外壳具有主体部分和从所述主体部分延伸的柄部部分,所述装置包括:
获取模块,用于获取所述传感器系统的第一输出,所述第一输出指示所述外壳的移动状态;
确定模块,用于若确定所述第一输出指示所述外壳的震动幅度在第一预设范围内,且所述外壳的震动频率在第二预设范围内,则通过神经网络模型确定所述主体部分被放置在用户的耳朵中。
在一些实现方式中,所述传感器系统包括接近光传感器,所述接近光传感器用于输出所述第二输出,所述第二输出表示所述接近光传感器接收到的光能量大小,所述获取模块,用于:
获取所述接近光传感器的第二输出;
相应的,所述确定模块,用于:
若确定所述第一输出指示所述外壳的震动幅度在第一预设范围内、所述外壳的震动频率在第二预设范围内、且所述第二输出指示进入所述接近光传感器接收到的光能量大小在第三预设范围内,则通过神经网络模型确定所述主体部分被放置在用户的耳朵中。
在一些实现方式中,所述传感器系统包括电容传感器,所述电容用于输出第三输出,所述获取模块,用于:
获取所述电容传感器的第三输出;
相应的,所述确定模块,用于:
若确定所述第一输出指示所述外壳的震动幅度在第一预设范围内、所述外壳的震动频率在第二预设范围内、且所述第三输出在第三预设范围内,则通过神经网络模型确定所述主体部分被放置在用户的耳朵中。
第九方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行上述第一方面任一所述的无线耳机的佩戴状态确定方法。
第十方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行上述第二方面任一所述的无线耳机的双击状态确定方法。
第十一方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行上述第七方面任一所述的无线耳机的佩戴状态确定方法。
第十二方面,本申请实施例提供了一种计算机程序,当其在计算机上运行时,使得计算机执行上述第一方面任一所述的无线耳机的佩戴状态确定方法。
第十三方面,本申请实施例提供了一种计算机程序,当其在计算机上运行时,使得计算机执行上述第二方面任一所述的无线耳机的双击状态确定方法。
第十三方面,本申请实施例提供了一种计算机程序,当其在计算机上运行时,使得计算机执行上述第七方面任一所述的无线耳机的佩戴状态确定方法。
第十四方面,本申请提供了一种芯片系统,该芯片系统包括处理器,用于支持执行设备或训练设备实现上述方面中所涉及的功能,例如,发送或处理上述方法中所涉及的数据和/或信息。在一种可能的设计中,所述芯片系统还包括存储器,所述存储器,用于保存执行设备或训练设备必要的程序指令和数据。该芯片系统,可以由芯片构成,也可以包括芯片和其他分立器件。
本实施例通过将指示所述外壳的移动状态的传感器系统输出作为判断无线耳机佩戴状态的依据,可以从无线耳机的移动状态这个维度作为判断耳机佩戴状态的参考,较准确的将无线耳机佩戴状态与上述干扰场景区分开,进而准确的分析出无线耳机所处的佩戴状态,提高了无线耳机佩戴状态识别的准确性。
附图说明
图1为人工智能主体框架的一种结构示意图;
图2为本申请实施例提供的一种无线耳机系统的示意图;
图3为本申请实施例提供的一种无线耳机系统的示意图;
图4为一种无线耳机的耳机本体的结构示意图;
图5为本申请实施例提供的一种无线耳机的佩戴状态确认方法的实施例示意;
图6为一种无线耳机的佩戴状态确定方法的流程示意;
图7为本申请实施例提供的一种无线耳机的佩戴状态确认方法的实施例示意;
图8a为本申请实施例提供的一种无线耳机的双击状态确定方法的流程示意;
图8b为本申请实施例提供的一种无线耳机的佩戴状态确定方法的流程示意;
图8c为本申请实施例提供的一种无线耳机的佩戴状态确定方法的流程示意;
图9a为本申请实施例提供的一种系统架构示意;
图9b为本申请神经网络模型部署的流程示意;
图10为本申请实施例提供的无线耳机的佩戴状态确定装置的一种结构示意图;
图11为本申请实施例提供的一种无线耳机的双击状态确定装置的结构示意;
图12为本申请实施例提供的执行设备的一种结构示意图;
图13为本申请实施例提供的芯片的一种结构示意图。
具体实施方式
下面结合本发明实施例中的附图对本发明实施例进行描述。本发明的实施方式部分使用的术语仅用于对本发明的具体实施例进行解释,而非旨在限定本发明。
下面结合附图,对本申请的实施例进行描述。本领域普通技术人员可知,随着技术的发展和新场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
首先对人工智能系统总体工作流程进行描述,请参见图1,图1示出的为人工智能主体框架的一种结构示意图,下面从“智能信息链”(水平轴)和“IT价值链”(垂直轴)两个维度对上述人工智能主题框架进行阐述。其中,“智能信息链”反映从数据的获取到处理的一列过程。举例来说,可以是智能信息感知、智能信息表示与形成、智能推理、智能决策、智能执行与输出的一般过程。在这个过程中,数据经历了“数据—信息—知识—智慧”的凝练过程。“IT价值链”从人智能的底层基础设施、信息(提供和处理技术实现)到系统的产业生态过程,反映人工智能为信息技术产业带来的价值。
(1)基础设施
基础设施为人工智能系统提供计算能力支持,实现与外部世界的沟通,并通过基础平台实现支撑。通过传感器与外部沟通;计算能力由智能芯片(CPU、NPU、GPU、ASIC、FPGA等硬件加速芯片)提供;基础平台包括分布式计算框架及网络等相关的平台保障和支持,可以包括云存储和计算、互联互通网络等。举例来说,传感器和外部沟通获取数据,这些数据提供给基础平台提供的分布式计算系统中的智能芯片进行计算。
(2)数据
基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、图像、语音、文本,还涉及到传统设备的物联网数据,包括已有系统的业务数据以及力、位移、液位、温度、湿度等感知数据。
(3)数据处理
数据处理通常包括数据训练,机器学习,深度学习,搜索,推理,决策等方式。
其中,机器学习和深度学习可以对数据进行符号化和形式化的智能信息建模、抽取、预处理、训练等。
推理是指在计算机或智能系统中,模拟人类的智能推理方式,依据推理控制策略,利用形式化的信息进行机器思维和求解问题的过程,典型的功能是搜索与匹配。
决策是指智能信息经过推理后进行决策的过程,通常提供分类、排序、预测等功能。
(4)通用能力
对数据经过上面提到的数据处理后,进一步基于数据处理的结果可以形成一些通用的能力,比如可以是算法或者一个通用系统,例如,翻译,文本的分析,计算机视觉的处理,语音识别,图像的识别等等。
(5)智能产品及行业应用
智能产品及行业应用指人工智能系统在各领域的产品和应用,是对人工智能整体解决方案的封装,将智能信息决策产品化、实现落地应用,其应用领域主要包括:智能便携式设备等等。
由于本申请实施例涉及大量神经网络的应用,为了便于理解,下面先对本申请实施例可能涉及的神经网络的相关术语和概念进行介绍。
(1)神经网络
神经网络可以是由神经单元组成的,神经单元可以是指以xs和截距1为输入的运算单元,该运算单元的输出可以为:
Figure BDA0002438523870000171
其中,s=1、2、……、n,n为大于1的自然数,Ws为Xs的权重,b为神经单元的偏置。f为神经单元的激活函数(activation functions),用于将非线性特性引入神经网络中,来将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入,激活函数可以是sigmoid函数。神经网络是将多个上述单一的神经单元联结在一起形成的网络,即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连,来提取局部接受域的特征,局部接受域可以是由若干个神经单元组成的区域。
(2)深度神经网络
深度神经网络(deep neural network,DNN),也称多层神经网络,可以理解为具有多层隐含层的神经网络。按照不同层的位置对DNN进行划分,DNN内部的神经网络可以分为三类:输入层,隐含层,输出层。一般来说第一层是输入层,最后一层是输出层,中间的层数都是隐含层。层与层之间是全连接的,也就是说,第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。
虽然DNN看起来很复杂,但是就每一层的工作来说,其实并不复杂,简单来说就是如下线性关系表达式:
Figure BDA0002438523870000181
其中,
Figure BDA0002438523870000182
是输入向量,
Figure BDA0002438523870000183
是输出向量,
Figure BDA0002438523870000184
是偏移向量,W是权重矩阵(也称系数),α()是激活函数。每一层仅仅是对输入向量
Figure BDA0002438523870000185
经过如此简单的操作得到输出向量
Figure BDA0002438523870000186
由于DNN层数多,系数W和偏移向量
Figure BDA0002438523870000187
的数量也比较多。这些参数在DNN中的定义如下所述:以系数W为例:假设在一个三层的DNN中,第二层的第4个神经元到第三层的第2个神经元的线性系数定义为
Figure BDA0002438523870000188
上标3代表系数W所在的层数,而下标对应的是输出的第三层索引2和输入的第二层索引4。
综上,第L-1层的第k个神经元到第L层的第j个神经元的系数定义为
Figure BDA0002438523870000189
需要注意的是,输入层是没有W参数的。在深度神经网络中,更多的隐含层让网络更能够刻画现实世界中的复杂情形。理论上而言,参数越多的模型复杂度越高,“容量”也就越大,也就意味着它能完成更复杂的学习任务。训练深度神经网络的也就是学习权重矩阵的过程,其最终目的是得到训练好的深度神经网络的所有层的权重矩阵(由很多层的向量W形成的权重矩阵)。
(3)卷积神经网络
卷积神经网络(convolutional neuron network,CNN)是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器,该特征抽取器可以看作是滤波器。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中,一个神经元可以只与部分邻层神经元连接。一个卷积层中,通常包含若干个特征平面,每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重,这里共享的权重就是卷积核。共享权重可以理解为提取图像信息的方式与位置无关。卷积核可以以随机大小的矩阵的形式初始化,在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外,共享权重带来的直接好处是减少卷积神经网络各层之间的连接,同时又降低了过拟合的风险。
(4)损失函数
在训练深度神经网络的过程中,因为希望深度神经网络的输出尽可能的接近真正想要预测的值,所以可以通过比较当前网络的预测值和真正想要的目标值,再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然,在第一次更新之前通常会有初始化的过程,即为深度神经网络中的各层预先配置参数),比如,如果网络的预测值高了,就调整权重向量让它预测低一些,不断地调整,直到深度神经网络能够预测出真正想要的目标值或与真正想要的目标值非常接近的值。因此,就需要预先定义“如何比较预测值和目标值之间的差异”,这便是损失函数(loss function)或目标函数(objective function),它们是用于衡量预测值和目标值的差异的重要方程。其中,以损失函数举例,损失函数的输出值(loss)越高表示差异越大,那么深度神经网络的训练就变成了尽可能缩小这个loss的过程。
(5)反向传播算法
神经网络可以采用误差反向传播(back propagation,BP)算法在训练过程中修正初始的神经网络模型中参数的大小,使得神经网络模型的重建误差损失越来越小。具体地,前向传递输入信号直至输出会产生误差损失,通过反向传播误差损失信息来更新初始的神经网络模型中参数,从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动,旨在得到最优的神经网络模型的参数,例如权重矩阵。
无线耳机可以与手机、笔记本电脑、手表等电子设备配合使用,处理电子设备的媒体、通话等音频业务,以及其他一些数据业务。例如,该音频业务可以包括为用户播放音乐、录音、视频文件中的声音、游戏中的背景音乐、来电提示音等媒体业务;还可以包括在电话、微信语音消息、音频通话、视频通话、游戏、语音助手等通话业务场景下,为用户播放对端的语音数据,或采集用户的语音数据发送给对端等。
请参考图2,其示出本申请实施例提供的一种无线耳机系统的示意图。如图2所示,无线耳机系统100可以包括无线耳机11和耳机盒12。
其中,无线耳机11包括可以配合用户的左、右耳使用的一对耳机本体,如一对耳机本体111。其中,该无线耳机11具体可以为耳塞式,挂耳式或入耳式耳机等。例如,该无线耳机11可以是真无线立体声(true wireless stereo,TWS)耳机。
耳机盒12可以用于收纳耳机本体111。例如,耳机盒12包括两个收纳腔121。收纳腔121用于收纳耳机本体111。
需要说明的是,图2中示出的耳机本体111可以包括后文实施例中描述的主体部分和柄部部分。
需要说明的是,图2仅以举例方式给出无线耳机系统的一种产品形态实例示意图,本申请实施例提供的无线耳机包括但不限于图2所示的无线耳机11,耳机盒包括但不限于图2所示的耳机盒12。例如,本申请实施例提供的无线耳机系统还可以是图3所示的无线耳机系统200。如图3所示,无线耳机系统200包括无线耳机21和耳机盒22。无线耳机21包括两个耳机本体211。耳机盒22包括用于收纳耳机本体211的收纳腔。当然,一些无线耳机也可以仅包括一个耳机本体,本申请实施例这里不予一一介绍。
示例性的,图4示出了一种无线耳机的耳机本体300的结构示意图。该耳机本体300可以包括处理器301、存储器302、无线通信模块303、音频模块304、电源模块305、多个输入/输出接口306、传感器模块307等。该处理器301可以包括一个或多个接口,用于与耳机本体300的其他部件相连。其中,该一个或多个接口可以包括:IO接口(也称为IO引脚)、中断引脚和数据总线接口等。其中,数据总线接口可以包括:SPI接口、I2C接口和I3C接口中的一个或多个。例如,本申请实施例中,处理器301可以通过IO引脚、中断引脚或数据总线接口连接磁传感器。该耳机本体300通过耳机盒进行收纳。
其中,存储器302可以用于存储程序代码,如用于耳机本体300进行充电,耳机本体300与其他电子设备进行无线配对连接,或耳机本体300与电子设备进行无线通信的程序代码等。存储器302中还可以存储有用于唯一标识无线耳机的蓝牙地址。另外,该存储器302中还可以存储有与无线耳机之前成功配对过的电子设备的连接数据。例如,该连接数据可以为与该无线耳机成功配对过的电子设备的蓝牙地址。基于该连接数据,无线耳机能够与该电子设备自动配对,而不必配置与其之间的连接,如进行合法性验证等。上述蓝牙地址可以为媒体访问控制(media access control,MAC)地址。
处理器301可以用于执行上述应用程序代码,调用相关模块以实现本申请实施例中耳机本体300的功能。例如,实现耳机本体300的充电功能,无线通信功能,音频数据播放功能,以及出入盒检测功能等。处理器301可以包括一个或多个处理单元,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器301中。处理器301具体可以是集成的控制芯片,也可以由包括各种有源和/或无源部件的电路组成,且该电路被配置为执行本申请实施例描述的属于处理器301的功能。其中,耳机本体300的处理器可以是微处理器。
上述传感器模块307可以包括距离传感器和/或接近光传感器。例如,如图4所示,传感器模块307包括接近光传感器和/或距离传感器。例如,处理器301可以利用距离传感器来采集的数据检测耳机本体300附近是否有物体。处理器301可以从传感器模块307中获取相应的数据,并通过处理获取到的数据确定耳机本体300是否被佩戴,在确定耳机本体300被佩戴时,处理器301可以打开耳机本体300的扬声器。在一些实施例中,该耳机本体300还可以包括骨传导传感器,结合成骨传导耳机。利用该骨传导传感器,处理器301可以获取声部振动骨块的振动信号,解析出语音信号,实现语音功能。再例如,耳机本体300的外表面还可以包括:触摸传感器,用于检测用户的触摸操作;指纹传感器,用于检测用户指纹,识别用户身份等;环境光传感器,可以根据感知的环境光的亮度,自适应调节一些参数(如音量大小);电容传感器可用于感测是否被用户正在佩戴耳机。与光学传感器相比,电容传感器可消耗显著更少的功率,所以,在一些配置中,一对耳机中的光学传感器可在不使用时断电,并且然后响应于来自耳机中的电容传感器的输出被接通。电容传感器也可用作独立的传感器(例如,电容传感器可用于不使用光学感测的耳机中)。
接近光传感器可提供对传感器和外部对象之间的距离的测量。该测量可以用标准化距离D(例如,0和1之间的值)来表示。传感器系统可以包括加速度传感器,例如可使用三轴加速度传感器(例如,产生用于三个正交轴--X轴,Y轴和Z轴的输出的加速度传感器)来进行加速度的测量。
无线通信模块303可以用于,支持耳机本体300与其他电子设备或耳机盒之间包括蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),无线局域网(wireless local area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),调频(frequency modulation,FM),近距离无线通信技术(near fieldcommunication,NFC),红外技术(infrared,IR)等无线通信的数据交换。在一些实施例中,该无线通信模块303可以为蓝牙芯片。耳机本体300可以通过该蓝牙芯片与其他电子设备的蓝牙芯片之间进行配对并建立无线连接,以通过该无线连接实现耳机本体300和其他电子设备之间的无线通信。例如,本申请实施例中,无线通信模块303可以用于在处理器301确定耳机本体300出盒后,向与耳机本体300建立了无线连接(如蓝牙连接)的电子设备发送耳机盒的剩余电量。
另外,无线通信模块303还可以包括天线,无线通信模块303经由天线接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器301。无线通信模块303还可以从处理器301接收待发送的信号,对其进行调频,放大,经天线转为电磁波辐射出去。
音频模块304可以用于管理音频数据,实现耳机本体300输入和输出音频信号。例如,音频模块304可以从无线通信模块303获取音频信号,或者向无线通信模块303传递音频信号,实现通过耳机本体接打电话、播放音乐、启动/关闭与耳机连接的电子设备的语音助手、接收/发送用户的语音数据等功能。音频模块304可以包括用于输出音频信号的扬声器(或称听筒、受话器)组件,麦克风(或称话筒,传声器),与麦克风相配合的麦克收音电路等。扬声器可以用于将音频电信号转换成声音信号并播放。麦克风可以用于将声音信号转换为音频电信号。其中,音频模块304(如扬声器,也称为“喇叭”)中包括磁体(如磁铁)。耳机本体300周围的磁场包括该磁体产生的磁场。该磁体产生的磁场会影响耳机本体300的磁传感器采集的磁感应强度的大小。电源模块305,可以用于提供耳机本体300的系统电源,为耳机本体300各模块供电;支持耳机本体300接收充电输入等。电源模块305可以包括电源管理单元(power management unit,PMU)和电池(即第一电池)。其中,电源管理单元可以包括充电电路、压降调节电路、保护电路、电量测量电路等。充电电路可以接收外部的充电输入。压降调节电路可以将充电电路输入的电信号变压后输出给电池以完成对电池充电,还可以将电池输入的电信号变压后输出给音频模块304、无线通信模块303等其他模块。保护电路可以用于防止电池过充、过放、短路或过流等。在一些实施例中,电源模块305还可以包括无线充电线圈,用于对耳机本体300进行无线充电。另外,电源管理单元还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。
多个输入/输出接口306,可以用于提供耳机本体300与耳机盒之间进行充电或通信的有线连接。在一些实施例中,输入/输出接口306可以包括耳机电连接器,该耳机电连接器用于导通和传输电流。当耳机本体300放置于耳机盒的收纳腔内时,耳机本体300可以通过耳机电连接器与耳机盒中的电连接器建立电连接(例如耳机电连接器与耳机盒中的电连接器直接接触)。在该电连接建立后,耳机盒可以通过耳机电连接器和耳机盒中的电连接器的电流传输功能为耳机本体300中的电池充电。例如,该耳机电连接器可以为pogo pin、弹簧针、弹片、导电块、导电贴片、导电片、插针、插头、接触垫、插孔或插座等。在另一些实施例中,在该电连接建立后,耳机本体300还可以与耳机盒进行数据通信,例如可以接收来自耳机盒的配对指令。
可以理解的是,本申请实施例示意的结构并不构成对耳机本体300的具体限定。其可以具有比图4示出的更多的或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。例如,上述耳机本体的壳体上还可以设置有用于吸附耳机盒,使得耳机本体收纳于该收纳腔内的磁体(如磁铁)。耳机本体300周围的磁场包括该磁体产生的磁场。该磁体产生的磁场会影响耳机本体300的磁传感器采集的磁感应强度的大小。又例如,在耳机本体300的外表面还可以包括按键、指示灯(可以指示电量、呼入/呼出、配对模式等状态)、显示屏(可以提示用户相关信息)、防尘网(可以配合听筒使用)等部件。其中,该按键可以是物理按键或触摸按键(与触摸传感器配合使用)等,用于触发开机、关机、暂停、播放、录音、开始充电、停止充电等操作。
图4示出的各种部件可以在包括一个或多个信号处理或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
耳机盒还可以包括盒电源模块和多个输入/输出接口。该盒电源模块可以为耳机盒中的电气部件供电,该盒电源模块可以包括盒电池(即第二电池)。在一些实施例中,该输入/输出接口可以为盒电连接器,该盒电连接器与盒电源模块的电极电连接,可以用于导通和传输电流。耳机盒中可以包括分别与两个耳机本体相对应的两对盒电连接器。当耳机盒中的一对盒电连接器,分别与耳机本体中的两个耳机电连接器建立电连接后,耳机盒可以通过自身的盒电池为耳机本体中的电池充电。
在另一些实施例中,该耳机盒上可以设置有至少一个触摸控件,可以用于触发无线耳机进行配对复位或对无线耳机进行充电等功能。耳机盒还可以设置有一个或多个电量指示灯,以向用户提示耳机盒中电池的电量大小,以及耳机盒中每个耳机本体中电池的电量大小。
在另一些实施例中,耳机盒内还可以包括处理器,存储器等部件。该存储器可以用于存储应用程序代码,并由耳机盒的处理器来控制执行,以实现耳机盒的各项功能。例如,耳机盒的处理器通过执行存储在存储器中的应用程序代码,在无线耳机入盒,且耳机盒的盖子被盖合后向无线耳机充电等。
此外,该耳机盒上还可以设置有充电接口,用于耳机盒为自身的电池进行充电。耳机盒内还可以包括无线充电线圈,用于对耳机盒自身的电池进行无线充电。可以理解的是,该耳机盒还可以包括其他部件,此处不再一一说明。
以下实施例中的无线耳机和无线耳机的佩戴状态确认方法均可以在具有上述硬件结构的无线耳机中实现。
参照图5,图5为本申请实施例提供的一种无线耳机的佩戴状态确认方法的实施例示意,如图5示出的那样,本申请实施例提供的一种无线耳机的佩戴状态确认方法包括:
501、获取所述传感器系统的第一输出,所述第一输出指示所述外壳的移动状态。
本申请实施例中,无线耳机中的处理器可以采集传感器系统的输出数据、用户输入、和其他输入,并且可以用于响应于所检测到的状况而采取合适的动作。示例性的,当确定用户已将无线耳机放置在用户的耳中时,处理器可以打开无线耳机的音频播放功能。当确定用户已将无线耳机从用户的耳中除移时,处理器可以关闭无线耳机的音频播放功能。
本申请实施例中,无线耳机可以包括外壳以及传感器系统,所述外壳具有主体部分和从所述主体部分延伸的柄部部分。其中,外壳可以但不限于由以下材料所形成:塑料、金属、陶瓷、玻璃、蓝宝石或其他结晶材料、纤维基复合体(诸如玻璃纤维和碳纤维复合材料)、天然材料(诸如木材和棉花)、其他合适的材料,和/或这些材料的组合。外壳可具有容纳音频端口的主体部分和柄部部分。在操作期间,用户可抓住柄部部分,并且在保持柄部部分的抓握动作同时,将主要部分插入到耳中。当无线耳机被佩戴在用户的耳中时,柄部部分可与地球的重力(重力方向)对准。
本申请实施例中,处理器可以从传感器系统中获取输出数据,并基于获取到的输出数据确定无线耳机当前是否被佩戴在用户的耳中(即,无线耳机的主体部分当前是否放置于用户的耳中)。
本申请实施例中,传感器系统可以包括加速度传感器、接近光传感器和电容传感器。处理器可使用接近光传感器、加速度传感器、电容传感器形成用于入耳式检测的系统。
其中,接近光传感器可以使用反射光检测到附近的外部对象。接近光传感器可包括光源诸如红外发光二极管,该红外发光二极管可在操作期间发光,接近光传感器中的光检测器(例如,光电二极管)可监测经反射的红外光,在没有外部对象靠近无线耳机的情况下,所发射的红外光将不会朝向光检测器被反射回来,接近光传感器的输出较低。在无线耳机与外部对象距离较近的情况下,从红外光检测器所发射的一些红外光将被反射回到光检测器并将被检测。在这种情况下,外部对象的存在将使得接近光传感器的输出信号较高。当外部对象与接近光传感器相距中等距离时,可能产生中等水平的接近光传感器输出。
其中,加速度传感器可感测无线耳机的当前运动状态信息,加速度传感器可沿三个不同的维度(如X轴、Y轴和Z轴)来感测加速度。示例性的,Y轴可与无线耳机的柄部对准,并且Z轴可从Y轴垂直延伸穿过无线耳机中的扬声器,X轴可以与Y轴-Z轴平面垂直。
其中,电容传感器可感测与外接对象的接触情况,在无线耳机与外部对象接触的情况下,电容传感器的输出信号较高,在无线耳机未与外部对象接触的情况下,电容传感器的输出信号较低。
本申请实施例中,处理器可以获取传感器系统的第一输出、第二输出和第三输出,其中,所述第一输出指示所述主体部分的被遮挡情况,所述第二输出指示所述主体部分的接触状态,所述第三输出指示所述外壳的移动状态。
本申请实施例中,处理器可以获取到传感器系统的第二输出、第三输出和第一输出,其中,所述第二输出指示所述主体部分的被遮挡情况,所述第三输出指示所述主体部分的接触状态,所述第一输出指示所述外壳的移动状态,例如,第二输出的来源可以是接近光传感器,第三输出的来源可以是电容传感器,第一输出的来源可以是加速度传感器。
需要说明的是,传感器系统的各个输出(第二输出、第三输出和第一输出)可由处理器进行数字采样,并执行一些校准操作,这些校准操作可用于补偿传感器的偏差、刻度误差、温度影响、和传感器不准确度等等。具体的,就可以使用低通滤波器和高通滤波器和/或使用其他处理技术(例如,去除噪声)来进行处理。
本申请实施例中,处理器可以间隔一定时间(例如0.1s)获取一次加速度传感器的第一输出,第一输出的数据长度可以为预设时间(例如1s),获取一次电容传感器的第二输出,第二输出的数据长度可以为预设时间(例如0.5s),获取一次接近光传感器的第三输出,第三输出的数据长度可以为预设时间(例如0.5s)。
502、根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中。
本申请实施例中,可以根据所述第一输出、所述第二输出和所述第三输出确定所述主体部分是否被放置在用户的耳朵中。
本申请实施例中,处理器在获取到传感器系统的第二输出、第三输出和第一输出,其中,所述第二输出指示所述主体部分的被遮挡情况,所述第三输出指示所述主体部分的接触状态,所述第一输出指示所述外壳的移动状态之后,可以根据所述第二输出、所述第三输出和所述第一输出确定所述主体部分是否被放置在用户的耳朵中。
本申请实施例中,在第一预设时间段内,所述第二输出指示所述主体部分存在第二状态、所述第三输出指示所述主体部分存在第三状态,以及所述第一输出指示所述主体部分存在第一状态的情况下,确定所述主体部分被放置在用户的耳朵中;其中,所述第二状态指示所述主体部分处于被遮挡状态;所述第三状态指示所述主体部分处于接触状态;所述第一状态指示所述主体部分处于与调整所述主体部分在耳朵中的位置的过程相对应的震动状态。
在用户通过抓握将无线耳机的主体部分放置于耳朵的过程中,手指可以遮挡了部分进入接近光传感器的光线,且在无线耳机的主体部分放置于耳朵的情况下,耳朵可以遮挡部分进入接近光传感器的光线,此时,所述第二输出指示所述主体部分存在第二状态,所述第二状态指示所述主体部分处于被遮挡状态,具体的,所述第二状态指示所述主体部分处于被耳朵遮挡的遮挡状态。
在用户通过抓握将无线耳机的主体部分放置于耳朵的过程中,手指可以未遮挡进入接近光传感器的光线,且在无线耳机的主体部分放置于耳朵的情况下,耳朵可以遮挡部分进入接近光传感器的光线,此时,所述第二状态指示所述主体部分由未被遮挡状态变为被耳朵遮挡的遮挡状态。此时,所述第二状态指示由所述柄部部分被手部遮挡的遮挡状态变为所述主体部分被耳朵遮挡的遮挡状态。
具体的,所述第二输出在第一预设范围内,其中,第一预设范围可以根据实际确定,本申请实施例中并不限定。
本申请实施例中,用户可以抓握无线耳机,并将无线耳机的主体部分放置于耳朵中,此时,在第一预设时间段内,所述第三状态指示所述主体部分处于与耳朵接触的接触状态。具体的,所述第三状态指示所述主体部分由未接触状态变为与耳朵接触的接触状态。或者,所述第三状态指示由所述柄部部分与手部接触的接触状态变为所述主体部分与耳朵接触的接触状态。
在用户通过抓握将无线耳机的主体部分放置于耳朵的过程中,手指可以与电容传感器接触,且在无线耳机的主体部分放置于耳朵的情况下,耳朵可以与电容传感器接触,此时,所述第三状态指示由所述柄部部分与手部接触的接触状态变为所述主体部分与耳朵接触的接触状态。
在用户通过抓握将无线耳机的主体部分放置于耳朵的过程中,手指可以不与电容传感器接触,且在无线耳机的主体部分放置于耳朵的情况下,耳朵可以与电容传感器接触,此时,所述第三状态指示所述主体部分由未接触状态变为与耳朵接触的接触状态。
具体的,所述第三输出在第二预设范围内,其中,第二预设范围可以根据实际确定,本申请实施例中并不限定。
本申请实施例中,用户可以抓握无线耳机,并将无线耳机的主体部分放置于耳朵中,此时,所述第一状态指示所述主体部分由移动至耳朵的移动状态变为与调整所述主体部分在耳朵中的位置的过程相对应的震动状态。
在用户通过抓握将无线耳机的主体部分放置于耳朵的过程中,无线耳机在放置到耳朵中后,有一个调整无线耳机在耳朵中位置的过程,此时,无线耳机会出现相应的震动过程,进而,所述第一输出会相应存在多个波峰,且在调整无线耳机在耳朵中位置的过程中,该多个波峰的数据特征满足一定的条件,具体的,所述第一输出指示所述主体部分在子时间段内的振动幅度在第一预设范围内,所述主体部分的振动频率在第二预设范围内,所述第一预设时间段包括所述子时间段,上述子时间段对应于用户调整无线耳机在耳朵中位置的过程。
本申请实施例中,在第一预设时间段内,所述第二输出指示所述主体部分存在第二状态、所述第三输出指示所述主体部分存在第三状态,以及所述第一输出指示所述主体部分存在第一状态的情况下,确定所述主体部分被放置在用户的耳朵中;其中,所述第二状态指示所述主体部分处于被遮挡状态;所述第三状态指示所述主体部分处于接触状态;所述第一状态指示所述主体部分处于与所述主体部分位于耳朵中相对应的震动状态。所述第二状态指示所述主体部分由第一被遮挡状态变为第二被遮挡状态,其中所述主体部分处于所述第二被遮挡状态时接收的光能量大于所述主体部分处于所述第一被遮挡状态时接收的光能量。
具体的,所述主体部分处于所述第一被遮挡状态时,所述第二输出大于第一阈值,所述主体部分处于所述第二被遮挡状态时,所述第二输出小于第一阈值。
本申请实施例中,在用户正常佩戴无线耳机时,若接近光传感器不完全遮挡,即有光线漏入耳朵,此时处理器还是可以认为无线耳机处于被放置在耳朵中的状态。
本申请实施例中,当用手握住无线耳机并静止不动时,可以基于第一输出确定出所述主体部分不处于与调整所述主体部分在耳朵中的位置的过程相对应的震动状态。进而确定当前无线耳机未放置在耳朵中。
本申请实施例中,当无线耳机放在桌上或其他位置时,用手遮住接近光传感器,且不震动时,可以基于第一输出确定出所述主体部分不处于与调整所述主体部分在耳朵中的位置的过程相对应的震动状态。进而确定当前无线耳机未放置在耳朵中。
本申请实施例中,当用手握住无线耳机并晃动时,可以基于第一输出确定出所述主体部分不处于与调整所述主体部分在耳朵中的位置的过程相对应的震动状态。进而确定当前无线耳机未放置在耳朵中。
本申请实施例中,当先将无线耳机靠近耳朵一段时间,再轻轻放入耳朵(无抬腕动作)时,可以基于第一输出确定出所述主体部分不处于与调整所述主体部分在耳朵中的位置的过程相对应的震动状态。进而确定当前无线耳机未放置在耳朵中。
需要说明的是,上述无线耳机的主体部分为用户在佩戴时需要进入耳道中的部分,其可以包括扬声器,用户在佩戴耳机时,可以通过抓握无线耳机的柄部部分,将无线耳机的主体部分放入耳中。
第一输出仅仅为主体部分是否被放置在用户的耳朵中的一个判断依据,并不表示只根据第一输出确定所述主体部分是否被放置在用户的耳朵中,即,可以只根据第一输出确定所述主体部分是否被放置在用户的耳朵中,也可以根据第一输出以及除第一输出之外的其他数据信息来确定所述主体部分是否被放置在用户的耳朵中,也就是:至少根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中。
现有技术中,根据与外界物体的接触状态以及被遮挡状态来确定无线耳机的佩戴状态(主体部分是否被放置在用户的耳朵中),针对于一些干扰场景(与主体部分被放置在用户的耳朵中相似的场景),例如无线耳机放置在口袋里或者是无线耳机被手紧握住,若只根据接触状态以及被遮挡状态来确定无线耳机的佩戴状态,可能会出现一定的误检。然而,虽然干扰场景中接触状态以及被遮挡状态相似,但是无线耳机的移动状态的差异却很大,因此本实施例通过将指示所述外壳的移动状态的传感器系统输出作为判断无线耳机佩戴状态的依据,可以从无线耳机的移动状态这个维度作为判断耳机佩戴状态的参考,较准确的将无线耳机佩戴状态与上述干扰场景区分开,进而准确的分析出无线耳机所处的佩戴状态,提高了无线耳机佩戴状态识别的准确性。
需要说明的是,本实施例中并不是指完全准确的可以识别出主体部分是否被放置在用户的耳朵中,而是对一个大的数据量的处理结果中,本实施例的佩戴状态的综合识别准确率较高。
在一些实现方式中,所述第一状态指示所述主体部分由移动至耳朵的移动状态变为与调整所述主体部分在耳朵中的位置的过程相对应的震动状态。
需要说明的是,用户在佩戴无线耳机的过程中,可以握住无线耳机的柄部部分,并将主体部分放置在耳中,在这个过程中,主体部分首先存在一个位移到人耳的移动状态,然后会进入人耳,并出现调整所述主体部分在耳朵中的位置的过程相对应的震动状态。上述移动状态也可以被加速度传感器捕捉到,相应的,通过解析其输出的第一输出,也可以确定出所述主体部分存在由移动至耳朵的移动状态。
本实施例中,通过将主体部分是否存在由移动至耳朵的移动状态变为与调整所述主体部分在耳朵中的位置的过程相对应的震动状态,作为是否被放置在用户的耳朵的判断依据,可以更好的将无线耳机佩戴状态与上述干扰场景区分开,进而准确的分析出无线耳机所处的佩戴状态,提高了无线耳机佩戴状态识别的准确性。
可选地,所述根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中,包括:若所述第一输出至少指示所述主体部分振动幅度在第一预设范围内,且所述主体部分的振动频率在第二预设范围内,则确定所述主体部分被放置在用户的耳朵中。
需要说明的是,在一些实现方式中,可以基于一些检测算法对第一输出进行检测,并解析其具有的数学特征,数学特征可以包括振动幅度以及振动频率,并当振动幅度以及振动频率满足一定的条件时,确定所述主体部分被放置在用户的耳朵中。
需要说明的是,第一预设范围和第二预设范围可以根据主体部分被放置在用户的耳朵的过程中的移动状态的特点来确定,这里并不限定。可选地,所述根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中,包括:至少以所述第一输出为模型输入,通过神经网络模型确定所述主体部分是否被放置在用户的耳朵中。
需要说明的是,神经网络模型的模型输入可以包括所述第一输出或者其他数据,对于通过神经网络模型实现的技术方案而言,在训练神经网络模型时,可以将大量与调整所述主体部分在耳朵中的位置的过程相对应的震动状态相对应的加速度数据作为训练样本,通过训练神经网络模型,以使得神经网络模型能学习到识别出传感器系统的输出至少指示所述主体部分存在第一状态的能力。
本实施例中,基于预训练好的神经网络模型确定所述主体部分是否被放置在用户的耳朵中,由于神经网络模型可以学习到相比于普通数据处理算法更多的内容,具备更好的将无线耳机佩戴状态与其余干扰场景区分开的能力,提高了无线耳机佩戴状态识别的准确性。
可选地,所述方法还包括:获取所述传感器系统的第二输出;所述第二输出指示所述主体部分的被遮挡情况;相应的,所述根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中,包括:根据所述第一输出和所述第二输出确定所述主体部分是否被放置在用户的耳朵中。
本实施例中,在一些场景中,同时将指示所述主体部分的被遮挡情况的第二输出,以及指示外壳的移动状态的第一输出作为判断主体部分是否被放置在用户的耳朵中的依据,针对于一些场景中,存在和主体部分被放置在用户的耳朵的过程中所述外壳的移动状态相似的干扰场景(例如当耳机位于一些存在小幅度快频率震动的物体上时),结合被遮挡情况可以将无线耳机真实的佩戴状态与上述干扰场景区分开的能力,提高了无线耳机佩戴状态识别的准确性。
可选地,所述第二状态指示所述主体部分存在被耳朵遮挡的遮挡状态。
用户在佩戴无线耳机的过程中,可以握住无线耳机的柄部部分,并将主体部分放置在耳中,此时位于主体部分的接近光传感器可以检测到无线耳机的主体部分被遮挡,通过对接近光传感器的第二输出的解析,可以确定出主体部分存在被耳朵遮挡的遮挡状态。
本实施例中,不只是通过确定主体部分是否被遮挡,来确定无线耳机被佩戴,而是在确定出主体部分存在被耳朵遮挡的遮挡状态,才会确定无线耳机被佩戴。本实施例可以更好的将无线耳机佩戴状态与其他干扰场景(例如被衣服等其他障碍物遮挡等)区分开,进而准确的分析出无线耳机所处的佩戴状态,提高了无线耳机佩戴状态识别的准确性。
上述实现可以基于神经网络模型来实现,通过训练神经网络模型,使得其具备区分被耳朵遮挡的遮挡状态和其他遮挡状态(例如被衣服等其他障碍物遮挡等)的能力。进而,通过该预训练好的神经网络模型对第二输出进行处理,确定出主体部分存在被耳朵遮挡的遮挡状态。
可选地,所述第二状态指示所述主体部分由未被遮挡状态变为被耳朵遮挡的遮挡状态。
用户在佩戴无线耳机的过程中,可以握住无线耳机的柄部部分,此时主体部分处于未被遮挡状态,将主体部分放置在耳中之后,主体部分处于被耳朵遮挡的遮挡状态。此时位于主体部分的接近光传感器可以检测到无线耳机的主体部分的遮挡状态变化,通过对接近光传感器的第二输出的解析,可以确定出主体部分由未被遮挡状态变为被耳朵遮挡的遮挡状态。
本实施例中,将主体部分的遮挡状态变化作为判断无线耳机佩戴状态的依据,可以更好的将无线耳机佩戴状态与其他干扰场景(例如和处于被耳朵遮挡的遮挡状态的相似场景等)区分开,进而准确的分析出无线耳机所处的佩戴状态,提高了无线耳机佩戴状态识别的准确性。
可选地,所述第二状态指示由所述柄部部分被手部遮挡的遮挡状态变为所述主体部分被耳朵遮挡的遮挡状态。
用户在佩戴无线耳机的过程中,可以握住无线耳机的柄部部分,此时柄部部分处于被手部遮挡的状态,将主体部分放置在耳中之后,主体部分处于被耳朵遮挡的遮挡状态。相应的,位于柄部部分和主体部分的接近光传感器可以检测到无线耳机由柄部部分被手部遮挡的遮挡状态变为所述主体部分被耳朵遮挡的遮挡状态,通过对接近光传感器的第二输出的解析,可以确定出所述柄部部分被手部遮挡的遮挡状态变为所述主体部分被耳朵遮挡的遮挡状态。
本实施例中,将柄部部分和主体部分的遮挡状态变化作为判断无线耳机佩戴状态的依据,可以更好的将无线耳机佩戴状态与其他干扰场景区分开,进而准确的分析出无线耳机所处的佩戴状态,提高了无线耳机佩戴状态识别的准确性。
可选地,所述传感器系统包括接近光传感器,所述接近光传感器用于输出所述第二输出,所述第二输出表示所述接近光传感器接收到的光能量大小,所述第二状态指示所述主体部分在维持被耳朵遮挡的情况下,所述第二输出的值大于第一阈值。
本申请实施例中,在用户正常佩戴无线耳机时,若由于耳机在耳中松动,使得光线漏入耳朵,此时主体部分在维持被耳朵遮挡的情况下,所述第二输出的值大于第一阈值,在该场景中,还是可以认为无线耳机处于被放置在耳朵中的状态。本实施例进一步提高了无线耳机佩戴状态识别的准确性。
可选地,所述根据所述第一输出和所述第二输出确定所述主体部分是否被放置在用户的耳朵中,包括:至少以所述第一输出和所述第二输出为模型输入,通过神经网络模型确定所述主体部分是否被放置在用户的耳朵中。
需要说明的是,神经网络模型的模型输入可以包括所述第一输出或者其他数据,对于通过神经网络模型实现的技术方案而言,在训练神经网络模型时,可以将大量与调整所述主体部分在耳朵中的位置的过程相对应的震动状态相对应的加速度数据以及表示无线耳机遮挡情况的接近光数据作为训练样本,通过训练神经网络模型,以使得神经网络模型能学习到识别出传感器系统的输出至少指示所述主体部分存在第一状态和第二状态的能力。
本实施例中,基于预训练好的神经网络模型确定所述主体部分是否被放置在用户的耳朵中,由于神经网络模型可以学习到相比于普通数据处理算法更多的内容,具备更好的将无线耳机佩戴状态与其余干扰场景区分开的能力,提高了无线耳机佩戴状态识别的准确性。
可选地,所述方法还包括:获取所述传感器系统的第三输出;所述第三输出指示所述主体部分的接触状态;相应的,所述根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中,包括:根据所述第一输出和所述第三输出确定所述主体部分是否被放置在用户的耳朵中。
本实施例中,在一些场景中,同时将指示所述主体部分的接触状态的第三输出,以及指示外壳的移动状态的第一输出作为判断主体部分是否被放置在用户的耳朵中的依据,针对于一些场景中,存在和主体部分被放置在用户的耳朵的过程中所述外壳的移动状态相似的干扰场景(例如当耳机被悬挂且出现一些微小震动时),结合接触状态可以将无线耳机真实的佩戴状态与上述干扰场景区分开的能力,提高了无线耳机佩戴状态识别的准确性。
可选地,所述根据所述第一输出和所述第三输出确定所述主体部分是否被放置在用户的耳朵中,包括:若所述第一输出指示所述主体部分存在第一状态、所述第三输出指示所述主体部分存在第三状态,则确定所述主体部分被放置在用户的耳朵中;其中,所述第一状态指示所述主体部分存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态;所述第三状态指示所述主体部分处于接触状态。可选地,所述第三状态指示所述主体部分存在与耳朵接触的接触状态。
用户在佩戴无线耳机的过程中,可以握住无线耳机的柄部部分,并将主体部分放置在耳中,此时位于主体部分的电容传感器可以检测到无线耳机的主体部分与耳朵接触,通过对电容传感器的第三输出的解析,可以确定出主体部分存在与耳朵接触的接触状态。
本实施例中,不只是通过确定主体部分是否与外界物体接触,来确定无线耳机被佩戴,而是在确定出主体部分存在与耳朵接触的接触状态,才会确定无线耳机被佩戴。本实施例可以更好的将无线耳机佩戴状态与其他干扰场景(例如与衣服等其他障碍物接触等)区分开,进而准确的分析出无线耳机所处的佩戴状态,提高了无线耳机佩戴状态识别的准确性。
上述实现可以基于神经网络模型来实现,通过训练神经网络模型,使得其具备区分与耳朵接触的接触状态和其他接触状态(例如与衣服等其他障碍物接触等)的能力。进而,通过该预训练好的神经网络模型对第三输出进行处理,确定出主体部分存在与耳朵接触的接触状态。
可选地,所述第三状态指示所述主体部分由未接触状态变为与耳朵接触的接触状态。
用户在佩戴无线耳机的过程中,可以握住无线耳机的柄部部分,此时主体部分处于未接触状态,将主体部分放置在耳中之后,主体部分处于与耳朵接触的接触状态。此时位于主体部分的电容传感器可以检测到无线耳机的主体部分的接触状态变化,通过对电容传感器的第三输出的解析,可以确定出主体部分由未接触状态变为与耳朵接触的接触状态。
本实施例中,将主体部分的接触状态变化作为判断无线耳机佩戴状态的依据,可以更好的将无线耳机佩戴状态与其他干扰场景(例如和处于被耳朵接触的接触状态的相似场景等)区分开,进而准确的分析出无线耳机所处的佩戴状态,提高了无线耳机佩戴状态识别的准确性。
可选地,所述第三状态指示由所述柄部部分与手部接触的接触状态变为所述主体部分与耳朵接触的接触状态。
用户在佩戴无线耳机的过程中,可以握住无线耳机的柄部部分,此时柄部部分处于与手部接触的接触状态,将主体部分放置在耳中之后,主体部分处于与耳朵接触的接触状态。相应的,位于柄部部分和主体部分的电容传感器可以检测到无线耳机由所述柄部部分与手部接触的接触状态变为所述主体部分与耳朵接触的接触状态,通过对电容传感器的第三输出的解析,可以确定出由所述柄部部分与手部接触的接触状态变为所述主体部分与耳朵接触的接触状态。
本实施例中,将柄部部分和主体部分的接触状态变化作为判断无线耳机佩戴状态的依据,可以更好的将无线耳机佩戴状态与其他干扰场景区分开,进而准确的分析出无线耳机所处的佩戴状态,提高了无线耳机佩戴状态识别的准确性。可选地,所述根据所述第一输出和所述第三输出确定所述主体部分是否被放置在用户的耳朵中,包括:至少以所述第一输出和所述第三输出为模型输入,通过神经网络模型确定所述主体部分是否被放置在用户的耳朵中。可选地,在一种实施例中,处理器可以以所述第二输出、所述第三输出和所述第一输出为模型输入,通过神经网络模型确定所述主体部分被放置在用户的耳朵中。
本申请实施例中,参照图6,图6为一种无线耳机的佩戴状态确定方法的流程示意,如图6示出的那样,处理器可以基于传统算法对接近光传感器输出的第二输出和电容传感器输出的第三输出的阈值进行判断,大于阈值T1或小于阈值T2,则算法继续,否则则结束;将加速度传感器输出的第一输出输入振动检测模块,采用最大最小值区分是否静止状态,是则进行波峰检测以区分平缓震动与剧烈震动,是则继续,否则则结束,之后可以采用AI入耳动作识别,通过神经网络抓取深层特征,以放入口袋随机手握、轻微震动等负样本与正常佩戴动作等正样本特征不同为标准,判断当前震动是否为佩戴动作,是则佩戴检测返回佩戴/摘下状态,否则则返回结果维持先前状态。
可选地,在一种实施例中,在第一预设时间段内,处理器若确定所述第二输出在第五预设范围内,且所述第三输出在第六预设范围内,则以所述第一输出为模型输入,通过神经网络模型确定所述主体部分被放置在用户的耳朵中。
本申请实施例通过加入AI入耳动作识别,区分了入耳震动与普通震动,维护了更稳定的佩戴状态检测,提高了佩戴检测的准确率,降低了误检率,且分级检测的方案按照不同计算复杂度对传统检测算法和AI进行合理的计算资源分配,传统检测算法只需要负责大多数简单场景信号,剩下少量的复杂信号则采用AI交互动作检测算法,这保证AI算法不会一直运行,因此也降低了无线耳机的功耗。
为了更清晰的描述本申请在各个场景下的效果,本实施例中通过如下表格进行更为细致的场景以及对应的描述。
表1
Figure BDA0002438523870000301
Figure BDA0002438523870000311
其中,当用户用手握住耳机时,由于主体部分不存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态,因此耳机不播放音频。
当用户将耳机放在桌上,用手遮住接近光传感器,不震动,由于主体部分不存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态,因此耳机不播放音频。
当用户先将耳机靠近耳朵,一段时间,再轻轻放入耳朵(无抬腕动作),正常佩戴,由于主体部分不存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态,因此耳机不播放音频。
当用户正常拿起耳机配戴,由于主体部分不存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态(以及满足遮挡和接触条件,具体可以参照上述实施例),耳机播放音频。
其中,当用户正常佩戴,接近光传感器不完全遮挡,无抬腕动作,所述主体部分在维持被耳朵遮挡的情况下,所述第二输出的值大于第一阈值,因此耳机继续播放音频。
本申请提供了一种无线耳机的佩戴状态确定方法,所述无线耳机包括外壳以及传感器系统,所述外壳具有主体部分和从所述主体部分延伸的柄部部分,所述方法包括:获取所述传感器系统的第一输出,所述第一输出指示所述外壳的移动状态;根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中。本实施例通过将指示所述外壳的移动状态的传感器系统输出作为判断无线耳机佩戴状态的依据,可以从无线耳机的移动状态这个维度作为判断耳机佩戴状态的参考,较准确的将无线耳机佩戴状态与上述干扰场景区分开,进而准确的分析出无线耳机所处的佩戴状态,提高了无线耳机佩戴状态识别的准确性。
需要说明的是,本实施例中的神经网络模型可以部署在云侧的服务器或者部署在耳机侧(以下各个方面的实施例中的神经网络模型也都可以部署在云侧的服务器或者部署在耳机侧);
若神经网络模型部署在服务器,则耳机传感器在获取到传感器系统的输出数据之后可以,可以将输出数据发送至服务器,以使得服务器通过神经网络模型来处理获取到的输出数据,并得到无线耳机佩戴状态的识别结果,并将识别结果发送至耳机侧。
若神经网络模型部署在耳机侧,则耳机传感器在获取到传感器系统的输出数据之后可以,可以通过神经网络模型来处理获取到的输出数据,并得到无线耳机佩戴状态的识别结果。其中,神经网络模型可以是由服务器侧训练好并发送至耳机侧的。
具体的,若神经网络模型部署在服务器,则本申请实施例中由无线耳机和服务器组成的系统可以执行如下步骤:
无线耳机获取其传感器系统的第一输出,所述第一输出指示所述外壳的移动状态;
无线耳机向服务器发送所述第一输出;
服务器根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中;
服务器将确定结果发送至无线耳机。
需要说明的是,上述确定结果可以表示出所述主体部分是否被放置在用户的耳朵中,例如确定结果可以是一个字符串。
可选的,所述服务器根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中,包括:
若所述第一输出至少指示所述主体部分存在第一状态,则服务器确定所述主体部分被放置在用户的耳朵中;
其中,所述第一状态指示所述主体部分存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态。
可选的,所述第一状态指示所述主体部分由移动至耳朵的移动状态变为与调整所述主体部分在耳朵中的位置的过程相对应的震动状态。
可选的,所述服务器根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中,包括:
若所述第一输出至少指示所述主体部分振动幅度在第一预设范围内,且所述主体部分的振动频率在第二预设范围内,则服务器确定所述主体部分被放置在用户的耳朵中。
可选的,所述服务器根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中,包括:
服务器至少以所述第一输出为模型输入,通过神经网络模型确定所述主体部分是否被放置在用户的耳朵中。
可选的,所述方法还包括:
无线耳机获取所述传感器系统的第二输出;所述第二输出指示所述主体部分的被遮挡情况;所述方法还包括:
无线耳机向服务器发送所述第二输出;
相应的,所述服务器根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中,包括:
服务器根据所述第一输出和所述第二输出确定所述主体部分是否被放置在用户的耳朵中。
可选的,所述服务器根据所述第一输出和所述第二输出确定所述主体部分是否被放置在用户的耳朵中,包括:
若所述第一输出指示所述主体部分存在第一状态,且所述第二输出至少指示所述主体部分存在第二状态,则服务器确定所述主体部分被放置在用户的耳朵中;
其中,所述第一状态指示所述主体部分存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态,所述第二状态指示所述主体部分存在被遮挡状态。
可选的,所述第二状态指示所述主体部分存在被耳朵遮挡的遮挡状态。
可选的,所述第二状态指示所述主体部分由未被遮挡状态变为被耳朵遮挡的遮挡状态。
可选的,所述第二状态指示由所述柄部部分被手部遮挡的遮挡状态变为所述主体部分被耳朵遮挡的遮挡状态。
可选的,所述传感器系统包括接近光传感器,所述接近光传感器用于输出所述第二输出,所述第二输出表示所述接近光传感器接收到的光能量大小,所述第二状态指示所述主体部分在维持被耳朵遮挡的情况下,所述第二输出的值大于第一阈值。
可选的,所述服务器根据所述第一输出和所述第二输出确定所述主体部分是否被放置在用户的耳朵中,包括:
服务器至少以所述第一输出和所述第二输出为模型输入,通过神经网络模型确定所述主体部分是否被放置在用户的耳朵中。
可选的,所述方法还包括:
无线耳机获取所述传感器系统的第三输出;所述第三输出指示所述主体部分的接触状态;所述方法还包括:
无线耳机向服务器发送所述第三输出;
相应的,所述服务器根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中,包括:
服务器根据所述第一输出和所述第三输出确定所述主体部分是否被放置在用户的耳朵中。
可选的,所述服务器根据所述第一输出和所述第三输出确定所述主体部分是否被放置在用户的耳朵中,包括:
服务器若所述第一输出指示所述主体部分存在第一状态、所述第三输出指示所述主体部分存在第三状态,则确定所述主体部分被放置在用户的耳朵中;其中,
所述第一状态指示所述主体部分存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态;所述第三状态指示所述主体部分存在接触状态。
可选的,所述第三状态指示所述主体部分存在与耳朵接触的接触状态。
可选的,所述第三状态指示所述主体部分由未接触状态变为与耳朵接触的接触状态。
可选的,所述第三状态指示由所述柄部部分与手部接触的接触状态变为所述主体部分与耳朵接触的接触状态。
可选的,所述服务器根据所述第一输出和所述第三输出确定所述主体部分是否被放置在用户的耳朵中,包括:
服务器至少以所述第一输出和所述第三输出为模型输入,通过神经网络模型确定所述主体部分是否被放置在用户的耳朵中。
参照图7,图7为本申请实施例提供的一种无线耳机的佩戴状态确认方法的实施例示意,如图7示出的那样,本申请实施例提供的一种无线耳机的佩戴状态确认方法包括:
701、获取所述传感器系统的第一输出,所述第一输出指示所述外壳的移动状态;
702、以所述第一输出为模型输入,通过神经网络模型确定所述外壳是否被外界物体双击。
可选地,若确定所述第一输出的数据峰值大于第二阈值、且所述第一输出的数据能量大于第三阈值、所述第一输出包含大于或等于两个波峰,则以所述第三输出为模型输入,通过神经网络模型确定所述外壳是否被外界物体双击。
本申请实施例中,参照图8a,图8a为本申请实施例提供的一种无线耳机的双击状态确定方法的流程示意,如图8a中示出的那样,处理器可以检测第一输出的数据峰值大小,若小于设定阈值则认为无双击,算法结束;大于则继续。之后可以检测第一输出的数据能量,小于设定阈值则认为无双击,算法结束;大于则继续。之后可以检测第一输出的数据包含的波峰个数,小于2个波峰则认为无双击;否则则继续,之后AI双击识别模型以训练时对正负样本提取的深层特征作为区分标准,得到是否为双击的最终结果;其中,高跟鞋走路、单击、双击拍头、跑步等负样本与正常安静双击,跑步双击等正样本数据特征不同。
具体的,若神经网络模型部署在服务器,则本申请实施例中由无线耳机和服务器组成的系统还可以执行如下步骤:
无线耳机获取其传感器系统的第一输出,所述第一输出指示所述外壳的移动状态;
无线耳机向服务器发送所述第一输出;
服务器以所述第一输出为模型输入,通过神经网络模型确定所述外壳是否被外界物体双击;
服务器将确定结果发送至无线耳机。
需要说明的是,上述确定结果可以表示出所述外壳是否被外界物体双击,例如确定结果可以是一个字符串。
可选的,服务器若确定所述第一输出的数据峰值大于第二阈值、且所述第一输出的数据能量大于第三阈值、所述第一输出包含大于或等于两个波峰,则以所述第三输出为模型输入,通过神经网络模型确定所述外壳是否被外界物体双击。
本申请实施例能够明显提升双击检测的准确率,经测试,通过传统信号特征提取算法可以过滤掉无双击等简单场景,通过AI双击识别模型可以区分双击信号与跑步、两次拍头、高跟鞋场景等相似信号,又由于采用分级检测方案,因此AI识别不会一直运行,很大程度上降低了耳机功耗。现有技术只采用传统算法对加速度传感器进行特征提取,因此获取到的特征信息有限,只要加速度传感器有剧烈数值变化,不管是否由于双击造成,都会识别为双击;本申请结合了传统算法与AI算法的分级检测方案,对于传统算法认为是双击的部分,再送入AI算法进行动作识别判定,极大地提高了准确率,降低了误检率。
本申请实施例提供了一种无线耳机的双击状态确定方法,所述无线耳机包括外壳和传感器系统,所述方法包括:获取所述传感器系统的第一输出,所述第一输出指示所述外壳的移动状态;以所述第一输出为模型输入,通过神经网络模型确定所述外壳是否被外界物体双击。通过上述方式,降低了双击检测的误检率。
参照图8b,图8b为本申请实施例提供的一种无线耳机的佩戴状态确定方法的流程示意,所述无线耳机包括外壳以及传感器系统,所述外壳具有主体部分和从所述主体部分延伸的柄部部分,所述方法包括:
801、获取所述传感器系统的第一输出,所述第一输出指示所述外壳的移动状态;
802、若确定所述第一输出指示所述外壳的震动幅度在第一预设范围内,且所述外壳的震动频率在第二预设范围内,则通过神经网络模型确定所述主体部分被放置在用户的耳朵中。
本实施例采用分级检测方案,首先先通过普通的算法(该算法的算力开销可以较小)来检测加速度传感器输出数据的数学特征(震动幅度以及震动频率),上述数据特征的确定可以不需要算力开销很大的算法或者神经网络来完成,通过判断确定的数学特征是否满足主体部分被放置在用户的耳朵中所对应的条件(所述外壳的震动幅度在第一预设范围内,且所述外壳的震动频率在第二预设范围内),来完成第一步的初筛,只有满足条件的加速度传感器数据才会进入神经网络模型(算力开销较大)来进行无线耳机佩戴状态的检测。
具体的,只有当所述外壳的震动幅度在第一预设范围内,且所述外壳的震动频率在第二预设范围内时,才会通过神经网络模型来进行无线耳机佩戴状态的检测,神经网络模型识别不会一直运行,很大程度上降低了耳机功耗。
可选地,所述传感器系统包括接近光传感器,所述接近光传感器用于输出所述第二输出,所述第二输出表示所述接近光传感器接收到的光能量大小,所述方法还包括:
获取所述接近光传感器的第二输出;相应的,所述若确定所述第一输出指示所述外壳的震动幅度在第一预设范围内,且所述外壳的震动频率在第二预设范围内,包括:若确定所述第一输出指示所述外壳的震动幅度在第一预设范围内、所述外壳的震动频率在第二预设范围内、且所述第二输出指示进入所述接近光传感器接收到的光能量大小在第三预设范围内,则通过神经网络模型确定所述主体部分被放置在用户的耳朵中。
本实施例只有当所述外壳的震动幅度在第一预设范围内、所述外壳的震动频率在第二预设范围内、且所述第二输出指示进入所述接近光传感器接收到的光能量大小在第三预设范围内时,才会通过神经网络模型来进行无线耳机佩戴状态的检测,神经网络模型识别不会一直运行,进一步降低了耳机功耗。
可选地,所述传感器系统包括电容传感器,所述电容用于输出第三输出,所述方法还包括:获取所述电容传感器的第三输出;相应的,所述若确定所述第一输出指示所述外壳的震动幅度在第一预设范围内,且所述外壳的震动频率在第二预设范围内,包括:若确定所述第一输出指示所述外壳的震动幅度在第一预设范围内、所述外壳的震动频率在第二预设范围内、且所述第三输出在第三预设范围内,则通过神经网络模型确定所述主体部分被放置在用户的耳朵中。
本实施例只有当所述外壳的震动幅度在第一预设范围内、所述外壳的震动频率在第二预设范围内、且所述第三输出在第三预设范围内时,才会通过神经网络模型来进行无线耳机佩戴状态的检测,神经网络模型识别不会一直运行,进一步降低了耳机功耗。
参照图8c,图8c为本申请实施例提供的一种无线耳机的佩戴状态确定方法的流程示意,其中,传统检测算法可以理解为上述实施例中,对第一输出第二输出以及第三输出的初筛步骤,这里不再赘述。
参见图9a,本申请实施例提供了一种系统架构100。如所述系统架构100所示,数据采集设备160用于采集训练数据;并将训练数据存入数据库130,训练设备120基于数据库130中维护的训练数据训练得到神经网络等。需要说明的是,在实际的应用中,所述数据库130中维护的训练数据不一定都来自于数据采集设备160的采集,也有可能是从其他设备接收得到的。另外需要说明的是,训练设备120也不一定完全基于数据库130维护的训练数据进行模型的训练,也有可能从云端或其他地方获取训练数据进行模型训练,上述描述不应该作为对本申请实施例的限定。
根据训练设备120训练得到的目标模型/规则可以应用于不同的系统或设备中,如应用于图9a所示的执行设备110,所述执行设备110可以是无线耳机等便携式设备,还可以是服务器或者云端等。在图9a中,执行设备110配置输入/输出(input/output,I/O)接口112,用于与外部设备进行数据交互。在执行设备110对输入数据进行预处理,或者在执行设备110的计算模块111执行计算等相关的处理(比如进行本申请中神经网络的功能实现)过程中,执行设备110可以调用数据存储系统150中的数据、代码等以用于相应的处理,也可以将相应处理得到的数据、指令等存入数据存储系统150中。最后,I/O接口112将处理结果,如上述得到的信息返回。
值得说明的是,训练设备120可以针对不同的目标或称不同的任务,基于不同的训练数据生成相应的目标模型/规则,该相应的目标模型/规则即可以用于实现上述目标或完成上述任务,从而为用户提供所需的结果。
在图9a中所示情况下,用户可以手动给定输入数据,该手动给定可以通过I/O接口112提供的界面进行操作。另一种情况下,客户设备140可以自动地向I/O接口112发送输入数据,如果要求客户设备140自动发送输入数据需要获得用户的授权,则用户可以在客户设备140中设置相应权限。用户可以在客户设备140查看执行设备110输出的结果,具体的呈现形式可以是显示、声音、动作等具体方式。客户设备140也可以作为数据采集端,采集如图所示输入I/O接口112的输入数据及输出I/O接口112的输出结果作为新的样本数据,并存入数据库130。当然,也可以不经过客户设备140进行采集,而是由I/O接口112直接将如图所示输入I/O接口112的输入数据及输出I/O接口112的输出结果,作为新的样本数据存入数据库130。
值得注意的是,图9a仅是本申请实施例提供的一种系统架构的示意图,图中所示设备、器件、模块等之间的位置关系不构成任何限制,例如,在图9a中,数据存储系统150相对执行设备110是外部存储器,在其它情况下,也可以将数据存储系统150置于执行设备110中。
参照图9b,图9b为本申请神经网络模型部署的流程示意。
其中,最优网络结构模块用于定义网络各个部分的算子类型,如卷积算子、激活算子、池化算子等,结合搜索策略,比如任意选择两个网络,训练后相比较选准确率更高的网络,以此循环,或者对候选网络进行求导,最终选择内存更小,准确率更高的最优网络结构;
模型训练模块,用于对耳机交互数据区分正负样本,比如正常双击数据为正样本,戴耳机中误触动作,单击动作数据,或者其他没有实际敲击动作但与双击类似的数据作为负样本,构成训练集训练得到模型;
网络验证模块,用于用相同分布以及数据组成的数据作为测试集进行网络验证,根据测试集的表现进行评估,比如准确率是否达到95%以上,误检率是否降低在5%以下等参考标准,在原有结构上不断优化参数比如更改卷积核大小,步长大小,调整学习率下降速度等,不断丰富训练集等反馈到训练过程,得到最终符合要求的模型;
网络优化器模块,用于将得到的模型送入网络优化器,编译器解析模型至runtime实现所需要的格式,在解析基础上进行优化措施,比如float类型优化至定点16bit减少内存,单次计算优化成并行计算等减少运算时间;
Runtime实现模块,用于在runtime部分实现整体网络后端推导的工程化代码部分。
需要说明的是,以上仅为本申请实施例中神经网络模型的一种部署流程示意,并不构成对本申请的限定。
在图1至图9b所对应的实施例的基础上,为了更好的实施本申请实施例的上述方案,下面还提供用于实施上述方案的相关设备。具体参阅图10,图10为本申请实施例提供的无线耳机的佩戴状态确定装置1000的一种结构示意图,无线耳机的佩戴状态确定装置1000可以是无线耳机,无线耳机包括外壳以及传感器系统,所述外壳具有主体部分和从所述主体部分延伸的柄部部分,无线耳机的佩戴状态确定装置1000包括:
获取模块1001,用于获取所述传感器系统的第一输出,所述第一输出指示所述外壳的移动状态;
确定模块1002,用于根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中。
在一些实现方式中,所述确定模块1002,具体用于:
若所述第一输出至少指示所述主体部分存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态,则确定所述主体部分被放置在用户的耳朵中;
其中,所述第一状态指示所述主体部分存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态。
在一些实现方式中,所述第一状态指示所述主体部分由移动至耳朵的移动状态变为与调整所述主体部分在耳朵中的位置的过程相对应的震动状态。
在一些实现方式中,所述确定模块1002,具体用于:
若所述第一输出至少指示所述主体部分振动幅度在第一预设范围内,且所述主体部分的振动频率在第二预设范围内,则确定所述主体部分被放置在用户的耳朵中。
在一些实现方式中,所述确定模块1002,具体用于:
至少以所述第一输出为模型输入,通过神经网络模型确定所述主体部分是否被放置在用户的耳朵中。
在一些实现方式中,所述获取模块1001,用于获取所述传感器系统的第二输出;所述第二输出指示所述主体部分的被遮挡情况;相应的,所述确定模块1002,用于根据所述第一输出和所述第二输出确定所述主体部分是否被放置在用户的耳朵中。
在一些实现方式中,所述确定模块1002,具体用于:
若所述第一输出指示所述主体部分存在第一状态,且所述第二输出至少指示所述主体部分存在第二状态,则确定所述主体部分被放置在用户的耳朵中;
其中,所述第一状态指示所述主体部分存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态,所述第二状态指示所述主体部分存在被遮挡状态。
在一些实现方式中,所述第二状态指示所述主体部分存在被耳朵遮挡的遮挡状态。
在一些实现方式中,所述第二状态指示所述主体部分由未被遮挡状态变为被耳朵遮挡的遮挡状态。
在一些实现方式中,所述第二状态指示由所述柄部部分被手部遮挡的遮挡状态变为所述主体部分被耳朵遮挡的遮挡状态。
在一些实现方式中,所述传感器系统包括接近光传感器,所述接近光传感器用于输出所述第二输出,所述第二输出表示所述接近光传感器接收到的光能量大小,所述第二状态指示所述主体部分在维持被耳朵遮挡的情况下,所述第二输出的值大于第一阈值。
在一些实现方式中,所述确定模块1002,具体用于:
至少以所述第一输出和所述第二输出为模型输入,通过神经网络模型确定所述主体部分是否被放置在用户的耳朵中。
在一些实现方式中,所述获取模块1001,具体用于:
获取所述传感器系统的第三输出;所述第三输出指示所述主体部分的接触状态;相应的,所述根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中,包括:
所述确定模块1002,具体用于:
根据所述第一输出和所述第三输出确定所述主体部分是否被放置在用户的耳朵中。
在一些实现方式中,所述确定模块1002,具体用于:
若所述第一输出指示所述主体部分存在第一状态、所述第三输出指示所述主体部分存在第三状态,则确定所述主体部分被放置在用户的耳朵中;其中,
所述第一状态指示所述主体部分存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态;所述第三状态指示所述主体部分处于接触状态。
在一些实现方式中,所述第三状态指示所述主体部分存在与耳朵接触的接触状态。
在一些实现方式中,所述第三状态指示所述主体部分由未接触状态变为与耳朵接触的接触状态。
在一些实现方式中,所述第三状态指示由所述柄部部分与手部接触的接触状态变为所述主体部分与耳朵接触的接触状态。
在一些实现方式中,所述确定模块1002,具体用于:
至少以所述第一输出和所述第三输出为模型输入,通过神经网络模型确定所述主体部分是否被放置在用户的耳朵中。
本实施例通过将指示所述外壳的移动状态的传感器系统输出作为判断无线耳机佩戴状态的依据,可以从无线耳机的移动状态这个维度作为判断耳机佩戴状态的参考,较准确的将无线耳机佩戴状态与上述干扰场景区分开,进而准确的分析出无线耳机所处的佩戴状态,提高了无线耳机佩戴状态识别的准确性。
参照图11,图11为本申请实施例提供的一种无线耳机的双击状态确定装置的结构示意,如图11中示出的那样,本申请还提供了一种无线耳机的双击状态确定装置1100,所述无线耳机包括外壳和传感器系统,所述装置包括:
获取模块1101,用于获取所述传感器系统的第一输出,所述第一输出指示所述外壳的移动状态;
确定模块1102,用于以所述第一输出为模型输入,通过神经网络模型确定所述外壳是否被外界物体双击。
在一些实现方式中,所述确定模块1102,具体用于:
若确定所述第一输出的数据峰值大于第二阈值、且所述第一输出的数据能量大于第三阈值、所述第一输出包含大于或等于两个波峰,则以所述第三输出为模型输入,通过神经网络模型确定所述外壳是否被外界物体双击。
接下来介绍本申请实施例提供的一种执行设备,请参阅图12,图12为本申请实施例提供的执行设备的一种结构示意图,执行设备1100具体可以表现为无线耳机等,此处不做限定。其中,执行设备1100上可以部署有图10对应实施例中所描述的无线耳机的佩戴状态确定装置或图11对应实施例中所描述的无线耳机的双击状态确定装置。具体的,执行设备1100包括:接收器1201、发射器1202、处理器1203和存储器1204(其中执行设备1100中的处理器1203的数量可以一个或多个,图12中以一个处理器为例),其中,处理器1203可以包括应用处理器12031和通信处理器12032。在本申请的一些实施例中,接收器1201、发射器1202、处理器1203和存储器1204可通过总线或其它方式连接。
存储器1204可以包括只读存储器和随机存取存储器,并向处理器1203提供指令和数据。存储器1204的一部分还可以包括非易失性随机存取存储器(non-volatile randomaccess memory,NVRAM)。存储器1204存储有处理器和操作指令、可执行模块或者数据结构,或者它们的子集,或者它们的扩展集,其中,操作指令可包括各种操作指令,用于实现各种操作。
处理器1203控制执行设备的操作。具体的应用中,执行设备的各个组件通过总线系统耦合在一起,其中总线系统除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都称为总线系统。
上述本申请实施例揭示的方法可以应用于处理器1203中,或者由处理器1203实现。处理器1203可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器1203中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1203可以是通用处理器、数字信号处理器(digital signal processing,DSP)、微处理器或微控制器,还可进一步包括专用集成电路(application specific integratedcircuit,ASIC)、现场可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器1203可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1204,处理器1203读取存储器1204中的信息,结合其硬件完成上述方法的步骤。
接收器1201可用于接收输入的数字或字符信息,以及产生与执行设备的相关设置以及功能控制有关的信号输入。发射器1202可用于通过第一接口输出数字或字符信息;发射器1202还可用于通过第一接口向磁盘组发送指令,以修改磁盘组中的数据;发射器1202还可以包括显示屏等显示设备。
本申请实施例中,在一种情况下,处理器1203,用于执行图5对应实施例中的执行设备执行的无线耳机的佩戴状态确定方法、图7中示出的无线耳机的双击状态确定方法或图8b对应实施例中的执行设备执行的无线耳机的佩戴状态确定方法。具体的,应用处理器12031,用于:
获取所述传感器系统的第一输出,所述第一输出指示所述外壳的移动状态;根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中。
可选地,应用处理器12031,用于:
若所述第一输出至少指示所述主体部分存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态,则确定所述主体部分被放置在用户的耳朵中;
其中,所述第一状态指示所述主体部分存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态。
可选地,所述第一状态指示所述主体部分由移动至耳朵的移动状态变为与调整所述主体部分在耳朵中的位置的过程相对应的震动状态。
可选地,所述根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中,包括:
若所述第一输出至少指示所述主体部分振动幅度在第一预设范围内,且所述主体部分的振动频率在第二预设范围内,则确定所述主体部分被放置在用户的耳朵中。
可选地,应用处理器12031,用于:
至少以所述第一输出为模型输入,通过神经网络模型确定所述主体部分是否被放置在用户的耳朵中。
可选地,应用处理器12031,用于:
获取所述传感器系统的第二输出;所述第二输出指示所述主体部分的被遮挡情况;相应的,所述根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中,包括:
根据所述第一输出和所述第二输出确定所述主体部分是否被放置在用户的耳朵中。
可选地,应用处理器12031,用于:
若所述第一输出指示所述主体部分存在第一状态,且所述第二输出至少指示所述主体部分存在第二状态,则确定所述主体部分被放置在用户的耳朵中;
其中,所述第一状态指示所述主体部分存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态,所述第二状态指示所述主体部分存在被遮挡状态。
可选地,所述第二状态指示所述主体部分存在被耳朵遮挡的遮挡状态。
可选地,所述第二状态指示所述主体部分由未被遮挡状态变为被耳朵遮挡的遮挡状态。
可选地,所述第二状态指示由所述柄部部分被手部遮挡的遮挡状态变为所述主体部分被耳朵遮挡的遮挡状态。
可选地,所述传感器系统包括接近光传感器,所述接近光传感器用于输出所述第二输出,所述第二输出表示所述接近光传感器接收到的光能量大小,所述第二状态指示所述主体部分在维持被耳朵遮挡的情况下,所述第二输出的值大于第一阈值。
可选地,应用处理器12031,用于:
至少以所述第一输出和所述第二输出为模型输入,通过神经网络模型确定所述主体部分是否被放置在用户的耳朵中。
可选地,应用处理器12031,用于:
获取所述传感器系统的第三输出;所述第三输出指示所述主体部分的接触状态;相应的,所述根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中,包括:
根据所述第一输出和所述第三输出确定所述主体部分是否被放置在用户的耳朵中。
可选地,应用处理器12031,用于:
若所述第一输出指示所述主体部分存在第一状态、所述第三输出指示所述主体部分存在第三状态,则确定所述主体部分被放置在用户的耳朵中;其中,
所述第一状态指示所述主体部分存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态;所述第三状态指示所述主体部分处于接触状态。
可选地,所述第三状态指示所述主体部分存在与耳朵接触的接触状态。
可选地,所述第三状态指示所述主体部分由未接触状态变为与耳朵接触的接触状态。
可选地,所述第三状态指示由所述柄部部分与手部接触的接触状态变为所述主体部分与耳朵接触的接触状态。
可选地,所述根据所述第一输出和所述第三输出确定所述主体部分是否被放置在用户的耳朵中,包括:
至少以所述第一输出和所述第三输出为模型输入,通过神经网络模型确定所述主体部分是否被放置在用户的耳朵中。
应用处理器12031,用于:
获取所述传感器系统的第一输出,所述第一输出指示所述外壳的移动状态;
以所述第一输出为模型输入,通过神经网络模型确定所述外壳是否被外界物体双击。
可选地,应用处理器12031,用于:
若确定所述第一输出的数据峰值大于第二阈值、且所述第一输出的数据能量大于第三阈值、所述第一输出包含大于或等于两个波峰,则以所述第三输出为模型输入,通过神经网络模型确定所述外壳是否被外界物体双击。
应用处理器12031,用于:
获取所述传感器系统的第一输出,所述第一输出指示所述外壳的移动状态;
若确定所述第一输出指示所述外壳的震动幅度在第一预设范围内,且所述外壳的震动频率在第二预设范围内,则通过神经网络模型确定所述主体部分被放置在用户的耳朵中。
可选地,所述传感器系统包括接近光传感器,所述接近光传感器用于输出所述第二输出,所述第二输出表示所述接近光传感器接收到的光能量大小,可选地,应用处理器12031,用于:
获取所述接近光传感器的第二输出;
相应的,所述若确定所述第一输出指示所述外壳的震动幅度在第一预设范围内,且所述外壳的震动频率在第二预设范围内,包括:
若确定所述第一输出指示所述外壳的震动幅度在第一预设范围内、所述外壳的震动频率在第二预设范围内、且所述第二输出指示进入所述接近光传感器接收到的光能量大小在第三预设范围内,则通过神经网络模型确定所述主体部分被放置在用户的耳朵中。
可选地,所述传感器系统包括电容传感器,所述电容用于输出第三输出,可选地,应用处理器12031,用于:
获取所述电容传感器的第三输出;
相应的,所述若确定所述第一输出指示所述外壳的震动幅度在第一预设范围内,且所述外壳的震动频率在第二预设范围内,包括:
若确定所述第一输出指示所述外壳的震动幅度在第一预设范围内、所述外壳的震动频率在第二预设范围内、且所述第三输出在第三预设范围内,则通过神经网络模型确定所述主体部分被放置在用户的耳朵中。
本实施例通过将指示所述外壳的移动状态的传感器系统输出作为判断无线耳机佩戴状态的依据,可以从无线耳机的移动状态这个维度作为判断耳机佩戴状态的参考,较准确的将无线耳机佩戴状态与上述干扰场景区分开,进而准确的分析出无线耳机所处的佩戴状态,提高了无线耳机佩戴状态识别的准确性。
本申请实施例中还提供一种包括计算机程序产品,当其在计算机上运行时,使得计算机执行如前述图5所示实施例描述的方法中执行设备所执行的步骤。或,使得计算机执行如前述图7所示实施例描述的方法中执行设备所执行的步骤。或,使得计算机执行如前述图8b对应实施例中的执行设备执行的无线耳机的佩戴状态确定方法。
本申请实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有用于进行信号处理的程序,当其在计算机上运行时,使得计算机执行如前述图5所示实施例描述的方法中执行设备所执行的步骤,或者,使得计算机执行如前述图7所示实施例描述的方法中训练设备所执行的步骤。或,使得计算机执行如前述图8b对应实施例中的执行设备执行的无线耳机的佩戴状态确定方法。
本申请实施例提供的执行设备具体可以为芯片,芯片包括:处理单元和通信单元,所述处理单元例如可以是处理器,所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令,以使执行设备内的芯片执行上述图5或图7所示实施例描述的方法。可选地,所述存储单元为所述芯片内的存储单元,如寄存器、缓存等,所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元,如只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)等。
具体的,请参阅图13,图13为本申请实施例提供的芯片的一种结构示意图,所述芯片可以表现为神经网络处理器NPU 2000,NPU 2000作为协处理器挂载到主CPU(Host CPU)上,由Host CPU分配任务。NPU的核心部分为运算电路2003,通过控制器2004控制运算电路2003提取存储器中的矩阵数据并进行乘法运算。
在一些实现中,运算电路2003内部包括多个处理单元(Process Engine,PE)。在一些实现中,运算电路2003是二维脉动阵列。运算电路2003还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中,运算电路2003是通用的矩阵处理器。
举例来说,假设有输入矩阵A,权重矩阵B,输出矩阵C。运算电路从权重存储器2002中取矩阵B相应的数据,并缓存在运算电路中每一个PE上。运算电路从输入存储器2001中取矩阵A数据与矩阵B进行矩阵运算,得到的矩阵的部分结果或最终结果,保存在累加器(accumulator)2008中。
统一存储器2006用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器(Direct Memory Access Controller,DMAC)2005,DMAC被搬运到权重存储器2002中。输入数据也通过DMAC被搬运到统一存储器2006中。
BIU为Bus Interface Unit即,总线接口单元2010,用于AXI总线与DMAC和取指存储器(Instruction Fetch Buffer,IFB)2009的交互。
总线接口单元2010(Bus Interface Unit,简称BIU),用于取指存储器2009从外部存储器获取指令,还用于存储单元访问控制器2005从外部存储器获取输入矩阵A或者权重矩阵B的原数据。
DMAC主要用于将外部存储器DDR中的输入数据搬运到统一存储器2006或将权重数据搬运到权重存储器2002中或将输入数据数据搬运到输入存储器2001中。
向量计算单元2007包括多个运算处理单元,在需要的情况下,对运算电路的输出做进一步处理,如向量乘,向量加,指数运算,对数运算,大小比较等等。主要用于神经网络中非卷积/全连接层网络计算,如Batch Normalization(批归一化),像素级求和,对特征平面进行上采样等。
在一些实现中,向量计算单元2007能将经处理的输出的向量存储到统一存储器2006。例如,向量计算单元2007可以将线性函数和/或非线性函数应用到运算电路2003的输出,例如对卷积层提取的特征平面进行线性插值,再例如累加值的向量,用以生成激活值。在一些实现中,向量计算单元2007生成归一化的值、像素级求和的值,或二者均有。在一些实现中,处理过的输出的向量能够用作到运算电路2003的激活输入,例如用于在神经网络中的后续层中的使用。
控制器2004连接的取指存储器(instruction fetch buffer)2009,用于存储控制器2004使用的指令;
统一存储器2006,输入存储器2001,权重存储器2002以及取指存储器2009均为On-Chip存储器。外部存储器私有于该NPU硬件架构。
其中,上述任一处提到的处理器,可以是一个通用中央处理器,微处理器,ASIC,或一个或多个用于控制上述第一方面方法的程序执行的集成电路。
另外需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本申请提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现,当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下,凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现,而且,用来实现同一功能的具体硬件结构也可以是多种多样的,例如模拟电路、数字电路或专用电路等。但是,对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,训练设备,或者网络设备等)执行本申请各个实施例所述的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(Solid State Disk,SSD))等。

Claims (40)

1.一种无线耳机的佩戴状态确定方法,所述无线耳机包括外壳以及传感器系统,所述外壳具有主体部分和从所述主体部分延伸的柄部部分,其特征在于,所述方法包括:
获取所述传感器系统的第一输出,所述第一输出指示所述外壳的移动状态;
根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中,包括:
若所述第一输出至少指示所述主体部分存在第一状态,则确定所述主体部分被放置在用户的耳朵中;
其中,所述第一状态指示所述主体部分存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态。
3.根据权利要求2所述的方法,其特征在于,所述第一状态指示所述主体部分由移动至耳朵的移动状态变为与调整所述主体部分在耳朵中的位置的过程相对应的震动状态。
4.根据权利要求1至3任一所述的方法,其特征在于,所述根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中,包括:
若所述第一输出至少指示所述主体部分振动幅度在第一预设范围内,且所述主体部分的振动频率在第二预设范围内,则确定所述主体部分被放置在用户的耳朵中。
5.根据权利要求1所述的方法,其特征在于,所述根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中,包括:
至少以所述第一输出为模型输入,通过神经网络模型确定所述主体部分是否被放置在用户的耳朵中。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述传感器系统的第二输出;所述第二输出指示所述主体部分的被遮挡情况;相应的,所述根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中,包括:
根据所述第一输出和所述第二输出确定所述主体部分是否被放置在用户的耳朵中。
7.根据权利要求6所述的方法,其特征在于,所述根据所述第一输出和所述第二输出确定所述主体部分是否被放置在用户的耳朵中,包括:
若所述第一输出指示所述主体部分存在第一状态,且所述第二输出至少指示所述主体部分存在第二状态,则确定所述主体部分被放置在用户的耳朵中;
其中,所述第一状态指示所述主体部分存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态,所述第二状态指示所述主体部分存在被遮挡状态。
8.根据权利要求7所述的方法,其特征在于,所述第二状态指示所述主体部分存在被耳朵遮挡的遮挡状态。
9.根据权利要求7或8所述的方法,其特征在于,所述第二状态指示所述主体部分由未被遮挡状态变为被耳朵遮挡的遮挡状态。
10.根据权利要求7至9任一所述的方法,其特征在于,所述第二状态指示由所述柄部部分被手部遮挡的遮挡状态变为所述主体部分被耳朵遮挡的遮挡状态。
11.根据权利要求7所述的方法,其特征在于,所述传感器系统包括接近光传感器,所述接近光传感器用于输出所述第二输出,所述第二输出表示所述接近光传感器接收到的光能量大小,所述第二状态指示所述主体部分在维持被耳朵遮挡的情况下,所述第二输出的值大于第一阈值。
12.根据权利要求6所述的方法,其特征在于,所述根据所述第一输出和所述第二输出确定所述主体部分是否被放置在用户的耳朵中,包括:
至少以所述第一输出和所述第二输出为模型输入,通过神经网络模型确定所述主体部分是否被放置在用户的耳朵中。
13.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述传感器系统的第三输出;所述第三输出指示所述主体部分的接触状态;相应的,所述根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中,包括:
根据所述第一输出和所述第三输出确定所述主体部分是否被放置在用户的耳朵中。
14.根据权利要求13所述的方法,其特征在于,所述根据所述第一输出和所述第三输出确定所述主体部分是否被放置在用户的耳朵中,包括:
若所述第一输出指示所述主体部分存在第一状态、所述第三输出指示所述主体部分存在第三状态,则确定所述主体部分被放置在用户的耳朵中;其中,
所述第一状态指示所述主体部分存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态;所述第三状态指示所述主体部分存在接触状态。
15.根据权利要求14所述的方法,其特征在于,所述第三状态指示所述主体部分存在与耳朵接触的接触状态。
16.根据权利要求14或15所述的方法,其特征在于,所述第三状态指示所述主体部分由未接触状态变为与耳朵接触的接触状态。
17.根据权利要求14至16任一所述的方法,其特征在于,所述第三状态指示由所述柄部部分与手部接触的接触状态变为所述主体部分与耳朵接触的接触状态。
18.根据权利要求13所述的方法,其特征在于,所述根据所述第一输出和所述第三输出确定所述主体部分是否被放置在用户的耳朵中,包括:
至少以所述第一输出和所述第三输出为模型输入,通过神经网络模型确定所述主体部分是否被放置在用户的耳朵中。
19.一种无线耳机的双击状态确定方法,所述无线耳机包括外壳和传感器系统,其特征在于,所述方法包括:
获取所述传感器系统的第一输出,所述第一输出指示所述外壳的移动状态;
以所述第一输出为模型输入,通过神经网络模型确定所述外壳是否被外界物体双击。
20.根据权利要求19所述的方法,其特征在于,所述以所述第一输出为模型输入,通过神经网络模型确定所述外壳是否被外界物体双击,包括:
若确定所述第一输出的数据峰值大于第二阈值、且所述第一输出的数据能量大于第三阈值、所述第一输出包含大于或等于两个波峰,则以所述第三输出为模型输入,通过神经网络模型确定所述外壳是否被外界物体双击。
21.一种无线耳机,所述无线耳机包括外壳、传感器系统以及处理器,所述传感器系统与所述处理器连接,所述外壳具有主体部分和从所述主体部分延伸的柄部部分,其特征在于,
所述处理器用于获取所述传感器系统的第一输出,所述第一输出指示所述外壳的移动状态;
根据所述第一输出确定所述主体部分是否被放置在用户的耳朵中。
22.根据权利要求21所述的无线耳机,其特征在于,所述处理器具体用于若所述第一输出至少指示所述主体部分存在第一状态,则确定所述主体部分被放置在用户的耳朵中;
其中,所述第一状态指示所述主体部分存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态。
23.根据权利要求22所述的无线耳机,其特征在于,所述第一状态指示所述主体部分由移动至耳朵的移动状态变为与调整所述主体部分在耳朵中的位置的过程相对应的震动状态。
24.根据权利要求21至23任一所述的无线耳机,其特征在于,所述处理器具体用于若所述第一输出至少指示所述主体部分振动幅度在第一预设范围内,且所述主体部分的振动频率在第二预设范围内,则确定所述主体部分被放置在用户的耳朵中。
25.根据权利要求21所述的无线耳机,其特征在于,所述处理器具体用于至少以所述第一输出为模型输入,通过神经网络模型确定所述主体部分是否被放置在用户的耳朵中。
26.根据权利要求21所述的无线耳机,其特征在于,所述处理器还用于获取所述传感器系统的第二输出;所述第二输出指示所述主体部分的被遮挡情况;
根据所述第一输出和所述第二输出确定所述主体部分是否被放置在用户的耳朵中。
27.根据权利要求26所述的无线耳机,其特征在于,所述处理器具体用于若所述第一输出指示所述主体部分存在第一状态,且所述第二输出至少指示所述主体部分存在第二状态,则确定所述主体部分被放置在用户的耳朵中;
其中,所述第一状态指示所述主体部分存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态,所述第二状态指示所述主体部分存在被遮挡状态。
28.根据权利要求27所述的无线耳机,其特征在于,所述第二状态指示所述主体部分存在被耳朵遮挡的遮挡状态。
29.根据权利要求27或28所述的无线耳机,其特征在于,所述第二状态指示所述主体部分由未被遮挡状态变为被耳朵遮挡的遮挡状态。
30.根据权利要求27至29任一所述的无线耳机,其特征在于,所述第二状态指示由所述柄部部分被手部遮挡的遮挡状态变为所述主体部分被耳朵遮挡的遮挡状态。
31.根据权利要求27所述的无线耳机,其特征在于,所述传感器系统包括接近光传感器,所述接近光传感器用于输出所述第二输出,所述第二输出表示所述接近光传感器接收到的光能量大小,所述第二状态指示所述主体部分在维持被耳朵遮挡的情况下,所述第二输出的值大于第一阈值。
32.根据权利要求26所述的无线耳机,其特征在于,所述处理器具体用于至少以所述第一输出和所述第二输出为模型输入,通过神经网络模型确定所述主体部分是否被放置在用户的耳朵中。
33.根据权利要求21所述的无线耳机,其特征在于,所述处理器还用于获取所述传感器系统的第三输出;所述第三输出指示所述主体部分的接触状态;
根据所述第一输出和所述第三输出确定所述主体部分是否被放置在用户的耳朵中。
34.根据权利要求33所述的无线耳机,其特征在于,所述处理器具体用于若所述第一输出指示所述主体部分存在第一状态、所述第三输出指示所述主体部分存在第三状态,则确定所述主体部分被放置在用户的耳朵中;其中,
所述第一状态指示所述主体部分存在与调整所述主体部分在耳朵中的位置的过程相对应的震动状态;所述第三状态指示所述主体部分存在接触状态。
35.根据权利要求34所述的无线耳机,其特征在于,所述第三状态指示所述主体部分存在与耳朵接触的接触状态。
36.根据权利要求34或35所述的无线耳机,其特征在于,所述第三状态指示所述主体部分由未接触状态变为与耳朵接触的接触状态。
37.根据权利要求34至36任一所述的无线耳机,其特征在于,所述第三状态指示由所述柄部部分与手部接触的接触状态变为所述主体部分与耳朵接触的接触状态。
38.根据权利要求33所述的无线耳机,其特征在于,所述处理器具体用于至少以所述第一输出和所述第三输出为模型输入,通过神经网络模型确定所述主体部分是否被放置在用户的耳朵中。
39.一种无线耳机,所述无线耳机包括外壳、传感器系统和处理器,所述传感器系统和所述处理器连接,其特征在于,
所述处理器用于获取所述传感器系统的第一输出,所述第一输出指示所述外壳的移动状态;
以所述第一输出为模型输入,通过神经网络模型确定所述外壳是否被外界物体双击。
40.根据权利要求39所述的无线耳机,其特征在于,所述处理器具体用于在第一预设时间段内,若确定所述第一输出的数据峰值大于第二阈值、且所述第一输出的数据能量大于第三阈值、所述第一输出包含大于或等于两个波峰,则以所述第三输出为模型输入,通过神经网络模型确定所述外壳是否被外界物体双击。
CN202010258894.XA 2020-04-03 2020-04-03 一种无线耳机的佩戴状态确定方法及相关装置 Active CN113497988B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010258894.XA CN113497988B (zh) 2020-04-03 2020-04-03 一种无线耳机的佩戴状态确定方法及相关装置
PCT/CN2021/085300 WO2021197476A1 (zh) 2020-04-03 2021-04-02 一种无线耳机的佩戴状态确定方法及相关装置
EP21779338.9A EP4124061A4 (en) 2020-04-03 2021-04-02 METHOD OF DETERMINING THE WEARING STATE OF A WIRELESS EARPHONE AND ASSOCIATED DEVICE
US17/956,984 US20230022327A1 (en) 2020-04-03 2022-09-30 Method for determining wearing status of wireless earphone and related apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010258894.XA CN113497988B (zh) 2020-04-03 2020-04-03 一种无线耳机的佩戴状态确定方法及相关装置

Publications (2)

Publication Number Publication Date
CN113497988A true CN113497988A (zh) 2021-10-12
CN113497988B CN113497988B (zh) 2023-05-16

Family

ID=77926941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010258894.XA Active CN113497988B (zh) 2020-04-03 2020-04-03 一种无线耳机的佩戴状态确定方法及相关装置

Country Status (4)

Country Link
US (1) US20230022327A1 (zh)
EP (1) EP4124061A4 (zh)
CN (1) CN113497988B (zh)
WO (1) WO2021197476A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113825063A (zh) * 2021-11-24 2021-12-21 珠海深圳清华大学研究院创新中心 耳机的语音识别启动方法及耳机的语音识别方法
CN114302280A (zh) * 2021-12-29 2022-04-08 维沃移动通信有限公司 耳机组件及其控制方法和控制装置、电子设备和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120114154A1 (en) * 2010-11-05 2012-05-10 Sony Ericsson Mobile Communications Ab Using accelerometers for left right detection of headset earpieces
US20130210497A1 (en) * 2006-10-02 2013-08-15 Plantronics, Inc. Donned and doffed headset state detection
CN105338447A (zh) * 2015-10-19 2016-02-17 京东方科技集团股份有限公司 耳机控制电路及方法、耳机以及音频输出装置及方法
CN107801112A (zh) * 2016-09-06 2018-03-13 苹果公司 无线耳塞
CN108702567A (zh) * 2017-11-27 2018-10-23 深圳市汇顶科技股份有限公司 耳机、检测耳机的佩戴状态的方法和电子设备
CN108769404A (zh) * 2018-05-28 2018-11-06 苏州创存数字科技有限公司 一种基于移动终端的音乐自动播放方法
CN108966087A (zh) * 2018-07-26 2018-12-07 歌尔科技有限公司 一种无线耳机的佩戴情况检测方法、装置及无线耳机
CN110413134A (zh) * 2018-04-26 2019-11-05 Oppo广东移动通信有限公司 佩戴状态检测方法及相关设备
CN110460925A (zh) * 2019-03-08 2019-11-15 美律电子(深圳)有限公司 耳机及转换感测数据的系统
CN110505550A (zh) * 2019-08-28 2019-11-26 歌尔科技有限公司 无线耳机入耳检测方法、装置及无线耳机
US20200105268A1 (en) * 2018-05-18 2020-04-02 Shenzhen Aukey Smart Information Technology Co., Ltd. Ai voice interaction method, device and system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108712697B (zh) * 2018-05-29 2020-02-14 歌尔科技有限公司 无线耳机及其工作模式确定方法、装置、设备、存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130210497A1 (en) * 2006-10-02 2013-08-15 Plantronics, Inc. Donned and doffed headset state detection
US20120114154A1 (en) * 2010-11-05 2012-05-10 Sony Ericsson Mobile Communications Ab Using accelerometers for left right detection of headset earpieces
CN105338447A (zh) * 2015-10-19 2016-02-17 京东方科技集团股份有限公司 耳机控制电路及方法、耳机以及音频输出装置及方法
CN107801112A (zh) * 2016-09-06 2018-03-13 苹果公司 无线耳塞
CN108702567A (zh) * 2017-11-27 2018-10-23 深圳市汇顶科技股份有限公司 耳机、检测耳机的佩戴状态的方法和电子设备
CN110413134A (zh) * 2018-04-26 2019-11-05 Oppo广东移动通信有限公司 佩戴状态检测方法及相关设备
US20200105268A1 (en) * 2018-05-18 2020-04-02 Shenzhen Aukey Smart Information Technology Co., Ltd. Ai voice interaction method, device and system
CN108769404A (zh) * 2018-05-28 2018-11-06 苏州创存数字科技有限公司 一种基于移动终端的音乐自动播放方法
CN108966087A (zh) * 2018-07-26 2018-12-07 歌尔科技有限公司 一种无线耳机的佩戴情况检测方法、装置及无线耳机
CN110460925A (zh) * 2019-03-08 2019-11-15 美律电子(深圳)有限公司 耳机及转换感测数据的系统
CN110505550A (zh) * 2019-08-28 2019-11-26 歌尔科技有限公司 无线耳机入耳检测方法、装置及无线耳机

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113825063A (zh) * 2021-11-24 2021-12-21 珠海深圳清华大学研究院创新中心 耳机的语音识别启动方法及耳机的语音识别方法
CN114302280A (zh) * 2021-12-29 2022-04-08 维沃移动通信有限公司 耳机组件及其控制方法和控制装置、电子设备和存储介质

Also Published As

Publication number Publication date
WO2021197476A1 (zh) 2021-10-07
CN113497988B (zh) 2023-05-16
US20230022327A1 (en) 2023-01-26
EP4124061A1 (en) 2023-01-25
EP4124061A4 (en) 2023-08-16

Similar Documents

Publication Publication Date Title
US11074466B2 (en) Anti-counterfeiting processing method and related products
US20230022327A1 (en) Method for determining wearing status of wireless earphone and related apparatus
US20150118960A1 (en) Wearable communication device
CN110495819B (zh) 机器人的控制方法、机器人、终端、服务器及控制系统
US20150117695A1 (en) Orienting earbuds and earbud systems
US20150118959A1 (en) Platform framework for wireless media device simulation and design
KR102512614B1 (ko) 오디오 개선을 지원하는 전자 장치 및 이를 위한 방법
CN111753498A (zh) 文本处理方法、装置、设备及存储介质
CN110942046A (zh) 图像检索方法、装置、设备及存储介质
CN113822322A (zh) 图像处理模型训练方法及文本处理模型训练方法
CN112527104A (zh) 确定参数确定方法、装置、设备及存储介质
CN113343709B (zh) 意图识别模型的训练方法、意图识别方法、装置及设备
CN111414496B (zh) 基于人工智能的多媒体文件的检测方法和装置
CN111982293B (zh) 体温测量方法、装置、电子设备及存储介质
CN114547616A (zh) 检测垃圾软件的方法、装置及电子设备
CN113920979A (zh) 语音数据的获取方法、装置、设备及计算机可读存储介质
CN111752372A (zh) 一种动作识别方法、装置及计算机可读存储介质
CN116661630B (zh) 检测方法和电子设备
WO2015066094A2 (en) Wearable charging device
CN117793592A (zh) 一种佩戴检测方法和无线耳机
CN116863460A (zh) 姿态识别、姿态识别模型的训练方法、装置、设备及介质
CN113948084A (zh) 语音数据的处理方法、装置、电子设备、存储介质及产品
CN116843003A (zh) 嵌入式设备的管理方法、装置、设备及存储介质
CN115169554A (zh) 数据处理方法、装置、设备及存储介质
CN116415112A (zh) 一种默念口令配置方法及装置、可穿戴设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant