CN116069290B - 电子设备及其控制方法、装置、计算机可读存储介质 - Google Patents

电子设备及其控制方法、装置、计算机可读存储介质 Download PDF

Info

Publication number
CN116069290B
CN116069290B CN202310210230.XA CN202310210230A CN116069290B CN 116069290 B CN116069290 B CN 116069290B CN 202310210230 A CN202310210230 A CN 202310210230A CN 116069290 B CN116069290 B CN 116069290B
Authority
CN
China
Prior art keywords
electronic device
measurement data
spatial audio
inertial measurement
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310210230.XA
Other languages
English (en)
Other versions
CN116069290A (zh
Inventor
陈宥竣
张桓
刘顺男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xiandui Technology Co ltd
Original Assignee
Shenzhen Xiandui Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xiandui Technology Co ltd filed Critical Shenzhen Xiandui Technology Co ltd
Priority to CN202310210230.XA priority Critical patent/CN116069290B/zh
Publication of CN116069290A publication Critical patent/CN116069290A/zh
Application granted granted Critical
Publication of CN116069290B publication Critical patent/CN116069290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例提供一种电子设备及其控制方法、装置、计算机可读存储介质。所述电子设备控制方法用于控制电子设备播放空间音频,包括:确定所述电子设备处于低活动量状态或者正常活动量状态;响应于确定所述电子设备处于低活动量状态,则根据所述电子设备在对应时间段内的部分惯性测量数据解算近似得到空间音频的方位,并根据所述空间音频的方位播放所述空间音频;响应于确定所述电子设备处于正常活动量状态,则根据所述电子设备在对应时间段内的全部惯性测量数据解算得到所述空间音频的方位,并根据所述空间音频的方位播放所述空间音频。

Description

电子设备及其控制方法、装置、计算机可读存储介质
技术领域
本申请涉及空间音频技术领域,具体涉及一种电子设备及其控制方法、装置、计算机可读存储介质。
背景技术
在相关技术中,诸如TWS(True Wireless Stereo)耳机、AR/VR眼镜等可穿戴设备可以用于播放空间音频,使用户获得身临其境的环绕效果。然而,上述可穿戴设备续航时间较短,不能满足用户较长时间的娱乐需要。
发明内容
本申请实施例提供一种电子设备及其控制方法、装置、计算机可读存储介质,可以增加电子设备的续航时间。
第一方面,本申请实施例提供一种电子设备控制方法,用于控制电子设备播放空间音频,包括:确定所述电子设备处于低活动量状态或者正常活动量状态;响应于确定所述电子设备处于低活动量状态,则根据所述电子设备在对应时间段内的部分惯性测量数据解算近似得到空间音频的方位,并根据所述空间音频的方位播放所述空间音频;响应于确定所述电子设备处于正常活动量状态,则根据所述电子设备在对应时间段内的全部惯性测量数据解算得到所述空间音频的方位,并根据所述空间音频的方位播放所述空间音频。
在一些实施例中,根据所述电子设备在对应时间段内的部分惯性测量数据解算近似得到所述空间音频的方位,包括:读取所述电子设备在对应时间段内的部分惯性测量数据;对所述部分惯性测量数据依次进行扩展卡尔曼滤波解算和近似计算,得到所述电子设备在所述对应时间段内的方位数据;根据所述电子设备在所述对应时间段内的方位数据确定所述空间音频的方位。
在一些实施例中,读取所述电子设备在对应时间段内的部分惯性测量数据,包括:以第一读取频率读取所述电子设备在对应时间段内的惯性测量数据;所述第一读取频率为所述电子设备的惯性测量频率的约数。
在一些实施例中,根据所述电子设备在对应时间段内的全部惯性测量数据解算得到所述空间音频的方位,包括:读取所述电子设备在对应时间段内的全部惯性测量数据;对所述全部惯性测量数据进行扩展卡尔曼滤波解算,得到所述电子设备在所述对应时间段内的方位数据;根据所述电子设备在所述对应时间段内的方位数据确定所述空间音频的方位。
在一些实施例中,读取所述电子设备在对应时间段内的全部惯性测量数据,包括:以所述电子设备的惯性测量频率作为读取频率而读取所述电子设备在对应时间段内的惯性测量数据。
在一些实施例中,确定所述电子设备处于所述低活动量状态或者所述正常活动量状态,包括:确定所述电子设备的转动测量数据是否小于第一阈值;响应于确定所述电子设备的转动测量数据小于第一阈值,则确定所述电子设备处于低活动量状态;响应于确定所述电子设备的转动测量数据不小于第一阈值,则确定所述电子设备处于正常活动量状态。
在一些实施例中,所述电子设备控制方法还包括:确定所述电子设备是否连续移动;响应于确定所述电子设备连续移动,则更新所述空间音频的方位、并根据更新后的方位播放所述空间音频;响应于确定所述电子设备未连续移动,则不更新所述空间音频的方位。
在一些实施例中,更新空间音频的方位,包括:读取所述连续移动所对应的全部惯性测量数据;对所述全部惯性测量数据解算得到所述空间音频的最新方位,并将所述空间音频的方位更新为该最新方位。
在一些实施例中,确定所述电子设备是否连续移动,包括:确定所述电子设备的惯性测量数据中的转动测量数据中的任一值是否位于第二阈值区间内;响应于所述电子设备的惯性测量数据中的转动测量数据位于第二阈值区间内,则确定所述电子设备未连续移动;响应于所述电子设备的惯性测量数据中的转动测量数据中的任一值位于第二阈值区间外,则进行以下操作;确定以该惯性测量数据为最后一时间节点的对应值的连续多个惯性测量数据是否符合连续移动规律;响应于以该惯性测量数据为最后一时间节点的对应值的连续多个惯性测量数据符合连续移动规律,则确定所述电子设备连续移动;响应于以该惯性测量数据为最后一时间节点的对应值的连续多个惯性测量数据不符合连续移动规律,则确定所述电子设备未连续移动。
在一些实施例中,确定以该惯性测量数据为最后一时间节点的对应值的连续多个惯性测量数据是否符合连续移动规律,包括:基于所述连续多个惯性测量数据中每一时间节点对应的惯性测量数据与上一时间节点对应的惯性测量数据的大小比较,判断出所述连续多个惯性测量数据的变化趋势;响应于所述连续多个惯性测量数据的变化趋势向上或平缓,则确定符合连续移动规律;响应于所述连续多个惯性测量数据的变化趋势向下,则确定不符合连续移动规律。
在一些实施例中,所述电子设备为包含两个耳侧的双耳音频设备,任一耳侧分别设有可执行上述操作的处理器,所述电子设备控制方法还包括:响应于其中一个耳侧的处理器自运算模式切换至待机模式,另一耳侧的处理器自待机模式切换至运算模式。
在一些实施例中,响应于所述其中一个耳侧的处理器自运算模式切换至待机模式,所述另一耳侧的处理器自待机模式切换至运算模式还包括:所述耳侧的处理器将当前时间节点对应的所述空间音频的方位输出到所述另一耳侧的处理器,并自运算模式切换至待机模式。
第二方面,本申请实施例提供一种电子设备的控制装置,包括第一控制电路,所述第一控制电路被配置为进行以下操作:确定所述电子设备处于低活动量状态或者正常活动量状态;响应于确定所述电子设备处于低活动量状态,则根据所述电子设备在对应时间段内的部分惯性测量数据解算近似得到空间音频的方位,并根据所述空间音频的方位播放所述空间音频;响应于确定所述电子设备处于正常活动量状态,则根据所述电子设备在对应时间段内的全部惯性测量数据解算得到所述空间音频的方位,并根据所述空间音频的方位播放所述空间音频。
在一些实施例中,所述电子设备的控制装置还包括第二控制电路,所述第二控制电路被配置为进行以下操作:确定所述电子设备是否连续移动;响应于确定所述电子设备连续移动,则更新所述空间音频的方位、并根据更新后的方位播放所述空间音频;响应于确定所述电子设备未连续移动,则不更新所述空间音频的方位。
第三方面,本申请实施例提供一种电子设备,包括:壳体;惯性传感器,设置于所述壳体内,所述惯性传感器包括加速度计和陀螺仪,所述加速度计输出加速度测量数据,所述陀螺仪输出转动测量数据;存储器,连接所述惯性传感器,所述存储器存储有计算机程序;处理器,连接所述存储器,所述计算机程序被所述处理器执行时实现以上所述的电子设备控制方法;以及音频播放器,连接所述处理器,所述音频拨放器被配置为基于所述处理器的执行结果播放空间音频。
在一些实施例中,所述处理器包括寄存器和运算单元,所述寄存器被配置为队列暂存所述惯性传感器输出的惯性测量数据以及所述惯性测量数据对应的时间信息;所述运算单元被配置为执行所述计算机程序。
第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,当所述计算机程序由处理器进行加载时执行以上任一实施例所述的电子设备控制方法中的步骤。
本申请实施例通过根据电子设备所处活动状态进行针对性控制,在电子设备处于正常活动量状态时、根据对应时间段内的全部惯性测量数据进行解算以得到精度较高的空间音频的方位,而在电子设备处于低活动量状态时,则对对应时间段内的部分而非全部惯性测量数据进行解算得到电子设备在该对应时间段内部分时间点的方位信息、并根据解算结果进行近似计算而得到电子设备在该对应时间段内其他时间点的方位信息,从而得到电子设备在该时间段内全部时间点的方位信息和空间音频在该时间段内的全部方位;一方面可以使低活动量状态下计算得到的空间音频的方位不会明显偏离真实目标方位,使得电子设备播放的空间音频能够满足用户的体验需要,另一方面以运算量较小的近似计算取代部分惯性测量数据解算时,可以降低电子设备中处理器在低活动量状态时的运算负担和运算功耗,从而增加电子设备的续航时间。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一些实施例提供的电子设备控制方法的流程图;
图2是本申请一些实施例提供的电子设备控制方法的局部流程图;
图3是本申请一些实施例提供的电子设备控制方法的又一局部流程图;
图4是本申请一些实施例提供的电子设备控制方法的又一局部流程图;
图5是本申请一些实施例提供的电子设备控制方法的又一局部流程图;
图6是本申请一些实施例提供的电子设备控制方法的又一局部流程图;
图7是本申请一些实施例提供的电子设备控制方法的又一局部流程图;
图8是本申请一些实施例提供的电子设备控制方法的又一局部流程图;
图9是本申请一些实施例提供的电子设备控制方法的又一局部流程图;
图10是本申请一些实施例提供的电子设备控制方法的转动测量数据随时间变化的一种分布曲线图;
图11是本申请一些实施例提供的电子设备控制方法的再一局部流程图;
图12是本申请一些实施例提供的电子设备控制方法的转动测量数据随时间变化的一种波形分布图;
图13是本申请一些实施例提供的电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
“A和/或B”,包括以下三种组合:仅A,仅B,及A和B的组合。
本申请中“适用于”或“被配置为”的使用意味着开放和包容性的语言,其不排除适用于或被配置为执行额外任务或步骤的设备。另外,“基于”的使用意味着开放和包容性,因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。
在本申请中,“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请,给出了以下描述。在以下描述中,为了解释的目的而列出了细节。应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本申请。在其它实例中,不会对公知的结构和过程进行详细阐述,以避免不必要的细节使本申请的描述变得晦涩。因此,本申请并非旨在限于所示的实施例,而是与符合本申请所公开的原理和特征的最广范围相一致。
第一方面,本申请实施例提供一种电子设备控制方法,用于控制电子设备1播放空间音频。如图1所示,该电子设备控制方法包括S10~S30,可以增加电子设备1的续航时间。这里,电子设备1可以是TWS耳机、AR/VR眼镜、AR/VR头盔等可穿戴设备,针对用户的双耳进行空间音频的播放,使用户获得身临其境的环绕效果。在用户发生移动动作时,电子设备1随之发生移动、并相应更新空间音频的方位信息,使环绕声准确地定位在合适的方位。
S10:确定电子设备1处于低活动量状态或者正常活动量状态。这里,低活动量状态可以根据电子设备1进行预先定义;在电子设备1处于低活动量状态时,电子设备1正常工作而播放空间音频、且电子设备1未发生预设幅度以上的物理移动,其动作比较轻缓。例如,在用户头戴电子设备1或躺或坐地欣赏音乐/观看电影时,用户大致上保持相对静止的状态、头部通常只有无意识和/或动作幅度较小的轻微摇摆移动,使穿戴于头部的电子设备1也不会发生预设幅度以上的明显移动,此时可以视为电子设备1处于低活动量状态。
S20:响应于确定电子设备1处于低活动量状态,则根据电子设备1在对应时间段内的部分惯性测量数据解算近似得到空间音频的方位,并根据空间音频的方位播放空间音频。这里,惯性测量数据可以通过电子设备1上的惯性传感器20按自身的测量频率测量得到,惯性传感器20可以包括加速度计和陀螺仪,例如,加速度计可以是三轴加速度计、而陀螺仪可以是三轴陀螺仪;相应地,惯性测量数据可以包括由加速度计测得的加速度测量数据和由陀螺仪测得的转动测量数据;其中,加速度测量数据可以反映电子设备1在进行移动时的激烈程度和运动方向,转动测量数据可以反映电子设备1在进行移动时的姿态角变化。在一些实施例中,惯性测量数据可以按时间顺序依次队列存入存储器30或处理器40的寄存器中;在一些示例中,可以采用先进先出(First In First Out,简称FIFO)的数据队列管理结构对惯性测量数据进行读写管理,将惯性测量数据顺序写入存储器30或处理器40的寄存器中、并顺序地从存储器30或处理器40的寄存器中读出。
在确定该电子设备1处于低活动量状态时,表示电子设备1的空间位置在对应时间段内未发生变动或未发生预设幅度以上的明显变动;此时,可以仅对该时间段内的部分而非全部惯性测量数据进行解算、相应得到电子设备1在该时间段内部分时间点的方位信息,而对于该时间段内的其余惯性测量数据则不进行解算;进而,可以根据上述部分时间点的方位信息进行例如内插处理等近似计算而得到电子设备1在该时间段内其余时间点的方位信息,从而得到电子设备1在该时间段内全部时间点的方位信息和空间音频在该时间段内的全部方位。
在一些实施例中,在所需播放的空间音频源自诸如智能移动终端等外部音源设备时,可以根据电子设备1在该时间段内全部时间点的方位信息和外部音源设备的方位信息,确定空间音频在该时间段内的全部方位;这里,智能移动终端可以包括智能手机、平板电脑等类型,本申请实施例对此不作限定。在另一些实施例中,在所需播放的空间音频源自该电子设备1自身时,可以根据电子设备1在该时间段内全部时间点的方位信息和电子设备1中虚拟音源的虚拟方位,确定空间音频在该时间段内的全部方位;这里,电子设备1可以是诸如AR/VR眼镜等设备类型。
基于S20的处理方式,一方面由于电子设备1的空间位置在对应时间段内未发生明显变动或未发生预设幅度以上的变动,通过部分解算结合近似计算得到的空间音频的方位,不会明显偏离空间音频的真实目标方位、方位误差仍处于所允许的较小范围内;这样,用户在收听按照上述方位播放的空间音频时,不会明显察觉其中的差别,使电子设备1播放的空间音频能够满足用户的体验需要。另一方面可以减少对惯性测量数据的解算运算量,而以例如内插处理等近似计算进行近似替代;相较于解算过程,例如内插处理等近似计算的运算量较小,故以运算量较小的近似计算取代部分惯性测量数据解算时,可以降低电子设备1中处理器40在低活动量状态时的运算负担和运算功耗,从而增加电子设备1的续航时间。
S30:响应于确定电子设备1处于正常活动量状态,则根据电子设备1在对应时间段内的全部惯性测量数据解算得到空间音频的方位,并根据空间音频的方位播放空间音频。这里,正常活动量状态可以相对低活动量状态进行预先定义;在电子设备1处于正常活动量状态时,电子设备1正常工作而播放空间音频、且电子设备1发生预设幅度以上的物理移动。例如,在用户头戴电子设备1行进移动或进行如跑步、器械锻炼等健身运动时,用户处于幅度较大的运动状态,使电子设备1随之发生预设幅度以上的移动,此时可以视为电子设备1处于正常活动量状态。又如,在用户头戴电子设备1、用户的身体保持大致静止而头部发生较大幅度的摇摆动作时,会使穿戴于头部的电子设备1发生预设幅度以上的移动,此时可以视为电子设备1处于正常活动量状态。
在确定电子设备1处于正常活动量状态时,表示用户发生较大的位置变动;此时,需要对电子设备1在对应时间段内的全部惯性测量数据进行解算、以得到电子设备1在该时间段内全部时间点的方位信息,从而提高空间音频的方位的计算精度,使所播放的空间音频能够准确地跟随用户的移动而定位至合适的方位,使得用户能够获得较为准确而身临其境的收听效果。
和相关技术相比,本申请实施例提供的电子设备控制方法可以根据电子设备1所处活动状态进行针对性控制,在电子设备1处于正常活动量状态时,根据对应时间段内的全部惯性测量数据进行解算以得到精度较高的空间音频的方位;而在电子设备1处于低活动量状态时,则对对应时间段内的部分而非全部惯性测量数据进行解算得到电子设备1在该对应时间段内部分时间点的方位信息、并根据解算结果进行近似计算而得到电子设备1在该对应时间段内其他时间点的方位信息,从而得到电子设备1在该时间段内全部时间点的方位信息和空间音频在该时间段内的全部方位;一方面可以使低活动量状态下计算得到的空间音频的方位不会明显偏离真实目标方位,使得电子设备1播放的空间音频能够满足用户的体验需要,另一方面以运算量较小的近似计算取代部分惯性测量数据解算时,可以降低电子设备1中处理器40在低活动量状态时的运算负担和运算功耗,从而增加电子设备1的续航时间。
如图2所示,在一些实施例中,根据电子设备1在对应时间段内的部分惯性测量数据解算近似得到空间音频的方位,可以包括S21~S23。
S21:读取电子设备1在对应时间段内的部分惯性测量数据。在一些示例中,在惯性测量数据已按时间顺序依次队列存入存储器30或处理器40的寄存器中时,可以按照预设规则从存储器30或寄存器中读取对应时间段内的部分惯性测量数据,而对对应时间段内的其余惯性测量数据则不予读取。在另一些示例中,可以直接从惯性传感器20读取对应时间段内的部分惯性测量数据,而对对应时间段内的其余惯性测量数据则不予读取。
这里,可以按照不同的预设规则对部分惯性测量数据进行读取,可以采用诸如降频读取方式、随机读取方式等类型,本申请实施例对此不作限定。如图3所示,在一些示例中,S21可以包括S211。
S211:以第一读取频率读取电子设备1在对应时间段内的惯性测量数据。这里,第一读取频率为电子设备1的惯性测量频率的约数。在一些示例中,第一读取频率可以小于电子设备1的惯性测量频率;其中,惯性测量频率为电子设备1上惯性传感器20的测量频率。例如,惯性测量频率可以为第一读取频率的正整数倍、且前者为后者的至少两倍;相应地,按照第一读取频率对电子设备1在对应时间段内的惯性测量数据进行读取时,将会导致其中仅部分惯性测量数据能够被读取、而其余惯性测量数据将被跳过,可以实现对电子设备1在对应时间段内的部分惯性测量数据进行读取的目的。
S22:对该部分惯性测量数据依次进行扩展卡尔曼滤波解算和近似计算,得到电子设备1在对应时间段内的方位数据。
扩展卡尔曼滤波(Extended Kalman Filter,简称EKF)是标准卡尔曼滤波在非线性情形下的一种扩展形式,例如,以惯性测量数据中的加速度测量数据和转动测量数据作为输入量,而输出和惯性测量数据所对应的方位信息。这样,在对该部分惯性测量数据进行扩展卡尔曼滤波解算后,可以得到电子设备1在对应时间段内部分时间点的方位信息。
这里,近似计算可以是内插处理(interpolation)。通过对上述部分时间点的方位信息进行内插处理,可以得到电子设备1在该时间段内其余时间点的方位的近似值;将这些近似值和上述解算得到的部分时间点的方位信息进行结合,即可得到电子设备1在该时间段内全部时间点的方位信息,亦即电子设备1在对应时间段内的方位数据。
S23:根据电子设备1在对应时间段内的方位数据确定空间音频的方位。根据电子设备1在对应时间段内的方位数据,可以确定空间音频的方位。这里,电子设备1在对应时间段内的方位数据包含电子设备1在该时间段内全部时间点的方位信息。在一些实施例中,在所需播放的空间音频源自诸如智能移动终端等外部音源设备时,可以根据电子设备1在对应时间段内全部时间点的方位信息和外部音源设备的方位信息,确定空间音频在该时间段内的全部方位;这里,智能移动终端可以包括智能手机、平板电脑等类型,本申请实施例对此不作限定。在另一些实施例中,在所需播放的空间音频源自该电子设备1自身时,可以根据电子设备1在该时间段内全部时间点的方位信息和电子设备1中虚拟音源的虚拟方位,确定空间音频在该时间段内的全部方位;这里,电子设备1可以是诸如AR/VR眼镜等设备类型。进而,根据空间音频的方位,即可进行空间音频的播放。
如图4所示,在一些实施例中,根据电子设备1在对应时间段内的全部惯性测量数据解算得到空间音频的方位,可以包括S31~S33。
S31:读取电子设备1在对应时间段内的全部惯性测量数据。在一些示例中,在惯性测量数据已按时间顺序依次队列存入存储器30或处理器40的寄存器中时,可以从存储器30或寄存器中读取对应时间段内的全部惯性测量数据。在另一些示例中,可以直接从惯性传感器20读取对应时间段内的全部惯性测量数据。
如图5所示,在一些示例中,S31可以包括S311。
S311:以电子设备1的惯性测量频率作为读取频率而读取电子设备1在对应时间段内的惯性测量数据。由于读取频率和惯性测量频率相等,在以电子设备1的惯性测量频率作为读取频率进行数据读取时,惯性传感器20在对应时间段内的每个惯性测量数据均可以被读取,从而实现对电子设备1在对应时间段内的全部惯性测量数据的读取目的。由此,可以得到电子设备1在对应时间段内全部时间点的惯性测量数据。
S32:对全部惯性测量数据进行扩展卡尔曼滤波解算,得到电子设备1在对应时间段内的方位数据。通过对全部惯性测量数据进行扩展卡尔曼滤波解算,可以得到电子设备1在对应时间段内全部时间点的方位数据、此即电子设备1在对应时间段内的方位数据。
S33:根据电子设备1在对应时间段内的方位数据确定空间音频的方位。根据电子设备1在对应时间段内的方位数据,可以确定空间音频的方位。这里,电子设备1在对应时间段内的方位数据包含电子设备1在该时间段内全部时间点的方位信息。在一些实施例中,在所需播放的空间音频源自诸如智能移动终端等外部音源设备时,可以根据电子设备1在对应时间段内全部时间点的方位信息和外部音源设备的方位信息,确定空间音频在该时间段内的全部方位;这里,智能移动终端可以包括智能手机、平板电脑等类型,本申请实施例对此不作限定。在另一些实施例中,在所需播放的空间音频源自该电子设备1自身时,可以根据电子设备1在该时间段内全部时间点的方位信息和电子设备1中虚拟音源的虚拟方位,确定空间音频在该时间段内的全部方位;这里,电子设备1可以是诸如AR/VR眼镜等设备类型。进而,根据空间音频的方位,即可进行空间音频的播放。
对于如何确定电子设备1处于低活动量状态或者正常活动量状态,可以采用不同的判断方式,本申请实施例对此不作限定。如图6所示,在一些实施例中,S10可以包括S11~S13。
S11:确定电子设备1的加速度测量数据是否小于第一阈值。这里,电子设备1的加速度测量数据可以通过惯性传感器20中的加速度计测量得到。第一阈值为在电子设备1中预先设置的判断阈值,可以表征电子设备1的移动幅度或激烈程度,作为电子设备1处于低活动量状态或者正常活动量状态的判断标志。第一阈值可以根据电子设备1的实际使用工况进行预设,例如通过对众多以往使用数据进行分析而确定,以能准确反映电子设备1的实际使用情况。在电子设备1的加速度测量数据小于第一阈值时,即采用S20的方式解算近似得到的空间音频的方位,也不会明显偏离空间音频的真实目标方位;用户在收听按照上述方位播放的空间音频时,不会明显察觉其中的差别,使电子设备1播放的空间音频能够满足用户的体验需要。
S12:响应于确定电子设备1的加速度测量数据小于第一阈值,则确定电子设备1处于低活动量状态。在电子设备1的加速度测量数据小于第一阈值时,可以确定电子设备1的移动幅度未达到预设幅度以上,表示电子设备1的空间位置在对应时间段内未发生变动或未发生预设幅度以上的明显变动,电子设备1的位置变动较小而并不激烈。这样,可以确定电子设备1处于预先定义的低活动量状态。
S13:响应于确定电子设备1的加速度测量数据不小于第一阈值,则确定电子设备1处于正常活动量状态。在电子设备1的加速度测量数据不小于第一阈值时,可以确定电子设备1的移动幅度已达到预设幅度以上,表示电子设备1的空间位置在对应时间段内已发生预设幅度以上的明显变动,电子设备1的位置变动比较激烈。这样,可以确定电子设备1处于预先定义的正常活动量状态。
如图7所示,在一些实施例中,电子设备控制方法还可以包括S41~S43。
S41:确定电子设备1是否连续移动。这里,连续移动可以指电子设备1在连续多个时间点连续发生、且姿态变化超出预设范围的移动动作,可以视为用户下意识做出的明显动作。例如,在用户头戴电子设备1或躺或坐地观看电影时,用户可能随观看视角的改变而做出头部的旋转或侧偏动作,使头部尤其是其上的双耳发生如横滚角或偏航角等姿态方位的改变,使得穿戴于头部的电子设备1随之发生姿态方位的改变;这一移动过程,可以视为电子设备1发生连续移动。
S42:响应于确定电子设备1连续移动,则更新空间音频的方位、并根据更新后的方位播放空间音频。在确定电子设备1连续移动时,可以确定用户的姿态方位发生明显变化;此时,需要及时更新空间音频的方位,使所播放的空间音频能够准确地跟随用户的移动而定位至合适的方位,使得用户能够获得较为准确而身临其境的收听效果。以用户头戴电子设备1或躺或坐地观看电影为例,在用户可能随观看视角的改变而做出头部的旋转或侧偏动作时,双耳发生如横滚角或偏航角等姿态方位的改变、双耳与外部音源设备/虚拟音源之间的相对方位已发生明显改变;此时,需要根据电子设备1连续移动过程的方位数据及时更新空间音频的方位,以匹配实现移动过程的音频变化效果。
S43:响应于确定电子设备1未连续移动,则不更新空间音频的方位。在确定电子设备1未发生连续移动时,可以确定用户的姿态方位未发生明显变化,暂不需要对空间音频的方位进行更新。
采用S41~S43,可以在确定电子设备1发生连续移动时、才对空间音频的方位予以更新,使空间音频能够跟随匹配实现移动过程的音频变化效果;而在确定电子设备1未发生连续移动时、则对空间音频的方位不予更新,减少在用户的姿态方位未发生明显变化时的运算负担和运算功耗,增加电子设备1的续航时间。
对于如何确定电子设备1是否连续移动,可以采用不同的判断方式,本申请实施例对此不作限定。如图8所示,在一些示例中,S41可以包括S411~S413。
S411:确定电子设备1的惯性测量数据中的转动测量数据中的任一值是否超过第二阈值区间。这里,转动测量数据中的任一值可以通过惯性传感器20中的陀螺仪测量得到,为转动测量数据中沿任一测量轴的运动角速度,例如可以是转动测量数据中沿一水平轴的运动角速度。第二阈值区间为在电子设备1中预先设置的判断阈值区间、且为一区间值,可以表征电子设备1的姿态变化程度,作为电子设备1是否发生连续移动的判断标志。第二阈值区间可以根据电子设备1的实际使用工况进行预设,例如通过对众多以往使用数据进行分析而确定,以能准确反映电子设备1的实际使用情况。
示例性的,第二阈值区间可以被预设为[-n°/s,n°/s],区间长度为2n°/s;其中,n可以大于零而不超过3。例如,n可以取为1,第二阈值区间可以被预设为[-1°/s,1°/s],区间长度为2°/s。又如,n可以取为2,第二阈值区间可以被预设为[-2°/s,2°/s],区间长度为4°/s。
S412:响应于电子设备1的惯性测量数据中的转动测量数据位于第二阈值区间内,则确定电子设备1未连续移动。此时,不需要更新空间音频的方位。
S413:响应于电子设备1的惯性测量数据中的转动测量数据位于第二阈值区间外,则进行S4131~S4133。为便于介绍,以下将该惯性测量数据称为最末惯性测量数据。
S4131:确定以该惯性测量数据为最后一时间节点的对应值的连续多个惯性测量数据是否符合连续移动规律。该连续多个惯性测量数据包含该最末惯性测量数据,且该连续多个惯性测量数据依次对应连续多个时间点,而该最末惯性测量数据和该连续多个时间点中的最新时间点对应。这里,连续移动规律可以根据电子设备1的实际使用工况进行预设,例如通过对众多以往使用数据进行分析而确定,以能准确反映电子设备1的实际使用情况。例如,可以将该连续多个惯性测量数据按时间顺序依次排布、并连接形成一分布曲线,若该分布曲线为一连续光滑曲线,则确定该连续多个惯性测量数据符合连续移动规律。
示例性的,可以通过确定以该惯性测量数据为最后一时间节点的对应值的连续多个惯性测量数据中的转动测量数据中的任一值是否符合连续移动规律,从而确定以该惯性测量数据为最后一时间节点的对应值的连续多个惯性测量数据是否符合连续移动规律。
如图9所示,又示例性的,S4131可以包括S41311~S41313。
S41311:基于连续多个惯性测量数据中每一时间节点对应的惯性测量数据与上一时间节点对应的惯性测量数据的大小比较,判断出连续多个惯性测量数据的变化趋势。
例如,可以将连续多个惯性测量数据中每一时间节点对应的惯性测量数据与该时间节点的上一时间节点对应的惯性测量数据的大小作比较,得到任意连续两个时间节点的惯性测量数据的变化趋势;在某一时间节点对应的惯性测量数据大于该时间节点的上一时间节点对应的惯性测量数据时,认为该连续两个时间节点的惯性测量数据的变化趋势为向上趋势,向上趋势的数量计数加一;在某一时间节点对应的惯性测量数据小于该时间节点的上一时间节点对应的惯性测量数据时,认为该连续两个时间节点的惯性测量数据的变化趋势为向下趋势,向下趋势的数量计数加一。这样,可以得到上述连续多个惯性测量数据中的向上趋势和向下趋势的数量;在向上趋势的数量大于向下趋势的数量时,确定上述连续多个惯性测量数据的变化趋势向上,进而可以确定上述连续多个惯性测量数据符合连续移动规律、电子设备1发生连续移动;在向上趋势的数量等于向下趋势的数量时,确定上述连续多个惯性测量数据的变化趋势平缓,进而可以确定上述连续多个惯性测量数据符合连续移动规律;而在向上趋势的数量小于向下趋势的数量时,确定上述连续多个惯性测量数据的变化趋势向下,进而可以确定上述连续多个惯性测量数据不符合连续移动规律、电子设备1未发生连续移动。
图10示出了在一个实际应用场景中,电子设备1的惯性测量数据中的转动测量数据随时间变化的分布曲线图。如图11所示,在以A点为时间起点、B点为时间终点的连续多个惯性测量数据中,以“+”号表示的向上趋势的数量为6个、而以“-”号表示的向下趋势的数量为3个;向上趋势的数量大于向下趋势的数量,故确定该连续多个惯性测量数据的变化趋势向上。
当然,本领域技术人员可以根据实际需要,采用其他的判断方式确定连续多个惯性测量数据的变化趋势,本申请实施例对此不作限定。
S41312:响应于上述连续多个惯性测量数据的变化趋势向上或平缓,则确定上述连续多个惯性测量数据符合连续移动规律。
S41313:响应于上述连续多个惯性测量数据的变化趋势向下,则确定上述连续多个惯性测量数据不符合连续移动规律。
S4132:响应于以该惯性测量数据为最后一时间节点的对应值的连续多个惯性测量数据符合连续移动规律,则确定电子设备1连续移动。此时,可以继续进行S42,以更新空间音频的方位。
S4133:响应于以该惯性测量数据为最后一时间节点的对应值的连续多个惯性测量数据不符合连续移动规律,则确定电子设备1未连续移动。
如图10所示,第二阈值区间为一区间值,区间长度例如为2°/s。以存储器30或寄存器的缓冲区大小(buffer size)为10为例,该缓冲区可以存储对应于连续10个时间点的连续10个惯性测量数据中的转动测量数据。B点的转动测量数据位于第二阈值区间外,此时可以考察缓冲区内自A点至B点这连续10个时间点的转动测量数据是否符合连续移动规律;可见这连续10个时间点的转动测量数据连接而成的分布曲线为一连续光滑曲线、符合连续移动规律,因而确定这连续10个惯性测量数据符合连续移动规律。
如图11所示,在一些示例中,可以通过S421~S422更新空间音频的方位。
S421:读取连续移动所对应的全部惯性测量数据。在一些示例中,在惯性测量数据已按时间顺序依次队列存入存储器30或处理器40的寄存器中时,可以从存储器30或寄存器中读取该连续移动所对应时间段内的全部惯性测量数据。在另一些示例中,可以直接从惯性传感器20读取该连续移动所对应时间段内的全部惯性测量数据。
S422:对全部惯性测量数据解算得到空间音频的最新方位,并将空间音频的方位更新为该最新方位。这里,可以通过扩展卡尔曼滤波对全部惯性测量数据进行逐一解算,得到空间音频在该连续移动过程的最新方位。
示例性的,在进行扩展卡尔曼滤波之前,可以去除上述全部惯性测量数据中急剧波动变化的噪声畸变值,以减少噪声干扰、增加解算精度。示例性的,以用户头戴电子设备1或躺或坐地观看电影为例,上述噪声畸变值可以对应例如用户听到旁人呼唤而做出的突然转头、受到惊吓时的突然悸动等突发动作。
图12示出了在一个实际应用场景中,电子设备1的惯性测量数据中的转动测量数据随时间变化的波形分布图;这里,第二阈值区间为一区间值,该区间值例如为[-2°/s,2°/s]、而区间长度例如为4°/s。如图12所示,存在多处以椭圆圈注、且位于第二阈值区间外的畸变点,这些畸变点的数值呈现短暂时间内急剧波动变化的短促剧变特征、属于对应噪声干扰的噪声畸变值,需要通过滤波方式进行去除、以提高计算精度;这里,可以如前所述地,在进行扩展卡尔曼滤波之前去除这些噪声畸变值,从而减少噪声干扰、增加解算精度。
在一些实施例中,上述电子设备1可以为包含两个耳侧的双耳音频设备,任一耳侧可以分别设有可执行上述操作的处理器40。这里,该电子设备控制方法还可以包括:响应于其中一个耳侧的处理器40自运算模式切换至待机模式,另一耳侧的处理器40自待机模式切换至运算模式。这样,在双耳音频设备的两个耳侧中,在不同时刻始终有至少一个耳侧的处理器40处于运算模式,可以保证上述电子设备控制方法得以持续执行,并保证电子设备1对于用户位置变动的响应灵敏度。
在一些示例中,响应于其中一个耳侧的处理器40自运算模式切换至待机模式,另一耳侧的处理器40自待机模式切换至运算模式,还包括:该其中一个耳侧的处理器40将当前时间节点对应的空间音频的方位输出到该另一耳侧的处理器40,且该其中一个耳侧的处理器40自运算模式切换至待机模式。这样,该另一耳侧的处理器40能够获取到当前时间节点对应的空间音频的方位,进而根据该当前时间节点对应的空间音频的方位而控制电子设备1播放空间音频,使得在两个耳侧的处理器40之间进行切换时不会影响空间音频的播放,保证用户所需的空间音频效果。
第二方面,本申请实施例提供一种电子设备的控制装置,该电子设备的控制装置包括第一控制电路。该第一控制电路被配置为进行以下操作:确定电子设备1处于低活动量状态或者正常活动量状态;响应于确定电子设备1处于低活动量状态,则根据电子设备1在对应时间段内的部分惯性测量数据解算近似得到空间音频的方位,并根据空间音频的方位播放空间音频;响应于确定电子设备1处于正常活动量状态,则根据电子设备1在对应时间段内的全部惯性测量数据解算得到空间音频的方位,并根据空间音频的方位播放空间音频。
在一些实施例中,电子设备的控制装置还可以包括第二控制电路,第二控制电路被配置为进行以下操作:确定电子设备1是否连续移动;响应于确定电子设备1连续移动,则更新空间音频的方位、并根据更新后的方位播放空间音频;响应于确定电子设备1未连续移动,则不更新空间音频的方位。
如图13所示,第三方面,本申请实施例提供一种电子设备1,该电子设备1包括壳体10、惯性传感器20、存储器30、处理器40和音频播放器50。这里,惯性传感器20设置于壳体10内,可以包括加速度计和陀螺仪,例如是三轴加速度计和三轴陀螺仪,加速度计输出加速度测量数据以及陀螺仪输出转动测量数据。存储器30连接惯性传感器20、并存储有计算机程序,而处理器40连接存储器30,该计算机程序被处理器40执行时实现以上的电子设备控制方法。音频播放器50连接处理器40,且被配置为处理器40的执行结果来播放空间音频,这里,音频播放器50可以包括扬声器。
处理器40可以根据存储在存储器30中的程序执行各种动作和处理。具体地,处理器40可以是一种集成电路芯片,具有信号的处理能力。上述处理器40可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,可以是X86架构或ARM架构的。
存储器30可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。非易失性存储器30可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器30可以是随机存取存储器(RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(SDRAM)、双倍数据速率同步动态随机存取存储器(DDRSDRAM)、增强型同步动态随机存取存储器(ESDRAM)、同步连接动态随机存取存储器(SLDRAM)和直接内存总线随机存取存储器(DRRAM)。应注意,本文描述的方法的存储器30旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施例中,处理器40可以包括寄存器和运算单元,寄存器被配置为队列暂存惯性传感器20输出的惯性测量数据以及惯性测量数据对应的时间信息,而运算单元被配置为执行计算机程序。
在一些实施例中,电子设备1可以是包含两个耳侧的双耳音频设备。在一些示例中,双耳音频设备可以是TWS耳机,任一耳侧可以分别设有上述惯性传感器20、音频播放器50、存储器30和处理器40。在另一些示例中,双耳音频设备可以是AR/VR眼镜、AR/VR头盔等,任一耳侧可以分别设有上述惯性传感器20、音频播放器50、存储器30和处理器40。在又一些示例中,双耳音频设备可以是AR/VR眼镜、AR/VR头盔等,双耳音频设备可以仅设置一个处理器40和一个惯性传感器20,任一耳侧分别设有音频播放器50,该处理器40对两个耳侧的音频播放器50进行同步控制。
第四方面,本申请实施例提供一种计算机可读存储介质,其存储有计算机程序,当计算机程序被处理器40进行加载时,使得执行:响应于接收到的惯性测量数据执行以上任一实施例的电子设备控制方法中的步骤。
示例性的,上述计算机可读存储介质可以包括,但不限于:磁存储器件(例如,硬盘、软盘或磁带等),光盘(例如,CD(Compact Disk,压缩盘)、DVD(Digital VersatileDisk,数字通用盘)等),智能卡和闪存器件(例如,EPROM(Erasable Programmable Read-Only Memory,可擦写可编程只读存储器)、卡、棒或钥匙驱动器等)。本申请实施例描述的各种计算机可读存储介质可代表用于存储信息的一个或多个设备和/或其它机器可读存储介质。术语“机器可读存储介质”可包括但不限于,无线信道和能够存储、包含和/或承载指令和/或数据的各种其它介质。
以上对本申请实施例所提供的一种电子设备及其控制方法、装置、计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (16)

1.一种电子设备控制方法,其特征在于,用于控制电子设备播放空间音频,包括:
确定所述电子设备处于低活动量状态或者正常活动量状态;在所述电子设备处于低活动量状态时,所述电子设备正常工作而播放空间音频、且未发生预设幅度以上的物理移动;而在所述电子设备处于正常活动量状态时,所述电子设备正常工作而播放空间音频、且发生预设幅度以上的物理移动;
响应于确定所述电子设备处于低活动量状态,则根据所述电子设备在对应时间段内部分时间点的惯性测量数据解算和近似计算、以得到空间音频的方位,并根据所述空间音频的方位播放所述空间音频;
响应于确定所述电子设备处于正常活动量状态,则根据所述电子设备在对应时间段内的全部惯性测量数据解算得到所述空间音频的方位,并根据所述空间音频的方位播放所述空间音频;
所述惯性测量数据通过所述电子设备上的惯性传感器测量得到;
根据所述电子设备在对应时间段内部分时间点的惯性测量数据解算和近似计算、以得到所述空间音频的方位,包括:
读取所述电子设备在对应时间段内部分时间点的惯性测量数据;
对所述部分时间点的惯性测量数据依次进行扩展卡尔曼滤波解算和近似计算,得到所述电子设备在所述对应时间段内的方位数据;
根据所述电子设备在所述对应时间段内的方位数据确定所述空间音频的方位。
2.根据权利要求1所述的电子设备控制方法,其特征在于,读取所述电子设备在对应时间段内部分时间点的惯性测量数据,包括:
以第一读取频率读取所述电子设备在对应时间段内的惯性测量数据;
所述第一读取频率为所述电子设备的惯性测量频率的约数。
3.根据权利要求1所述的电子设备控制方法,其特征在于,根据所述电子设备在对应时间段内的全部惯性测量数据解算得到所述空间音频的方位,包括:
读取所述电子设备在对应时间段内的全部惯性测量数据;
对所述全部惯性测量数据进行扩展卡尔曼滤波解算,得到所述电子设备在所述对应时间段内的方位数据;
根据所述电子设备在所述对应时间段内的方位数据确定所述空间音频的方位。
4.根据权利要求3所述的电子设备控制方法,其特征在于,读取所述电子设备在对应时间段内的全部惯性测量数据,包括:
以所述电子设备的惯性测量频率作为读取频率而读取所述电子设备在对应时间段内的惯性测量数据。
5.根据权利要求1所述的电子设备控制方法,其特征在于,确定所述电子设备处于所述低活动量状态或者所述正常活动量状态,包括:
确定所述电子设备的转动测量数据是否小于第一阈值;
响应于确定所述电子设备的转动测量数据小于第一阈值,则确定所述电子设备处于低活动量状态;
响应于确定所述电子设备的转动测量数据不小于第一阈值,则确定所述电子设备处于正常活动量状态。
6.根据权利要求1所述的电子设备控制方法,其特征在于,还包括:
确定所述电子设备是否连续移动;
响应于确定所述电子设备连续移动,则更新所述空间音频的方位、并根据更新后的方位播放所述空间音频;
响应于确定所述电子设备未连续移动,则不更新所述空间音频的方位。
7.根据权利要求6所述的电子设备控制方法,其特征在于,更新所述空间音频的方位,包括:
读取所述连续移动所对应的全部惯性测量数据;
对所述全部惯性测量数据解算得到所述空间音频的最新方位,并将所述空间音频的方位更新为该最新方位。
8.根据权利要求6所述的电子设备控制方法,其特征在于,确定所述电子设备是否连续移动,包括:
确定所述电子设备的惯性测量数据中的转动测量数据中的任一值是否位于第二阈值区间内;
响应于所述电子设备的惯性测量数据中的转动测量数据位于第二阈值区间内,则确定所述电子设备未连续移动;
响应于所述电子设备的惯性测量数据中的转动测量数据中的任一值位于第二阈值区间外,则进行以下操作;
确定以该惯性测量数据为最后一时间节点的对应值的连续多个惯性测量数据是否符合连续移动规律;
响应于以该惯性测量数据为最后一时间节点的对应值的连续多个惯性测量数据符合连续移动规律,则确定所述电子设备连续移动;
响应于以该惯性测量数据为最后一时间节点的对应值的连续多个惯性测量数据不符合连续移动规律,则确定所述电子设备未连续移动。
9.根据权利要求8所述的电子设备控制方法,其特征在于,确定以该惯性测量数据为最后一时间节点的对应值的连续多个惯性测量数据是否符合连续移动规律,包括:
基于所述连续多个惯性测量数据中每一时间节点对应的惯性测量数据与上一时间节点对应的惯性测量数据的大小比较,判断出所述连续多个惯性测量数据的变化趋势;
响应于所述连续多个惯性测量数据的变化趋势向上或平缓,则确定符合连续移动规律;
响应于所述连续多个惯性测量数据的变化趋势向下,则确定不符合连续移动规律。
10.根据权利要求1所述的电子设备控制方法,其特征在于,所述电子设备为包含两个耳侧的双耳音频设备,任一耳侧分别设有可执行计算机程序以实现所述电子设备控制方法的处理器,所述电子设备控制方法还包括:
响应于其中一个耳侧的处理器自运算模式切换至待机模式,另一耳侧的处理器自待机模式切换至运算模式。
11.根据权利要求10所述的电子设备控制方法,其特征在于,响应于所述其中一个耳侧的处理器自运算模式切换至待机模式,所述另一耳侧的处理器自待机模式切换至运算模式,还包括:
所述耳侧的处理器将当前时间节点对应的所述空间音频的方位输出到所述另一耳侧的处理器,且自运算模式切换至待机模式。
12.一种电子设备的控制装置,其特征在于,包括第一控制电路,所述第一控制电路被配置为进行以下操作:
确定所述电子设备处于低活动量状态或者正常活动量状态;在所述电子设备处于低活动量状态时,所述电子设备正常工作而播放空间音频、且未发生预设幅度以上的物理移动;而在所述电子设备处于正常活动量状态时,所述电子设备正常工作而播放空间音频、且发生预设幅度以上的物理移动;
响应于确定所述电子设备处于低活动量状态,则根据所述电子设备在对应时间段内部分时间点的惯性测量数据解算和近似计算、以得到空间音频的方位,并根据所述空间音频的方位播放所述空间音频;
响应于确定所述电子设备处于正常活动量状态,则根据所述电子设备在对应时间段内的全部惯性测量数据解算得到所述空间音频的方位,并根据所述空间音频的方位播放所述空间音频;
所述惯性测量数据通过所述电子设备上的惯性传感器测量得到;
根据所述电子设备在对应时间段内部分时间点的惯性测量数据解算和近似计算、以得到所述空间音频的方位,包括:
读取所述电子设备在对应时间段内部分时间点的惯性测量数据;
对所述部分时间点的惯性测量数据依次进行扩展卡尔曼滤波解算和近似计算,得到所述电子设备在所述对应时间段内的方位数据;
根据所述电子设备在所述对应时间段内的方位数据确定所述空间音频的方位。
13.根据权利要求12所述的电子设备的控制装置,其特征在于,所述电子设备的控制装置还包括第二控制电路,所述第二控制电路被配置为进行以下操作:
确定所述电子设备是否连续移动;
响应于确定所述电子设备连续移动,则更新所述空间音频的方位、并根据该更新方位播放所述空间音频;
响应于确定所述电子设备未连续移动,则不更新所述空间音频的方位。
14.一种电子设备,其特征在于,包括:
壳体;
惯性传感器,设置于所述壳体内,所述惯性传感器包括加速度计和陀螺仪;其中,所述加速度计输出加速度测量数据,所述陀螺仪输出转动测量数据;
存储器,连接所述惯性传感器,所述存储器存储有计算机程序;
处理器,连接所述存储器,所述计算机程序被所述处理器执行时实现如权利要求1至11中任一项所述的电子设备控制方法;以及
音频播放器,连接所述处理器,所述音频播放器被配置为基于所述处理器的执行结果播放空间音频。
15.根据权利要求14所述的电子设备,其特征在于,所述处理器包括寄存器以及运算单元;其中,所述寄存器被配置为队列暂存所述惯性传感器输出的惯性测量数据以及所述惯性测量数据对应的时间信息,所述运算单元被配置为执行所述计算机程序。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,当所述计算机程序由处理器进行加载时执行权利要求1至11中任一项所述的电子设备控制方法中的步骤。
CN202310210230.XA 2023-03-07 2023-03-07 电子设备及其控制方法、装置、计算机可读存储介质 Active CN116069290B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310210230.XA CN116069290B (zh) 2023-03-07 2023-03-07 电子设备及其控制方法、装置、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310210230.XA CN116069290B (zh) 2023-03-07 2023-03-07 电子设备及其控制方法、装置、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN116069290A CN116069290A (zh) 2023-05-05
CN116069290B true CN116069290B (zh) 2023-08-25

Family

ID=86175089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310210230.XA Active CN116069290B (zh) 2023-03-07 2023-03-07 电子设备及其控制方法、装置、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116069290B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102607562A (zh) * 2012-04-12 2012-07-25 南京航空航天大学 基于载体飞行模态判别的微惯性参数自适应姿态确定方法
CN105190649A (zh) * 2013-02-07 2015-12-23 新港数码科技澳大利亚有限公司 对rfid跟踪的改进
US10452116B1 (en) * 2015-09-18 2019-10-22 Amazon Technologies, Inc. Determining a device state based on user presence detection
CN111856157A (zh) * 2020-08-27 2020-10-30 上海眼控科技股份有限公司 闪电位置测量方法、装置、计算机设备和存储介质
EP4132014A1 (en) * 2021-08-06 2023-02-08 Beijing Xiaomi Mobile Software Co., Ltd. Audio signal processing method, electronic apparatus, and storage medium
CN115714947A (zh) * 2021-08-10 2023-02-24 华为技术有限公司 一种音频数据的处理方法、装置、移动设备以及音频系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020117189A1 (en) * 2018-12-03 2020-06-11 Hewlett-Packard Development Company, L.P. Sensing audio information and footsteps to control power
US11932262B2 (en) * 2021-07-01 2024-03-19 Mitsubishi Electric Research Laboratories, Inc. Stochastic nonlinear predictive controller and method based on uncertainty propagation by Gaussian-assumed density filters

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102607562A (zh) * 2012-04-12 2012-07-25 南京航空航天大学 基于载体飞行模态判别的微惯性参数自适应姿态确定方法
CN105190649A (zh) * 2013-02-07 2015-12-23 新港数码科技澳大利亚有限公司 对rfid跟踪的改进
US10452116B1 (en) * 2015-09-18 2019-10-22 Amazon Technologies, Inc. Determining a device state based on user presence detection
CN111856157A (zh) * 2020-08-27 2020-10-30 上海眼控科技股份有限公司 闪电位置测量方法、装置、计算机设备和存储介质
EP4132014A1 (en) * 2021-08-06 2023-02-08 Beijing Xiaomi Mobile Software Co., Ltd. Audio signal processing method, electronic apparatus, and storage medium
CN115714947A (zh) * 2021-08-10 2023-02-24 华为技术有限公司 一种音频数据的处理方法、装置、移动设备以及音频系统

Also Published As

Publication number Publication date
CN116069290A (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
US20120207308A1 (en) Interactive sound playback device
US11082793B2 (en) Wearable electronic device that corrects errors where a user hears binaural sound
US20200367008A1 (en) System and method for rendering virtual sound sources
US9491560B2 (en) System and method for improving headphone spatial impression
EP3684083A1 (en) Processing audio signals
JP6764490B2 (ja) 媒介現実
WO2017051079A1 (en) Differential headtracking apparatus
US20210400418A1 (en) Head to headset rotation transform estimation for head pose tracking in spatial audio applications
JP6292040B2 (ja) 音声処理装置、音源位置制御方法及び音源位置制御プログラム
CN116069290B (zh) 电子设备及其控制方法、装置、计算机可读存储介质
US20230045721A1 (en) Audio signal processing method, electronic apparatus, and storage medium
US11836286B2 (en) Head-mounted display device and data acquisition method, apparatus, and host computer thereof
JP6381092B2 (ja) 摂動因子存在下で入力の値を推定する方法及び装置
CN110661916A (zh) 音频播放方法、装置、终端和计算机可读存储介质
CN114710726B (zh) 智能穿戴设备的中心定位方法、设备及存储介质
JP7462017B2 (ja) 音声処理プログラム、情報処理システム、情報処理装置、および音声処理方法
CN112558302B (zh) 一种用于确定眼镜姿态的智能眼镜及其信号处理方法
US11863956B2 (en) Methods and systems for balancing audio directed to each ear of user
US20240096306A1 (en) Active reduction of fan noise in a head-mounted display
WO2023286513A1 (ja) 音声生成装置、音声生成方法およびそのプログラム
KR20200013943A (ko) 음향 기기의 출력 제어 방법 및 장치
WO2019150800A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2016186727A (ja) 映像表示装置、映像表示方法、及びプログラム
KR20220049293A (ko) 가상 현실 게임 방송 서비스 방법과 이를 수행하기 위한 장치 및 시스템
KR20240049565A (ko) 사용자 전기 신호에 기초한 오디오 조정

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant