CN116416994A - 语音协同输入方法、电子设备及计算机可读存储介质 - Google Patents

语音协同输入方法、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN116416994A
CN116416994A CN202111682887.3A CN202111682887A CN116416994A CN 116416994 A CN116416994 A CN 116416994A CN 202111682887 A CN202111682887 A CN 202111682887A CN 116416994 A CN116416994 A CN 116416994A
Authority
CN
China
Prior art keywords
electronic device
state
electronic
acceleration
angular velocity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111682887.3A
Other languages
English (en)
Inventor
徐杰
杨惠雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202111682887.3A priority Critical patent/CN116416994A/zh
Priority to PCT/CN2022/136944 priority patent/WO2023124829A1/zh
Publication of CN116416994A publication Critical patent/CN116416994A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请适用于终端技术领域,尤其涉及语音协同输入方法、电子设备及计算机可读存储介质。该方法中,当用户想通过语音输入文本内容至某一电子设备时,用户可以对第一电子设备执行预设操作。第一电子设备检测到预设操作时,可以将获取的语音内容转换成文本内容。同时,第一电子设备可以确定第二电子设备,即确定用户想通过语音输入文本内容的电子设备,并可以将文本内容传输给第二电子设备,以在第二电子设备显示文本内容。本申请中,用户仅需要执行简单的预设操作,即可以通过第一电子设备的语音识别功能实现语音输入文本内容至第二电子设备的目的,不需要用户在第二电子设备中执行多步操作,操作简单便捷,效率较高,可以提升用户体验。

Description

语音协同输入方法、电子设备及计算机可读存储介质
技术领域
本申请属于终端技术领域,尤其涉及语音协同输入方法、电子设备及计算机可读存储介质。
背景技术
手机、平板电脑等电子设备一般具有语音转文本的功能,使得用户可以通过语音来进行文本内容的快速输入。目前,语音转文本的实现方式可以包括:1)先长按特定按键,接着输入包含“语音转文本”的语音,然后输入需转换的语音内容;2)先输入包含预设关键词的唤醒短语,接着输入包含“语音转文本”的语音,然后输入需转换的语音内容;3)找到并打开特定应用,接着点击应用中“语音转文本”的按钮,然后输入需转换的语音内容。这些方式均需要用户执行多步操作,操作较复杂,效率较低。
发明内容
本申请实施例提供了一种语音协同输入方法、电子设备及计算机可读存储介质,可以解决现有语音输入的操作复杂、效率较低的问题。
第一方面,本申请实施例提供了一种语音协同输入方法,应用于第一电子设备,所述方法可以包括:
所述第一电子设备检测到预设操作;
所述第一电子设备获取语音内容;
响应于所述预设操作,所述第一电子设备将所述语音内容转换成文本内容;
所述第一电子设备确定第二电子设备,并向所述第二电子设备发送所述文本内容,其中,在所述第二电子设备接收到所述文本内容后,所述文本内容显示于所述第二电子设备的显示界面。
通过上述的语音协同输入方法,当用户想通过语音输入文本内容至某一电子设备时,用户可以对第一电子设备执行预设操作。第一电子设备检测到预设操作时,可以将获取的语音内容转换成文本内容。同时,第一电子设备可以确定第二电子设备,即确定用户想通过语音输入文本内容的电子设备,并可以将文本内容传输给第二电子设备。本申请实施例中,用户仅需要执行简单的预设操作,即可以通过第一电子设备的语音识别功能实现语音输入文本内容至第二电子设备的目的,不需要用户在第二电子设备中执行多步操作,操作简单便捷,输入效率较高,可以提升用户体验,具有较强的易用性和实用性。
示例性的,所述预设操作包括抬腕操作,或者包括抬腕操作和翻腕操作。
在该实现方式提供的语音协同输入方法中,第一电子设备可以根据抬腕操作,或抬腕操作和翻转操作来语音输入文本内容至第二电子设备,以通过抬腕将第一电子设备移动至嘴巴附近来进行语音的轻声输入,同时可以通过手腕对嘴巴进行遮挡,确保语音输入不会对附近的人造成干扰,并确保语音输入的私密性,提高用户体验。
在一种可能的实现方式中,所述第一电子设备确定第二电子设备,可以包括:
所述第一电子设备确定是否存在与所述第一电子设备位于同一只手的目标设备;
当存在与所述第一电子设备位于同一只手的目标设备时,所述第一电子设备将所述目标设备确定为所述第二电子设备。
在该实现方式提供的语音协同输入方法中,第一电子设备可以将与第一电子设备位于同一只手的目标设备确定为第二电子设备,以将用户当前最可能需要进行语音输入文本内容的目标设备确定为第二电子设备,可以提高语音输入文本内容的准确性和效率,从而可以提高用户体验。
在一个示例中,所述第一电子设备确定是否存在与所述第一电子设备位于同一只手的目标设备,可以包括:
所述第一电子设备获取所述第一电子设备对应的第一加速度数据和至少一个第三电子设备对应的第二加速度数据;
所述第一电子设备根据所述第一加速度数据和各所述第二加速度数据确定是否存在与所述第一电子设备位于同一只手的目标设备。
在该实现方式提供的语音协同输入方法中,第一电子设备可以根据第一电子设备的加速度数据和各第三电子设备的加速度数据,准确确定是否存在与第一电子设备位于同一只手的目标设备。
示例性的,所述第一电子设备根据所述第一加速度数据和各所述第二加速度数据确定是否存在与所述第一电子设备位于同一只手的目标设备,可以包括:
所述第一电子设备根据所述第一加速度数据和各所述第二加速度数据,确定存在第四电子设备时,所述第一电子设备将所述第四电子设备确定为所述目标设备,其中,所述第四电子设备在各轴上的加速度的变化时间与所述第一电子设备在各轴上的加速度的变化时间基本相同,且所述第四电子设备在z轴上的加速度的方向与所述第一电子设备在z轴上的加速度的方向相反,但大小基本相同。
应理解,当第一电子设备与目标设备位于同一只手,且第一电子设备的显示界面的朝向与目标设备的显示界面的朝向不相同时,若移动第一电子设备,目标设备也将同步移动,即第一电子设备在各轴上的加速度对应的变化时间将与目标设备在各轴上的加速度对应的变化时间基本相同。同时,由于第一电子设备的显示界面的朝向与目标设备的显示界面的朝向不相同,因此,在整个移动过程中,第一电子设备在z轴上的加速度的方向与目标设备在z轴上的加速度的方向相反,但大小基本相同。
需要说明的是,基本相同是指两者之间的差值小于或等于第一预设阈值。第一预设阈值可以根据实际场景具体设置,本申请实施例不作具体限制。
示例性的,所述第一电子设备根据所述第一加速度数据和各所述第二加速度数据确定是否存在与所述第一电子设备位于同一只手的目标设备,可以包括:
所述第一电子设备根据所述第一加速度数据和各所述第二加速度数据,确定存在第四电子设备时,所述第一电子设备将所述第四电子设备确定为所述目标设备,其中,所述第四电子设备在各轴上的加速度的变化时间与所述第一电子设备在各轴上的加速度的变化时间基本相同,且所述第四电子设备在z轴上的加速度的方向与所述第一电子设备在z轴上的加速度的方向基本相同,且大小基本相同。
应理解,当第一电子设备与目标设备位于同一只手,且第一电子设备的显示界面的朝向与目标设备的显示界面的朝向相同时,若移动第一电子设备,目标设备也将同步移动,即第一电子设备在各轴上的加速度对应的变化时间与目标设备在各轴上的加速度对应的变化时间基本相同。同时,由于第一电子设备的显示界面的朝向与目标设备的显示界面的朝向是相同的,因此,在整个移动过程中,第一电子设备在z轴上的加速度的方向与目标设备在z轴上的加速度的方向基本相同,且大小也基本相同。
在另一个示例中,所述第一电子设备确定是否存在与所述第一电子设备位于同一只手的目标设备,可以包括:
所述第一电子设备获取所述第一电子设备对应的第一角速度数据和至少一个第三电子设备对应的第二角速度数据;
所述第一电子设备根据所述第一角速度数据和各所述第二角速度数据确定是否存在与所述第一电子设备位于同一只手的目标设备。
在该实现方式提供的语音协同输入方法中,第一电子设备可以根据第一电子设备的角速度数据和各第三电子设备的角速度数据,准确确定是否存在与第一电子设备位于同一只手的目标设备。
示例性的,所述第一电子设备根据所述第一角速度数据和各所述第二角速度数据确定是否存在与所述第一电子设备位于同一只手的目标设备,可以包括:
所述第一电子设备根据所述第一角速度数据和各所述第二角速度数据,确定存在第五电子设备时,所述第一电子设备将所述第五电子设备确定为所述目标设备,其中,所述第五电子设备围绕各轴的角速度的变化时间与所述第一电子设备围绕各轴的加速度的变化时间基本相同,且所述第五电子设备围绕x轴的角速度的变化方向与所述第一电子设备围绕x轴的角速度的变化方向基本相同,但变化的幅度不同。
示例性的,所述第一电子设备根据所述第一角速度数据和各所述第二角速度数据确定是否存在与所述第一电子设备位于同一只手的目标设备,可以包括:
所述第一电子设备根据所述第一角速度数据和各所述第二角速度数据,确定存在第五电子设备时,所述第一电子设备将所述第五电子设备确定为所述目标设备,其中,所述第五电子设备围绕各轴的角速度的变化时间与所述第一电子设备围绕各轴的角速度的变化时间基本相同,且所述第五电子设备围绕z轴的角速度的变化方向与所述第一电子设备围绕z轴的角速度的变化方向基本相同,但变化的幅度不同。
在另一个示例中,所述第一电子设备确定是否存在与所述第一电子设备位于同一只手的目标设备,可以包括:
所述第一电子设备获取所述第一电子设备对应的第一移动距离和至少一个第三电子设备对应的第二移动距离;
当存在第三移动距离与所述第一移动距离之间的差值小于或等于预设阈值时,所述第一电子设备将所述第三移动距离对应的第三电子设备确定为与所述第一电子设备位于同一只手的目标设备,所述第三移动距离为至少一个所述第二移动距离中的一个。
应理解,若目标设备与第一电子设备位于同一只手,在移动第一电子设备时,目标设备也将同步移动,即第一电子设备对应的第一移动距离与目标设备对应的第二移动距离将基本相同。因此,第一电子设备可以根据移动距离来确定是否存在与第一电子设备位于同一只手的目标设备。
需要说明的是,第一电子设备也可以根据加速度数据和/或角速度数据,以及移动距离,来确定是否存在与第一电子设备位于同一只手的目标设备。示例性的,第一电子设备可以根据加速度数据和移动距离,来确定是否存在与第一电子设备位于同一只手的目标设备。示例性的,第一电子设备也可以根据角速度数据和移动距离,来确定是否存在与第一电子设备位于同一只手的目标设备。示例性的,第一电子设备可以根据加速度数据、角速度数据和移动距离,来确定是否存在与第一电子设备位于同一只手的目标设备。
可选的,所述至少一个第三电子设备为满足以下条件中的一个或多个的电子设备:
与所述第一电子设备之间的距离小于或等于第一距离阈值;
与所述第一电子设备登录相同的用户账号;
设备类型为预设类型。
应理解,第一距离阈值可以由技术人员根据实际场景具体设置,也可以由用户自定义设置。例如,技术人员根据实际场景可以将第一距离阈值设置为10厘米或者15厘米或30厘米等。预设类型可以为手机、平板电脑等可被用户手持操作的电子设备的类型。
例如,第三电子设备可以为与第一电子设备之间的距离小于或等于第一距离阈值的电子设备,使得最终确定的第二电子设备为距离用户较近、方便用户操作的电子设备。或者,第三电子设备可以为与第一电子设备登录相同的用户账号或者可以对第一电子设备进行控制的电子设备,以使得最终获取文本内容的第二电子设备与第一电子设备属于同一用户的电子设备,或者为经第一电子设备所属用户授权的、可以对第一电子设备进行控制的电子设备,确保文本内容的私密性,保护用户隐私。
在另一种可能的实现方式中,在确定是否存在与所述第一电子设备位于同一只手的目标设备之后,所述方法还可以包括:
当不存在与所述第一电子设备位于同一只手的目标设备时,所述第一电子设备获取至少一个第四电子设备的设备状态;
所述第一电子设备根据所述设备状态从所述至少一个第四电子设备中确定所述第二电子设备。
在一个示例中,所述第一电子设备根据所述设备状态从所述至少一个第四电子设备中确定所述第二电子设备,可以包括:
所述第一电子设备确定所述至少一个第四电子设备中设备状态为预设状态的电子设备,并根据设备状态为预设状态的电子设备确定所述第二电子设备;
其中,所述预设状态为第一状态、第二状态和第三状态中的任一种,所述第一状态为存在可输入内容的窗口或者输入框的状态,所述第二状态为第一预设时长内检测到点击操作或者触摸操作的状态,所述第三状态为第二预设时长内检测到鼠标点击事件或者键盘输入事件的状态。
在该实现方式提供的语音协同输入方法中,用户可以在需要语音输入文本内容的电子设备中执行指定操作(例如打开窗口或输入框,或点击或触摸屏幕等),以使得第二电子设备的设备状态为预设状态,第一电子设备则可以根据设备状态准确确定用户想要语音输入文本内容的第二电子设备,从而将语音内容对应的文本内容准确输入至第二电子设备,简化语音输入文本内容至第二电子设备的操作,提升用户体验。
在另一个示例中,所述第一电子设备确定所述至少一个第四电子设备中设备状态为预设状态的电子设备,并根据设备状态为预设状态的电子设备确定所述第二电子设备,可以包括:
当确定所述至少一个第四电子设备中存在设备状态为所述第一状态的电子设备时,所述第一电子设备将所述第一状态的电子设备确定为所述第二电子设备。
在另一个示例中,当所述至少一个第四电子设备中设备状态为所述第一状态的电子设备包括多个时,所述第一电子设备将所述第一状态的电子设备确定为所述第二电子设备,可以包括:
所述第一电子设备确定各所述第一状态的电子设备对应的第一活跃时间,并将第一活跃时间距离当前时刻最近的电子设备确定为所述第二电子设备;
其中,所述电子设备对应的第一活跃时间为所述电子设备最后一次检测到点击操作或者触摸操作的时间,或者为所述电子设备最后一次检测到鼠标点击事件或者键盘输入事件的时间。
在该实现方式提供的语音协同输入方法中,在存在多个设备状态为第一状态的电子设备时,第一电子设备可以根据各电子设备对应的活跃时间,将最可能需要语音输入文本内容的电子设备确定为第二电子设备,以将语音内容对应的文本内容准确输入至用户所想要输入的电子设备,提高用户体验。
在另一个示例中,当所述至少一个第四电子设备中设备状态为所述第一状态的电子设备包括多个时,所述第一电子设备将所述第一状态的电子设备确定为所述第二电子设备,可以包括:
所述第一电子设备获取各所述第一状态的电子设备的窗口或者输入框中的已有内容;
所述第一电子设备确定所述文本内容与各所述已有内容的匹配度,并将匹配度最高的电子设备确定为所述第二电子设备。
在该实现方式提供的语音协同输入方法中,在存在多个设备状态为第一状态的电子设备时,第一电子设备可以根据各电子设备的窗口或者输入框中的已有内容与文本内容的匹配度确定第二电子设备,提高第二电子设备确定的准确性,从而可以将文本内容准确输入至用户所想要输入的电子设备,提高用户体验。
可选的,所述文本内容可以显示于所述第二电子设备的所述窗口或所述输入框中。
在该实现方式提供的语音协同输入方法中,在第二电子设备的设备状态为第一状态时,即在第二电子设备中存在可输入内容的窗口或输入框时,可以直接在第二电子设备显示的窗口或输入框中进行文本内容的显示,方便用户对文本内容进行相应操作(例如,复制、发送等),以提高用户体验。
在另一个示例中,所述第一电子设备确定所述至少一个第四电子设备中设备状态为预设状态的电子设备,并根据设备状态为预设状态的电子设备确定所述第二电子设备,可以包括:
当所述至少一个第四电子设备中不存在设备状态为所述第一状态的电子设备,但存在设备状态为所述第二状态和/或所述第三状态的电子设备时,所述第一电子设备获取各所述第二状态或所述第三状态的电子设备的第二活跃时间,并将第二活跃时间距离当前时刻最近的电子设备确定为所述第二电子设备;
其中,所述电子设备对应的第二活跃时间为所述电子设备最后一次检测到点击操作或者触摸操作的时间,或者为所述电子设备最后一次检测到鼠标点击事件或者键盘输入事件的时间。
可选的,所述文本内容可以通过卡片、便利贴或目标应用显示于所述第二电子设备的显示界面。
在该实现方式提供的语音协同输入方法中,在第二电子设备的设备状态不是第一状态时,即当第二电子设备中不存在可输入内容的窗口或输入框时,可以创建卡片或者便利贴,以在卡片或者便利贴显示文本内容,其中,卡片或者便利贴可以悬浮显示于第二电子设备的当前界面上。或者,可以自动打开某一目标应用(例如备忘录应用),以通过备忘录应用显示文本内容显示于第二电子设备。
在一种可能的实现方式中,所述第一电子设备根据所述设备状态从所述至少一个第四电子设备中确定所述第二电子设备,可以包括:
所述第一电子设备确定所述至少一个第四电子设备登录的用户账号;
所述第一电子设备根据所述设备状态和所述用户账号从所述至少一个第四电子设备中确定所述第二电子设备。
在该实现方式提供的语音协同输入方法中,为避免将文本内容发送至其他用户的电子设备,从而造成用户隐私的泄露,第一电子设备可以从与第一电子设备登录相同用户账号的电子设备,或者可以对第一电子设备进行控制的电子设备中确定第二电子设备,以使得最后确定的第二电子设备与第一电子设备属于同一用户的电子设备,或者为经第一电子设备所属用户授权的、可以对第一电子设备进行控制的电子设备,以确保文本内容的私密性,保护用户隐私。
在一种可能的实现方式中,当第一电子设备确定出的第二电子设备并不是用户想要语音输入文本内容的电子设备时,用户可以在第一电子设备中执行撤回重发操作,并可以对想要语音输入文本内容的电子设备进行相应操作(例如,通过佩戴第一电子设备的手持握该电子设备,或点击、触摸该电子设备的屏幕等)。在检测到撤回重发操作时,第一电子设备可以撤回已发送的文本内容。同时,第一电子设备可以重新确定第二电子设备,并可以将该文本内容发送至重新确定的第二电子设备。
第二方面,本申请实施例提供了一种语音协同输入方法,应用于第一电子设备,所述方法可以包括:
所述第一电子设备检测到预设操作;
所述第一电子设备获取语音内容;
响应于所述预设操作,所述第一电子设备确定第二电子设备,并向所述第二电子设备发送所述语音内容,其中,在所述第二电子设备接收到所述语音内容后,所述语音内容被转换成文本内容,并显示于所述第二电子设备的显示界面。
通过上述的语音协同输入方法,当用户想通过语音输入文本内容至某一电子设备时,用户可以对第一电子设备执行预设操作。第一电子设备检测到预设操作时,可以确定第二电子设备,即确定用户想通过语音输入文本内容的电子设备,并可以将语音内容传输给第二电子设备,以使得第二电子设备可以将语音内容转成文本内容进行显示。本申请实施例中,用户仅需要执行简单的预设操作,即可将第一电子设备获取的语音内容传输给第二电子设备,从而方便第二电子设备对语音内容对应的文本内容进行显示,不需要用户在第二电子设备中执行多步操作,操作简单便捷,输入效率较高,可以提升用户体验,而且可以降低对第一电子设备的性能要求。
应理解,当第一电子设备检测到抬腕操作时,第一电子设备可以启动语音识别功能,获取用户输入的语音内容。同时,第一电子设备可以确定第二电子设备,并可以直接将语音内容发送给第二电子设备。第二电子设备接收到语音内容后,可以将语音内容转换成文本内容,并将文本内容进行显示于显示界面上。
或者,在第一电子设备的语音识别功能已启动的场景中,当第一电子设备检测到预设操作时,第一电子设备可以确定第二电子设备,并可以将获取的语音内容发送给第二电子设备。第二电子设备接收到语音内容后,可以将语音内容转换成文本内容,并将文本内容显示于显示界面。
示例性的,所述响应于所述预设操作,所述第一电子设备确定第二电子设备,可以包括:
响应于所述预设操作和所述第一电子设备获取语音内容,所述第一电子设备确定第二电子设备。
在该实现方式提供的语音协同输入方法中,第一电子设备可以是在检测到预设操作,且识别到有语音内容输入时,才可以确定第二电子设备,并将获取的语音内容发送给第二电子设备,第二电子设备接收到语音内容后,可以将语音内容转换成文本内容,并对文本内容进行显示。即在识别到有语音内容输入时,第一电子设备再进行第二电子设备的确定,可以有效降低第一电子设备的功耗。
示例性的,所述预设操作包括抬腕操作,或者包括抬腕操作和翻腕操作。
在一种可能的实现方式中,所述第一电子设备确定第二电子设备,可以包括:
所述第一电子设备确定是否存在与所述第一电子设备位于同一只手的目标设备;
当存在与所述第一电子设备位于同一只手的目标设备时,所述第一电子设备将所述目标设备确定为所述第二电子设备。
在一个示例中,所述第一电子设备确定是否存在与所述第一电子设备位于同一只手的目标设备,可以包括:
所述第一电子设备获取所述第一电子设备对应的第一加速度数据和至少一个第三电子设备对应的第二加速度数据;
所述第一电子设备根据所述第一加速度数据和各所述第二加速度数据确定是否存在与所述第一电子设备位于同一只手的目标设备。
示例性的,所述第一电子设备根据所述第一加速度数据和各所述第二加速度数据确定是否存在与所述第一电子设备位于同一只手的目标设备,可以包括:
所述第一电子设备根据所述第一加速度数据和各所述第二加速度数据,确定存在第四电子设备时,所述第一电子设备将所述第四电子设备确定为所述目标设备,其中,所述第四电子设备在各轴上的加速度的变化时间与所述第一电子设备在各轴上的加速度的变化时间基本相同,且所述第四电子设备在z轴上的加速度的方向与所述第一电子设备在z轴上的加速度的方向相反,但大小基本相同。
示例性的,所述第一电子设备根据所述第一加速度数据和各所述第二加速度数据确定是否存在与所述第一电子设备位于同一只手的目标设备,可以包括:
所述第一电子设备根据所述第一加速度数据和各所述第二加速度数据,确定存在第四电子设备时,所述第一电子设备将所述第四电子设备确定为所述目标设备,其中,所述第四电子设备在各轴上的加速度的变化时间与所述第一电子设备在各轴上的加速度的变化时间基本相同,且所述第四电子设备在z轴上的加速度的方向与所述第一电子设备在z轴上的加速度的方向基本相同,且大小基本相同。
在另一个示例中,所述第一电子设备确定是否存在与所述第一电子设备位于同一只手的目标设备,可以包括:
所述第一电子设备获取所述第一电子设备对应的第一角速度数据和至少一个第三电子设备对应的第二角速度数据;
所述第一电子设备根据所述第一角速度数据和各所述第二角速度数据确定是否存在与所述第一电子设备位于同一只手的目标设备。
示例性的,所述第一电子设备根据所述第一角速度数据和各所述第二角速度数据确定是否存在与所述第一电子设备位于同一只手的目标设备,可以包括:
所述第一电子设备根据所述第一角速度数据和各所述第二角速度数据,确定存在第五电子设备时,所述第一电子设备将所述第五电子设备确定为所述目标设备,其中,所述第五电子设备围绕各轴的角速度的变化时间与所述第一电子设备围绕各轴的加速度的变化时间基本相同,且所述第五电子设备围绕x轴的角速度的变化方向与所述第一电子设备围绕x轴的角速度的变化方向基本相同,但变化的幅度不同。
示例性的,所述第一电子设备根据所述第一角速度数据和各所述第二角速度数据确定是否存在与所述第一电子设备位于同一只手的目标设备,可以包括:
所述第一电子设备根据所述第一角速度数据和各所述第二角速度数据,确定存在第五电子设备时,所述第一电子设备将所述第五电子设备确定为所述目标设备,其中,所述第五电子设备围绕各轴的角速度的变化时间与所述第一电子设备围绕各轴的角速度的变化时间基本相同,且所述第五电子设备围绕z轴的角速度的变化方向与所述第一电子设备围绕z轴的角速度的变化方向基本相同,但变化的幅度不同。
在另一个示例中,所述第一电子设备确定是否存在与所述第一电子设备位于同一只手的目标设备,可以包括:
所述第一电子设备获取所述第一电子设备对应的第一移动距离和至少一个第三电子设备对应的第二移动距离;
当存在第三移动距离与所述第一移动距离之间的差值小于或等于预设阈值时,所述第一电子设备将所述第三移动距离对应的第三电子设备确定为与所述第一电子设备位于同一只手的目标设备,所述第三移动距离为至少一个所述第二移动距离中的一个。
可选的,所述至少一个第三电子设备为满足以下条件中的一个或多个的电子设备:
与所述第一电子设备之间的距离小于或等于第一距离阈值;
与所述第一电子设备登录相同的用户账号;
设备类型为预设类型。
在另一种可能的实现方式中,在确定是否存在与所述第一电子设备位于同一只手的目标设备之后,所述方法还可以包括:
当不存在与所述第一电子设备位于同一只手的目标设备时,所述第一电子设备获取至少一个第四电子设备的设备状态;
所述第一电子设备根据所述设备状态从所述至少一个第四电子设备中确定所述第二电子设备。
在一个示例中,所述第一电子设备根据所述设备状态从所述至少一个第四电子设备中确定所述第二电子设备,可以包括:
所述第一电子设备确定所述至少一个第四电子设备中设备状态为预设状态的电子设备,并根据设备状态为预设状态的电子设备确定所述第二电子设备;
其中,所述预设状态为第一状态、第二状态和第三状态中的任一种,所述第一状态为存在可输入内容的窗口或者输入框的状态,所述第二状态为第一预设时长内检测到点击操作或者触摸操作的状态,所述第三状态为第二预设时长内检测到鼠标点击事件或者键盘输入事件的状态。
在另一个示例中,所述第一电子设备确定所述至少一个第四电子设备中设备状态为预设状态的电子设备,并根据设备状态为预设状态的电子设备确定所述第二电子设备,可以包括:
当确定所述至少一个第四电子设备中存在设备状态为所述第一状态的电子设备时,所述第一电子设备将所述第一状态的电子设备确定为所述第二电子设备。
在另一个示例中,当所述至少一个第四电子设备中设备状态为所述第一状态的电子设备包括多个时,所述第一电子设备将所述第一状态的电子设备确定为所述第二电子设备,可以包括:
所述第一电子设备确定各所述第一状态的电子设备对应的第一活跃时间,并将第一活跃时间距离当前时刻最近的电子设备确定为所述第二电子设备;
其中,所述电子设备对应的第一活跃时间为所述电子设备最后一次检测到点击操作或者触摸操作的时间,或者为所述电子设备最后一次检测到鼠标点击事件或者键盘输入事件的时间。
在另一个示例中,当所述至少一个第四电子设备中设备状态为所述第一状态的电子设备包括多个时,所述第一电子设备将所述第一状态的电子设备确定为所述第二电子设备,可以包括:
所述第一电子设备获取各所述第一状态的电子设备的窗口或者输入框中的已有内容;
所述第一电子设备确定所述文本内容与各所述已有内容的匹配度,并将匹配度最高的电子设备确定为所述第二电子设备。
可选的,所述文本内容可以显示于所述第二电子设备的所述窗口或所述输入框中。
在另一个示例中,所述第一电子设备确定所述至少一个第四电子设备中设备状态为预设状态的电子设备,并根据设备状态为预设状态的电子设备确定所述第二电子设备,可以包括:
当所述至少一个第四电子设备中不存在设备状态为所述第一状态的电子设备,但存在设备状态为所述第二状态和/或所述第三状态的电子设备时,所述第一电子设备获取各所述第二状态或所述第三状态的电子设备的第二活跃时间,并将第二活跃时间距离当前时刻最近的电子设备确定为所述第二电子设备;
其中,所述电子设备对应的第二活跃时间为所述电子设备最后一次检测到点击操作或者触摸操作的时间,或者为所述电子设备最后一次检测到鼠标点击事件或者键盘输入事件的时间。
可选的,所述文本内容可以通过卡片、便利贴或目标应用显示于所述第二电子设备的显示界面。
在一种可能的实现方式中,所述第一电子设备根据所述设备状态从所述至少一个第四电子设备中确定所述第二电子设备,可以包括:
所述第一电子设备确定所述至少一个第四电子设备登录的用户账号;
所述第一电子设备根据所述设备状态和所述用户账号从所述至少一个第四电子设备中确定所述第二电子设备。
第三方面,本申请实施例提供了一种语音协同输入装置,应用于第一电子设备,所述装置可以包括:
预设操作检测模块,用于检测到预设操作;
语音内容获取模块,用于获取语音内容;
语音内容转换模块,用于响应于所述预设操作,将所述语音内容转换成文本内容;
文本内容发送模块,用于确定第二电子设备,并向所述第二电子设备发送所述文本内容,其中,在所述第二电子设备接收到所述文本内容后,所述文本内容显示于所述第二电子设备的显示界面。
示例性的,所述预设操作包括抬腕操作,或者包括抬腕操作和翻腕操作。
在一种可能的实现方式中,所述文本内容发送模块,可以包括:
目标设备确定单元,用于确定是否存在与所述第一电子设备位于同一只手的目标设备;
第二设备确定单元,当存在与所述第一电子设备位于同一只手的目标设备时,将所述目标设备确定为所述第二电子设备。
在一个示例中,所述目标设备确定单元,可以包括:
加速度获取分单元,用于获取所述第一电子设备对应的第一加速度数据和至少一个第三电子设备对应的第二加速度数据;
第一确定分单元,用于根据所述第一加速度数据和各所述第二加速度数据确定是否存在与所述第一电子设备位于同一只手的目标设备。
示例性的,所述第一确定分单元,具体用于根据所述第一加速度数据和各所述第二加速度数据,确定存在第四电子设备时,将所述第四电子设备确定为所述目标设备,其中,所述第四电子设备在各轴上的加速度的变化时间与所述第一电子设备在各轴上的加速度的变化时间基本相同,且所述第四电子设备在z轴上的加速度的方向与所述第一电子设备在z轴上的加速度的方向相反,但大小基本相同。
示例性的,所述第一确定分单元,还可以用于根据所述第一加速度数据和各所述第二加速度数据,确定存在第四电子设备时,将所述第四电子设备确定为所述目标设备,其中,所述第四电子设备在各轴上的加速度的变化时间与所述第一电子设备在各轴上的加速度的变化时间基本相同,且所述第四电子设备在z轴上的加速度的方向与所述第一电子设备在z轴上的加速度的方向基本相同,且大小基本相同。
在另一个示例中,所述目标设备确定单元,可以包括:
角速度获取分单元,用于获取所述第一电子设备对应的第一角速度数据和至少一个第三电子设备对应的第二角速度数据;
第二确定分单元,用于根据所述第一角速度数据和各所述第二角速度数据确定是否存在与所述第一电子设备位于同一只手的目标设备。
示例性的,所述第二确定分单元,具体用于根据所述第一角速度数据和各所述第二角速度数据,确定存在第五电子设备时,将所述第五电子设备确定为所述目标设备,其中,所述第五电子设备围绕各轴的角速度的变化时间与所述第一电子设备围绕各轴的加速度的变化时间基本相同,且所述第五电子设备围绕x轴的角速度的变化方向与所述第一电子设备围绕x轴的角速度的变化方向基本相同,但变化的幅度不同。
示例性的,所述第二确定分单元,还可以用于根据所述第一角速度数据和各所述第二角速度数据,确定存在第五电子设备时,将所述第五电子设备确定为所述目标设备,其中,所述第五电子设备围绕各轴的角速度的变化时间与所述第一电子设备围绕各轴的角速度的变化时间基本相同,且所述第五电子设备围绕z轴的角速度的变化方向与所述第一电子设备围绕z轴的角速度的变化方向基本相同,但变化的幅度不同。
在另一个示例中,所述目标设备确定单元,还可以包括:
移动距离获取单元,用于获取所述第一电子设备对应的第一移动距离和至少一个第三电子设备对应的第二移动距离;
第三确定分单元,用于当存在第三移动距离与所述第一移动距离之间的差值小于或等于预设阈值时,将所述第三移动距离对应的第三电子设备确定为与所述第一电子设备位于同一只手的目标设备,所述第三移动距离为至少一个所述第二移动距离中的一个。
可选的,所述至少一个第三电子设备为满足以下条件中的一个或多个的电子设备:
与所述第一电子设备之间的距离小于或等于第一距离阈值;
与所述第一电子设备登录相同的用户账号;
设备类型为预设类型。
在另一种可能的实现方式中,所述文本内容发送模块,还可以包括:
设备状态获取单元,用于当不存在与所述第一电子设备位于同一只手的目标设备时,获取至少一个第四电子设备的设备状态;
第三设备确定单元,用于根据所述设备状态从所述至少一个第四电子设备中确定所述第二电子设备。
在一个示例中,所述第三设备确定单元,具体用于确定所述至少一个第四电子设备中设备状态为预设状态的电子设备,并根据设备状态为预设状态的电子设备确定所述第二电子设备;
其中,所述预设状态为第一状态、第二状态和第三状态中的任一种,所述第一状态为存在可输入内容的窗口或者输入框的状态,所述第二状态为第一预设时长内检测到点击操作或者触摸操作的状态,所述第三状态为第二预设时长内检测到鼠标点击事件或者键盘输入事件的状态。
在另一个示例中,所述第三设备确定单元,还可以用于当确定所述至少一个第四电子设备中存在设备状态为所述第一状态的电子设备时,将所述第一状态的电子设备确定为所述第二电子设备。
在另一个示例中,所述第三设备确定单元,还可以用于确定各所述第一状态的电子设备对应的第一活跃时间,并将第一活跃时间距离当前时刻最近的电子设备确定为所述第二电子设备;
其中,所述电子设备对应的第一活跃时间为所述电子设备最后一次检测到点击操作或者触摸操作的时间,或者为所述电子设备最后一次检测到鼠标点击事件或者键盘输入事件的时间。
在另一个示例中,所述第三设备确定单元,还可以用于获取各所述第一状态的电子设备的窗口或者输入框中的已有内容;确定所述文本内容与各所述已有内容的匹配度,并将匹配度最高的电子设备确定为所述第二电子设备。
可选的,所述文本内容可以显示于所述第二电子设备的所述窗口或所述输入框中。
在另一个示例中,所述第三设备确定单元,还可以用于当所述至少一个第四电子设备中不存在设备状态为所述第一状态的电子设备,但存在设备状态为所述第二状态和/或所述第三状态的电子设备时,获取各所述第二状态或所述第三状态的电子设备的第二活跃时间,并将第二活跃时间距离当前时刻最近的电子设备确定为所述第二电子设备;
其中,所述电子设备对应的第二活跃时间为所述电子设备最后一次检测到点击操作或者触摸操作的时间,或者为所述电子设备最后一次检测到鼠标点击事件或者键盘输入事件的时间。
可选的,所述文本内容可以通过卡片、便利贴或目标应用显示于所述第二电子设备的显示界面。
在一种可能的实现方式中,所述第三设备确定单元,还可以用于确定所述至少一个第四电子设备登录的用户账号;根据所述设备状态和所述用户账号从所述至少一个第四电子设备中确定所述第二电子设备。
第四方面,本申请实施例提供了一种语音协同输入装置,应用于第一电子设备,所述装置可以包括:
预设操作检测模块,用于检测到预设操作;
语音内容获取模块,用于获取语音内容;
语音内容发送模块,用于响应于所述预设操作,确定第二电子设备,并向所述第二电子设备发送所述语音内容,其中,在所述第二电子设备接收到所述语音内容后,所述语音内容被转换成文本内容,并显示于所述第二电子设备的显示界面。
示例性的,所述语音内容发送模块,还可以用于响应于所述预设操作和所述第一电子设备获取语音内容,确定第二电子设备。
示例性的,所述预设操作包括抬腕操作,或者包括抬腕操作和翻腕操作。
在一种可能的实现方式中,所述语音内容发送模块,可以包括:
目标设备确定单元,用于确定是否存在与所述第一电子设备位于同一只手的目标设备;
第二设备确定单元,当存在与所述第一电子设备位于同一只手的目标设备时,将所述目标设备确定为所述第二电子设备。
在一个示例中,所述目标设备确定单元,可以包括:
加速度获取分单元,用于获取所述第一电子设备对应的第一加速度数据和至少一个第三电子设备对应的第二加速度数据;
第一确定分单元,用于根据所述第一加速度数据和各所述第二加速度数据确定是否存在与所述第一电子设备位于同一只手的目标设备。
示例性的,所述第一确定分单元,还可以用于根据所述第一加速度数据和各所述第二加速度数据,确定存在第四电子设备时,将所述第四电子设备确定为所述目标设备,其中,所述第四电子设备在各轴上的加速度的变化时间与所述第一电子设备在各轴上的加速度的变化时间基本相同,且所述第四电子设备在z轴上的加速度与所述第一电子设备在z轴上的加速度的方向相反,但大小基本相同。
示例性的,所述第一确定分单元,还可以用于根据所述第一加速度数据和各所述第二加速度数据,确定存在第四电子设备时,将所述第四电子设备确定为所述目标设备,其中,所述第四电子设备在各轴上的加速度的变化时间与所述第一电子设备在各轴上的加速度的变化时间基本相同,且所述第四电子设备在z轴上的加速度与所述第一电子设备在z轴上的加速度的方向基本相同,且大小基本相同。
在另一个示例中,所述目标设备确定单元,可以包括:
角速度获取分单元,用于获取所述第一电子设备对应的第一角速度数据和至少一个第三电子设备对应的第二角速度数据;
第二确定分单元,用于根据所述第一角速度数据和各所述第二角速度数据确定是否存在与所述第一电子设备位于同一只手的目标设备。
示例性的,所述第二确定分单元,还可以用于根据所述第一角速度数据和各所述第二角速度数据,确定存在第五电子设备时,将所述第五电子设备确定为所述目标设备,其中,所述第五电子设备围绕各轴的角速度的变化时间与所述第一电子设备围绕各轴的加速度的变化时间基本相同,且所述第五电子设备围绕x轴的角速度的变化方向与所述第一电子设备围绕x轴的角速度的变化方向基本相同,但变化的幅度不同。
示例性的,所述第二确定分单元,还可以用于根据所述第一角速度数据和各所述第二角速度数据,确定存在第五电子设备时,将所述第五电子设备确定为所述目标设备,其中,所述第五电子设备围绕各轴的角速度的变化时间与所述第一电子设备围绕各轴的角速度的变化时间基本相同,且所述第五电子设备围绕z轴的角速度的变化方向与所述第一电子设备围绕z轴的角速度的变化方向基本相同,但变化的幅度不同。
在另一个示例中,所述目标设备确定单元,还可以包括:
移动距离获取单元,用于获取所述第一电子设备对应的第一移动距离和至少一个第三电子设备对应的第二移动距离;
第三确定分单元,用于当存在第三移动距离与所述第一移动距离之间的差值小于或等于预设阈值时,将所述第三移动距离对应的第三电子设备为与所述第一电子设备位于同一只手的目标设备,所述第三移动距离为至少一个所述第二移动距离中的一个。
可选的,所述至少一个第三电子设备为满足以下条件中的一个或多个的电子设备:
与所述第一电子设备之间的距离小于或等于第一距离阈值;
与所述第一电子设备登录相同的用户账号;
设备类型为预设类型。
在另一种可能的实现方式中,所述语音内容发送模块,还可以包括:
设备状态获取单元,用于当不存在与所述第一电子设备位于同一只手的目标设备时,获取至少一个第四电子设备的设备状态;
第三设备确定单元,用于根据所述设备状态从所述至少一个第四电子设备中确定所述第二电子设备。
在一个示例中,所述第三设备确定单元,还可以用于确定所述至少一个第四电子设备中设备状态为预设状态的电子设备,并根据设备状态为预设状态的电子设备确定所述第二电子设备;
其中,所述预设状态为第一状态、第二状态和第三状态中的任一种,所述第一状态为存在可输入内容的窗口或者输入框的状态,所述第二状态为第一预设时长内检测到点击操作或者触摸操作的状态,所述第三状态为第二预设时长内检测到鼠标点击事件或者键盘输入事件的状态。
在另一个示例中,所述第三设备确定单元,还可以用于当确定所述至少一个第四电子设备中存在设备状态为所述第一状态的电子设备时,将所述第一状态的电子设备确定为所述第二电子设备。
在另一个示例中,所述第三设备确定单元,还可以用于确定各所述第一状态的电子设备对应的第一活跃时间,并将第一活跃时间距离当前时刻最近的电子设备确定为所述第二电子设备;
其中,所述电子设备对应的第一活跃时间为所述电子设备最后一次检测到点击操作或者触摸操作的时间,或者为所述电子设备最后一次检测到鼠标点击事件或者键盘输入事件的时间。
在另一个示例中,所述第三设备确定单元,还可以用于获取各所述第一状态的电子设备的窗口或者输入框中的已有内容;确定所述文本内容与各所述已有内容的匹配度,并将匹配度最高的电子设备确定为所述第二电子设备。
可选的,所述文本内容可以显示于所述第二电子设备的所述窗口或所述输入框中。
在另一个示例中,所述第三设备确定单元,还可以用于当所述至少一个第四电子设备中不存在设备状态为所述第一状态的电子设备,但存在设备状态为所述第二状态和/或所述第三状态的电子设备时,获取各所述第二状态或所述第三状态的电子设备的第二活跃时间,并将第二活跃时间距离当前时刻最近的电子设备确定为所述第二电子设备;
其中,所述电子设备对应的第二活跃时间为所述电子设备最后一次检测到点击操作或者触摸操作的时间,或者为所述电子设备最后一次检测到鼠标点击事件或者键盘输入事件的时间。
可选的,所述文本内容可以通过卡片、便利贴或目标应用显示于所述第二电子设备的显示界面。
在一种可能的实现方式中,所述第三设备确定单元,还可以用于确定所述至少一个第四电子设备登录的用户账号;根据所述设备状态和所述用户账号从所述至少一个第四电子设备中确定所述第二电子设备。
第五方面,本申请实施例提供了一种语音协同输入系统,所述系统可以包括第一电子设备和第二电子设备;
所述第一电子设备用于执行上述第一方面或第二方面中任一项所述的方法;
所述第二电子设备用于接收所述第一电子设备发送的文本内容或者语音内容,并将所述文本内容或者所述语音内容对应的文本内容显示在所述第二电子设备的显示界面上。
应理解,第一电子设备在检测到预设操作时,可以将获取的语音内容转换成文本内容,并将文本内容发送给第二电子设备。第二电子设备则可以直接将文本内容显示于第二电子设备的显示界面。
或者,第一电子设备在检测到预设操作时,可以直接将获取的语音内容发送给第二电子设备。第二电子设备接收到语音内容后,可以将语音内容转换成文本内容,并可以将文本内容显示于第二电子设备的显示界面。
示例性的,在第二电子设备的显示界面中存在可输入内容的窗口或输入框时,第二电子设备可以直接在第二电子设备显示的窗口或输入框中进行文本内容的显示,方便用户对文本内容进行相应操作(例如,编辑或发送等),以提高用户体验。
其中,当第二电子设备的显示界面中同时存在多个可输入内容的窗口和/或输入框时,第二电子设备可以确定最后活跃的窗口或输入框,并可以将文本内容输入至最后活跃的窗口或输入框,以通过最后活跃的窗口或输入框来进行文本内容的显示。也就是说,在通过第一电子设备语音输入文本内容至第二电子设备时,用户可以通过切换窗口,来向第二电子设备中不同的窗口输入文本内容。
示例性的,当第二电子设备的显示界面中不存在可输入内容的窗口或输入框时,第二电子设备可以创建卡片或者便利贴,以在卡片或者便利贴显示文本内容,其中,卡片或者便利贴可以悬浮显示于第二电子设备的当前界面上。
或者,第二电子设备可以自动打开某一目标应用(例如备忘录应用),以通过备忘录应用显示文本内容显示于第二电子设备。
在一种可能的实现方式中,所述第一电子设备为可穿戴设备,所述第二电子设备为具有显示屏的电子设备。
在另一种可能的实现方式中,所述第一电子设备登录的用户账号与所述第二电子设备登录的用户账号相同。
在另一种可能的实现方式中,所述第二电子设备与所述第一电子设备之间的距离小于或等于第一距离阈值。
在另一种可能的实现方式中,所述第二电子设备的设备类型为预设类型。其中,预设类型可以为手机、平板电脑等可被用户手持操作的电子设备的类型。
在另一种可能的实现方式中,所述第二电子设备的设备状态为预设状态;所述预设状态为第一状态、第二状态和第三状态中的任一种,所述第一状态为存在可输入内容的窗口或者输入框的状态,所述第二状态为第一预设时长内检测到点击操作或者触摸操作的状态,所述第三状态为第二预设时长内检测到鼠标点击事件或者键盘输入事件的状态。
第六方面,本申请实施例提供了一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,使所述电子设备实现上述第一方面或第二方面中任一项所述的语音协同输入方法。
第七方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被计算机执行时,使所述计算机实现上述第一方面或第二方面中任一项所述的语音协同输入方法。
第八方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行上述第一方面中任一项所述的语音协同输入方法。
可以理解的是,上述第三方面至第八方面的有益效果可以参见上述第一方面或第二方面中的相关描述,在此不再赘述。
附图说明
图1是本申请一实施例提供的语音协同输入方法所适用于的电子设备的结构示意图;
图2是本申请一实施例提供的语音协同输入方法所适用于的软件架构示意图;
图3是本申请一实施例提供的语音协同输入方法的流程示意图;
图4是本申请一实施例提供的加速度变化的示例图;
图5是本申请一实施例提供的角速度变化的示例图;
图6是本申请一实施例提供的应用场景示意图一;
图7是本申请一实施例提供的应用场景示意图二;
图8是本申请一实施例提供的应用场景示意图三;
图9是本申请一实施例提供的应用场景示意图四;
图10是本申请一实施例提供的应用场景示意图五;
图11是本申请一实施例提供的应用场景示意图六。
具体实施方式
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
此外,本申请实施例中提到的“多个”应当被解释为两个或两个以上。
本申请实施例中提供的语音协同输入方法中所涉及到的步骤仅仅作为示例,并非所有的步骤均是必须执行的步骤,或者并非各个信息或消息中的内容均是必选的,在使用过程中可以根据需要酌情增加或减少。本申请实施例中同一个步骤或者具有相同功能的步骤或者消息在不同实施例之间可以互相参考借鉴。
本申请实施例描述的业务场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着网络架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
手机、平板电脑等电子设备一般具有语音转文本的功能,使得用户可以通过语音来进行文本内容的快速输入。其中,启动语音转文本的方式可以包括:1)先长按特定按键,接着输入包含“语音转文本”的语音,然后输入需转换的语音内容;2)先输入包含预设关键词的唤醒短语,接着输入包含“语音转文本”的语音,然后输入需转换的语音内容;3)找到并打开特定应用,接着点击应用中“语音转文本”的按钮,然后输入需转换的语音内容。这些方式均需要执行多步操作,操作较复杂,效率较低。
为解决上述问题,本申请实施例提供了一种语音协同输入方法、电子设备及计算机可读存储介质。该方法中,当用户想通过语音输入文本内容至某一电子设备时,用户可以对第一电子设备执行预设操作。第一电子设备检测到预设操作时,可以将获取的语音内容转换成文本内容。同时,第一电子设备可以确定第二电子设备,即确定用户想通过语音输入文本内容的电子设备,并可以将文本内容传输给第二电子设备。本申请实施例中,用户仅需要执行简单的预设操作,即可以通过第一电子设备的语音识别功能实现语音输入文本内容至第二电子设备的目的,不需要用户在第二电子设备中执行多步操作,操作简单便捷,效率较高,可以提升用户体验,具有较强的易用性和实用性。
本申请实施例中,第一电子设备可以为智能手表、智能手环等可穿戴设备,第二电子设备可以为手机、平板电脑、笔记本电脑、台式电脑、智慧大屏、智能冰箱、智能电视等具有显示屏的电子设备,本申请实施例对电子设备(可以包括第一电子设备和第二电子设备)的具体类型不作任何限制。
以下首先介绍本申请实施例涉及的电子设备。请参阅图1,图1示出了电子设备100的一种结构示意图。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,以及显示屏194等。其中,传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,磁传感器180D,加速度传感器180E,距离传感器180F,指纹传感器180H,触摸传感器180K,环境光传感器180L等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备100的各种功能应用以及数据处理。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。其中,麦克风170C采集的声音信号可以包括音量大小。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x轴、y轴和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
本申请实施例中,电子设备100还可以根据陀螺仪传感器180B确定的角速度,确定是否存在与电子设备100位于同一只手的其他电子设备。或者,电子设备100还可以根据陀螺仪传感器180B确定的角速度和麦克风170C采集的声音信号,确定是否存在与电子设备100位于同一只手的其他电子设备。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴,即x轴、y轴和z轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
本申请实施例中,电子设备100还可以根据加速度传感器180E确定的加速度,确定是否存在与电子设备100位于同一只手的其他电子设备。
或者,电子设备100可以根据陀螺仪传感器180B确定的角速度和加速度传感器180E确定的加速度,确定是否存在与电子设备100位于同一只手的其他电子设备。
或者,电子设备100可以根据磁传感器180D采集的磁场数据、陀螺仪传感器180B确定的角速度和加速度传感器180E确定的加速度,确定是否存在与电子设备100位于同一只手的其他电子设备。
或者,电子设备100可以根据加速度传感器180E采集的加速度和麦克风170C采集的声音信号,确定是否存在与电子设备100位于同一只手的其他电子设备。
或者,电子设备100可以根据加速度传感器180E采集的加速度、麦克风170C采集的声音信号和陀螺仪传感器180B采集的角速度,确定是否存在与电子设备100位于同一只手的其他电子设备,等等。
其中,在具体的电子设备中,陀螺仪传感器180B和加速度传感器180E可以是两个独立的传感器,也可以是集成在一起的一个传感器。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
本申请实施例中,距离传感器180F可以基于超宽带(ultra wide band,UWB)测距,或者可以基于超声波测距,或者可以基于蓝牙测距,等等。电子设备100可以通过距离传感器180F测量电子设备100与周边电子设备之间的距离。
环境光传感器180L,用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。
本申请实施例中,电子设备100可以结合环境光传感器180L感知的环境光亮度,确定是否存在与电子设备100位于同一只手的其他电子设备。
示例性的,电子设备100可以根据环境光传感器180L感知的环境光亮度和陀螺仪传感器180B确定的角速度,确定是否存在与电子设备100位于同一只手的其他电子设备。
或者,电子设备100可以根据环境光传感器180L感知的环境光亮度和加速度传感器180E确定的加速度,确定是否存在与电子设备100位于同一只手的其他电子设备。
或者,电子设备100可以根据环境光传感器180L感知的环境光亮度、陀螺仪传感器180B确定的角速度和麦克风170C采集的声音信号,确定是否存在与电子设备100位于同一只手的其他电子设备。
或者,电子设备100可以根据环境光传感器180L感知的环境光亮度、加速度传感器180E确定的加速度和麦克风170C采集的声音信号,确定是否存在与电子设备100位于同一只手的其他电子设备。
或者,电子设备100可以根据环境光传感器180L感知的环境光亮度、陀螺仪传感器180B确定的角速度、加速度传感器180E确定的角速度和麦克风170C采集的声音信号,确定是否存在与电子设备100位于同一只手的其他电子设备,等等。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
触摸传感器180K,也称“触控器件”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示消息,未接来电,通知等。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。
图2是本申请实施例的电子设备100的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图2所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
以下结合附图和具体应用场景对本申请实施例提供的语音协同输入方法进行详细说明。
请参阅图3,图3示出了本申请实施例提供的语音协同输入方法的流程示意图。如图3所示,该方法可以包括:
S301、第一电子设备检测到预设操作。
S302、第一电子设备获取用户输入的语音内容。
S303、响应于预设操作,第一电子设备将语音内容转换成文本内容,并确定第二电子设备。
S304、第一电子设备将文本内容传输给第二电子设备。
S305、第二电子设备对文本内容进行显示。
由上述可知,当用户想通过语音输入文本内容至某一电子设备时,用户可以对第一电子设备执行预设操作。第一电子设备检测到预设操作时,可以启动语音识别功能,以获取用户输入的语音内容,并可以将语音内容转换成文本内容。其中,对于语音识别功能默认一直开启的第一电子设备,第一电子设备检测到预设操作时,可以直接将用户输入的语音内容转换成文本内容。同时,第一电子设备可以确定第二电子设备,即确定用户想通过语音输入文本内容的电子设备,并将文本内容传输给第二电子设备。
第二电子设备接收到文本内容后,可以对文本内容进行显示,使得用户可以在第二电子设备对文本内容进行编辑、保存或者发送等操作,以通过预设操作启动第一电子设备的语音识别功能,并利用第一电子设备的语音识别功能实现语音输入文本内容至第二电子设备的目的,操作简单便捷,效率较高。
在一种可能的实现方式中,第一电子设备可以是在检测到预设操作,且识别到有语音内容输入时,在进行第二电子设备的确定,避免误触发第一电子设备的文本发送功能,降低第一电子设备的功耗。
其中,第一电子设备可以为佩戴于用户手腕的智能手表、智能手环等可穿戴设备。智能手表、智能手环等可穿戴设备中设置有麦克风,可以用于采集用户输入的语音内容。预设操作可以包括抬腕操作,或者可以包括翻腕操作和抬腕操作。当预设操作包括翻腕操作和抬腕操作时,可以是先执行翻腕操作,再执行抬腕操作,也可以是先执行抬腕操作,再执行翻腕操作。抬腕操作可以是将第一电子设备向上移动(即竖直方向上移动)指定距离的操作。翻腕操作可以是将第一电子设备翻转预设角度的操作。指定距离和预设角度可以根据实际情况具体确定。
也就是说,本申请实施例可以将智能手表、智能手环等可穿戴设备的麦克风作为第二电子设备的语音输入口,使得在语音输入文本内容至第二电子设备时,用户可以抬腕,或者翻腕并抬腕以将智能手表、智能手环等可穿戴设备的麦克风移动至靠近嘴巴,从而使得用户可以轻声输入语音内容,同时手腕还可以对嘴巴进行遮挡,确保语音输入不会对附近的人造成干扰,并可以确保语音输入的私密性,提高用户体验。
应理解,第二电子设备可以为具有麦克风的电子设备,也可以为不具有麦克风的电子设备。也就是说,本申请实施例可以将智能手表、智能手环等可穿戴设备的麦克风作为无麦克风的电子设备的语音输入口,可以方便用户语音输入文本内容至无麦克风的电子设备,提高用户体验。
下面以第一电子设备为智能手表为例,对第二电子设备的确定过程进行详细说明。
本申请实施例中,在检测到预设操作时,智能手表可以确定是否存在目标设备。目标设备可以为佩戴智能手表的手所持握的电子设备。若存在目标设备,智能手表可以将目标设备确定为第二电子设备。
在一种可能的实现方式中,智能手表可以根据智能手表对应的第一加速度数据和电子设备A对应的第二加速度数据,确定是否存在目标设备。或者,智能手表可以根据智能手表对应的第一角速度数据和电子设备A对应的第二角速度数据,确定是否存在目标设备。其中,本申请各实施例中的加速度可以包括线性加速度或者角加速度。
其中,第一加速度数据可以包括智能手表在各个方向上(一般为x轴、y轴和z轴)的加速度或者围绕三个轴的角加速度。第一角速度数据可以包括智能手表围绕三个轴(即x轴、y轴和z轴)的角速度。第二加速度数据与第一加速度数据类似,第二角速度数据与第一角速度数据类似。
应理解,电子设备A可以为满足第一预设条件的电子设备。第一预设条件可以为以下条件中的一个或多个:(1)与智能手表之间的距离小于或等于第一距离阈值;(2)与智能手表登录相同用户账号或可以对智能手表进行控制;(3)设备类型为预设类型。第一距离阈值可由技术人员根据实际场景具体设置,也可由用户自定义设置。例如,技术人员根据实际场景可以将第一距离阈值设置为10厘米或者15厘米或30厘米等。预设类型可以为手机、平板电脑等可被用户手持操作的电子设备的类型。
也就是说,电子设备A可以为与智能手表之间的距离小于或等于第一距离阈值的电子设备。或者,电子设备A可以为与智能手表登录相同用户账号或可以对智能手表进行控制的电子设备,以使得最终获取文本内容的第二电子设备与智能手表属于同一用户的电子设备,或者为经智能手表所属用户授权的、可以对智能手表进行控制的电子设备,确保文本内容的私密性,保护用户隐私。
或者,电子设备A可以为与智能手表之间的距离小于或等于第一距离阈值,且设备类型为预设类型的电子设备。或者,电子设备A可以为与智能手表登录相同用户账号或可以对智能手表进行控制的,且与智能手表之间的距离小于或等于第一距离阈值的电子设备。或者,电子设备A可以为与智能手表登录相同用户账号或可以对智能手表进行控制的,且设备类型为预设类型的电子设备。或者,电子设备A可以为与智能手表登录相同用户账号或可以对智能手表进行控制的,且与智能手表之间的距离小于或等于第一距离阈值的,设备类型为预设类型的电子设备。
需要说明的是,智能手表与其他电子设备之间的距离可以通过智能手表的距离传感器来测量,也可以通过其他电子设备的距离传感器来测量。也就是说,在检测到预设操作时,智能手表可以通过智能手表的距离传感器测量智能手表与周边电子设备之间的距离。或者,智能手表可以向周边电子设备发送测距请求,例如发送具有测距标识的低功耗蓝牙(bluetooth low energy,BLE)广播,以请求周边电子设备测量其与智能手表之间的距离,并将所测得的距离发送给智能手表。
下面分别说明:一、根据智能手表对应的第一加速度数据和电子设备A对应的第二加速度数据,确定是否存在目标设备。二、根据智能手表对应的第一角速度数据和电子设备A对应的第二角速度数据,确定是否存在目标设备。
一、根据智能手表对应的第一加速度数据和电子设备A对应的第二加速度数据,确定是否存在目标设备
应理解,若佩戴智能手表的手同时持握目标设备,智能手表与目标设备将同步移动。智能手表的传感器可以实时获取智能手表的加速度数据。同时,目标设备的传感器也可以实时获取目标设备的加速度数据。
下面对假设佩戴智能手表的手同时持握目标设备时,智能手表的加速度变化和目标设备的加速度变化进行说明。
请参阅图4,图4示出了本申请实施例提供的加速度的示例图。其中,图4示出了将智能手表移动至靠近用户嘴巴进行语音输入,以及语音输入完成后,将智能手表恢复至原来状态(即未移动时的状态)的过程中,智能手表和目标设备分别在x轴上的加速度、在y轴上的加速度以及在z轴上的加速度。
当目标设备的显示界面的朝向与智能手表的显示界面的朝向不相同时,例如当目标设备的显示界面向内(即朝向用户),智能手表的显示界面向外(即背向用户)时,或者当目标设备的显示界面向上,智能手表的显示界面向下时,在用户将智能手表移动至靠近用户嘴巴时,用户还需要较大幅度的翻转手腕(例如翻转的幅度可以为150度至180度之间),以使得在将智能手表移动至靠近用户嘴巴时,智能手表的麦克风可以靠近用户嘴巴,从而方便用户进行语音输入。
此时,智能手表根据智能手表的传感器采集的加速度数据,可以得到智能手表在x轴上的加速度、在y轴上的加速度和z轴上的加速度如图4中的(a)所示。同时,智能手表根据目标设备的传感器采集的加速度数据,可以得到目标设备在x轴上的加速度、在y轴上的加速度和z轴上的加速度如图4中的(b)所示。
由图4中的(a)和图4中的(b)可知,若佩戴智能手表的手同时持握目标设备,智能手表在各轴上的加速度对应的变化时间与目标设备在各轴上的加速度对应的变化时间基本相同。同时,由于智能手表的显示界面的朝向与目标设备的显示界面的朝向不相同(如相反),因此,在整个移动过程中,智能手表在z轴上的加速度与目标设备在z轴上的加速度的方向相反,但大小基本相同。
应理解,基本相同是指两者之间的差值小于或等于第一预设阈值。第一预设阈值可以根据实际场景具体设置,本申请实施例不作具体限制。
当目标设备的显示界面与智能手表的显示界面的朝向相同时,例如当智能手表的显示界面和目标设备的显示界面均向内,或者当智能手表的显示界面与目标设备的显示界面均向上时,在用户将智能手表移动至靠近用户嘴巴的过程中,用户仅需要小幅度的旋转手腕(例如旋转的幅度可以为10度至30度之间),使得在将智能手表移动至靠近用户嘴巴时,智能手表的麦克风可以靠近用户嘴巴。
此时,智能手表根据智能手表的传感器采集的加速度数据,可以得到智能手表在x轴上的加速度、在y轴上的加速度和z轴上的加速度如图4中的(c)所示。同时,智能手表根据目标设备的传感器采集的加速度数据,可以得到目标设备在x轴上的加速度、在y轴上的加速度和z轴上的加速度如图4中的(d)所示。
由图4中的(c)和图4中的(d)可知,若佩戴智能手表的手同时持握目标设备,智能手表在各轴上的加速度对应的变化时间与目标设备在各轴上的加速度对应的变化时间基本相同。同时,由于智能手表的显示界面的朝向与目标设备的显示界面的朝向相同,因此,在整个移动过程中,智能手表在z轴上的加速度与目标设备在z轴上的加速度的方向基本相同,大小也基本相同。
综上,在检测到预设操作时,智能手表可以获取预设时间段内,智能手表的第一加速度数据,以及该预设时间段内,电子设备A的第二加速度数据。预设时间段可以为包含预设操作的执行时间的时间段。其中,预设时间段可以根据实际场景具体设置,例如可以根据预设操作所需的执行时间来确定预设时间段,本申请实施例不作具体限制。
当智能手表确定某一电子设备A在各轴上的加速度对应的变化时间与智能手表在各轴上的加速度对应的变化时间基本相同。同时,在该预设时间段内,该电子设备A在z轴上的加速度的方向与智能手表在z轴上的加速度的方向相反,但大小基本相同时,智能手表可以确定该电子设备A与智能手表位于同一只手,即确定该电子设备A为目标设备。
或者,当智能手表确定某一电子设备A在各轴上的加速度对应的变化时间与智能手表在各轴上的加速度对应的变化时间基本相同。同时,在该预设时间段内,该电子设备A在z轴上的加速度的方向与智能手表在z轴上的加速度的方向基本相同,且大小也基本相同时,智能手表可以确定该电子设备A与智能手表位于同一只手,即可以确定该电子设备A为目标设备。
二、根据智能手表对应的第一角速度数据和电子设备A对应的第二角速度数据,确定是否存在目标设备
应理解,若佩戴智能手表的手同时持握目标设备,智能手表与目标设备将同步移动。智能手表的传感器可以实时获取智能手表的角速度数据。同时,目标设备的传感器也可以实时获取目标设备的角速度数据。
下面对假设佩戴智能手表的手同时持握目标设备时,智能手表的角速度变化和目标设备的角速度变化进行说明。
请参阅图5,图5示出了本申请实施例提供的角速度变化的示例图。其中,图5示出了将智能手表移动至靠近用户嘴巴进行语音输入,以及语音输入完成后,将智能手表恢复至原来状态(即未移动时的状态)的过程中,智能手表和目标设备分别围绕x轴的角速度、围绕y轴的角速度以及围绕z轴的角速度。
当目标设备的显示界面的朝向与智能手表的显示界面的朝向不相同时,例如当目标设备的显示界面向内,智能手表的显示界面向外时,或者当目标设备的显示界面向上,智能手表的显示界面向下时,在用户将智能手表移动至靠近用户嘴巴时,用户还需要较大幅度的翻转手腕,使得在将智能手表移动至靠近用户嘴巴时,智能手表的麦克风可以靠近用户嘴巴,以方便用户进行语音输入。
此时,智能手表根据智能手表的传感器采集的角速度数据,可以得到智能手表围绕x轴的角速度、围绕y轴的角速度和围绕z轴的角速度如图5中的(a)所示。同时,智能手表根据目标设备的传感器采集的角速度数据,可以得到目标设备围绕x轴的角速度、围绕y轴的角速度和围绕z轴的角速度如图5中的(b)所示。
由图5中的(a)和图5中的(b)可知,若佩戴智能手表的手同时持握目标设备,智能手表围绕各轴的角速度对应的变化时间与目标设备围绕各轴的角速度对应的变化时间基本相同。同时,由于智能手表的显示界面的朝向与目标设备的显示界面的朝向不相同,如相反,智能手表围绕x轴的角速度的变化方向与目标设备围绕x轴的角速度的变化方向基本相同,仅变化的幅度存在差异,即角速度变化后,智能手表围绕x轴的角速度的大小与目标设备围绕x轴的角速度的大小不一样,例如在角速度变化达到最大的时刻,智能手表围绕x轴的角速度可以为4.2rad/s,目标设备围绕x轴的角速度可以为5.3rad/s。
当目标设备的显示界面与智能手表的显示界面的朝向相同时,例如当智能手表的显示界面和目标设备的显示界面均向内,或者当智能手表的显示界面与目标设备的显示界面均向上时,在用户将智能手表移动至靠近用户嘴巴的过程中,用户仅需要小幅度的旋转手腕,使得在将智能手表移动至靠近用户嘴巴时,智能手表的麦克风可以靠近用户嘴巴。
此时,智能手表根据智能手表的传感器采集的角速度数据,可以得到智能手表围绕x轴的角速度、围绕y轴的角速度和围绕z轴的角速度如图5中的(c)所示。同时,智能手表根据目标设备的传感器采集的角速度数据,可以得到目标设备围绕x轴的角速度、围绕y轴的角加速度和围绕z轴的角速度如图5中的(d)所示。
由图5中的(c)和图5中的(d)可知,若佩戴智能手表的手同时持握目标设备,智能手表围绕各轴的角速度对应的变化时间与目标设备围绕各轴的角速度对应的变化时间基本相同。同时,由于智能手表的显示界面的朝向与目标设备的显示界面的朝向相同,因此,智能手表围绕z轴的角速度的变化方向与目标设备围绕z轴的角速度的变化方向基本相同,仅变化的幅度存在差异,即角速度变化后,智能手表围绕z轴的角速度的大小与目标设备围绕z轴的角速度的大小不一样,例如在角速度变化达到最大的时刻,智能手表围绕z轴的角速度可以为-0.6rad/s,目标设备围绕z轴的角速度为可以-1.4rad/s。
综上,在检测到预设操作时,智能手表可以获取预设时间段内,智能手表的第一角速度数据,以及该预设时间段内,电子设备A的第二加速度数据。预设时间段可以为包含预设操作的执行时间的时间段。
当智能手表确定某一电子设备A围绕各轴的角速度对应的变化时间与智能手表围绕各轴的角速度对应的变化时间基本相同。同时,在该预设时间段内,该电子设备A围绕x轴的角速度的变化方向与智能手表围绕x轴的角速度的变化方向基本相同,仅变化的幅度存在差异时,智能手表可以确定该电子设备A与智能手表位于同一只手,即确定该电子设备A为目标设备。
或者,当智能手表确定某一电子设备A围绕各轴的角速度对应的变化时间与智能手表围绕各轴的角速度对应的变化时间基本相同。同时,在该预设时间段内,该电子设备A围绕z轴的角速度的变化方向与智能手表围绕z轴的角速度的变化方向基本相同,仅变化的幅度存在差异时,智能手表可以确定该电子设备A与智能手表位于同一只手,即确定该电子设备A为目标设备。
本申请实施例中,智能手表也可以结合加速度数据和角速度数据,来确定是否存在目标设备。例如,当智能手表确定预设时间段内,某一电子设备A的加速度对应的变化时间与智能手表的加速度对应的变化时间基本相同,且该电子设备A的角速度对应的变化时间与智能手表的角速度对应的变化时间基本相同。同时,在该预设时间段内,该电子设备A在z轴上的加速度的方向与智能手表在z轴上的加速度的方向相反,但大小基本相同,而该电子设备A围绕x轴的角速度的变化方向与智能手表围绕x轴的角速度的变化方向基本相同,仅变化的幅度存在差异时,智能手表可以确定该电子设备A与智能手表位于同一只手,即确定该电子设备A为目标设备。
例如,当智能手表确定预设时间段内,某一电子设备A的加速度对应的变化时间与智能手表的加速度对应的变化时间基本相同,且该电子设备A的角速度对应的变化时间与智能手表的角速度对应的变化时间基本相同。同时,在该预设时间段内,该电子设备A在z轴上的加速度的方向与智能手表在z轴上的加速度的方向基本相同,大小也基本相同,而该电子设备A围绕z轴的角速度的变化方向与智能手表围绕z轴的角速度的变化方向基本相同,仅变化的幅度存在差异时,智能手表可以确定该电子设备A与智能手表位于同一只手,即确定该电子设备A为目标设备。
示例性的,智能手表可以对同一时刻智能手表的加速度数据和角速度数据进行融合,得到智能手表对应的融合数据,以通过数据融合降低数据的不确定性(比如漂移),提高数据的准确性、完整性和可靠性。同时,智能手表也可以对同一时刻目标设备的加速度数据和角速度数据进行融合,得到目标设备对应的融合数据。随后,智能手表可以确定智能手表对应的融合数据与目标设备对应的融合数据之间对应的第一预设关系。其中,对加速度数据与角速度数据进行融合的方式可以由根据实际场景具体设置,本申请实施例不作具体限制。
因此,当智能手表获取智能手表的第一加速度数据和第一角速度数据,以及电子设备A的第二加速度数据和第二角速度数据时,智能手表可以对同一时刻的第一加速度数据和第一角速度数据进行融合,得到智能手表对应的融合数据,同时,可以对同一时刻的第二加速度数据和第二角速度数据进行融合,得到电子设备A对应的融合数据。当某一电子设备A对应的融合数据与智能手表对应的融合数据之间的关系为前述的第一预设关系时,智能手表可以确定该电子设备A与智能手表位于同一只手,即可以确定该电子设备A为目标设备。
本申请实施例中,智能手表可以结合磁传感器采集的磁场数据,来确定是否存在目标设备。示例性的,智能手表可以根据智能手表的第一加速度数据、第一角速度数据和第一磁场数据,以及电子设备A的第二加速度数据、第二角速度数据和第二磁场数据,来确定是否存在目标设备。
类似的,智能手表可以对同一时刻的第一加速度数据、第一角速度数据和第一磁场数据进行融合,得到智能手表对应的融合数据,并可以对同一时刻的第二加速度数据、第二角速度数据和第二磁场数据进行融合,得到电子设备A对应的融合数据,以根据智能手表对应的融合数据与电子设备A对应的融合数据之间的关系是否为第二预设关系,来确定是否存在目标设备。第二预设关系为佩戴智能手表的手同时持握目标设备时,智能手表的加速度数据、角速度数据和磁场数据对应的融合数据与目标设备的加速度数据、角速度数据和磁场数据对应的融合数据之间的对应关系。
在另一种可能的实现方式中,智能手表可以根据智能手表对应的第一移动距离和电子设备A对应的第二移动距离,来确定是否存在目标设备。
应理解,若佩戴智能手表的手同时持握目标设备,在将智能手表移动至靠近用户嘴巴进行语音输入时,智能手表对应的第一移动距离与目标设备对应的第二移动距离基本相同。也就是说,第一移动距离与第二移动距离的差值小于或等于第二预设阈值。其中,第一移动距离可以为20厘米至40厘米之间。其中,第二预设阈值均可以根据实际场景具体设置,本申请实施例对此不作具体限制。
因此,在检测到预设操作时,即在检测到将智能手表移动至靠近用户嘴巴时,智能手表可以获取智能手表对应的第一移动距离,并获取电子设备A对应的第二移动距离。当智能手表确定第一移动距离与某一电子设备A对应的第二移动距离的差值小于或等于第二预设阈值时,智能手表可以确定该电子设备A与智能手表位于同一只手,即可以确定该电子设备A为目标设备。
本申请实施例中,智能手表也可以根据加速度数据和/或角速度数据,以及移动距离,来确定是否存在目标设备。示例性的,智能手表可以根据加速度数据和移动距离,来确定是否存在目标设备。示例性的,智能手表也可以根据角速度数据和移动距离,来确定是否存在目标设备。示例性的,智能手表可以根据加速度数据、角速度数据和移动距离,来确定是否存在目标设备。
例如,当智能手表确定预设时间段内,某一电子设备A的加速度对应的变化时间与智能手表的加速度对应的变化时间基本相同,同时,在该预设时间段内,该电子设备A对应的第二移动距离与智能手表对应的第一移动距离的差值小于或等于第二预设阈值时,智能手表可以确定该电子设备A与智能手表位于同一只手,即可以确定该电子设备A为目标设备。
在另一种可能的实现方式中,在上述确定目标设备的基础上,智能手表可以结合环境光亮度,来确定是否存在目标设备。例如,智能手表可以根据加速度数据和环境光亮度,来确定是否存在目标设备。或者,智能手表可以根据角速度数据和环境光亮度,来确定是否存在目标设备。或者,智能手表可以根据移动距离和环境光亮度,来确定是否存在目标设备。或者,智能手表可以根据加速度数据、移动距离和环境光亮度,来确定是否存在目标设备,等等。
应理解,当佩戴智能手表的手同时持握目标设备时,若智能手表的显示界面的朝向与目标设备的显示界面的朝向不相同,例如当智能手表向外,目标设备向内时,在未将智能手表移动至靠近用户嘴巴时,智能手表的环境光传感器采集的第一环境光亮度与目标设备的环境光传感器采集的第三环境光亮度基本相同,或者智能手表的环境光传感器采集的第一环境光亮度低于目标设备的环境光传感器采集的第三环境光亮度。
当用户将智能手表移动至靠近用户嘴巴来进行语音输入时,智能手表的显示界面将朝上,目标设备的显示界面将朝下,此时,智能手表的环境光传感器采集的第二环境光亮度将高于目标设备的环境光传感器采集的第四环境光亮度。因此,智能手表可以结合智能手表的环境光传感器采集的环境光亮度与电子设备A的环境光传感器采集的环境光亮度之间的变化关系,来确定是否存在目标设备。
在另一种可能的实现方式中,在上述确定目标设备的基础上,智能手表还可以结合声音信号,来确定是否存在目标设备。例如,智能手表可以根据加速度数据和声音信号,来确定是否存在目标设备。例如,智能手表可以根据角速度数据和声音信号,来确定是否存在目标设备。例如,智能手表可以根据加速度信号、环境光亮度和声音信号,来确定是否存在目标设备,等等。其中,声音信号可以包括音量大小。
应理解,当佩戴智能手表的手同时持握目标设备时,当将智能手表移动至靠近用户嘴巴时,智能手表的麦克风与用户嘴巴之间的距离比目标设备的麦克风与用户嘴巴之间的距离较近,因此,智能手表的麦克风采集到的声音信号的音量将大于目标设备的麦克风采集到的声音信号的音量。因此,智能手表可以结合智能手表采集的声音信号与第三电子设备采集的声音信号之间的大小关系,来确定是否存在目标设备。
请参阅图6,图6示出了本申请实施例提供的应用场景示意图一。
如图6中的(a)所示,当用户想通过语音输入文本内容至某一电子设备(例如手机)时,用户可以通过佩戴智能手表600的手持握手机601。随后,如图6中的(b)所示,用户可以翻转并移动手腕,以将智能手表600移动至嘴巴附近来进行语音的轻声输入,同时手腕还可以对嘴巴进行遮挡,确保语音输入不会对附近的人造成干扰,并确保语音输入的私密性,可以提高用户体验。
智能手表600检测到抬腕操作时,可以启动智能手表600的语音识别功能,获取用户输入的语音内容,并将语音内容转换成文本内容。此时,智能手表600根据上述的确定方式可以确定手机601与智能手表600位于同一只手,并可以将手机601确定为第二电子设备。随后,智能手表600可以将文本内容发送至手机601。
如图6中的(c)所示,手机601接收到文本内容后,可以对文本内容进行显示,例如可以创建便利贴602来进行文本内容的显示。
本申请实施例中,当不存在目标设备时,也就是说,当佩戴智能手表的手没有持握的电子设备时,智能手表可以向周边的电子设备B发送获取请求,以请求获取电子设备B的设备状态和/或设备类型。随后,智能手表可以根据电子设备B的设备状态和/或设备类型来确定第二电子设备。
在一个示例中,智能手表可以从一个或多个电子设备B中,获取设备状态为预设状态的电子设备C,并从一个或多个电子设备C中确定出第二电子设备。
应理解,需要通过智能手表进行语音协同输入的电子设备一般为距离智能手表较近的电子设备,因此,电子设备B可以为与智能手表之间的距离小于或等于第二距离阈值的电子设备。第二距离阈值可以由技术人员根据实际场景具体设置,也可以由用户自定义设置。例如技术人员根据实际场景可以将第二距离阈值设置为20厘米或25厘米等。
其中,电子设备B可以包括已与智能手表通信连接的电子设备,也可以包括未与智能手表通信连接的电子设备。
预设状态可以为存在可输入内容的窗口或输入框的状态,或者可以为第一预设时长内检测到点击操作或触摸操作的状态,或者可以为第二预设时长内检测到鼠标点击事件或键盘输入事件的状态。
应理解,第一预设时长和/或第二预设时长可以由技术人员根据实际场景具体设置,也可以由用户自定义设置。第一预设时长与第二预设时长可以相同,也可以不相同。例如,用户可以将第一预设时长自定义设置为4s,将第二预设时长自定义设置为5s。例如,用户可以将第一预设时长和第二预设时长自定义设置为5s,等等。
可选的,当电子设备C仅包括一个时,智能手表可以将电子设备C确定为第二电子设备。当电子设备C包括多个时,智能手表可以获取设备状态为“存在可输入内容的窗口或输入框的状态”的电子设备,并将该电子设备确定为第二电子设备。
其中,当“存在可输入内容的窗口或输入框的状态”的电子设备C包括多个时,智能手表可以将最后活跃的电子设备确定为第二电子设备。或者,智能手表可以确定文本内容与窗口或输入框中已存在内容之间的匹配度,或者可以确定文本内容与窗口或输入框所对应的应用之间的匹配度,并将匹配度最高的电子设备确定为第二电子设备。应理解,最后活跃的电子设备可以是最后检测到点击操作或触摸操作的电子设备,或者可以是最后检测到鼠标点击事件或键盘输入事件的电子设备。
当电子设备C的设备状态均不是“存在可输入内容的窗口或输入框的状态”时,即当电子设备C中均不存在可输入内容的窗口或输入框时,智能手表可以将最后活跃的电子设备确定为第二电子设备。示例性的,智能手表可以确定各电子设备对应的活跃时间,并将活跃时间距离当前时刻最近的电子设备确定为第二电子设备。其中,电子设备对应的活跃时间为电子设备最后一次检测到点击操作或触摸操作的时间,或者为电子设备最后一次检测到鼠标点击事件或键盘输入事件的时间。
例如,当电子设备C包括手机和笔记本电脑,且佩戴智能手表的手未持握手机或笔记本电脑,手机和笔记本电脑中均不存在可输入内容的窗口和输入框时,若智能手表确定手机最后一次检测到触摸操作的时间为9:30:35,笔记本电脑最后一次检测到鼠标点击事件的时间为9:30:37时,智能手表可以将笔记本电脑确定为第二电子设备。
可选的,为避免将文本内容发送至其他用户的电子设备,从而造成用户隐私的泄露,电子设备C可以为与智能手表登录相同用户账号的电子设备,或者为可以对智能手表进行控制的电子设备,以使得最后确定的第二电子设备与智能手表属于同一用户的电子设备,或者为经智能手表所属用户授权的、可以对智能手表进行控制的电子设备。
在另一个示例中,智能手表可以确定文本内容与设备类型之间的匹配度,并获取匹配度大于预设匹配度的电子设备D,以从一个或多个电子设备D中确定出第二电子设备。其中,预设匹配度可以根据实际场景具体设置,本申请实施例不作具体限制。
本申请实施例中,智能手表确定第二电子设备之后,可以将文本内容发送给第二电子设备。第二电子设备接收到文本内容后,可以对文本内容进行显示,使得用户可以在第二电子设备中对文本内容进行编辑、保存、发送等操作。即本申请实施例,可以通过抬腕将智能手表移动至嘴巴附近来进行语音的轻声输入,同时可以通过手腕对嘴巴进行遮挡,确保语音输入不会对附近的人造成干扰,并确保语音输入的私密性,提高用户体验。
示例性的,第二电子设备接收文本内容后,可以根据自身的设备状态来进行文本内容的显示。例如,当第二电子设备中存在可输入内容的窗口时,第二电子设备可以将文本内容显示于该窗口。例如,当第二电子设备中存在可输入内容的输入框时,第二电子设备可以将文本内容显示于该输入框。例如,当第二电子设备中不存在可输入内容的窗口,且不存在可输入内容的输入框时,第二电子设备可以创建一个卡片(或便利贴),并可以将文本内容输入至该卡片(或便利贴)中,以在该卡片(或便利贴)中显示文本内容;该卡片(或便利贴)可以悬浮显示在第二电子设备的当前界面上。或者,第二电子设备可以自动打开某一个应用,并可以将文本内容输入至该应用,以通过该应用来显示文本内容,例如可以打开备忘录应用,以通过备忘录应用显示文本内容。
请参阅图7,图7示出了本申请实施例提供的应用场景示意图二。该应用场景以第二电子设备为笔记本电脑700,文本内容为“微笑拥抱每一天”为例进行示例性说明。笔记本电脑700接收到文本内容之后,可以确定笔记本电脑700的显示界面中是否存在可输入内容的窗口或输入框等。如图7中的(a)和图7中的(b)所示,当显示界面中存在可输入内容的窗口701时,笔记本电脑700可以将文本内容输入至该窗口701,以在该窗口701中显示文本内容。或者,如图7中的(c)和图7中的(d)所示,当显示界面中存在可输入内容的输入框702时,笔记本电脑700可以将文本内容输入至该输入框702,以在该输入框702中显示文本内容。
请参阅图8,图8示出了本申请实施例提供的应用场景示意图三。该应用场景以第二电子设备为手机800,文本内容为“微笑拥抱每一天”为例进行示例性说明。如图8中的(a)和图8中的(b)所示,当手机800中不存在可输入内容的窗口和输入框时,例如,当手机800显示主界面时,手机800可以创建一个卡片(或便利贴)801,并可以将文本内容输入至该卡片(或便利贴)801中,以在该卡片(或便利贴)801中显示文本内容。或者,手机800可以自动打开某一个应用,并可以将文本内容输入至该应用,以通过该应用来显示文本内容,例如可以打开备忘录应用,以通过备忘录应用显示文本内容。其中,手机800的主界面中可以显示有时钟、日历、图库、备忘录、文件管理、音乐、电子邮件、运动健康、相机、电话、短信息等应用的图标。
在一种可能的实现方式中,当第二电子设备的显示界面中同时存在多个可输入内容的窗口和/或输入框(下面以同时存在多个可输入内容的窗口为例进行示例性说明)时,第二电子设备可以确定最后活跃的窗口,并可以将文本内容输入至最后活跃的窗口,以通过最后活跃的窗口来进行显示。也就是说,在通过智能手表语音输入文本内容至第二电子设备时,用户可以通过切换窗口,来向不同的窗口输入文本内容。
示例性的,第二电子设备可以确定各窗口对应的活跃时间,并将活跃时间距离当前时刻最近的窗口确定为最后活跃的窗口。其中,窗口对应的活跃时间为第二电子设备检测到最后一次点击或触摸该窗口的时间,或者为第二电子设备最后一次检测到在该窗口中存在鼠标点击或键盘输入的时间。
请参阅图9,图9示出了本申请实施例提供的应用场景示意图四。该应用场景以第二电子设备为笔记本电脑900为例进行示例性说明。笔记本电脑900的显示界面中同时存在多个可输入内容的窗口。当用户想通过语音输入文本内容“微笑面对每一天”至窗口901(即随笔1)时,如图9中的(a)所示,用户可以点击窗口901,以将光标移动至窗口901,并将智能手表移动至嘴边,以输入“微笑面对每一天”的语音内容。智能手表接收到该语音内容后,可以将该语音内容转换成文本内容,并将该文本内容发送至笔记本电脑900。如图9中的(b)所示,笔记本电脑900接收到该文本内容时,可以确定窗口901为最后活跃的窗口,此时笔记本电脑900可以将该文本内容“微笑面对每一天”输入至窗口901。
随后,若用户想通过语音输入文本内容“今天天气很好”至窗口902(即随笔2)时,如图9中的(c)所示,用户可以点击窗口902,以将光标移动至窗口902,并继续向智能手表输入“今天天气很好”的语音内容。智能手表接收到该语音内容后,可以将该语音内容转换成文本内容,并可以将该文本内容发送至笔记本电脑900。如图9中的(d)所示,笔记本电脑900接收到该文本内容时,可以确定窗口902为最后活跃的窗口,此时笔记本电脑900可以将该文本内容“今天天气很好”输入至窗口902。
随后,当用户想再次通过语音输入文本内容“一起加油”至窗口901时,如图9中的(e)所示,用户可以再次点击窗口902,以将光标移动至窗口902,并继续向智能手表输入“一起加油”的语音内容。智能手表接收到该语音内容后,可以将该语音内容转换成文本内容,并可以将该文本内容发送至笔记本电脑900。如图9中的(f)所示,笔记本电脑900接收到该文本内容时,可以确定窗口902为最后活跃的窗口,此时笔记本电脑900可以将该文本内容“一起加油”输入至窗口902。
在另一种可能的实现方式中,当第二电子设备的显示界面中同时存在多个可输入内容的窗口和/或输入框时,第二电子设备可以确定该窗口或输入框对应的应用,和/或获取该窗口或输入框中已存在的内容。随后,第二电子设备可以确定文本内容与该应用之间的匹配度,和/或确定文本内容与已存在的内容之间的匹配度,并根据匹配度来确定文本内容对应的窗口或输入框,以通过匹配度准确确定用户想要输入文本内容的位置,方便用户对文本内容进行后续操作,提高用户体验。
示例性的,第二电子设备可以确定匹配度大于或等于预设匹配度的窗口或者输入框,或者可以确定匹配度最大的窗口或输入框,并可以将文本内容输入至该窗口或输入框。可以理解的是,预设匹配度可以由技术人员根据实际场景具体设置,也可以由第二电子设备对应用的历史数据进行分析确定,还可以由用户自定义设置。
本申请实施例中,智能手表传输给第二电子设备的文本内容可以作为第二电子设备的输入内容,用户还可以对该输入内容进行编辑、保存、发送等操作。例如,在图7所示的应用场景中,用户可以对窗口或输入框中的文本内容进行修改,或者可以将窗口或者输入框中的文本内容复制至另一应用,例如,用户可以将窗口或者输入框中的文本内容复制至即时通讯应用,以通过即时通讯应用将文本内容发送给其他用户所在的电子设备。例如,在图7中的(c)所示的应用场景中,输入框可以为即时通讯应用的输入框,用户可以直接将输入框中的文本内容发送给其他用户所在的电子设备。
应理解,当智能手表未确定出合适的第二电子设备时,智能手表可以通过自身来进行文本内容的显示。例如,将文本内容输入至智能手表中的窗口或输入框,或者在智能手表中创建卡片(或便利贴)来进行文本内容的输入,等等。
在一种可能的实现方式中,当智能手表确定出的第二电子设备并不是用户想要语音输入文本内容的电子设备时,用户可以在智能手表中执行撤回重发操作,并可以对想要语音输入文本内容的电子设备进行相应操作(例如,通过佩戴智能手表的手持握该电子设备,或点击、触摸该电子设备的屏幕等)。在检测到撤回重发操作时,智能手表可以撤回已发送的文本内容。同时,智能手表可以重新确定第二电子设备,并可以将该文本内容发送至重新确定的第二电子设备。
需要说明的是,上述所述的智能手表获取语音内容后,将语音内容转换成文本内容,再将文本内容发送给第二电子设备,仅作示意性解释,不应理解为对本申请实施例的限制。本申请实施例中,智能手表也可以直接将语音内容发送给第二电子设备。第二电子设备接收到语音内容后,可以将语音内容转换成文本内容,并将文本内容显示于第二电子设备的窗口或输入框,或者显示于创建的卡片或便利贴,或者显示于打开的某一应用等,以降低对智能手表的性能要求。
也就是说,当智能手表检测到抬腕操作时,可以启动语音识别功能,获取用户输入的语音内容。同时,智能手表可以确定第二电子设备,并可以直接将语音内容发送给第二电子设备。第二电子设备接收到语音内容后,可以将语音内容转换成文本内容,并对文本内容进行显示。
或者,在智能手表的语音识别功能已启动的场景中,当智能手表检测到预设操作时,可以确定第二电子设备,并可以将获取的语音内容发送给第二电子设备。第二电子设备接收到语音内容后,可以将语音内容转换成文本内容,并对文本内容进行显示。或者,当智能手表检测到预设操作,且识别到有语音内容输入时,可以确定第二电子设备,并将获取的语音内容发送给第二电子设备,第二电子设备接收到语音内容后,可以将语音内容转换成文本内容,并对文本内容进行显示。即智能手表在检测到预设操作,且识别到有语音内容输入时,再进行第二电子设备的确定,可以有效降低智能手表的功耗。
应理解,智能手表可以根据实际场景来确定是直接将语音内容发送给第二电子设备,还是将语音内容转换成文本内容后发送给第二电子设备。示例性的,当智能手表确定自身的性能较好,或者转换速度较快,或者确定自身的性能优于第二电子设备的性能,或者确定自身的转换速度快于第二电子设备的转换速度时,智能手表可以将语音内容转换成文本内容后发送给第二电子设备。示例性的,当智能手表确定自身的性能较差,或者转换速度较慢,或者确定第二电子设备的性能优于自身的性能,或者确定第二电子设备的转换速度快于自身的转换速度时,智能手表可以直接将语音内容发送给第二电子设备,由第二电子设备对语音内容进行转换。其中,转换速度是指将语音内容转换成文本内容的速度。
下面将结合一些其他可能的应用场景对本申请实施例提供的语音协同输入方法进行示例性说明。
请参阅图10,图10示出了本申请实施例提供的应用场景示意图五。当用户想通过语音输入文本内容至无麦克风的智能电视1000时,用户可以移动手腕,将智能手表移动至嘴巴附近来进行语音输入。同时,如图10中的(a)所示,用户可以打开智能电视1000中的某一窗口或输入框,例如可以打开某一视频应用,并将输入光标移动至内容评论的输入框1001。智能手表检测到抬腕操作时,可以启动智能手表的语音识别功能,以获取用户输入的语音内容(例如“勇敢的心”),并将语音内容转换成文本内容。此时,智能手表可以将智能电视1000确定为第二电子设备,并可以将该文本内容发送至智能电视1000。如图10中的(b)所示,智能电视1000接收到该文本内容后,可以将该文本内容显示于内容评论的输入框1001中。
请参阅图11,图11示出了本申请实施例提供的应用场景示意图六。当用户想通过语音输入文本内容至具有屏幕1101的冰箱1100时,如图11中的(a)所示,用户可以点击或者触摸冰箱1100的屏幕1101。同时,用户可以移动手腕,将智能手表移动至嘴巴附近来进行语音输入。智能手表检测到抬腕操作时,可以启动智能手表的语音识别功能,以获取用户输入的语音内容(例如“牛奶快过期了,记得及时喝”),并将语音内容转换成文本内容。此时,智能手表可以将冰箱1100确定为第二电子设备,并可以将该文本内容发送冰箱1100。如图11中的(b)所示,冰箱1100接收到该文本内容后,可以创建一个便利贴1102,将该文本内容输入至该便利贴1102中,并在屏幕1101的主界面中显示该便利贴1102。
在一个示例中,当用户想通过语音输入文本内容至电子留言板等显示装置时,用户可以点击或者触摸电子留言板等显示装置的屏幕。同时,用户可以移动手腕,将智能手表移动至嘴巴附近来进行语音输入。智能手表检测到抬腕操作时,可以启动智能手表的语音识别功能,以获取用户输入的语音内容,并将语音内容转换成文本内容。此时,智能手表可以将电子留言板等显示装置确定为第二电子设备,并可以将该文本内容发送电子留言板等显示装置。电子留言板等显示装置接收到该文本内容后,可以创建一个便利贴,将该文本内容输入至该便利贴中,并在屏幕的主界面中显示该便利贴。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的语音协同输入方法,本申请实施例还提供了一种语音协同输入装置,该装置的各个模块可以对应实现语音协同输入方法的各个步骤。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请实施例还提供了一种电子设备,所述电子设备包括至少一个存储器、至少一个处理器以及存储在所述至少一个存储器中并可在所述至少一个处理器上运行的计算机程序,所述处理器执行所述计算机程序时,使所述电子设备实现上述任意各个方法实施例中的步骤。示例性的,所述电子设备的结构可以如图1所示。
本申请实施例还提供了一种语音协同输入系统,所述系统包括第一电子设备和第二电子设备;所述第一电子设备用于执行上述任意各个方法实施例;所述第二电子设备用于接收所述第一电子设备发送的文本内容或者语音内容,并将所述文本内容或者所述语音内容对应的文本内容显示在所述第二电子设备的显示界面上。
在一个示例中,所述第一电子设备为可穿戴设备,所述第二电子设备为具有显示屏的电子设备。
在另一个示例中,所述第一电子设备登录的用户账号与所述第二电子设备登录的用户账号相同。
在另一个示例中,所述第二电子设备与所述第一电子设备之间的距离小于或等于第一距离阈值。
在另一个示例中,所述第二电子设备的设备类型为预设类型。
在另一个示例中,所述第二电子设备的设备状态为预设状态;所述预设状态为第一状态、第二状态和第三状态中的任一种,所述第一状态为存在可输入内容的窗口或者输入框的状态,所述第二状态为第一预设时长内检测到点击操作或者触摸操作的状态,所述第三状态为第二预设时长内检测到鼠标点击事件或者键盘输入事件的状态。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被计算机执行时,使所述计算机实现上述任意各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备实现上述任意各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质至少可以包括:能够将计算机程序代码携带到装置/电子设备的任何实体或装置、记录介质、计算机存储器、只读存储器(read-only memory,ROM)、随机存取存储器(random accessmemory,RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/电子设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/电子设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (30)

1.一种语音协同输入方法,其特征在于,应用于第一电子设备,所述方法包括:
所述第一电子设备检测到预设操作;
所述第一电子设备获取语音内容;
响应于所述预设操作,所述第一电子设备将所述语音内容转换成文本内容;
所述第一电子设备确定第二电子设备,并向所述第二电子设备发送所述文本内容,其中,在所述第二电子设备接收到所述文本内容后,所述文本内容显示于所述第二电子设备的显示界面。
2.一种语音协同输入方法,其特征在于,应用于第一电子设备,所述方法包括:
所述第一电子设备检测到预设操作;
所述第一电子设备获取语音内容;
响应于所述预设操作,所述第一电子设备确定第二电子设备,并向所述第二电子设备发送所述语音内容,其中,在所述第二电子设备接收到所述语音内容后,所述语音内容被转换成文本内容,并显示于所述第二电子设备的显示界面。
3.根据权利要求2所述的方法,其特征在于,所述响应于所述预设操作,所述第一电子设备确定第二电子设备,包括:
响应于所述预设操作和所述第一电子设备获取语音内容,所述第一电子设备确定第二电子设备。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述预设操作包括抬腕操作,或者包括抬腕操作和翻腕操作。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述第一电子设备确定第二电子设备,包括:
所述第一电子设备确定是否存在与所述第一电子设备位于同一只手的目标设备;
当存在与所述第一电子设备位于同一只手的目标设备时,所述第一电子设备将所述目标设备确定为所述第二电子设备。
6.根据权利要求5所述的方法,其特征在在于,所述第一电子设备确定是否存在与所述第一电子设备位于同一只手的目标设备,包括:
所述第一电子设备获取所述第一电子设备对应的第一加速度数据和至少一个第三电子设备对应的第二加速度数据;
所述第一电子设备根据所述第一加速度数据和各所述第二加速度数据确定是否存在与所述第一电子设备位于同一只手的目标设备。
7.根据权利要求6所述的方法,其特征在于,所述第一电子设备根据所述第一加速度数据和各所述第二加速度数据确定是否存在与所述第一电子设备位于同一只手的目标设备,包括:
所述第一电子设备根据所述第一加速度数据和各所述第二加速度数据,确定存在第四电子设备时,所述第一电子设备将所述第四电子设备确定为所述目标设备,其中,所述第四电子设备在各轴上的加速度的变化时间与所述第一电子设备在各轴上的加速度的变化时间基本相同,且所述第四电子设备在z轴上的加速度的方向与所述第一电子设备在z轴上的加速度的方向相反,但大小基本相同。
8.根据权利要求6所述的方法,其特征在于,所述第一电子设备根据所述第一加速度数据和各所述第二加速度数据确定是否存在与所述第一电子设备位于同一只手的目标设备,包括:
所述第一电子设备根据所述第一加速度数据和各所述第二加速度数据,确定存在第四电子设备时,所述第一电子设备将所述第四电子设备确定为所述目标设备,其中,所述第四电子设备在各轴上的加速度的变化时间与所述第一电子设备在各轴上的加速度的变化时间基本相同,且所述第四电子设备在z轴上的加速度的方向与所述第一电子设备在z轴上的加速度的方向基本相同,且大小基本相同。
9.根据权利要求5至8中任一项所述的方法,其特征在于,所述第一电子设备确定是否存在与所述第一电子设备位于同一只手的目标设备,包括:
所述第一电子设备获取所述第一电子设备对应的第一角速度数据和至少一个第三电子设备对应的第二角速度数据;
所述第一电子设备根据所述第一角速度数据和各所述第二角速度数据确定是否存在与所述第一电子设备位于同一只手的目标设备。
10.根据权利要求9所述的方法,其特征在于,所述第一电子设备根据所述第一角速度数据和各所述第二角速度数据确定是否存在与所述第一电子设备位于同一只手的目标设备,包括:
所述第一电子设备根据所述第一角速度数据和各所述第二角速度数据,确定存在第五电子设备时,所述第一电子设备将所述第五电子设备确定为所述目标设备,其中,所述第五电子设备围绕各轴的角速度的变化时间与所述第一电子设备围绕各轴的加速度的变化时间基本相同,且所述第五电子设备围绕x轴的角速度的变化方向与所述第一电子设备围绕x轴的角速度的变化方向基本相同,但变化的幅度不同。
11.根据权利要求9所述的方法,其特征在于,所述第一电子设备根据所述第一角速度数据和各所述第二角速度数据确定是否存在与所述第一电子设备位于同一只手的目标设备,包括:
所述第一电子设备根据所述第一角速度数据和各所述第二角速度数据,确定存在第五电子设备时,所述第一电子设备将所述第五电子设备确定为所述目标设备,其中,所述第五电子设备围绕各轴的角速度的变化时间与所述第一电子设备围绕各轴的角速度的变化时间基本相同,且所述第五电子设备围绕z轴的角速度的变化方向与所述第一电子设备围绕z轴的角速度的变化方向基本相同,但变化的幅度不同。
12.根据权利要求5至11中任一项所述的方法,其特征在于,所述第一电子设备确定是否存在与所述第一电子设备位于同一只手的目标设备,包括:
所述第一电子设备获取所述第一电子设备对应的第一移动距离和至少一个第三电子设备对应的第二移动距离;
当存在第三移动距离与所述第一移动距离之间的差值小于或等于预设阈值时,所述第一电子设备将所述第三移动距离对应的第三电子设备确定为与所述第一电子设备位于同一只手的目标设备,所述第三移动距离为至少一个所述第二移动距离中的一个。
13.根据权利要求6至12中任一项所述的方法,其特征在于,所述至少一个第三电子设备为满足以下条件中的一个或多个的电子设备:
与所述第一电子设备之间的距离小于或等于第一距离阈值;
与所述第一电子设备登录相同的用户账号;
设备类型为预设类型。
14.根据权利要求5所述的方法,其特征在于,在确定是否存在与所述第一电子设备位于同一只手的目标设备之后,所述方法还包括:
当不存在与所述第一电子设备位于同一只手的目标设备时,所述第一电子设备获取至少一个第四电子设备的设备状态;
所述第一电子设备根据所述设备状态从所述至少一个第四电子设备中确定所述第二电子设备。
15.根据权利要求14所述的方法,其特征在于,所述第一电子设备根据所述设备状态从所述至少一个第四电子设备中确定所述第二电子设备,包括:
所述第一电子设备确定所述至少一个第四电子设备中设备状态为预设状态的电子设备,并根据设备状态为预设状态的电子设备确定所述第二电子设备;
其中,所述预设状态为第一状态、第二状态和第三状态中的任一种,所述第一状态为存在可输入内容的窗口或者输入框的状态,所述第二状态为第一预设时长内检测到点击操作或者触摸操作的状态,所述第三状态为第二预设时长内检测到鼠标点击事件或者键盘输入事件的状态。
16.根据权利要求15所述的方法,其特征在于,所述第一电子设备确定所述至少一个第四电子设备中设备状态为预设状态的电子设备,并根据设备状态为预设状态的电子设备确定所述第二电子设备,包括:
当确定所述至少一个第四电子设备中存在设备状态为所述第一状态的电子设备时,所述第一电子设备将所述第一状态的电子设备确定为所述第二电子设备。
17.根据权利要求16所述的方法,其特征在于,当所述至少一个第四电子设备中设备状态为所述第一状态的电子设备包括多个时,所述第一电子设备将所述第一状态的电子设备确定为所述第二电子设备,包括:
所述第一电子设备确定各所述第一状态的电子设备对应的第一活跃时间,并将第一活跃时间距离当前时刻最近的电子设备确定为所述第二电子设备;
其中,所述电子设备对应的第一活跃时间为所述电子设备最后一次检测到点击操作或者触摸操作的时间,或者为所述电子设备最后一次检测到鼠标点击事件或者键盘输入事件的时间。
18.根据权利要求16所述的方法,其特征在于,当所述至少一个第四电子设备中设备状态为所述第一状态的电子设备包括多个时,所述第一电子设备将所述第一状态的电子设备确定为所述第二电子设备,包括:
所述第一电子设备获取各所述第一状态的电子设备的窗口或者输入框中的已有内容;
所述第一电子设备确定所述文本内容与各所述已有内容的匹配度,并将匹配度最高的电子设备确定为所述第二电子设备。
19.根据权利要求16至18中任一项所述的方法,其特征在于,所述文本内容显示于所述第二电子设备的所述窗口或所述输入框中。
20.根据权利要求15所述的方法,其特征在于,所述第一电子设备确定所述至少一个第四电子设备中设备状态为预设状态的电子设备,并根据设备状态为预设状态的电子设备确定所述第二电子设备,包括:
当所述至少一个第四电子设备中不存在设备状态为所述第一状态的电子设备,但存在设备状态为所述第二状态和/或所述第三状态的电子设备时,所述第一电子设备获取各所述第二状态或所述第三状态的电子设备的第二活跃时间,并将第二活跃时间距离当前时刻最近的电子设备确定为所述第二电子设备;
其中,所述电子设备对应的第二活跃时间为所述电子设备最后一次检测到点击操作或者触摸操作的时间,或者为所述电子设备最后一次检测到鼠标点击事件或者键盘输入事件的时间。
21.根据权利要求20所述的方法,其特征在于,所述文本内容通过卡片、便利贴或目标应用显示于所述第二电子设备的显示界面。
22.根据权利要求14至21中任一项所述的方法,其特征在于,所述第一电子设备根据所述设备状态从所述至少一个第四电子设备中确定所述第二电子设备,包括:
所述第一电子设备确定所述至少一个第四电子设备登录的用户账号;
所述第一电子设备根据所述设备状态和所述用户账号从所述至少一个第四电子设备中确定所述第二电子设备。
23.一种语音协同输入系统,其特征在于,所述系统包括第一电子设备和第二电子设备;
所述第一电子设备用于执行权利要求1至22中任一项所述的方法;
所述第二电子设备用于接收所述第一电子设备发送的文本内容或者语音内容,并将所述文本内容或者所述语音内容对应的文本内容显示在所述第二电子设备的显示界面上。
24.根据权利要求23所述的系统,其特征在于,所述第一电子设备为可穿戴设备,所述第二电子设备为具有显示屏的电子设备。
25.根据权利要求23或24所述的系统,其特征在于,所述第一电子设备登录的用户账号与所述第二电子设备登录的用户账号相同。
26.根据权利要求23至25中任一项所述的系统,其特征在于,所述第二电子设备与所述第一电子设备之间的距离小于或等于第一距离阈值。
27.根据权利要求23至26中任一项所述的系统,其特征在于,所述第二电子设备的设备类型为预设类型。
28.根据权利要求23至27中任一项所述的系统,其特征在于,所述第二电子设备的设备状态为预设状态;所述预设状态为第一状态、第二状态和第三状态中的任一种,所述第一状态为存在可输入内容的窗口或者输入框的状态,所述第二状态为第一预设时长内检测到点击操作或者触摸操作的状态,所述第三状态为第二预设时长内检测到鼠标点击事件或者键盘输入事件的状态。
29.一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时,使所述电子设备实现如权利要求1至22中任一项所述的语音协同输入方法。
30.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被计算机执行时,使所述计算机实现如权利要求1至22中任一项所述的语音协同输入方法。
CN202111682887.3A 2021-12-30 2021-12-30 语音协同输入方法、电子设备及计算机可读存储介质 Pending CN116416994A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111682887.3A CN116416994A (zh) 2021-12-30 2021-12-30 语音协同输入方法、电子设备及计算机可读存储介质
PCT/CN2022/136944 WO2023124829A1 (zh) 2021-12-30 2022-12-06 语音协同输入方法、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111682887.3A CN116416994A (zh) 2021-12-30 2021-12-30 语音协同输入方法、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN116416994A true CN116416994A (zh) 2023-07-11

Family

ID=86997611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111682887.3A Pending CN116416994A (zh) 2021-12-30 2021-12-30 语音协同输入方法、电子设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN116416994A (zh)
WO (1) WO2023124829A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130045471A (ko) * 2011-10-26 2013-05-06 삼성전자주식회사 전자장치 및 그 제어방법
KR20200066933A (ko) * 2018-12-03 2020-06-11 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
CN111404998A (zh) * 2020-02-27 2020-07-10 北京三快在线科技有限公司 语音交互方法、第一电子设备及可读存储介质
CN112489659B (zh) * 2020-11-17 2024-02-13 阿波罗智联(北京)科技有限公司 基于输入法的数据处理方法、系统、服务器及终端设备
CN112423089B (zh) * 2020-11-19 2023-02-03 维沃移动通信有限公司 直播方法及装置
CN112422747A (zh) * 2020-11-20 2021-02-26 维沃移动通信有限公司 通话方法及装置

Also Published As

Publication number Publication date
WO2023124829A1 (zh) 2023-07-06

Similar Documents

Publication Publication Date Title
EP3872807B1 (en) Voice control method and electronic device
AU2018430381B2 (en) Flexible screen display method and terminal
US20230115868A1 (en) Displaying Interfaces in Different Display Areas Based on Activities
CN115866121B (zh) 应用界面交互方法、电子设备和计算机可读存储介质
CN110138959B (zh) 显示人机交互指令的提示的方法及电子设备
WO2020134869A1 (zh) 电子设备的操作方法和电子设备
EP3846427B1 (en) Control method and electronic device
EP4012544A1 (en) Split-screen processing method and terminal device
US11775135B2 (en) Application icon displaying method and terminal
EP3958106A1 (en) Interface display method and electronic device
CN113641271B (zh) 应用窗口的管理方法、终端设备及计算机可读存储介质
CN113805487B (zh) 控制指令的生成方法、装置、终端设备及可读存储介质
US20220374123A1 (en) Display element display method and electronic device
CN114077365A (zh) 分屏显示方法和电子设备
CN113573390A (zh) 天线功率调节方法、终端设备及存储介质
CN110058729B (zh) 调节触摸检测的灵敏度的方法和电子设备
CN114201738B (zh) 解锁方法及电子设备
WO2022078116A1 (zh) 笔刷效果图生成方法、图像编辑方法、设备和存储介质
CN117009005A (zh) 一种显示方法、汽车和电子设备
CN116416994A (zh) 语音协同输入方法、电子设备及计算机可读存储介质
CN116048236B (zh) 通信方法及相关装置
CN116522400B (zh) 图像处理方法和终端设备
CN118131891A (zh) 一种人机交互的方法和装置
CN116301483A (zh) 一种应用卡片的管理方法、电子设备和存储介质
CN117311580A (zh) 分屏方法和可折叠电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination