CN111292734B - 一种语音交互方法和装置 - Google Patents
一种语音交互方法和装置 Download PDFInfo
- Publication number
- CN111292734B CN111292734B CN201811488569.1A CN201811488569A CN111292734B CN 111292734 B CN111292734 B CN 111292734B CN 201811488569 A CN201811488569 A CN 201811488569A CN 111292734 B CN111292734 B CN 111292734B
- Authority
- CN
- China
- Prior art keywords
- user
- face image
- user identity
- historical
- identity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000003993 interaction Effects 0.000 title claims abstract description 27
- 238000005516 engineering process Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000001228 spectrum Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 12
- 238000000605 extraction Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 230000006872 improvement Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000004138 cluster model Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 229910052573 porcelain Inorganic materials 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Abstract
本申请公开了一种语音交互方法和装置，方法包括：接收用户输入的语音指令，以及拍摄所述语音指令对应的第一人脸图像；在所述第一人脸图像满足预设条件的情况下，根据所述第一人脸图像，确定所述用户的身份信息；根据所述用户的身份信息，以及对所述语音指令的识别结果，向所述用户提供个性化服务。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种语音交互方法和装置。
背景技术
随着科技的发展，智能设备的智能化程度越来越高。实际应用中，智能设备可以根据用户的历史使用数据、习惯、偏好等，为用户提供个性化服务。但是，针对于远场语音交互的智能设备，由于面向的用户可能为多个，如何为每个用户都可以提供个性化服务，是当前需要考虑的问题。
因此，需要一种更加有效的语音交互方法。
发明内容
本说明书实施例提供了一种语音交互方法和装置，用于实现共享型智能设备为不同用户提供符合用户需求的个性化服务。
第一方面，本说明书实施例提供了一种语音交互方法，包括：
接收用户输入的语音指令，以及拍摄所述语音指令对应的第一人脸图像；
在所述第一人脸图像满足预设条件的情况下，根据所述第一人脸图像，确定所述用户的身份信息；
根据所述用户的身份信息，以及对所述语音指令的识别结果，向所述用户提供个性化服务。
第二方面，本说明书实施例还提供了一种语音交互装置，用于执行如第一方面所述的语音交互方法，所述装置包括：
接收模块，接收用户输入的语音指令，以及拍摄所述语音指令对应的第一人脸图像；
确定模块，在所述第一人脸图像满足预设条件的情况下，根据所述第一人脸图像，确定所述用户的身份信息；
服务模块，根据所述用户的身份信息，以及对所述语音指令的识别结果，向所述用户提供个性化服务。
第三方面，本说明书实施例还提供了一种电子设备，包括：
存储器，存放程序；
处理器，执行所述存储器存储的程序，并具体执行如第一方面所述的语音交互方法。
第四方面，本说明书实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行如第一方面所述的语音交互方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：
接收用户输入的语音指令，以及拍摄该语音指令对应的第一人脸图像，使得在第一人脸图像满足预设条件的情况下，根据第一人脸图像，确定用户的身份信息，进而根据用户的身份信息，以及对语音指令的识别结果，向用户提供个性化服务，从而实现共享型智能设备为不同用户提供符合用户需求的个性化服务。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本说明书实施例提供的一种语音交互方法的流程示意图；
图2为本说明书实施例提供的一种UP模块的示意图；
图3为本说明书实施例提供的一种电子设备的结构示意图；
图4为本说明书实施例提供的一种语音交互装置的结构示意图。
具体实施方式
下面结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本申请各实施例提供的技术方案。
图1为本说明书实施例提供的一种语音交互方法的流程示意图。所述方法可以如下所示。
步骤102，接收用户输入的语音指令，以及拍摄该语音指令对应的第一人脸图像；
步骤104，在第一人脸图像满足预设条件的情况下，根据第一人脸图像，确定用户的身份信息；
步骤106，根据用户的身份信息，以及对语音指令的识别结果，向用户提供个性化服务。
当远场语音交互的共享型智能设备中配置有摄像头模块时，麦克风模块接收当前用户输入的语音指令时，摄像头模块拍摄该语音指令对应的第一人脸图像，即当前用户的人脸图像。
在一实施例中，若仅有一个用户面对摄像头模块输入语音指令，该用户身边没有其他用户，或有其他用户但其他用户没有说话，此时，摄像头模块可以在拍摄范围内通过对唇部动作的分辨，轻松拍摄到语音指令(面对摄像头模块的用户输入的语音指令)对应的第一人脸图像。
在另一实施例中，若仅有一个用户面对摄像头模块输入语音指令，但是该用户周围有其他用户说话。此时，若其他用户没有面对摄像头模块，摄像头模块仍然可以在拍摄范围内通过对唇部动作的分辨，轻松拍摄到语音指令(面对摄像头模块的用户输入的语音指令)对应的第一人脸图像；若其他用户也面对摄像头模块，摄像头模块将无法分辨完成第一人脸图像的拍摄，此时，共享型智能设备可以语音提示，请单独一个用户面对摄像头输入语音指令。
麦克风模块将接收到的语音指令传输至用户画像(UP，User Profile)模块，以及摄像头模块将拍摄到的第一人脸图像传输至UP模块。其中，UP模块部署在共享型智能设备中，或者部署在共享型智能设备对应的私有云服务器上。
UP模块判断第一人脸图像是否满足预设条件，例如，若环境特别黑暗，或第一人脸图像中的人脸部分超出摄像头的拍摄范围(例如，左右120度、上下60度，等)，则第一人脸图像不满足预设条件。
需要说明的是，预设条件可以根据实际情况确定，这里不做具体限定。
在第一人脸图像满足预设条件的情况下，根据第一人脸图像，确定当前用户的身份信息。
本说明书实施例中，根据第一人脸图像，确定用户的身份信息，包括：
确定第一人脸图像数据库，第一人脸图像数据库中包括多个用户身份标识，以及多个用户身份标识中任一用户身份标识对应的第二人脸图像；
将第一人脸图像与任一用户身份标识对应的第二人脸图像进行匹配；
根据匹配结果，确定用户对应的目标用户身份标识，目标用户身份标识用于表示用户的身份信息。
其中，通过以下方式确定得到第一人脸图像数据库：
获取历史语音指令集合，历史语音指令集合中包括多个历史语音指令和多个历史人脸图像，多个历史人脸图像中任一历史人脸图像对应一个历史语音指令；
对多个历史人脸图像进行人脸聚类，得到多个用户身份标识、任一用户身份标识对应的第二人脸图像，以及任一用户身份标识对应的历史语音指令。
为了可以根据人脸识别(FP，Face Perception)来确定用户的身份，UP模块首先根据共享型智能设备中历史语音指令集合中包括的多个历史人脸图像和多个历史语音指令，通过人脸聚类的方式，构建包括多个用户身份标识、任一用户身份标识对应的第二人脸图像，以及任一用户身份标识对应的历史语音指令的第一人脸图像数据库。
图2为本说明书实施例提供的UP模块的示意图。
如图2所示，UP模块200至少包括：FP单元201、第一人脸图像数据库202、第一声纹特征数据库203、声纹提取单元204、声纹聚类模型205、UP数据单元206、自动语言识别(ASR，Automatic Speech Recognition)单元207、自然语言理解(NLU，Natural LanguageUnderstanding)单元208、获得标识单元209、新增标识单元210。
UP模块200构建第一人脸图像数据库202的过程如下：
首先，UP模块200获取同一共享型智能设备中的历史语音指令和历史人脸图像，任一历史人脸图像对应一个历史语音指令。
需要说明的是，由于用户输入语音指令时，用户可能不在摄像头模块的有效拍摄范围内，因此，有的历史语音指令可能并没有对应的历史人脸图像。
其次，UP模块200中的FP单元201，对多个历史人脸图像进行人脸聚类，将来自于同一用户的历史人脸图像归为一类，并为每一类历史人脸图像打上一个用户标签，即用户身份标识。进而根据任一用户身份标识对应的历史人脸图像，确定该用户身份标识对应的第二人脸图像，即可以用于进行人脸识别的人脸图像模板，并将任一用户身份标识对应的第二人脸图像存储在第一人脸图像数据库202中。
例如，设备abc-用户1对应的第二人脸图像，设备abc-用户2对应的第二人脸图像，等。
最后，根据任一历史人脸图像对应的历史语音指令，确定任一用户身份标识对应的历史语音指令。
例如，设备abc-用户1对应的历史语音指令：历史语音指令1、2、3、8，等；设备abc-用户2对应的历史语音指令：历史语音指令4、11，等。
仍以上述图2为例，UP模块200除了构建第一人脸图像数据库202之外，还可以构建第一声纹特征数据库203，第一声纹特征数据库203中至少包括FP单元201确定的多个用户身份标识，以及任一用户身份标识对应的第二声纹特征。
本说明书实施例中，通过以下方式确定得到第一声纹特征数据库：
从任一用户身份标识对应的历史语音指令中，提取用户身份标识对应的第二声纹特征。
其中，声纹特征包括下述至少一种：
语言、音色、音调、语速、口音，和频谱。
针对于FP单元201确定的多个用户身份标识，以及任一用户身份标识对应的历史语音指令，声纹提取单元204从任一用户身份标识对应的历史语音指令中，提取该用户身份标识对应的第二声纹特征。进而将任一用户身份标识对应的第二声纹特征存储在第一声纹特征数据库203中。
例如，根据FP单元201确定得到的，设备abc-用户1对应的历史语音指令：历史语音指令1、2、3、8，从而声纹提取单元204可以从历史语音指令1、2、3、8中，提取设备abc-用户1对应的第二声纹特征，第二声纹特征包括但不限于：语言、音色、音调、语速、口音、频谱，等。进而将设备abc-用户1对应的第二声纹特征存储在第一声纹特征数据库203中。
本说明书实施例中，还包括：
将多个历史语音指令中与多个历史人脸图像均不对应的历史语音指令，确定为待匹配历史语音指令；
提取待匹配历史语音指令对应的第三声纹特征；
当第三声纹特征与多个用户身份标识中的一个用户身份标识对应的第二声纹特征之间的匹配度大于第二预设阈值时，将待匹配历史语音指令确定为与该用户身份标识对应的历史语音指令；
第二声纹特征和第三声纹特征为相同或不相同的声纹特征。
针对于那些没有对应的历史人脸图像的历史语音指令，声纹提取单元204可以根据声纹匹配的方法，判断这些历史语音指令是否可以匹配到某一个用户身份标识。
例如，FP单元201确定：设备abc-用户1对应的历史语音指令1、2、3、6；设备abc-用户2对应的历史语音指令4、7。进而声纹提取单元204从历史语音指令1、2、3、6中提取得到设备abc-用户1对应的第二声纹特征，以及从历史语音指令4、7中提取得到设备abc-用户2对应的第二声纹特征。
其中，历史语音指令5和8没有对应的历史人脸图像，即接收历史语音指令5和8时，没有拍摄到有效的人脸图像。
此时，声纹提取单元204从历史语音指令5中提取历史语音指令5对应的第三声纹特征，以及从历史语音指令8中提取历史语音指令8对应的第三声纹特征。
若历史语音指令5对应的第三声纹特征与设备abc-用户1对应的第二声纹特征之间的匹配度大于第二预设阈值，则可以确定历史语音指令5为设备abc-用户1对应的历史语音指令；
若历史语音指令8对应的第三声纹特征与设备abc-用户2对应的第二声纹特征之间的匹配度大于第二预设阈值，则可以确定历史语音指令8为设备abc-用户2对应的历史语音指令。
需要说明的是，第二预设阈值可以根据实际情况确定，这里不做具体限定。
本说明书实施例中，若声纹提取单元204通过声纹匹配的方法，仍然无法将某些历史语音指令匹配到任一用户身份标识，则针对于这部分历史语音指令，声纹聚类模型205可以通过声纹聚类的方式，确定与这部分历史语音指令对应的用户身份标识。
例如，针对于很少使用共享型智能设备的用户，且未拍摄到该用户的人脸图像时，声纹聚类模型205可以通过声纹聚类的方式，确定该用户的用户身份标识，以及对应的第二声纹特征；或，由于环境噪音影响，导致某一用户对应历史语音指令无法匹配到与该用户对应的用户身份标识时，声纹聚类模块205可以通过声纹聚类的方式，将该历史语音指令匹配到该用户对应的用户身份标识。
当通过FP单元201和/或声纹提取单元204确定任一用户身份标识对应的历史语音指令之后，UP数据单元206可以根据任一用户身份标识对应的历史语音指令，确定任一用户身份标识对应的用户画像。
本说明书实施例中，还包括：
根据任一用户身份标识对应的第二人脸图像，确定用户身份标识对应的第一用户画像；
用户身份标识对应的第一用户画像，用于反映与用户身份标识对应的用户的年龄和/或性别。
具体地，根据任一用户身份标识对应的第二人脸图像，确定用户身份标识对应的用户画像，包括：
确定第二人脸图像数据库，第二人脸图像数据库中包括不同用户画像对应的第三人脸图像；
将用户身份标识对应的第二人脸图像，与不同用户画像对应的第三人脸图像进行匹配；
根据匹配结果，确定用户身份标识对应的第一用户画像。
第二人脸图像数据库，也即共享型智能设备对应的公有云服务器中的公共人脸图像数据库，其中包括不同用户画像对应的第三人脸图像，例如，不同性别的用户对应的第三人脸图像、不同年龄的用户对应的第三人图像，等。
仍以上述图2为例，针对第一人脸图像数据库202中存储的多个用户身份标识以及任一用户身份标识对应的第二人脸图像，FP单元201，将任一用户身份标识对应的第二人脸图像与第二人脸图像数据库中不同用户画像对应的第三人脸图像进行对比，从而判断该用户身份标识对应的第一用户画像(性别和/或年龄)，并将任一用户身份标识对应的第一用户画像存储在UP数据单元206中。
例如，UP数据单元204中存储有，设备abc-用户1：女性、年轻；设备abc-用户2：男性、老年。
若用户身份标识没有对应的第二人脸图像，仅有对应的第二声纹特征，则声纹聚类模型205根据用户身份标识对应的第二声纹特征，确定该用户身份标识对应的第一用户画像(性别和/或年龄)。
具体地，根据用户身份标识对应的第二声纹特征，确定用户身份标识对应的第一用户画像，包括：
确定第二声纹特征数据库，第二声纹特征数据库中包括不同用户画像对应的第四声纹特征；
将用户身份标识对应的第二声纹特征，与不同用户画像对应的第四声纹特征进行匹配；
根据匹配结果，确定用户身份标识对应的第一用户画像；
其中，第二声纹特征与第四声纹特征为相同或不同的声纹特征。
第二声纹特征数据库，也即共享型智能设备对应的公有云服务器中的公共声纹特征数据库，其中包括不同用户画像对应的第四声纹特征，例如，不同性别的用户对应的第四声纹特征、不同年龄的用户对应的第四声纹特征，等。
仍以上述图2为例，针对未确定第一用户画像的用户身份标识，根据第一声纹特征数据库203中存储的该用户身份标识对应的第二声纹特征，声纹聚类模型205，将该用户身份标识对应的第二声纹特征与第二声纹特征数据库中不同用户画像对应的第四声纹特征进行对比，从而判断该用户身份标识对应的第一用户画像(性别和/或年龄)，并将该用户身份标识对应的第一用户画像存储在UP数据单元206中。
本说明书实施例中，还包括：
根据任一用户身份标识对应的历史语音指令，确定该用户身份标识对应的第二用户画像；
该用户身份标识对应的第二用户画像，用于反映与该用户身份标识对应的用户的个性化需求。
具体地，根据任一用户身份标识对应的历史语音指令，确定用户身份标识对应的第二用户画像，包括：
通过自动语音识别技术，将用户身份标识对应的历史语音指令转换为文本指令；
根据预设算法模型对文本指令进行分析；
根据分析结果，确定用户身份标识对应的第二用户画像。
仍以上述图2为例，为了更好地为不同用户提供符合用户需求的个性化服务，UP模块200确定与用户的个性化需求相关的第二用户画像。
具体地，首先，UP模块200中的ASR单元207，将同一用户身份标识对应的历史语音指令转换为文本指令。例如，设备abc-用户1对应的文本指令为：20180618播放周杰伦的青花瓷、20180619播放毛不易，等；设备abc-用户2对应的文本指令为：20180618播放邓丽君、20180619播放陈百强，等。
然后，UP数据单元206，根据预设规则，或特定的模型，对任一用户身份标识对应的文本指令进行分析，确定该用户身份标识对应，用于反映与该用户身份标识对应的用户的个性化需求的第二用户画像，以及将任一用户身份标识对应的第二用户画像补充存储在UP数据单元206中。
例如，UP数据单元206中存储有，设备abc-用户1：女性、年轻、喜欢流行歌曲、特别喜欢周杰伦和毛不易；设备abc-用户2：男性、老年、喜欢老歌、特别喜欢邓丽君和陈百强；等。
随着时间的变化，不同用户的喜好可能会发生变化，因此，UP模块200会根据每个用户身份标识对应的历史语音指令，定期更新用户身份标识对应的第二用户画像。
本说明书实施例中，还包括：
通过自然语言理解技术，对文本指令进行分析理解；
根据分析理解结果，校正用户身份标识对应的第一用户画像。
针对于根据用户身份标识对应的第二声纹特征确定的第一用户画像，可能会存在第一用户画像不准确的情况。例如，将一个10岁左右的少年误判断为一个20岁左右的年轻女性。
此时，UP模块200中的NLU单元208可以通过用户身份标识对应的文本指令进行分析理解，进而根据分析理解结果，校正用户身份标识对应的第一用户画像。
例如，声纹聚类模型205确定的设备abc-用户1对应的第一用户画像为：20岁左右的年轻女性，NLU单元208通过对设备abc-用户1对应的文本指令进行分析理解发现，设备abc-用户1经常会问大量的小学高年级作业题，并且会问某某小学旁边哪里有网吧，聊天时会提到老师，同学，中考，而且知识问答里会问很多青少年男孩的生理发育问题，且同时经常点播tfboys的歌曲，符合10岁左右少年人的审美，因此，NLU单元208将设备abc-用户1对应的第一用户画像校正为10-12岁的小学高年级男生。
仍以上述图2为例，当共享型智能设备中的麦克风模块接收到当前用户输入的语音指令，且摄像头模块拍摄到该语音指令对应的第一人脸图像时，麦克风模块将接收到的语音指令传输至UP模块200，以及摄像头模块将拍摄到的第一人脸图像传输至UP模块200。
当第一人脸图像满足预设条件时，FP单元201将第一人脸图像与第一人脸图像数据库202中存储的任一用户身份标识对应的第二人脸图像进行匹配，并根据匹配结果确定当前用户对应的目标用户身份标识。
具体地，根据匹配结果，确定用户对应的目标用户身份信息，包括：
当第一人脸图像与多个用户身份标识中的一个用户身份标识对应的第二人脸图像之间的匹配度大于第一预设阈值时，将用户身份标识确定为目标用户身份标识。
仍以上述图2为例，FP单元201，将当前用户的语音指令对应的第一人脸图像，与第一人脸图像数据库202中存储的任一用户身份标识对应的第二人脸图像进行匹配，若第一人脸图像与设备abc-用户1对应的第二人脸图像之间的匹配度大于第一预设阈值，因此，FP单元201可以确定当前用户的目标用户身份标识为设备abc-用户1。
需要说明的是，第一预设阈值可以根据实际情况确定，这里不做具体限定。
针对于单条语音指令，采用上述根据人脸识别来确定用户身份的方式，使得召回率可以达到95％，准确率可以达到99％。其中，若可以排除音量过小、有噪音等干扰情况，召回率还会有所提高。
本说明书实施例中，还包括：
在第一人脸图像不满足预设条件的情况下，从语音指令中提取第一声纹特征；
根据第一声纹特征，确定用户的身份信息。
具体地，根据第一声纹特征，确定用户的身份信息，包括：
确定第一声纹特征数据库，第一声纹特征数据库中包括多个用户身份标识，以及任一用户身份标识对应的第二声纹特征；
将第一声纹特征与任一用户身份标识对应的第二声纹特征进行匹配；
根据匹配结果，确定用户对应的目标用户身份标识；
其中，第一声纹特征与第二声纹特征为相同或不同的声纹特征。
仍以上述图2为例，当共享型智能设备中的麦克风模块接收到当前用户输入的语音指令，且摄像头模块未拍摄到该语音指令对应的第一人脸图像或拍摄到的第一人脸图像不满足预设条件时，麦克风模块将接收到的语音指令传输至UP模块200。
UP模块200中的声纹提取单元204从该语音指令中提取第一声纹特征，UP模块200中的获得标识单元209，将第一声纹特征与第一声纹特征数据库203中存储的任一用户身份标识对应的第二声纹特征进行匹配，以及根据匹配结果，确定当前用户对应的目标用户身份标识。
具体地，根据匹配结果，确定用户对应的目标用户身份标识，包括：
当第一声纹特征与多个用户身份标识中的一个用户身份标识对应的第二声纹特征之间的匹配度大于第三预设阈值时，将该用户身份标识确定为目标用户身份标识。
仍以上述图2为例，获得标识单元209，将声纹提取单元204从当前用户的语音指令中提取的第一声纹特征，与第一声纹特征数据库203中存储的任一用户身份标识对应的第二声纹特征进行匹配，若第一声纹特征与设备abc-用户1对应的第二声纹特征之间的匹配度大于第三预设阈值，因此，获得标识单元209可以确定当前用户的目标用户身份标识为设备abc-用户1。
需要说明的是，第三预设阈值可以根据实际情况确定，这里不做具体限定。
通过人脸识别和声纹识别结合的方式，可以更加准确地确定当前用户的身份信息。
本说明书实施例中，根据用户的身份信息，以及对语音指令的识别结果，向用户提供个性化服务，包括：
确定目标用户身份标识对应的第一用户画像和/或第二用户画像；
根据目标用户身份标识对应的第一用户画像和/或第二用户画像，以及对语音指令的识别结果，向用户提供个性化服务。
仍以上述图2为例，FP单元201或获得标识单元209确定当前用户的目标用户身份标识之后，UP模块200从UP数据单元206中，确定与目标用户身份标识对应的第一用户画像和/或第二用户画像。根据与目标用户身份标识对应的第一用户画像和/或第二用户画像，可以了解到当前用户的年龄、性别、个性化需求，等。
若UP模块200为部署在共享型智能设备中的模块，则UP模块200将当前用户的语音指令、第一人脸图像、第一声纹特征、第一用户画像和/或第二用户画像等信息传输至共享型智能设备对应的公有云服务器中的用户画像决策(UPD，User Profile Decision)模块，使得UPD模块根据上述相关信息，为当前用户提供个性化服务。
需要说明的是，UPD模块为当前用户提供个性化服务的过程中，当前用户的隐私信息不会泄露到公有云服务器中，可以保证用户使用共享型智能设备的隐私安全性。
针对于单条语音指令，采用上述根据确定当前用户的用户画像的方式，在当前用户对应的历史语音指令数据充足的情况下(例如，一个月内有超过10次面对摄像头输入语音指令)，召回率可以达到98％，准确率可以达到99.9％。
本说明书实施例中，图1所示的语音交互方法应用于智能音箱，向用户提供个性化服务包括下述至少一种：
音乐推荐和聊天。
当共享型智能设备为智能音箱时，智能音箱可以为用户提供音乐推荐、聊天等个性化服务。
当多个用户共用一个智能音箱时，每个人有自己的个性化需求和点播记录。例如，老人爱听邓丽君，年轻人爱听周杰伦，儿童爱听儿歌，等。因此，部署在智能音箱中的UP模块或部署在智能音箱对应的私有云服务器上的UP模块，确定使用智能音箱的每个用户对应的第二人脸图像、第二声纹特征、第一用户画像(年龄、性别)、第二用户画像(个人爱好)，等。
在一实施例中，当接收到当前用户的语音指令“我想听歌”时，UP模块可以根据拍摄到的与当前用户的语音指令对应的第一人脸图像，或根据从当前用户的语音指令中提取的第一声纹特征，确定当前用户的身份信息，从而确定当前用户的第二用户画像(个人爱好)。使得UPD模块可以根据可以当前用户的第二用户画像(个人爱好)，为当前用户播放符合用户个性化需求的歌曲。
例如，为喜欢周杰伦的用户播放周杰伦的歌曲，为喜欢邓丽君的用户播放邓丽君的歌曲，等。
在另一实施例中，当接收到当前用户的语音指令“我想听歌”时，UP模块可以根据拍摄到的与当前用户的语音指令对应的第一人脸图像，或根据从当前用户的语音指令中提取的第一声纹特征，确定当前用户的身份信息，从而确定当前用户的第一用户画像(年龄)、第二用户画像(个人爱好)。使得UPD模块可以根据可以当前用户的第一用户画像(年龄)和第二用户画像(个人爱好)，为当前用户播放符合用户个性化需求的歌曲，以及主动问候当前用户。
例如，当前用户为儿童时，UPD模块为当前用户播放儿歌，并可以在播放儿歌之前主动问候当前用户“宝贝，下面给你播放儿歌呦”。
在另一实施例中，当接收到当前用户的语音指令“今天心情不好”时，UP模块可以根据拍摄到的与当前用户的语音指令对应的第一人脸图像，或根据从当前用户的语音指令中提取的第一声纹特征，确定当前用户的身份信息，从而确定当前用户的第一用户画像(年龄、性别)、第二用户画像(个人爱好)。使得UPD模块可以根据可以当前用户的第一用户画像(年龄、性别)和第二用户画像(个人爱好)，确定与当前用户聊一些符合用户个性化需求的话题。
例如，与老人聊养生话题，与年轻人聊世界杯话题，与儿童聊幼儿园话题，等。
针对同一智能音箱，可以根据人脸识别和声纹识别结合的方式确定当前用户的身份信息，从而实现智能音箱为不同用户提供符合用户需求的个性化服务。
本说明书实施例中，还包括：
当第一声纹特征与多个用户身份标识中任一用户身份标识对应的第二声纹特征之间的匹配度均不大于第三预设阈值时，在第一声纹特征数据库中，增加一个新的用户身份标识。
仍以上述图2为例，UP模块200中的获得标识单元209，将声纹提取单元204从当前用户的语音指令中提取的第一声纹特征，与第一声纹特征数据库203中存储的任一用户身份标识对应的第二声纹特征进行匹配，若第一声纹特征与任一用户身份标识对应的第二声纹特征之间的匹配度均不大于第三预设阈值，则获得标识单元209可以确定当前用户为新用户。此时，新增标识单元210生成一个新的用户身份标识，进而将该新的用户身份标识确定为当前用户的目标用户身份标识。
由于UP模块200中的UP数据单元206中，未存储有与该新的用户身份标识对应的第一用户画像和第二用户画像，因此，共享型智能设备无法为当前用户提供精准的个性化服务。但是，共享型智能设备可以根据历史服务数据，为当前用户提供粗略的个性化服务。
例如，针对智能音箱，若当前用户为新用户，且根据智能音箱中的历史播放数据可知，使用该智能音箱的用户经常点播周杰伦和毛不易的歌曲时，则智能音箱为新用户播放周杰伦或毛不易的歌曲，而不会播放该智能音箱从来没有播放过的摇滚歌曲，等。从而实现为当前新用户提供粗略的个性化服务。
仍以上述图2为例，针对于新增标识单元210生成的新的用户身份标识，作为临时用户身份标识添加到声纹聚类模型204中。
若之后预设时间段内未接收到与该临时用户身份标识对应的用户发送的语音指令，则UP模块200可以确定该与该临时用户身份标识对应的用户仅为临时出现的使用用户，可以将其对应的相关数据删除；
若之后预设时间段内接收到与该临时用户身份标识对应的用户发送的语音指令超过预设数量，则UP模块200可以确定共享型智能设备新增加了一个稳定的使用用户(例如，家庭中增加了保姆、配偶、子女等新成员)，则将该临时用户身份标识升级为一个稳定的用户身份标识，并将该用户身份标识添加到第一声纹特征数据库203中、确定该用户身份标识对应的第二人脸图像、以及在UP数据单元206中确定与其对应的第一用户画像和/或第二用户画像，等。
本说明书实施例记载的技术方案，接收用户输入的语音指令，以及拍摄该语音指令对应的第一人脸图像，使得在第一人脸图像满足预设条件的情况下，根据第一人脸图像，确定用户的身份信息，进而根据用户的身份信息，以及对语音指令的识别结果，向用户提供个性化服务，从而实现共享型智能设备为不同用户提供符合用户需求的个性化服务。
图3为本说明书实施例提供的一种电子设备的结构示意图。如图3所示，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成语音交互装置。处理器，执行存储器所存放的程序，并具体执行图1所示的方法实施例的步骤。
上述如图1所述的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备可执行图1所示方法实施例执行的方法，并实现上述图1所示方法实施例的功能，本说明书实施例在此不再赘述。
本说明书实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中的语音交互方法，并具体执行图1所示方法实施例的步骤。
图4为本说明书实施例提供的一种语音交互装置的结构示意图。图4所示的装置400可以用于执行上述图1-图2所示实施例的方法，装置400包括：
接收模块401，接收用户输入的语音指令，以及拍摄该语音指令对应的第一人脸图像；
确定模块402，在第一人脸图像满足预设条件的情况下，根据第一人脸图像，确定用户的身份信息；
服务模块403，根据用户的身份信息，以及对语音指令的识别结果，向用户提供个性化服务。
可选地，确定模块402，进一步包括：
第一确定单元，确定第一人脸图像数据库，第一人脸图像数据库中包括多个用户身份标识，以及多个用户身份标识中任一用户身份标识对应的第二人脸图像；
匹配单元，将第一人脸图像与任一用户身份标识对应的第二人脸图像进行匹配；
第二确定单元，根据匹配结果，确定用户对应的目标用户身份标识，目标用户身份标识用于表示所述用户的身份信息。
可选地，通过以下方式确定得到第一人脸图像数据库：
获取历史语音指令集合，历史语音指令集合中包括多个历史语音指令和多个历史人脸图像，多个历史人脸图像中任一历史人脸图像对应一个历史语音指令；
对多个历史人脸图像进行人脸聚类，得到多个用户身份标识、任一用户身份标识对应的第二人脸图像，以及任一用户身份标识对应的历史语音指令。
可选地，第二确定单元，具体用于：
当第一人脸图像与多个用户身份标识中的一个用户身份标识对应的第二人脸图像之间的匹配度大于第一预设阈值时，将该用户身份标识确定为目标用户身份标识。
可选地，确定模块402，进一步包括：
声纹提取单元，在第一人脸图像不满足预设条件的情况下，从语音指令中提取第一声纹特征；
第三确定单元，根据第一声纹特征，确定用户的身份信息。
可选地，第三确定单元，进一步包括：
第一确定子单元，确定第一声纹特征数据库，第一声纹特征数据库中包括多个用户身份标识，以及任一用户身份标识对应的第二声纹特征；
匹配子单元，将第一声纹特征与任一用户身份标识对应的第二声纹特征进行匹配；
第二确定子单元，根据匹配结果，确定用户对应的目标用户身份标识；
其中，第一声纹特征与第二声纹特征为相同或不同的声纹特征。
可选地，通过以下方式确定得到第一声纹特征数据库：
从任一用户身份标识对应的历史语音指令中，提取该用户身份标识对应的第二声纹特征。
可选地，确定模块402，还用于：
将多个历史语音指令中与多个历史人脸图像均不对应的历史语音指令，确定为待匹配历史语音指令；
提取待匹配历史语音指令对应的第三声纹特征；
当第三声纹特征与多个用户身份标识中的一个用户身份标识对应的第二声纹特征之间的匹配度大于第二预设阈值时，将待匹配历史语音指令确定为与用户身份标识对应的历史语音指令；
第二声纹特征和第三声纹特征为相同或不相同的声纹特征。
可选地，确定模块402，还用于：
根据任一用户身份标识对应的第二人脸图像，确定该用户身份标识对应的第一用户画像；
用户身份标识对应的第一用户画像，用于反映与用户身份标识对应的用户的年龄和/或性别。
可选地，确定模块402，具体用于：
确定第二人脸图像数据库，第二人脸图像数据库中包括不同用户画像对应的第三人脸图像；
将用户身份标识对应的第二人脸图像，与不同用户画像对应的第三人脸图像进行匹配；
根据匹配结果，确定用户身份标识对应的第一用户画像。
可选地，确定模块402，还用于：
根据任一用户身份标识对应的历史语音指令，确定用户身份标识对应的第二用户画像；
用户身份标识对应的第二用户画像，用于反映与用户身份标识对应的用户的个性化需求。
可选地，确定模块402，具体用于：
通过自动语音识别技术，将用户身份标识对应的历史语音指令转换为文本指令；
根据预设算法模型对文本指令进行分析；
根据分析结果，确定用户身份标识对应的第二用户画像。
可选地，确定模块402，还用于：
通过自然语言理解技术，对文本指令进行分析理解；
根据分析理解结果，校正用户身份标识对应的第一用户画像。
可选地，服务模块403，具体用于：
确定目标用户身份标识对应的第一用户画像和/或第二用户画像；
根据目标用户身份标识对应的第一用户画像和/或第二用户画像，以及对语音指令的识别结果，向用户提供个性化服务。
可选地，装置400为智能音箱，向用户提供个性化服务包括下述至少一种：
音乐推荐和聊天。
可选地，声纹特征包括下述至少一种：
语言、音色、音调、语速、口音，和频谱。
根据语音交互装置，接收模块接收用户输入的语音指令，以及拍摄该语音指令对应的第一人脸图像；确定模块在第一人脸图像满足预设条件的情况下，根据第一人脸图像，确定用户的身份信息；服务模块根据用户的身份信息，以及对语音指令的识别结果，向用户提供个性化服务，从而实现共享型智能设备为不同用户提供符合用户需求的个性化服务。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (15)
1.一种语音交互方法，包括：
接收用户输入的语音指令，以及拍摄所述语音指令对应的第一人脸图像；
在所述第一人脸图像满足预设条件的情况下，确定第一人脸图像数据库；所述第一人脸图像数据库中包括多个用户身份标识，以及所述多个用户身份标识中任一用户身份标识对应的第二人脸图像；所述第一人脸图像数据库是对多个历史人脸图像进行人脸聚类后得到的，所述多个历史人脸图像中任一历史人脸图像对应一个历史语音指令；其中，对多个历史人脸图像进行人脸聚类时，将来自于同一用户的历史人脸图像归为一类，并为每一类历史人脸图像打上一个用户标签，所述用户标签作为该类历史人脸图像对应的用户身份标识；
将所述第一人脸图像与所述任一用户身份标识对应的所述第二人脸图像进行匹配；
根据匹配结果，确定所述用户对应的目标用户身份标识，所述目标用户身份标识用于表示所述用户的身份信息；
在所述第一人脸图像不满足所述预设条件的情况下，从所述语音指令中提取第一声纹特征；
根据所述第一声纹特征和第一声纹特征数据库，确定所述用户的身份信息；
根据所述用户的身份信息，以及对所述语音指令的识别结果，向所述用户提供个性化服务；
通过以下方式确定得到所述第一声纹特征数据库：
从所述任一用户身份标识对应的历史语音指令中，提取所述用户身份标识对应的第二声纹特征，将所述用户身份标识对应的第二声纹特征存储至所述第一声纹特征数据库；
将所述多个历史语音指令中与所述多个历史人脸图像均不对应的历史语音指令，确定为待匹配历史语音指令；
提取所述待匹配历史语音指令对应的第三声纹特征；
当所述第三声纹特征与所述多个用户身份标识中的一个用户身份标识对应的所述第二声纹特征之间的匹配度大于第二预设阈值时，将所述待匹配历史语音指令确定为与所述用户身份标识对应的历史语音指令；
其中，所述第一声纹特征与所述第二声纹特征为相同或不同的声纹特征；所述第二声纹特征和所述第三声纹特征为相同或不相同的声纹特征。
2.如权利要求1所述的方法，通过以下方式确定得到所述第一人脸图像数据库：
获取历史语音指令集合，所述历史语音指令集合中包括多个历史语音指令和多个历史人脸图像，所述多个历史人脸图像中任一历史人脸图像对应一个历史语音指令；
对所述多个历史人脸图像进行人脸聚类，得到所述多个用户身份标识、所述任一用户身份标识对应的所述第二人脸图像，以及所述任一用户身份标识对应的历史语音指令。
3.如权利要求2所述的方法，根据匹配结果，确定所述用户对应的目标用户身份信息，包括：
当所述第一人脸图像与所述多个用户身份标识中的一个用户身份标识对应的所述第二人脸图像之间的匹配度大于第一预设阈值时，将所述用户身份标识确定为所述目标用户身份标识。
4.如权利要求1所述的方法，根据所述第一声纹特征和第一声纹特征数据库，确定所述用户的身份信息，包括：
将所述第一声纹特征与所述任一用户身份标识对应的所述第二声纹特征进行匹配；
根据匹配结果，确定所述用户对应的所述目标用户身份标识。
5.如权利要求1所述的方法，还包括：
根据所述任一用户身份标识对应的所述第二人脸图像，确定所述用户身份标识对应的第一用户画像；
所述用户身份标识对应的第一用户画像，用于反映与所述用户身份标识对应的用户的年龄和/或性别。
6.如权利要求5所述的方法，根据所述任一用户身份标识对应的所述第二人脸图像，确定所述用户身份标识对应的用户画像，包括：
确定第二人脸图像数据库，所述第二人脸图像数据库中包括不同用户画像对应的第三人脸图像；
将所述用户身份标识对应的所述第二人脸图像，与所述不同用户画像对应的所述第三人脸图像进行匹配；
根据匹配结果，确定所述用户身份标识对应的第一用户画像。
7.如权利要求6所述的方法，所述方法还包括：
根据所述任一用户身份标识对应的历史语音指令，确定所述用户身份标识对应的第二用户画像；
所述用户身份标识对应的第二用户画像，用于反映与所述用户身份标识对应的用户的个性化需求。
8.如权利要求7所述的方法，根据所述任一用户身份标识对应的历史语音指令，确定所述用户身份标识对应的第二用户画像，包括：
通过自动语音识别技术，将所述用户身份标识对应的历史语音指令转换为文本指令；
根据预设算法模型对所述文本指令进行分析；
根据分析结果，确定所述用户身份标识对应的第二用户画像。
9.如权利要求8所述的方法，还包括：
通过自然语言理解技术，对所述文本指令进行分析理解；
根据分析理解结果，校正所述用户身份标识对应的第一用户画像。
10.如权利要求9所述的方法，根据所述用户的身份信息，以及对所述语音指令的识别结果，向所述用户提供个性化服务，包括：
确定所述目标用户身份标识对应的第一用户画像和/或第二用户画像；
根据所述目标用户身份标识对应的第一用户画像和/或第二用户画像，以及对所述语音指令的识别结果，向所述用户提供个性化服务。
11.如权利要求10所述的方法，其特征在于，所述方法应用于智能音箱，向所述用户提供个性化服务包括下述至少一种：
音乐推荐和聊天。
12.如权利要求1所述的方法，其特征在于，所述声纹特征包括下述至少一种：
语言、音色、音调、语速、口音，和频谱。
13.一种语音交互装置，用于执行如权利要求1-12任一项所述的语音交互方法，所述装置包括：
接收模块，接收用户输入的语音指令，以及拍摄所述语音指令对应的第一人脸图像；
确定模块，在所述第一人脸图像满足预设条件的情况下，确定第一人脸图像数据库；所述第一人脸图像数据库中包括多个用户身份标识，以及所述多个用户身份标识中任一用户身份标识对应的第二人脸图像；所述第一人脸图像数据库是对多个历史人脸图像进行人脸聚类后得到的，所述多个历史人脸图像中任一历史人脸图像对应一个历史语音指令；将所述第一人脸图像与所述任一用户身份标识对应的所述第二人脸图像进行匹配；根据匹配结果，确定所述用户对应的目标用户身份标识，所述目标用户身份标识用于表示所述用户的身份信息，其中，对多个历史人脸图像进行人脸聚类时，将来自于同一用户的历史人脸图像归为一类，并为每一类历史人脸图像打上一个用户标签，所述用户标签作为该类历史人脸图像对应的用户身份标识；
所述确定模块，还用于在所述第一人脸图像不满足所述预设条件的情况下，从所述语音指令中提取第一声纹特征；根据所述第一声纹特征和第一声纹特征数据库，确定所述用户的身份信息；
服务模块，根据所述用户的身份信息，以及对所述语音指令的识别结果，向所述用户提供个性化服务；
所述确定模块，还用于从所述任一用户身份标识对应的历史语音指令中，提取所述用户身份标识对应的第二声纹特征，将所述用户身份标识对应的第二声纹特征存储至所述第一声纹特征数据库；
将所述多个历史语音指令中与所述多个历史人脸图像均不对应的历史语音指令，确定为待匹配历史语音指令；
提取所述待匹配历史语音指令对应的第三声纹特征；
当所述第三声纹特征与所述多个用户身份标识中的一个用户身份标识对应的所述第二声纹特征之间的匹配度大于第二预设阈值时，将所述待匹配历史语音指令确定为与所述用户身份标识对应的历史语音指令；
其中，所述第一声纹特征与所述第二声纹特征为相同或不同的声纹特征；所述第二声纹特征和所述第三声纹特征为相同或不相同的声纹特征。
14.一种电子设备，包括：
存储器，存放程序；
处理器，执行所述存储器存储的程序，并具体执行如权利要求1-12任一项所述的语音交互方法。
15.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行如权利要求1-12任一项所述的语音交互方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811488569.1A CN111292734B (zh) | 2018-12-06 | 2018-12-06 | 一种语音交互方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811488569.1A CN111292734B (zh) | 2018-12-06 | 2018-12-06 | 一种语音交互方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111292734A CN111292734A (zh) | 2020-06-16 |
| CN111292734B true CN111292734B (zh) | 2024-03-08 |
Family
ID=71027991
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811488569.1A Active CN111292734B (zh) | 2018-12-06 | 2018-12-06 | 一种语音交互方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111292734B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112598840A (zh) * | 2020-12-16 | 2021-04-02 | 广州云从鼎望科技有限公司 | 基于人脸识别和语音交互的通行设备控制方法、装置、机器可读介质及设备 |
| CN112688841A (zh) * | 2020-12-18 | 2021-04-20 | 宁波向往智汇科技有限公司 | 智能家居背景音乐控制系统 |
| CN112596407B (zh) * | 2020-12-18 | 2022-11-18 | 宁波向往智汇科技有限公司 | 随动式背景音乐分区控制系统 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104598796A (zh) * | 2015-01-30 | 2015-05-06 | 科大讯飞股份有限公司 | 身份识别方法及系统 |
| CN104965426A (zh) * | 2015-06-24 | 2015-10-07 | 百度在线网络技术（北京）有限公司 | 基于人工智能的智能机器人控制系统、方法和装置 |
| CN105446146A (zh) * | 2015-11-19 | 2016-03-30 | 深圳创想未来机器人有限公司 | 基于语义分析的智能终端控制方法、系统及智能终端 |
| CN105512535A (zh) * | 2016-01-08 | 2016-04-20 | 广东德生科技股份有限公司 | 一种用户认证的方法及装置 |
| CN105810200A (zh) * | 2016-02-04 | 2016-07-27 | 深圳前海勇艺达机器人有限公司 | 基于声纹识别的人机对话装置及其方法 |
| CN105892829A (zh) * | 2016-04-02 | 2016-08-24 | 上海大学 | 一种基于身份识别的人-机器人交互装置和方法 |
| CN106295299A (zh) * | 2016-08-15 | 2017-01-04 | 歌尔股份有限公司 | 一种智能机器人的用户注册方法和装置 |
| CN106570443A (zh) * | 2015-10-09 | 2017-04-19 | 芋头科技（杭州）有限公司 | 一种快速识别方法及家庭智能机器人 |
| CN106682090A (zh) * | 2016-11-29 | 2017-05-17 | 上海智臻智能网络科技股份有限公司 | 主动交互实现装置、方法及智能语音交互设备 |
| CN106779121A (zh) * | 2016-12-23 | 2017-05-31 | 上海木爷机器人技术有限公司 | 电子票务处理方法和系统 |
| CN106911630A (zh) * | 2015-12-22 | 2017-06-30 | 上海仪电数字技术股份有限公司 | 终端及身份认证方法、终端和认证中心的认证方法及系统 |
| CN107341928A (zh) * | 2017-06-01 | 2017-11-10 | 厦门快商通科技股份有限公司 | 一种用于公共资源发放的智能控制设备及其控制方法 |
| CN108075892A (zh) * | 2016-11-09 | 2018-05-25 | 阿里巴巴集团控股有限公司 | 一种语音处理的方法、装置和设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9489171B2 (en) * | 2014-03-04 | 2016-11-08 | Microsoft Technology Licensing, Llc | Voice-command suggestions based on user identity |
| TWI607336B (zh) * | 2015-07-08 | 2017-12-01 | 台灣色彩與影像科技股份有限公司 | 區域的監控方法 |
-
2018
- 2018-12-06 CN CN201811488569.1A patent/CN111292734B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104598796A (zh) * | 2015-01-30 | 2015-05-06 | 科大讯飞股份有限公司 | 身份识别方法及系统 |
| CN104965426A (zh) * | 2015-06-24 | 2015-10-07 | 百度在线网络技术（北京）有限公司 | 基于人工智能的智能机器人控制系统、方法和装置 |
| CN106570443A (zh) * | 2015-10-09 | 2017-04-19 | 芋头科技（杭州）有限公司 | 一种快速识别方法及家庭智能机器人 |
| CN105446146A (zh) * | 2015-11-19 | 2016-03-30 | 深圳创想未来机器人有限公司 | 基于语义分析的智能终端控制方法、系统及智能终端 |
| CN106911630A (zh) * | 2015-12-22 | 2017-06-30 | 上海仪电数字技术股份有限公司 | 终端及身份认证方法、终端和认证中心的认证方法及系统 |
| CN105512535A (zh) * | 2016-01-08 | 2016-04-20 | 广东德生科技股份有限公司 | 一种用户认证的方法及装置 |
| CN105810200A (zh) * | 2016-02-04 | 2016-07-27 | 深圳前海勇艺达机器人有限公司 | 基于声纹识别的人机对话装置及其方法 |
| CN105892829A (zh) * | 2016-04-02 | 2016-08-24 | 上海大学 | 一种基于身份识别的人-机器人交互装置和方法 |
| CN106295299A (zh) * | 2016-08-15 | 2017-01-04 | 歌尔股份有限公司 | 一种智能机器人的用户注册方法和装置 |
| CN108075892A (zh) * | 2016-11-09 | 2018-05-25 | 阿里巴巴集团控股有限公司 | 一种语音处理的方法、装置和设备 |
| CN106682090A (zh) * | 2016-11-29 | 2017-05-17 | 上海智臻智能网络科技股份有限公司 | 主动交互实现装置、方法及智能语音交互设备 |
| CN106779121A (zh) * | 2016-12-23 | 2017-05-31 | 上海木爷机器人技术有限公司 | 电子票务处理方法和系统 |
| CN107341928A (zh) * | 2017-06-01 | 2017-11-10 | 厦门快商通科技股份有限公司 | 一种用于公共资源发放的智能控制设备及其控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111292734A (zh) | 2020-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110100447B (zh) | 信息处理方法及装置、多媒体设备及存储介质 | |
| KR102222317B1 (ko) | 음성 인식 방법, 전자 디바이스, 및 컴퓨터 저장 매체 | |
| CN111292734B (zh) | 一种语音交互方法和装置 | |
| CN111292733A (zh) | 一种语音交互方法和装置 | |
| US10777199B2 (en) | Information processing system, and information processing method | |
| CN112802459A (zh) | 一种基于语音识别的咨询业务处理方法及装置 | |
| JP2019212288A (ja) | 情報を出力するための方法、及び装置 | |
| US20210168460A1 (en) | Electronic device and subtitle expression method thereof | |
| CN111739539A (zh) | 确定说话人数量的方法、装置及存储介质 | |
| CN114143479B (zh) | 视频摘要的生成方法、装置、设备以及存储介质 | |
| CN115952272A (zh) | 一种生成对话信息的方法、装置、设备及可读存储介质 | |
| CN111199730B (zh) | 语音识别方法、装置、终端及存储介质 | |
| US20150146040A1 (en) | Imaging device | |
| JP2010224715A (ja) | 画像表示システム、デジタルフォトフレーム、情報処理システム、プログラム及び情報記憶媒体 | |
| CN111862974A (zh) | 智能设备的控制方法及智能设备 | |
| CN111354350B (zh) | 语音处理方法及装置、语音处理设备、电子设备 | |
| WO2020114323A1 (zh) | 一种用于个性化语音合成的方法和装置 | |
| CN113763920A (zh) | 空调器及其语音生成方法、语音生成装置和可读存储介质 | |
| CN114694645A (zh) | 一种确定用户意图的方法及装置 | |
| CN112397073A (zh) | 一种音频数据处理方法及装置 | |
| CN114973426B (zh) | 活体检测方法、装置及设备 | |
| CN111161706A (zh) | 交互方法、装置、设备和系统 | |
| CN117540706A (zh) | 一种动作插入方法、装置、存储介质及电子设备 | |
| CN117746863A (zh) | 一种样本音频的采集方法、装置、存储介质及电子设备 | |
| CN112581943A (zh) | 语音指令的响应方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |