CN112307451A - 一种多模态身份识别方法及设备 - Google Patents

Abstract

本申请提供了一种多模态身份识别方法及设备，涉及人工智能的身份识别技术领域；在基于一种模态对用户进行身份识别时，主动采集该用户的其他模态的注册信息，完成多模态注册流程；不需要用户对每种模态分别进行单独的注册，简化了多模态注册流程。用户在电子设备上进行一种模态的一次注册，电子设备则可以主动采集其他模态的信息，完成多种模态的注册过程，支持多模态的身份识别。

Description

一种多模态身份识别方法及设备

技术领域

本申请实施例涉及身份识别技术领域，尤其涉及一种多模态身份识别方法及设备。

背景技术

随着指纹识别、人脸识别、声纹识别、虹膜识别等身份识别技术的不断成熟，电子设备已经具备通过指纹、人脸、声纹、虹膜等进行用户身份识别的能力。指纹识别，人脸识别，声纹识别或虹膜识别等识别方式分别称为身份识别的一种模态。利用一种模态进行身份识别称为单模态身份识别；利用多种模态进行身份识别称为多模态身份识别。

身份识别的每一种模态，通常都分为注册和认证两个过程。比如，电子设备要成功进行指纹识别，需要用户先在该电子设备上进行指纹注册；即用户预先在该电子设备上录入指纹，该预先录入的指纹可以称为注册指纹。电子设备在进行身份认证时，可以将用户进行身份认证的输入指纹与注册指纹进行比对，从而确定输入指纹的用户的身份。

目前，支持多种模态的电子设备，其各模态的注册过程是独立的，也就是说，同一用户需要分多次分别针对每种模态进行注册，注册的过程比较繁琐。比如，用户1在电子设备上进行一次指纹注册；然后，用户1在电子设备上进行一次声纹注册；之后，用户1在电子设备上进行一次人脸注册；用户1还在电子设备上进行一次虹膜注册；用户1在电子设备上进行了四次注册过程。

并且，同一用户针对不同模态进行注册后，各个模态的注册信息并不能在电子设备上自动关联至同一用户。比如，用户1在电子设备上进行一次指纹注册，电子设备上保存了注册指纹1；用户1在电子设备上进行一次声纹注册，电子设备上保存了注册声纹1；用户2在电子设备上进行一次指纹注册，电子设备上保存了注册指纹2；电子设备并不能自动将注册指纹1和注册声纹1关联至同一用户。

对于支持多模态的电子设备，如何简化多模态注册流程，是需要解决的问题。

发明内容

本申请实施例提供一种多模态身份识别方法及设备，可以在基于一种模态对用户进行身份识别过程中，主动获取该用户的其他模态的注册信息，简化多模态注册流程，提升用户身份识别的方便性。

第一方面，本申请实施例提供一种多模态身份识别方法、装置及电子设备。

在一种可能的设计中，该方法可以包括：电子设备接收用户在第一模态的注册操作，电子设备还接收该用户在第一模态的认证操作；其中，第一模态为电子设备支持的多种身份识别方式中任意一种；若电子设备基于第一模态对用户认证成功，响应于用户在第一模态的认证操作，电子设备采集用户的一种或多种第二模态的注册信息；并根据用户的一种或多种第二模态的注册信息，完成该用户在一种或多种第二模态的注册过程。

在该方法中，用户在电子设备上进行一种模态的注册，电子设备则可以主动采集其他模态的注册信息，完成第二模态的注册过程，支持多模态的身份识别，简化了多模态注册流程。并且，由于电子设备在用户进行一种模态的注册后，主动采集该用户的其他模态的注册信息，电子设备获取的多种模态的注册信息是自动关联至同一用户的，电子设备可以基于多种模态中的一种或多种对用户进行认证。

在一种可能的设计中，电子设备在预设时长内采集用户的一种或多种第二模态的注册信息。也就是说，采集注册信息的时长可以设定。

在一种可能的设计中，在电子设备采集用户的一种或多种第二模态的注册信息之前，电子设备接收用户对采集用户的一种或多种第二模态的注册信息的确认操作。也就是说，电子设备确定用户同意电子设备自动采集注册信息，电子设备才执行该方案，避免用户信息泄露。

在一种可能的设计中，在电子设备接收用户在第一模态的注册操作之后，若确定用户在第一模态注册成功，响应于用户在第一模态的注册操作，电子设备采集用户的一种或多种第二模态的注册信息。在该方法中，还可以在用户主动注册成功后，采集一次第二模态的注册信息。

在一种可能的设计中，在电子设备根据用户的一种或多种第二模态的注册信息，完成该用户在一种或多种第二模态的注册过程之前，电子设备确定该注册信息达到预设的第一标准。其中，第一标准可以包括获取的样本数量大于第一阈值。

在一种可能的设计中，电子设备采集到第二模态的注册信息后，还可以对采集到的信息进行筛选。

在一种可能的设计中，电子设备支持的模态可以包括：指纹识别，人脸识别，声纹识别或虹膜识别。

在一种可能的设计中，第一模态为指纹识别，电子设备接收用户在电子设备上进行指纹认证的操作；若对用户进行指纹认证成功，响应于用户在电子设备上进行指纹认证的操作，电子设备采集用户的人脸图像。这样，电子设备可以使用采集到的人脸图像完成人脸注册；电子设备就可以采用指纹识别和人脸识别中的至少一种身份识别方式对用户进行身份认证。在一种可能的设计中，响应于用户在电子设备上进行指纹认证的操作，电子设备还采集用户的语音。这样，电子设备可以使用采集到的语音完成用户的声纹注册；电子设备就可以采用指纹识别、人脸识别和声纹识别中的一种或多种身份识别方式对用户进行身份认证。

在一种可能的设计中，第一模态为声纹识别，电子设备接收用户的输入语音，并根据用户的输入语音对用户进行声纹认证；若对用户进行声纹认证成功，电子设备采集用户的人脸图像。这样，电子设备可以使用采集到的人脸图像完成人脸注册；电子设备就可以采用声纹识别和人脸识别中的至少一种身份识别方式对用户进行身份认证。

在一种可能的设计中，电子设备可以对采集到的第二模态的注册信息进行筛选。比如，采集到人脸图像，可以对人脸图像进行筛选，去除不完整的人脸图像，去除不清晰的人脸图像。在一种可能的设计中，电子设备可以根据保存的注册信息，对采集到的第二模态的注册信息进行筛选。比如，根据保存的声纹信息，确定用户为男性，则可以去除采集的人脸图像中的女性人脸图像。

在一种可能的设计中，在电子设备完成一种第二模态的注册过程后，可以显示提示信息，用于向用户确认启用该第二模态的身份识别方式。

相应的，本申请还提供了一种多模态身份识别装置，该装置可以实现第一方面所述的多模态身份识别方法。该装置可以通过软件、硬件、或者通过硬件执行相应的软件实现上述方法。

在一种可能的设计中，该装置可以包括：注册模块、认证模块和输入模块。其中，注册模块，用于接收用户在第一模态的注册操作；其中，第一模态为多模态身份识别装置支持的多种身份识别方式中任意一种；认证模块，用于接收该用户在第一模态的认证操作；输入模块，用于若认证模块基于第一模态对用户认证成功，响应于用户在第一模态的认证操作，采集用户的一种或多种第二模态的注册信息；注册模块，还用于根据用户的一种或多种第二模态的注册信息，完成该用户在一种或多种第二模态的注册过程。

其中，多模态身份识别装置支持的模态可以包括：指纹识别，人脸识别，声纹识别或虹膜识别。

在一种可能的设计中，输入模块具体用于，在预设时长内采集用户的一种或多种第二模态的注册信息。

在一种可能的设计中，该装置还包括：人机交互模块，用于接收用户对采集用户的一种或多种第二模态的注册信息的确认操作。

在一种可能的设计中，输入模块还用于，若注册模块确定用户在第一模态注册成功，响应于用户在第一模态的注册操作，采集用户的一种或多种第二模态的注册信息。

在一种可能的设计中，人机交互模块，还用于在该装置完成一种第二模态的注册过程后，向用户确认启用该第二模态的身份识别方式。

相应的，本申请还提供了一种电子设备，该电子设备可以包括处理器、输入单元和存储器。存储器用于与处理器耦合，其保存该电子设备必要的程序指令和数据。

在一种可能的设计中，该处理器，用于接收用户在第一模态的注册操作，其中，第一模态为电子设备支持的多种身份识别方式中任意一种；还用于接收用户在第一模态的认证操作；输入单元，用于若处理器确定电子设备基于第一模态对用户认证成功，响应于用户在第一模态的认证操作，采集用户的一种或多种第二模态的注册信息；处理器，还用于根据用户的一种或多种第二模态的注册信息，完成用户在一种或多种第二模态的注册过程。

其中，该电子设备支持的模态可以包括：指纹识别，人脸识别，声纹识别或虹膜识别。

在一种可能的设计中，该输入单元具体用于，在预设时长内采集用户的一种或多种第二模态的注册信息。

在一种可能的设计中，该处理器，还用于接收用户对采集用户的一种或多种第二模态的注册信息的确认操作。

在一种可能的设计中，该输入单元，还用于若处理器确定用户在第一模态注册成功，响应于用户在第一模态的注册操作，采集用户的一种或多种第二模态的注册信息。

在一种可能的设计中，该处理器，还用于在该装置完成一种第二模态的注册过程后，向用户确认启用该第二模态的身份识别方式。

第二方面，本申请实施例提供一种多模态身份识别方法、装置及电子设备。

在一种可能的设计中，该方法可以包括：电子设备接收用户在第一模态的认证操作；其中，第一模态为电子设备支持的多种身份识别方式中任意一种；若电子设备基于第一模态对用户认证成功，响应于用户在第一模态的认证操作，电子设备采集用户的第一模态以及一种或多种第二模态的注册信息；电子设备根据用户的第一模态的注册信息，对第一模态的算法模型进行更新；并分别根据每种第二模态的注册信息，对每种第二模态的算法模型进行更新。

在该方法中，电子设备在基于一种模态进行用户身份识别的过程中，可以采集多种模态的注册信息，并根据采集到的注册信息分别对每种模态的算法模型进行更新，达到算法模型越用越好的效果，提高对用户进行身份识别的准确性。

在一种可能的设计中，电子设备在预设时长内采集用户的第一模态以及一种或多种第二模态的注册信息。也就是说，采集注册信息的时长可以设定。

在一种可能的设计中，在电子设备采集用户的第一模态以及一种或多种第二模态的注册信息之前，电子设备接收用户对采集用户的第一模态以及一种或多种第二模态的注册信息的确认操作。也就是说，电子设备确定用户同意电子设备自动采集注册信息，电子设备才执行该方案，避免用户信息泄露。

在一种可能的设计中，电子设备采集到第一模态以及一种或多种第二模态的注册信息后，还可以对采集到的信息进行筛选。

在一种可能的设计中，电子设备支持的模态包括：指纹识别，人脸识别，声纹识别或虹膜识别。

在一种可能的设计中，第一模态为指纹识别，电子设备接收用户在电子设备上进行指纹认证的操作；若对用户进行指纹认证成功，响应于用户在电子设备上进行指纹认证的操作，电子设备采集用户的人脸图像。这样，电子设备可以使用采集到的指纹图像更新指纹识别的算法模型；使用采集到的人脸图像更新人脸识别的算法模型。在一种可能的设计中，响应于用户在电子设备上进行指纹认证的操作，电子设备还采集用户的语音。这样，电子设备还可以使用采集到的用户语音更新声纹识别的算法模型。

在一种可能的设计中，第一模态为声纹识别，电子设备接收用户的输入语音，并根据用户的输入语音对用户进行声纹认证；若对用户进行声纹认证成功，电子设备采集用户的人脸图像。这样，电子设备可以使用采集到的用户的输入语音更新声纹识别的算法模型；使用采集到的人脸图像更新人脸识别的算法模型。

在一种可能的设计中，电子设备可以对采集到的第一模态及一种或多种第二模态的注册信息进行筛选。比如，采集到人脸图像，可以对人脸图像进行筛选，去除不完整的人脸图像，去除不清晰的人脸图像。在一种可能的设计中，电子设备可以根据保存的注册信息，对采集到的注册信息进行筛选。比如，根据保存的声纹信息，确定用户为男性，则可以去除采集的人脸图像中的女性人脸图像。

相应的，本申请还提供了一种多模态身份识别装置，该装置可以实现第二方面所述的多模态身份识别方法。该装置可以通过软件、硬件、或者通过硬件执行相应的软件实现上述方法。

在一种可能的设计中，该装置可以包括：认证模块、输入模块和算法模型模块。其中，认证模块，用于接收用户在第一模态的认证操作；其中，第一模态为多模态身份识别装置支持的多种身份识别方式中任意一种；输入模块，用于若认证模块基于第一模态对用户认证成功，响应于用户在第一模态的认证操作，采集用户的第一模态以及一种或多种第二模态的注册信息；算法模型模块，用于根据用户的第一模态的注册信息，对第一模态的算法模型进行更新；并分别根据每种第二模态的注册信息，对每种第二模态的算法模型进行更新。

其中，多模态身份识别装置支持的模态可以包括：指纹识别，人脸识别，声纹识别或虹膜识别。

在一种可能的设计中，输入模块，具体用于在预设时长内采集用户的第一模态以及一种或多种第二模态的注册信息。

在一种可能的设计中，该装置还包括：人机交互模块，用于接收用户对采集用户的第一模态以及一种或多种第二模态的注册信息的确认操作。

相应的，本申请还提供了一种电子设备，该电子设备可以包括处理器、输入单元和存储器。存储器用于与处理器耦合，其保存该电子设备必要的程序指令和数据。

在一种可能的设计中，该处理器，用于接收用户在第一模态的认证操作；其中，第一模态为电子设备支持的多种身份识别方式中任意一种；输入单元，用于若处理器基于第一模态对用户认证成功，响应于用户在第一模态的认证操作，采集用户的第一模态以及一种或多种第二模态的注册信息；处理器，还用于根据用户的第一模态的注册信息，对第一模态的算法模型进行更新；并分别根据每种第二模态的注册信息，对每种第二模态的算法模型进行更新。

其中，该电子设备支持的模态可以包括：指纹识别，人脸识别，声纹识别或虹膜识别。

在一种可能的设计中，输入单元，具体用于在预设时长内采集用户的第一模态以及一种或多种第二模态的注册信息。

在一种可能的设计中，该处理器，还用于接收用户对采集用户的第一模态以及一种或多种第二模态的注册信息的确认操作。

第三方面，本申请还提供了一种图形用户界面GUI，该图形用户界面存储在电子设备中。

在一种可能的设计中，响应于电子设备基于第一模态对用户认证成功，电子设备在第一界面显示第一GUI；其中，第一GUI中包括第一信息，第一信息用于提示采集用户在至少一种模态的注册信息，所述模态包括：指纹识别，人脸识别，声纹识别或虹膜识别；第一GUI中还包括第一按钮和第二按钮，第一按钮用于触发电子设备确认用户同意采集用户在至少一种模态的注册信息；第二按钮用于触发电子设备确认用户不同意采集用户在至少一种模态的注册信息。

其中，第一GUI可以是提示框，用户可以在该提示框确认同意或者不同意采集各个模态的注册信息。第一按钮可以是确认按钮，第二按钮可以是取消按钮。

第一界面可以是电子设备上，对用户进行身份认证成功后的显示界面。

在一种可能的设计中，该图形用户界面还包括：响应于用户对第一按钮的点击操作，电子设备在第一界面显示第二GUI；第二GUI包括多个选项，其中，每个选项对应一种模态。

其中，第二GUI可以是第二提示框；用户可以在该第二提示框通过选择各个选项，选择授权采集的个人信息的种类。

在一种可能的设计中，第一GUI中还包括多个选项，其中，每个选项对应一种模态。在该实现方式中，每种模态的选项设置在第一GUI中。用户可以直接在第一GUI中选择授权采集的个人信息的种类。

第四方面，本申请还提供了一种图形用户界面GUI，该图形用户界面存储在电子设备中。

在一种可能的设计中，响应于电子设备上用户在第一模态注册成功，电子设备在第一界面显示第一GUI；第一GUI中包括第一信息，第一信息用于提示采集用户在至少一种模态的注册信息，所述模态包括：指纹识别，人脸识别，声纹识别或虹膜识别；第一GUI中还包括第一按钮和第二按钮，第一按钮用于触发电子设备确认用户同意采集用户在至少一种模态的注册信息；第二按钮用于触发电子设备确认用户不同意采集用户在至少一种模态的注册信息。

其中，第一GUI可以是提示框，用户可以在该提示框确认同意或者不同意采集各个模态的注册信息。第一按钮可以是确认按钮，第二按钮可以是取消按钮。

第一界面可以是电子设备上，用户进行身份注册的界面。

在一种可能的设计中，该图形用户界面还包括：响应于用户对第一按钮的点击操作，电子设备在第一界面显示第二GUI；第二GUI包括多个选项，其中，每个选项对应一种模态。

其中，第二GUI可以是第二提示框；用户可以在该第二提示框通过选择各个选项，选择授权采集的个人信息的种类。

在一种可能的设计中，第一GUI中还包括多个选项，其中，每个选项对应一种模态。在该实现方式中，每种模态的选项设置在第一GUI中。用户可以直接在第一GUI中选择授权采集的个人信息的种类。

第五方面，本申请还提供了一种图形用户界面GUI，该图形用户界面存储在电子设备中。

在一种可能的设计中，响应于电子设备上完成第二模态的注册过程，电子设备在第二界面显示第三GUI；第三GUI中包括第二信息，第二信息用于提示电子设备在第二模态注册成功，其中，第二模态包括：指纹识别，人脸识别，声纹识别或虹膜识别。

其中，第三GUI可以是提示框。

第二界面可以是电子设备的桌面；还可以是电子设备在完成了第二模态的注册过程时，当前的显示界面。

在一种可能的设计中，第三GUI中还包括第三按钮和第四按钮，第三按钮用于触发启用该第二模态的识别方式；第四按钮用于触发不启用该第二模态的识别方式。

第三按钮可以是确认按钮，第四按钮可以是取消按钮。

本申请还提供了一种计算机存储介质，该计算机存储介质中存储有指令，当其在电子设备上运行时，使得电子设备执行上述任一方面所述的方法。

本申请还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一方面所述的方法。

上述提供的任一种装置或电子设备或计算机存储介质或计算机程序产品均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文提供的对应的方法中对应方案的有益效果，此处不再赘述。

附图说明

图1为一种指纹注册界面示意图；

图2为一种人脸注册界面示意图；

图3为一种语音注册界面示意图；

图4为一种虹膜注册界面示意图；

图5为本申请实施例提供的一种电子设备的硬件结构的组成示意图；

图6为本申请实施例提供的一种多模态身份识别方法流程图一；

图7A为本申请实施例提供的一种电子设备的显示界面实例示意图一；

图7B为本申请实施例提供的一种电子设备的显示界面实例示意图二；

图7C为本申请实施例提供的一种电子设备的显示界面实例示意图三；

图7D为本申请实施例提供的一种电子设备的显示界面实例示意图四；

图8为本申请实施例提供的一种电子设备的显示界面实例示意图五；

图9为本申请实施例提供的一种多模态身份识别方法流程图二；

图10为本申请实施例提供的一种多模态身份识别方法在电子设备中执行的流程示意图；

图11为本申请实施例提供的一种电子设备的结构组成示意图。

具体实施方式

支持指纹识别、人脸识别、声纹识别、虹膜识别等身份识别技术的电子设备，身份识别的每一种模态，通常都分为注册和认证两个过程。

在一种示例中，指纹识别技术分为指纹注册和指纹认证两个过程。

用户先在电子设备上进行指纹注册。用户录入注册指纹；电子设备对注册指纹进行指纹图像采集。可选的，电子设备还可以对采集到的指纹图像进行预处理，比如，对指纹图像进行预处理可以包括：图像归一化处理、图像增强处理、图像二值化处理等。之后，电子设备可以直接对采集到的指纹图像进行指纹特征提取，获得注册指纹的指纹特征。可选的，电子设备也可以对采集到的指纹图像进行预处理后，对预处理后的指纹图像进行指纹特征提取，获得注册指纹的指纹特征。进一步的，电子设备可以保存注册指纹的指纹特征。

在指纹认证过程，电子设备采集用户认证指纹的指纹图像，并对认证指纹的指纹图像进行指纹特征提取，获得认证指纹的指纹特征。电子设备将认证指纹的指纹特征，与注册指纹的指纹特征进行比对，如果确定认证指纹的指纹特征与注册指纹的指纹特征的匹配度大于预设值，则确定进行指纹认证的用户为录入该注册指纹的用户。在一种实现方式中，可以采用置信度表征两个特征的匹配度。置信度可以是一个得分，得分越高，表明两个特征的匹配度越高。可以理解的，本申请实施例对置信度的表现形式并不进行限定，置信度还可以描述为置信概率，置信分值，可信分值等。

其中，电子设备采集指纹图像、对指纹图像预处理、进行指纹特征提取等过程的具体实现，可以参考常规技术中的描述，此处不再赘述。

在一种示例中，人脸识别技术分为人脸注册和人脸认证两个过程。

用户先在电子设备上进行人脸注册。用户录入注册人脸；电子设备采集用户录入的图像，并从用户录入的图像中检测并提取人脸图像。之后，电子设备可以对注册人脸的图像进行人脸特征提取，获得注册人脸的人脸特征，并保存注册人脸图像的人脸特征。

在人脸认证过程，电子设备采集用户的人脸图像，并对采集到的人脸图像进行人脸特征提取，获得采集到的人脸图像的人脸特征。电子设备将人脸认证过程采集的人脸图像的人脸特征，与注册人脸图像的人脸特征进行比对，如果确定人脸认证过程采集的人脸图像的人脸特征与注册人脸图像的人脸特征的匹配度大于预设值，则确定进行人脸认证的用户为注册人脸图像的用户。

其中，电子设备提取人脸图像、进行人脸特征提取等过程的具体实现，可以参考常规技术中的描述，此处不再赘述。

在一种示例中，声纹识别技术分为声纹注册和声纹认证两个过程。

用户先在电子设备上进行声纹注册。用户录入注册语音；电子设备通过拾音设备采集到注册语音。可选的，电子设备可以对采集到的注册语音进行预处理，比如，对语音预处理可以包括降噪处理，语音增强等。之后，电子设备可以直接对采集到的注册语音进行声纹特征提取，获得注册语音的声纹特征。可选的，电子设备也可以对采集到的注册语音进行预处理后，对预处理后的注册语音进行声纹特征提取，获得注册语音的声纹特征。进一步的，电子设备可以保存注册语音的声纹特征。

在声纹认证过程，电子设备采集用户的认证语音。电子设备可以直接对采集到的认证语音进行声纹特征提取，获得认证语音的声纹特征。可选的，电子设备也可以对采集到的认证语音进行预处理后，对预处理后的认证语音进行声纹特征提取，获得认证语音的声纹特征。电子设备将认证语音的声纹特征，与注册语音的声纹特征进行比对，如果确定认证语音的声纹特征与注册语音的声纹特征的匹配度大于预设值，则确定进行声纹认证的用户为录入该注册语音的用户。

其中，电子设备采集语音、对语音进行预处理、进行声纹特征提取等过程的具体实现，可以参考常规技术中的描述，此处不再赘述。

在一种示例中，虹膜识别技术分为虹膜注册和虹膜认证两个过程。

用户先在电子设备上进行虹膜注册。电子设备采集用户眼部的图像，并从用户眼部图像中提取虹膜图像。可选的，电子设备可以对虹膜图像进行预处理，比如，对虹膜图像的预处理可以包括：虹膜定位、图像归一化、图像增强等。之后，电子设备可以直接对提取的虹膜图像进行虹膜特征提取，获得虹膜图像的虹膜特征。可选的，电子设备也可以对提取的虹膜图像进行预处理后，对预处理后的虹膜图像进行虹膜特征提取，获得虹膜图像的虹膜特征。进一步的，电子设备可以保存虹膜图像的虹膜特征。

在虹膜认证过程，电子设备采集用户的虹膜图像。可选的，电子设备可以对虹膜图像进行预处理。之后，电子设备可以直接对采集到的虹膜图像进行虹膜特征提取，获得采集到的虹膜图像的虹膜特征；可选的，电子设备也可以对采集到的虹膜图像进行预处理后，对预处理后的虹膜图像进行虹膜特征提取，获得虹膜图像的虹膜特征。电子设备将虹膜认证过程采集的虹膜图像的虹膜特征，与虹膜注册过程采集的虹膜图像的虹膜特征进行比对，如果确定虹膜认证过程采集的虹膜图像的虹膜特征与虹膜注册过程采集的虹膜图像的虹膜特征的匹配度大于预设值，则确定进行虹膜认证的用户为该进行虹膜注册的用户。

其中，电子设备提取虹膜图像、对虹膜图像进行预处理、进行虹膜特征提取等过程的具体实现，可以参考常规技术中的描述，此处不再赘述。

对于支持多种模态的电子设备，一个用户需要分别进行多种模态的注册。比如，对于支持指纹识别、人脸识别、声纹识别和虹膜识别的电子设备，要能对一个用户分别进行指纹识别、人脸识别、声纹识别和虹膜识别，需要用户分别进行指纹注册、人脸注册、声纹注册和虹膜注册。用户进行多次注册，过程比较繁琐。

示例性的，以电子设备为手机为例，对用户分别进行指纹注册、人脸注册、声纹注册和虹膜注册的过程进行介绍。

如图1，用户可以打开手机的设置功能，在“安全与隐私”界面分别进行指纹注册、人脸注册、声纹注册或虹膜注册。“安全与隐私”界面中可以包括“指纹”选项101、“人脸识别”选项102、“语音”选项103和“虹膜识别”选项104等。用户可以通过点击“指纹”选项101、“人脸识别”选项102、“语音”选项103或“虹膜识别”选项104，分别进行指纹注册、人脸注册、声纹注册或虹膜注册。

请继续参考图1，手机可以接收用户对“指纹”选项101的点击操作(如单击操作)。响应于用户对“指纹”选项101的点击操作，手机可以显示“指纹”界面105。“指纹”界面105中可以包括“新建屏内指纹”选项106，“新建屏内指纹”选项106用于触发手机新建一个注册指纹。手机可以接收用户对“新建屏内指纹”选项106的点击操作，响应于用户对“新建屏内指纹”选项106的点击操作，手机可以显示“新建指纹”界面107。“新建指纹”界面107可以包括录入指纹提示信息“手指放在屏内指纹感应区，并稍许用力按压。”“新建指纹”界面107还可以包括“开始录入”按钮108，用于触发录入指纹过程。手机可以接收用户对“开始录入”按钮108的点击操作，响应于用户对“开始录入”按钮108的点击操作，手机的“新建指纹”界面107刷新。手机的“新建指纹”界面107显示指纹感应区109，指纹感应区109用于采集用户录入的指纹。手机的“新建指纹”界面107还可以包括指纹采集进度显示区域10a，用于显示采集指纹的进度。当手机采集到一个完整的注册指纹后，“新建指纹”界面107刷新。“新建指纹”界面107可以显示指纹录入成功提示信息“录入成功”。手机的“新建指纹”界面107还可以包括“确定”按钮10b，手机接收到用户对“确定”按钮10b的点击操作，则确定完成一次指纹注册，手机显示“安全与隐私”界面。

请参考图2，手机可以接收用户对“人脸识别”选项102的点击操作(如单击操作)。响应于用户对“人脸识别”选项102的点击操作，手机可以显示“人脸识别”界面201。“人脸识别”界面201中可以包括“设置面容”选项202，“设置面容”选项202用于触发手机新建一个注册人脸。手机可以接收用户对“设置面容”选项202的点击操作，响应于用户对“设置面容”选项202的点击操作，手机可以显示“录入面容”界面203。“录入面容”界面203可以包括面容录入提示信息，用于提示用户在录入人脸过程中的注意事项，“录入面容”界面203还可以包括“开始录入”按钮204，用于触发录入人脸过程。手机可以接收用户对“开始录入”按钮204的点击操作，响应于用户对“开始录入”按钮204的点击操作，手机显示“正在录入”界面205。手机的“正在录入”界面205可以包括人脸采集区域206，用于采集用户录入的人脸图像。当手机采集到一个完整的注册人脸图像后，可以显示“录入成功”界面207，这样就完成一次人脸注册。进一步的，手机可以返回显示“安全与隐私”界面。

请参考图3，手机可以接收用户对“语音”选项103的点击操作(如单击操作)。响应于用户对“语音”选项103的点击操作，手机可以显示“语音”界面301。“语音”界面301中可以包括“新建声音”选项302，“新建声音”选项302用于触发手机新建一个注册声纹。手机可以接收用户对“新建声音”选项302的点击操作，响应于用户对“新建声音”选项302的点击操作，手机可以显示“录入声音”界面303。“录入声音”界面303可以包括“麦克风”选项304和录音进度条305。其中，“麦克风”选项304用于触发手机开始录制声音。录音进度条305用于显示手机录入声音的进度。可选的，“录入声音”界面303还可以包括录音提示信息“请在安静的环境下，离手机20厘米左右录入声音”。“录入声音”界面303还包括“取消”按钮306和“确定”按钮307。“确定”按钮307用于触发手机保存录制的声音。“取消”按钮306用于触发手机取消声纹注册。响应于用户对“确定”按钮307的点击操作，手机可以显示录入声音完成界面308。进一步的，手机可以返回显示“安全与隐私”界面。

请参考图4，手机可以接收用户对“虹膜识别”选项104的点击操作(如单击操作)。响应于用户对“虹膜识别”选项104的点击操作，手机可以显示“虹膜识别”界面401。“虹膜识别”界面401中可以包括“录入虹膜”选项402，“录入虹膜”选项402用于触发手机新建一个注册虹膜。手机可以接收用户对“录入虹膜”选项402的点击操作，响应于用户对“录入虹膜”选项402的点击操作，手机可以显示“录入虹膜”界面403。“录入虹膜”界面403可以包括虹膜图像录入提示信息，用于提示用户在录入虹膜图像过程中的注意事项，“录入虹膜”界面403还可以包括“开始录入”按钮404，用于触发录入虹膜过程。手机可以接收用户对“开始录入”按钮404的点击操作，响应于用户对“开始录入”按钮404的点击操作，手机显示“正在录入”界面405。手机的“正在录入”界面405可以包括虹膜采集区域406，用于采集用户录入的虹膜图像。当手机采集到一个完整的注册虹膜图像后，可以显示“录入成功”界面407，这样就完成一次虹膜注册。进一步的，手机可以返回显示“安全与隐私”界面。

要在手机上完成指纹注册、人脸注册、声纹注册和虹膜注册，需要用户分四次在手机上分别进行设置。比如，通过图1所示注册方式完成指纹注册，通过图2所示注册方式完成人脸注册，通过图3所示注册方式完成声纹注册，并通过图4所示注册方式完成虹膜注册；注册过程比较繁琐。

本申请实施例提供一种多模态身份识别方法，在用户进行一种模态的注册后，电子设备可以主动采集其他模态的用户注册信息。这样，用户可以只进行一种模态的一次注册，电子设备就可以获取到多种模态的用户注册信息，从而可以基于多种模态中的任意一种或多种模态进行用户身份识别；简化了多模态注册流程，提升用户身份识别的方便性。

由于电子设备在用户进行一种模态的注册后，主动采集其他模态的用户注册信息，电子设备获取的多种模态的用户注册信息是自动关联至同一用户的。当电子设备对该用户进行身份认证时，可以采用多模态联合认证的方式，从而提高用户身份识别的准确性。

本申请实施例提供的一种多模态身份识别方法，可应用于手机、平板电脑、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、手持计算机、上网本、个人数字助理(personal digital assistant，PDA)、可穿戴设备(如智能手表、智能眼镜或者智能头盔等)、虚拟现实设备、智能家居设备、车载电脑等电子设备中，本申请实施例对此不做任何限制。

请参考图5，其示出了一种电子设备100的结构示意图。

如图5所示，电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。

可以理解的是，本实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心，是指挥电子设备100的各个部件按照指令协调工作的决策者。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器，充电器，闪光灯，摄像头193等。例如：处理器110可以通过I2C接口耦合触摸传感器，使处理器110与触摸传感器通过I2C总线接口通信，实现电子设备100的触摸功能。

I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过I2S接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。

PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中，音频模块170也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过UART接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。

MIPI接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现电子设备100的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。

可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode 的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

本申请实施例中，摄像头193可以用于人脸识别技术中采集用户的人脸图像。摄像头193还可以用于虹膜识别技术中采集用户的虹膜图像。电子设备100可以包括一个或多个摄像头193；比如，采集人脸图像的摄像头和采集虹膜图像的摄像头，可以是同一个摄像头，也可以是不同的摄像头。

摄像头193采集到人脸图像或虹膜图像后，ISP将采集到的图像转换成数字图像信号，并将数字图像信号输出到DSP加工处理。之后，处理器110可以根据数字图像信号进行人脸识别或虹膜识别。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐，或收听免提通话。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中，电子设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

本申请实施例中，麦克风170C可以用于采集用户的注册语音和认证语音，将声音信号转换为电信号。麦克风170C将语音信号传给处理器110，处理器110进行声纹识别。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

传感器模块180可以包括指纹传感器。指纹传感器用于采集指纹。电子设备100可以对指纹传感器采集的指纹图像进行指纹特征提取。电子设备100可以利用采集的指纹特性进行指纹识别，实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

传感器模块180还可以包括压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，接近光传感器，温度传感器，触摸传感器，环境光传感器，骨传导传感器等。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在电子设备100中，不能和电子设备100分离。

本申请实施例提供一种多模态身份识别方法，可以应用于图5所示的电子设备100，如图6所示，该方法可以包括：

S601、电子设备接收第一用户在第一模态的注册操作。

第一模态可以是电子设备支持的多种模态中的任意一种模态。电子设备的一种身份识别方式称为身份识别的一种模态。比如，电子设备支持的身份识别的模态可以包括：指纹识别、人脸识别、声纹识别、虹膜识别等。

示例性的，电子设备支持指纹识别、人脸识别、声纹识别和虹膜识别四种模态。用户可以在电子设备上进行指纹注册、人脸注册、声纹注册或虹膜注册。本申请实施例以第一模态为指纹识别，用户1在手机上进行指纹注册为例。

电子设备接收第一用户进行指纹注册的操作，保存第一用户的注册指纹；所述第一用户可以为任意一个用户。比如，电子设备保存第一用户的注册指纹，可以是保存注册指纹图像，或者，也可以是保存注册指纹的指纹特征等。示例性的，用户1采用图1所示方法在手机上注册指纹，生成注册指纹1，手机保存用户1的注册指纹1。

S602、电子设备基于第一模态对第一用户进行认证。

比如，第一用户在电子设备上进行了指纹注册，电子设备可以基于指纹识别方式对第一用户进行认证。

示例性的，用户1在手机上输入认证指纹，手机采集到用户1的认证指纹，对认证指纹进行指纹特征提取；并将认证指纹的指纹特征与保存的注册指纹的指纹特征进行比对；手机确定认证指纹是属于用户1的指纹。

S603、在电子设备基于第一模态对第一用户认证成功之后，电子设备采集第一用户的一种或多种第二模态的注册信息。

在一些实施例中，电子设备基于第一模态完成对第一用户的一次认证过程，且确定该认证过程成功；则采集第一用户的一种或多种第二模态的注册信息。其中，第二模态可以是电子设备支持的多种模态中，不同于第一模态的任意一种模态；第二模态的注册信息是用于在第二模态进行注册过程的信息，比如，指纹识别的注册信息可以是指纹图像，人脸识别的注册信息可以是人脸图像，声纹识别的注册信息可以是语音，虹膜识别的注册信息可以是虹膜图像。

比如，手机完成一次指纹认证过程；手机确认完成了指纹认证过程，则打开摄像头采集进行指纹认证的用户的人脸图像；在一些示例中，手机还打开麦克风采集该用户的语音。

在一些实施例中，电子设备还可以在第一用户完成第一模态的一次注册过程后，采集该用户的一种或多种第二模态的注册信息。比如，手机确定用户1在手机上完成指纹注册过程，则打开摄像头采集进行指纹认证的用户的人脸信息；在一些示例中，手机还打开麦克风采集该用户的语音。

在一些实施例中，电子设备可以预设采集一次第二模态注册信息的时长。比如，手机完成一次指纹认证过程后，可以在第一时长内采集用户的人脸信息；并且在第二时长内采集用户的语音；其中，第一时长和第二时长可以相同，也可以不同。

在一些实施例中，电子设备采集用户的一种或多种第二模态的注册信息之前，可以向用户确认是否同意采集各个模态的注册信息。如果确定用户同意采集一种或多种第二模态的注册信息，则采集该用户的第二模态的注册信息。在一种示例中，电子设备可以在第一次采集第一用户的第二模态注册信息之前，向第一用户确认是否同意采集各个模态的注册信息。比如，电子设备可以在完成第一用户在第一模态的一次注册过程后，向第一用户确认是否同意采集各个模态的注册信息；再比如，电子设备可以在完成第一用户基于第一模态的第一次认证过程后，向用户确认是否同意采集各个模态的注册信息。

示例性的，手机完成用户1的一次指纹注册过程之后，向用户确认是否同意采集各个模态的注册信息。

如图7A，手机在“新建指纹”界面107接收到用户对“确定”按钮10b的点击操作，则确定完成一次指纹注册，手机显示“安全与隐私”界面。在“安全与隐私”界面，可以显示提示框701，用户可以在提示框701确认同意或者不同意采集各个模态的注册信息。提示框701可以包括提示信息702，用于显示采集各个模态注册信息的提示信息。提示框701还可以包括“确定”按钮703，“确定”按钮703用于触发手机确认用户同意采集各个模态的注册信息；提示框701还可以包括“取消”按钮704，“取消”按钮704用于触发手机确认用户不同意采集各个模态的注册信息。手机可以接收用户对“确定”按钮703的点击操作，响应于用户对“确定”按钮703的点击操作，确认用户同意采集各个模态的注册信息。手机可以接收用户对“取消”按钮704的点击操作，响应于用户对“取消”按钮704的点击操作，确认用户不同意采集各个模态的注册信息。

在一些示例中，手机可以支持用户选择授权采集的个人信息的种类。比如，用户可以授权手机采集一种个人信息，或者用户可以授权手机采集多种个人信息。示例性的，请继续参考图7A，在一种实现方式中，响应于用户点击“确定”按钮703的操作，手机在“安全与隐私”界面显示提示框705，用户可以在提示框705选择授权采集的个人信息的种类。比如，提示框705包括提示信息706，提示信息706用于显示供用户选择的个人信息的种类。如图7A，提示信息706包括“指纹”、“人脸”、“声音”和“虹膜”四种选项。用户可以通过点击每种选项的复选框来选择是否授权采集该选项指示的个人信息。提示框705还可以包括“确定”按钮707，“确定”按钮707用于触发手机确认用户选择的个人信息的种类。手机可以接收用户对“确定”按钮707的点击操作，响应于用户对“确定”按钮707的点击操作，手机确认用户选择的个人信息的种类。进一步的，手机可以返回显示“安全与隐私”界面。

在另一种示例中，如图7B，手机在“新建指纹”界面107接收到用户对“确定”按钮10b的点击操作，则确定完成一次指纹注册，手机显示“安全与隐私”界面。在“安全与隐私”界面，可以显示提示框708。用户可以在提示框708选择授权采集的个人信息的种类；手机可以获取到用户选择的授权采集的个人信息的种类；并根据用户选择的授权采集的个人信息的种类，确认用户同意或者不同意采集各个模态的注册信息。提示框708可以包括提示信息709，用于显示供用户选择的个人信息的种类。提示信息709包括“指纹”、“人脸”、“声音”和“虹膜”四种选项。用户可以通过点击每种选项的复选框来选择是否授权采集该选项指示的个人信息。提示框708还可以包括“确定”按钮70a，“确定”按钮70a用于触发手机确认用户选择的个人信息的种类。手机可以接收用户对“确定”按钮70a的点击操作，响应于用户对“确定”按钮70a的点击操作，手机确认用户选择的个人信息的种类。如果手机确认提示信息709的四种选项的复选框中的一个或多个被选中，则响应于用户对“确定”按钮70a的点击操作，确认用户同意采集各个模态的注册信息，且确认用户选择的个人信息的种类；如果手机确认提示信息709的四种选项的复选框均未被选中，确认用户不同意采集各个模态的注册信息。进一步的，手机可以返回显示“安全与隐私”界面。

示例性的，手机完成用户1的第一次指纹认证过程之后，向用户确认是否同意采集各个模态的注册信息。

如图7C，手机在黑屏状态，接收到用户进行指纹认证的操作，手机确定指纹认证过程成功，则显示手机的桌面。在手机的桌面，可以显示提示框701，用户可以在提示框701确认同意或者不同意采集各个模态的注册信息。在一种实现方式中，响应于用户点击提示框701中的“确定”按钮703的操作，手机还可以在桌面显示提示框705，用户可以在提示框705选择授权采集的个人信息的种类。进一步的，手机确认用户选择的个人信息的种类之后，可以返回显示桌面。

在另一种示例中，如图7D，手机在黑屏状态，接收到用户进行指纹认证的操作，手机确定指纹认证过程成功，则显示手机的桌面。在手机的桌面可以显示提示框708，用户可以在提示框708选择授权采集的个人信息的种类；手机可以获取到用户选择的授权采集的个人信息的种类；并根据用户选择的授权采集的个人信息的种类，确认用户同意或者不同意采集各个模态的注册信息。进一步的，手机确认用户同意或者不同意采集各个模态的注册信息之后，可以返回显示桌面。

电子设备确定用户同意采集一种或多种第二模态的注册信息，则采集第一用户的第二模态的注册信息。示例性的，手机确定用户授权采集指纹、人脸和语音信息。在完成用户1的一次指纹注册过程之后，手机打开摄像头采集用户1的人脸图像；还打开麦克风采集用户1的语音。

比如，手机可以在预设的第一时长内通过手机的摄像头采集用户1的人脸图像；可选的，手机还可以对采集到的人脸图像进行预处理(比如，图像增强)。

在第一时长内，手机可以多次采集人脸图像，获取到用户1的人脸图像的多个样本。进一步的，手机可以对人脸图像的多个样本进行筛选。可选的，该多个样本可以是手机直接采集到的人脸图像；可选的，该多个样本也可以是经过预处理的人脸图像。比如，对人脸图像的多个样本进行筛选可以包括：删除样本中不完整的人脸图像，删除样本中的侧脸图像等。

在一种实现方式中，手机还可以根据保存的用户1的信息，对用户1的人脸图像的多个样本进行筛选。比如，手机保存有用户1的声纹信息，根据用户1的声纹信息确定用户1为男性，则可以删除样本中的女性人脸图像。

比如，手机可以在预设的第二时长内通过手机的麦克风采集用户1的语音；可选的，手机还可以对采集到的语音进行预处理(比如，降噪处理，语音增强等)。

在第二时长内，手机可以多次采集语音，获取到用户1的语音的多个样本。进一步的，手机可以对语音的多个样本进行筛选。可选的，该多个样本可以是手机直接采集到的语音；可选的，该多个样本也可以是经过预处理的语音。比如，对语音的多个样本进行筛选可以包括：删除样本中信噪比低于预设值的语音，删除样本中的用户性别不符的语音等。

在一些实施例中，在电子设备上第一用户的第二模态注册成功之前，可以在每次基于第一模态对第一用户认证成功之后，采集第一用户的一种或多种第二模态的注册信息。

比如，第一模态为指纹识别，用户1在手机上成功完成了指纹注册过程。手机确定用户授权采集指纹、人脸和语音信息，则手机可以在每一次采用指纹识别对用户1认证成功之后，打开摄像头采集用户1的人脸图像；还打开麦克风采集用户1的语音。这样，手机可以分多次获取到用户1的人脸图像的多个样本，以及用户1的语音的多个样本。示例性的，手机在第一次对用户1指纹认证成功后，采集到10个用户1的人脸图像样本；在第二次对用户1指纹认证成功后，采集到20个用户1的人脸图像样本；在第三次对用户1指纹认证成功后，采集到50个用户1的人脸图像样本；在第四次对用户1指纹认证成功后，采集到40个用户1的人脸图像样本；这样，经过4次采集，手机获取到用户1的120个人脸图像样本。

S604、电子设备根据获取到的第一用户的第二模态的注册信息，完成第一用户在第二模态的注册过程。

在一些实施例中，电子设备获取到第一用户的第二模态的注册信息，如果确定该注册信息达到预设的第一标准，则根据该注册信息完成第一用户在第二模态的注册过程。

示例性，第一标准可以包括获取的样本数量大于第一阈值(比如，100个)；示例性的，第一标准可以包括获取的样本中至少一个样本的分辨率达到第二阈值。

比如，手机获取到用户1的人脸识别的注册信息(人脸图像的120个样本)，确定获取的用户1的人脸图像的样本数量大于第一阈值(100个)，则根据获取的人脸识别的注册信息，完成用户1的人脸注册过程。

在一种实现方式中，电子设备可以采用获取的第一用户的第二模态的多个样本，对第二模态的预设算法模型进行训练，得到训练后的算法模型。电子设备根据第二模态的训练后的算法模型进行第一用户的第二模态的特征提取，并保存提取的特征，完成第一用户在第二模态的注册过程。其中，电子设备采用多个样本对预设算法模型进行训练的具体方法，以及根据预设算法模型进行特征提取的具体方法，可以参考常规技术的描述，本申请实施例不再赘述。

比如，手机采用获取的用户1的人脸图像的120个样本，对人脸识别的预设算法模型进行训练，得到训练后的人脸识别算法模型；手机根据训练后的人脸识别算法模型提取用户1的人脸特征，并保存用户1的人脸特征，即完成了用户1的人脸注册过程。

在一些实施例中，电子设备完成第一用户在第二模态的注册过程后，还可以在显示界面显示注册成功提示信息；在一些实施例中，电子设备还可以确定用户同意启用该第二模态的识别方式。

示例性的，如图8，手机确定完成了用户1的人脸注册过程，在桌面显示注册成功提示框801。注册成功提示框801可以包括注册成功提示信息802“手机已成功注册您的人脸信息，是否启用？”注册成功提示框801还可以包括“是”按钮803和“否”按钮804；“是”按钮803用于触发启用用户1的人脸识别，“否”按钮804用于触发不启用用户1的人脸识别。手机可以接收用户对“是”按钮803的点击操作，响应于用户点击“是”按钮803的操作，手机启用用户1的人脸识别。手机可以接收用户对“否”按钮804的点击操作，响应于用户点击“否”按钮804的操作，手机不启用用户1的人脸识别。

需要说明的是，图8以在桌面显示注册成功提示框801为例进行示例。在实际应用中，可以在手机的其他界面显示注册成功提示框801，比如，手机可以在确定完成了用户1的人脸注册过程时，手机当前的显示界面上，显示注册成功提示框801。

如果电子设备确定用户同意启用该第二模态的识别方式，则支持对第一用户在第二模态的认证。比如，手机在完成用户1的人脸注册过程后，确定用户1同意启用人脸识别，则可以使用人脸识别对用户1进行认证。比如，手机在完成用户1的声纹注册过程后，确定用户1同意启用声纹识别，则可以使用声纹识别对用户1进行认证。

这样，用户1在手机上进行了一种模态的注册过程(指纹注册)，手机主动采集到用户1的两种第二模态的注册信息(人脸图像和语音)后，完成了用户1的人脸注册和声纹注册，手机可以使用三种模态(指纹识别、人脸识别和声纹识别)中的一种或多种对用户1进行认证。

本申请实施例提供的多模态身份识别方法，用户在电子设备上进行一种模态的注册，电子设备则可以支持多模态的身份识别，简化了多模态注册流程，提升用户身份识别的方便性。并且，由于电子设备在用户进行一种模态的注册后，主动采集该用户的其他模态的注册信息，电子设备获取的多种模态的注册信息是自动关联至同一用户的。

电子设备上完成第一用户在多种模态的注册过程，则电子设备可以基于多种模态中的一种或多种对第一用户进行认证。示例性的，用户1采用图1所示方法在手机上注册指纹，完成指纹注册。手机每次基于指纹注册对用户1认证成功后，采集用户1的人脸图像和语音，并根据采集到的用户1的人脸图像和语音完成用户1的人脸注册和声纹注册。手机可以基于指纹识别、人脸识别和声纹识别中的一种或多种对用户1进行认证。

在一种实现方式中，电子设备可以基于多种模态中的任意一种对第一用户进行认证。比如，手机可以基于指纹识别、人脸识别或声纹识别对用户1进行认证。

在一种实现方式中，电子设备基于一种模态对第一用户认证失败后，可以采用另一种模态再次对第一用户进行认证。比如，手机基于指纹识别对用户1认证失败，则打开摄像头采集用户1的人脸图像，并根据采集的用户1的人脸图像，基于人脸识别对用户1进行认证。这样，基于多种模态分别对第一用户进行认证，可以提高用户身份识别的准确率。

在一种实现方式中，电子设备基于一种模态对第一用户认证失败后，可以采用多种模态联合对第一用户进行认证。比如，手机基于指纹识别对用户1认证失败，则打开摄像头采集用户1的人脸图像；并根据用户1的指纹图像和用户1的人脸图像，基于指纹识别和人脸识别联合对用户1进行认证。

比如，可以使用置信度来表征认证信息的特征与注册信息的特征的匹配度，即认证信息属于一个用户的可信程度；置信度可以是一个得分，得分越高，可信程度越高；可以理解的，置信度还可以描述为置信概率，置信分值，可信分值等。

手机根据获取的指纹图像计算该指纹图像属于用户1的置信度1，手机确定置信度1小于预设的第一置信阈值，则手机基于指纹识别对用户1认证失败。手机还根据获取的人脸图像计算该人脸图像属于用户1的置信度2；手机将置信度1和置信度2加权求和，获得置信度3；如果确定置信度3大于预设的第二置信阈值，则确定对用户1联合认证成功。

这样，基于多种模态联合对第一用户进行认证，可以提高用户身份识别的准确率。

本申请实施例还提供一种多模态身份识别方法，可以应用于图5所示的电子设备100，如图9所示，该方法可以包括：

S901、电子设备基于第一模态对第一用户进行认证。

在电子设备上，已经完成了第一用户在第一模态的注册过程。电子设备可以基于第一模态对第一用户进行认证。

可选的，可以是第一用户主动在电子设备上进行第一模态的注册的。比如，第一模态是声纹识别方式。用户1采用图3所示方法，在手机上进行了声纹注册，手机可以基于声纹识别方式对用户1进行认证。

可选的，可以是电子设备采集第一用户在第一模态的注册信息，完成第一用户在第一模态的注册过程的。比如，第一模态是声纹识别方式。手机在每次使用指纹认证对用户1认证成功后，采集用户1的语音信息，并根据采集到的用户1的语音信息完成声纹注册；手机可以基于声纹识别方式对用户1进行认证。

示例性的，用户1向手机发起语音命令：“播放一首歌曲。”手机采集到用户1的语音，并对该语音进行声纹特征提取。手机将采集到的语音的声纹特征，与保存的注册语音的声纹特征进行比对，确定采集到的语音是属于用户1的语音，则声纹认证成功。手机可以执行播放一首歌曲。

S902、在电子设备基于第一模态对第一用户认证成功之后，电子设备采集第一用户的第一模态以及一种或多种第二模态的注册信息。

在电子设备上，已经完成了第一用户在第二模态的注册过程。电子设备可以基于第二模态对第一用户进行认证。其中，第二模态与第一模态不同，第二模态的注册信息与第一模态的注册信息关联至同一用户(第一用户)。

可选的，可以是第一用户主动在电子设备上进行第二模态的注册的。比如，第二模态是人脸识别方式。用户1采用图2所示方法，在手机上进行了人脸注册，手机可以基于人脸识别方式对用户1进行认证。

可选的，可以是电子设备采集第一用户在第二模态的注册信息，完成第一用户在第二模态的注册过程的。比如，第二模态是人脸识别方式。手机在每次使用指纹识别方式对用户1认证成功后，采集用户1的人脸图像，并根据采集到的用户1的人脸图像完成人脸注册；手机可以基于人脸识别方式对用户1进行认证。

在电子设备基于第一模态对第一用户认证成功之后，电子设备采集第一用户的第一模态以及一种或多种第二模态的注册信息。在一种实现方式中，在电子设备每次基于第一模态对第一用户认证成功之后，都在预设时长内采集第一用户的第一模态以及一种或多种第二模态的注册信息。示例性的，手机每次基于声纹识别对用户1认证成功后，在预设的时长内，打开麦克风采集用户1的语音，并打开摄像头采集用户1的人脸图像。

在一些实施例中，电子设备采集第一模态以及一种或多种第二模态的注册信息之前，可以向用户确认是否同意采集各个模态的注册信息。如果确定用户同意采集各个模态的注册信息，则采集该用户的第一模态以及一种或多种第二模态的注册信息。在一种示例中，电子设备可以在第一次采集第一用户的第一模态以及一种或多种第二模态的注册信息之前，向用户确认是否同意采集各个模态的注册信息。电子设备向用户确认是否同意采集各个模态的注册信息的显示界面，可以参考图7C和图7D，此处不再赘述。

电子设备确定用户同意采集第一模态以及一种或多种第二模态的注册信息，则在电子设备每次基于第一模态对第一用户认证成功之后，采集第一用户的第一模态以及一种或多种第二模态的注册信息。

示例性的，手机每次基于声纹识别对用户1认证成功后，在预设的时长内，打开麦克风采集语音，若确定采集到的语音属于用户1，则获取用户1的语音的多个样本；并且，手机打开摄像头采集人脸图像，如果确定采集到的人脸图像属于用户1，则获取用户1的人脸图像的多个样本。可选的，手机可以对采集到的语音进行预处理，将预处理后的语音作为语音样本；可选的，手机可以对采集到的人脸图像进行预处理，将预处理后的人脸图像作为人脸图像的样本；本申请实施例对此并不进行限定。

在一种实现方式中，手机在每次采集到各个模态的样本后，可以对样本进行筛选，删除不合格的样本。具体筛选方式可参考前述实施例的描述，此处不再赘述。

示例性的，手机确定用户授权采集人脸和语音信息，手机在每一次基于声纹识别对用户1认证成功之后，打开麦克风采集用户1的语音，打开摄像头采集用户1的人脸图像。这样，手机可以分多次获取到用户1的语音的多个样本，以及用户1的人脸图像的多个样本。示例性的，手机在第一次对用户1声纹认证成功后，采集到8个用户1的语音样本，采集到10个用户1的人脸图像样本；在第二次对用户1声纹认证成功后，采集到10个用户1的语音样本，采集到15个用户1的人脸图像样本；在第三次对用户1声纹认证成功后，采集到15个用户1的语音样本，采集到12个用户1的人脸图像样本；在第四次对用户1声纹认证成功后，采集到20个用户1的语音样本，采集到18个用户1的人脸图像样本。经过4次采集，手机获取到用户1的53个语音样本，获取到用户1的55个人脸图像样本。在第五次对用户1声纹认证成功后，采集到16个用户1的语音样本，采集到10个用户1的人脸图像样本；此时，手机获取到用户1的65个人脸图像样本。

在一些实施例中，电子设备还可以基于一种第二模态对第一用户认证。本申请实施例提供的多模态身份识别方法还可以包括S903。

S903、在电子设备基于一种第二模态对第一用户认证成功之后，电子设备采集第一用户的第一模态以及一种或多种第二模态的注册信息。

在一种实现方式中，在电子设备每次基于一种第二模态对第一用户认证成功之后，都在预设时长内采集第一用户的第一模态以及一种或多种第二模态的注册信息。比如，第一模态是声纹识别，第二模态是人脸识别。示例性的，手机每次基于人脸识别对用户1认证成功后，在预设的时长内，打开麦克风采集语音，若确定采集到的语音属于用户1，则获取用户1的语音的多个样本；并且，手机打开摄像头采集人脸图像，如果确定采集到的人脸图像属于用户1，则获取用户1的人脸图像的多个样本。

在一些示例中，电子设备可能在多次基于第一模态对第一用户进行认证之后，一次或多次基于第二模态对第一用户进行认证。在电子设备每次基于第一模态对第一用户认证成功之后，以及在电子设备每次基于一种第二模态对第一用户认证成功之后，电子设备在预设时长内采集第一用户的第一模态以及一种或多种第二模态的注册信息。

在另一些示例中，电子设备可能在多次基于第一模态对第一用户进行认证之间，一次或多次基于第二模态对第一用户进行认证。在电子设备每次基于第一模态对第一用户认证成功之后，以及在电子设备每次基于一种第二模态对第一用户认证成功之后，电子设备在预设时长内采集第一用户的第一模态以及一种或多种第二模态的注册信息。

示例性的，手机确定用户授权采集人脸和语音信息。手机在每一次基于声纹识别对用户1认证成功之后，打开麦克风采集用户1的语音，打开摄像头采集用户1的人脸图像。手机在每一次基于人脸识别对用户1认证成功之后，打开麦克风采集用户1的语音，打开摄像头采集用户1的人脸图像。这样，手机可以分多次获取到用户1的语音的多个样本，以及用户1的人脸图像的多个样本。

在一种示例中，手机基于声纹识别对用户1进行认证，在第一次对用户1声纹认证成功后，采集到8个用户1的语音样本，采集到10个用户1的人脸图像样本；在第二次对用户1声纹认证成功后，采集到10个用户1的语音样本，采集到15个用户1的人脸图像样本。然后，手机基于人脸识别对用户1进行认证，在第一次对用户1人脸认证成功后，采集到15个用户1的语音样本，采集到12个用户1的人脸图像样本；在二次对用户1人脸认证成功后，采集到20个用户1的语音样本，采集到18个用户1的人脸图像样本。经过4次采集，手机获取到用户1的53个语音样本，获取到用户1的55个人脸图像样本。在第三次对用户1人脸认证成功后，采集到16个用户1的语音样本，采集到10个用户1的人脸图像样本；此时，手机获取到用户1的65个人脸图像样本。

在另一种示例中，手机基于声纹识别对用户1进行认证，在第一次对用户1声纹认证成功后，采集到8个用户1的语音样本，采集到10个用户1的人脸图像样本。然后，手机基于人脸识别对用户1进行认证，在第一次对用户1人脸认证成功后，采集到10个用户1的语音样本，采集到15个用户1的人脸图像样本；在第二次对用户1人脸认证成功后，采集到15个用户1的语音样本，采集到12个用户1的人脸图像样本。然后，手机基于声纹识别对用户1进行认证，在第二次对用户1声纹认证成功后，采集到20个用户1的语音样本，采集到18个用户1的人脸图像样本。经过4次采集，手机获取到用户1的53个语音样本，获取到用户1的55个人脸图像样本。然后，手机基于人脸识别对用户1进行认证，在第三次对用户1人脸认证成功后，采集到16个用户1的语音样本，采集到10个用户1的人脸图像样本；此时，手机获取到用户1的65个人脸图像样本。

S904、电子设备根据获取到的第一用户的第一模态的注册信息，对第一模态的算法模型进行更新；电子设备根据获取到的第一用户的第二模态的注册信息，对第二模态的算法模型进行更新。

在一些实施例中，电子设备获取到第一用户的第一模态的注册信息，如果确定第一模态的注册信息达到预设的第一模态的更新标准，则根据第一模态的注册信息对第一模态的算法模型进行更新。

比如，预设的第一模态的更新标准，可以包括：获取的第一模态的样本数量大于第一值(比如，50个)。

示例性的，经过4次采集，手机获取到用户1的53个语音样本，确定获取的用户1的语音样本数量大于第一值(50个)，则根据获取的声纹识别的注册信息，对声纹识别的算法模型进行更新。比如，手机采用获取到的用户1的53个语音样本，对声纹识别的算法模型进行训练，获取到更新的算法模型。其中，采用语音样本对声纹识别的算法模型进行训练的具体方法，可以参考常规技术中的描述，此处不再赘述。

在一些实施例中，电子设备获取到第一用户的第二模态的注册信息，如果确定第二模态的注册信息达到预设的第二模态的更新标准，则根据第二模态的注册信息对第二模态的算法模型进行更新。

示例性的，预设的第二模态的更新标准，可以包括：获取的第二模态的样本数量大于第二值(比如，60个)。其中，第一值和第二值可以相同，也可以不同。

示例性的，经过5次采集，手机获取到用户1的65个人脸图像样本，确定获取的用户1的人脸图像样本数量大于第二值(60个)，则根据获取的人脸识别的注册信息，对人脸识别的算法模型进行更新。比如，手机采用获取到的用户1的65个人脸图像样本，对人脸识别的算法模型进行训练，获取到更新的算法模型。其中，采用人脸图像样本对人脸识别的算法模型进行训练的具体方法，可以参考常规技术中的描述，此处不再赘述。

本申请实施例提供的多模态身份识别方法，在电子设备基于一种模态对一个用户进行认证成功后，可以采集该用户的多种模态的注册信息，并根据采集到的该用户的多种模态的注册信息，分别对每种模态的算法模型进行更新。这样，各个模态的算法模型可以根据电子设备上注册用户的大量样本被不断更新，从而提高多模态身份识别的准确率。

请参考图10，其示出了本申请实施例提供的多模态身份识别方法在电子设备中执行的流程示意。

如图10所示，用户在电子设备上注册了模态A，模态A可以是指纹识别、人脸识别、声纹识别或虹膜识别等识别方式中的一种。电子设备基于模态A对用户认证。认证成功后，电子设备采集其他模态的注册信息。比如，电子设备可以在基于指纹识别对用户认证成功后，拍照获取该用户的人脸图像；比如，电子设备可以在基于人脸识别对用户认证成功后，如果检测到用户的嘴唇动后，对用户进行录音；比如，电子设备可以在基于虹膜识别对用户认证成功后，拍照获取该用户的人脸图像等。进一步的，电子设备还可以对采集到的其他模块的注册信息进行样本信息评估，比如，筛选采集到的注册信息中属于该注册了模态A的用户的注册信息。进一步的，电子设备可以采用各个模态的筛选后的样本，对其对应模态的算法模型进行训练，形成各个模态的注册模型；即完成用户在各个模态的注册过程。在一些示例中，在电子设备上，一个用户的多种模态都注册成功后，可以在任意一种模态的使用过程中，对多种模态的算法模型不断的进行更新，从而提高身份识别的准确率。在一些示例中，可以使用已注册成功的模态的信息，辅助新模态样本信息评估，辅助筛选获取到的新模态的样本。电子设备上形成了多种模态的注册模型，则可以对用户进行多模态身份识别。比如，电子设备通过采集模态B的注册信息，完成了用户在模态B的注册，则电子设备可以基于模态A和/或模态B对用户进行认证。

可以理解的是，上述电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。

本申请实施例可以根据上述方法示例对上述电子设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用集成的单元的情况下，图11示出了上述实施例中所涉及的电子设备的一种可能的结构示意图。该电子设备1100包括：处理单元1101、显示单元1102和存储单元1103。

其中，处理单元1101，用于对电子设备1100的动作进行控制管理。例如，可以用于执行本申请实施例中，各个模态的注册、认证过程，采集各个模态的注册信息，并采用采集到的注册信息进行注册的处理步骤；还可以用于执行根据采集到的注册信息，对各个模态的算法模型进行更新的处理步骤；和/或用于本文所描述的技术的其它过程。

显示单元1102，用于显示电子设备的界面。例如，可以用于显示询问用户是否同意采集一种或多种模态的注册信息的界面；还可以用于显示注册成功提示信息；和/或用于本文所描述的技术的其它过程。

存储单元1103用于保存电子设备1100的程序代码和数据。例如，可以用于储存采集到的各个模态的注册信息等。

当然，上述电子设备1100中的单元模块包括但不限于上述处理单元1101、显示单元1102和存储单元1103。例如，电子设备1100中还可以包括输入单元等。输入单元用于采集用户的语音输入、人脸图像输入、指纹图像输入等。

其中，处理单元1101可以是处理器或控制器，例如可以是中央处理器(centralprocessing unit，CPU)，数字信号处理器(digital signal processor，DSP)，专用集成电路(application-specific integrated circuit，ASIC)，现场可编程门阵列(fieldprogrammable gate array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。处理器可以包括应用处理器和基带处理器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。显示单元1102可以是显示屏。存储单元1103可以是存储器。输入单元可以包括麦克风、摄像头、指纹传感器等。

例如，处理单元1101为处理器(如图5所示的处理器110)，显示单元1102为显示屏(如图5所示的显示屏194，该显示屏194可以为触摸屏，该触摸屏中可以集成显示面板和触控面板)，存储单元1103可以为存储器(如图5所示的内部存储器121)。输入单元可以包括麦克风(如图5所示的麦克风170C)、摄像头(如图5所示的摄像头193)、指纹传感器(如图5所示的传感器模块180中的指纹传感器)。本申请实施例所提供的电子设备1100可以为图5所示的电子设备100。其中，上述处理器、存储器等可以耦合在一起，例如通过总线连接。

本申请实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机程序代码，当上述处理器执行该计算机程序代码时，电子设备执行图6或图9中的相关方法步骤实现上述实施例中的方法。

本申请实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行图6或图9中的相关方法步骤实现上述实施例中的方法。

其中，本申请实施例提供的电子设备1100、计算机存储介质或者计算机程序产品均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以使用硬件的形式实现，也可以使用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (20)

1.一种多模态身份识别方法，其特征在于，包括：

电子设备接收用户在第一模态的注册操作，所述第一模态为所述电子设备支持的多种身份识别方式中任意一种；

所述电子设备接收所述用户在所述第一模态的认证操作；

若所述电子设备基于所述第一模态对所述用户认证成功，响应于所述用户在所述第一模态的认证操作，所述电子设备采集所述用户的一种或多种第二模态的注册信息；

所述电子设备根据所述用户的一种或多种第二模态的注册信息，完成所述用户在所述一种或多种第二模态的注册过程。

2.根据权利要求1所述的方法，其特征在于，所述电子设备采集所述用户的一种或多种第二模态的注册信息，包括：

所述电子设备在预设时长内采集所述用户的一种或多种第二模态的注册信息。

3.根据权利要求1或2所述的方法，其特征在于，在所述电子设备采集所述用户的一种或多种第二模态的注册信息之前，所述方法还包括：

所述电子设备接收所述用户对采集所述用户的一种或多种第二模态的注册信息的确认操作。

4.根据权利要求1-3任意一项所述的方法，其特征在于，在所述电子设备接收用户在第一模态的注册操作之后，所述方法还包括：

若确定所述用户在所述第一模态注册成功，响应于所述用户在第一模态的注册操作，所述电子设备采集所述用户的一种或多种第二模态的注册信息。

5.根据权利要求1-4任意一项所述的方法，其特征在于，所述模态包括：指纹识别，人脸识别，声纹识别或虹膜识别。

6.一种多模态身份识别方法，其特征在于，包括：

电子设备接收用户在第一模态的认证操作；所述第一模态为所述电子设备支持的多种身份识别方式中任意一种；

若所述电子设备基于所述第一模态对所述用户认证成功，响应于所述用户在所述第一模态的认证操作，所述电子设备采集所述用户的第一模态以及一种或多种第二模态的注册信息；

所述电子设备根据所述用户的第一模态的注册信息，对所述第一模态的算法模型进行更新；所述电子设备分别根据每种所述第二模态的注册信息，对每种所述第二模态的算法模型进行更新。

7.根据权利要求6所述的方法，其特征在于，所述电子设备采集所述用户的第一模态以及一种或多种第二模态的注册信息，包括：

所述电子设备在预设时长内采集所述用户的第一模态以及一种或多种第二模态的注册信息。

8.根据权利要求6或7所述的方法，其特征在于，在所述电子设备采集所述用户的第一模态以及一种或多种第二模态的注册信息之前，所述方法还包括：

所述电子设备接收所述用户对采集所述用户的第一模态以及一种或多种第二模态的注册信息的确认操作。

9.根据权利要求6-8任意一项所述的方法，其特征在于，所述模态包括：指纹识别，人脸识别，声纹识别或虹膜识别。

10.根据权利要求1-9任意一项所述的方法，其特征在于，所述方法还包括：

所述电子设备接收用户在所述电子设备上进行指纹认证的操作；

若所述电子设备对所述用户进行指纹认证成功，响应于所述用户在所述电子设备上进行指纹认证的操作，所述电子设备采集所述用户的人脸图像。

11.根据权利要求1-9任意一项所述的方法，其特征在于，所述方法还包括：

所述电子设备接收用户的输入语音；

所述电子设备根据所述用户的输入语音，对所述用户进行声纹认证；

若所述电子设备对所述用户进行声纹认证成功，所述电子设备采集所述用户的人脸图像。

12.一种图形用户界面GUI，所述图形用户界面存储在电子设备中，其特征在于，所述图形用户界面包括：

响应于电子设备基于第一模态对用户认证成功，所述电子设备在第一界面显示第一GUI；

所述第一GUI中包括第一信息，所述第一信息用于提示采集所述用户在至少一种模态的注册信息，所述模态包括：指纹识别，人脸识别，声纹识别或虹膜识别；

所述第一GUI中还包括第一按钮和第二按钮，所述第一按钮用于触发所述电子设备确认所述用户同意采集所述用户在至少一种模态的注册信息；所述第二按钮用于触发所述电子设备确认所述用户不同意采集所述用户在至少一种模态的注册信息。

13.一种图形用户界面GUI，所述图形用户界面存储在电子设备中，其特征在于，所述图形用户界面包括：

响应于电子设备上用户在第一模态注册成功，所述电子设备在第一界面显示第一GUI；

所述第一GUI中包括第一信息，所述第一信息用于提示采集所述用户在至少一种模态的注册信息，所述模态包括：指纹识别，人脸识别，声纹识别或虹膜识别；

所述第一GUI中还包括第一按钮和第二按钮，所述第一按钮用于触发所述电子设备确认所述用户同意采集所述用户在至少一种模态的注册信息；所述第二按钮用于触发所述电子设备确认所述用户不同意采集所述用户在至少一种模态的注册信息。

14.根据权利要求12或13所述的图形用户界面GUI，其特征在于，所述图形用户界面还包括：

响应于用户对所述第一按钮的点击操作，所述电子设备在所述第一界面显示第二GUI；所述第二GUI包括多个选项，其中，每个所述选项对应一种所述模态。

15.根据权利要求12或13所述的图形用户界面GUI，其特征在于，所述第一GUI中还包括多个选项，其中，每个所述选项对应一种所述模态。

16.一种电子设备，其特征在于，包括：

处理器，用于接收用户在第一模态的注册操作，所述第一模态为所述电子设备支持的多种身份识别方式中任意一种；

所述处理器，还用于接收所述用户在所述第一模态的认证操作；

输入单元，用于若所述处理器确定所述电子设备基于所述第一模态对所述用户认证成功，响应于所述用户在所述第一模态的认证操作，采集所述用户的一种或多种第二模态的注册信息；

所述处理器，还用于根据所述用户的一种或多种第二模态的注册信息，完成所述用户在所述一种或多种第二模态的注册过程。

17.根据权利要求16所述的电子设备，其特征在于，

所述处理器，还用于接收所述用户对采集所述用户的一种或多种第二模态的注册信息的确认操作。

18.一种电子设备，其特征在于，包括：

处理器，用于接收用户在第一模态的认证操作；所述第一模态为所述电子设备支持的多种身份识别方式中任意一种；

输入单元，用于若所述处理器确定所述电子设备基于所述第一模态对所述用户认证成功，响应于所述用户在所述第一模态的认证操作，采集所述用户的第一模态以及一种或多种第二模态的注册信息；

所述处理器，还用于根据所述用户的第一模态的注册信息，对所述第一模态的算法模型进行更新；所述电子设备分别根据每种所述第二模态的注册信息，对每种所述第二模态的算法模型进行更新。

19.一种计算机存储介质，其特征在于，所述计算机存储介质包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-11任意一项所述的方法。

20.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1-11任意一项所述的方法。

Images