CN116743909B - 信息的提醒方法、电子设备及可读介质 - Google Patents

Abstract

本申请提供了一种信息的提醒方法、电子设备及可读介质，电子设备存储有多个联系人的标识、生物信息和交集信息，方法包括：获取第二用户的生物信息；比对第二用户的生物信息和多个联系人的生物信息，确定与第二用户的生物信息的匹配度最高的联系人为候选联系人；在第一界面上显示候选联系人的标识、生物信息和交集信息。第一用户和第二用户产生交集的场景下，电子设备获取第二用户的生物信息，利用第二用户的生物信息，确定出于第二用户最为匹配的联系人，并将该联系人的标识、生物信息和交集信息进行显示，第一用户可通过查阅联系人的标识、生物信息和交集信息，获知第二用户的身份，辅助第一用户回忆到自身与第二用户在上一次发生交集时的场面。

Description

信息的提醒方法、电子设备及可读介质

技术领域

本申请涉及电子设备技术领域，尤其涉及一种信息的提醒方法、电子设备及计算机可读存储介质。

背景技术

目前，随着人们社交圈的扩大，我们在日常生活中每天都会接触到来自各行各业的人，有些人我们可能天天与他见面沟通，因此我们会非常熟悉对方的身份。但是，也有一些人我们平时跟他们没有什么交集，只是在第一次见面时互相加了联系方式，此后就再无联系。当下次再遇见这个人时，我们只会觉得很熟悉但是想不起来他的名字以及与他的交集。

因此，需要提供一种快速识别对方的身份信息及与对方的交集的方法。

发明内容

本申请提供了一种信息的提醒方法、电子设备、计算机程序产品及计算机可读存储介质，目的在于实现对第一用户提醒其他用户的身份和交集。

为了实现上述目的，本申请提供了以下技术方案：

第一方面，本申请提供了一种可应用于电子设备信息的提醒方法，该电子设备存储有多个联系人的标识、生物信息和交集信息，交集信息用于指示第一用户和联系人首次交集的时间和交集内容，该方法包括：获取第二用户的生物信息；比对第二用户的生物信息和多个联系人的生物信息，确定多个联系人中与第二用户的生物信息的匹配度最高的联系人，作为候选联系人；在第一界面上显示候选联系人的标识、生物信息和交集信息，以向第一用户提醒第二用户的标识、生物信息和交集信息。

由上述内容可以看出：第一用户和第二用户产生交集的场景下，电子设备获取第二用户的生物信息，利用第二用户的生物信息，从电子设备保存的多个联系人中，确定出于第二用户最为匹配的联系人，并将该联系人的标识、生物信息和交集信息进行显示，第一用户可通过查阅联系人的标识、生物信息和交集信息，获知第二用户的身份，辅助第一用户回忆到自身与第二用户在上一次发生交集时的场面。

其中，第二用户的生物信息用于反映第二用户的生理性特征，第二用户的生物信息可以包括第二用户的图像，通常包括人脸，以及第二用户的声音信息等。联系人的标识可以理解成联系人的名称，联系人的名称加职务，联系人的名称加工作单位等。

在一个可能的实施方式中，比对第二用户的生物信息和多个联系人的生物信息，确定多个联系人中与第二用户的生物信息的匹配度最高的联系人，作为候选联系人，包括：提取第二用户的生物信息的特征序列；提取多个联系人的生物信息的特征序列；将第二用户的生物信息的特征序列，与多个联系人的生物信息的特征序列进行特征识别，得到特征识别结果；利用特征识别结果，从多个联系人中筛选出与第二用户的特征序列匹配度最高的联系人，作为候选联系人。

在一个可能的实施方式中，第二用户的生物信息包括第二用户的声音信息和图像信息；比对第二用户的生物信息和多个联系人的生物信息，确定多个联系人中与第二用户的生物信息的匹配度最高的联系人，作为候选联系人，包括：比对第二用户的声音信息和多个联系人的声音信息，确定多个联系人中与第二用户的声音信息匹配度高的多个联系人，作为第一候选联系人集；比对第二用户的图像信息和多个联系人的图像信息，确定多个联系人中与第二用户的图像信息匹配度高的多个联系人，作为第二候选联系人集；从第一候选联系人集和第二候选联系人集中，筛选出候选联系人。

在一个可能的实施方式中，从第一候选联系人集和第二候选联系人集中，筛选出候选联系人，包括：从第一候选联系人集和第二候选联系人集中，筛选出匹配度最高的联系人，作为候选联系人；或者，从第一候选联系人集和第二候选联系人集中，筛选出匹配度经加权计算后匹配度最高的联系人，作为候选联系人。

在一个可能的实施方式中，第二用户的生物信息包括第二用户的声音信息和图像信息；比对第二用户的生物信息和多个联系人的生物信息，确定多个联系人中与第二用户的生物信息的匹配度最高的联系人，作为候选联系人，包括：提取第二用户的声音信息的声学特征；提取第二用户的图像信息的图像特征；拼接第二用户的声音信息的声学特征和第二用户的图像信息的图像特征，得到融合特征；调用神经网络模型处理融合特征，得到预测结果；其中，预测结果用于指示候选联系人；神经网络模型包括第一全连接层和第二全连接层，第一全连接层用于实现声纹验证，第二全连接层用于实现图像识别。

在一个可能的实施方式中，比对第二用户的生物信息和多个联系人的生物信息，确定多个联系人中与第二用户的生物信息的匹配度最高的联系人，作为候选联系人之后，还包括：获取第一用户输入的交集信息；以第一用户输入的交集信息，更新候选联系人的交集信息。

在一个可能的实施方式中，获取第二用户的生物信息，包括：响应于第一用户在通讯录应用界面输入的操作，获取第二用户的声音信息和/或图像信息：或者，第一用户与第二用户进行语音通话，获取第二用户的声音信息；或者，第一用户与第二用户进行视频通话，获取第二用户的图像信息和声音信息。

在一个可能的实施方式中，获取第二用户的生物信息，包括：第一用户与第二用户进行语音通话，获取第二用户的声音信息；在第一界面上显示候选联系人的标识、生物信息和交集信息，包括：在语音通话界面上显示第一弹框，第一弹框包括候选联系人的标识、生物信息和交集信息；或者，获取第二用户的生物信息，包括：第一用户与第二用户进行视频通话，获取第二用户的图像信息和声音信息；在第一界面上显示候选联系人的标识、生物信息和交集信息，包括：在视频通话界面上显示第二弹框，第二弹框包括候选联系人的标识、生物信息和交集信息。

在一个可能的实施方式中，在第一界面上显示候选联系人的标识、生物信息和交集信息之后，还包括：响应于用户在第一界面上输入的操作，向耳机发送候选联系人的标识、生物信息和交集信息，由耳机对候选联系人的标识、生物信息和交集信息进行语音播报。

在一个可能的实施方式中，还包括：响应于用户在通讯录应用界面输入的操作，获取第三用户的声音信息和/或图像信息，第一用户与第三用户进行语音通话，获取第三用户的声音信息，或者，第一用户与第三用户进行视频通话，获取第三用户的图像信息和声音信息；响应于用户在通讯录应用界面输入的操作，获取第三用户与第一用户交集得到的交集信息和第三用户的标识；保存第三用户的标识、交集信息，以及声音信息和/或图像信息。

在一个可能的实施方式中，还包括：确定多个联系人中不存在与第二用户的生物信息的匹配度最高的联系人；获取第二用户与第一用户交集得到的交集信息和第二用户的标识；将第二用户作为联系人，保存第二用户的标识、交集信息以及生物信息。

第二方面，本申请提供了一种电子设备，包括：一个或多个处理器、存储器和显示屏；存储器和显示屏，与一个或多个处理器耦合，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，电子设备执行如第一方面中任意一项所述的信息的提醒方法。

第三方面，本申请提供了一种计算机可读存储介质，用于存储计算机程序，计算机程序被执行时，具体用于实现如第一方面中任意一项所述的信息的提醒方法。

第四方面，本申请提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如第一方面中任意一项所述的信息的提醒方法。

附图说明

图1为本申请实施例提供的用户与联系人初次见面的场景示意图；

图2为本申请实施例提供的一种电子设备的硬件结构图；

图3为本申请实施例提供的一种电子设备的软件框架图；

图4至图12为本申请实施例提供的线下场景中电子设备进行信息提醒的用户界面的示意图；

图13为本申请实施例提供的线上场景中电子设备中的电话应用进行信息提醒的用户界面示意图；

图14至图15为本申请实施例提供的线上场景中电子设备中的即时通信应用进行信息提醒的用户界面示意图；

图16为本申请实施例一提供的信息的提醒方法的流程图；

图17为本申请实施例提供的声纹验证的原理图；

图18为本申请实施例提供的图像识别的原理图；

图19为本申请实施例提供的电子设备进行信息提醒的方式示意图；

图20为本申请实施例二提供的信息的提醒方法的流程图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请实施例中，“一个或多个”是指一个、两个或两个以上；“和/或”，描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本申请实施例涉及的多个，是指大于或等于两个。需要说明的是，在本申请实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。

目前，随着人们社交圈的扩大，我们在日常生活中每天都会接触到来自各行各业的人，有些人我们可能天天与他见面沟通，因此我们会非常熟悉对方的身份。但是，也有一些人我们平时跟他们没有什么交集，只是在第一次见面时互相加了联系方式，此后就再无联系。当下次再遇见这个人时，我们只会觉得很熟悉但是想不起来他的名字以及与他的交集。

为使得人们快速识别对方的身份信息及与对方的交集，本申请实施例提供一种信息的提醒方法。如图1所示，用户在与联系人初次见面时，在联系人允许的情况下，用户可以采集联系人的声音信息和/或图像信息，并将采集到的联系人的声音信息和/或图像信息存储在电子设备中，用户还可以将与联系人初次见面的聊天主要内容存储在电子设备中。当用户再次见到某一联系人很熟悉，但想不起来对方的名字以及与对方的交集时，用户可以在对方允许的情况下，使用电子设备采集该联系人的声音信息进行声纹验证和/或采集该联系人的图像信息进行图像识别，电子设备准确快速的判断出该联系人的详细信息。

可以理解的是，本申请实施例中提到的电子设备可以是手机，平板电脑，个人数字助理(Personal Digital Assistant，PDA)等移动设备；也可以是于桌面型、膝上型、笔记本电脑，超级移动个人计算机(Ultra-mobile Personal Computer，UMPC)，手持计算机和上网本等PC设备。

以手机为例，图2为本申请实施例提供的一种电子设备的组成示例。如图2所示，电子设备200可以包括处理器210，内部存储器220，摄像头230，显示屏240，天线1，天线2，移动通信模块250，无线通信模块260，音频模块270，传感器模块280，以及按键290等。

可以理解的是，本实施例示意的结构并不构成对电子设备200的具体限定。在另一些实施例中，电子设备200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，智能传感集线器(sensorhub)和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

处理器210中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器210中的存储器为高速缓冲存储器。该存储器可以保存处理器210刚用过或循环使用的指令或数据。如果处理器210需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器210的等待时间，因而提高了系统的效率。

内部存储器220可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器210通过运行存储在内部存储器220的指令，从而执行电子设备200的各种功能应用以及数据处理。内部存储器220可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备200使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器220可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器210通过运行存储在内部存储器220的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备200的各种功能应用以及数据处理。

一些实施例中，内部存储器220存储的是用于执行信息的提醒方法的指令。处理器210可以通过执行存储在内部存储器220中的指令，实现控制电子设备采集联系人的声音信息进行声纹验证和/或采集联系人的图像信息进行图像识别的操作，并将获取的最终的联系人结果显示在手机显示屏240上。

电子设备通过GPU，显示屏240，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏240和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏240用于显示图像，视频等。显示屏240包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oled，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备可以包括1个或N个显示屏240，N为大于1的正整数。

电子设备200可以通过ISP，摄像头230，视频编解码器，GPU，显示屏240以及应用处理器等实现拍摄功能。

ISP用于处理摄像头230反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头230中。

摄像头230用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备200可以包括1个或N个摄像头230，N为大于1的正整数。

一些实施例中，摄像头230用于拍摄本申请实施例提及的联系人图像。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备200在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备200可以支持一种或多种视频编解码器。这样，电子设备200可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)4，MPEG2，MPEG3，MPEG4等。

电子设备200的无线通信功能可以通过天线1，天线2，移动通信模块250，无线通信模块260，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备200中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块250可以提供应用在电子设备200上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块250可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块250可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块250还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块250的至少部分功能模块可以被设置于处理器210中。在一些实施例中，移动通信模块250的至少部分功能模块可以与处理器210的至少部分模块被设置在同一个器件中。

无线通信模块260可以提供应用在电子设备200上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块260可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块260经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器210。无线通信模块260还可以从处理器210接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

电子设备可以通过音频模块270，扬声器270A，受话器270B，麦克风270C，耳机接口270D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块270用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块270还可以用于对音频信号编码和解码。在一些实施例中，音频模块270可以设置于处理器210中，或将音频模块270的部分功能模块设置于处理器210中。

扬声器270A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备可以通过扬声器270A收听音乐，或收听免提通话。

受话器270B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备接听电话或语音信息时，可以通过将受话器270B靠近人耳接听语音。

麦克风270C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风270C发声，将声音信号输入到麦克风270C。电子设备可以设置至少一个麦克风270C。在另一些实施例中，电子设备可以设置两个麦克风270C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备还可以设置三个，四个或更多麦克风270C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口270D用于连接有线耳机。耳机接口270D可以是USB接口，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

传感器模块280中，压力传感器280A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器280A可以设置于显示屏240。压力传感器280A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器280A，电极之间的电容改变。电子设备根据电容的变化确定压力的强度。当有触摸操作作用于显示屏240，电子设备根据压力传感器280A检测触摸操作强度。电子设备也可以根据压力传感器280A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。

触摸传感器280B，也称“触控器件”。触摸传感器280B可以设置于显示屏240，由触摸传感器280B与显示屏240组成触摸屏，也称“触控屏”。触摸传感器280B用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏240提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器280B也可以设置于电子设备的表面，与显示屏240所处的位置不同。

一些实施例中，压力传感器280A和触摸传感器280B可用于检测用户对显示屏240展示的控件、图像、图标、视频等的触控操作。电子设备可响应压力传感器280A和触摸传感器280B检测的触控操作，执行对应流程。电子设备执行的流程的具体内容，可参考下述实施例内容。

按键290包括开机键，音量键等。按键290可以是机械按键，也可以是触摸式按键。电子设备可以接收按键输入，产生与电子设备的用户设置以及功能控制有关的键信号输入。

另外，在上述部件之上，电子设备运行有操作系统。例如操作系统，/>操作系统，/>操作系统等。在操作系统上可以安装运行应用程序。

图3是本申请实施例提出的电子设备的软件结构示意图。

分层架构将电子设备的操作系统分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，电子设备的操作系统为Android系统。Android系统，从上至下分别为应用程序(application，APP)层、应用程序框架层(简称为FWK)、系统库以及内核层。

应用程序层可以包括一系列应用程序包。如图3所示，应用程序包可以包括相机，图库，即时通信，电话，录音机及通讯录等应用程序。

一些实施例中，相机用于拍摄图像或视频。当然，相机可响应用户的操作，拍摄联系人的图像。

录音机用于录制声音。可以理解的是，录音机可以用于录制联系人的声音。

通讯录用于存储联系人的姓名、电话、公司名称以及家庭住址等基本信息。同时，通讯录中还配置有配置文件，配置文件中包含多个条目，每个条目可以包括一个联系人的详细信息，其中，联系人的详细信息包括：联系人姓名、联系人图像、用户与联系人上次聊天的时间以及用户与联系人上次聊天的内容等。

即时通信应用通常属于第三方应用程序，支持用户之间的对话，语音通话和视频通话。

电话应用用于实现通话请求的发起和接听。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。如图3所示，应用程序框架层可以包括窗口管理器，内容提供器，电话管理器，资源管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

电话管理器用于提供电子设备的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。在本申请一些实施例中，应用冷启动会在Android runtime中运行，Android runtime由此获取到应用的优化文件状态参数，进而Android runtime可以通过优化文件状态参数判断优化文件是否因系统升级而导致过时，并将判断结果返回给应用管控模块。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，三维图形处理库(例如：OpenGL ES)，以及二维图形引擎(例如：SGL)等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

三维图形处理库用于实现三维图形绘图，图像渲染、合成和图层处理等。

二维图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，传感器驱动等。一些实施例中，显示驱动用于控制显示屏显示图像；摄像头驱动用于控制摄像头运行。传感器驱动用于控制多个传感器运行，如控制压力传感器和触摸传感器运行。

在上述四层架构之下，电子设备还设置有硬件层，硬件层可包括前述提出的电子设备硬件部件。示例性的，图3展示了显示屏和摄像头。

需要说明的是，本申请实施例虽然以系统为例进行说明，但是其基本原理同样适用于基于/>等操作系统的电子设备。

以下实施例中所涉及的技术方案可以在具有上述硬件架构的电子设备200中实现。

为了便于理解，本申请以下实施例将以具有图2所示结构的电子设备，对本申请实施例提供的一种信息的提醒方法进行具体阐述。并且，本申请以下实施例中，电子设备以手机为例，手机中安装有通讯录应用。

通常情况下，用户与联系人认识和交流的方式可以包括线上和线下两种方式。

当用户与联系人认识和交流的方式是线下时，用户可对手机的通信录应用进行操作，手机通讯录应用可以响应于用户的操作对联系人信息进行存储，也可以响应于用户的操作识别联系人的身份以及展示用户与联系人之间的交集信息。

以下结合图4-图12对手机启动通讯录应用完成联系人信息存储和识别的界面进行描述。

当用户与联系人认识和交流的方式是线下时，示例性的，当用户在图1所示的场景下，在这种情况下，用户可以通过触摸手机屏幕上特定的空间、按压特定的物理按键或按键组合、输入语音、隔空手势等方式，指示手机开启通讯录应用。图4中(a)展示了用户开启通讯录应用的一种实现方式。如图4中(a)所示，用户点击手机的显示屏展示的通讯录应用的图标401以输入开启通讯录应用的指示，手机响应于用户开启通讯录应用的指示后，手机启动通讯录应用，显示如图4中(b)展示的界面。

图4中(b)展示的界面为通讯录界面。通讯录界面包括手机保存的多个联系人信息、新建联系人控件402、更多控件403、声纹验证控件404、图像识别控件405和视频识别控件406。

在用户与联系人初次见面时，用户在征得联系人的同意的情况下，可通过手机采集联系人的声音信息和/或图像信息。在用户与联系人聊天结束时，用户可以控制手机保存联系人姓名、采集到的联系人的声音信息和/或图像信息。一些实施例中，手机的通讯录应用将联系人姓名、联系人的语音信息和/或图像信息形成名单list，并将其保存到通讯录应用的配置文件。

本次聊天的主要内容可以存储在标签，手机的通讯录应用将标签、联系人的声音信息和/或图像信息形成名单list。名单list可以以联系人姓名+其他的形式进行命名，存储在配置文件中。示例性的，如图4中(b)所示，名单list以联系人姓名+联系人工作单位的形式命名。

可以理解的是，名单list可以作为配置文件的条目item，按照时间排序。手机的显示屏上会显示每个条目item的存储时间，配置文件的条目item可以按照存储时间距此时刻时间的长短进行排序。示例性的，如图4中(b)所示，条目item按照存储时间距此时刻时间从短到长的顺序，在配置文件中从上到下依次排列。

其中，新建联系人控件402可以用于添加联系人。示例性的，用户点击新建联系人控件402，手机界面跳转到如图4中(c)所示的新建联系人界面。

更多控件403可以用于展开一系列对联系人信息的操作选项。示例性的，用户点击更多控件403，可以包括删除联系人信息、编辑联系人信息和查询联系人信息操作选项，供用户根据所需对联系人信息进行操作。

声纹验证控件404可以用于开启声纹验证。示例性的，用户点击声纹验证控件404，手机界面跳转到如图4中(d)所示的声纹验证界面。

图像识别控件405可以用于开启图像识别。示例性的，用户点击图像识别控件405，手机界面跳转到如图8中(b)所示的图像识别界面。

在用户需要添加联系人时，用户可如图4中(b)所示，点击新建联系人控件402，手机响应于用户的点击操作，手机界面跳转到如图4中(c)所示的新建联系人界面。如图4中(c)所示，新建联系人界面包含需要填写的联系人信息。其中，联系人信息包括：图像信息栏407、音频信息栏408和标签栏409。

其中，图像信息栏407用于存储联系人的图像信息，用户可以通过上传或者拍摄联系人照片的方式，将联系人的图像进行保存；音频信息栏408用于存储联系人的声音信息，用户可以通过控制手机打开麦克风的方式录制对方的任意一句话，或是上传手机的录音机录制的录音文件的方式，保存联系人的声音信息；标签栏409用于存储此次与联系人聊天内容的简述，可以通过用户总结与联系人的聊天内容，并将聊天内容的简述输入到标签栏中。

用户将联系人的声音信息、图像信息，以及标签都输入到新建联系人界面的对应位置后，用户可以点击图4中(c)展示的保存控件410。手机的通讯录应用响应于用户的点击操作，保存联系人的声音信息、图像信息以及标签。当然，用户也可以点击图4中(c)展示的取消控件411，手机的通讯录应用则响应于用户的点击操作，删除用户输入的声音信息、图像信息以及标签。

需要说明的是，用户点击保存控件410后，还需要为此条联系人信息命名。示例性的，命名为如图4中(b)所示的“姓名+工作单位”格式。命名完成后，手机自动添加此条联系人信息至如图4中(b)所示的通讯录中。

由于本申请实施例提供声纹验证和图像识别两种可选的方式获取待测联系人的详细信息，因此本申请实施例可以有五种不同的方式获取待测联系人的身份信息及待测联系人与用户之间的交集。

五种不同的方式分别是：方式一，只采集待测联系人的声音信息，通过声纹验证的方式获取待测联系人的详细信息；方式二，只采集待测联系人的图像信息，通过图像识别的方式获取待测联系人的详细信息；方式三，先采集待测联系人的声音信息进行声纹验证，后采集待测联系人的图像信息进行图像识别，结合声纹验证结果和图像识别结果获取待测联系人的详细信息；方式四，先采集待测联系人的图像信息进行图像识别，后采集待测联系人的声音信息进行声纹验证，结合声纹验证结果和图像识别结果获取待测联系人的详细信息；方式五，同时对待测联系人的声音信息和图像信息进行采集，声纹验证和图像识别同时进行，结合声纹验证结果和图像识别结果获取待测联系人的详细信息。

可以理解的是，采用哪种方式由用户根据实际情况选择。

当用户根据实际情况选择声纹验证的方式时，如图4中(b)所示，用户可以点击声纹验证控件404，手机响应于用户的点击操作，手机界面跳转到如图4中(d)所示的声纹验证界面。

如图4中(d)所示，声纹验证界面包括：上传录音文件控件412和打开麦克风控件413。

其中，上传录音文件控件412与手机的录音机应用相关联，可以用于控制手机打开录音机应用的录音文件界面。示例性的，用户可以点击图4中(d)展示的上传录音文件控件412，手机响应于用户的点击操作，手机界面跳转到如图5中(a)所示的录音机应用的录音文件界面。

打开麦克风控件413与手机的麦克风关联，可以用于控制手机打开麦克风并主动采集待测联系人的声音信息。示例性的，用户可以点击图4中(d)展示的打开麦克风控件413，手机响应于用户的点击操作，手机会打开麦克风。

当手机确认已经打开麦克风时，手机的麦克风会自动采集待测联系人的声音信息。当手机的麦克风完成对待测联系人的声音信息采集之后，手机界面会自动跳转到如图5中(b)所示的验证界面。

如果用户选择以上传录音文件的方式对待测联系人进行声纹验证，用户可以点击如图4中(d)展示的上传录音文件控件412，手机响应于用户的点击操作，手机界面跳转到如图5中(a)所示的录音机应用的录音文件界面。

如图5中(a)所示，录音文件界面中包括手机保存的所有录音文件。用户可以通过点击录音选择框501对录音文件进行选中操作。需要说明的是，用户应该在所有录音文件中选择待测联系人的录音文件进行上传。由于是对待测联系人现场录制的录音文件，因此，用户可以在所有录音文件中选择距离当前时刻时间最短的一条录音文件进行上传。

在用户通过录音选择框501选中待测联系人对应的录音文件后，用户点击确认控件502，手机响应于用户的点击操作，手机界面跳转到如图5中(b)所示的验证界面。

如果用户选择以打开麦克风的方式对待测联系人进行声纹验证，用户可以点击如图4中(b)展示的打开麦克风控件413。当手机确认打开麦克风时，手机界面跳转到如图5中(b)所示的验证界面。

当手机的通讯录应用完成对待测联系人的声纹验证结束以后，手机的通讯录应用会根据声纹验证的结果对候选联系人进行匹配度的排名。一般情况下，手机的通讯录应用会将排名前两名的候选联系人存储进后台。需要说明的是，这里的手机的通讯录应用只取排名前两名的候选人只是一种示例性的说明，此处不作具体限制。

由上述五种方式可知，当手机的通讯录应用完成对待测联系人的声纹验证之后，还需要判断是否对待测联系人进行图像识别。示例性的，手机界面会在完成声纹验证之后跳转到如图6中(a)所示的判断图像识别界面。

如图6中(a)所示，判断图像识别界面包括“是”控件601和“否”控件602。

其中，“是”控件601用于启动图像识别。“否”控件602用于获取声纹验证结果。

该判断图像识别界面用于提醒用户是否还需要对待测联系人进行图像识别。若用户点击“否”控件602，手机响应于用户的点击操作，确定不需要对待测联系人进行图像识别，手机界面跳转到如图6中(b)所示的声纹验证结果界面。

如图6中(b)所示，声纹验证结果界面显示与上传的待测联系人的声音信息匹配度最高的候选联系人的详细信息。该候选联系人的详细信息包括：联系人姓名、联系人图像、用户与联系人上次聊天时间和上次聊天内容。

若用户点击“是”控件601，手机响应于用户的点击操作，确定需要对联系人进行图像识别，手机界面跳转到如图6中(c)所示的图像识别界面。

如图6中(c)所示，图像识别界面包括：上传图像控件603和拍摄图像控件604。

上传图像控件603与手机的图库应用关联，可以用于控制手机打开图库应用。示例性的，用户可以点击上传图像控件603，手机响应于用户的点击操作，手机界面跳转到如图7中(a)所示的图库界面。

拍摄图像控件604与手机的相机应用关联，可以用于控制手机打开相机应用。示例性的，用户可以点击拍摄图像控件604，手机响应于用户的点击操作，手机界面跳转到如图7中(b)所示的相机应用的相机预览界面。

如果用户选择以上传图像的方式对待测联系人进行图像识别，用户可以点击图6中(c)所示的上传图像控件603，手机响应于用户的点击操作，手机界面跳转到图7中(a)所示的图库界面。示例性的，图7中(a)所示的图库界面中包括手机保存的所有图像。用户可以通过点击图像选择框701对图像进行选中操作。可以理解的是，用户在图库中应该选中待测联系人的图像进行上传。当手机的图库应用完成上传图像操作之后，手机的通讯录应用会对接收到的待测联系人的图像进行图像识别，手机界面跳转至图7中(c)所示的图像识别界面。

如果用户选择以拍摄图像的方式对待测联系人进行图像识别，用户可以通过点击如图6中(c)所示的拍摄图像控件604，手机响应于用户的点击操作，手机界面跳转到图7中(b)所示的相机预览界面。示例性的，图7中(b)所示手机的相机预览界面可以包括：控制拍摄的控件702等。在手机的拍照模式下，用户可以点击控制拍摄的控件702，手机响应于用户的点击操作，控制摄像头拍摄一帧图像。

如图7中(b)所示，用户将待测联系人置于相机预览界面中，用户可以点击控制拍摄的控件702进行拍摄，便可以获得一张待测联系人的图像，该待测联系人的图像通常为人体正面全身图像，至少要包括待测联系人上半身的正面图像。当手机的相机应用完成拍摄图像之后，手机的通讯录应用会自动获取相机应用拍摄的待测联系人的图像，然后手机的通讯录应用会对获取到的待测联系人的图像进行图像识别，手机界面跳转至如图7中(c)所示的图像识别界面。

当手机的通讯录应用完成对待测联系人的图像识别以后，手机的通讯录应用会根据图像识别的结果对候选联系人进行匹配度的排名。一般情况下，手机的通讯录应用会将排名前两名的候选联系人存储进后台。需要说明的是，这里的手机的通讯录应用只取排名前两名的候选人只是一种示例性的说明，此处不作具体限制。

手机的通讯录应用已经完成对待测联系人的声纹验证与图像识别，手机的通讯录应用会将声纹验证得到的两位候选联系人的匹配度与图像识别得到的两位候选联系人的匹配度进行得分融合，在得分融合结果中选出匹配度最高的候选联系人作为最终的联系人。

当手机的通讯录应用计算出得分融合结果后，手机界面跳转到如图7中(d)所示的联系人结果显示界面。如图7中(d)所示，联系人结果显示界面显示得分融合后匹配度最高的候选联系人的信息。该候选联系人的详细信息包括：联系人姓名、联系人图像、用户与联系人上次聊天时间以及用户与联系人上次聊天内容。

上述过程描述的是用户选择先对待测联系人进行声纹验证，然后判断是否对待测联系人进行图像识别。需要说明的是，由上述五种方式可知，用户也可以选择先对待测联系人进行图像识别，然后判断是否对待测联系人进行声纹验证。

当用户选择先对待测联系人进行图像识别时，如图8中(a)所示，用户可以点击图像识别控件405，手机响应于用户的点击操作，手机界面跳转到如图8中(b)所示的图像识别界面。

需要说明的是，图8中(b)所示的图像识别界面与图6中(c)所示的图像识别界面相同，图8中(c)所示的图库界面与图7中(a)所示的图库界面相同，图8中(d)所示的相机应用的相机预览界面与图7中(b)所示的相机应用的相机预览界面相同，图9中(a)所示的识别界面与图7中(c)所示的识别界面相同，且用户点击的操作流程也相同，手机界面的变化过程也相同，在此不再赘述。

当手机的通讯录应用完成对待测联系人的图像识别以后，手机的通讯录应用会根据图像识别的结果对候选联系人进行匹配度的排名。一般情况下，手机的通讯录应用会将排名前两名的候选联系人存储进后台。需要说明的是，这里的手机的通讯录应用只取排名前两名的候选人只是一种示例性的说明，此处不作具体限制。

当手机的通讯录应用完成对待测联系人的图像识别之后，还需要判断是否对待测联系人进行声纹验证。示例性的，手机界面会在完成图像识别之后手机界面跳转到如图9中(b)所示的判断声纹验证界面。

如图9中(b)所示，判断声纹验证界面包括“是”控件901和“否”控件902。

其中，“是”控件901用于启动声纹验证。“否”控件902用于获取图像识别结果。

该判断声纹验证界面用于手机的通讯录应用判断是否还需要对联系人进行声纹验证。如果不需要对待测联系人进行声纹验证，用户点击“否”控件902，手机响应于用户的点击操作，手机界面跳转到如图9中(c)所示的图像识别结果界面。

如图9中(c)所示，图像识别结果界面显示与上传/拍摄的联系人图像的匹配度最高的候选联系人的详细信息。该候选联系人的详细信息包括：联系人姓名、联系人图像、用户与联系人上次聊天时间以及用户与联系人上次聊天内容。

如果手机的通讯录应用判断出需要对待测联系人进行声纹验证，用户点击“是”控件901，手机响应于用户的点击操作，手机界面跳转到如图9中(d)所示的声纹验证界面。

需要说明的是，图9中(d)所示的声纹验证界面与图4中(d)所示的声纹验证界面相同，图10中(a)所示的录音机应用的录音文件界面与图5中(a)所示的录音机应用的录音文件界面相同，图10中(b)所示的验证界面与图5中(b)所示的验证界面相同，且用户点击的操作流程也相同，手机界面的变化过程也相同，在此不再赘述。

这时手机的通讯录应用已经完成对待测联系人的声纹验证与图像识别，手机的通讯录应用会将声纹验证得到的两位候选联系人的匹配度与图像识别得到的两位候选联系人的匹配度进行得分融合，在得分融合结果中选出匹配度最高的候选联系人作为最终的联系人。

当手机的通讯录应用计算出得分融合结果后，手机界面跳转到如图10中(c)所示的联系人结果显示界面。如图10中(c)所示，联系人结果显示界面显示得分融合后匹配度最高的候选联系人的详细信息。该候选联系人的详细信息包括：联系人姓名、联系人图像、用户与联系人上次聊天时间和上次聊天内容。

上述过程描述的是用户选择先对待测联系人进行图像识别，然后判断是否对待测联系人进行声纹验证。需要说明的是，由上述五种方式可知，用户也可以选择同时对待测联系人进行声纹验证和图像识别。

当用户选择同时对待测联系人进行声纹验证和图像识别时，如图11中(a)所示，用户可以点击视频识别控件406，手机响应于用户的点击操作，手机界面跳转到如图11中(b)所示的视频识别界面。

如图11中(b)所示，视频识别界面包括：上传视频控件1101和拍摄视频控件1102。

其中，上传视频控件1101与手机的图库应用相关联，可以用于控制手机打开图库应用的视频界面。示例性地，用户可以点击图11中(b)展示的上传视频控件1101，手机响应于用户的点击操作，手机界面跳转到如图11中(c)所示的图库应用的视频界面。

拍摄视频控件1102与手机的相机应用关联，可以控制手机打开相机应用。示例性的，用户可以点击图11中(b)展示的拍摄视频控件1102，手机响应于用户的点击操作，手机界面跳转到如图11中(d)所示的相机应用的相机预览界面。

用户可以点击图11中(b)展示的上传视频控件1101，手机响应于用户的点击操作，手机界面跳转到如图11中(c)所示的图库应用的视频界面。如图11中(c)所示，视频界面中包括手机保存的所有视频文件。用户可以通过点击视频选择框1103对视频文件进行选中操作。需要说明的是，用户应该在所有视频文件中选择待测联系人的视频文件进行上传。

在用户通过视频选择框1103选中待测联系人对应的视频文件后，手机界面跳转到如图12中(b)所示的识别界面。

用户也可以点击图11中(b)展示的拍摄视频控件1102，手机响应于用户的点击操作，手机界面跳转到如图11中(d)所示的相机应用的相机预览界面。如图11中(d)所示，相机预览界面可以包括：控制拍摄的控件1104等。控制拍摄的控件1104为提供于用户启动拍摄的控件。在手机的录像模式下，用户点击控制拍摄的控件1104，摄像头开始录像。

如图11中(d)所示，用户将待测联系人置于相机预览界面中，用户可以点击控制拍摄的控件1104控制手机开始录制摄像头采集的图像。其中，手机开始录制摄像头采集的图像可以理解成：录制摄像头采集的图像并将其保存到内部存储器。图12中(a)所示的界面展示了用户利用手机拍摄待测联系人视频过程中的一个画面。图12中(a)所示的界面包括：停止控件1201等。用户可通过点击停止控件1201结束拍摄。用户可以拍摄待测联系人几秒-十几秒的视频，拍摄结束后，手机界面跳转至如图12中(b)所示的识别界面。

可以理解的是，无论是拍摄的视频还是上传的视频都应该包括待测联系人的图像信息和声音信息。

如图12中(b)所示的识别界面，手机的通讯录应用对上传或者拍摄的待测联系人的视频进行识别，即同时进行声纹验证和图像识别。手机的通讯录应用完成对待测联系人的视频识别，手机的通讯录应用会将声纹验证得到的两位候选联系人的匹配度与图像识别得到的两位候选联系人的匹配度进行得分融合，在得分融合结果中选出匹配度最高的候选联系人作为最终的联系人。

当手机的通讯录应用计算出得分融合结果后，手机界面跳转到如图12中(c)所示的联系人结果显示界面。图12中(c)所示的联系人结果显示界面与图10中(c)所示的验证界面相同，在此不再赘述。

在一些应用场景中，手机安装的其他应用可授权给手机的通讯录应用，以使得通讯录应用在其他应用运行过程中，可采集联系人的声音信息和/或图像信息，并保存联系人的声音信息和/或图像信息。

以下结合图13、图14和图15，以手机的电话应用，手机的一个即时通信应用为例，对电话应用和即时通信应用运行过程中，手机采集、保存和识别联系人信息的过程进行介绍。

如图13中(a)所示，当用户使用手机的电话应用与联系人打电话时，手机的电话应用授权给手机的通讯录应用，通讯录应用在电话应用运行过程中，采集联系人的声音信息。可以理解的是，用户使用手机的电话应用与联系人打电话时，只能采集到联系人的声音信息。

手机的通讯录应用对采集到的联系人的声音信息进行声纹验证。如果声纹验证结果为通讯录中无该联系人，则通讯录应用会如图13(b)所示，在电话应用的通话界面弹出是否添加该联系人提示框，以提醒用户进行联系人的添加。用户可以点击“是”控件，手机响应于用户的点击操作，手机界面跳转至如图13中(c)所示的新建联系人界面。如图13中(c)所示，通讯录应用已将采集到的联系人的声音信息存储至新建联系人界面对应位置。用户可以点击保存控件1301，手机响应于用户的点击操作，保存该联系人的声音信息、图像信息和标签。

可以理解的是，用户点击保存控件1301后，还需要为此条联系人信息命名，后存储至通讯录。示例性地，命名为“姓名+工作单位”格式。

用户点击“否”控件，手机响应于用户的点击操作，关闭是否添加该联系人提示框。

如果获得声纹验证结果为通讯录中的联系人，则在如图13中(a)所示电话应用的通话界面弹窗显示该联系人的详细信息，示例性的，如图13中(d)所示，该联系人的详细信息包括：联系人姓名、联系人图像、用户与联系人上次聊天时间以及用户与联系人上次聊天内容。

如图14中(a)所示，当用户在手机的一个即时通信应用上与联系人进行语音通话时，手机的即时通信应用授权给手机的通讯录应用，通讯录应用在即时通信应用运行过程中，采集联系人的声音信息。可以理解的是，用户使用手机的即时通信应用与联系人语音通话时，只能采集到联系人的声音信息。

手机的通讯录应用对采集到的联系人的声音信息进行声纹验证。如果声纹验证结果为通讯录中无该联系人，则通讯录应用会如图14(b)所示，在即时通信应用的语音通话界面弹出是否添加该联系人提示框。用户可以点击“是”控件，手机响应于用户的点击操作，手机界面跳转至如图14中(c)所示的新建联系人界面。如图14中(c)所示，通讯录应用已将采集到的联系人的声音信息存储至新建联系人界面对应位置。用户可以点击保存控件1401，手机响应于用户的点击操作，保存该联系人的声音信息、图像信息和标签。

可以理解的是，用户点击保存控件1401后，还需要为此条联系人信息命名，后存储至通讯录。示例性地，命名为“姓名+工作单位”格式。

用户点击“否”控件，手机响应于用户的点击操作，关闭是否添加该联系人提示框。

如果获得声纹验证结果为通讯录中的联系人，则在如图14中(a)所示的即时通信应用的语音通话界面弹窗显示该联系人的详细信息，示例性的，如图14中(d)所示，该联系人的详细信息包括：联系人姓名、联系人图像、用户与联系人上次聊天时间以及用户与联系人上次聊天内容。

如图15中(a)所示，当用户在手机的一个即时通信应用上与联系人进行视频通话时，手机的即时通信应用授权给手机的通讯录应用，通讯录应用在即时通信应用运行过程中，采集联系人的视频信息。可以理解的是，用户使用手机的即时通信应用与联系人视频通话时，可以采集到联系人的视频信息。

手机的通讯录应用对采集到的联系人的视频信息进行视频识别。如果视频识别结果为通讯录中无该联系人，则通讯录应用会如图15(b)所示，在即时通信应用的视频通话界面弹出是否添加该联系人提示框。用户可以点击“是”控件，手机响应于用户的点击操作，手机界面跳转至如图15中(c)所示的新建联系人界面。如图15中(c)所示，通讯录应用已将采集到的联系人的声音信息、图像信息存储至新建联系人界面对应位置。用户可以点击保存控件1501，手机响应于用户的点击操作，保存该联系人的声音信息、图像信息、标签。

用户点击“否”控件，手机响应于用户的点击操作，关闭是否添加该联系人提示框。

如果获得最终的候选联系人结果为通讯录中的联系人，则在如图15中(a)所示的即时通信应用的视频通话界面弹窗显示该联系人的详细信息，示例性的，如图15中(d)所示，该联系人的详细信息包括：联系人姓名、联系人图像、用户与联系人上次聊天时间以及用户与联系人上次聊天内容。

由于本申请实施例提供声纹验证和图像识别两种可选的方式来获取待测联系人的详细信息，因此本申请在同时选择两种验证方式验证待测联系人的详细信息时，针对融合两种验证方式的结果提供了两种可选的实施例，以下结合图16和图20对本申请提供的两种可选的实施例进行介绍。

实施例一

在本申请实施例一中，通讯录应用需要将声纹验证得到的两位候选联系人的匹配度与图像识别得到的两位候选联系人的匹配度进行得分融合，在得分融合结果中选出匹配度最高的候选联系人作为最终的联系人。

图16展示了本申请实施例一提供的信息的提醒方法的流程图。

如图16所示，信息的提醒方法，包括：

S1601、通讯录应用判断是否需要获取待测联系人的声音信息。

当用户点击图4中(b)所示的声纹验证控件404时，手机响应于用户的点击操作，由此可以判断出通讯录应用需要获取待测联系人的声音信息。

可以理解的是，当通讯录应用获取到手机的其他应用的授权时，通讯录应用也需要获取其他应用运行过程中待测联系人的声音信息。

S1602、通讯录应用获取待测联系人的声音信息。

手机的通讯录应用获取待测联系人的几秒-十几秒的声音信息。需要说明的是，手机的通讯录应用可以有两种可选的方式获取待测联系人的声音信息。

第一种方式为，手机的通讯录应用可以通过用户上传待测联系人的声音信息所对应的录音文件得到待测联系人的声音信息；第二种方式为，手机的通讯录应用还可以在用户与待测联系人的沟通过程中，通过获取麦克风的权限直接获取待测联系人的声音信息。

可以理解的是，待测联系人的声音信息所对应的录音文件可以是在用户与待测联系人交流过程中，手机的通讯录应用通过获取麦克风的权限自动进行录制的；待测联系人的声音信息所对应的录音文件也可以是用户在与待测联系人交流过程中，手机的通讯录应用通过获取录音机的权限使用录音机进行录制的。

需要说明的是，当用户选择以上传录音文件的形式获取待测联系人的声音信息时，用户可以选择在与待测联系人交流过程中，手机将待测联系人的声音信息所对应的录音文件上传至通讯录应用；用户还可以选择在与待测联系人交流结束后，手机将待测联系人的声音信息所对应的录音文件上传至通讯录应用。

当用户选择以获取麦克风权限的形式获取待测联系人的声音信息时，手机的通讯录应用会在获取到麦克风权限后自动获取待测联系人的声音信息，则手机的通讯录应用只能是在用户与待测联系人的沟通过程中获取联系人的声音信息。

S1603、通讯录应用提取待测联系人的声音信息的声学特征。

当手机的通讯录应用获取到待测联系人的声音信息后，手机的通讯录应用就会对获取到的待测联系人的声音信息进行处理，提取待测联系人的声音信息中的声纹特征。

图17示出了声纹验证中提取声学特征的过程。如图17所示，在本申请实施例中，注册语音可以理解为通讯录应用的配置文件中每个list中保存的联系人的声音信息，测试语音可以理解成是待测联系人的声音信息。

在进行声纹验证的过程中，首先需要对注册语音和测试语音分别进行声学特征提取。常用的声学特征有FBANK、MFCC、PLP等。需要说明的是，提取联系人的声音信息的声学特征的原因是，需要完成对声音信号的分析处理，去掉了与声纹验证无关的冗余信息，从而获取到影响声纹验证的重要信息。

S1604、通讯录应用利用待测联系人的声音信息的声学特征，对待测联系人的声音信息进行声纹验证。

如图17所示，在提取出待测联系人的声音信息的声学特征和通讯录应用的配置文件中的每个list中保存的联系人的声音信息的声学特征之后，手机将提取出的待测联系人的声音信息的声学特征输入到声纹模型中，从而获取待测联系人的表征信息；同时，手机将通讯录应用的配置文件中的每个list中保存的联系人的声音信息的声学特征输入到声纹模型中，从而获取通讯录应用的配置文件中每个联系人的表征信息。

其中，最常见的声纹模型为GMM/i-vector模型和NNET/x-vector模型。

然后，手机将待测联系人的表征信息和配置文件中每个联系人的表征信息进行后端判别，得到待测联系人表征信息和配置文件中每个联系人的表征信息的匹配度。其中，获取匹配度的方式可以是Cosine余弦评分方法，也可以是PLDA概率线性判别分析方法。

S1605、从通讯录应用的配置文件中选出与待测联系人声学特征匹配度排名前两位的候选联系人信息。

在获得待测联系人表征信息和配置文件中每个联系人的表征信息的匹配度后，手机根据待测联系人表征信息和配置文件中每个联系人的表征信息的匹配度进行从高到低的排序，手机会选择其中匹配度排名前两位的候选联系人的信息。

需要说明的是，这里手机选出的排名前两位的候选人信息只是一种示例性说明，对选出的候选人的数目不作具体限制。

S1606、通讯录应用判断是否需要获取待测联系人的图像信息。

当通讯录应用完成上述对待测联系人的声纹验证之后，还需要判断是否获取待测联系人的图像信息。当用户选择在声纹验证后继续对待测联系人进行图像识别时，如图6中(a)所示，用户点击“是”控件601，手机响应于用户的点击操作，由此可判断出通讯录应用需要获取待测联系人的图像信息。

可以理解的是，当通讯录应用获取到手机的其他应用的授权时，通讯录应用也需要获取其他应用运行过程中待测联系人的图像信息。

通讯录应用需要采集待测联系人的图像信息，则执行步骤S1615；通讯录应用不需要采集待测联系人的图像信息，执行步骤S1607。

S1607、从通讯录应用的配置文件中选出与待测联系人声学特征最匹配的候选联系人信息。

当步骤S1606判断出通讯录应用不再需要获取待测联系人的图像信息之后，则执行步骤S1607，手机从通讯录应用的配置文件中选出与待测联系人声学特征最匹配的候选联系人信息。

S1608、通讯录应用判断是否获取待测联系人的图像信息。

当用户点击图4中(b)所示的声纹验证控件404时，手机响应于用户的点击操作，由此可以判断出通讯录应用需要获取待测联系人的声音信息。

可以理解的是，当通讯录应用获取到手机的其他应用的授权时，通讯录应用也需要获取其他应用运行过程中待测联系人的图像信息。

S1609、通讯录应用获取待测联系人的图像信息

手机的通讯录应用可以通过拍摄待测联系人的图像来得到待测联系人的图像信息，也可以通过在图库中选择待测联系人的照片来得到待测联系人的图像信息。

可以理解的是，待测联系人的图像信息可以是在用户与待测联系人交流过程中手机的通讯录应用自动进行拍摄获取，也可以是用户在与待测联系人交流过程中使用相机进行拍摄获取。

如果手机通讯录应用在用户与待测联系人交流过程中自动进行拍摄获取的，可以通过手机通讯录应用自动进行上传，也可以是用户在与联系人交流结束后将保存在图库中的待测联系人的照片上传至通讯录应用。

如果用户在与联系人交流过程中使用相机对联系人进行拍摄，可以是用户在与联系人交流过程中使用手机通讯录应用调用相机应用对联系人进行拍摄，也可以是用户在与联系人交流结束后，在手机通讯录应用中调用图库应用选取拍摄的联系人照片进行上传。

S1610、通讯录应用提取待测联系人的图像信息的图像特征。

当手机的通讯录应用采集到待测联系人的图像信息之后，手机的通讯录应用就会对待测联系人的图像进行处理，提取待测联系人图像信息中的图像特征。

图18示出图像识别原理图。如图18所示，在对待测联系人图像信息进行图像特征提取之前，还需要先对图像进行预处理操作。

S1611、通讯录应用利用待测联系人的图像信息的图像特征，对待测联系人的图像信息进行图像识别。

如图18所示，在上述步骤完成对待测联系人图像信息的图像特征提取之后，就会对待测联系人的图像进行图像识别。可以理解的是，图像识别的过程可以理解成是模式匹配的过程。在特征库中，存储有配置文件各个名单中的图像信息的图像特征信息，因此只需要将特征库中的图像特征信息与待测联系人图像信息的图像特征信息进行匹配即可，并输出特征库中配置文件各个条目中的图像信息的图像特征信息和待测联系人图像信息的图像特征信息的匹配度。

S1612、从通讯录应用的配置文件中选出与待测联系人图像特征匹配度排名前两位的候选联系人信息。

在获得配置文件各个名单中的图像信息的图像特征信息和待测联系人图像信息的图像特征信息的匹配度后，手机根据配置文件各个名单中的图像信息的图像特征信息和待测联系人图像信息的图像特征信息的匹配度选出匹配度从高到低排名前两位的候选联系人的详细信息。

S1613、通讯录应用判断是否需要获取待测联系人的声音信息。

当用户根据实际情况在图像识别后继续进行声音识别时，如图9中(b)所示，用户点击“是”控件901，手机响应于用户的点击操作，由此可判断出通讯录应用需要获取声音信息。

可以理解的是，当通讯录应用获取到手机的其他应用的授权时，通讯录应用也需要获取其他应用运行过程中待测联系人的声音信息。

通讯录应用需要采集待测联系人的声音信息，执行步骤S1615；通讯录应用不需要采集待测联系人的声音信息，执行步骤S1614。

S1614、从通讯录应用的配置文件中选出与待测联系人图像特征最匹配的候选联系人信息。

当步骤S1613判断出通讯录应用不再需要获取待测联系人的声音信息之后，则执行步骤S1614，手机从通讯录应用的配置文件中选出与待测联系人图像特征最匹配的候选联系人信息。

S1615、通讯录应用对声纹验证获取的两位候选联系人的匹配度与图像识别获取的两位候选联系人的匹配度进行得分融合判断。

得分融合可以包括两种方式，一种方式是获取候选联系人及匹配度，直接根据匹配度进行排名。示例性的，声纹验证得到的两位候选联系人及匹配度为：张三，匹配度90％；李四，匹配度80％。图像识别得到的两位候选联系人及匹配度为：张三，匹配度92％；王五，匹配度85％。那么，根据该得分融合方式得到的匹配度排名为：张三，匹配度92％；张三，匹配度90％；王五，匹配度85％；李四，匹配度80％。

另一种方式是将声纹验证获取的两位候选联系人的匹配度和图像识别获取的两位候选联系人的匹配度按照不同的概率权重进行相加求和，根据求和结果进行排名。示例性的，声纹验证获得的匹配度权重占40％，图像识别获得的匹配度权重占60％。声纹验证得到的两位候选联系人及匹配度为：张三，匹配度90％；李四，匹配度80％。图像识别得到的两位候选联系人及匹配度为：张三，匹配度92％；王五，匹配度85％。那么，根据该得分融合方式得到的匹配度排名为：张三，匹配度40％×90％+60％×92％＝91.2％；王五，60％×85％＝51％；李四，匹配度40％×80％＝32％。

可以理解的是，声纹验证获取的两位候选联系人和图像识别获取的两位候选联系人中可以有相同的候选联系人。

S1616、通讯录应用根据得分融合判断的结果选出最匹配的候选联系人信息。

手机的通讯录应用可以根据上述任意一种得分融合的方式计算各个候选联系人的匹配度。计算出各个候选联系人的匹配度后，选出其中匹配度最高的候选联系人作为最匹配的候选联系人。

S1617、手机通过耳机、手机提示最匹配的候选联系人信息。

图19示出本申请实施例展示最匹配候选联系人的详细信息的示意图。如图19所示，手机的通讯录应用在计算出最匹配的候选联系人信息后，在手机的显示屏上弹窗该联系人的详细信息，其中详细信息包括：联系人姓名、联系人图像、用户与联系人上次聊天时间以及用户与联系人上次聊天内容。

需要说明的是，当用户佩戴有耳机时，用户可以点击该弹窗，耳机将播报该联系人的详细信息的内容。

S1618、通讯录应用更新配置文件内容。

用户与待测联系人交流结束后，用户更新配置文件中待测联系人的内容。示例性的，用户可以将与待测联系人上一次的聊天内容更改为本次聊天内容，用户还可以将待测联系人的图像更改为本次交流采集到的联系人图像等。

实施例二

在本申请实施例二中，通讯录应用将采用多模计算方式获取最匹配的候选联系人信息，即采用声学特征和图像特征拼接的方式获取最匹配的候选联系人信息。

图20示出本申请实施例二提供的信息的提醒方法的流程图。如图20所示，信息的提醒方法，包括：

步骤S2001至步骤S2014，其中，步骤S2001至步骤S2007的描述与实施例一中步骤S1601至步骤S1607的描述相同，此处不再赘述。

步骤S2008至步骤S2014的描述与实施例一中步骤S1608至步骤S1614的描述相同，此处再赘述。

其中，步骤S2006中，通讯录应用判断需要获取待测联系人的图像信息，以及步骤S2013中，通讯录应用判断需要获取待测联系人的声音信息，则执行步骤S2015至步骤S2019。

S2015、通讯录应用将提取的声学特征和图像特征拼接。

通讯录应用将步骤S2003中提取到的待测联系人的声音信息的声学特征和步骤S2009中提取到的待测联系人的图像信息的图像特征进行拼接处理。可以理解的是，对待测联系人的声学特征和图像特征进行拼接的过程，实际上就是对提取到待测联系人的声学特征的特征向量与图像特征的特征向量进行拼接。

S2016、通讯录应用将拼接后的特征向量输入到神经网络模型中。

上述步骤S2015将声学特征与图像特征进行拼接之后，通讯录应用需要将拼接之后的特征向量输入到经网络模型，该神经网络模型通常包括两层全连接层。当然，为了使得神经网络模型能够被训练，在神经网络模型的训练过程中，两层全连接神经网络的输出结果需连接损失函数的迭代训练。

在将拼接后的待测联系人的声学特征与图像特征输入到两层全连接层模型之后，两层全连接层模型会将配置文件中各个联系人的拼接的特征向量与待测联系人拼接的特征向量进行匹配，获取配置文件中各个联系人的拼接的特征向量与待测联系人拼接的特征向量匹配度。通讯录应用从中筛选出最匹配的联系人，作为候选联系人。

S2017、通讯录应用获得最匹配的候选联系人的详细信息。

一些实施例中，手机的通讯录应用可以根据上述两层全连接层模型计算出的各个候选联系人的匹配度，选出其中匹配度最高的候选联系人，即为最匹配的候选联系人。

还需要说明的是，手机的通讯录应用还可以对步骤S2005声纹验证得到的排名前两位的候选联系人人及匹配度、步骤S2012图像识别得到的排名前两位的候选联系人及匹配度和步骤S2017得到的最匹配的联系人及匹配度，进行综合评定，得到最终的候选联系人。

可以理解的是，综合评定可以是利用前述的得分融合方式对获得的候选联系人及匹配度进行从高到低排名，选取其中排名最高的候选联系人作为最终联系人结果。

S2018、手机通过耳机、手机提示最匹配的候选联系人信息。

S2019、通讯录应用更新配置文件内容。

步骤S2018至步骤S2019的描述与实施例一中步骤S1617至步骤S1618的描述相同，此处不再赘述。

还需要说明的是，在另一些实施例中，图20展示的步骤S2003之后，通讯录应用可执行步骤S2008至步骤S2010，并在S2010执行完毕之后，执行步骤S2015至步骤S2019。

当然，通讯录应用执行步骤S2003之后，且步骤S2008的执行结果是没有获取到图像信息的情况下，通讯录应用才可执行步骤S2004至步骤S2005。

相对应地，通信录应用执行图20展示的步骤S2008至步骤S2010之后，也可继续执行步骤S2001至步骤S2003，并在S2003执行完毕之后，执行步骤S2015至步骤S2019。

当然，通讯录应用执行步骤S2010之后，且步骤S2001的执行结果是没有获取到声音信息的情况下，通讯录应用才可执行步骤S2011至步骤S2012。

可以理解的是，本实施例中，通讯录应用可分别通过执行步骤S2001至步骤S2003，以及步骤S2008至步骤S2010，得到声学特征和图像特征，对声学特征和图像特征执行步骤S2015至步骤S2017，得到一个候选联系人，并针对该候选联系人的详细信息执行步骤S2018和步骤S2019。

在通讯录应用仅能获取到声音信息的场景下，通讯录应用可执行步骤S2001至步骤S2005，并确定未获取到图像信息时，执行步骤S2007，步骤S2018，以及步骤S2019。

同理，通讯录应用仅能获取到图像信息的场景下，通讯录应用可执行步骤S2008至步骤S2012，并确定未获取到声音信息时，执行步骤S2014，步骤S2018，以及步骤S2019。

本申请另一实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机或处理器上运行时，使得计算机或处理器执行上述任一个方法中的一个或多个步骤。

计算机可读存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本申请另一实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机或处理器上运行时，使得计算机或处理器执行上述任一个方法中的一个或多个步骤。

Claims (8)

1.一种信息的提醒方法，其特征在于，应用于电子设备，所述电子设备存储有多个联系人的标识、生物信息和交集信息，所述交集信息用于指示第一用户和联系人发生交集的时间和交集内容，所述方法包括：

响应于所述第一用户在通讯录应用界面输入的操作，获取第二用户的生物信息，所述第二用户的生物信息包括声音信息和/或图像信息；

比对所述第二用户的生物信息和多个所述联系人的生物信息，确定多个所述联系人中与所述第二用户的生物信息的匹配度最高的联系人，作为候选联系人；

在所述通讯录应用界面上显示弹窗，所述弹窗包括：所述候选联系人的标识、生物信息和交集信息，以向所述第一用户提醒所述第二用户的标识、生物信息和交集信息，所述交集信息包括所述第一用户与所述候选联系人上次聊天时的聊天时间和聊天内容；

响应于用户在所述弹窗上输入的操作，向耳机发送所述候选联系人的标识、生物信息和交集信息，由所述耳机对所述候选联系人的标识、生物信息和交集信息进行语音播报；

当所述第一用户和所述候选联系人交流结束后，获取所述第一用户输入的交集信息，并以所述第一用户输入的交集信息，更新所述候选联系人的交集信息；

当确定多个所述联系人中不存在与所述第二用户的生物信息的匹配度最高的联系人时，获取所述第二用户与所述第一用户交集得到的交集信息和所述第二用户的标识；

将所述第二用户作为联系人，保存所述第二用户的标识、交集信息以及生物信息。

2.根据权利要求1所述的信息的提醒方法，其特征在于，所述比对所述第二用户的生物信息和多个所述联系人的生物信息，确定多个所述联系人中与所述第二用户的生物信息的匹配度最高的联系人，作为候选联系人，包括：

提取所述第二用户的生物信息的特征序列；

提取多个所述联系人的生物信息的特征序列；

将所述第二用户的生物信息的特征序列，与多个所述联系人的生物信息的特征序列进行特征识别，得到特征识别结果；

利用所述特征识别结果，从多个所述联系人中筛选出与所述第二用户的特征序列匹配度最高的联系人，作为所述候选联系人。

3.根据权利要求1所述的信息的提醒方法，其特征在于，所述第二用户的生物信息包括所述第二用户的声音信息和图像信息；

所述比对所述第二用户的生物信息和多个所述联系人的生物信息，确定多个所述联系人中与所述第二用户的生物信息的匹配度最高的联系人，作为候选联系人，包括：

比对所述第二用户的声音信息和多个所述联系人的声音信息，确定多个所述联系人中与所述第二用户的声音信息匹配度高的多个联系人，作为第一候选联系人集；

比对所述第二用户的图像信息和多个所述联系人的图像信息，确定多个所述联系人中与所述第二用户的图像信息匹配度高的多个联系人，作为第二候选联系人集；

从所述第一候选联系人集和所述第二候选联系人集中，筛选出所述候选联系人。

4.根据权利要求3所述的信息的提醒方法，其特征在于，所述从所述第一候选联系人集和所述第二候选联系人集中，筛选出所述候选联系人，包括：

从所述第一候选联系人集和所述第二候选联系人集中，筛选出匹配度最高的联系人，作为所述候选联系人；

或者，从所述第一候选联系人集和所述第二候选联系人集中，筛选出匹配度经加权计算后匹配度最高的联系人，作为所述候选联系人。

5.根据权利要求1所述的信息的提醒方法，其特征在于，所述第二用户的生物信息包括所述第二用户的声音信息和图像信息；

所述比对所述第二用户的生物信息和多个所述联系人的生物信息，确定多个所述联系人中与所述第二用户的生物信息的匹配度最高的联系人，作为候选联系人，包括：

提取所述第二用户的声音信息的声学特征；

提取所述第二用户的图像信息的图像特征；

拼接所述第二用户的声音信息的声学特征和所述第二用户的图像信息的图像特征，得到融合特征；

调用神经网络模型处理所述融合特征，得到预测结果；其中，所述预测结果用于指示所述候选联系人；所述神经网络模型包括第一全连接层和第二全连接层，所述第一全连接层用于实现声纹验证，所述第二全连接层用于实现图像识别。

6.根据权利要求1至5任意一项所述的信息的提醒方法，其特征在于，还包括：

响应于用户在通讯录应用界面输入的操作，获取第三用户的声音信息和/或图像信息，所述第一用户与所述第三用户进行语音通话，获取所述第三用户的声音信息，或者，所述第一用户与所述第三用户进行视频通话，获取所述第三用户的图像信息和声音信息；

响应于用户在所述通讯录应用界面输入的操作，获取所述第三用户与所述第一用户交集得到的交集信息和所述第三用户的标识；

将所述第三用户作为联系人，保存所述第三用户的标识、交集信息，以及声音信息和/或图像信息。

7.一种电子设备，其特征在于，包括：

一个或多个处理器、存储器和显示屏；

所述存储器和所述显示屏，与所述一个或多个所述处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述一个或多个处理器执行所述计算机指令时，所述电子设备执行如权利要求1至6任意一项所述的信息的提醒方法。

8.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序被执行时，具体用于实现如权利要求1至6任意一项所述的信息的提醒方法。