CN103873642A - 记载通话记录的方法及设备 - Google Patents

Abstract

提出了一种记载通话记录的方法，包括以下步骤：所述终端设备处于通话状态时，对通话进行情绪识别确定所述通话对应的情绪或情绪集合；所述终端设备根据所述通话对应的情绪或情绪集合，将相应图片表情化；所述终端设备记载表情化后的所述通话。本发明实施例还提出了一种记载通话记录的终端设备。本发明提出的技术方案，能够通过表情化的图片、图片系列或动画记载通话记录，使用时既能保证通话信息的隐私性，又能增加使用的趣味性。

Description

记载通话记录的方法及设备

技术领域

本发明涉及终端设备技术领域，具体而言，本发明涉及记载通话记录的方法及设备。

背景技术

随着移动用户和各种移动终端的爆发式增长，人们对语音应用的需求不断发展。通常，终端设备的键盘与屏幕的尺寸偏小，用手指输入并不方便，尤其是在移动的应用场景中，使用时容易眼忙手忙。因此，语音输入成为信息交互最自然、便捷的手段，更能发挥它具有的先天性的优势。使用者可以通过语音发出指令，通过语音识别执行相应的操作，从而代替了传统的按键或者触摸操作，用户使用时将更加方便。

随着语音技术的发展，声纹识别也逐渐被应用到人们的生活中，主要体现在手机解锁功能上。例如，厦门天聪智能软件有限公司开发的“SIVI声纹锁”可以保护私有应用程序不被随意查看。首次使用时，需要注册声纹模型，确定合法用户的声音，后续使用时需要判断当前使用者是否为合法用户，只有合法用户才能正常使用选定的功能。又例如，SuperLock是一款Android平台下的锁屏和安全保护程序，启动程序服务后可在开机、关屏和受保护的程序启动时开启保护功能，可以通过密码、手摇、声纹等方式进行解锁。但上述的实例中，声纹识别的应用只局限于手机解锁上，功能比较单一，缺乏趣味性。目前声纹识别技术仅仅孤立的应用于终端设备上，缺乏与其他技术的融合。

因此，有必要提出有效的技术方案，将声纹识别技术与其他技术结合应用与终端技术领域。

发明内容

本发明的目的旨在至少解决上述技术缺陷之一，特别是通过声纹识别、情绪识别以及图像处理技术的联合，使得终端设备记录通话记录时既能保障用户信息的隐私性，又增加操作的趣味性。

为了达到上述目的，本发明的实施例一方面提出了一种记载通话记录的方法，包括以下步骤：

终端设备处于通话状态时，对通话进行情绪识别确定所述通话对应的情绪或情绪集合；

所述终端设备根据所述通话对应的情绪或情绪集合，将相应图片表情化；

所述终端设备记载表情化后的所述通话。

本发明的实施例另一方面还提出了一种终端设备，包括通信模块、情绪识别模块、图片处理模块和存储模块，

所述通信模块，用于与其他用户进行通话；

所述情绪识别模块，用于对通话进行情绪识别确定所述通话对应的情绪或情绪集合；

所述图片处理模块，用于根据所述通话对应的情绪或情绪集合，将相应图片表情化；

所述存储模块，用于记载表情化后的所述通话。

本发明公开的上述记载通话记录的方法或终端设备，不需要在智能手机上增加额外的硬件，只需终端具备声纹识别功能、情绪识别功能和人物表情化的图像处理功能，通过声纹识别、情绪识别以及图像处理技术的联合，使得终端设备记录通话记录时既能保障用户信息的隐私性，又增加操作的趣味性，具有很强的实用性。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例记载通话记录的方法流程图；

图2为应用本发明的功能示意图；

图3为添加音频信息的示意图；

图4为添加音频方式选择的示意图；

图5为启动声纹识别的示意图；

图6为将相应图片保存至电话薄的示意图；

图7为电话薄中有通话对方图片的示意图；

图8为两次通话不同的情绪识别结果的示意图；

图9为应用场景一记载通话记录的示意图；

图10为终端设备侧用户设定的图片示意图；

图11为代表本次通话情绪的图片组合示意图；

图12为含有表情化图片的通话记录示意图；

图13为电话薄中没有通话对方图片的示意图；

图14为应用场景二记载通话记录的示意图；

图15为将相应图片保存至终端设备电话薄中的示意图；

图16为本发明实施例终端设备的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语（包括技术术语和科学术语）具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，这里所使用的“终端设备”“终端”既包括仅具备无发射能力的无线信号接收器的设备，又包括具有能够在双向通信链路上进行双向通信的接收和发射硬件的设备。这种设备可以包括：具有或没有多线路显示器的蜂窝或其他通信设备；可以组合语音和数据处理、传真和/或数据通信能力的个人通信系统（PCS）；可以包括射频接收器和寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或全球定位系统（GPS）接收器的个人数字助理（PDA）；和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端设备”“终端”可以是便携式、可运输、安装在交通工具（航空、海运和/或陆地）中的，或者适合于和/或配置为在本地运行和/或以分布形式在地球和/或空间的任何其他位置运行。这里所使用的“终端设备”“终端”还可以是通信终端、上网终端、音乐/视频播放终端。这里所使用的“终端设备”“终端”还可以是PDA、MID和/或具有音乐/视频播放功能的移动电话等。

为了实现本发明之目的，本发明实施例提出了一种记载通话记录的方法，包括以下步骤：

终端设备处于通话状态时，对通话进行情绪识别确定所述通话对应的情绪或情绪集合；

所述终端设备根据所述通话对应的情绪或情绪集合，将相应图片表情化；

所述终端设备记载表情化后的所述通话。

如图1所示，为本发明实施例记载通话记录的方法流程图，包括步骤S110至步骤S130：

S110：终端设备处于通话状态时，对通话进行情绪识别确定通话对应的情绪或情绪集合。

在具体应用中，还包括选定与本次通话相应的图片，相应图片包括但不限于：固定的图片、用户选定的图片或者根据声纹信息确定的图片。固定的图片例如是能表达某种情绪的简单图标。

例如，在执行步骤S110之前或同时，还可以包括：终端设备获取音频信息。终端设备获取音频信息的途径包括但不限于以下方式：

终端设备通话状态时获取音频信息；或者，终端设备根据音频文件获取音频信息。终端设备获取音频文件包括但不限于以下方式：终端设备通过用户上传的音频文件获取；或终端设备预先将用户的声音录制成音频文件。其中，音频文件包括但不限于以下格式：CD、WAV、AIFF、AU、MP3、MIDI、WMA、RealAudio、VQF、OggVorbis、AAC、APE。

S110步骤中，终端设备处于通话状态时，通过声纹识别确定与音频信息的声纹最相似的人物，将最相似的人物的图片选定为相应图片。

例如，终端设备通过声纹识别技术提取音频信息中能够反映个体信息的基本特征。这些基本特征必须能够准确且有效地区分不同的发声个体，且对于同一个体，这些基本特征应具有稳定性。然后根据相应的模式匹配的方法，与本地或者网络声纹库中的声纹样本进行比较，匹配出一个与该音频信息最为相似的声纹样本，然后匹配出该声纹样本对应人物的图片，该图片同样来源于本地或者网络，与声纹样本一一对应。通常，该音频信息相应的人物都是对大多数人来说耳熟能详的明星或者卡通人物等。

最相似的人物的图片包括但不限于以下格式：bmp、jpg、tiff、gif、pcx、tga、exif、fpx、svg、psd、cdr、pcd、dxf、ufo、eps、ai、raw。

S120：终端设备根据通话对应的情绪或情绪集合，将相应图片表情化。

在步骤S120中，通话对应的情绪或情绪集合指的是以下任意一种情况：通话中终端设备侧用户、通话中对方用户或者通话中双方用户的情绪或情绪集合。

其后，根据通话对应的情绪或情绪集合，将相应图片转化为具有该情绪或情绪集合的图片、图片系列或者动画。

例如，选择记录通话双方的情绪，如此可以分别记录双方在一次通话中情绪的变化，例如，以30秒为时间刻度记录双方情绪的变化。最后得出通话双方各自的主情绪，从而得到一个情绪集合，并对通话双方的图片进行表情化，从而得到一张具有该情绪集合的图片。此外，还可以将相应的图片转化为具有一组情绪集合的图片，例如，以30秒为时间刻度记录双方情绪的变化一组图片。

此外，还可以将相应的图片转化为具有情绪集合动画，例如，以30秒为时间刻度记录双方情绪变化的一个动画。

具体而言，上述情绪包括：喜、怒、哀、乐、悲、恐、惊或其他能表达通话对应的情绪。

例如，一张脸部图像可以通过图像处理技术处理成具有相应表情的脸部图像，该图像处理技术首先进行人脸器官检测和定位，然后根据相应表情的器官特征，对该脸部图像进行处理，从而形成具有相应表情的脸部图像。

S130：终端设备记载表情化后的通话。

在步骤S130中，终端设备记载表情化后的通话包括记录以下一个或多个信息：

表情化后的具有该情绪或该情绪集合的一个或一组图片或动画、通话来电人的电话号码、通话来电人的姓名、通话的开始时刻、通话的结束时刻或通话的通话时长等其他与通话记录有关的信息。

为了进一步阐述本发明，下面结合具体的应用进行说明。如图2所示，为应用本发明的功能示意图，包括：

当开始通话时，终端设备先判断通话对方在电话薄中是否与通话方相应的图片；如果没有，则同时启动声纹识别器和情绪识别器；如果有则只启动情绪识别器。

声纹识别器对通话对方的声纹进行识别，情绪识别器可以对通话过程中终端设备侧用户、通话对方或通话双方的情绪进行识别。在电话薄中没有通话方相应的图片时，例如，通话结束后，声纹识别器根据声纹最相似的原则，匹配出最相似的明星或者卡通人物的图片，作为通话方相应的图片；情绪识别器确定本次通话的情绪或情绪集合；然后通过终端设备的图像处理功能，将识别出的情绪或情绪集合对相应图片进行表情化，即在通话记录中保存的是表情化后的相应图片、图片系列或者动画，从而形成了一种动态的通话记录。

此外，如果终端设备电话薄中有通话对方，则将声纹识别匹配的相应图片保存至终端设备电话薄中；如果电话薄中没有通话对方，则声纹识别匹配的相应图片不需保存至终端设备电话薄中，终端设备只在通话记录中保存情绪化的图片、图片系列或者动画。

显然，电话薄中没有通话对方时，用户也可以添加联系人并选择保存声纹识别匹配的相应图片。

发明应用场景一，终端设备获取音频信息，确定联系人的相应图片。选中终端设备电话薄中某名片，通过菜单“添加该联系人音频”，如图3所示，增加联系人的音频信息；音频信息可以来自音频文件，也可以通过终端设备用户现录，如图4所示。再通过菜单“声纹识别自动产生图片”，如图5所示，启动声纹识别器，并对该音频信息进行分析，根据声纹最相似的原则，匹配出最相似的明星或者卡通人物的图片，然后将该图片保存至终端设备电话薄中，如图6所示。

发明应用场景二，终端设备用户与终端设备电话薄中记载过相应图片的联系人通话。

通话开始时，终端设备启动情绪识别器，如图7所示，为电话薄中有通话对方图片的示意图。情绪识别器在通话过程中选择对通话对方的情绪进行识别（显然，也可以选择对终端设备侧的用户进行情绪识别）。通话结束后，确定本次通话的情绪或情绪集合；然后通过终端设备的图像处理功能，将识别出的情绪或情绪集合对终端设备电话薄中记载过的相应图片进行表情化，终端设备将表情化后的相应图片、图片系列或者动画记录在通话记录中，即形成了一种动态的通话记录，也就是说，虽然是与终端设备电话薄中同一联系人的通话，但是基于当次通话情绪的不同，保存的通话记录的图片、图片系列或动画也不相同，如图8所示与图9所示。

发明应用场景三，终端设备用户与终端设备电话薄中记载过相应图片的联系人通话。

通话开始时，终端设备启动情绪识别器，如图7所示。情绪识别器在通话过程中对通话双方的情绪进行识别。通话结束后，确定双方本次通话的情绪集合；然后通过终端设备的图像处理功能，将识别出的情绪集合分别对终端设备电话薄中记载过的相应图片以及终端设备中终端设备侧用户设定的图片进行表情化，其中，终端设备侧用户设定的图片可以通过拍照、从存储介质导入等方式进行设定，如图10所示。最后形成代表本次通话情绪集合的图片、图片系列或动画，如图11所示；终端设备将该图片、图片系列或者动画记录在通话记录中，即形成了一种动态的通话记录，如图12所示。

发明应用场景四，终端设备用户与终端设备电话薄中没有记载过相应图片的联系人通话。

通话开始时，终端设备同时启动声纹识别器和情绪识别器，如图13所示，为电话薄中没有通话对方图片的示意图。声纹识别器对对方的声纹进行识别，情绪识别器在通话过程中可以对终端设备侧用户、通话对方或通话双方的情绪进行识别。通话结束后，声纹识别器根据声纹最相似的原则，匹配出最相似的明星或者卡通人物的图片即相应图片；情绪识别器确定本次通话的情绪或情绪集合；然后通过终端设备图像处理功能，将识别出的情绪或情绪集合对相应图片表情化，终端设备将表情化后的相应图片、图片系列或者动画记录在通话记录中，即形成了一种动态的通话记录，如图14所示。如果终端设备电话薄中有通话对方，则将相应图片保存至终端设备电话薄中，如图15所示；如果终端设备电话薄中没有通话对方，则清除相应图片。

如图16所示，本发明实施例另一方面还提出了一种终端设备100，包括通信模块110、情绪识别模块120、图片处理模块130和存储模块140。

其中，通信模块110，用于与其他用户进行通话；

情绪识别模块120，用于对通话进行情绪识别确定通话对应的情绪或者情绪集合；

图片处理模块130，用于根据通话对应的情绪或情绪集合，将相应图片表情化；

存储模块140，用于记载表情化后的通话。

具体而言，图片处理模块130还用于选定与本次通话相应的图片，相应图片包括但不限于：固定的图片、用户选定的图片或者根据声纹信息确定的图片。

其中，终端设备100还包括：声纹识别模块150（图中没示出），

通信模块110还用于获取音频信息，以及声纹识别模块150用于通过声纹识别确定与音频信息的声纹最相似的人物，图片处理模块130将最相似的人物的图片选定为相应图片。

具体而言，通信模块110用于获取音频信息包括：

通信模块110用于通话状态时获取音频信息；或者，

通信模块110用于根据音频文件获取音频信息。

具体而言，情绪识别模块120用于对通话进行情绪识别确定通话对应的情绪或情绪集合包括以下任意一种方式：

情绪识别模块120用于对通话进行情绪识别确定通话中终端设备侧用户的情绪或情绪集合；

情绪识别模块120用于对通话进行情绪识别确定通话中对方用户的情绪或情绪集合；

情绪识别模块120用于对通话进行情绪识别确定通话中双方用户的情绪或情绪集合。

具体而言，图片处理模块130用于将相应图片表情化包括：

根据通话对应的情绪或情绪集合，图片处理模块130用于将相应图片转化为具有该情绪或情绪集合的图片、图片系列或者动画。

具体而言，图片处理模块130表情化的情绪包括但不限于以下情绪：喜、怒、哀、乐、悲、恐或惊。

具体而言，存储模块140用于记载表情化后的通话包括记录以下一个或多个信息：

表情化后的具有该情绪或情绪集合图片、图片系列或动画、通话来电人的电话号码、通话来电人的姓名、通话的开始时刻、通话的结束时刻和通话的通话时长等与通话记录相关的信息。

本发明公开的上述记载通话记录的方法或终端设备，具有以下一个或多个优点：

不需要在智能手机上增加额外的硬件，只需终端具备声纹识别功能、情绪识别功能和人物表情化的图像处理功能，可应用性较强；

移动终端无需将音频信息上传至网络进行处理，能保障用户音频信息的隐私性；

终端设备可自动通过通话音频识别音频中体现的喜、怒、哀、乐、悲、恐、惊等情绪，并将记载有该情绪或情绪集合的图片记载在通话记录中；

用户也可以手动添加音频文件，终端设备通过识别该音频信息，确定与该音频信息相似的明星或动画等图片，并记载于终端设备中，提高了操作性及趣味性。

本技术领域技术人员可以理解，本发明可以涉及用于执行本申请中所述操作中的一项或多项操作的设备。所述设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备，所述通用计算机有存储在其内的程序选择性地激活或重构。这样的计算机程序可以被存储在设备（例如，计算机）可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘（包括软盘、硬盘、光盘、CD-ROM、和磁光盘）、随即存储器（RAM）、只读存储器（ROM）、电可编程ROM、电可擦ROM（EPROM）、电可擦除可编程ROM（EEPROM）、闪存、磁性卡片或光线卡片。可读介质包括用于以由设备（例如，计算机）可读的形式存储或传输信息的任何机构。例如，可读介质包括随即存储器（RAM）、只读存储器（ROM）、磁盘存储介质、光学存储介质、闪存装置、以电的、光的、声的或其他的形式传播的信号（例如载波、红外信号、数字信号）等。

本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来生成机器，从而通过计算机或其他可编程数据处理方法的处理器来执行的指令创建了用于实现结构图和/或框图和/或流图的框或多个框中指定的方法。

本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (14)

1.一种记载通话记录的方法，其特征在于，包括以下步骤：

终端设备处于通话状态时，对通话进行情绪识别确定所述通话对应的情绪或情绪集合；

所述终端设备根据所述通话对应的情绪或情绪集合，将相应图片表情化；

所述终端设备记载表情化后的所述通话。

2.如权利要求1所述的记载通话记录的方法，其特征在于，所述相应图片包括：

固定的图片；

用户选定的图片；或者，

所述终端设备获取音频信息，通过声纹识别确定与所述音频信息的声纹最相似的人物，将所述最相似的人物的图片选定为所述相应图片。

3.如权利要求2所述的记载通话记录的方法，其特征在于，所述终端设备获取音频信息包括：

所述终端设备通话状态时获取所述音频信息；或者，

所述终端设备根据音频文件获取所述音频信息。

4.如权利要求1所述的记载通话记录的方法，其特征在于，对通话进行情绪识别确定所述通话对应的情绪或情绪集合包括以下任意一种方式：

对通话进行情绪识别确定所述通话中所述终端设备侧用户的情绪或情绪结合；

对通话进行情绪识别确定所述通话中对方用户的情绪或情绪集合；

对通话进行情绪识别确定所述通话中双方用户的情绪或情绪集合。

5.如权利要求4所述的记载通话记录的方法，其特征在于，将相应图片表情化包括：

根据所述通话对应的情绪或情绪集合，将所述相应图片转化为具有所述情绪或情绪集合的图片、图片系列或者动画。

6.如权利要求5所述的记载通话记录的方法，其特征在于，所述情绪包括：喜、怒、哀、乐、悲、恐或惊。

7.如权利要求1至6任意之一所述的记载通话记录的方法，其特征在于，所述终端设备记载表情化后的所述通话包括记录以下一个或多个信息：

表情化后的所述情绪或情绪集合的图片、图片系列或者动画、所述通话的开始时刻、所述通话的结束时刻、所述通话的通话时长、所述通话来电人的电话号码以及所述通话来电人的姓名。

8.一种终端设备，其特征在于，包括通信模块、情绪识别模块、图片处理模块和存储模块，

所述通信模块，用于与其他用户进行通话；

所述情绪识别模块，用于对通话进行情绪识别确定所述通话对应的情绪或情绪集合；

所述图片处理模块，用于根据所述通话对应的情绪，将相应图片表情化；

所述存储模块，用于记载表情化后的所述通话。

9.如权利要求8所述的终端设备，其特征在于，还包括：声纹识别模块，

所述通信模块还用于获取音频信息，以及所述声纹识别模块用于通过声纹识别确定与所述音频信息的声纹最相似的人物，所述图片处理模块将所述最相似的人物的图片选定为所述相应图片；或者，

所述图片处理模块将固定的图片或用户选定的图片选定为所述相应图片。

10.如权利要求9所述的终端设备，其特征在于，所述通信模块用于获取音频信息包括：

所述通信模块用于通话状态时获取所述音频信息；或者，

所述通信模块用于根据音频文件获取所述音频信息。

11.如权利要求8所述的终端设备，其特征在于，所述情绪识别模块用于对通话进行情绪识别确定所述通话对应的情绪或情绪集合包括以下任意一种方式：

所述情绪识别模块用于对通话进行情绪识别确定所述通话中所述终端设备侧用户的情绪或情绪集合；

所述情绪识别模块用于对通话进行情绪识别确定所述通话中对方用户的情绪或情绪集合；

所述情绪识别模块用于对通话进行情绪识别确定所述通话中双方用户的情绪或情绪集合。

12.如权利要求11所述的终端设备，其特征在于，所述图片处理模块用于将相应图片表情化包括：

根据所述通话对应的情绪或情绪集合，所述图片处理模块用于将所述相应图片转化为具有所述情绪或情绪集合的图片、图片系列或者动画。

13.如权利要求12所述的终端设备，其特征在于，所述图片处理模块表情化的情绪包括：喜、怒、哀、乐、悲、恐或惊。

14.如权利要求8至13任意之一所述的终端设备，其特征在于，所述存储模块用于记载表情化后的所述通话包括记录以下一个或多个信息：

表情化后的所述情绪或情绪集合的图片、图片系列或者动画、所述通话的开始时刻、所述通话的结束时刻、所述通话的通话时长、所述通话来电人的电话号码以及所述通话来电人的姓名。

Images