CN111814540A - 信息显示方法、装置、电子设备和可读存储介质 - Google Patents

信息显示方法、装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN111814540A
CN111814540A CN202010470373.0A CN202010470373A CN111814540A CN 111814540 A CN111814540 A CN 111814540A CN 202010470373 A CN202010470373 A CN 202010470373A CN 111814540 A CN111814540 A CN 111814540A
Authority
CN
China
Prior art keywords
information
user
facial expression
expression
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010470373.0A
Other languages
English (en)
Inventor
孔令强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202010470373.0A priority Critical patent/CN111814540A/zh
Publication of CN111814540A publication Critical patent/CN111814540A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种信息显示方法、装置、电子设备及可读存储介质，属于信息处理技术领域。所述方法包括：在第一用户与第二用户进行视频通话的过程中，获取所述第一用户的面部表情；在所述第一用户的面部表情满足预设条件的情况下，获取所述第二用户的第一信息，并将所述第一信息保存；在检测到来自所述第二用户的目标信息的情况下，在屏幕上显示第二信息，所述第二信息与所述第一信息相关联；其中，所述第一信息包括所述第二用户的语音信息和所述第二用户的视频信息中的至少一项。本申请可以改善语音交流效率，提高用户的体验。

Description

信息显示方法、装置、电子设备和可读存储介质
技术领域
本申请属于信息处理领域，具体涉及一种信息显示方法、装置、电子设备和可读存储介质。
背景技术
随着科学技术的不断发展，移动终端逐渐成为生活工作中不可或缺的工具。
在生活工作过程中，人们经常会使用移动终端进行语音聊天或视频聊天等，而在视频或语音过程中，当出现一方精神没有集中、或当对方说话语速太快、或者环境较差网络不好、周围噪音等，错过或者没有听清楚对方发出的语音信息，就需要对方重复前面的语言信息，从而导致交流效率低。
申请内容
本申请实施例的目的是提供一种信息显示方法、装置、电子设备和可读存储介质，能够解决错过或者没有听清楚对方的语音信息，需要对方重复发送语音信息，导致交流效率较低的问题。
为了解决上述技术问题，本申请是这样实现的：
第一方面，本申请实施例提供了一种信息显示方法，该方法包括：
在第一用户与第二用户进行视频通话的过程中，获取所述第一用户的面部表情信息；
在所述第一用户的面部表情满足预设条件的情况下，获取所述第二用户的第一信息，并将所述第一信息保存；
在检测到来自所述第二用户的目标信息的情况下，在屏幕上显示第二信息，所述第二信息与所述第一信息相关联；
其中，所述第一信息包括所述第二用户的语音信息和所述第二用户的视频信息中的至少一项。
第二方面，本申请实施例提供了一种信息显示装置，该装置包括：
面部表情获取模块，用于在第一用户与第二用户进行视频通话的过程中，获取所述第一用户的面部表情信息；
第一信息获取模块，用于在所述第一用户的面部表情满足预设条件的情况下，获取所述第二用户的第一信息，并将所述第一信息保存；
第二信息显示模块，用于在检测到来自所述第二用户的目标信息的情况下，在屏幕上显示第二信息，所述第二信息与所述第一信息相关联；
其中，所述第一信息包括所述第二用户的语音信息和所述第二用户的视频信息中的至少一项。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的信息显示方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的信息显示方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的信息显示方法。
在本申请实施例中，通过在第一用户与第二用户进行视频通话的过程中，获取第一用户的面部表情，在第一用户的面部表情满足预设条件的情况下，获取第二用户的第一信息，并将第一信息保存，在检测到来自第二用户的目标信息的情况下，在屏幕上显示第二信息，第二信息与第一信息相关联，其中，第一信息包括第二用户的语音信息和第二用户的视频信息中的至少一项。本申请实施例通过结合用户的面部表情分析出用户错过或未听清楚的语音和/或视频，并将这部分语音和/或视频在屏幕上进行显示，从而改善了视频交流效率，进一步提高了用户的体验。
附图说明
图1为本申请实施例提供的一种信息显示方法的步骤流程图；
图2为本申请实施例提供的另一种信息显示方法的步骤流程图；
图3为本申请实施例提供的一种信息显示装置的结构示意图；
图4为本申请实施例提供的另一种信息显示装置的结构示意图；
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的信息显示方案进行详细地说明。
参照图1，示出了本申请实施例提供的一种信息显示方法的步骤流程图，如图1所示，该信息显示方法具体可以包括如下步骤：
步骤101：在第一用户与第二用户进行视频通话的过程中，获取所述第一用户的面部表情信息。
本申请实施例可以应用于将用户未听清楚的语音和/或错过的视频转换成第二信息在屏幕上进行显示的场景中。
第一用户和第二用户是指正在进行视频通话的用户。
在本实施例中，是针对第一用户未听清楚的语音和/或错过的视频进行信息转换，可以理解地，本实施例也可以应用于对第二用户未听清楚的语音和/或错过的视频进行可以在屏幕上显示的信息的转换，具体地实现过程与本实施例的过程类似。
面部表情是指通过对第一用户的眼部肌肉、颜面肌肉和口部肌肉的变化分析得到第一用户的情绪状态。如注意力不集中、疲倦等。
在第一用户与第二用户进行视频通话的过程中，可以获取第一用户的面部表情，具体地，可以在第一用户和第二用户进行视频通话的过程中，电子设备系统自动启动预先设置于电子设备上的摄像头，通过该摄像头可以实时采集第一用户在视频通话过程中的人脸图像，然后对人脸图像进行识别，得到第一用户的人脸特征，结合第一用户的人脸特征分析出第一用户的面部表情。
在获取到第一用户的面部表情之后，执行步骤102。
步骤102：在所述第一用户的面部表情满足预设条件的情况下，获取所述第二用户的第一信息，并将所述第一信息保存。
预设条件是指用于判定用户的面部表情是否满足第一信息的保存机制的条件。
可以理解的，第一信息可以是指第二用户向第一用户发送的信息，也可以是指，通过获取第二用户在视频通话界面中显示的图像/视频，得到的关于第二用户的第一信息，在本实施例中，第一信息可以包括第二用户的语音信息和第二用户的视频信息中的至少一项，即第二用户的语音信息是在视频通话过程中第二用户发出的语音信息，第二用户的视频信息是显示在视频通话界面上或摄像头采集的视频图像。
在本实施例中，第一用户的面部表情满足预设条件可以包括以下三种情况：
1、第一用户的面部表情为注意力不集中的表情时，即在第一用户出现注意力不集中的情况下，可能会导致第一用户错失或未听清楚第二用户的语音信息，或者，错过第二用户发送的视频信息。
2、第一用户的面部表情为处于疲倦状态的表情，在第一用户处于疲倦之状态下，可能会导致第一用户错失或未听清楚第二用户的语音信息，或者，错过第二用户发送的视频信息。
3、第一用户的面部表情与第二用户的面部表情的表情差距超过预设值，即第一用户和第二用户的面部表情差距过大，在本实施例中，可以预先针对不同的表情设置对应的表情值，并设置一个预设值，通过第一用户的面部表情和第二用户的面部表情可以计算得到二者的表情差值，并将该差值与预设值进行比较，从而可以确定第一用户的面部表情是否满足预设条件，例如，系统统计的表情包括：表情1、表情2、表情3和表情4，可以分别这四种表情设置一个表情值，如表情1对应的表情值为1，表情2对应的表情值为2，表情3对应的表情值为3，表情4对应的表情值为4，而在预设值为2时，如果第二用户的面部表情对应的表情值为1，第一用户的面部表情的表情值为4，此时，二者的表情差距值大于预设值；而在第二用户的面部表情对应的表情值为2，第一用户的面部表情的表情值为3，此时，二者的表情差距值小于预设值。
可以理解地，上述示例仅是为了更好地理解本实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。
在获取第一用户的面部表情之后，可以判断第一用户的面部表情是否满足预设条件。
在第一用户的面部表情满足预设条件的情况下，获取第二用户的第一信息，并将第一信息保存，具体地，在获取第一用户的面部表情满足预设条件时，可以记录第一用户的面部表情满足预设条件的时刻，并从该时刻开始将获取的第二用户的第一信息进行保存。
在获取并保存第二用户的第一信息之后，执行步骤103。
步骤103：在检测到来自所述第二用户的目标信息的情况下，在屏幕上显示第二信息，所述第二信息与所述第一信息相关联。
目标信息用于指示将与第一信息关联的第二信息在屏幕上显示。
目标信息可以为预设动作信息、预设关键词等信息中的一种。
第二信息是指与第一信息相关联的可以在屏幕上进行展示的信息，第二信息可以为与第一信息对应的文字信息，例如，在存储的第一信息为第二用户发送的语音信息时，可以对第二用户发送的语音信息进行解析，并转换成相应的文字信息，此时，转换得到的文字信息即为第二信息。
第二信息也可以包括第一信息的至少部分信息，例如，在第一信息中包含第二用户的视频信息时，可以将存储的视频图像作为第二信息，在第一信息中包含第二用户的语音信息时，可以将存储的语音音频作为第二信息。
当然，第二信息还可以包括其它信息，如图片等，具体地，可以根据实际情况而定，本实施例对此不加以限制。
在本实施例中，可以在获取并保存第二用户的第一信息之后，实时对第二用户发送的信息进行检测，以检测是否存在目标信息，在存在目标信息时，可以获取第一信息关联的第二信息，并在第一用户使用的电子设备的屏幕上显示第二信息。例如，在第一用户的面部表情满足预设条件的时刻起保存第二用户发送的第一信息为语音信息时，可以实时检测第二用户发送的信息中是否包含目标信息，如在第二用户发送的语音信息中包含预设语句或预设关键词(如第二用户语音中包含“我刚才说了什么”等)时，表示检测到第二用户的目标信息，或者，在检测到第二用户重击第二用户使用电子设备的屏幕等情况下，表示检测到第二用户的目标信息。在检测到第二用户的目标信息时，可以获取与第一信息关联的第二信息，并将第二信息显示于第一用户使用的电子设备的屏幕上。
本实施例中，通过在第一用户的面部表情满足预设条件时，获取并保存第二用户的第一信息，并在检测到第二用户的目标信息时，将第一信息关联的第二信息在第一用户的电子设备屏幕上进行显示，从而可以对第一用户进行信息提示，以提示用户错过或未听清楚的语音和/或视频。
本申请实施例提供的信息显示方法，通过在第一用户与第二用户进行视频通话的过程中，获取第一用户的面部表情信息，在第一用户的面部表情满足预设条件的情况下，获取第二用户的第一信息，并将第一信息保存，在检测到来自第二用户的目标信息的情况下，在屏幕上显示第二信息，第二信息与第一信息相关联，其中，第一信息包括第二用户的语音信息和第二用户的视频信息中的至少一项。本申请实施例通过结合用户的面部表情分析出用户错过或未听清楚的语音和/或视频，并将这部分语音和/或视频在屏幕上进行显示，从而改善了视频交流效率，进一步提高了用户的体验。
参照图2，示出了本申请实施例提供的另一种信息显示方法的步骤流程图，如图2所示，该信息显示方法具体可以包括如下步骤：
步骤201：在第一用户与第二用户进行视频通话的过程中，获取所述第一用户的面部表情信息。
本申请实施例可以应用于将用户未听清楚的语音和/或错过的视频转换成第二信息在屏幕上进行显示的场景中。
第一用户和第二用户是指正在进行视频通话的用户。
在本实施例中，是针对第一用户未听清楚的语音和/或错过的视频进行信息转换，可以理解地，本实施例也可以应用于对第二用户未听清楚的语音和/或错过的视频进行可以在屏幕上显示的信息的转换，具体地实现过程与本实施例的过程类似。
面部表情是指通过对第一用户的眼部肌肉、颜面肌肉和口部肌肉的变化分析得到第一用户的情绪状态。如注意力不集中、疲倦等。
在第一用户与第二用户进行视频通话的过程中，可以获取第一用户的面部表情，具体地，可以在第一用户和第二用户进行视频通话的过程中，电子设备系统自动启动预先设置于电子设备上的摄像头，通过该摄像头可以实时采集第一用户在视频通话过程中的人脸图像，然后对人脸图像进行识别，得到第一用户的人脸特征，结合第一用户的人脸特征分析出第一用户的面部表情。
在获取到第一用户的面部表情之后，执行步骤202。
步骤202：标记所述第一用户的面部表情满足所述预设条件的时刻为第一时刻。
预设条件是指用于判定用户的面部表情是否满足第一信息的保存机制的条件。
在本实施例中，第一用户的面部表情满足预设条件可以包括以下三种情况：
1、第一用户的面部表情为注意力不集中的表情时，即在第一用户出现注意力不集中的情况下，可能会导致第一用户错失或未听清楚第二用户的语音信息，或者，错过第二用户发送的视频信息。
2、第一用户的面部表情为处于疲倦状态的表情，在第一用户处于疲倦之状态下，可能会导致第一用户错失或未听清楚第二用户的语音信息，或者，错过第二用户发送的视频信息。
3、第一用户的面部表情与第二用户的面部表情的表情差距超过预设值，即第一用户和第二用户的面部表情差距过大，在本实施例中，可以预先针对不同的表情设置对应的表情值，并设置一个预设值，通过第一用户的面部表情和第二用户的面部表情可以计算得到二者的表情差值，并将该差值与预设值进行比较，从而可以确定第一用户的面部表情是否满足预设条件，例如，系统统计的表情包括：表情1、表情2、表情3和表情4，可以分别这四种表情设置一个表情值，如表情1对应的表情值为1，表情2对应的表情值为2，表情3对应的表情值为3，表情4对应的表情值为4，而在预设值为2时，如果第二用户的面部表情对应的表情值为1，第一用户的面部表情的表情值为4，此时，二者的表情差距值大于预设值；而在第二用户的面部表情对应的表情值为2，第一用户的面部表情的表情值为3，此时，二者的表情差距值小于预设值。
可以理解地，上述示例仅是为了更好地理解本实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。
第一时刻是指判定出第一用户的面部表情满足预设条件的时刻。例如，在12：35判定出第一用户的面部表情满足预设条件时，则将12：35标记为第一时刻。
在获取第一用户的面部表情之后，可以判断第一用户的面部表情是否满足预设条件。
在第一用户的面部表情满足预设条件的情况下，可以标记第一用户的面部表情满足预设条件的时刻为第一时刻。
在标记第一用户的面部表情满足预设条件的时刻为第一时刻之后，执行步骤203。
步骤203：获取所述第二用户的第一信息，并将所述第一信息保存；其中，所述第一信息为从所述第一时刻开始获取的信息。
可以理解的，第一信息可以是指第二用户向第一用户发送的信息，也可以是指，通过获取第二用户在视频通话界面中显示的图像/视频，得到的关于第二用户的第一信息，在本实施例中，第一信息可以包括第二用户的语音信息和第二用户的视频信息中的至少一项，即第二用户的语音信息是在视频通话过程中第二用户发出的语音信息，第二用户的视频信息是显示在视频通话界面上或摄像头采集的视频图像。
在标记第一用户的面部表情满足预设条件的时刻为第一时刻之后，可以从第一时刻开始将获取的第二用户的第一信息进行保存。
步骤204：在检测到来自所述第二用户的目标信息的情况下，在屏幕上显示第二信息，所述第二信息与所述第一信息相关联。
目标信息用于指示将与第一信息关联的第二信息在屏幕上显示。
目标信息可以为预设动作信息、预设关键词等信息中的一种。
可以理解的，第一信息可以是从第一时刻开始实时保存的信息，在检测到来自所述第二用户的目标信息的时候，将该时刻确定为第二时刻，那么第一信息可以具体的确定为第一时刻至第二时刻之间实时保存的信息。例如，标记的第一时刻为12：35，那么，可以从12：35开始，在接收到第二用户发送信息时，将该信息作为第一信息，并从12：35开始保存第一信息，或者，从12：35开始，获取第二用户在视频通话界面中显示的图像/视频信息，并从12：35开始保存第一信息，如果检测到来自第二用户的目标信息对应的第二时刻为13:00，那么可以具体的将12:35至13:00之间保存的信息确定为第一信息。
第二信息是指与第一信息相关联的可以在屏幕上进行展示的信息，第二信息可以为与第一信息对应的文字信息，例如，在存储的第一信息为第二用户发送的语音信息时，可以对第二用户发送的语音信息进行解析，并转换成相应的文字信息，此时，转换得到的文字信息即为第二信息。
第二信息也可以包括第一信息的至少部分信息，例如，在第一信息中包含第二用户发送的视频信息时，可以将存储的视频图像作为第二信息，在第一信息中包含第二用户的语音信息时，可以将存储的语音音频作为第二信息。
当然，第二信息还可以包括其它信息，如图片等，具体地，可以根据实际情况而定，本实施例对此不加以限制。
在本实施例中，在获取并保存第二用户的第一信息之后，实时对第二用户发送的信息进行检测，以检测是否存在目标信息，在存在目标信息时，可以获取第一信息关联的第二信息，并在第一用户使用的电子设备的屏幕上显示第二信息。例如，在第一用户的面部表情满足预设条件的时刻起保存第二用户发送的第一信息为语音信息时，可以实时检测第二用户发送的信息中是否包含目标信息，如在第二用户发送的语音信息中包含预设语句或预设关键词(如第二用户语音中包含“我刚才说了什么”等)时，表示检测到第二用户的目标信息，或者，在检测到第二用户重击第二用户使用电子设备的屏幕等情况下，表示检测到第二用户的目标信息。在检测到第二用户的目标信息时，可以获取与第一信息关联的第二信息，并将第二信息显示于第一用户使用的电子设备的屏幕上。
本实施例中，通过在第一用户的面部表情满足预设条件时，获取并保存第二用户的第一信息，并在检测到第二用户的目标信息时，将第一信息关联的第二信息在第一用户的电子设备屏幕上进行显示，从而可以对第一用户进行信息提示，以提示用户错过或未听清楚的语音和/或视频。
在检测到来自第二用户的目标信息的情况下，并在屏幕上显示第二信息之后，执行步骤205。
步骤205：删除所述第一信息中除所述第二信息之外的其它信息。
在将第一信息中的第二信息显示于第一用户使用的电子设备的屏幕上之后，可以删除第一信息中除第二信息之外的其它信息，以避免对电子设备内存的占用，提高内存的利用率。
本申请实施例提供的信息显示方法，除了具备上述信息显示方法实施例所具备的有益效果外，还可以及时清除第一信息中除了展示的第二信息之外的其它信息，能够避免对系统内存的占用。
需要说明的是，本申请实施例提供的信息显示方法，执行主体可以为信息显示装置，或者该信息显示装置中的用于执行加载信息显示方法的控制模块。本申请实施例中以信息显示装置执行加载信息显示方法为例，说明本申请实施例提供的信息显示装置。
参照图3，示出了本申请实施例提供的一种信息显示装置的结构示意图，如图3所示，该信息显示装置具体可以包括如下模块：
面部表情获取模块310，用于在第一用户与第二用户进行视频通话的过程中，获取所述第一用户的面部表情信息；
第一信息获取模块320，用于在所述第一用户的面部表情满足预设条件的情况下，获取所述第二用户的第一信息，并将所述第一信息保存；
第二信息显示模块330，用于在检测到来自所述第二用户的目标信息的情况下，在屏幕上显示第二信息，所述第二信息与所述第一信息相关联；
其中，所述第一信息包括所述第二用户的语音信息和所述第二用户的视频信息中的至少一项。
可选地，所述第一用户的面部表情满足预设条件包括：
所述第一用户的面部表情为所述第一用户注意力不集中的表情；
或者，所述第一用户的面部表情为所述第一用户处于疲倦状态的表情；
或者，所述第一用户的面部表情与所述第二用户的面部表情的表情差距超过预设值。
可选地，所述第二信息显示模块330包括：
第一信息显示单元，用于在检测到来自所述第二用户的所述目标信息中包含预设关键词的情况下，在屏幕上显示第二信息；
第二信息显示单元，用于在检测到来自所述第二用户的所述目标信息中包含预设动作的情况下，在屏幕上显示所述第二信息；
其中，所述第二信息包括与所述第一信息对应的文字信息和/或所述第一信息的至少部分。
本申请实施例提供的信息显示装置，通过在第一用户与第二用户进行视频通话的过程中，获取第一用户的面部表情，在第一用户的面部表情满足预设条件的情况下，获取第二用户的第一信息，并将第一信息保存，在检测到来自第二用户的目标信息的情况下，在屏幕上显示第二信息，第二信息与第一信息相关联，其中，第一信息包括第二用户的语音信息和第二用户的视频信息中的至少一项。本申请实施例通过结合用户的面部表情分析出用户错过或未听清楚的语音和/或视频，并将这部分语音和/或视频在屏幕上进行显示，从而改善了视频交流效率，进一步提高了用户的体验。
参照图4，示出了本申请实施例提供的另一种信息显示装置的结构示意图，如图4所示，该信息显示装置具体可以包括如下模块：
面部表情获取模块410，用于在第一用户与第二用户进行视频通话的过程中，获取所述第一用户的面部表情；
第一信息获取模块420，用于在所述第一用户的面部表情满足预设条件的情况下，获取所述第二用户的第一信息，并将所述第一信息保存；
第二信息显示模块430，用于在检测到来自所述第二用户的目标信息的情况下，在屏幕上显示第二信息，所述第二信息与所述第一信息相关联；其中，所述第一信息包括所述第二用户的语音信息和所述第二用户的视频信息中的至少一项；
其它信息删除模块440，用于删除所述第一信息中除所述第二信息之外的其它信息。
可选地，所述第一信息获取模块420包括：
第一时刻标记单元421，用于标记所述第一用户的面部表情满足所述预设条件的时刻为第一时刻；
第一信息获取单元422，用于获取所述第二用户的第一信息，并将所述第一信息保存；
其中，所述第一信息为从所述第一时刻开始获取的信息。
本申请实施例提供的信息显示装置，除了具备上述信息显示装置所具备的有益效果外，还可以及时清除第一信息中除了展示的第二信息之外的其它信息，能够避免对系统内存的占用。
本申请实施例中的信息显示装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的信息显示装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的信息显示装置能够实现图1至图2的方法实施例中信息显示方法实现的各个过程，为避免重复，这里不再赘述。
可选地，本申请实施例还提供一种电子设备，如图5所示，该电子设备500可以包括处理器510，存储器509，存储在存储器509上并可在所述处理器510上运行的程序或指令，该程序或指令被处理器510执行时实现上述信息显示方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要注意的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图5为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备500包括但不限于：射频单元501、网络模块502、音频输出单元503、输入单元504、传感器505、显示单元506、用户输入单元507、接口单元508、存储器509、以及处理器510等部件。
本领域技术人员可以理解，电子设备500还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器510逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图5中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，射频单元501，用于在第一用户与第二用户进行视频通话的过程中，获取所述第一用户的面部表情；在所述第一用户的面部表情满足预设条件的情况下，获取所述第二用户的第一信息，并将所述第一信息保存；在检测到来自所述第二用户的目标信息的情况下，在屏幕上显示第二信息，所述第二信息与所述第一信息相关联；其中，所述第一信息包括所述第二用户的语音信息和所述第二用户的视频信息中的至少一项。
本申请实施例通过在第一用户与第二用户进行视频通话的过程中，获取第一用户的面部表情，在第一用户的面部表情满足预设条件的情况下，获取第二用户的第一信息，并将第一信息保存，在检测到来自第二用户的目标信息的情况下，在屏幕上显示第二信息，第二信息与第一信息相关联，其中，第一信息包括第二用户的语音信息和第二用户的视频信息中的至少一项。本申请实施例通过结合用户的面部表情分析出用户错过或未听清楚的语音和/或视频，并将这部分语音和/或视频在屏幕上进行显示，从而改善了视频交流效率，进一步提高了用户的体验。
可选的，射频单元501，还用于标记所述第一用户的面部表情满足所述预设条件的时刻为第一时刻；获取所述第二用户的第一信息，并将所述第一信息保存；其中，所述第一信息为从所述第一时刻开始获取的信息。
可选的，射频单元501，还用于在检测到来自所述第二用户的所述目标信息中包含预设关键词的情况下，在屏幕上显示第二信息；
或者，在检测到来自所述第二用户的所述目标信息中包含预设动作的情况下，在屏幕上显示所述第二信息；
其中，所述第二信息包括与所述第一信息对应的文字信息和/或所述第一信息的至少部分。
可选的，射频单元501，还用于删除所述第一信息中除所述第二信息之外的其它信息。
本申请实施例通过及时清除除目标语音信息和目标文本信息之外的其它语音信息和其它文本信息，从而可以减少冗余语音和文本对内存的占用，进而，提高了内存的利用率。
另外地，本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述信息显示方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述信息显示方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (12)

1.一种信息显示方法，其特征在于，包括：
在第一用户与第二用户进行视频通话的过程中，获取所述第一用户的面部表情信息；
在所述第一用户的面部表情满足预设条件的情况下，获取所述第二用户的第一信息，并将所述第一信息保存；
在检测到来自所述第二用户的目标信息的情况下，在屏幕上显示第二信息，所述第二信息与所述第一信息相关联；
其中，所述第一信息包括所述第二用户的语音信息和所述第二用户的视频信息中的至少一项。
2.根据权利要求1所述的方法，其特征在于，所述第一用户的面部表情满足预设条件包括：
所述第一用户的面部表情为所述第一用户注意力不集中的表情；
或者，所述第一用户的面部表情为所述第一用户处于疲倦状态的表情；
或者，所述第一用户的面部表情与所述第二用户的面部表情的表情差距超过预设值。
3.根据权利要求1所述的方法，其特征在于，所述获取所述第二用户的第一信息，并将所述第一信息保存，包括：
标记所述第一用户的面部表情满足所述预设条件的时刻为第一时刻；
获取所述第二用户的第一信息，并将所述第一信息保存；
其中，所述第一信息为从所述第一时刻开始获取的信息。
4.根据权利要求1-3所述的方法，其特征在于，所述在检测到来自所述第二用户的目标信息的情况下，在屏幕上显示第二信息，包括：
在检测到来自所述第二用户的所述目标信息中包含预设关键词的情况下，在屏幕上显示第二信息；
或者，在检测到来自所述第二用户的所述目标信息中包含预设动作的情况下，在屏幕上显示所述第二信息；
其中，所述第二信息包括与所述第一信息对应的文字信息和/或所述第一信息的至少部分。
5.根据权利要求1所述的方法，其特征在于，所述在屏幕上显示第二信息之后，还包括：
删除所述第一信息中除所述第二信息之外的其它信息。
6.一种信息显示装置，其特征在于，包括：
面部表情获取模块，用于在第一用户与第二用户进行视频通话的过程中，获取所述第一用户的面部表情信息；
第一信息获取模块，用于在所述第一用户的面部表情满足预设条件的情况下，获取所述第二用户的第一信息，并将所述第一信息保存；
第二信息显示模块，用于在检测到来自所述第二用户的目标信息的情况下，在屏幕上显示第二信息，所述第二信息与所述第一信息相关联；
其中，所述第一信息包括所述第二用户的语音信息和所述第二用户的视频信息中的至少一项。
7.根据权利要求6所述的装置，其特征在于，所述第一用户的面部表情满足预设条件包括：
所述第一用户的面部表情为所述第一用户注意力不集中的表情；
或者，所述第一用户的面部表情为所述第一用户处于疲倦状态的表情；
或者，所述第一用户的面部表情与所述第二用户的面部表情的表情差距超过预设值。
8.根据权利要求6所述的装置，其特征在于，所述第一信息获取模块包括：
第一时刻标记单元，用于标记所述第一用户的面部表情满足所述预设条件的时刻为第一时刻；
第一信息获取单元，用于获取所述第二用户的第一信息，并将所述第一信息保存；
其中，所述第一信息为从所述第一时刻开始获取的信息。
9.根据权利要求6-8所述的装置，其特征在于，所述第二信息显示模块包括：
第一信息显示单元，用于在检测到来自所述第二用户的所述目标信息中包含预设关键词的情况下，在屏幕上显示第二信息；
第二信息显示单元，用于在检测到来自所述第二用户的所述目标信息中包含预设动作的情况下，在屏幕上显示所述第二信息；
其中，所述第二信息包括与所述第一信息对应的文字信息和/或所述第一信息的至少部分。
10.根据权利要求6所述的装置，其特征在于，所述装置还包括：
其它信息删除模块，用于删除所述第一信息中除所述第二信息之外的其它信息。
11.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-5任一项所述的信息显示方法的步骤。
12.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-5任一项所述的信息显示方法的步骤。
CN202010470373.0A 2020-05-28 2020-05-28 信息显示方法、装置、电子设备和可读存储介质 Pending CN111814540A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010470373.0A CN111814540A (zh) 2020-05-28 2020-05-28 信息显示方法、装置、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010470373.0A CN111814540A (zh) 2020-05-28 2020-05-28 信息显示方法、装置、电子设备和可读存储介质

Publications (1)

Publication Number Publication Date
CN111814540A true CN111814540A (zh) 2020-10-23

Family

ID=72847805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010470373.0A Pending CN111814540A (zh) 2020-05-28 2020-05-28 信息显示方法、装置、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN111814540A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103945140A (zh) * 2013-01-17 2014-07-23 联想(北京)有限公司 视频字幕的生成方法及系统
CN108334196A (zh) * 2018-01-18 2018-07-27 维沃移动通信有限公司 一种文件处理方法及移动终端
US20190188459A1 (en) * 2017-12-15 2019-06-20 Hyperconnect, Inc. Terminal and server for providing video call service
US20190208165A1 (en) * 2017-12-28 2019-07-04 Hyperconnect, Inc. Terminal for providing video call service
CN110650306A (zh) * 2019-09-03 2020-01-03 平安科技（深圳）有限公司 视频聊天中添加表情的方法、装置、计算机设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103945140A (zh) * 2013-01-17 2014-07-23 联想(北京)有限公司 视频字幕的生成方法及系统
US20190188459A1 (en) * 2017-12-15 2019-06-20 Hyperconnect, Inc. Terminal and server for providing video call service
US20190208165A1 (en) * 2017-12-28 2019-07-04 Hyperconnect, Inc. Terminal for providing video call service
CN108334196A (zh) * 2018-01-18 2018-07-27 维沃移动通信有限公司 一种文件处理方法及移动终端
CN110650306A (zh) * 2019-09-03 2020-01-03 平安科技（深圳）有限公司 视频聊天中添加表情的方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN106302996B (zh) 消息显示方法及装置
CN111884908B (zh) 联系人标识显示方法、装置及电子设备
CN112286887A (zh) 文件分享的方法、装置和电子设备
CN113285866B (zh) 信息发送方法、装置和电子设备
CN113596555A (zh) 视频播放方法、装置及电子设备
CN112134987B (zh) 信息处理方法、装置及电子设备
CN111897475A (zh) 消息查看方法及装置
CN113055529B (zh) 录音控制方法和录音控制装置
CN112887488B (zh) 来电显示方法、装置及电子设备
CN110750198A (zh) 一种表情发送方法及移动终端
CN112734661A (zh) 图像处理方法及装置
CN109981890B (zh) 一种提醒任务处理方法、终端及计算机可读存储介质
EP4351117A1 (en) Information display method and apparatus, and electronic device
CN113593614B (zh) 图像处理方法及装置
CN111814540A (zh) 信息显示方法、装置、电子设备和可读存储介质
CN111897441B (zh) 表情添加方法、装置及电子设备
CN112099703B (zh) 桌面挂件显示方法、装置及电子设备
CN113536744A (zh) 会议记录方法和装置
CN111694999A (zh) 信息处理方法、装置及电子设备
CN112866475A (zh) 图像发送方法、装置和电子设备
CN113098762B (zh) 信息输出方法和信息输出装置
CN112487247A (zh) 视频处理方法及视频处理装置
CN113660375B (zh) 通话方法、装置及电子设备
CN113114559B (zh) 信息显示方法、装置及设备
CN112578966B (zh) 应用程序切换方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination