CN115002401B - 一种信息处理方法、电子设备、会议系统及介质 - Google Patents

一种信息处理方法、电子设备、会议系统及介质 Download PDF

Info

Publication number
CN115002401B
CN115002401B CN202210924330.4A CN202210924330A CN115002401B CN 115002401 B CN115002401 B CN 115002401B CN 202210924330 A CN202210924330 A CN 202210924330A CN 115002401 B CN115002401 B CN 115002401B
Authority
CN
China
Prior art keywords
information
audio
video
processed
video information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210924330.4A
Other languages
English (en)
Other versions
CN115002401A (zh
Inventor
李勤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Maile Information Technology Co ltd
Original Assignee
Guangzhou Maile Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Maile Information Technology Co ltd filed Critical Guangzhou Maile Information Technology Co ltd
Priority to CN202210924330.4A priority Critical patent/CN115002401B/zh
Publication of CN115002401A publication Critical patent/CN115002401A/zh
Application granted granted Critical
Publication of CN115002401B publication Critical patent/CN115002401B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种信息处理方法、电子设备、会议系统及介质。所述方法应用于个人终端，包括：获取用户的音视频信息，所述音视频信息包括音频信息和视频信息；根据所述音视频信息，确定所对应用户的状态信息，所述状态信息包括指示所对应用户是否正在讲话的指示信息；基于所述个人终端的目标参数，确定是否将所述音视频信息确定为待处理信息；若是，所述音视频信息确定为待处理信息；编码所述待处理信息，得到编码后信息；传输所述编码后信息。该方法根据获取的音视频信息，能够确定用户的状态信息，从而实现了个人终端的待处理信息的确定，为接收端提供了确定声像位置的信号基础，降低了线上会议与线下会议的差异性。

Description

一种信息处理方法、电子设备、会议系统及介质
技术领域
本发明涉及视频会议技术领域，尤其涉及一种信息处理方法、电子设备、会议系统及介质。
背景技术
随着社会和科技的发展，视频类会议应运而生，用户可以在线进行音视频的交流。而人的听觉系统有着强大的空间感知和分析能力，除了能够感知音色、音调等声音的特征之外，还能够感知到声音的方位。
一些视频会议系统，将所有的声音（包括同一个会议室多个人的声音，或者多个会议室的声音）混在一起，经过信号处理、编码压缩、网络传输之后在远端解码和重放，使得远端的人完全感知不到音频的空间效果，从而导致视频会议和面对面线下会议在体验上存在较大的差异。
发明内容
本发明提供了一种信息处理方法、电子设备、会议系统及介质，以保证音频的空间效果，为个人终端与会议室终端的用户提供沉浸式的会议体验。
根据本发明的一方面，提供了一种信息处理方法，包括：
获取用户的音视频信息，所述音视频信息包括音频信息和视频信息；
根据所述音视频信息，确定所对应用户的状态信息，所述状态信息包括指示所对应用户是否正在讲话的指示信息；
基于所述个人终端的目标参数，确定是否将所述音视频信息确定为待处理信息，所述目标参数包括所述状态信息；
若是，所述音视频信息确定为待处理信息；
编码所述待处理信息，得到编码后信息；
传输所述编码后信息，所述编码后信息用于确定所述音频信息的声像位置。
根据本发明的另一方面，提供了一种信息处理方法，包括：
获取并解码编码后信息得到待处理信息，所述待处理信息包括音视频信息，所述音视频信息包括音频信息和视频信息，所述编码后信息为基于第一方面任一所述的方法得到的；
确定所述视频信息所对应图像的图像位置；
基于所述图像位置，确定虚拟声像的声像位置，所述虚拟声像为所述视频信息所对应音频信息的虚拟声像；
基于所述图像位置显示所述视频信息对应的图像；
基于所述声像位置和所述音频信息生成所述音频信息对应的多通道信号；
播放所述多通道信号。
根据本发明的另一方面，提供了一种信息处理装置，包括：
第一获取模块，用于获取用户的音视频信息，所述音视频信息包括音频信息和视频信息；
第一确定模块，用于根据所述音视频信息，确定所对应用户的状态信息，所述状态信息包括指示所对应用户是否正在讲话的指示信息；
第二确定模块，用于基于所述个人终端的目标参数，确定是否将所述音视频信息确定为待处理信息，所述目标参数包括所述状态信息；
第三确定模块，用于若是，所述音视频信息确定为待处理信息；
编码模块，用于编码所述待处理信息，得到编码后信息；
传输模块，用于传输所述编码后信息，所述编码后信息用于确定所述音频信息的声像位置。
根据本发明的另一方面，提供了一种信息处理装置，包括：
第二获取模块，用于获取并解码编码后信息得到待处理信息，所述待处理信息包括音视频信息，所述音视频信息包括音频信息和视频信息；
第四确定模块，用于确定所述视频信息所对应图像的图像位置；
第五确定模块，用于基于所述图像位置，确定虚拟声像的声像位置，所述虚拟声像为所述视频信息所对应音频信息的虚拟声像；基于所述声像位置和所述音频信息生成所述音频信息对应的多通道信号；
显示模块，用于基于所述图像位置显示所述视频信息对应的图像；
播放模块，用于播放所述多通道信号。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的信息处理方法。
根据本发明的另一方面，提供了一种会议系统，包括电子设备、采集设备和输出设备，执行如本发明实施例所提供信息处理方法的电子设备为应用于个人会议场景的电子设备；
所述采集设备用于采集用户的音视频信息；
所述输出设备用于输出图像和多通道信号。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的信息处理方法。
本发明实施例提供了一种信息处理方法、电子设备、会议系统及介质。获取用户的音视频信息，所述音视频信息包括音频信息和视频信息；根据所述音视频信息，确定所对应用户的状态信息，所述状态信息包括指示所对应用户是否正在讲话的指示信息；基于所述个人终端的目标参数，确定是否将所述音视频信息确定为待处理信息，所述目标参数包括所述状态信息；若是，所述音视频信息确定为待处理信息；编码所述待处理信息，得到编码后信息；传输所述编码后信息，所述编码后信息用于确定所述音频信息的声像位置。利用上述技术方案，根据获取的音视频信息，能够确定用户的状态信息，从而实现了个人终端的待处理信息的确定，为接收端提供了确定声像位置的信号基础，使得声像位置能够基于对应的图像位置确定，保证了音频的空间效果降低了线上会议与线下会议的差异性。
本发明实施例提供的一种信息处理方法，还基于图像位置确定虚拟声像的声像位置，采用空间音频算法生成多通道音频信号，并通过扬声器或者耳机播放产生一个虚拟声像，使得图像位置和声像位置一致，为个人终端或会议室终端的用户提供了沉浸式的会议体验。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是根据本发明实施例一提供的一种信息处理方法的流程图；
图1b为本发明实施例一提供的一种发送装置的结构示意图；
图1c为本发明实施例一提供的一种接收装置的结构示意图；
图1d为本发明实施例一提供的一种个人终端的场景示意图；
图1e为本发明实施例一提供的另一种个人终端的场景示意图；
图1f为本发明实施例一提供的一种会议系统的拓扑结构示意图；
图1g为本发明实施例一提供的另一种会议系统的拓扑结构示意图；
图2a是根据本发明实施例二提供的一种信息处理方法的流程图；
图2b为本发明实施例二提供的一种多模态端点检测模块的示意图；
图2c为本发明实施例二提供的一种窗口排列方式的示意图；
图2d为本发明实施例二提供的一种窗口排列方式的示意图；
图2e为本发明实施例二提供的一种窗口排列方式的示意图；
图2f为本发明实施例二提供的一种扬声器的示意图；
图2g为本发明实施例二提供的一种立体声耳机的场景示意图；
图3是根据本发明实施例三提供的一种信息处理装置的结构示意图；
图4是根据本发明实施例四提供的一种信息处理装置的结构示意图；
图5是实现本发明实施例的信息处理方法的电子设备的结构示意图；
图6为本发明实施例六提供的一种会议系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1a是根据本发明实施例一提供的一种信息处理方法的流程图，本实施例可适用于对个人会议场景中发送的音视频进行处理情况，具体的，对用户本身的音视频进行处理，以保证在音视频的接收端在呈现音视频时，音频能够具有空间效果。该方法可以由信息处理装置来执行，该信息处理装置可以采用硬件和/或软件的形式实现，该信息处理装置可配置于电子设备中。电子设备可以是个人会议场景下的个人终端。个人终端可以理解所有者为个人的终端。如个人的电脑或手机。
可以理解的是，人的听觉系统有着强大的空间感知和分析能力，除了能够感知到响度、音色、音调等声音的特征之外，还能够感知到声音的方向。尽管人只有两只耳朵，但是人的听觉系统通过对分析空间中各种反射面（包括人环境和自身的头部和躯干）带来的反射、散射、遮挡等效应，可以感知声源在三维空间中的方位。正因为人的这种空间感知能力，人能够在嘈杂的环境中专注于某一个人说话的声音而忽略环境中其它人的声音或者环境噪音，即“鸡尾酒会效应”。
其中，人对声音的空间定位主要来着于以下的线索：声音到双耳因为距离带来的时间和相位差；声音到双耳因为头的遮挡效应带来的强度的差异；头、耳廓和躯干对不同方向来的声音的反射和散射引起的频谱的差异；头部的不自觉的微小转动带来的动态因素帮助区分前后镜像以及垂直方向定位。
而在目前的视频会议系统中，一般是将所有的声音（包括同一个会议室多个人的声音，或者多个会议室的声音）混在一起，经过信号处理、编码压缩、网络传输之后在远端解码和重放，但远端的人完全感知不到音频的空间效果，使得远程会议和面对面线下会议体验上存在较大的差异。
可以认为的是，本发明实施例提供的信息处理方式可以用于个人用户（如2个、3个或以上个人）之间，或者个人用户和会议室之间（1个或者多个个人，1个或者多个会议室，总的参会人数大于或等于2个）的沟通场景，本实施例主要从个人终端的角度进行描述，每个个人终端包含一个发送装置和一个接收装置，发送装置用于采集参会人的音视频信息，并将编码后信息发送至其余会议室中；接收装置用于接收并解码其余会议室中的编码后信息，并将视频信息对应的图像进行显示，音频信息对应的多通道信号进行播放。
图1b为本发明实施例一提供的一种发送装置的结构示意图，如图1b所示，发送装置包含以下单元：
音频采集单元，用于采集到参会人的声音。麦克风的形态和接口不限，可以是笔记本电脑或者平板电脑的内置麦克风，也可以是外置的任何形式的麦克风设备，如耳机。
视频采集单元，用于采集参会人的视频信息，视频采集单元（如摄像头）的形态和接口不限，只要能清晰采集到参会人的头像即可。
发送处理单元，用于进行端点检测和音视频编码。
图1c为本发明实施例一提供的一种接收装置的结构示意图，如图1c所示，接收装置包含以下单元：
接收处理单元，用于进行音视频解码、视频窗口布局控制以及根据图像位置生成虚拟声像。
图像渲染单元，用于把远端每一个人的图像按设定的排列和位置在屏幕上显示。
声音渲染单元，用于把虚拟声像所对应的多路音频通过多通道DAC和扬声器阵列播放。
图1d为本发明实施例一提供的一种个人终端的场景示意图，如图1d所示，参会者可以基于电子设备进行视频会议，参会者的电子设备中内置或外围设置有音频采集单元，用于采集参会人的音频信息；显示屏幕上可以设置有视频采集单元，用于采集参会人的视频信息，另外设置有音响，用于播放其他会议室中音频信息对应的多通道信号。
图1e为本发明实施例一提供的另一种个人终端的场景示意图，如图1e所示，参会者可以基于电子设备进行视频会议，参会者的耳机可以作为音频采集单元，用于采集参会人的音频信息；显示屏幕上可以设置有视频采集单元，用于采集参会人的视频信息，此外耳机还用于播放其他会议室中音频信息对应的多通道信号。
图1f为本发明实施例一提供的一种会议系统的拓扑结构示意图，本实施的会议系统可以用于连接多个个人终端或者多个个人终端和多个会议室，音视频流可以通过选择转发服务器（Selective Forwarding Unit，SFU）进行转发，并且有选择性地传输到其它个人终端或会议室。
图1g为本发明实施例一提供的另一种会议系统的拓扑结构示意图，如图1g所示，当一个个人终端和一个会议室进行会议时，可以简化为直连，其中会议室中有多个参会人。
需要说明的是，参会人使用的个人终端称为“本地终端”，其它所有个人终端称为“远端终端”；参会人如在会议室，参会人所在的会议室可以称为“本地会议室”，本地会议室中的参会人称为“本地参会人”；而其它会议室称为“远端会议室”，其它会议室中的参会人称为“远端参会人”。
为了解决上述技术问题，本发明实施例提供了一种信息处理方法，可以兼容个人终端上的单个参会人与会议室中多个参会人，让每个人都能体验到更好的音视频的临场感。即当图像和声音在被播放渲染的时候，不管是在个人终端还是在会议室设备上，虚拟声像的算法使得声音听起来是从图像所在的位置发出的。如图1a所示，该方法适用于个人终端的发送端，包括：
S110、获取用户的音视频信息，所述音视频信息包括音频信息和视频信息。
其中，音视频信息可以是指用户在视频会议过程中的音频信息和视频信息。音频信息可以理解为基于音频确定的信息，视频信息可以理解为基于视频确定的信息。如音频信息可以包括用户在视频会议过程中的讲话内容，视频信息可以包括用户的图像信息等。在本实施例中，用户可以是指参与视频会议的参会人，如用户可以为电子设备的使用者。
获取音频信息和视频信息的方式不作限定，如可以同时获取用户的音频信息和/或视频信息，也可以分别获取用户的音频信息和视频信息等。
对于音频信息，可以通过电子设备内置的麦克风进行采集，也可以通过外置的任何形式的麦克风设备（如耳机）进行采集。
对于视频信息，可以通过一个或多个的视频采集单元对用户的视频信息进行获取，视频采集单元的类型不限，如可以为电子设备内置的摄像头，也可以是外置的任何形式的摄像设备；只要能保证用户视频信息的清晰度即可。
S120、根据所述音视频信息，确定所对应用户的状态信息，所述状态信息包括指示所对应用户是否正在讲话的指示信息。
状态信息可以用于表征用户的状态，如是否正在讲话、音频强度、音频大小、入会次序和/或讲话时长等。
状态信息可以包括指示所对应用户是否正在讲话的指示信息，指示信息的类型不限，如可以为文字信息或符号信息等。例如，当所对应用户正在讲话时，状态信息可以包括指示所对应用户正在讲话的指示信息0；当所对应用户没有讲话时，状态信息可以包括指示所对应用户没有讲话的指示信息1。
音频强度可以为音频的强度，音频大小可以为音频的大小，入会次序可以表征对应用户参加会议的次序。如用户在所有参会会议室中的参会的次序。入会次序可以基于用户所对应音频采集单元和/或视频采集单元采集的内容确定。
具体的，可以根据用户的音视频信息来确定对应用户的状态信息，具体确定的方法不作限定，如可以只基于用户的音频信息来对用户的状态信息进行确定。
S130、基于所述个人终端的目标参数，确定是否将所述音视频信息确定为待处理信息，所述目标参数包括所述状态信息。
目标参数可以认为是个人终端用于确定待处理信息的参数，如目标参数可以包括个人终端中用户音视频信息的状态信息，也可以包括预先设定的参数，如用户标识信息等。待处理信息可以是指将要进行处理以将其传输至接收端的信息。
在一个实施例中，本步骤可以直接将用户的音视频信息确定为待处理信息，即每次用户的音视频均作为待处理信息，以在编码后传输。
在一个实施例中，并不是用户的音视频信息直接进行处理及传输，需要对音视频信息进行是否传输的判断，来得到待处理信息。
在本实施例中，可以基于所述个人终端的目标参数，确定是否将音视频信息确定为待处理信息，本实施例不对确定的过程进行限定。示例性的，可以根据用户对应的状态信息，如是否在讲话，来确定是否将音视频信息确定为待处理信息；也可以根据预先设置的参数来确定是否将音视频信息确定为待处理信息等，还可以综合上述两种方法来确定是否将音视频信息确定为待处理信息。
在一个实施方式中，接收端能够根据自身性能（如带宽）、使用场景等，确定自身需要显示的视频信息的个数。
同时，接收端能够确定远端（即发送端）总共有多少个参会人的视频信息可以选择，且接收端可以根据设定策略确定想要显示的视频信息，此时可以将此显示请求发送至SFU服务器，随后SFU服务器会把所有接收端的显示请求组合起来，发送给对应的发送端，以使发送端传输对应的音视频信息。其中，设定策略可以完全根据讲话时长确定选取音视频信息的优先级；或者固定选取前n位讲话时长较长的用户的音视频信息，n为正整数；又或者完全由管理者手动指定选取哪几路音视频信息等）。
相应的，当发送端接收到显示请求时，可以发送对应的音视频信息（即待处理信息）。在SFU服务器收到来自于发送端的待处理信息后，可以将其转发至对应的接收端，以此实现了待处理信息的确定。
S140、若是，所述音视频信息确定为待处理信息。
在一个实施方式中，若判断得到可以对音视频信息进行传输，则将音视频信息确定为待处理信息，以进行后续的编码及传输；若判断得到不对音视频信息进行传输，则结束操作。
S150、编码所述待处理信息，得到编码后信息。
在确定待处理信息后，可以对待处理信息中的内容进行编码，以得到编码后信息。此处不对编码的具体过程进行限定，如可以根据待处理信息中内容的不同，编码的具体过程也可以有所区别。
S160、传输所述编码后信息。
在本步骤中，可以将得到的编码后信息进行传输，以用于后续确定音频信息的声像位置，其中，传输的方式不限，可以直接将编码后信息传输至接收端，也可以通过媒体转发服务器转发至接收端，只要能传输至接收端即可。
本发明实施例一提供的一种信息处理方法，获取用户的音视频信息，所述音视频信息包括音频信息和视频信息；根据所述音视频信息，确定所对应用户的状态信息，所述状态信息包括指示所对应用户是否正在讲话的指示信息；基于所述个人终端的目标参数，确定是否将所述音视频信息确定为待处理信息，所述目标参数包括所述状态信息；若是，所述音视频信息确定为待处理信息；编码所述待处理信息，得到编码后信息；传输所述编码后信息。利用该方法，根据获取的音视频信息，能够确定用户的状态信息，从而实现了个人终端的待处理信息的确定，为接收端提供了确定声像位置的信号基础，使得声像位置能够基于对应的图像位置确定，保证了音频的空间效果降低了线上会议与线下会议的差异性。
在一个实施例中，所述根据所述音视频信息，确定所对应用户的状态信息，包括：
根据音频信息和/或视频信息，确定所对应的状态信息。
在本实施例中，可以只基于用户的音频信息来对用户的状态信息进行确定，也可以只基于用户的视频信息来对用户的状态信息进行确定，又或者可以同时基于音频信息和视频信息来确定对应用户的状态信息。示例性的，当基于用户的音频信息来确定用户的状态信息时，可以基于该用户音频信息的内容来确定用户是否在讲话，以此得到用户的状态信息。
在一个实施例中，根据音频信息和视频信息，确定所对应的状态信息，包括：
基于所述音频信息确定音频检测结果；
基于所述视频信息确定图像检测结果；
基于所述音频检测结果和所述图像检测结果，确定所对应的状态信息。
音频检测结果可以认为是对音频信息进行检测的结果，图像检测结果则可以认为是对视频信息进行检测的结果。
本实施例中，首先可以基于音频信息确定音频检测结果，基于视频信息确定图像检测结果；然后基于用户对应的音频检测结果和图像检测结果综合来确定出对应的状态信息。
其中，确定音频检测结果和图像检测结果的方法不限，如可以基于语音端点检测（Voice Activity Detection，VAD）算法来检测音频信息中用户是否正在讲话，并基于嘴唇运动检测（lip movement detection）算法来检测图像信息中用户是否正在讲话；从而能够综合两者结果确定状态信息。
如在音频检测结果表征用户正在讲话，且图像检测结果表征用户正在讲话时，将状态信息所包括的指示信息确定为指示用户正在讲话的信息。
在一个实施例中，所述基于所述个人终端的目标参数，确定是否将所述音视频信息确定为待处理信息，包括：
累计所述状态信息，确定所对应的讲话时长，所述状态信息还包括所述讲话时长；
基于所述讲话时长，确定是否将所述音视频信息确定为待处理信息。
在一个实施方式中，状态信息可以包括讲话时长，相应的，可以累计用户在一定周期内讲话的时间以确定用户所对应的讲话时长；然后基于讲话时长确定是否将音视频信息确定为待处理信息，例如，当讲话时长大于设定阈值时，可以将音视频信息确定为待处理信息；当讲话时长小于或等于设定阈值时，则不能将音视频信息确定为待处理信息。
在一个实施例中，所述目标参数还包括用户标识信息，相应的，所述基于所述个人终端的目标参数，确定是否将所述音视频信息确定为待处理信息，包括：
将所述用户标识信息对应的音视频信息确定为待处理信息。
用户标识信息可以唯一标识所对应用户，用户标识信息可以由接收端指定，用户标识信息可以用于唯一关联该用户对应的音视频信息。接收端指定的具体方式此处不作限定，如当接收端想要显示并播放某一用户的音视频信息时，可以向SFU服务器指定该用户的用户标识信息，继而SFU服务器发送包含用户标识信息的目标参数至发送端，当发送端接收到目标参数后，即可认为可以将音视频信息确定为待处理信息。
在一个实施方式中，目标参数可以包括用户标识信息，相应的，可以直接将目标参数中所包含用户标识信息对应的音视频信息确定为待处理信息，也可以将目标参数中所包含用户标识信息对应的音视频信息进行二次判断，判断此音视频信息是否可作为待处理信息，二次判断的方式例如可以包括状态信息，接收端能显示最大图像的数目和/或会议管理的策略等。
在目标参数中包括用户标识信息的情况下，可以直接将用户标识信息对应的音视频信息确定为待处理信息。
在一个实施例中，所述待处理信息还包括所述状态信息。
在本实施例中，待处理信息中还可以包括音视频信息对应的状态信息，以便于接收端进行后续图像位置的确定。
实施例二
图2a是根据本发明实施例二提供的一种信息处理方法的流程图，本实施例可适用于对从一个或多个个人会议场景中接收的音视频进行处理的情况，该方法可以由信息处理装置来执行，该信息处理装置可以采用硬件和/或软件的形式实现，该信息处理装置可配置于电子设备中。电子设备可以为接收端的个人终端或会议终端。如图2a所示，该方法包括：
S210、获取并解码编码后信息得到待处理信息，所述待处理信息包括音视频信息，所述音视频信息包括音频信息和视频信息。
本步骤可以获取并解码编码后信息得到待处理信息，待处理信息包括音视频信息，音视频信息可以包括音频信息和视频信息。其中，编码后信息为基于实施例一任一所述的方法得到的，获取编码后信息的方式可以是从发送端直接获取得到，也可以是基于媒体转发服务器获取得到。
一个用户对应一个待处理信息。
S220、确定所述视频信息所对应图像的图像位置。
图像位置可以理解为图像显示在接收端显示屏幕上的位置。在接收端解码得到待处理信息后，可以对待处理信息中视频信息所对应图像的图像位置进行确定，如当获取多个用户的音视频信息时，确定选取哪个或哪几个用户的音视频信息以及视频信息对应图像的排列次序等；又如当获取多个用户的音视频信息时，确定视频信息对应的图像的排列次序。
可以认为的是，在将所有用户的编码后信息进行解码，得到每一用户对应的音视频信息后，可以直接将所有用户的视频信息对应图像进行显示；也可以从所有用户的音视频信息中选取合适的音视频信息，并将选取的视频信息所对应图像进行显示，选取的规则可以由相关人员进行设置，此处不作进一步限定。
继而需要对视频信息所对应图像的图像位置进行确定，可以认为的是，当视频信息的个数为一个时，可以将默认的显示位置确定为视频信息所对应图像的图像位置，默认的显示位置不作限定，可以基于实际情况确定。默认的显示位置可以动态调整，也可以手动调整。
当视频信息的个数为至少两个时，则需要根据视频排列顺序与窗口排列信息来确定所对应视频信息的图像位置，具体确定的方法本实施例不作进一步展开，只要能将每一视频信息所对应图像的图像位置确定即可。在一个实施方式中，首先可以基于待处理信息中的各音视频信息，确定各视频信息的视频排列顺序，然后将视频排列顺序中的各视频信息与窗口排列信息中各窗口的位置信息进行匹配，以得到视频信息所对应图像的图像位置。
S230、基于所述图像位置，确定虚拟声像的声像位置，所述虚拟声像为所述视频信息所对应音频信息的虚拟声像。
虚拟声像可以认为是视频信息所对应音频信息的声源位置，声像位置用于表征用户感知到的声源位置。在确定图像位置后，可以对每个视频信息所对应音频信息的虚拟声像的声像位置进行确定，如可以将图像位置确定为所对应虚拟声像的声像位置，也可以将图像所在窗口的任一位置作为声像位置。
S240、基于所述图像位置显示所述视频信息对应的图像。
基于上述步骤对视频信息所对应图像的图像位置进行确定后，可以基于图像位置显示视频信息对应的图像。显示图像的过程不再赘述，可以由相关人员根据实际情况进行显示，如可以先渲染得到视频信息对应的图像，然后基于图像位置显示图像等。
S250、基于所述声像位置和所述音频信息生成所述音频信息对应的多通道信号。
多通道信号可以是指音频信息经算法处理后得到的多路信号。
在一个实施例中，可以基于声像位置和音频信息生成音频信息对应的多通道信号，例如根据实际情况（如扬声器阵列的阵型和扬声器数目）和声像位置来生成音频信息对应的多通道信号，以使播放多通道信号时产生虚拟声像，且虚拟声像即为声像位置。
可以认为的是，人的听觉系统对于声音定位的感知主要来源于以下三种信息：声音到双耳因为距离带来的时间和相位差；声音到双耳因为头的遮挡效应带来的强度的差异，以及头、耳廓和躯干对不同方向来的声音的反射和散射引起的频谱的差异。
故本实施例可以基于三种信息中的单个信息或者是组合信息生成虚拟声像，例如如果用户使用双通道的扬声器，可以采取双通路立体声的方法，但是此方法只用于用户前方水平方向上声像的放置和移动；
如果用户使用立体声耳机，则可以采用头相关变换函数（Head Related TransferFunction，HRTF）合成的算法实现水平角360°，仰俯角-40°至90°范围中的虚拟声像的放置和移动；
如果用户使用沿显示屏周围布置的扬声器阵列，则可以采取基于矢量基振幅调节实现声像在用户前方二维方向上的放置和移动（Vector Base Amplitude Panning，VBAP）。
本发实施例不局限于某个具体的虚拟声像生成的算法。虚拟声像的算法支持的维度需要与图像窗口的排列维度一致，即如果是图像窗口的排列是二维的，则虚拟声像的算法必须支持二维方向上的位置变化。图像窗口可以理解为显示图像的窗口，视频信息将渲染至图像窗口内。
本实施例可以采用空间音频算法，生成多通道音频信号，即多通道信号；该多通道信号通过扬声器或者耳机播放后，会在图像位置上产生虚拟声像。
本发明各步骤间的执行顺序不作限定，如可以先执行S250，再执行S240。S240和S260可以同步执行。
S260、播放所述多通道信号。
在确定音频信息对应的多通道信号之后，本步骤可以对多通道信号进行播放，从而实现图像位置和声像位置的一致。具体播放的方式例如可以为：接收端的显示屏幕周围设置有m个单元的扬声器阵列，当其中某一窗口的用户讲话时，通过上述步骤得到音频信息对应的m个多通道信号之后， m个单元的扬声器阵列就会同时播放对应的通道信号，从而使得接收端的参会人感受到图像位置和声像位置一致的体验，m为正整数。
本发明实施例二提供的一种信息处理方法，获取并解码编码后信息得到待处理信息，所述待处理信息包括音视频信息，所述音视频信息包括音频信息和视频信息；确定所述视频信息所对应图像的图像位置；基于所述图像位置，确定虚拟声像的声像位置，所述虚拟声像为所述视频信息所对应音频信息的虚拟声像；基于所述图像位置显示所述视频信息对应的图像；基于所述声像位置和所述音频信息生成所述音频信息对应的多通道信号；播放所述多通道信号。利用该方法，通过基于图像位置确定虚拟声像的声像位置，采用空间音频算法生成多通道音频信号，并通过扬声器或者耳机播放产生一个虚拟声像，使得图像位置和声像位置一致，为个人终端或会议室终端的用户提供了沉浸式的会议体验。
在一个实施例中，所述确定所述视频信息所对应图像的图像位置，包括：
基于所述待处理信息和预设的窗口排列信息，确定所述视频信息所对应图像的图像位置。
窗口排列信息可以认为是预先设置的窗口信息，如窗口排列维度、窗口大小、窗口排列顺序和/或窗口的位置信息等，窗口排列维度可以是指排列窗口的维度，如一维或二维等，窗口大小可理解为每个窗口的大小，窗口的位置信息用于表征每个窗口的位置。窗口排列顺序可以表征所包括窗口间排列的顺序。
在本步骤中，可以基于待处理信息和预设的窗口排列信息，确定视频信息所对应图像的图像位置，例如可以基于待处理信息中所选取音视频信息对应的状态信息和预设的窗口排列信息，确定视频信息所对应图像的图像位置；也可以基于预先设置的待处理信息中各音视频信息的优先级与预设的窗口排列信息进行匹配，得到视频信息所对应图像的图像位置。
在一个实施例中，所述待处理信息还包括所述音视频信息所对应的状态信息，相应的，所述基于所述待处理信息和预设的窗口排列信息，确定所述视频信息所对应图像的图像位置，包括：
在所述音视频信息的个数为至少两个时，基于各所述状态信息，确定所对应视频信息的视频排列顺序；
基于预设的窗口排列信息和所述视频排列顺序，确定所对应视频信息的图像位置，所述窗口排列信息包括所包含窗口的位置信息。
视频排列顺序可以认为是待处理信息中各视频信息的排列顺序，
本实施例中，待处理信息还可以包括音视频信息所对应的状态信息，故在音视频信息的个数为至少两个时，首先可以基于各音视频信息对应的状态信息，确定所对应视频信息的视频排列顺序，确定视频排列顺序的方式可以根据各状态信息所包含的内容进行确定；然后基于预设的窗口排列信息和视频排列顺序，将各用户所对应视频信息与各窗口进行匹配，并基于视频信息所在的窗口确定对应的图像位置。
在一个实施例中，所述基于各所述状态信息，确定所对应视频信息的视频排列顺序，包括：
基于各状态信息所包括的指示信息和讲话时长，将各所述状态信息排序；
将状态信息的状态排列顺序，确定为所对应视频信息的视频排列顺序。
具体的，首先可以基于各状态信息所包括的指示信息和讲话时长，将各状态信息进行排序，然后将状态信息的状态排列顺序作为所对应视频信息的视频排列顺序，其中，将各状态信息进行排序的方法例如可以优先考虑指示信息中用户正在讲话的状态信息，然后基于讲话时长从长到短的顺序对所有其他状态信息进行排序；也可以只基于讲话时长从长到短的顺序对所有状态信息进行排序，本实施例对此不作限定。
在一个实施例中，所述基于预设的窗口排列信息和所述视频排列顺序，确定所对应视频信息的图像位置，包括：
按照所述视频排列顺序和窗口排列信息，依次将所述视频信息关联至窗口排列信息所对应窗口；
将所述窗口排列信息所对应窗口的窗口中心位置，确定为所关联视频信息的图像位置。
在各视频信息的视频排列顺序确定好之后，可以按照视频排列顺序和窗口排列信息，依次按照视频排列顺序中视频信息的顺序将每一个视频信息关联至窗口排列信息所对应窗口；然后可以将视频信息所关联窗口的窗口中心位置确定为所关联视频信息的图像位置，以完成各视频信息所对应图像位置的确定。
下面对上述各单元的具体方案进行描述：
1.音频采集单元。音频采集单元的目标是采集到单个参会人的声音。本发明不局限于某种特定类型的麦克风，麦克风可以是具有物理指向性的单体麦克风，或者用麦克风阵列通过波束成型算法实现定向拾音，其目标尽可能减少周围环境的干扰。可选的，本实施例可以采用近场指向性拾音麦克风。
本实施例不局限于某个特定的阵列阵型和波束成型算法。麦克风阵列的麦克风单元数量和阵型可以根据环境等条件设计，其关键指标是在波束方向只有一个参会人。例如麦克风阵列的阵型可以为直线阵列或者圆形阵列。而波束成型的算法也可以有多种实现方式，包括固定波束成型的算法，比如基于白噪音增益约束（WNGC）的超指向性波束成型设计算法，或者自适应波束成型的算法，比如最小方差无畸变响应算法（MVDR）和广义旁瓣消除算法（GSC）。
2.视频采集单元。视频采集单元的功能是清晰地采集单个参会人的图像。
3.发送处理单元。发送处理单元主要可以包括以下模块：
（1）多模态端点检测模块，图2b为本发明实施例二提供的一种多模态端点检测模块的示意图，如图2b所示，首先可以将音频采集单元采集的音频（即音频信息）与视频采集单元采集的视频（即图像信息）分别输入至多模态端点检测模块，然后结合嘴唇的运动检测算法（Lip movement detection）和音频VAD算法，判断参会人是否正在讲话，即说话状态（即状态信息，所述状态信息包括指示所对应用户是否正在讲话的指示信息）。如针对音频信息通过语音检测得到音频检测结果，针对视频信息通过唇动检测得到图像检测结果，将音频检测结果和图像检测结果进行多模态逻辑融合得到对应的状态信息。
（2）通路选择模块，可以认为的是，个人终端上的音视频流（即音视频信息）并不是在所有情况下都会被编码并传输到远端的，而是需要选择的。通路选择的优先级取决于说话状态，接收端能显示图像的最大数目，以及会议管理等策略。
（3）音视频编码模块，用于将通路选择模块的参会人的音频流（即音频信息）、视频流（即视频信息）、以及说话状态（即状态信息）编码并通过网络传输其它会议室，传输的方式可以是直接传输或者通过媒体转发服务器SFU间接进行传输等。
4.接收处理单元。接收处理单元主要包括以下模块：
（1）音视频解码模块，其功能是将接收到的（直接传输或者通过SFU转发）音频流、视频流、以及说话状态进行解码。
（2）视频窗口布局控制模块，其功能包括3个方面：即确定其它会议室中或者个人终端上哪些参会人的图像被显示（即基于各状态信息，确定所对应视频信息的视频排列顺序）；确定远端参会人图像的排列次序（即视频排列顺序）；根据图像的排列次序和不同的窗口排列方式（即预设的窗口排列信息），计算每个图像的中心位置（即确定所对应视频信息的图像位置）。图像的中心位置将被用于生成虚拟声像（即将图像位置确定为所对应虚拟声像的声像位置）。
其中，窗口布局控制可以有多种策略，如自动控制策略，手动控制策略，或者混合策略。自动控制策略具体可以是根据从音视频解码模块得到的说话状态，将当前正在说话的人排在最前面，其它人根据累积的说话时长确定排列的次序；手动策略可以是相关人员根据预设的参会人的优先级确定固定的优先级或者动态手动调整优先级；混合策略可以认为是手动策略和自动策略的结合。
为了保障良好的用户体验，可选的，个人终端的显示器尺寸可以在24英寸以上。如果视频会议中没有文档或者桌面共享，视频会议中可以全屏渲染视频画面。窗口排列的大小位置不做限制，只需要把窗口中心位置传给虚拟声像生成模块，使得从用户的角度，看到的图像位置和听到的声像位置是一致的即可。例如窗口排列可以是一维的，也可以是二维的。同时本实施支持文档和人像窗口混合排列的情况。
图2c为本发明实施例二提供的一种窗口排列方式的示意图，如图2c所示，可以根据状态信息的实时变化情况将当前正在说话的用户的视频信息所对应的图像设置在左上角，将其余用户的视频信息所对应的图像放置在其他窗口，如按照累积说话时长的长短将各视频信息顺时针放置在其他窗口。
图2d为本发明实施例二提供的一种窗口排列方式的示意图，如图2d所示，所有用户的视频信息所对应图像的窗口大小可以相同。在本步骤中，可以基于各状态信息所包括的指示信息和讲话时长，将各状态信息排序，然后按照状态信息的状态排列顺序从左至右、从上至下将各视频信息放置在对应窗口中。在确定所有视频信息所对应图像的图像位置后，可以将当前正在说话用户所在窗口的状态区别于其他窗口，如窗口处于闪烁状态或窗口四周设有阴影区域等。
图2e为本发明实施例二提供的一种窗口排列方式的示意图，如图2e所示，图中左侧可以显示有会议过程中的共享内容（如文档），右侧各窗口显示各视频信息所对应图像，其中，各视频信息所对应图像可以由上至下按照优先级顺序进行放置。
本发明中窗口可以全屏显示，也可以和共享内容共同显示在显示屏幕中。
（3）虚拟声像生成模块，其作用是根据用户使用的声音播放的设备（如扬声器或者耳机），调用不同的算法产生虚拟声像所对应的多通道音频（即多通道信号）。
5.图像渲染单元。图像渲染的主要功能是将解码后的视频流在小窗口中渲染。窗口的排列见“视频窗口布局控制模块”。
6.音频渲染单元。对于个人终端，音频的渲染包括以下可能的三个场景：
用户使用双通道的扬声器，对称地放在用户前方左右两侧；
用户使用立体声耳机；
用户使用沿显示屏周围布置的扬声器阵列。
下述为虚拟声像生成及多通道音频渲染的基本流程：
当用户头部在显示屏的正前方中心的位置时，双耳连线中间到显示屏的距离可以 是r，根据窗口布局控制模块传过来的图像相对位置(x,y)，屏幕的大小(W,L)，可以计算出 图像相对于用户的水平夹角和仰俯角
Figure 46093DEST_PATH_IMAGE001
，计算公式如下：
Figure 759971DEST_PATH_IMAGE002
；
Figure 70867DEST_PATH_IMAGE003
；
其中，图像相对位置(x,y)是相对于屏幕左下角的归一值，即左下角的相对坐标是 [0, 0]，右上角的相对坐标是[1, 1]。
Figure 262814DEST_PATH_IMAGE004
是方位角，当虚拟声源位置偏向左边的扬声器时，
Figure 638038DEST_PATH_IMAGE005
；当虚拟声源位置偏向右边的扬声器时，
Figure 991659DEST_PATH_IMAGE006
；
Figure 789851DEST_PATH_IMAGE007
是俯仰角，当虚拟声源位置在 人耳位置的上方时，
Figure 785489DEST_PATH_IMAGE008
；当虚拟声源位置在人耳位置的下方时，
Figure 516684DEST_PATH_IMAGE009
。
(1)立体声（双声道）桌面扬声器。本实施例不限于具体的虚拟声像生成算法。其中 一个常用的算法是通过通路声压级差的算法实现虚拟声源的放置的水平移动。图2f为本发 明实施例二提供的一种扬声器的示意图，如图2f所示，一对扬声器(即图中1和2)对称地放 置在参会人的前方，相对于参会人的夹角是
Figure 808251DEST_PATH_IMAGE010
。虚拟声像生成基本原理如下：
假设待播放的声音信号是S，目标是在
Figure 359318DEST_PATH_IMAGE004
的角度上生成一个虚拟声像。故可以在S 上分别应用一个增益
Figure 893067DEST_PATH_IMAGE011
和
Figure 478769DEST_PATH_IMAGE012
,由此生成信号
Figure 705351DEST_PATH_IMAGE013
和
Figure 513688DEST_PATH_IMAGE014
，其中L和R分别对应左声道和右 声道。将
Figure 319970DEST_PATH_IMAGE013
和
Figure 760179DEST_PATH_IMAGE014
分别从左声道扬声器和右声道扬声器播放，为了满足虚拟声源（即图中 3）在
Figure 157662DEST_PATH_IMAGE004
位置上，
Figure 683321DEST_PATH_IMAGE015
之间满足以下关系：
Figure 325917DEST_PATH_IMAGE016
；
其中，
Figure 620633DEST_PATH_IMAGE017
、
Figure 189017DEST_PATH_IMAGE018
是相对增益，当
Figure 936393DEST_PATH_IMAGE019
（即虚拟声像位置在参会人左侧），设置
Figure 615636DEST_PATH_IMAGE020
；当
Figure 263393DEST_PATH_IMAGE006
（即虚拟声像位置在参会人右侧），设置
Figure 2679DEST_PATH_IMAGE021
，故可以得到以下结果：
Figure 237351DEST_PATH_IMAGE022
，当
Figure 454706DEST_PATH_IMAGE023
；
Figure 724013DEST_PATH_IMAGE024
当
Figure 634200DEST_PATH_IMAGE025
。
最后，左右声道的频谱信号可以由待播放的信号频谱
Figure 123213DEST_PATH_IMAGE026
和增益相乘得到，即
Figure 144258DEST_PATH_IMAGE027
；
Figure 2493DEST_PATH_IMAGE028
。需要注意的是用双声道扬声器，只能实现水平 方向上的虚拟声源的放置和移动。
（3）立体声耳机。对于立体声耳机，则可以采样用HRTF函数合成虚拟声像在空间的 位置。图2g为本发明实施例二提供的一种立体声耳机的场景示意图，如图2g所示，通过头相 关传递函数可以辨别垂直方向上的位置信息，即虚拟声像（如图2g中4），由于远场HRTF与距 离无关，左右声道的频谱信号可以由待播放的信号频谱
Figure 83582DEST_PATH_IMAGE026
和HRTF相乘得到：
Figure 27267DEST_PATH_IMAGE029
；
Figure 610258DEST_PATH_IMAGE030
。
不同用户可以使用通用的头相关传递函数，也可以使用专用的头相关传递函数。头相关传递函数可以基于用户的头围大小、耳廓形状等确定。
（4）双通道或多通道数模转换设备（DAC），即声卡。由虚拟声像生成模块生成的双通道或多通道信号，通过声卡播放并由功放放大，最终推动扬声器阵列或者耳机发出声音，使得个人用户感受到一致的图像位置和声像位置。
综上所述，本实施例提供了一种端到端的沉浸式会议系统方案，包含音频方案和视频方案；个人终端和会议室终端在沉浸式的体验上完全兼容，沉浸式会议可以是多个个人终端之间进行，也可以是多个个人终端和多个会议室终端之间进行；本实施例中图像和声像位置的控制不是从发送端得到，而是由专门的会议控制模块控制，以此更加符合用户的使用习惯。
虚拟声像相对于用户的水平夹角可以为虚拟声像与用户双耳连线中点所在直线，与用户双耳连线在双耳中点处的水平垂直线间的夹角。
虚拟声像相对于用户的俯仰角可以为虚拟声像与用户双耳连线中点所在直线，与用户双耳连线在双耳中点所在水平线间的夹角。
扬声器相对于用户的夹角可以为扬声器与用户双耳连线中点所在直线，与用户双耳连线在双耳中点处的水平垂直线间的夹角。
实施例三
图3是根据本发明实施例三提供的一种信息处理装置的结构示意图。如图3所示，该装置包括：
第一获取模块310，用于获取用户的音视频信息，所述音视频信息包括音频信息和视频信息；
第一确定模块320，用于根据所述音视频信息，确定所对应用户的状态信息，所述状态信息包括指示所对应用户是否正在讲话的指示信息；
第二确定模块330，基于所述个人终端的目标参数，确定是否将所述音视频信息确定为待处理信息，所述目标参数包括所述状态信息；
第三确定模块340，用于若是，所述音视频信息确定为待处理信息；
编码模块350，用于编码所述待处理信息，得到编码后信息；
传输模块360，用于传输所述编码后信息，所述编码后信息用于确定所述音频信息的声像位置。
本发明实施例三提供的一种信息处理装置，通过第一获取模块310获取用户的音视频信息，所述音视频信息包括音频信息和视频信息；通过第一确定模块320根据所述音视频信息，确定所对应用户的状态信息，所述状态信息包括指示所对应用户是否正在讲话的指示信息；通过第二确定模块330基于所述个人终端的目标参数，确定是否将所述音视频信息确定为待处理信息，所述目标参数包括所述状态信息；通过第三确定模块340若是，所述音视频信息确定为待处理信息；通过编码模块350编码所述待处理信息，得到编码后信息；通过传输模块360传输所述编码后信息，所述编码后信息用于确定所述音频信息的声像位置。利用该装置，根据获取的音视频信息，能够确定用户的状态信息，从而实现了个人终端的待处理信息的确定，为接收端提供了确定声像位置的信号基础，使得声像位置能够基于对应的图像位置确定，保证了音频的空间效果降低了线上会议与线下会议的差异性。
可选的，所述第二确定模块330包括：
累计所述状态信息，确定所对应的讲话时长，所述状态信息还包括所述讲话时长；
基于所述讲话时长，确定是否将所述音视频信息确定为待处理信息。
可选的，所述目标参数还包括用户标识信息，相应的，所述第二确定模块330包括：
将所述用户标识信息对应的音视频信息确定为待处理信息。
本发明实施例所提供的信息处理装置可执行本发明实施例一所提供的信息处理方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4是根据本发明实施例四提供的一种信息处理装置的结构示意图。如图4所示，该装置包括：
第二获取模块410，用于获取并解码编码后信息得到待处理信息，所述待处理信息包括音视频信息，所述音视频信息包括音频信息和视频信息；
第四确定模块420，用于确定所述视频信息所对应图像的图像位置；
第五确定模块430，用于基于所述图像位置，确定虚拟声像的声像位置，所述虚拟声像为所述视频信息所对应音频信息的虚拟声像；基于所述声像位置和所述音频信息生成所述音频信息对应的多通道信号；
显示模块440，用于基于所述图像位置显示所述视频信息对应的图像；
播放模块450，用于播放所述多通道信号。
本发明实施例四提供的一种信息处理装置，通过第二获取模块410获取并解码编码后信息得到待处理信息，所述待处理信息包括音视频信息，所述音视频信息包括音频信息和视频信息；通过第四确定模块420确定所述视频信息所对应图像的图像位置；通过第五确定模块430基于所述图像位置，确定虚拟声像的声像位置，所述虚拟声像为所述视频信息所对应音频信息的虚拟声像；基于所述声像位置和所述音频信息生成所述音频信息对应的多通道信号；通过显示模块440基于所述图像位置显示所述视频信息对应的图像；通过播放模块450播放所述多通道信号。利用该装置，通过基于图像位置确定虚拟声像的声像位置，采用空间音频算法生成多通道音频信号，并通过扬声器或者耳机播放产生一个虚拟声像，使得图像位置和声像位置一致，为个人终端或会议室终端的用户提供了沉浸式的会议体验。
可选的，所述第四确定模块420包括：
第三确定单元，用于基于所述待处理信息和预设的窗口排列信息，确定所述视频信息所对应图像的图像位置。
可选的，所述待处理信息还包括所述音视频信息所对应的状态信息，相应的，所述第三确定单元包括：
第一确定子单元，用于在所述音视频信息的个数为至少两个时，基于各所述状态信息，确定所对应视频信息的视频排列顺序；
第二确定子单元，用于基于预设的窗口排列信息和所述视频排列顺序，确定所对应视频信息的图像位置，所述窗口排列信息包括所包含窗口的位置信息。
可选的，所述第一确定子单元包括：
基于各状态信息所包括的指示信息和讲话时长，将各所述状态信息排序；
将状态信息的状态排列顺序，确定为所对应视频信息的视频排列顺序。
可选的，所述第二确定子单元包括：
按照所述视频排列顺序和窗口排列信息，依次将所述视频信息关联至窗口排列信息所对应窗口；
将所述窗口排列信息所对应窗口的窗口中心位置，确定为所关联视频信息的图像位置。
可选的，所述第五确定模块430包括：
将所述图像位置确定为所对应虚拟声像的声像位置。
本发明实施例所提供的信息处理装置可执行本发明实施例二所提供的信息处理方法，具备执行方法相应的功能模块和有益效果。
实施例五
图5是实现本发明实施例的信息处理方法的电子设备的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备（如头盔、眼镜、手表等）和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图5所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器（ROM）12、随机访问存储器（RAM）13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器（ROM）12中的计算机程序或者从存储单元18加载到随机访问存储器（RAM）13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出（I/O）接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如信息处理方法。
在一些实施例中，信息处理方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的信息处理方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行信息处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
实施例六
图6为本发明实施例六提供的一种会议系统的结构示意图，如图6所示，该系统包括：如实施例五的电子设备5、采集设备6和输出设备7, 执行如实施例一或二信息处理方法的电子设备5为应用于个人会议场景的电子设备；
采集设备6用于采集用户的音视频信息；
输出设备7用于输出图像和多通道信号。
其中，电子设备5可以用于执行实施例一或实施例二的信息处理方法；采集设备6可以认为是采集音频和视频的设备，用于采集信息处理方法中用户的音视频信息，采集设备可以为一个整体，同时采集用户的音视频信息，采集设备也可以包含音频采集单元和视频采集单元，分别采集用户的音频信息和视频信息。
输出设备7可以用于输出信息处理方法的图像和多通道信号，如输出设备7可以包括显示单元，用于对信息处理方法输出的图像进行显示；输出设备7可以包括扬声器阵列，用于对多通道信号进行播放及放大。

Claims (9)

1.一种信息处理方法，其特征在于，应用于个人终端，所述方法包括：
获取用户的音视频信息，所述音视频信息包括音频信息和视频信息；
根据所述音视频信息，确定所对应用户的状态信息，所述状态信息包括指示所对应用户是否正在讲话的指示信息；
基于所述个人终端的目标参数，确定是否将所述音视频信息确定为待处理信息，所述目标参数包括所述状态信息；
若是，所述音视频信息确定为待处理信息；
编码所述待处理信息，得到编码后信息；
传输所述编码后信息；
所述待处理信息中视频信息所对应图像的图像位置用于确定所述待处理信息中视频信息所对应音频信息的虚拟声像的声像位置；
所述待处理信息还包括所述待处理信息中的音视频信息所对应的状态信息，所述待处理信息中视频信息所对应图像的图像位置的确定方式包括：
在所述待处理信息中音视频信息的个数为至少两个时，基于所述待处理信息中各音视频信息所对应的状态信息，确定所述待处理信息中视频信息的视频排列顺序；
按照所述视频排列顺序和预设的窗口排列信息，依次将所述待处理信息中的视频信息关联至所述窗口排列信息所对应窗口，所述窗口排列信息包括所对应窗口的位置信息；
将所述窗口排列信息所对应窗口的窗口中心位置，确定为所关联的待处理信息中视频信息所对应图像的图像位置。
2.根据权利要求1所述的方法，其特征在于，所述基于所述个人终端的目标参数，确定是否将所述音视频信息确定为待处理信息，包括：
累计所述状态信息，确定所对应的讲话时长，所述状态信息还包括所述讲话时长；
基于所述讲话时长，确定是否将所述音视频信息确定为待处理信息。
3.根据权利要求1所述的方法，其特征在于，所述目标参数还包括用户标识信息，相应的，所述基于所述个人终端的目标参数，确定是否将所述音视频信息确定为待处理信息，包括：
将所述用户标识信息对应的音视频信息确定为待处理信息。
4.根据权利要求2所述的方法，其特征在于，所述基于所述待处理信息中各音视频信息所对应的状态信息，确定所对应视频信息的视频排列顺序，包括：
基于各状态信息所包括的指示信息和讲话时长，将各所述状态信息排序；
将状态信息的状态排列顺序，确定为所对应视频信息的视频排列顺序。
5.一种信息处理方法，其特征在于，包括：
获取并解码编码后信息得到待处理信息，所述待处理信息包括音视频信息，所述待处理信息中的音视频信息包括音频信息和视频信息，所述编码后信息为基于权利要求1-4任一所述的方法得到的；
确定所述待处理信息中视频信息所对应图像的图像位置；
基于所述待处理信息中视频信息所对应图像的图像位置，确定虚拟声像的声像位置，所述虚拟声像为所述待处理信息中视频信息所对应音频信息的虚拟声像；
基于所述待处理信息中视频信息所对应图像的图像位置显示所述待处理信息中视频信息对应的图像；
基于所述声像位置和所述待处理信息中音频信息生成所述待处理信息中音频信息对应的多通道信号；
播放所述多通道信号。
6.根据权利要求5所述的方法，其特征在于，所述基于所述待处理信息中视频信息所对应图像的图像位置，确定虚拟声像的声像位置，包括：
将所述待处理信息中视频信息所对应图像的图像位置确定为所述待处理信息中视频信息所对应音频信息的虚拟声像的声像位置。
7.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
8.一种会议系统，其特征在于，包括采集设备、输出设备和如权利要求7所述的电子设备，所述电子设备为应用于个人会议场景的电子设备；
所述采集设备用于采集用户的音视频信息；
所述输出设备用于输出图像和多通道信号。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-6中任一项所述的方法。
CN202210924330.4A 2022-08-03 2022-08-03 一种信息处理方法、电子设备、会议系统及介质 Active CN115002401B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210924330.4A CN115002401B (zh) 2022-08-03 2022-08-03 一种信息处理方法、电子设备、会议系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210924330.4A CN115002401B (zh) 2022-08-03 2022-08-03 一种信息处理方法、电子设备、会议系统及介质

Publications (2)

Publication Number Publication Date
CN115002401A CN115002401A (zh) 2022-09-02
CN115002401B true CN115002401B (zh) 2023-02-10

Family

ID=83022005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210924330.4A Active CN115002401B (zh) 2022-08-03 2022-08-03 一种信息处理方法、电子设备、会议系统及介质

Country Status (1)

Country Link
CN (1) CN115002401B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006279555A (ja) * 2005-03-29 2006-10-12 Sony Corp 信号再生装置及び信号再生方法
CN1997161A (zh) * 2006-12-30 2007-07-11 华为技术有限公司 一种视频终端以及一种音频码流处理方法
CN104036789A (zh) * 2014-01-03 2014-09-10 北京智谷睿拓技术服务有限公司 多媒体处理方法及多媒体装置
JP2014220614A (ja) * 2013-05-07 2014-11-20 日本放送協会 音響信号処理装置、音響再生装置及び音響信号処理プログラム
CN109194999A (zh) * 2018-09-07 2019-01-11 深圳创维－Rgb电子有限公司 一种实现声音与图像同位的方法、装置、设备及介质
CN110460863A (zh) * 2019-07-15 2019-11-15 北京字节跳动网络技术有限公司 基于显示位置的音视频处理方法、装置、介质和电子设备
CN111459267A (zh) * 2020-03-02 2020-07-28 杭州嘉澜创新科技有限公司 一种数据处理方法、第一服务器、第二服务器与存储介质
WO2020191934A1 (zh) * 2019-03-25 2020-10-01 深圳创维－Rgb电子有限公司 终端喇叭的控制方法、设备及计算机可读存储介质
CN112135226A (zh) * 2020-08-11 2020-12-25 广东声音科技有限公司 Y轴音频再生方法以及y轴音频再生系统
JPWO2021020150A1 (zh) * 2019-07-26 2021-02-04
WO2022054900A1 (ja) * 2020-09-10 2022-03-17 ソニーグループ株式会社 情報処理装置、情報処理端末、情報処理方法、およびプログラム
CN114630145A (zh) * 2022-03-17 2022-06-14 腾讯音乐娱乐科技（深圳）有限公司 一种多媒体数据合成方法、设备及存储介质
CN114822568A (zh) * 2022-06-02 2022-07-29 深圳创维－Rgb电子有限公司 音频播放方法、装置、设备及计算机可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100085415A1 (en) * 2008-10-02 2010-04-08 Polycom, Inc Displaying dynamic caller identity during point-to-point and multipoint audio/videoconference
US8571192B2 (en) * 2009-06-30 2013-10-29 Alcatel Lucent Method and apparatus for improved matching of auditory space to visual space in video teleconferencing applications using window-based displays

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006279555A (ja) * 2005-03-29 2006-10-12 Sony Corp 信号再生装置及び信号再生方法
CN1997161A (zh) * 2006-12-30 2007-07-11 华为技术有限公司 一种视频终端以及一种音频码流处理方法
JP2014220614A (ja) * 2013-05-07 2014-11-20 日本放送協会 音響信号処理装置、音響再生装置及び音響信号処理プログラム
CN104036789A (zh) * 2014-01-03 2014-09-10 北京智谷睿拓技术服务有限公司 多媒体处理方法及多媒体装置
CN109194999A (zh) * 2018-09-07 2019-01-11 深圳创维－Rgb电子有限公司 一种实现声音与图像同位的方法、装置、设备及介质
WO2020191934A1 (zh) * 2019-03-25 2020-10-01 深圳创维－Rgb电子有限公司 终端喇叭的控制方法、设备及计算机可读存储介质
CN110460863A (zh) * 2019-07-15 2019-11-15 北京字节跳动网络技术有限公司 基于显示位置的音视频处理方法、装置、介质和电子设备
JPWO2021020150A1 (zh) * 2019-07-26 2021-02-04
CN111459267A (zh) * 2020-03-02 2020-07-28 杭州嘉澜创新科技有限公司 一种数据处理方法、第一服务器、第二服务器与存储介质
CN112135226A (zh) * 2020-08-11 2020-12-25 广东声音科技有限公司 Y轴音频再生方法以及y轴音频再生系统
WO2022054900A1 (ja) * 2020-09-10 2022-03-17 ソニーグループ株式会社 情報処理装置、情報処理端末、情報処理方法、およびプログラム
CN114630145A (zh) * 2022-03-17 2022-06-14 腾讯音乐娱乐科技（深圳）有限公司 一种多媒体数据合成方法、设备及存储介质
CN114822568A (zh) * 2022-06-02 2022-07-29 深圳创维－Rgb电子有限公司 音频播放方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN115002401A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
US11991315B2 (en) Audio conferencing using a distributed array of smartphones
US10491809B2 (en) Optimal view selection method in a video conference
EP3466113B1 (en) Method, apparatus and computer-readable media for virtual positioning of a remote participant in a sound space
US10491643B2 (en) Intelligent augmented audio conference calling using headphones
US8073125B2 (en) Spatial audio conferencing
CN107071688B (zh) 用于处理音频信号的方法及装置
US20150189455A1 (en) Transformation of multiple sound fields to generate a transformed reproduced sound field including modified reproductions of the multiple sound fields
EP2974253A1 (en) Normalization of soundfield orientations based on auditory scene analysis
US7720212B1 (en) Spatial audio conferencing system
US11109177B2 (en) Methods and systems for simulating acoustics of an extended reality world
CN111492342B (zh) 音频场景处理
CN114067810A (zh) 音频信号渲染方法和装置
CN114531564B (zh) 处理方法及电子设备
JP2006254064A (ja) 遠隔会議システム、音像位置割当方法および音質設定方法
US20230028238A1 (en) Rendering audio
CN115002401B (zh) 一种信息处理方法、电子设备、会议系统及介质
JP2009246528A (ja) 画像付音声通信システム、画像付音声通信方法およびプログラム
US20230362571A1 (en) Information processing device, information processing terminal, information processing method, and program
US20230370801A1 (en) Information processing device, information processing terminal, information processing method, and program
WO2018198790A1 (ja) コミュニケーション装置、コミュニケーション方法、プログラム、およびテレプレゼンスシステム
CN112313972B (zh) 用于音频呈现的装置和相关联的方法
JP2006339869A (ja) 映像信号と音響信号の統合装置
CN115150580A (zh) 一种信息处理方法、电子设备、系统及介质
WO2024027315A1 (zh) 音频处理方法、装置、电子设备、存储介质和程序产品
US20230276187A1 (en) Spatial information enhanced audio for remote meeting participants

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant