CN114531564A - 处理方法及电子设备 - Google Patents

处理方法及电子设备 Download PDF

Info

Publication number
CN114531564A
CN114531564A CN202210194913.6A CN202210194913A CN114531564A CN 114531564 A CN114531564 A CN 114531564A CN 202210194913 A CN202210194913 A CN 202210194913A CN 114531564 A CN114531564 A CN 114531564A
Authority
CN
China
Prior art keywords
target
data
output
image data
audio data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210194913.6A
Other languages
English (en)
Other versions
CN114531564B (zh
Inventor
马岩
于海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202210194913.6A priority Critical patent/CN114531564B/zh
Priority claimed from CN202210194913.6A external-priority patent/CN114531564B/zh
Publication of CN114531564A publication Critical patent/CN114531564A/zh
Priority to US18/176,884 priority patent/US20230283888A1/en
Application granted granted Critical
Publication of CN114531564B publication Critical patent/CN114531564B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/02—Details casings, cabinets or mounting therein for transducers covered by H04R1/02 but not provided for in any of its subgroups
    • H04R2201/025—Transducer mountings or cabinet supports enabling variable orientation of transducer of cabinet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems

Abstract

本申请公开了一种处理方法及电子设备，所述方法包括：获得第一音频数据和/或第一图像数据；对所述第一音频数据和/或所述第一图像数据进行至少一种处理，得到目标待输出数据；将所述目标待输出数据输出给与所述第一电子设备建立通信连接的第二电子设备上运行的目标应用，以使得所述目标应用至少能够直接输出所述目标待输出数据；其中，所述目标待输出数据的数据量不同于所述第一音频数据和/或所述第一图像数据的数据量。

Description

处理方法及电子设备
技术领域
本申请涉及电子设备技术领域，特别涉及一种处理方法及电子设备。
背景技术
远程视频会议应用越来越广泛，通常情况下，会议室中需要设置一台台式终端、多个摄像头、多个音频设备及操控设备。所采集的视频流和音频流通常独立的传输到云端，通过云端独立的进行图像和音频处理，继而重传到各个终端设备。不仅成本较高，维护性较差，无法实现视频融合，且高度依赖服务商的图像和音频处理能力，容易出现不流畅的现象。
发明内容
本申请提供了一种处理方法及电子设备，本申请实施例采用的技术方案如下：
一种处理方法，应用于第一电子设备，所述方法包括：
获得第一音频数据和/或第一图像数据；
对所述第一音频数据和/或所述第一图像数据进行至少一种处理，得到目标待输出数据；
将所述目标待输出数据输出给与所述第一电子设备建立通信连接的第二电子设备上运行的目标应用，以使得所述目标应用至少能够直接输出所述目标待输出数据；
其中，所述目标待输出数据的数据量不同于所述第一音频数据和/或所述第一图像数据的数据量。
在一些实施例中，所述获得第一音频数据和/或第一图像数据，包括：
利用所述第一电子设备的麦克风阵列和/或摄像头阵列采集目标空间环境内的音频数据和/或图像数据作为所述第一音频数据和/或所述第一图像数据；或，
将来自所述目标应用的音频数据和/或图像数据作为所述第一音频数据和/或第一图像数据；或，
将所述第一电子设备的麦克风阵列和/或摄像头阵列采集的目标空间环境内的音频数据和/或图像数据、以及来自所述目标应用的音频数据和/或图像数据作为所述第一音频数据和/或第一图像数据；或，
将所述第一电子设备的麦克风阵列和/或摄像头阵列采集的目标空间环境内的音频数据和/或图像数据、来自所述目标应用的音频数据和/或图像数据、以及来自第三电子设备采集的音频数据和/或图像数据作为所述第一音频数据和/或第一图像数据；
其中，所述目标空间环境是所述第一电子设备所在的空间环境，所述麦克风阵列和/所述摄像头阵列能够基于所述目标空间环境内的变化信息调整其在所述目标空间环境内的采集范围，所述目标应用包括一个应用、或具有相同和/或不同类型的多个应用。
在一些实施例中，对所述第一音频数据进行至少一种处理，得到目标待输出数据，包括：
基于目标空间环境内的变化信息对所述第一音频数据进行至少一种处理，得到所述目标待输出数据；或，
响应于获得作用于所述目标应用的操作所产生的指令信息对所述第一音频数据进行至少一种处理，得到所述目标待输出数据；或，
基于目标空间环境信息和所述第一电子设备的资源信息对所述第一音频数据进行至少一种处理，得到所述目标待输出数据。
在一些实施例中，对所述第一图像数据进行至少一种处理，得到目标待输出数据，包括：
基于目标空间环境内的变化信息对所述第一图像数据进行至少一种处理，得到所述目标待输出数据；或，
响应于获得作用于所述目标应用的操作所产生的指令信息对所述第一图像数据进行至少一种处理，得到所述目标待输出数据；或，
基于目标空间环境信息和所述第一电子设备的资源信息对所述第一图像数据进行至少一种处理，得到所述目标待输出数据；或，
基于用于输出所述目标待输出数据的输出部件的配置信息和/或使用信息对所述第一图像数据进行至少一种处理，得到所述目标待输出数据。
在一些实施例中，对所述第一音频数据和所述第一图像数据进行至少一种处理，得到目标待输出数据，包括：
将基于控制信号获得的多个所述第一音频数据处理成目标音频数据；
将基于控制信号获得的多个所述第一图像数据处理成目标图像数据；
基于所述控制信号将所述目标音频数据和所述目标图像数据进行融合，得到所述目标待输出数据；
其中，所述控制信号至少包括用于触发所述第一电子设备的麦克风阵列或摄像头阵列采集对应数据的信号。
在一些实施例中，对所述第一音频数据和所述第一图像数据进行至少一种处理，得到目标待输出数据，包括：
确定所述第一电子设备当前所处的使用模式；
至少基于所述使用模式从所述第一音频数据和所述第一图像数据中选择目标音频数据和目标图像数据，以及至少基于所述使用模式进行所述目标音频数据和所述目标图像数据的融合处理，得到所述目标待输出数据。
在一些实施例中，在一些实施例中，对所述第一音频数据和/或所述第一图像数据进行至少一种处理，得到目标待输出数据，包括：
获得第一电子设备的系统资源信息，基于所述系统资源信息从所述第一电子设备预置的算法库中确定目标算法集合，以利用所述目标算法集合中的算法模型对所述第一音频数据和/或所述第一图像数据进行对应的处理，得到所述目标待输出数据，其中，所述算法库位于所述第一电子设备中或所述第一电子设备所处的空间环境内，所述目标算法集合能够基于所述系统资源信息的变化对应更新；或，
获得第一电子设备的系统资源信息，基于所述系统资源信息对原始算法模型进行优化处理，以利用优化后的目标算法模型或目标算法集合对所述第一音频数据和/或所述第一图像数据进行对应的处理，得到所述目标待输出数据，其中，所述目标算法集合或目标算法模型能够基于所述系统资源信息的变化对应更新。
在一些实施例中，将所述目标待输出数据输出给所述第一电子设备建立通信连接的第二电子设备上运行的目标应用，包括：
如果所述第一音频数据和/或所述第一图像数据包括来自第一目标应用的音频数据和/或图像数据，将所述目标待输出数据输出给与所述第一目标应用不同的第二目标应用，其中，所述第一目标应用和所述第二目标应用运行在不同的第二电子设备上；或，
如果所述第一音频数据和/或所述第一图像数据包括来自第一目标应用的音频数据和/或图像数据，将所述目标待输出数据输出给与所述第一目标应用相同的第三目标应用，其中，所述第一目标应用和所述第三目标应用运行在不同的第二电子设备上；或，
响应于获得来自第一目标应用的分享请求，所述分享请求包括所述目标待输出数据的分享对象，将所述目标待输出数据输出给所述分享对象对应的第四目标应用，其中，所述第四目标应用和所述第一目标应用是运行在不同的第二电子设备上的相同或不同的应用。
在一些实施例中，还包括：
将所述目标待输出数据输出给目标输出部件，所述目标输出部件包括所述第一电子设备的输出部件和/或与所述第一电子设备连接的显示输出部件和/或音频输出部件；
其中，所述目标待输出数据通过相同或不同的通道输出给所述目标输出部件和所述目标应用。
一种电子设备，其作为第一电子设备，包括：
主体；
设置在所述主体上的麦克风阵列，用于采集目标空间环境中的音频数据；
设置在所述主体上的摄像头阵列，用于采集目标空间环境内的图像数据；
处理装置，其设置在所述主体内，所述处理装置配置为：
获得第一音频数据和/或第一图像数据，其中，所述第一音频数据包括或不包括所述麦克风阵列采集的音频数据，所述第一图像数据包括或不包括所述摄像头阵列所采集的图像数据；
对第一音频数据和/或第一图像数据进行至少一种处理，得到目标待输出数据，其中，所述目标待输出数据的数据量不同于所述第一音频数据和/或所述第一图像数据的数据量；
将所述目标待输出数据输出给与所述电子设备建立通信连接的第二电子设备上运行的目标应用，以使得所述目标应用至少能够直接输出所述目标待输出数据。
一种处理装置，包括：
获取模块，用于获得第一音频数据和/或第一图像数据；
处理模块，用于对所述第一音频数据和/或所述第一图像数据进行至少一种处理，得到目标待输出数据；
输出模块，用于将所述目标待输出数据输出给与所述处理装置建立通信连接的第二电子设备上运行的目标应用，以使得所述目标应用至少能够直接输出所述目标待输出数据；
其中，所述目标待输出数据的数据量不同于所述第一音频数据和/或所述第一图像数据的数据量。
本申请实施例的处理方法，获得第一音频数据和/或第一图像数据，对第一音频数据和/或第一图像数据进行至少一种处理得到目标待输出数据，压缩数据量或整个数据，如进行视频融合，能够形成与第二电子设备上运行的目标应用相匹配的目标待输出数据，第二电子设备获取到目标待输出数据，可通过目标应用直接输出该目标待输出数据，无需云端或服务端进行辅助数据处理，能够减少对云端或服务端的数据处理能力的依赖，有益于提高会议流畅程度。
附图说明
图1为本申请实施例的处理方法的流程图；
图2为第一电子设备的侧视图；
图3为摄像头阵列中各摄像头的摄像范围的俯视图；
图4为摄像头阵列中各摄像头的摄像范围的平面展开图；
图5为步骤S120的一种实施例的流程图；
图6为步骤S120的另一种实施例的流程图；
图7为步骤S120的又一种实施例的流程图；
图8为步骤S120的再一种实施例的流程图；
图9为本申请实施例的处理装置的结构框图。
具体实施方式
此处参考附图描述本申请的各种方案以及特征。
应理解的是，可以对此处申请的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本申请的范围和精神内的其他修改。
包含在说明书中并构成说明书的一部分的附图示出了本申请的实施例，并且与上面给出的对本申请的大致描述以及下面给出的对实施例的详细描述一起用于解释本申请的原理。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本申请的这些和其它特性将会变得显而易见。
还应当理解，尽管已经参照一些具体实例对本申请进行了描述，但本领域技术人员能够确定地实现本申请的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。
当结合附图时，鉴于以下详细说明，本申请的上述和其他方面、特征和优势将变得更为显而易见。
此后参照附图描述本申请的具体实施例；然而，应当理解，所申请的实施例仅仅是本申请的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本申请模糊不清。因此，本文所申请的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本申请。
本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本申请的相同或不同实施例中的一个或多个。
本申请实施例提供了一种处理方法，应用于第一电子设备，用于对音频数据和/或视频数据进行处理，压缩数据量或整合数据，如进行视频融合，以形成参与视频会议的终端设备上的目标应用能够直接输出的目标待输出数据，减少对云端或服务端的数据处理能力的依赖，提高视频会议的流畅程度。
该第一电子设备可以具有多种形式，包括但不限于智能手机、平板电脑、笔记本电脑及专用于进行视频会议的会议机等，此处不对第一电子设备的设备类型及具体结构进行限定。
图1为本申请实施例的处理方法的流程图，参见图1所示，本申请实施例的处理方法具体可包括如下步骤。
S110，获得第一音频数据和/或第一图像数据。
第一音频数据和第一图像数据可以是第一电子设备自身所采集的数据，也可以是其他电子设备所采集的数据。
可选的，可仅获取第一音频数据。例如，在与会的终端设备仅具有音频采集装置的情况下，或者，在与会人员不方便进行图像采集的情况下，可仅开启终端设备的音频采集装置，仅采集音频数据。
可选的，也可仅获取第一图像数据。例如，在参会人员并未发言的情况下，可仅采集第一图像数据。
可选的，还可同时获取第一音频数据和第一图像数据。例如，可通过图像采集装置和音频采集装置采集一处或多出会议场所的音频数据和图像数据。
S120，对所述第一音频数据和/或所述第一图像数据进行至少一种处理，得到目标待输出数据。
对于目标待输出数据有两个基本要求，一个是目标待输出数据的数据量小于所述第一音频数据和/或所述第一图像数据的数据量，如此，能够减少对通信带宽的占用，如在同一局域网内，有多端需要同时上传音频和/或图像数据的场景中，利用本申请的方案可以大大缩小需上传的数据量；在其他实施例中，目标待输出数据的数据量也可以大于所述第一音频数据和/或所述第一图像数据的数据量，如在本地对视频数据进行视频超分或视频增强或视频融合等；另一个是目标待输出数据要与目标应用相匹配，使得目标应用至少能够直接输出该目标待输出数据。
在满足上述两个基本要求的基础上，可以采用一种或多种方式对第一音频数据和/或第一图像数据进行处理。例如，针对麦克风矩阵采集多路第一音频数据，可合成为一路音频数据，如此，能够相对多路视频同时上传到目标应用及其云端相比，显著降低音频数据的数据量。还例如，出于提高音频清晰度的目的，也可对第一音频数据进行降噪处理。或者，出于形成特定音频效果的目的，也可对第一音频数据进行立体化处理，使得所形成的目标音频数据具有空间音效。又例如，为与目标应用相匹配，使得目标应用能够直接输出目标音频数据，也可基于目标应用的配置参数，对第一音频数据进行格式转化形成目标音频数据，以满足目标应用的输出标准。
可选的，远程视频会议中有效的图像数据主要包括参会人员的人物图像，以及需要参会人员查看的特定显示数据，如PPT图像、白板图像、产品图像等。可对图像采集装置所采集的原始图像进行裁切，以获取例如参会人员的人物图像、PPT图像、白板图像和产品图像等有效图像，形成目标图像数据，降低对通信带宽的要求。也可对图像数据的分辨率、清晰度、尺寸及编码方式等进行修改，以降低目标图像数据的数据量。
可选的，出于满足目标应用的输出方式要求，可基于目标应用的配置参数，对第一图像数据进行处理，形成目标图像数据，以满足目标应用的输出标准。例如，可基于目标应用的图形用户界面的尺寸和格式，对第一图像数据中人物图像和其他目标图像进行裁切和转换处理。
S130，将所述目标待输出数据输出给与所述第一电子设备建立通信连接的第二电子设备上运行的目标应用，以使得所述目标应用至少能够直接输出所述目标待输出数据。
可选的，在获取到目标待输出数据的情况下，可基于第一电子设备和第二电子设备之间的通信连接，将目标待输出数据输出至一个或多个第二电子设备。
例如，在第二电子设备为会议机的情况下，多个参会人员可利用设置在会议室中会议机同时参会，此时，仅需将目标待输出数据输出至该会议机，通过该会议机上运行的目标应用输出该目标待输出数据，就能够满足多个参会人员的视频会议需求。
还例如，在具有多个参会人员，且多个参会人员分别利用各自的第二电子设备参会，可将目标待输出数据分别输送至各个第二电子设备，通过各个第二电子设备上运行的目标应用输出该目标待输出数据。
在具有多个第二电子设备的情况下，多个第二电子设备所运行的目标应用可以是相同的应用程序，多个第二电子设备所运行的目标应用也可以是不同的应用程序。
在多个第二电子设备所运行的目标应用为不同的应用程序的情况下，只要第一电子设备能够基于各个应用程序的配置参数输出符合各个应用程序要求的目标待输出数据，使得各个应用程序能够分别直接输出各自的目标待输出数据即可。
又例如，在第二电子设备能够支持多个应用程序分别输出音频数据和/ 或图像数据的情况下，也可将目标待输出数据分别输出至第二电子设备的各个目标应用，通过各个目标应用分别输出该目标待输出数据。以该第二电子设备为服务器为例，该第二电子设备上可运行多个虚拟机，各虚拟机可分别提供给不同的用户使用，第一电子设备可将目标待输出数据分别输出至各个虚拟机上运行的目标应用，通过各个虚拟机上运行的目标应用分别输出各自的目标待输出数据。
可选的，为提升会议体验，改善音效和/或图像显示效果，第二电子设备获取到目标待输出数据后，可对该目标待输出数据做进一步处理。例如，对音频做特效处理，或对图像数据做特效处理。该进一步处理可以由第二电子设备自行完成，也可以由服务器完成。
本申请实施例的处理方法，获得第一音频数据和/或第一图像数据，对第一音频数据和/或第一图像数据进行至少一种处理得到目标待输出数据，压缩数据量或整个数据，如进行视频融合，能够形成与第二电子设备上运行的目标应用相匹配的目标待输出数据，第二电子设备获取到目标待输出数据，可通过目标应用直接输出该目标待输出数据，无需云端或服务端进行辅助数据处理，能够减少对云端或服务端的数据处理能力的依赖，有益于提高会议流畅程度。
在具体实施时，可以通过多种方式获取第一音频数据和/或第一图像数据，以下结合几个具体实施例对获取第一音频数据和/或第一图像数据的具体步骤进行示例性说明，但不应理解为仅限于通过如下方式获取第一音频数据和/ 或第一图像数据。
在一些实施例中，步骤S110，获得第一音频数据和/或第一图像数据，可包括：
利用所述第一电子设备的麦克风阵列和/或摄像头阵列采集目标空间环境内的音频数据和/或图像数据作为所述第一音频数据和/或所述第一图像数据。
其中，所述目标空间环境是所述第一电子设备所在的空间环境，所述麦克风阵列和/所述摄像头阵列能够基于所述目标空间环境内的变化信息调整其在所述目标空间环境内的采集范围。
可选的，参见图2所示，第一电子设备200可为会议机，该会议机可包括基座210、机体220、麦克风阵列(图中未示出)和摄像头阵列230，机体 220可设置在基座220的顶部，处理器、存储器等部件可设置在基座内，麦克风阵列可包括阵列布置在机体上多个麦克风。摄像头阵列233可包括多个摄像头231、232、233、234，多个摄像头231、232、233、234可沿机体220 的周向依次设置，并且多个摄像头231、232、233、234可分别具有不同的摄像范围241、242、243、244，多个摄像范围231、232、233、234可组成一环形摄像范围，如图3和图4所示。通过该第一电子设备200上的麦克风阵列可采集目标空间环境中的音频数据，通过该摄像头阵列230可采集以第一电子设备200为中心的环形摄像范围的图像数据或所处空间环境的全景图像数据。
可选的，目标空间环境的变化信息可包括声源位置变化信息、声源数量变化信息、声源能量变化信息等，目标空间环境的变化信息也可包括图像对象位置变化信息和图像对象数量变化信息。在采集第一音频数据和/或第一图像数据的过程中，可基于该变化信息，调整麦克风阵列在目标空间环境内的采集范围，或者调整摄像头阵列在目标空间环境内的采集范围。在其他实施例中，还可以通过摄像头阵列采集到的某一对象的位置变化信息或目标空间环境内的对象的数量变化信息等调整麦克风阵列的控制参数。或者，通过其他传感器，如HPD sensor检测到变化信息后，调整麦克风阵列和/或摄像头阵列的控制参数。
可选的，调整采集范围可通过调控麦克风阵列、麦克风、摄像头阵列、摄像头来实现，例如，调整麦克风的灵敏度、拾音模式等，或者调整摄像头的焦距、对焦点等。
可选的，调整采集范围也可通过调控会议机来实现。例如，该机体可构造为可转动地连接在基座上，可基于音频数据获取声源位置变化信息、声源数量变化信息和/或声源能量变化信息，基于声源位置变化信息、声源数量变化信息和/或声源能量变化信息，控制机体转动，调整麦克风阵列和摄像头阵列的采集角度。如使得一个摄像头正对声源，或者使得麦克风阵列获得最佳的采集效果。还例如，可基于图像数据识别图像对应位置变化信息、图像对象数量变化信息，基于图像对象位置变化信息和/或图像对象数量变化信息，控制机体转动，调整麦克风阵列和摄像头阵列的采集角度，进而调整麦克风阵列和摄像头阵列的采集范围。此外，该机体可构造为可升降地设置在基座上，或者该基座的底部还可设置有行走机构，也可基于变化信息控制机体升降，或控制行走机构移动，以带动会议机变换采集位置，进而调整采集范围。
在一些实施例中，步骤S110，获得第一音频数据和/或第一图像数据，可包括：
将来自所述目标应用的音频数据和/或图像数据作为所述第一音频数据和/或第一图像数据。
也即，第一音频数据和第一图像数据不仅限于由第一电子设备自身采集获取，该第一音频数据和第一图像数据也可通过一个或多个第二电子设备的目标应用来获取。以第一电子设备为会议机，一个或多个第二电子设备为参会人员所使用的移动终端为例，各移动终端通过其自带的音频采集设备和图像采集设备获取到第一音频数据和/或第一图像数据后，可通过目标应用将第一音频数据和/或第一图像数据输送至会议机，会议机将第一音频数据和第一图像数据处理为目标待输出数据，继而，将目标待输出数据分别反馈至各个移动终端，通过移动终端上的目标应用程序输出该目标待输出数据。
可选的，目标应用可包括一个应用、或具有相同和/或不同类型的多个应用。例如，会议机可仅与一个第二电子设备通信连接，该第二电子设备上仅运行一个目标应用，如teams、腾讯会议、QQ、微信、Skype或其他视频软件。还例如，第一电子设备也可与一个第二电子设备通信连接，该第二电子设备上可运行有多个目标应用，该多个目标应用可为相同的应用程序，或者该多个目标应用也可为不同的应用程序。又例如，第一电子设备也可分别与多个第二电子设备通信连接，该多个第二电子设备上运行的目标应用可为相同的应用程序，多个第二电子设备上运行的目标应用也可为不同的应用程序。
在一些实施例中，步骤S110，获得第一音频数据和/或第一图像数据，可包括：
将所述第一电子设备的麦克风阵列和/或摄像头阵列采集的目标空间环境内的音频数据和/或图像数据、以及来自所述目标应用的音频数据和/或图像数据作为所述第一音频数据和/或第一图像数据。
其中，所述目标空间环境是所述第一电子设备所在的空间环境，所述麦克风阵列和/所述摄像头阵列能够基于所述目标空间环境内的变化信息调整其在所述目标空间环境内的采集范围，所述目标应用可包括一个应用、或具有相同和/或不同类型的多个应用。
也即，所获取的第一音频数据和/或第一图像数据即可包括第一电子设备所采集的目标空间环境内的音频数据和/或图像数据，也可包括来自第二电子设备上运行的目标应用的音频数据和/或图像数据。例如，仍然以第一电子设备为会议机为例，会议机可放置在会议室中，对于无法到会议室参会的人员可通过其移动终端与该会议机通信连接，会议机既通过自身的麦克风阵列和/ 或摄像头阵列采集会议室中的音频数据和/或图像数据，也获取各个移动终端所采集的远程参会人员的音频数据和/或图像数据。
在一些实施例中，步骤S110，获得第一音频数据和/或第一图像数据，可包括：
将所述第一电子设备的麦克风阵列和/或摄像头阵列采集的目标空间环境内的音频数据和/或图像数据、来自所述目标应用的音频数据和/或图像数据、以及来自第三电子设备采集的音频数据和/或图像数据作为所述第一音频数据和/或第一图像数据。
其中，所述目标空间环境是所述第一电子设备所在的空间环境，所述麦克风阵列和/所述摄像头阵列能够基于所述目标空间环境内的变化信息调整其在所述目标空间环境内的采集范围，所述目标应用包括一个应用、或具有相同和/或不同类型的多个应用。
仍然以第一电子设备为会议机，第二电子设备为远程参会人员所使用的移动终端为例，会议机可设置在主会议室中，移动终端可与会议机通信连接，在会议议题涉及到会议室和该远程参会人员所处空间至外的其他空间时，可通过该第三电子设备采集该其他空间的音频数据和/或图像数据。会议机将从第一电子设备获取的音频数据和/或图像数据，从第二电子设备获取的音频数据和/或图像数据，以及从第三电子设备获取的音频数据和/或图像数据，一并处理为目标待输出数据。
在具体实施时，可通过多种处理方法对第一音频数据和/或第一图像数据进行处理，来获得目标待输出数据，以下结合具体实施例对该处理过程进行示例性说明。
在一些实施例中，步骤S120，对所述第一音频数据进行至少一种处理，得到目标待输出数据，可包括：
基于目标空间环境内的变化信息对所述第一音频数据进行至少一种处理，得到所述目标待输出数据。
可选的，该至少一种处理可包括例如降噪处理、音效处理、数据流合并、数据格式转化或基于音频数据所生成的其他类型的数据，如基于音频数据所生成的图像数据或视频数据等。
可选的，在利用麦克风阵列采集多路第一音频数据的情况下，可从中选取一路音频效果较好的第一音频数据进行降噪处理，并将降噪处理的第一音频数据作为目标音频数据；也可对多路第一音频数据分别进行降噪处理，继而将降噪处理后的多路第一音频数据合并为一路目标音频数据。在目标音频数据的格式与目标应用不匹配的情况下，为了使目标应用能够直接输出该目标音频数据，还可对目标音频数据进行格式转化。
可选的，还可基于第一图像数据确定目标空间环境的空间类型变化信息，如确定该目标空间环境的三围空间结构，基于该三围空间结构，对第一音频数据进行处理，生成具有空间音效的第一音频数据。
可选的，也可基于目标空间环境内的变化信息对第一音频数据进行处理，以获取其他类型的目标数据。例如，可基于第一音频数据中声源的位置和音量识别目标声源，对从第一音频数据中获取目标声源的语音数据，可对该语音数据进行语音识别，获取相对应的文本数据，可将该语音数据和文本数据作为目标待输出数据，目标应用可输出该语音数据，并基于该文本数据输出例如字幕。
还例如，在确定目标声源的情况下，可基于目标声源的语音数据，进行声音转图像处理，生成目标图像数据，将该语音数据和目标图像数据作为目标待输出数据。目标应用可输出该语音数据，在会议中未设置白板的情况下，可基于该目标图像数据模拟一白板，以提高视频会议的效率。在一些情况下，也可基于第一音频数据生成视频数据，例如，可基于第一音频数据模拟生成视频动画，使得视频会议能够更加生动。
在一些实施例中，步骤S120，对所述第一音频数据进行至少一种处理，得到目标待输出数据，可包括：
响应于获得作用于所述目标应用的操作所产生的指令信息对所述第一音频数据进行至少一种处理，得到所述目标待输出数据。
可选的，参会人员(也即用户)可基于各人喜好或需求，对目标应用进行操作产生指令信息，通过该指令信息指示第一电子设备对第一音频数据进行至少一种处理，以获取符合参会人员需求的目标待输出数据。
例如，参会人员可基于各人需求选择是否进行语音识别，或者是否显示字幕，在参会人员选择进行语音识别或显示字幕的情况下，生成相应的指令信息。第一电子设备基于该指令信息对第一音频数据进行语音识别，获取文本数据，并将第一音频数据和文本数据作为目标待输出数据发送至第二电子设备，使得目标应用能够获取的所记录的文本数据，或者使得目标应用能够控制第二电子设备的显示单元显示字幕。
还例如，各个参会人员可基于各人喜好或需求选择音效类型，如环绕立体声、立体音效等，目标应用根据用户的选取操作生成相应的指令信息，第一以电子设备基于该指令信息，对第一音频数据进行处理，形成具有相应音效的目标音频数据，将该目标音频数据作为目标待输出数据。
在一些实施例中，步骤S120，对所述第一音频数据进行至少一种处理，得到目标待输出数据，可包括：
基于目标空间环境信息和所述第一电子设备的资源信息对所述第一音频数据进行至少一种处理，得到所述目标待输出数据。
其中，目标空间环境信息能够表征目标空间环境的使用场景，例如，用于标识该目标空间环境为会议场景、直播场景或课堂场景等的信息。资源信息主要用于表征第一电子设备的使用情况，例如，第一电子设备的处理器使用率或物理内容使用率。如此，第一电子设备可基于目标空间环境信息和自身当前的处理能力，智能选取对第一音频数据的处理操作，以兼顾音频效果和会议流畅。
例如，在第一电子设备在自身的处理能力较为充足的情况下，可选择一项或多项数据处理量较大的处理操作，从而形成较好的音频效果。如可对第一音频数据执行声源定位、回声消除、降噪及增益处理等操作。
在第一电子设备自身的处理能力紧张时，可选择数据处理量较小的处理操作，避免第一电子设备卡顿，保证会议的流畅度。例如，在第一电子设备的处理器使用率较高时，可仅从多路第一音频数据中选择音频质量较好的一路第一音频数据作为目标待输出数据，而不对该第一音频数据执行例如降噪、回声消除或增益处理。
在一些实施例中，步骤S120，对所述第一图像数据进行至少一种处理，得到目标待输出数据，可包括：
基于目标空间环境内的变化信息对所述第一图像数据进行至少一种处理，得到所述目标待输出数据。
可选的，可基于第一图像数据和/或第一音频数据，确定目标空间环境内的目标对象的位置变化信息、数量变化信息、类型变化信息等等。如可基于第一图像数据识别人物、白板、产品等目标对象的变化信息，继而基于目标对象的变化信息，从第一图像数据中分别截取各个目标对象的图像，形成分别与各个目标对象相对应的多路视频流作为目标待输出数据。目标应用可基于该多路视频流，分别通过多个窗口显示各个目标对象。
在一些实施例中，步骤S120，对所述第一图像数据进行至少一种处理，得到目标待输出数据，可包括：
响应于获得作用于所述目标应用的操作所产生的指令信息对所述第一图像数据进行至少一种处理，得到所述目标待输出数据。
可选的，参会人员也可根据需求对目标应用进行操作，以生成指令信息，通过该指令信息指示第一电子设备对第一图像数据进行处理，以获得符合各个参会人员需求的目标待输出数据。例如，参会人员可选择图像显示方式，如参会人员可选择分别显示各个目标对象，或者可整体显示会议室的图像。在参会人员选择分别显示各个目标对象时，第一电子设备可识别第一图像数据中的人物、白板、产品和显示面板等，分别生成多路视频流，目标应用获取到多路视频流后，可基于多路视频流分别显示多个目标对象。在参会人员选择整体显示会议室的图像时，可获取多个沿机体的周向环形布置的摄像头所采集的图像数据，基于多个图像数据拼接为环形摄像范围的整体图像数据，目标应用可基于该整体图像数据整体显示会议室的图像。
在一些实施例中，步骤S120，对所述第一图像数据进行至少一种处理，得到目标待输出数据，可包括：
基于目标空间环境信息和所述第一电子设备的资源信息对所述第一图像数据进行至少一种处理，得到所述目标待输出数据。
可选的，可预置与多种使用场景相对应的使用模式，以及分别与各使用模式相对应的目标输出数据的配置参数。第一电子设备可基于第一图像数据识别目标空间环境信息，基于目标空间环境信息确定目标空间环境的使用场景，基于使用场景确定使用模式，进而确定目标待输出数据的配置参数。也即，确定目标待输出数据的目标效果。
可选的，可预置有例如白板模式、发言模式、对比模式、展示模式等等。
白板模式可配置为适用于一个或多个宣讲人利用白板或显示装置进行内容宣讲的使用模式，在该使用模式下，目标应用需要输出尺寸较大且清晰度较高的白板图像，以及尺寸较小且清晰度可相对较低的参会人员的人物图像，如图6中f所示。
发言模式适用于发言人在不借助白板和显示装置的情况下进行发言，在该使用模式下，目标应用需要输出尺寸较大且清晰度较高的发言人的人物图像，并输出尺寸相对较小且清晰度可相对较低的其他参会人员的人物图像，如图6中d所示。
对比模式适用于进行产品对比或操作过程对比，在该使用模式下，目标应用需要输出所对比的两个以上的产品图像或者两个以上的操作过程的图像，如图6中a所示。
展示模式适用于进行产品展示，目标应用需要输出所展示的产品或其他待展示物的图像，如图6中e所示。
在确定了目标待输出数据的配置参数的情况下，可基于第一电子设备的资源信息，确定第一电子设备当前可用的硬件资源和软件资源。例如，第一电子设备的CPU的空闲率、GPU的空闲率、NPU的空闲率和物理内存的空闲率。可基于第一电子设备当前可用的硬件资源和软件资源，以及目标待输出数据的配置参数，确定第一图像数据的至少一种处理操作，以便在获取目标待输出数据的基础上，提高数据处理的流畅程度，避免出现数据拥堵，有益于保证会议流畅进行。
在一些实施例中，步骤S120，对所述第一图像数据进行至少一种处理，得到目标待输出数据，可包括：
基于用于输出所述目标待输出数据的输出部件的配置信息和/或使用信息对所述第一图像数据进行至少一种处理，得到所述目标待输出数据。
其中，输出部件可为第二电子设备的显示单元，或者与第二电子设备连接的显示设备。该输出部件的配置信息可包括显示单元或显示设备的尺寸、分辨率、刷新频率及色彩等信息，配置部件的使用信息可包括该显示单元或显示设备的显示模式、用户所选取的分辨率、所处环境场景的场景信息等等。
各个第二电子设备可基于其各自与第一电子设备的通信通路，将各自的输出部件的配置信息和/或使用信息发送至第一电子设备，第一电子设备可基于输出部件的配置信息和/或使用信息，对第一图像数据进行处理，形成与各个输出部件相匹配的目标待输出数据。其中，所述至少一种处理可包括：图像编辑(如裁剪)、图像增强、图像融合、二值化、模糊、隐私处理、图像编码、图像压缩及图像特效处理等。如此，所形成的目标待输出数据与输出部件的配置信息和/或使用信息相匹配，输出部件基于该目标待输出数据输出显示内容，能够形成较好的显示效果。
配合图5所示，在一些实施例中，步骤S120，对所述第一音频数据和所述第一图像数据进行至少一种处理，得到目标待输出数据，可包括：
将基于控制信号获得的多个所述第一音频数据处理成目标音频数据；
将基于控制信号获得的多个所述第一图像数据处理成目标图像数据；以及
基于所述控制信号所述目标音频数据和所述目标图像数据进行融合，得到所述目标待输出数据；
其中，所述控制信号至少包括用于出发所述第一电子设备的麦克风阵列或摄像头阵列采集对应数据的信号。该控制信号可用于控制音频数据和图像数据的获取时机、来源及协同采集等。
可选的，第一电子设备可基于控制信号获取多个第一音频数据，如第一电子设备可基于控制信号获取麦克风阵列所采集的第一音频数据、获取第二电子设备的目标应用所发送的第一音频数据，以及第三电子设备所采集的第一图像数据等。在获取到多个第一音频数据后，第一电子设备可基于控制信号将多个第一音频数据融合为目标音频数据。
可选的，以第一电子设备上设置有麦克风阵列为例，该第一电子设备还可设置有音频信号处理芯片，麦克风阵列中的多个麦克风生成多个第一音频数据，通过音频信号处理芯片基于控制信号将多个第一音频数据融合为目标音频数据。
可选的，第一电子设备可基于控制信号获取多个第一图像数据。如在第一电子设备上设置摄像头阵列，或者第一电子设备可分别获取自身摄像头所采集的第一图像数据、第二电子设备的目标应用所发送的第一图像数据，以及第三电子设备所采集的第一图像数据。在获取到多个第一图像数据后，第一电子设备可基于控制信号将多个第一图像数据融合为目标图像数据。
可选的，第一电子设备的机体上可沿周向设置多个摄像头，多个摄像头的摄像范围能够形成一环形摄像范围，该第一电子设备还可包括图形信号处理芯片，多个摄像头分别采集其各自摄像范围的第一图像数据，图形信号处理芯片可基于控制信号将多个第一图像数据融合为目标图像数据，如图4中 A部分所示。
在获取的目标音频数据和目标图像数据的情况下，第一电子设备可将目标图像数据和目标音频数据基于时间信息融合为目标视频数据。目标音频数据和目标图像数据作为流数据均包含时间信息，可基于时间信息将二者合成在一起。例如，可形成HDMI格式、DP格式或其他格式的视频数据。如此，可简化目标应用对目标待输出数据的输出操作，有益于提高会议的流畅程度。
配合图6所示，在一些实施例中，步骤S120，对所述第一音频数据和所述第一图像数据进行至少一种处理，得到目标待输出数据，可包括：
确定所述第一电子设备当前所处的使用模式；
至少基于所述使用模式从所述第一音频数据和所述第一图像数据中选择目标音频数据和目标图像数据；以及
至少基于所述使用模式进行所述目标音频数据和所述目标图像数据的融合处理，得到所述目标待输出数据；其中，所述目标待输出数据还由所述使用模式下的显示输出参数确定。
可选的，第一电子设备可预置有多种使用模式，如白板模式、发言模式、对比模式、展示模式等等。各种使用模式可分别适用于不同的使用场景，例如，白板模式适用于一个或多个宣讲人正在利用白板或投影仪进行宣讲，发言模式适用于发言人在不借助白板和显示屏的情况下进行发言，对比模式适用于对两个以上产品或两个以上操作过程进行对比，展示模式适用于进行产品展示的使用场景。
可基于用户的选择来确定第一电子设备当前所处的使用模式，或者可基于对第一电子设备所采集的第一图像数据进行图像识别，来确定第一电子设备当前所处的使用场景，进而基于所确定的使用场景确定使用模式。
在确定第一电子设备的当前所处的使用模式的情况下，可基于使用模式从第一音频数据和第一图像数据中选择目标音频数据和目标图像数据。如在白板模式，可从第一音频数据中提取宣讲人的语音数据，对其他不相关的音频数据进行降噪处理，从第一图像数据中截取白板图像、宣讲人人物图像、参会人员人物图像等等。在发言模式下，可从第一音频数据中提取发言人的语音数据，对其他不相关的音频数据进行降噪处理，从第一图像数据中截取发言人的人物图像、参会人员的人物图像。在对比模式下，可从第一图像数据中截取所对比的两个以上的产品的图像，或者截取所对比的两个以上的操作过程的对比图像，从第一音频数据中提取与所对比的产品或所对比的操作过程相关的音频数据。在展示模式下，可第一图像数据中截取所演示的产品图像，从第一音频数据中提取介绍该产品的人员的音频数据，并对其他不相关的音频数据进行降噪处理。
可选的，在获取到目标音频数据和目标图像数据的情况下，可基于使用模式和该使用模式下的显示输出参数，对所述目标音频数据和目标图像数据进行融合处理，获得目标待输出数据。显示输出参数可包括第一电子设备的显示输出部件的配置参数和使用参数，例如，第一电子设备的显示屏的尺寸、分辨率等，该显示输出参数还可包括输出端的配置参数和使用参数，也即，第二电子设备的输出部件和配置参数和使用参数，如第二电子设备的显示输出部件和音频输出部件的配置参数和使用参数。如此，该目标待输出数据即与使用模式相适配，还与第一电子设备自身的显示输出部件，以及第二电子设备的输出部件相适配。
例如，在满足各个显示输出部件的配置参数和使用参数的基础上，在白板模式下，白板图像可保留较高的清晰度和较大的尺寸，参会人员的人物图像可保留较低的清晰度和较小的尺寸，如图6中f所示。在发言模式，发言人的人物图像可保留较高的清晰度和较大的尺寸，其他参会人员的人物图像可保留较低的清晰度和较小的尺寸等等，如图6中d所示。
需要说明的是，图6为采用真实采集的图像绘制而成，仅用于示例性展示人物图像、白板图像、产品图像、PPT图像等图像元素，并对不同使用模式下输出端基于目标待输出数据对不同图像元素的展示方式进行示例性的展示，至于白板图像以及PPT图像等中的具体文字内容与本申请并不相关，因此并不需要清晰的展示其中的文字内容。
配合图7所示，在一些实施例中，步骤120，对所述第一音频数据和/或所述第一图像数据进行至少一种处理，得到目标待输出数据，可包括：
获得第一电子设备的系统资源信息；
基于所述系统资源信息从所述第一电子设备预置的算法库中确定目标算法集合；以及
利用所述目标算法集合中的算法模型对所述第一音频数据和/或所述第一图像数据进行对应的处理，得到所述目标待输出数据；
其中，所述算法库位于所述第一电子设备中或所述第一电子设备所处的空间环境内，如与第一电子设备连接的其他边缘设备中，或者，该算法库也可位于例如云端。该算法库中具有多种算法模型，例如用于处理音频数据的算法模型，用于处理图像数据的算法模型，用于处理视频流的算法模型等等。
可选的，系统资源信息可包括第一电子设备的硬件资源信息和软件资源信息，如硬件资源信息可包括但不限于CPU的占用率、物理内存的占用率、 GPU的占用率、NPU的占用率及各个部件的温度等等，软件资源信息可包括例如系统的使用率、进程数、任务量等。
在获取到第一电子设备的系统资源信息的情况下，可基于第一电子设备的系统资源信息确定第一电子设备可利用的硬件资源和软件资源，从预置的算法库中确定与该可利用的硬件资源和软件资源相匹配的算法模型，形成目标算法集合。例如，在实现相同的目标待输出数据的处理效果的基础上，如果CPU的占用率较低，则可从预置的算法库中选取由CPU执行的算法2。如果GPU的占用率较低，则可从预置的算法库中选取由GPU执行的算法3，如图7所示。
可选的，所述目标算法集合能够基于所述系统资源信息的变化对应更新。也即，随着对第一音频数据和/或第一图像数据进行处理的过程中，第一电子设备的硬件资源和软件资源的使用情况是不断变化的，第一电子设备的系统资源信息随之发生变化，可随着该系统资源信息的变化，动态调整目标算法集合中的算法模型。例如，随着CPU的占用率逐渐升高，可从目标算法集合中去掉至少部分由CPU执行的算法模型，在能够实现相同或基本相同的处理效果的情况下，可将由GPU执行的算法模型添加到目标算法集合中，以避免硬件资源和软件资源出现拥堵，保障数据处理的流畅性。
配合图8所示，在一些实施例中，步骤120，对所述第一音频数据和/或所述第一图像数据进行至少一种处理，得到目标待输出数据，可包括：
获得第一电子设备的系统资源信息；
基于所述系统资源信息对原始算法模型进行优化处理；以及
利用优化后的目标算法模型或目标算法集合对所述第一音频数据和/或所述第一图像数据进行对应的处理，得到所述目标待输出数据。
可选的，第一电子设备中或第一电子设备所处的空间环境内可预置有算法库，该算法库中可预置有多个原始算法模型，原始算法模型可包括例如多个算法节点或算法单元，如图8所示。
在具体实施时，可获取第一电子设备的系统资源信息，系统资源信息可包括第一电子设备的硬件资源信息和软件资源信息，如硬件资源信息可包括但不限于CPU的占用率、物理内存的占用率、GPU的占用率、NPU的占用率及各个部件的温度等等，软件资源信息可包括例如系统的使用率、进程数、任务量等。
在获取到第一电子设备的系统资源信息的情况下，可基于第一电子设备的系统资源信息确定第一电子设备可利用的硬件资源和软件资源，可基于第一电子设备可用的硬件资源和软件资源，对原始算法模型进行剪枝、量化或压缩，形成与第一电子设备当前可用的硬件资源和软件资源相匹配的目标算法模型，并可通过优化后的目标算法模型组成目标算法集合，基于目标算法集合中的目标算法模型对第一音频数据和/或第一图像数据进行处理，以获得目标待输出数据，如图8所示。例如，当前第一电子设备的CPU占用率较低，可对原始算法模型进行优化处理，以形成主要由CPU来执行的目标算法模型。
可选的，所述目标算法集合或目标算法模型能够基于所述系统资源信息的变化对应更新。也即，随着第一电子设备的硬件资源和软件资源的实用情况不断变化，可动态调整目标算法集合或目标算法模型。例如，随着GPU的占用率逐渐升高，可去掉目标算法模型中主要由GPU来执行的算法节点或算法单元，通过由CPU或其他处理器执行算法节点来替代，使得目标算法集合和目标算法模型能够基于第一电子设备的硬件资源和软件资源的实时变化进行动态调整，保证数据处理的流畅性。
在一些实施例中，步骤S130，将所述目标待输出数据输出给所述第一电子设备建立通信连接的第二电子设备上运行的目标应用，可包括：
如果所述第一音频数据和/或所述第一图像数据包括来自第一目标应用的音频数据和/或图像数据，将所述目标待输出数据输出给与所述第一目标应用不同的第二目标应用，其中，所述第一目标应用和所述第二目标应用运行在不同的第二电子设备上。
可选的，通过该第一电子设备对音频数据流和视频数据流进行处理后，可分别形成与不同类型的第一目标应用和第二目标应用相匹配的目标待输出数据，分别将各自的目标待输出数据输送至第一目标应用和第二目标应用。如此，不同会议终端的视频流，经由该第一电子设备处理后，能够在不同会议终端和不同应用程序之间进行分享，不再限定参会人员均采用相同的应用程序，能够降低视频会议的实现难度。
在一些实施例中，步骤S130，将所述目标待输出数据输出给所述第一电子设备建立通信连接的第二电子设备上运行的目标应用，可包括：
如果所述第一音频数据和/或所述第一图像数据包括来自第一目标应用的音频数据和/或图像数据，将所述目标待输出数据输出给与所述第一目标应用相同的第三目标应用，其中，所述第一目标应用和所述第三目标应用运行在不同的第二电子设备上。
第一音频数据和/第一图像数据经由第一电子设备处理成目标待输出后，能够在不同参会人员的相同类型的第一目标应用和第三目标应用之间进行分享，以满足多人远程视频会议的需求。
在一些实施例中，步骤S130，将所述目标待输出数据输出给所述第一电子设备建立通信连接的第二电子设备上运行的目标应用，可包括：
响应于获得来自第一目标应用的分享请求，所述分享请求包括所述目标待输出数据的分享对象，将所述目标待输出数据输出给所述分享对象对应的第四目标应用，其中，所述第四目标应用和所述第一目标应用是运行在不同的第二电子设备上的相同或不同的应用。
可选的，第一目标应用可为会议管理员所使用的终端设备上运行的应用程序，会议管理员可基于不同参会人员的会议终端信息向第一电子设备发送分享请求。也即，分享对象可包括不同参会人员的会议终端信息，该会议终端信息可包括参会人员所使用的终端设备的设备信息，该终端设备上运行的目标应用的应用信息，以及参会人员在目标应用注册的个人身份信息等。
第一电子设备接收到分享请求，可基于会议终端信息分别向不同的第二电子设备上运行的相同的目标应用，或者不同的目标应用分享目标待输出数据，如此，不同的参会人员可以采用相同或不同的目标应用参与视频会议，极大地提高的视频会议的灵活性。
在一些实施例中，所述方法还可包括：
将所述目标待输出数据输出给目标输出部件，所述目标输出部件包括所述第一电子设备的输出部件和/或与所述第一电子设备连接的显示输出部件和/或音频输出部件；其中，所述目标待输出数据通过相同或不同的通道输出给所述目标输出部件和所述目标应用。
也即，在具体实施时，目标待输出数据不仅限于输出至第二电子设备上运行的目标应用，也可以输出至第一电子设备的输出部件，或与第一电子设备连接的输出部件。该目标输出部件可包括第一电子设备的输出部件，和/ 或与第一电子设备连接的显示输出部件和/或音频数据部件。也即，该目标输出部件可作为第一电子设备的组成部件，例如，第一电子设备的显示单元、音频播放单元等。该目标输出部件也可为与第一电子设备连接的外设，例如，与第一电子设备连接的显示屏幕，或者与第一电子设备连接的音响等音频输出设备。
实际上，目标输出部件可包括任意类型的输出设备，例如，显示设备、音频播放设备、灯光设备及打印设备等。例如，在该目标待输出数据包括文本数据时，可通过打印设备打印例如纸质的会议纪要。或者，在该目标数据设备包括用于指示会议内容或会议进程等的指示信息，可将该指示信息发送至灯光设备，通过该指示信息控制灯光设备的灯光效果，来对会议内容或会议进程等进行提示，以丰富会议形式。
向目标输出部件和目标应用输出目标输出数据时，可采用相同的数据通道，或不同的数据通道。例如，可通过有线网络或无线网络将目标待输出数据发送至第二电子设备上运行的目标应用。在目标数据部件为第一电子设备自身的输出部件时，可通过内部的数据通道将目标待输出数据直接发送给目标输出部件。还例如，在目标输出部件为与第一电子设备连接的输出设备时，第一电子设备也可均通过有线网络将目标待输出数据分别输送至目标输出部件和目标应用，或者均通过无线网络将目标待输出数据分别输送至目标输出部件和目标应用。又例如，第一电子设备也可基于目标待输出数据的数据类型和数据量大小，选取数据通道。
参见图2所示，本申请实施例还提供了一种电子设备，也即图2中所示的第一电子设备，该电子设备可包括主体、麦克风阵列、摄像头阵列230及处理装置及存储器，麦克风阵列包括多个麦克风，多个麦克风可阵列布置在主体上，麦克风用于采集电子设备所处的环境空间中的音频数据；摄像头阵列230包括多个摄像头231、232、233、234，多个摄像头231、232、233、 234可阵列布置在主体上，多个摄像头231、232、233、234可配置为分别具有各自的摄像范围，用于采集其各自摄像范围的图像数据；处理装置和存储器可设置在主体内，存储器上可存储有程序，处理装置在执行所述存储器上的程序时实现如上任一实施例所述的处理方法。
可选的，该主体可基座210和机体220，机体220可设置在基座220的顶部，处理装置、存储器等部件可设置在基座内，麦克风阵列可设置在机体上。多个摄像头231、232、233、234可沿机体220的周向依次设置，并且多个摄像头231、232、233、234可分别具有不同的摄像范围241、242、243、 244，多个摄像范围231、232、233、234可组成一环形摄像范围，如图3和图4所示。
参见图9所示，本申请实施例还提供了一种处理装置，包括：
获取模块301，用于获得第一音频数据和/或第一图像数据；
处理模块302，用于对所述第一音频数据和/或所述第一图像数据进行至少一种处理，得到目标待输出数据；
输出模块303，用于将所述目标待输出数据输出给与所述处理装置建立通信连接的第二电子设备上运行的目标应用，以使得所述目标应用至少能够直接输出所述目标待输出数据；
其中，所述目标待输出数据的数据量不同于所述第一音频数据和/或所述第一图像数据的数据量。
在一些实施例中，所述获取模块301具体用于：
利用所述处理装置的麦克风阵列和/或摄像头阵列采集目标空间环境内的音频数据和/或图像数据作为所述第一音频数据和/或所述第一图像数据；或，
将来自所述目标应用的音频数据和/或图像数据作为所述第一音频数据和/或第一图像数据；或，
将所述处理装置的麦克风阵列和/或摄像头阵列采集的目标空间环境内的音频数据和/或图像数据、以及来自所述目标应用的音频数据和/或图像数据作为所述第一音频数据和/或第一图像数据；或，
将所述处理装置的麦克风阵列和/或摄像头阵列采集的目标空间环境内的音频数据和/或图像数据、来自所述目标应用的音频数据和/或图像数据、以及来自第三电子设备采集的音频数据和/或图像数据作为所述第一音频数据和/或第一图像数据；
其中，所述目标空间环境是所述处理装置所在的空间环境，所述麦克风阵列和/所述摄像头阵列能够基于所述目标空间环境内的变化信息调整其在所述目标空间环境内的采集范围，所述目标应用包括一个应用、或具有相同和/或不同类型的多个应用。
在一些实施例中，所述处理模块302具体用于：
基于目标空间环境内的变化信息对所述第一音频数据进行至少一种处理，得到所述目标待输出数据；或，
响应于获得作用于所述目标应用的操作所产生的指令信息对所述第一音频数据进行至少一种处理，得到所述目标待输出数据；或，
基于目标空间环境信息和所述处理装置的资源信息对所述第一音频数据进行至少一种处理，得到所述目标待输出数据。
在一些实施例中，所述处理模块302具体用于：
基于目标空间环境内的变化信息对所述第一图像数据进行至少一种处理，得到所述目标待输出数据；或，
响应于获得作用于所述目标应用的操作所产生的指令信息对所述第一图像数据进行至少一种处理，得到所述目标待输出数据；或，
基于目标空间环境信息和所述处理装置的资源信息对所述第一图像数据进行至少一种处理，得到所述目标待输出数据；或，
基于用于输出所述目标待输出数据的输出部件的配置信息和/或使用信息对所述第一图像数据进行至少一种处理，得到所述目标待输出数据。
在一些实施例中，所述处理模块302具体用于：
将基于控制信号获得的多个所述第一音频数据处理成目标音频数据；
将基于控制信号获得的多个所述第一图像数据处理成目标图像数据；
基于所述控制信号将所述目标音频数据和所述目标图像数据进行融合，得到所述目标待输出数据；
其中，所述控制信号至少包括用于触发所述处理装置的麦克风阵列或摄像头阵列采集对应数据的信号。
在一些实施例中，所述处理模块302具体用于：
确定所述处理装置当前所处的使用模式；
至少基于所述使用模式从所述第一音频数据和所述第一图像数据中选择目标音频数据和目标图像数据，以及至少基于所述使用模式进行所述目标音频数据和所述目标图像数据的融合处理，得到所述目标待输出数据。
在一些实施例中，所述处理模块302具体用于：
获得电子设备的系统资源信息，基于所述系统资源信息从所述处理装置预置的算法库中确定目标算法集合，以利用所述目标算法集合中的算法模型对所述第一音频数据和/或所述第一图像数据进行对应的处理，得到所述目标待输出数据，其中，所述算法库位于所述处理装置中或所述处理装置所处的空间环境内，所述目标算法集合能够基于所述系统资源信息的变化对应更新；或，
获得电子设备的系统资源信息，基于所述系统资源信息对原始算法模型进行优化处理，以利用优化后的目标算法模型或目标算法集合对所述第一音频数据和/或所述第一图像数据进行对应的处理，得到所述目标待输出数据，其中，所述目标算法集合或目标算法模型能够基于所述系统资源信息的变化对应更新。
在一些实施例中，所述输出模块303具体用于：
如果所述第一音频数据和/或所述第一图像数据包括来自第一目标应用的音频数据和/或图像数据，将所述目标待输出数据输出给与所述第一目标应用不同的第二目标应用，其中，所述第一目标应用和所述第二目标应用运行在不同的第二电子设备上；或，
如果所述第一音频数据和/或所述第一图像数据包括来自第一目标应用的音频数据和/或图像数据，将所述目标待输出数据输出给与所述第一目标应用相同的第三目标应用，其中，所述第一目标应用和所述第三目标应用运行在不同的第二电子设备上；或，
响应于获得来自第一目标应用的分享请求，所述分享请求包括所述目标待输出数据的分享对象，将所述目标待输出数据输出给所述分享对象对应的第四目标应用，其中，所述第四目标应用和所述第一目标应用是运行在不同的第二电子设备上的相同或不同的应用。
在一些实施例中，所述输出模块303还用于：
将所述目标待输出数据输出给目标输出部件，所述目标输出部件包括所述处理装置的输出部件和/或与所述处理装置连接的显示输出部件和/或音频输出部件；
其中，所述目标待输出数据通过相同或不同的通道输出给所述目标输出部件和所述目标应用。
本领域技术人员应明白，本申请的实施例可提供为方法、电子设备、计算机可读存储介质或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。当通过软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
上述处理器可以是通用处理器、数字信号处理器、专用集成电路 (application-specific integrated circuit，ASIC)，可编程逻辑器件 (programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logicdevice，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic,简称GAL)或其任意组合。通用处理器可以是微处理器或者任何常规的处理器等。
上述存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
上述可读存储介质可为磁碟、光盘、DVD、USB、只读存储记忆体(ROM) 或随机存储记忆体(RAM)等，本申请对具体的存储介质形式不作限定。
以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (10)

1.一种处理方法，应用于第一电子设备，所述方法包括：
获得第一音频数据和/或第一图像数据；
对所述第一音频数据和/或所述第一图像数据进行至少一种处理，得到目标待输出数据；
将所述目标待输出数据输出给与所述第一电子设备建立通信连接的第二电子设备上运行的目标应用，以使得所述目标应用至少能够直接输出所述目标待输出数据；
其中，所述目标待输出数据的数据量不同于所述第一音频数据和/或所述第一图像数据的数据量。
2.根据权利要求1所述的方法，所述获得第一音频数据和/或第一图像数据，包括：
利用所述第一电子设备的麦克风阵列和/或摄像头阵列采集目标空间环境内的音频数据和/或图像数据作为所述第一音频数据和/或所述第一图像数据；或，
将来自所述目标应用的音频数据和/或图像数据作为所述第一音频数据和/或第一图像数据；或，
将所述第一电子设备的麦克风阵列和/或摄像头阵列采集的目标空间环境内的音频数据和/或图像数据、以及来自所述目标应用的音频数据和/或图像数据作为所述第一音频数据和/或第一图像数据；或，
将所述第一电子设备的麦克风阵列和/或摄像头阵列采集的目标空间环境内的音频数据和/或图像数据、来自所述目标应用的音频数据和/或图像数据、以及来自第三电子设备采集的音频数据和/或图像数据作为所述第一音频数据和/或第一图像数据；
其中，所述目标空间环境是所述第一电子设备所在的空间环境，所述麦克风阵列和/所述摄像头阵列能够基于所述目标空间环境内的变化信息调整其在所述目标空间环境内的采集范围，所述目标应用包括一个应用、或具有相同和/或不同类型的多个应用。
3.根据权利要求1或2所述的方法，其中，对所述第一音频数据进行至少一种处理，得到目标待输出数据，包括：
基于目标空间环境内的变化信息对所述第一音频数据进行至少一种处理，得到所述目标待输出数据；或，
响应于获得作用于所述目标应用的操作所产生的指令信息对所述第一音频数据进行至少一种处理，得到所述目标待输出数据；或，
基于目标空间环境信息和所述第一电子设备的资源信息对所述第一音频数据进行至少一种处理，得到所述目标待输出数据。
4.根据权利要求1或2所述的方法，其中，对所述第一图像数据进行至少一种处理，得到目标待输出数据，包括：
基于目标空间环境内的变化信息对所述第一图像数据进行至少一种处理，得到所述目标待输出数据；或，
响应于获得作用于所述目标应用的操作所产生的指令信息对所述第一图像数据进行至少一种处理，得到所述目标待输出数据；或，
基于目标空间环境信息和所述第一电子设备的资源信息对所述第一图像数据进行至少一种处理，得到所述目标待输出数据；或，
基于用于输出所述目标待输出数据的输出部件的配置信息和/或使用信息对所述第一图像数据进行至少一种处理，得到所述目标待输出数据。
5.根据权利要求1或2所述的方法，其中，对所述第一音频数据和所述第一图像数据进行至少一种处理，得到目标待输出数据，包括：
将基于控制信号获得的多个所述第一音频数据处理成目标音频数据；
将基于控制信号获得的多个所述第一图像数据处理成目标图像数据；
基于所述控制信号将所述目标音频数据和所述目标图像数据进行融合，得到所述目标待输出数据；
其中，所述控制信号至少包括用于触发所述第一电子设备的麦克风阵列或摄像头阵列采集对应数据的信号。
6.根据权利要求1或2所述的方法，其中，对所述第一音频数据和所述第一图像数据进行至少一种处理，得到目标待输出数据，包括：
确定所述第一电子设备当前所处的使用模式；
至少基于所述使用模式从所述第一音频数据和所述第一图像数据中选择目标音频数据和目标图像数据，以及至少基于所述使用模式进行所述目标音频数据和所述目标图像数据的融合处理，得到所述目标待输出数据。
7.根据权利要求1所述的方法，其中，对所述第一音频数据和/或所述第一图像数据进行至少一种处理，得到目标待输出数据，包括：
获得第一电子设备的系统资源信息，基于所述系统资源信息从所述第一电子设备预置的算法库中确定目标算法集合，以利用所述目标算法集合中的算法模型对所述第一音频数据和/或所述第一图像数据进行对应的处理，得到所述目标待输出数据，其中，所述算法库位于所述第一电子设备中或所述第一电子设备所处的空间环境内，所述目标算法集合能够基于所述系统资源信息的变化对应更新；或，
获得第一电子设备的系统资源信息，基于所述系统资源信息对原始算法模型进行优化处理，以利用优化后的目标算法模型或目标算法集合对所述第一音频数据和/或所述第一图像数据进行对应的处理，得到所述目标待输出数据，其中，所述目标算法集合或目标算法模型能够基于所述系统资源信息的变化对应更新。
8.根据权利要求2所述的方法，其中，将所述目标待输出数据输出给所述第一电子设备建立通信连接的第二电子设备上运行的目标应用，包括：
如果所述第一音频数据和/或所述第一图像数据包括来自第一目标应用的音频数据和/或图像数据，将所述目标待输出数据输出给与所述第一目标应用不同的第二目标应用，其中，所述第一目标应用和所述第二目标应用运行在不同的第二电子设备上；或，
如果所述第一音频数据和/或所述第一图像数据包括来自第一目标应用的音频数据和/或图像数据，将所述目标待输出数据输出给与所述第一目标应用相同的第三目标应用，其中，所述第一目标应用和所述第三目标应用运行在不同的第二电子设备上；或，
响应于获得来自第一目标应用的分享请求，所述分享请求包括所述目标待输出数据的分享对象，将所述目标待输出数据输出给所述分享对象对应的第四目标应用，其中，所述第四目标应用和所述第一目标应用是运行在不同的第二电子设备上的相同或不同的应用。
9.根据权利要求1所述的方法，其中，还包括：
将所述目标待输出数据输出给目标输出部件，所述目标输出部件包括所述第一电子设备的输出部件和/或与所述第一电子设备连接的显示输出部件和/或音频输出部件；
其中，所述目标待输出数据通过相同或不同的通道输出给所述目标输出部件和所述目标应用。
10.一种电子设备，其作为第一电子设备，包括：
主体；
设置在所述主体上的麦克风阵列，用于采集目标空间环境中的音频数据；
设置在所述主体上的摄像头阵列，用于采集目标空间环境内的图像数据；
处理装置，其设置在所述主体内，所述处理装置配置为：
获得第一音频数据和/或第一图像数据，其中，所述第一音频数据包括或不包括所述麦克风阵列采集的音频数据，所述第一图像数据包括或不包括所述摄像头阵列所采集的图像数据；
对第一音频数据和/或第一图像数据进行至少一种处理，得到目标待输出数据，其中，所述目标待输出数据的数据量不同于所述第一音频数据和/或所述第一图像数据的数据量；
将所述目标待输出数据输出给与所述电子设备建立通信连接的第二电子设备上运行的目标应用，以使得所述目标应用至少能够直接输出所述目标待输出数据。
CN202210194913.6A 2022-03-01 2022-03-01 处理方法及电子设备 Active CN114531564B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210194913.6A CN114531564B (zh) 2022-03-01 处理方法及电子设备
US18/176,884 US20230283888A1 (en) 2022-03-01 2023-03-01 Processing method and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210194913.6A CN114531564B (zh) 2022-03-01 处理方法及电子设备

Publications (2)

Publication Number Publication Date
CN114531564A true CN114531564A (zh) 2022-05-24
CN114531564B CN114531564B (zh) 2024-04-23

Family

ID=

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117640877A (zh) * 2024-01-24 2024-03-01 浙江华创视讯科技有限公司 线上会议的画面重构方法及电子设备
WO2024055229A1 (zh) * 2022-09-15 2024-03-21 华为技术有限公司 图像处理方法、装置、系统及智能设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120274728A1 (en) * 2011-04-27 2012-11-01 Brother Kogyo Kabushiki Kaisha Video Conference Apparatus, Method, and Storage Medium
WO2015117554A1 (en) * 2014-02-10 2015-08-13 Tencent Technology (Shenzhen) Company Limited Data processing method, apparatus, and terminal device
CN107995456A (zh) * 2017-11-16 2018-05-04 杭州好园科技有限公司 智慧园区视频会议系统
CN109873973A (zh) * 2019-04-02 2019-06-11 京东方科技集团股份有限公司 会议终端和会议系统
CN112040167A (zh) * 2020-08-28 2020-12-04 林子电子科技(上海)有限公司 一种实现多种不同类型视频会议的连接的方法
CN112291502A (zh) * 2020-02-24 2021-01-29 北京字节跳动网络技术有限公司 信息交互方法、装置、系统和电子设备
CN112866619A (zh) * 2021-01-05 2021-05-28 浙江大学 一种远程会议控制方法、装置、电子设备及存储介质
CN112887654A (zh) * 2021-01-25 2021-06-01 联想(北京)有限公司 一种会议设备、会议系统及数据处理方法
CN113542466A (zh) * 2021-07-07 2021-10-22 Oppo广东移动通信有限公司 音频处理方法、电子设备及存储介质
CN113784084A (zh) * 2021-09-27 2021-12-10 联想(北京)有限公司 一种处理方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120274728A1 (en) * 2011-04-27 2012-11-01 Brother Kogyo Kabushiki Kaisha Video Conference Apparatus, Method, and Storage Medium
WO2015117554A1 (en) * 2014-02-10 2015-08-13 Tencent Technology (Shenzhen) Company Limited Data processing method, apparatus, and terminal device
CN107995456A (zh) * 2017-11-16 2018-05-04 杭州好园科技有限公司 智慧园区视频会议系统
CN109873973A (zh) * 2019-04-02 2019-06-11 京东方科技集团股份有限公司 会议终端和会议系统
CN112291502A (zh) * 2020-02-24 2021-01-29 北京字节跳动网络技术有限公司 信息交互方法、装置、系统和电子设备
CN112040167A (zh) * 2020-08-28 2020-12-04 林子电子科技(上海)有限公司 一种实现多种不同类型视频会议的连接的方法
CN112866619A (zh) * 2021-01-05 2021-05-28 浙江大学 一种远程会议控制方法、装置、电子设备及存储介质
CN112887654A (zh) * 2021-01-25 2021-06-01 联想(北京)有限公司 一种会议设备、会议系统及数据处理方法
CN113542466A (zh) * 2021-07-07 2021-10-22 Oppo广东移动通信有限公司 音频处理方法、电子设备及存储介质
CN113784084A (zh) * 2021-09-27 2021-12-10 联想(北京)有限公司 一种处理方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024055229A1 (zh) * 2022-09-15 2024-03-21 华为技术有限公司 图像处理方法、装置、系统及智能设备
CN117640877A (zh) * 2024-01-24 2024-03-01 浙江华创视讯科技有限公司 线上会议的画面重构方法及电子设备
CN117640877B (zh) * 2024-01-24 2024-03-29 浙江华创视讯科技有限公司 线上会议的画面重构方法及电子设备

Also Published As

Publication number Publication date
US20230283888A1 (en) 2023-09-07

Similar Documents

Publication Publication Date Title
CN110401810B (zh) 虚拟画面的处理方法、装置、系统、电子设备及存储介质
CN112714327B (zh) 基于直播应用程序的互动方法、装置、设备及存储介质
US10079996B2 (en) Communication system, communication device, and communication method
CN109547724B (zh) 一种视频流数据的处理方法、电子设备及存储装置
WO2012072008A1 (zh) 视频信号的辅助信息叠加方法及装置
US20230328429A1 (en) Audio processing method and electronic device
CN108683874B (zh) 一种视频会议注意力聚焦的方法及一种存储设备
JP2019220848A (ja) データ処理装置、データ処理方法及びプログラム
US20170092274A1 (en) Captioning system and/or method
JP2017507626A (ja) 関連アプリケーションに対するビデオ会議相互参照の改善
CN110933485A (zh) 一种视频字幕生成方法、系统、装置和存储介质
CN112004046A (zh) 一种基于视频会议的图像处理方法和装置
CN102202206B (zh) 通信设备
JP2019149785A (ja) 映像変換装置及びプログラム
US10762913B2 (en) Image-based techniques for audio content
US20230292011A1 (en) Information processing system, image-capturing device, and display method
US10616724B2 (en) Method, device, and non-transitory computer-readable recording medium for supporting relay broadcasting using mobile device
CN109040778B (zh) 视频封面的确定方法、用户设备、存储介质及装置
CN111093028A (zh) 一种信息处理方法和电子设备
CN109076251A (zh) 远程会议传输
CN114531564B (zh) 处理方法及电子设备
JP2017103641A (ja) 情報処理装置、会議システム、情報処理方法およびプログラム
CN114531564A (zh) 处理方法及电子设备
CN113676693B (zh) 画面呈现方法、视频会议系统及可读存储介质
CN115205164A (zh) 图像处理模型的训练方法、视频处理方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant