CN115499620A - 一种会议录制装置、方法、系统以及介质 - Google Patents
一种会议录制装置、方法、系统以及介质 Download PDFInfo
- Publication number
- CN115499620A CN115499620A CN202211191722.0A CN202211191722A CN115499620A CN 115499620 A CN115499620 A CN 115499620A CN 202211191722 A CN202211191722 A CN 202211191722A CN 115499620 A CN115499620 A CN 115499620A
- Authority
- CN
- China
- Prior art keywords
- recording data
- information
- conference recording
- conference
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 87
- 238000009877 rendering Methods 0.000 claims description 75
- 238000012549 training Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- 239000000463 material Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000003062 neural network model Methods 0.000 description 5
- 238000000547 structure data Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000000611 regression analysis Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/155—Conference systems involving storage of or access to video conference sessions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本说明书实施例提供一种会议录制装置、方法、系统以及介质。该装置包括图像处理单元、存储单元以及控制单元。图像处理单元,用于生成会议数据以及初始会议录制数据。存储单元,与图像处理单元连接,用于存储初始会议录制数据。控制单元,用于获取会议录制的需求信息;基于需求信息,控制图像处理单元生成初始会议录制数据并获取初始会议录制数据的存储信息;基于存储信息,获得存储在存储单元中的初始会议录制数据;基于初始会议录制数据,生成目标会议录制数据并发送至目标终端。
Description
技术领域
本说明书涉及信息处理技术领域,特别涉及一种会议录制装置、方法、系统以及介质。
背景技术
随着互联网技术的不断发展,线上办公的形式也在不断普及。传统的线上会议通常为视频的形式,无法满足日益增长的工作需要。随着虚拟现实相关技术的发展,可以实现多人通过虚拟现实装置以虚拟形象在三维虚拟场景中进行会议。但因虚拟会议与传统线上会议参与形式不同,对虚拟会议进行会议录制不同于传统线上会议的直接对相关音频、视频等数据进行保存。
因此,需要提供一种会议录制装置、方法、系统以及介质,以对虚拟会议进行录制,能够快速、便捷地根据参会人员的需要对虚拟会议进行录制,以便后期查看。
发明内容
本说明书实施例之一提供一种会议录制装置,所述装置包括:图像处理单元,用于生成会议数据以及初始会议录制数据;存储单元,与所述图像处理单元连接,用于存储所述初始会议录制数据;控制单元,与所述图像处理单元以及所述存储单元通信连接,用于:获取会议录制的需求信息;基于所述需求信息,控制所述图像处理单元生成所述初始会议录制数据并获取所述初始会议录制数据的存储信息;基于所述存储信息,获得存储在所述存储单元中的所述初始会议录制数据;基于所述初始会议录制数据,生成所述目标会议录制数据并发送至目标终端。
本说明书实施例之一提供一种会议录制方法,包括:获取会议录制的需求信息;基于所述需求信息,控制图像处理单元生成初始会议录制数据并获取所述初始会议录制数据的存储信息;基于存储信息,获得存储在存储单元中的所述初始会议录制数据;基于所述初始会议录制数据,生成所述目标会议录制数据并发送至目标终端。
本说明书实施例之一提供一种会议录制系统,包括:第一获取模块,用于获取会议录制的需求信息;控制模块,用于基于所述需求信息,控制图像处理单元生成初始会议录制数据并获取所述初始会议录制数据的存储信息;第二获取模块,用于基于存储信息,获得存储在存储单元中的所述初始会议录制数据;生成模块,用于基于所述初始会议录制数据,生成所述目标会议录制数据并发送至目标终端。
本说明书实施例之一提供一种计算机可读存储介质,所述存储介质存储计算机指令,当计算机读取存储介质中的计算机指令后,计算机执行如上述实施例中任意一项所述的会议录制方法。
附图说明
本说明书将以示例性实施例的方式进一步说明,这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的,在这些实施例中,相同的编号表示相同的结构,其中:
图1是根据本说明书一些实施例所示的会议录制装置的示意图;
图2是根据本说明书一些实施例所示的会议录制方法的示例性流程图;
图3是根据本说明书一些实施例所示的确定目标渲染策略的示例性流程图;
图4是根据本说明书一些实施例所示的确定目标渲染策略的示意图;
图5是根据本说明书一些实施例所示的虚拟会议的示意图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本说明书的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
应当理解,本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
图1是根据本说明书一些实施例所示的会议录制装置的示意图。
如图1所示,会议录制装置100可以用于虚拟会议的目标会议录制数据,会议录制装置100可以包括图像处理单元110、存储单元120以及控制单元130。
图像处理单元110是指生成会议数据以及初始会议录制数据的单元。图像处理单元可以包括图形处理器(Graphic Processing Unit,GPU)。在一些实施例中,针对每一参会人员,图像处理单元可以实时基于虚拟会议空间、参会人员的虚拟形象以及展示资料等,生成该参会人员对应的会议数据,并传输至该参会人员的终端,以使该参会人员能够与其他参会人员在虚拟会议空间中进行实时的虚拟会议。关于虚拟会议空间、参会人员的虚拟形象以及展示资料等更多内容可以参见图2及其相关描述。在一些实施例中,图像处理单元还可以生成虚拟会议的初始会议录制数据,关于生成初始会议录制数据的更多内容参见图2及其相关描述。
存储单元120可以用于存储会议录制装置100或来自其他设备中的相关数据和/或指令。例如,存储单元120可以与图像处理单元110连接,用于存储图像处理单元生成的初始会议录制数据。再例如,存储单元120还可以存储有虚拟会议空间的相关数据、各个参会人员对应的虚拟形象等。存储单元120可以包括一个或多个存储组件,每个存储组件可以是一个独立的设备,也可以是其他设备的一部分。在一些实施例中,存储设备120可包括随机存取存储器(RAM)、只读存储器(ROM)、大容量存储器、可移动存储器、易失性读写存储器等或其任意组合。示例性的,大容量储存器可以包括磁盘、光盘、固态磁盘等。在一些实施例中,存储单元120还可以存储控制单元130用来执行或使用以完成本说明书中描述的示例性方法的数据和/或指令。
控制单元130可以处理从其他设备或会议录制装置100的其他组成部分中获得的数据和/或信息。例如,控制单元可以基于获取会议录制的需求信息;基于需求信息,控制图像处理单元生成初始会议录制数据并获取初始会议录制数据的存储信息;基于存储信息,获得存储在存储单元中的初始会议录制数据;基于初始会议录制数据,生成目标会议录制数据并发送至目标终端。在一些实施例中,控制单元130可以与会议录制装置100中的图像处理单元110和存储单元120通信连接,以获取相关数据或对其他组成部分进行控制。控制单元130可以与图像处理单元110和存储单元120连接。例如,控制单元130可以控制图像处理单元110生成初始会议录制数据。又例如,控制单元130还可以从存储单元120中获取初始会议录制数据。
图2是根据本说明书一些实施例所示的会议录制方法的示例性流程图。在一些实施例中,流程200可以由控制单元执行。如图2所示,流程200可以包括下述步骤:
步骤210,获取会议录制的需求信息。
需求信息可以指表征是否需要对会议进行录制的相关需求的信息。其中,会议可以包括虚拟会议。虚拟会议可以指参会人员通过各种装置(例如,VR(Virtual Reality)装置、MR(Mixed Reality)装置、XR(Extended Reality)装置等)以现实形象或虚拟形象在三维的虚拟会议空间中参加的会议。如图5所示,虚拟会议可以为虚拟形象510、虚拟形象520以及虚拟形象530在虚拟会议空间500中参加的会议。其中,每一虚拟形象可以表征一参会人员,虚拟形象以及虚拟会议空间可以均为处于三维空间,同时,虚拟形象以及虚拟会议空间的外观可以通过预先设置确定。
需求信息可以包括参会人员需要对会议进行录制的需求,还可以包括需要对会议进行录制的参会人员的人员信息。控制单元可以获取参会人员发起的对会议进行录制的需求以及前述参会人员的人员信息。例如,参会人员可以在虚拟会议系统中通过虚拟形象点击在虚拟会议空间中虚拟屏幕上“会议录制”发起对虚拟会议进行录制的需求。控制单元可以获取该对虚拟会议进行录制的需求以及发起前述需求的参会人员的人员信息。
在一些实施例中,需求信息还可以包括虚拟相机在虚拟会议空间中的第一位置信息。第一位置信息可以包括虚拟会议空间中的坐标信息以及角度信息。例如,第一位置信息可以包括(10,10,15)以及(30°,20°,60°),其中,(10,10,15)为虚拟相机在虚拟会议空间中的坐标信息,(30°,20°,60°)为虚拟相机在虚拟会议空间中表征为Z-X-Y顺位的欧拉角的角度信息。
目标对象在发起对虚拟会议进行录制的需求后,虚拟会议空间中可以出现虚拟相机。其中,目标对象可以指发起对会议进行录制的需求的参会人员。控制单元可以根据目标对象对应的虚拟形象的位置,根据预设对应关系,确定虚拟相机出现的位置以及角度。在一些实施例中,目标对象可以不对虚拟相机进行调整,对应的,控制单元可以直接基于虚拟相机出现的位置以及角度,确定第一位置信息。在一些实施例中,目标对象还可以对虚拟相机出现的位置进行调整,确定第一位置信息。如图5所示,目标对象可以通过对应的虚拟形象对出现的虚拟相机540进行拖动,调整其坐标以及镜头拍摄的角度为虚拟相机550,目标对象可以通过对应的虚拟形象点击虚拟屏幕560上“开始录制”(图未示出),控制单元可以获取虚拟相机550在虚拟会议空间500中的坐标信息以及角度信息,作为虚拟相机550在虚拟会议空间500中的第一位置信息。
应当理解的是,虚拟相机仅为虚拟会议空间中为了便于目标对象能够直接对拍摄的角度以及位置进行调整的元素。虚拟相机不同于真实世界中的图像获取装置,其不具有真实的拍摄功能。控制单元需通过图像处理单元对会议的相关数据进行处理以获得目标会议录制数据。
本说明书的一些实施例中目标对象可以通过虚拟形象拖动虚拟相机,以对虚拟相机的坐标与角度进行调整,从而能够使得获取到的会议录制的画面满足目标对象的会议录制的相关需求。
在一些实施例中,在对会议进行录制时,控制单元可以对参会人员对应的虚拟形象在虚拟会议空间中的第三位置信息进行监测。其中,第三位置信息可以包括虚拟形象在虚拟会议空间中的角度信息以及虚拟形象中多个预设骨骼关键点在虚拟会议空间中的坐标信息。前述第三位置信息可以通过控制单元实时对虚拟会议进行监测获取。
在一些实施例中,当参会人员对应的虚拟形象在虚拟会议空间中坐标信息发生变动时,控制单元可以对虚拟相机的第一位置信息进行调整。控制单元可以基于各个参会人对应的第三位置信息以及第一位置信息,通过第一位置确定模型,获得新的第一位置信息。第一位置确定模型的输入可以包括第一位置信息以及各个参会人对应的第三位置信息,输出可以包括新的第一位置信息。第一位置确定模型可以包括深度神经网络模型、支持向量机模型中的一种或多种。
第一位置确定模型可以基于第一训练集进行训练获得。第一训练集中可以包括多个带有标签的训练样本,其中,训练样本可以包括样本虚拟会议空间中的样本第一位置信息以及多个样本第三位置信息,训练样本的标签可以包括样本新的第一位置信息。训练标签可以通过历史虚拟会议的相关数据获取,标签可以通过人工基于多个样本第三位置信息对样本第一位置信息进行调整获取。将训练样本输入初始第一位置确定模型,基于所述初始第一位置确定模型的输出以及标签构建损失函数。基于损失函数迭代更新前述初始第一位置确定模型的参数,直至满足预设条件,获得训练好的第一位置确定模型。其中,预设条件可以包括但不限于损失函数收敛、训练周期达到阈值等。
本说明书的一些实施例中控制单元可以对虚拟相机的第一位置信息进行实时调整,避免因参会人员对应的虚拟形象在虚拟空间中进行移动时对虚拟相机前方视野造成的遮挡,降低会议录制的质量。应当理解的是,当虚拟形象的移动未造成虚拟相机的遮挡时,第一位置确定模型输出的新的第一位置信息可以与输入第一位置确定模型的第一位置信息一致。
如图5所示,参会人员在参加虚拟会议时,还可以在虚拟会议空间500中的虚拟屏幕560上进行资料展示。在一些实施例中,当需在虚拟会议空间中的虚拟屏幕上进行资料展示时,控制单元还可以基于各个参会人员对应的第三位置信息、第一位置信息、虚拟屏幕在虚拟会议空间中的第四位置信息以及虚拟屏幕图像,确定新的第一位置信息。第四位置信息可以包括虚拟屏幕的各个顶点在虚拟会议空间中的坐标信息以及虚拟屏幕的角度信息,第四位置信息可以通过预先设置获取。虚拟屏幕图像可以通过图像处理单元生成的会议数据获取。关于图像处理单元生成会议数据的更多内容参见图1及其相关描述。
在一些实施例中,控制单元可以基于第二位置确定模型对各个参会人员对应的第三位置信息、第一位置信息、第四位置信息以及虚拟屏幕图像进行处理,确定新的第一位置信息。第二位置确定模型的输入可以包括各个参会人员对应的第三位置信息、第一位置信息、第四位置信息以及虚拟屏幕图像,输出可以包括新的第一位置信息。第二位置确定模型可以包括深度神经网络模型、支持向量机模型中的一种或多种。
第二位置确定模型可以基于第二训练集进行训练获得。第二训练集中可以包括多个带有标签的训练样本,其中,训练样本可以包括样本虚拟会议空间中的样本第一位置信息、样本第四位置信息、样本屏幕图像以及多个样本第三位置信息,训练样本的标签可以包括样本新的第一位置信息。训练标签可以通过历史虚拟会议的相关数据获取,标签可以通过人工基于样本第四位置信息、样本屏幕图像以及多个样本第三位置信息对样本第一位置信息进行调整获取。将训练样本输入初始第二位置确定模型,基于前述初始第二位置确定模型的输出以及标签构建损失函数。基于损失函数迭代更新前述初始第二位置确定模型的参数,直至满足预设条件,获得训练好的第二位置确定模型。其中,预设条件可以包括但不限于损失函数收敛、训练周期达到阈值等。
本说明书的一些实施例中控制单元还可以基于虚拟屏幕的第四位置信息以及虚拟屏幕图像,对虚拟相机的第一位置信息进行实时调整,可以避免应虚拟屏幕对虚拟相机前方视野造成的遮挡,降低会议录制的质量。同时,第二位置确定模型还可以对虚拟屏幕图像进行分析处理,判断虚拟屏幕图像的清晰度,从而能够调整第一位置信息,可以避免因虚拟屏幕过远造成的虚拟屏幕中的内容不清晰,保证了会议录制的质量。
步骤220,基于需求信息,控制图像处理单元生成初始会议录制数据并获取初始会议录制数据的存储信息。
初始会议录制数据可以指基于图像处理单元生成的会议录制的数据。初始会议录制数据可以为会议录制的图像。图像处理单元可以基于预先设置生成初始会议录制数据。例如,图像处理单元生成60FPS(Frame Per Second)的图像作为初始会议录制数据。
在一些实施例中,控制单元可以进行建模或采用各种数据分析算法,例如回归分析法、判别分析法等,对需求信息进行分析处理,以控制图像处理单元生成初始会议录制数据。
在一些实施例中,控制单元可以基于第一位置信息,确定图像处理单元中目标渲染点位的第二位置信息。目标渲染点位可以指图像处理单元生成初始会议录制数据的点位,第二位置信息可以为目标渲染点位在图像处理单元的渲染空间中的位置信息。目标渲染点位的第二位置信息与虚拟相机的第一位置信息相关。在一些实施例中,控制单元可以基于第一位置信息,通过预设对应关系,确定第二位置信息。例如,虚拟会议空间可以与渲染空间完全对应,对应的,可以直接将虚拟相机的第一位置信息确定为目标渲染点位的第二位置信息。
在一些实施例中,控制单元可以基于第二位置信息,控制图像处理单元新增目标渲染点位并生成目标渲染点位对应的渲染数据。
应当理解的是,图像处理单元的渲染空间中除目标渲染点位之外还可以包括其他渲染点位,其他渲染点位的位置信息可以与参会人员的第三位置信息一一对应。图像处理单元可以生成每一其他渲染点位对应的渲染数据,以作为每一参会对象对应的会议数据,并发送至对应参会对象的对应终端中,以使对应参会对象可以进行虚拟会议。渲染数据可以包括渲染图像。例如,当图像处理单元渲染帧率为60FPS时,图像处理单元每一渲染点位上每秒钟需一次生成60张渲染图像。针对每一渲染点位(例如,目标渲染点位、其他渲染点位等),图像处理单元可以生成该渲染点位上多张不同角度的图像,并对前述多张不同角度的图像进行图像配准和图像融合,从而生成一张360°的图像作为该渲染点位上的一张渲染图像。
在一些实施例中,控制单元可以将目标渲染点位对应的渲染数据确定为初始会议录制数据。图像处理单元可以将初始会议录制数据按时间顺序依次存储在存储单元中。
在一些实施例中,控制单元还可以获取初始会议录制数据的存储信息。其中,存储信息可以通过预先设置确定。例如,可以基于会议时间每一分钟在存储单元中对应生成一个文件夹,并渲染顺序将该时间段内的渲染图像依次存储在该文件夹内。控制单元可以获取对应文件夹信息作为存储信息。在一些实时例中,控制单元还可以获取其他会议相关内容的存储信息。例如,控制单元还可以获取会议音频、展示资料等内容的存储信息,前述存储信息可以通过预先设置获取。
步骤230,基于存储信息,获得存储在存储单元中的初始会议录制数据。
在一些实施例中,控制单元可以基于存储信息,获得存储在存储单元中的初始会议录制数据。控制单元还可以基于存储信息,获取会议音频、展示资料等。
步骤240,基于初始会议录制数据,生成目标会议录制数据并发送至目标终端。
目标会议录制数据可以指最终生成的会议录制数据。目标会议录制数据可以为360°视频数据。
在一些实施例中,控制单元可以对初始会议录制数据、会议音频、展示资料等按照时间顺序进行合成,获得目标会议录制数据。控制单元可以将目标会议录制视频发送至目标终端,其中,目标终端可以是目标对象所使用的终端,还可以是其他目标对象指定的终端。
本说明书的一些实施例可以通过虚拟相机的第一位置信息,对应生成目标会议录制数据,便于参会人员后期查看。同时,本说明书的一些实施例可以直接通过图像处理单元中生成初始会议录制数据,并通过存储单元进行存储,从而能够生成目标会议录制数据,保证流程运行的流畅性,避免了在中央处理器中重复进行操作。
图3是根据本说明书一些实施例所示的确定目标渲染策略的示例性流程图。在一些实施例中,流程300可以由控制单元执行。如图3所示,流程300可以包括下述步骤:
步骤310,获取虚拟会议的会议信息以及参会人员的人员信息。
会议信息可以指虚拟会议的相关信息。会议信息可以包括展示资料在虚拟会议空间中的第四位置信息。会议信息还可以包括展示资料的具体信息。例如,展示资料的类型、文件大小等。会议信息可以通过多种方式确定。例如,控制单元可以通过预先设定确定会议信息。再例如,控制单元可以获取参会对象上传的展示资料的具体信息。
人员信息是指虚拟会议中的参会人员的相关信息。例如,人员信息可以包括参会人员的虚拟形象、在虚拟会议空间中的第三位置信息以及对应的终端等中的一种或多种。人员信息也可以多种方式获取。例如,参会人员的虚拟形象可以通过参会人员捏脸或对预设选项进行选择获取。
步骤320,基于会议信息、人员信息以及第一位置信息,确定控制图像处理单元生成初始会议录制数据的目标渲染策略。
目标渲染策略可以指图像处理单元对会议数据以及初始会议录制数据进行渲染的策略。目标渲染策略可以包括图像处理单元需要生成的数据类型。例如,目标渲染策略可以包括图像处理单元同时对所有渲染点位进行渲染,生成对应的会议数据以及初始会议录制数据。
目标渲染策略还可以包括生成的会议数据以及初始会议录制数据的设置。例如,目标渲染策略可以包括将初始会议录制数据对应的渲染数据从60FPS调整为40FPS。
在一些实施例中,控制单元可以进行建模或采用各种数据分析算法,例如回归分析法、判别分析法等,对目会议信息、人员信息以及第一位置信息进行分析处理,获得控制图像处理单元生成初始会议录制数据的目标渲染策略。
在一些实施例中,控制单元还可以基于第一位置信息、人员信息以及会议信息,通过数据量确定模型,确定图像处理单元在目标时间段内生成会议数据的第一数据量以及生成初始会议录制数据的第二数据量,其中,数据量确定模型为机器学习模型;基于第一数据量以及第二数据量,确定目标渲染策略。关于上述实施例的更多内容可以参见图4及其相关描述。
步骤330,控制图像处理单元基于目标渲染策略生成初始会议录制数据。
在本说明书的一些实施例中控制单元通过会议信息、人员信息以及第一位置信息确定目标渲染策略,避免图像处理单元超负荷运行,提高图像处理单元的使用寿命。
图4是根据本说明书一些实施例所示确定目标渲染策略的示意图。
在一些实施例中,控制单元可以基于第一位置信息、人员信息以及会议信息,通过数据量确定模型,确定图像处理单元在目标时间段内生成会议数据的第一数据量以及生成初始会议录制数据的第二数据量。其中,数据量确定模型可以为机器学习模型。目标时间段可以是预设的时间段。例如,控制单元可以每1分钟执行一次前述实施例,对应的,目标时间段可以为当前时间点的下一分钟内。
如图4所示,控制单元可以基于第一位置信息410、人员信息420以及会议信息430构建图结构数据440。
图结构数据可以由节点和边组成的,边连接节点,节点和边可以具有属性。
在一些实施例中,图的节点可以与虚拟相机以及各个参会对象对应。节点属性可以反映对应节点的相关特征。例如,虚拟相机对应的节点属性可以包括第一位置信息,各个参会对象对应节点属性可以包括对应的虚拟形象以及第三位置信息。其中,虚拟信息以及第三位置信息可以基于人员信息确定。
在一些实施例中,控制单元可以将距离小于预设阈值的节点进行连接,获得边。边属性可以反应两个节点之间的区域的相关特征。例如,边属性可以包括两个节点之间的距离,方向等。在一些实施例中,边属性还可以包括位于两个节点之间的虚拟屏幕的第四位置信息。其中,第四位置信息可以基于会议信息确定。
如图4所示,数据量确定模块450可以对图结构数据440进行处理,确定在目标时间段内生成会议数据的第一数据量460以及生成初始会议录制数据的第二数据量470。数据量确定模块可以是图神经网络模型(Graph Neural Network,GNN)。数据量确定模块也可以是其他图模型,例如图卷积神经网络模型(GCNN),或者在图神经网络模型中增加其他处理层、修改其处理方法等。
第一数据量可以指在目标时间段内图像处理单元生成该节点对应的参会人员的会议数据的所需的数据量。第二数据量可以指目标时间段内图像处理单元生成虚拟相机对应的初始会议录制数据所需的数据量。
数据量确定模块可以通过第三训练集进行训练获取。第三训练集可以包括多个带有标签的训练样本。训练样本可以包括样本时间点的样本图结构数据,训练标签可以包括样本图结构数据中的各个样本节点在样本时间段内的数据量。其中,样本时间点为样本时间段的开始时间点。训练样本以及训练标签均可通过历史会议数据获取。可以将训练样本输入初始数据量确定模块,基于初始数据量确定模块的输出与标签构建损失函数,基于损失函数迭代更新初始数据量确定模块的参数,直至满足预设条件,获得训练好的数据量确定模块。其中,预设条件可以包括但不限于损失函数收敛,训练周期达到阈值等。
如图4所示,控制单元可以基于第一数据量460以及第二数据量470,确定目标时间段内的目标渲染策略480。控制单元可以根据预设规则,确定目标渲染策略。例如,预设规则可以为当第一数据量以及第二数据量的总和大于预设的第一数据量阈值时,将目标时间段内与初始会议录制数据相关的会议数据进行存储,直至图像处理单元某一时间段内的第一数据量以及第二数据量的总和小于预设的第二数据量阈值时,图像处理单元基于与初始会议录制数据相关的会议数据,生成前述目标时间段对应的初始会议录制数据,并存储至存储单元或调整图像处理单元生成的初始会议录制数据的FPS;当第一数据量以及第二数据量的总和不大于预设的第一数据量阈值时,图像处理单元实时生成参会人员对应的会议数据以及虚拟相机对应的初始会议录制数据。其中,前述第一数据量阈值以及第二数据量阈值可以与图像处理单元的频率相关。
本说明书的一些实施例中控制单元可以通过数据量确定模块,确定图像处理单元在目标时间段内需处理的第一数据量以及第二数据量进行评估,进一步确定目标渲染策略,从而能够保证图像处理单元在无卡顿输出的会议数据的基础上,尽快生成初始会议录制数据。
本说明书一些实施例还提供一种会议录制系统,前述会议录制系统可以包括第一获取模块、控制模块、第二获取模块以及生成模块。
第一获取模块可以用于获取会议录制的需求信息。关于获取需求信息的更多内容可以参见图2及其相关描述。在一些实施例中,需求信息可以包括虚拟相机在虚拟会议空间中的第一位置信息。关于需求信息的更多内容可以参见图2及其相关描述。
控制模块可以用于基于需求信息,控制图像处理单元生成初始会议录制数据并获取初始会议录制数据的存储信息。关于生成控制图像处理单元生成初始会议录制数据并获取初始会议录制数据的存储信息的更多内容可以参见图2及其相关描述。在一些实施例中,控制模块还可以用于基于第一位置信息,确定图像处理单元中目标渲染点位的第二位置信息;基于第二位置信息,控制图像处理单元新增目标渲染点位并生成目标渲染点位对应的渲染数据;将渲染数据确定为初始会议录制数据。关于控制图像处理单元生成目标渲染点位对应的渲染数据并将渲染数据确定为初始会议录制数据的更多内容可以参见图2及其相关描述。在一些实施例中,控制模块还可以用于获取虚拟会议的会议信息以及参会人员的人员信息;基于会议信息、人员信息以及第一位置信息,确定控制图像处理单元生成初始会议录制数据的目标渲染策略;控制图像处理单元基于目标渲染策略生成初始会议录制数据。关于生成目标渲染策略并控制图像处理单元基于目标渲染策略生成初始会议录制数据的更多内容可以参见图2及其相关描述。
第二获取模块可以用于基于存储信息,获得存储在存储单元中的初始会议录制数据。关于获得初始会议录制数据的更多内容可以参见图2及其相关描述。
生成模块可以用于基于初始会议录制数据,生成目标会议录制数据并发送至目标终端。关于生成目标会议录制数据并发送至目标终端的更多内容可以参见图2及其相关描述。
本说明书一些实施例还提供一种计算机可读存储介质,所述存储介质存储计算机指令,当所述计算机指令被处理器执行时实现如本说明书中任意实施例所述的会议录制方法。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本说明书的限定。虽然此处并没有明确说明,本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议,所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时,本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外,本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外,除非权利要求中明确说明,本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或移动设备上安装所描述的系统。
同理,应当注意的是,为了简化本说明书披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本说明书实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字,应当理解的是,此类用于实施例描述的数字,在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明,“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地,在一些实施例中,说明书和权利要求中使用的数值参数均为近似值,该近似值根据个别实施例所需特点可以发生改变。在一些实施例中,数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值,在具体实施例中,此类数值的设定在可行范围内尽可能精确。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料,如文章、书籍、说明书、出版物、文档等,特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外,对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是,如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方,以本说明书的描述、定义和/或术语的使用为准。
最后,应当理解的是,本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此,作为示例而非限制,本说明书实施例的替代配置可视为与本说明书的教导一致。相应地,本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。
Claims (10)
1.一种会议录制装置,其特征在于,所述装置包括:
图像处理单元,用于生成会议数据以及初始会议录制数据;
存储单元,与所述图像处理单元连接,用于存储所述初始会议录制数据;
控制单元,与所述图像处理单元以及所述存储单元通信连接,用于:
获取会议录制的需求信息;
基于所述需求信息,控制所述图像处理单元生成所述初始会议录制数据并获取所述初始会议录制数据的存储信息;
基于所述存储信息,获得存储在所述存储单元中的所述初始会议录制数据;
基于所述初始会议录制数据,生成所述目标会议录制数据并发送至目标终端。
2.根据权利要求1所述的装置,其特征在于,所述需求信息包括虚拟相机在虚拟会议空间中的第一位置信息。
3.根据权利要求2所述的装置,其特征在于,所述控制单元进一步用于:
基于所述第一位置信息,确定所述图像处理单元中目标渲染点位的第二位置信息;
基于所述第二位置信息,控制所述图像处理单元新增所述目标渲染点位并生成所述目标渲染点位对应的渲染数据;
将所述渲染数据确定为所述初始会议录制数据。
4.如权利要求2所述的装置,其特征在于,所述控制单元进一步用于:
获取虚拟会议的会议信息以及参会人员的人员信息;
基于所述会议信息、所述人员信息以及所述第一位置信息,确定控制所述图像处理单元生成所述初始会议录制数据的目标渲染策略;
控制所述图像处理单元基于所述目标渲染策略生成所述初始会议录制数据。
5.一种会议录制方法,其特征在于,包括:
获取会议录制的需求信息;
基于所述需求信息,控制图像处理单元生成初始会议录制数据并获取所述初始会议录制数据的存储信息;
基于存储信息,获得存储在存储单元中的所述初始会议录制数据;
基于所述初始会议录制数据,生成所述目标会议录制数据并发送至目标终端。
6.如权利要求5所述的方法,其特征在于,所述需求信息包括虚拟会议中虚拟相机的第一位置信息,所述第一位置信息为目标对象在虚拟会议空间中对所述虚拟相机的位置进行调整后确定的位置信息。
7.如权利要求6所述的方法,其特征在于,所述基于所述需求信息,控制图像处理单元生成初始会议录制数据包括:
基于所述第一位置信息,确定所述图像处理单元中目标渲染点位的第二位置信息;
基于所述第二位置信息,控制所述图像处理单元新增所述目标渲染点位并生成所述目标渲染点位对应的渲染数据;
将所述渲染数据确定为所述初始会议录制数据。
8.如权利要求6所述的方法,其特征在于,所述基于所述需求信息,控制图像处理单元生成初始会议录制数据包括:
获取虚拟会议的会议信息以及参会人员的人员信息;
基于所述会议信息、所述人员信息以及所述第一位置信息,确定控制所述图像处理单元生成所述初始会议录制数据的目标渲染策略;
控制所述图像处理单元基于所述目标渲染策略生成所述初始会议录制数据。
9.一种会议录制系统,其特征在于,包括:
第一获取模块,用于获取会议录制的需求信息;
控制模块,用于基于所述需求信息,控制图像处理单元生成初始会议录制数据并获取所述初始会议录制数据的存储信息;
第二获取模块,用于基于存储信息,获得存储在存储单元中的所述初始会议录制数据;
生成模块,用于基于所述初始会议录制数据,生成所述目标会议录制数据并发送至目标终端。
10.一种计算机可读存储介质,所述存储介质存储计算机指令,当所述计算机指令被处理器执行时实现如权利要求5~8任意一项所述的会议录制方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211191722.0A CN115499620A (zh) | 2022-09-28 | 2022-09-28 | 一种会议录制装置、方法、系统以及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211191722.0A CN115499620A (zh) | 2022-09-28 | 2022-09-28 | 一种会议录制装置、方法、系统以及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115499620A true CN115499620A (zh) | 2022-12-20 |
Family
ID=84472966
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211191722.0A Pending CN115499620A (zh) | 2022-09-28 | 2022-09-28 | 一种会议录制装置、方法、系统以及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115499620A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117478824A (zh) * | 2023-12-27 | 2024-01-30 | 苏州元脑智能科技有限公司 | 会议视频生成方法、装置、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102263772A (zh) * | 2010-05-28 | 2011-11-30 | 经典时空科技(北京)有限公司 | 基于三维技术的虚拟会议系统 |
JP2018074294A (ja) * | 2016-10-26 | 2018-05-10 | 学校法人幾徳学園 | 情報処理システムおよび情報処理方法 |
CN112235530A (zh) * | 2020-10-13 | 2021-01-15 | 网易(杭州)网络有限公司 | 远程会议的实现方法及装置、电子设备、存储介质 |
CN114125523A (zh) * | 2020-08-28 | 2022-03-01 | 明日基金知识产权有限公司 | 数据处理系统和方法 |
CN114615455A (zh) * | 2022-01-24 | 2022-06-10 | 北京师范大学 | 远程会议的处理方法、装置、会议系统和存储介质 |
-
2022
- 2022-09-28 CN CN202211191722.0A patent/CN115499620A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102263772A (zh) * | 2010-05-28 | 2011-11-30 | 经典时空科技(北京)有限公司 | 基于三维技术的虚拟会议系统 |
JP2018074294A (ja) * | 2016-10-26 | 2018-05-10 | 学校法人幾徳学園 | 情報処理システムおよび情報処理方法 |
CN114125523A (zh) * | 2020-08-28 | 2022-03-01 | 明日基金知识产权有限公司 | 数据处理系统和方法 |
CN112235530A (zh) * | 2020-10-13 | 2021-01-15 | 网易(杭州)网络有限公司 | 远程会议的实现方法及装置、电子设备、存储介质 |
CN114615455A (zh) * | 2022-01-24 | 2022-06-10 | 北京师范大学 | 远程会议的处理方法、装置、会议系统和存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117478824A (zh) * | 2023-12-27 | 2024-01-30 | 苏州元脑智能科技有限公司 | 会议视频生成方法、装置、电子设备及存储介质 |
CN117478824B (zh) * | 2023-12-27 | 2024-03-22 | 苏州元脑智能科技有限公司 | 会议视频生成方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11082661B1 (en) | Virtual conference view for video calling | |
US11856328B2 (en) | Virtual 3D video conference environment generation | |
US11805157B2 (en) | Sharing content during a virtual 3D video conference | |
US9030486B2 (en) | System and method for low bandwidth image transmission | |
KR102382521B1 (ko) | 아바타를 이용하여 영상 통화를 수행하는 사용자 단말, 통화 중계 서버 및 방법 | |
CN107168619B (zh) | 用户生成内容处理方法和装置 | |
CN111008927B (zh) | 一种人脸替换方法、存储介质及终端设备 | |
DE112016002023T5 (de) | Interpolation von Ansichten zum Erzählen visueller Geschichten | |
US11461942B2 (en) | Generating and signaling transition between panoramic images | |
US20220051412A1 (en) | Foreground and background segmentation related to a virtual three-dimensional (3d) video conference | |
US11689815B2 (en) | Image modification of motion captured scene for reconstruction of obscured views using uncoordinated cameras | |
US11870939B2 (en) | Audio quality improvement related to a participant of a virtual three dimensional (3D) video conference | |
CN108353127A (zh) | 基于深度相机的图像稳定 | |
CN115499620A (zh) | 一种会议录制装置、方法、系统以及介质 | |
US11561686B2 (en) | Intelligent content display for network-based communications | |
EP2525573A1 (en) | Method and system for conducting a video conference | |
EP2355500A1 (en) | Method and system for conducting a video conference with a consistent viewing angle | |
JP2006211531A (ja) | 映像生成装置、及びプログラム | |
JP2021077131A (ja) | 構図アドバイスシステム、構図アドバイス方法、ユーザ端末、プログラム | |
KR101816446B1 (ko) | 평면 디스플레이에서 표시되는 텔레프레전스 이론을 적용한 3 차원 콘텐츠 영상 처리 시스템 및 그 방법 | |
US20240087203A1 (en) | System and method for displaying reaction animations | |
CN117173299B (zh) | 一种影视素材模拟生成系统及方法 | |
US12126937B2 (en) | Method and system for virtual 3D communications having multiple participants per camera | |
Chhikara et al. | Use of Facial Landmarks for Adaptive Compression of Videos on Mobile Devices | |
CN116016838A (zh) | 实时视频显示方法、电子白板及可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20231204 Address after: No. 2555 Yinzhou Avenue, Yinzhou District, Ningbo City, Zhejiang Province, 315100 Applicant after: NINGBO LONGTAI MEDICAL TECHNOLOGY Co.,Ltd. Address before: 17 / F, Zhaoying commercial building, 151-155 Queen's Road Central, Hong Kong, China Applicant before: Intuitive Vision Co.,Ltd. |
|
TA01 | Transfer of patent application right |