CN109035138A - 会议记录方法、装置、设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种会议记录方法、装置、设备和存储介质。该方法包括：对采集的会议全景图像进行矫正处理；依据矫正后的会议全景图像中各像素点的像素值，确定所述会议全景图像的能量分布；依据所述能量分布、所述会议全景图像中会议发言人的位置信息以及参会人员的位置信息，确定并去除所述会议全景图像中的无效区域。本发明实施例通过无效区域的去除操作，使得全景图像中的有效信息重新排列，实现了对会议全景图像中人物及有效信息紧凑且非畸变的矫正，提高会议录制视频中有效信息的占有量，降低会议录制视频的数据量，便于会议视频的录制、存储和有效的追溯。

Description

会议记录方法、装置、设备和存储介质

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种会议记录方法、装置、设备和存储介质。

背景技术

随着智能设备的不断发展，越来越多的会议场景中采用摄像头模组对会议参会人员进行参会状态的视频录制工作。

现有技术中，通常使用普通摄像头或广角摄像头对会议室内的全部或部分场景进行录制，当有特定的会议发言人进行发言时，需要工作人员主动或被动调节摄像头，通过控制摄像头的转动来对准会议发言人进行着重录制。或者采用鱼眼摄像头进行会议室内全局图像的录制。

然而，现有技术通常无法完整全面的记录会议室内所有参会人员的所有状态，即使是全景图像也存在一定程度的畸变，且图像中冗余信息较多，数据量较大，不利于录制文件的存储，以对后期所有参会人员状态的查看和有效的复盘。

发明内容

本发明实施例提供了一种会议记录方法、装置、设备和存储介质，能够降低会议录制视频的数据量，提高会议录制视频中有效信息的占有量。

第一方面，本发明实施例提供了一种会议记录方法，包括：

对采集的会议全景图像进行矫正处理；

依据矫正后的会议全景图像中各像素点的像素值，确定所述会议全景图像的能量分布；

依据所述能量分布、所述会议全景图像中会议发言人的位置信息以及参会人员的位置信息，确定并去除所述会议全景图像中的无效区域。

第二方面，本发明实施例提供了一种会议记录装置，包括：

全景图像矫正模块，用于对采集的会议全景图像进行矫正处理；

能量计算模块，用于依据矫正后的会议全景图像中各像素点的像素值，确定所述会议全景图像的能量分布；

无效区域去除模块，用于依据所述能量分布、所述会议全景图像中会议发言人的位置信息以及参会人员的位置信息，确定并去除所述会议全景图像中的无效区域。

第三方面，本发明实施例提供了一种设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的会议记录方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的会议记录方法。

本发明实施例通过对采集到的会议全景图像进行矫正，计算矫正后的会议全景图像中像素点的能量值，并依据会议全景图像的能量分布、会议全景图像中会议发言人的位置信息以及参会人员的位置信息，确定并去除全景图像中的无效区域，获得有效区域紧凑布局的会议全景图像。本发明实施例通过无效区域的去除操作，使得全景图像中的有效信息重新排列，实现了对会议全景图像中人物及有效信息紧凑且非畸变的矫正，提高会议录制视频中有效信息的占有量，降低会议录制视频的数据量，便于会议视频的录制、存储和有效的追溯。

附图说明

图1为本发明实施例一提供的一种会议记录方法的流程图；

图2为本发明实施例二提供的一种会议记录方法的流程图；

图3为本发明实施例二提供的会议全景图像矫正后的示例图；

图4为本发明实施例二提供的会议全景图像中无效区域去除后的示例图；

图5为本发明实施例三提供的一种会议记录装置的结构示意图；

图6为本发明实施例四提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明实施例，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明实施例相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种会议记录方法的流程图，本实施例可适用于录制会议中参会人员状态和会议有效信息的情况，该方法可由一种会议记录装置来执行。该方法具体包括如下步骤：

步骤110、对采集的会议全景图像进行矫正处理。

在本发明具体实施例中，为了对会议中参会人员状态会议发言人发言情况以及会议有效信息进行录制，首先对会议进行过程中的音频数据和图像数据进行采集和记录。其中，可以通过音频采集装置采集会议当中的音频数据，用于记录会议发言人的发言语音，还可以通过声源定位装置依据会议音频数据对会议发言人进行定位；同时可以通过摄像头模组采集会议当中的图像数据，用于记录所有参会人员的参会状态。

具体的，本实施例优选采集会议当中的会议全景图像作为图像数据，以记录会议室中的全局影像。其中可以采用鱼眼摄像头对全景图像进行采集，实现近距离拍摄大范围会议室内部场景的效果，其镜头视角可以为180°、220°、230°甚至为360°等。根据鱼眼摄像头的结构特点以及光学成像原理，通过鱼眼摄像头采集到的全景图像存在桶形畸变的现象。因此，本实施例在实时采集到会议全景图像后，或者对采集完的会议视频进行后期处理时，首先对当前帧的会议全景图像进行消除畸变的矫正处理。

示例性的，可以采用全景图像矫正技术对会议全景图像进行消除畸变处理；其中，全景图像矫正技术包括平面映射、透视变换以及双经度算法中的至少一个，也可以是其他任何能够实现全景图像矫正的技术。实现将以球面图像呈现的会议全景图像映射到二维平面图像上，并适应性的调整图像的视觉观看角度，以合适的视角记录会议状况。

示例性的，本实施例还可以采集会议音频数据，依据会议音频数据进行声源定位，确定会议发言人的位置信息；并对会议全景图像进行人脸检测和人体检测，确定参会人员的位置信息；对会议发言人进行对焦和标注处理，并以会议发言人为中心，对参会人员的位置信息进行消除畸变处理。

上述两种全景图像消除畸变的处理方式可以独立使用，也可以结合使用，实现对会议全景图像的矫正。且其中的参数可通过用户预先设置，或者通过对录制会议视频的前数帧的会议全景图像的学习，来自动化地确定具体参数数值。优选的，上述两种方式结合使用，在利用全景图像矫正技术实现全景图像矫正后，突出标注发言人的位置信息，并明确参会人员的位置信息。

步骤120、依据矫正后的会议全景图像中各像素点的像素值，确定会议全景图像的能量分布。

在本发明具体实施例中，通过计算图像中像素点的能量值来衡量图像内容的重要程度，若某一像素点的能量值越大，则该像素点在图像中越重要；反之，像素点的能量值越小，该像素点在图像中越不重要。具体的，可以通过计算图像中各像素点的梯度值或显著性水平值来确定各像素点的能量值，从而确定会议全景图像的能量分布。其中，得到的包含会议全景图像的能量分布的能量图为灰度图像，图像中越亮的像素点能量越高，越暗的像素点能量越低。本实施例不对能量分布的计算方式进行限定，任何可以计算像素点能量值的方法都可以应用在本实施例中。

步骤130、依据能量分布、会议全景图像中会议发言人的位置信息以及参会人员的位置信息，确定并去除会议全景图像中的无效区域。

在本发明具体实施例中，可以通过全景图像矫正过程中，依据对采集到的会议音频数据的声源定位，确定会议全景图像中会议发言人的位置信息；同时可以通过对会议全景图像的人脸检测和人体检测，来确定会议全景图像中参会人员的位置信息。可以理解的是，会议中的人员是会议录制中的主要内容，为了保证对会议发言人发言情况的录制，以及保证对参会人员参会状态的录制，在全景图像的处理过程中需要确保参会人员的完整性和准确性。因此本实施例在保留会议发言人和其余参会人员区域的基础上，通过会议全景图像的能量分布确定剩余区域中的无效区域，从而逐步将其全部或尽量多的去除。实现了在保留录制视频中参会人员和有效信息的前提下，尽可能地删除图像中的无用无效区域，提高会议录制视频画面的利用率。

具体的，本实施例可以结合seam carving算法对会议全景图像进行无效区域的去除。首先，依据参会人员的位置信息，确定包含参会人员或会议发言人的区域为人体有效区域；其次，对于矫正后的会议全景图像中的人体有效区域之外的区域，依据能量分布执行最小能量线的删除操作。即：依据能量分布中各像素点的能量值，选择水平方向和/或垂直方向上具有最小能量值的像素点组成最小能量线，将最小能量线上的像素点删除；最后，将删除最小能量线后的图像进行平移和拼接。此过程实现了对会议全景图像中水平方向和/或垂直方向上的一条缝路径构成的无效区域进行了去除。由于最小能量线上的像素点的能量值相对最小，因此其在图像中的重要程度最低，对其的去除并不影响图像画面的整体效果，且能够使得有效区域变得更为紧凑。

在执行方式上，对于矫正后的会议全景图像中的人体有效区域之外的区域，可以重复执行最小能量线的删除操作，通过最小能量线系数来限定去除最小能量线的数量阈值。相应的，在会议视频录制之前，用户可以根据需求自行设置最小能量线系数。进而在重复执行最小能量线的删除操作之前，通过获取用户预先设置的最小能量线系数，确定无效区域去除后的会议全景图像。或者，可以通过机器学习的方式，在会议视频录制开始时，通过对前第一预设数值个会议全景图像进行学习，统计每帧会议全景图像中的前第二预设数值个待删除的最小能量线，依据第一预设数值个会议全景图像中的第二预设数值个待删除的最小能量线，确定最小能量线系数。从而通过对场景的学习确定符合当前会议场景的最小能量线系数，避免用户的手动设置操作，依据最小能量线系数，确定无效区域去除后的会议全景图像。

具体的，在对某一帧会议全景图像进行无效区域去除处理时，重复对矫正后的会议全景图像中的人体有效区域之外的区域进行最小能量线的删除操作，并及时统计会议全景图像中最小能量线的删除数量，若删除数量达到最小能量线系数，则停止对会议全景图像中无效区域的去除。进而，在最小能量线系数的限制下，不仅尽可能多地删除了会议全景图像中的无效区域，而且保证了整个会议视频中各会议全景图像尺寸的一致性。

本实施例的技术方案，通过对采集到的会议全景图像进行矫正，计算矫正后的会议全景图像中像素点的能量值，并依据会议全景图像的能量分布、会议全景图像中会议发言人的位置信息以及参会人员的位置信息，确定并去除全景图像中的无效区域，获得有效区域紧凑布局的会议全景图像。本发明实施例通过无效区域的去除操作，使得全景图像中的有效信息重新排列，实现了对会议全景图像中人物及有效信息紧凑且非畸变的矫正，提高会议录制视频中有效信息的占有量，降低会议录制视频的数据量，便于会议视频的录制、存储和有效的追溯。

实施例二

本实施例在上述实施例一的基础上，提供了会议记录方法的一个优选实施方式，能够根据最小能量线系数确定无效区域去除后的会议全景图像。图2为本发明实施例二提供的一种会议记录方法的流程图，如图2所示，该方法包括以下具体步骤：

步骤210、对采集的会议全景图像进行矫正处理。

在本发明具体实施例中，鉴于利用猫眼摄像头采集到的会议全景图像是存在桶形畸变的，其图像中的内容发生了不同程度的曲形变化，且距离镜头焦点近的内容显示较大，距离镜头焦点远的内容显示较小，不符合人们的正常观看习惯。因此，本实施例在采集到会议全景图像时，首先对会议全景图像进行消除畸变的矫正处理。

可选的，采用全景图像矫正技术对会议全景图像进行消除畸变处理；其中，全景图像矫正技术包括平面映射、透视变换以及双经度算法中的至少一个。

在本发明具体实施例中，可以采用猫眼图像矫正技术等全景图像矫正技术对采集到的会议全景图像进行消除畸变的处理。其中，常见的全景图像矫正技术包括平面映射、透视变换以及双经度算法等。具体的，平面映射用于将一个360°的全景球面图像映射到一个二维平面上，使之看上去没有变形；透视变换用于将图像映射到一个新的视平面上，即更换了图像内容的观看视角；双经度算法通过正交投影策略将语言＝＝鱼眼图像映射到球面上，转化为球面横向经度和纵向经度坐标，从而投射为以横向、纵向双经度坐标为基础的正方形平面图像。

可选的，采集会议音频数据，依据会议音频数据进行声源定位，确定会议发言人的位置信息；对会议全景图像进行人脸检测和人体检测，确定参会人员的位置信息；对会议发言人进行对焦和标注处理，并以会议发言人为中心，对参会人员的位置信息进行消除畸变处理。

在本发明具体实施例中，在对会议进行录制的过程中，可以同时采集会议音频数据，实现对会议中的发言内容进行记录，同时还可以通过会议音频数据对会议发言人进行声源定位，并结合图像检测到的人脸或人体，对当前的会议发言人进行定位。以对会议发言人进行突出标注，并以会议发言人为中心对参会人员的位置进行矫正。

具体的，可以采用声源定位装置，通过在会议室内设置至少两个位置不同的音频采集设备，模仿人耳的声源定位原理，综合设备各自采集到的会议音频数据的频率、强度、音色以及时程等音频特征，来确定当前会议发言人的位置信息。同时，鉴于会议进程中各参会人员的位置基本上都是固定不变的，因此本实施例还可以采用人脸检测和人体检测等图像检测技术，来确定会议中各参会人员的位置信息。最终，对会议发言人进行突出标注，以用于对会议记录视频进行查看和内容追溯时，便于对会议的核心即会议发言人进行快速且准确的定位。并以会议发言人为中心，对产生曲形畸变的参会人员的位置信息进行重新排列。

值得注意的是，上述两种全景图像消除畸变的处理方式可以独立使用，也可以结合使用，实现对会议全景图像的矫正。且其中的参数可通过用户预先设置，或者通过对录制会议视频的前数帧的会议全景图像的学习，来自动化地确定具体参数数值。优选的，上述两种方式结合使用，在利用全景图像矫正技术实现全景图像矫正后，突出标注发言人的位置信息，并明确参会人员的位置信息。

示例性的，图3为本发明实施例二提供的会议全景图像矫正后的示例图。图3左侧为采集到的原始会议全景图像，其为发生桶形畸变的球面图像；图3右侧为矫正后的会议全景图像，即将全景球面图像映射到二维平面图中，符合用户的正常视觉观看效果。从图中可以看出，采集到的原始会议全景图像中，人体、会议桌以及展板等任何内容都发生了一定程度的曲形形式的畸变，且图像中心越发严重。进而在进行全景图像的矫正后，使其恢复正常的平面图像布局。

步骤220、依据矫正后的会议全景图像中各像素点的像素值，确定会议全景图像的能量分布。

在本发明具体实施例中，可以通过计算图像中各像素点的梯度值或显著性水平值来确定各像素点的能量值，从而确定会议全景图像的能量分布。其中，得到的包含会议全景图像的能量分布的能量图为灰度图像，图像中越亮的像素点能量越高，越暗的像素点能量越低。本实施例不对能量分布的计算方式进行限定，任何可以计算像素点能量值的方法都可以应用在本实施例中。

步骤230、获取最小能量线系数。

在本发明具体实施例中，最小能量线是指在图像能量分布的基础上，在图像的水平或垂直方向上，从图像边缘开始确定第一行或第一列中能量值最小的像素点P；然后在下一行或下一列中寻找与P点相邻的三个像素点中的能量值最小的像素点，加入最小能量线的构建队列中；最后依次向后迭代，直至遍历完图像中的全部行或列，获得当前图像中的最小能量线。而最小能量线系数用于限定最小能量线的去除数量，确保了会议录制视频中各帧图像删除尺度以及图像尺寸的一致性。进而在进行会议录制并对录制图像进行处理之前，首先应该获取本次会议录制的最小能量线系数。

可选的，获取用户预先设置的最小能量线系数。

在本发明具体实施例中，用户可以根据自身录制需求以及会议现场的环境情况，自行设置会议录制的最小能量线系数。因此，直接获取用户预先设置的最小能量线系数进行图像处理即可。

可选的，通过对前第一预设数值个会议全景图像进行学习，统计每帧会议全景图像中的前第二预设数值个待删除的最小能量线；依据第一预设数值个会议全景图像中的第二预设数值个待删除的最小能量线，确定最小能量线系数。

在本发明具体实施例中，可以通过机器学习或计算机学习等方式，通过对会议录制视频的前数帧会议全景图像进行学习，来确定最小能量线系数。本实施例中，第一预设数值用于限定待学习的会议全景图像帧数，第二预设数值用于供学习而删除最小能量线的一个较大的数量范围。

具体的，在最小能量线的学习过程中，首先对会议视频录制中的前第一预设数值个会议全景图像的每一帧图像，依据图像中各像素点的能量值，按照能量值由小到大的顺序，都删除其前第二预设数值个最小能量线，并记录各帧图像中被删除的各条最小能量线在原始图像中的坐标值。其次依据第一预设数值个会议全景图像中的第二预设数值个待删除的最小能量线的坐标，统计第一预设数值个会议全景图像中相同坐标处被删除的最小能量线的数量。其中，该相同坐标可以指代最小能量线的整体坐标，也可以指代最小能量线中的某个或数个像素点的坐标。进而统计得到删除概率较大的像素点或区域上的最小能量线的数量，按照统计数量由高到低，取统计数量较高的最小能量线数量作为学习得到的最小能量线数量。

示例性的，假设第一预设数值为1000，第二预设数值为200。则在最小能量线的学习过程中，以会议视频录制中的前1000帧为最小能量线的学习样本。首先依据各帧图像中各像素点的能量值，按照能量值由小到大的顺序，依次确定每帧图像中的前200个最小能量线，并记录各条最小能量线上的像素点在原始图像中的坐标。其次确定每帧图像中的200条最小能量线在1000帧样本图像中重复删除的像素点或区域，该像素点或区域的删除概率较大。最终统计每帧图像中位于删除概率较大的像素点或区域上的最小能量线的数量，按照统计数量由高到低，取统计数量较高的最小能量线数量，例如50，作为学习得到的最小能量线数量。

步骤240、依据会议发言人的位置信息以及参会人员的位置信息，确定包含会议发言人或参会人员的区域为人体有效区域。

在本发明具体实施例中，可以通过全景图像矫正过程中，依据对采集到的会议音频数据的声源定位，确定会议全景图像中会议发言人的位置信息；同时可以通过对会议全景图像的人脸检测和人体检测，来确定会议全景图像中参会人员的位置信息。可以理解的是，会议中的人员是会议录制中的主要内容，为了保证对会议发言人发言情况的录制，以及保证对参会人员参会状态的录制，在全景图像的处理过程中需要确保参会人员的完整性和准确性，因此将包含参会人员或会议发言人的区域为人体有效区域。

步骤250、对于矫正后的会议全景图像中的人体有效区域之外的区域，依据能量分布执行最小能量线的删除操作：依据各像素点的能量值，选择水平方向和/或垂直方向上具有最小能量值的像素点组成最小能量线；将最小能量线上的像素点删除，并将删除最小能量线后的图像进行拼接。

在本发明具体实施例中，结合人体有效区域，选取不经过人体有效区域的水平和/或垂直方向上的最小能量线进行删除操作。可以理解的是，根据实际会议场景中的座位安排情况，可以只选择水平方向或垂直方向上的最小能量线进行删除操作，或者结合进行水平方向和垂直方向上的最小能量线的删除操作。

在本发明具体实施例中，当确定图像中的最小能量线之后，将最小能量线上的像素点进行删除，并将删除最小能量线后的图像进行平移和拼接，得到新的待去除无效区域的会议全景图像，以便后续继续执行最小能量线的删除操作。

步骤260、对于矫正后的会议全景图像中的人体有效区域之外的区域，重复执行最小能量线的删除操作。

在本发明具体实施例中，为达到尽可能多的无效区域的删除效果，本实施例在上一次最小能量线的删除操作后的会议全景图像的基础上，仍然对于矫正后的会议全景图像中的人体有效区域之外的区域，重复进行最小能量线的删除操作，对于同一帧会议全景图像进行多次的最小能量线删除操作。

步骤270、统计会议全景图像中最小能量线的删除数量，若删除数量达到最小能量线系数，则停止对会议全景图像中无效区域的去除。

在本发明具体实施例中，在对于同一帧会议全景图像进行多次的最小能量线删除操作的过程中，时刻统计该会议全景图像中最小能量线的删除数量。若删除数量达到最小能量线系数，则停止对会议全景图像中无效区域的去除，得到有效区域重新紧凑布局的会议全景图像。

示例性的，图4为本发明实施例二提供的会议全景图像中无效区域去除后的示例图。图4左侧为矫正后的会议全景图像，由图中可以看出，矫正后的全景图像中有效信息占据较小，且被无效区域割裂开来。图4右侧为去除无效区域后的会议全景图像，由图中可以看出，会议发言人被突出标注。同时根据图4中的标准虚线可以看出，无效区域去除后的图像中，人体区域被完全无缩减的保留下来，且图像中的有效信息例如展板也被保留了下来，而会议桌占据的过大的无效区域能够被去除，进而有效信息之外的无效区域被尽可能的去除，使得有效信息紧凑排列在一起。此外，在不影响图像连续性和完整性的情况下，大大减少了全景图像的数据存储量。

本实施例的技术方案，通过对采集到的会议全景图像进行矫正，计算矫正后的会议全景图像中像素点的能量值，依据用户预先设置或学习得到的最小能量线系数，对会议全景图像中的除人体有效区域之外的区域进行最小能量线的去除操作。本发明实施例通过无效区域的去除操作，使得全景图像中的有效信息重新排列，实现了对会议全景图像中人物及有效信息紧凑且非畸变的矫正，提高会议录制视频中有效信息的占有量，降低会议录制视频的数据量，便于会议视频的录制、存储和有效的追溯。

实施例三

图5为本发明实施例三提供的一种会议记录装置的结构示意图，本实施例可适用于录制会议中参会人员状态和会议有效信息的情况，该装置可实现本发明任意实施例所述的会议记录方法。该装置具体包括：

全景图像矫正模块510，用于对采集的会议全景图像进行矫正处理；

能量计算模块520，用于依据矫正后的会议全景图像中各像素点的像素值，确定所述会议全景图像的能量分布；

无效区域去除模块530，用于依据所述能量分布、所述会议全景图像中会议发言人的位置信息以及参会人员的位置信息，确定并去除所述会议全景图像中的无效区域。

可选的，所述全景图像矫正模块510包括：

图像矫正单元5101，用于采用全景图像矫正技术对所述会议全景图像进行消除畸变处理；其中，所述全景图像矫正技术包括平面映射、透视变换以及双经度算法中的至少一个。

可选的，所述全景图像矫正模块510包括位置矫正单元5102；所述位置矫正单元5102包括：

声源定位子单元，用于采集会议音频数据，依据所述会议音频数据进行声源定位，确定会议发言人的位置信息；

参会人员检测子单元，用于对所述会议全景图像进行人脸检测和人体检测，确定参会人员的位置信息；

标注子单元，用于对所述会议发言人进行对焦和标注处理，并以所述会议发言人为中心，对参会人员的位置信息进行消除畸变处理。

可选的，所述无效区域去除模块530包括：

人体有效区域确定单元5301，用于依据参会人员的位置信息，确定包含参会人员或会议发言人的区域为人体有效区域；

最小能量线删除单元5302，用于对于矫正后的会议全景图像中的所述人体有效区域之外的区域，依据所述能量分布执行最小能量线的删除操作。

可选的，所述最小能量线删除单元5302包括：

最小能量线确定子单元，用于依据所述能量分布中各像素点的能量值，选择水平方向和/或垂直方向上具有最小能量值的像素点组成最小能量线；

像素删除子单元，用于将所述最小能量线上的像素点删除，并将删除最小能量线后的图像进行拼接。

可选的，所述最小能量线删除单元5302包括：

重复执行控制子单元，用于对于矫正后的会议全景图像中的所述人体有效区域之外的区域，重复执行最小能量线的删除操作；

统计子单元，用于统计所述会议全景图像中最小能量线的删除数量，若所述删除数量达到最小能量线系数，则停止对所述会议全景图像中无效区域的去除。

可选的，所述最小能量线删除单元5302包括：

最小能量线系数确定子单元，用于在所述对于矫正后的会议全景图像中的所述人体有效区域之外的区域，重复执行最小能量线的删除操作之前，通过对前第一预设数值个会议全景图像进行学习，统计每帧会议全景图像中的前第二预设数值个待删除的最小能量线；依据第一预设数值个会议全景图像中的第二预设数值个待删除的最小能量线，确定最小能量线系数。

本实施例的技术方案，通过各个功能模块之间的相互配合，实现了会议音频数据的采集、会议全景图像的采集、全景图像畸变的消除、会议发言人的定位、参会人员的定位、参会人员位置的矫正、图像能量分布的计算、参数的设置、无效区域的确定和去除、以及图像的拼接等功能。本发明实施例通过对矫正后的会议全景图像中的无效区域进行去除，使得会议全景图像中的有效信息重新排列，实现了对会议全景图像中的人物以及有效信息进行非畸变且紧凑的处理，提高了会议录制视频中有效信息的占有量，降低了会议录制视频的数据存储量，便于会议视频的录制、存储和有效信息的追溯。

实施例四

图6为本发明实施例四提供的一种设备的结构示意图。如图6所示，该设备具体包括：一个或多个处理器610，图6中以一个处理器610为例；存储器620，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器610执行，使得一个或多个处理器610实现本发明任意实施例所述的会议记录方法。处理器610与存储器620可以通过总线或其他方式连接，图6中以通过总线连接为例。

存储器620，作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的会议记录方法对应的程序指令(例如，会议全景图像的采集和矫正以及会议全景图像中无效区域的确定和去除)。处理器610通过运行存储在存储器620中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的会议记录方法。

存储器620可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器620可进一步包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实施例五

本发明实施例五还提供一种计算机可读存储介质，其上存储有计算机程序(或称为计算机可执行指令)，该程序被处理器执行时用于执行一种会议记录方法，该方法包括：

对采集的会议全景图像进行矫正处理；

依据矫正后的会议全景图像中各像素点的像素值，确定所述会议全景图像的能量分布；

依据所述能量分布、所述会议全景图像中会议发言人的位置信息以及参会人员的位置信息，确定并去除所述会议全景图像中的无效区域。

当然，本发明实施例所提供的一种计算机可读存储介质,其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的会议记录方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明实施例可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明实施例进行了较为详细的说明，但是本发明实施例不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种会议记录方法，其特征在于，包括：

对采集的会议全景图像进行矫正处理；

依据矫正后的会议全景图像中各像素点的像素值，确定所述会议全景图像的能量分布；

依据所述能量分布、所述会议全景图像中会议发言人的位置信息以及参会人员的位置信息，确定并去除所述会议全景图像中的无效区域。

2.根据权利要求1所述的方法，其特征在于，所述对采集的会议全景图像进行矫正处理，包括：

采用全景图像矫正技术对所述会议全景图像进行消除畸变处理；其中，所述全景图像矫正技术包括平面映射、透视变换以及双经度算法中的至少一个。

3.根据权利要求1所述的方法，其特征在于，所述对采集的会议全景图像进行矫正处理，包括：

采集会议音频数据，依据所述会议音频数据进行声源定位，确定会议发言人的位置信息；

对所述会议全景图像进行人脸检测和人体检测，确定参会人员的位置信息；

对所述会议发言人进行对焦和标注处理，并以所述会议发言人为中心，对参会人员的位置信息进行消除畸变处理。

4.根据权利要求1所述的方法，其特征在于，所述依据所述能量分布、所述会议全景图像中会议发言人的位置信息以及参会人员的位置信息，确定并去除所述会议全景图像中的无效区域，包括：

依据会议发言人的位置信息以及参会人员的位置信息，确定包含会议发言人或参会人员的区域为人体有效区域；

对于矫正后的会议全景图像中的所述人体有效区域之外的区域，依据所述能量分布执行最小能量线的删除操作。

5.根据权利要求4所述的方法，其特征在于，所述依据所述能量分布执行最小能量线的删除操作，包括：

依据所述能量分布中各像素点的能量值，选择水平方向和/或垂直方向上具有最小能量值的像素点组成最小能量线；

将所述最小能量线上的像素点删除，并将删除最小能量线后的图像进行拼接。

6.根据权利要求4所述的方法，其特征在于，所述对于矫正后的会议全景图像中的所述人体有效区域之外的区域，依据所述能量分布执行最小能量线的删除操作，包括：

对于矫正后的会议全景图像中的所述人体有效区域之外的区域，重复执行最小能量线的删除操作；

统计所述会议全景图像中最小能量线的删除数量，若所述删除数量达到最小能量线系数，则停止对所述会议全景图像中无效区域的去除。

7.根据权利要求6所述的方法，其特征在于，在所述对于矫正后的会议全景图像中的所述人体有效区域之外的区域，重复执行最小能量线的删除操作之前，还包括：

通过对前第一预设数值个会议全景图像进行学习，统计每帧会议全景图像中的前第二预设数值个待删除的最小能量线；

依据第一预设数值个会议全景图像中的第二预设数值个待删除的最小能量线，确定最小能量线系数。

8.一种会议记录装置，其特征在于，包括：

全景图像矫正模块，用于对采集的会议全景图像进行矫正处理；

能量计算模块，用于依据矫正后的会议全景图像中各像素点的像素值，确定所述会议全景图像的能量分布；

无效区域去除模块，用于依据所述能量分布、所述会议全景图像中会议发言人的位置信息以及参会人员的位置信息，确定并去除所述会议全景图像中的无效区域。

9.一种设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的会议记录方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的会议记录方法。