CN217307789U - 一种基于环带相机的全景视频会议系统 - Google Patents

Abstract

本实用新型公开了一种基于环带相机的全景视频会议系统，包括：传感器模块，所述传感器模块包括麦克风阵列、全景环带镜头和图像传感器，所述麦克风阵列包括若干麦克风，所述麦克风接收声信号，所述全景环带镜头接收光信号，所述全景环带镜头的输出端与所述图像传感器的输入端相连接；及计算模块，所述计算模块的输入端分别与所述若干麦克风和所述图像传感器的输出端相连接。避免了线下参会者中同一个人的声音与图像信息容易被多个设备重复获取，在数据产生端提供简洁性与可靠性；成像边缘畸变小，显示效果好。

Description

一种基于环带相机的全景视频会议系统

技术领域

本实用新型涉及消费电子领域，尤其涉及一种基于环带相机的全景视频会议系统。

背景技术

随着社会信息化程度的不断提高，视频会议应运而生，用户只需通过现有的互联网，即可实现跨地域多方视频沟通。视频会议的出现，让沟通更加便捷化，同时降低了成本，提高工作效率。

在实现本实用新型的过程中，发明人发现现有技术中至少存在如下问题：

在多人视频会议中，一方面，线下参会者中同一个人的声音与图像信息容易被多个设备重复获取；另一方面，单个传统针孔相机的视场角有限，展现全体线下参会者和突出个体发言人的需求难以两全。

实用新型内容

本实用新型实施例的目的是提供一种基于环带相机的全景视频会议系统，以解决相关技术中存在的无法同时实现展现全体线下参会者和突出个体发言人功能的技术问题。

根据本实用新型实施例的第一方面，提供一种基于环带相机的全景视频会议系统，包括：

传感器模块，所述传感器模块包括麦克风阵列、全景环带镜头和图像传感器，所述麦克风阵列用于接收声信号并将所述声信号转化为声音数据，所述全景环带镜头用于接收光信号，所述全景环带镜头的输出端与所述图像传感器的输入端相连接，所述图像传感器用于将光信号转化为图像数据；及

计算模块，所述计算模块的输入端分别与所述麦克风阵列和所述图像传感器的输出端相连接。

进一步地，所述全景环带镜头包括全景头部单元和中继透镜组。

进一步地，所述全景头部单元的旋转轴和所述中继透镜组的旋转轴分别与所述麦克风阵列所在的平面垂直。

进一步地，光线通过第一折射面进入所述全景头部单元后依次通过第一反射面、第二反射面和第二折射面进入所述中继透镜组，再穿过所述中继透镜组到达所述图像传感器，其中所述第一折射面与所述第二反射面处于同一位置，所述第二折射面与所述第一反射面处于同一位置。

进一步地，所述全景头部单元的旋转轴、所述中继透镜组的旋转轴和所述全景环带镜头的旋转轴相重合。

进一步地，所述全景环带镜头和麦克风阵列的空间排布关系为所述全景环带镜头在上、所述麦克风阵列在下或所述麦克风阵列包围所述全景环带镜头。

进一步地，所述图像传感器设置在所述全景环带镜头的像面处。

本实用新型的实施例提供的技术方案可以包括以下有益效果：

由上述实施例可知，本实用新型包括传感器模块和计算模块，所述传感器模块包括麦克风阵列、全景环带镜头和图像传感器，避免了线下参会者中同一个人的声音与图像信息容易被多个设备重复获取，在数据产生端提供简洁性与可靠性；全景环带镜头实现了单颗镜头360°全景成像，相比其他的环视成像方案，边缘畸变更小，显示效果更好。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本实用新型。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本实用新型的实施例，并与说明书一起用于解释本实用新型的原理。

图1是根据一示例性实施例示出的一种基于环带相机的全景视频会议系统的框图。

图2是根据一示例性实施例示出的全景环带镜头的成像原理的示意图。

图3是根据一示例性实施例示出的声源定位的过程示意图。

图中的附图标记包括：

100、传感器模块；110、麦克风阵列；120、全景环带镜头；121、全景头部单元；122、中继透镜组；130、图像传感器；200、计算模块。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在......时”或“当......时”或“响应于确定”。

图1是根据一示例性实施例示出的一种基于环带相机的全景视频会议系统的框图，如图1所示，该系统可以包括：传感器模块100及计算模块200，所述传感器模块100包括麦克风阵列110、全景环带镜头120和图像传感器130，所述麦克风阵列110用于接收声信号并将所述声信号转化为声音数据，所述全景环带镜头120用于接收光信号，所述全景环带镜头120的输出端与所述图像传感器130的输入端相连接，所述图像传感器130用于将光信号转化为图像数据；所述计算模块200的输入端分别与所述若干麦克风和所述图像传感器130的输出端相连接。

由上述实施例可知，本实用新型包括传感器模块100和计算模块200，所述传感器模块100包括麦克风阵列110、全景环带镜头120和图像传感器130，避免了线下参会者中同一个人的声音与图像信息容易被多个设备重复获取，在数据产生端提供简洁性与可靠性；全景环带镜头120实现了单颗镜头360°全景成像，相比其他的环视成像方案，边缘畸变更小，显示效果更好。

具体地，所述全景环带镜头120包括全景头部单元121和中继透镜组122，以实现一种平面——圆柱面投影(Flat-cylinder perspective)。

具体地，所述全景头部单元121的旋转轴和所述中继透镜组122的旋转轴分别与所述麦克风阵列110所在的平面垂直好处是麦克风的坐标系与全景环带镜头120的坐标系在z方向上对齐了，方便后续计算模块200中数据的处理。

进一步地，所述全景头部单元121的旋转轴、所述中继透镜组122的旋转轴和所述全景环带镜头120的旋转轴相重合这个是全景环带镜头120本身光学设计的要求，如果不重合，即便在设计上能够矫正像差，也会带来视场的损失，而且矫正像差在实际的操作中不易实现。

在具体实施中，所述全景环带镜头120的旋转轴与重力方向对齐，这么设计是为了能够最大化利用全景环带镜头120的360°水平视场的特点，尽可能的使参与会议的人被囊括在镜头的视场中。

具体地，所述全景环带镜头120的成像原理为：光线通过第一折射面进入所述全景头部单元121后依次通过第一反射面、第二反射面和第二折射面进入所述中继透镜组122，再穿过所述中继透镜组122到达所述图像传感器130，其中所述第一折射面与所述第二反射面处于同一位置，所述第二折射面与所述第一反射面处于同一位置，其中所述图像传感器130设置在所述全景环带镜头120 的像面处。

在一实施例中，如图2所示，圆柱面上一点A发出的光线，首先经第一折射面透射进入全景头部单元121，在全景头部单元121中向后传播碰到第一反射面后光线被向前反射回与第一折射面处于同一位置的第二反射面。随后，光线被第二反射面向后反射再次传播到与第一反射面处于同一位置的第二折射面，经第二折射面折射出全景头部单元121后进入后续的中继透镜组122。反向延长射出全景头部单元121的光线可以在全景头部单元121的内部或者前方得到一个虚像A′，此中间虚像A′经过中继透镜系统二次成像后形成一个实像点A″，最终实像A″通过图像传感器130进行接收。同样的，B点最终在像面上形成像点 B″。角a绕光轴旋转360°，对应的区域不能被成像在像面中心形成一个圆形盲区；而角β绕光轴旋转360°，对应的区域在像面上形成一个3圆环形像面。同时，a+β角越大，则全景环带光学系统的视场角越大；a角越小，则盲区越小。

全景环带光学系统成像时会成一圆环形图像，相比传统针孔相机有限的视场(一般不超过90°)，全景环带镜头120凭借单颗镜头即可得到水平方向上 360°全视场成像结果。

在具体实施中，所述计算模块200可以为任意具有复杂计算功能的单元，如单片机和电脑。

具体地，计算模块200的输入端与所述图像传感器130的输出端相连接，是为了对所述图像传感器130获得的图像进行去畸变操作。

具体地，全景环带镜头120通过光路的两次反射获得了近360°的全视场角的同时也给画面带来了畸变，因此需要借助一个特殊的相机模型来解决这个问题。相机模型描述了三维世界的坐标点与二维像面之间的数学映射关系。针孔相机模型在普通相机上能较好的描述这种关系，但当视场角超过180°时，针孔相机模型就不再适用了，因此该系统使用泰勒相机模型来建立球面坐标与像面二维坐标的映射关系，进而展开得到去畸变的图像。

泰勒相机模型的原理为：一个三维坐标点P₁＝[x，y，z]^T映射到像面坐标 p₁＝[u，v]^T总共分三步：1.P₁归一化到一单位球上，记为P₁′；2.将P₁′与以多项式系数ρ₁(θ)相乘；3.将上一步结果加上一个偏置c＝[c_x，c_y]^T，即得到了在像面上的映射结果。完整的数学表达抽象如下：

其中

ρ₁(θ)＝a₀+a₂θ²+a₃θ³+...+a_Nθ^N (3)

因此从像面坐标到三维坐标点的反映射关系为：

其中

ρ₂(r)＝b₀+b₂r²+b₃r³+...+b_Nr^N (6)

借助公式(4)即可得到全景环带镜头120图像在单位球上的反映射结果，进而根据需求对反映射结果进行柱面展开或立方展开。当需要展示全景图像时，使用柱面展开；当需将画面分割，突出某些个体，呈现给远端时，展开全景环带图像可通过立方体周视展开，展开方法与天空盒的构建方法类似，由于全景环带相机的垂直视场角覆盖的范围一般为60°左右，故可忽略顶面与底面两个面，只进行周围四个面的去畸变操作，最终能够得到局部去畸变演示图。

具体地，所述全景环带镜头120和麦克风阵列110的空间排布关系为所述全景环带镜头120在上、所述麦克风阵列110在下或所述麦克风阵列110包围所述全景环带镜头120，以减小全景视频会议系统的体积。

具体地，麦克风阵列110是多个麦克风按预定方式排列形成，麦克风阵列 110的排列方式很多，如圆形等距排列。本实施例中采用市面上常见的四麦克风阵列110。

具体地，计算模块200的输入端与所述麦克风阵列110的输出端相连接，是为了实现声源定位并追踪。

所述声源定位的目的是计算声源坐标，给全景图像的立方展开的中心角度提供判别依据。声源定位基于多个麦克风组成的阵列，原理是广义互相关算法。实际上，如图3，通过两个相距

的麦克风所得到的信号到达时间差τ，就可以计算出声音的方向(v为声速)：

其中

R(Δt)＝E{r₁(t)·r₂(t+Δt)} (9)

其中，R(Δt)即互相关函数，表征了两个麦克风间隔Δt所获信号的相似程度，通过找到可以令互相关函数最大化的Δt，即τ，进而可得到声源定位结果。

得到所述声源定位结果后，通过粒子滤波可对该结果进行追踪。麦克风阵列110是多个麦克风按一定方式排列在一起，由于加入芯片，像昆虫的复眼一个能够精确定位，可以通过芯片，消除环境中各种干扰，较大的提高了在恶劣环境中的音色识别性能，降低噪音。粒子滤波是通过非参数化的蒙特卡洛模拟方法来实现递推贝叶斯滤波，适用于任何能用状态空间模型描述的非线性系统，精度可以逼近最优估计。粒子滤波器具有简单、易于实现等特点，为分析非线性动态系统提供了一种有效的解决方法，可对目标进行跟踪，借助麦克风阵列 110对发言人进行精确追迹，粒子滤波对发言人进行跟踪，定位声音来源并将其进行识别放大，以同时实现展现全体线下参会者和突出个体发言人。

需要说明的是，上述所有计算过程如泰勒相机模型、声源定位及通过粒子滤波可对声源定位结果进行追踪都为现有技术中的计算方法。

在一实施例中，所述计算模块200的输入端分别与所述若干麦克风和所述图像传感器130的输出端相连接，并对图像和声音数据进行上述处理并以通用协议输出，通用协议输出的好处就是兼容性好，常见的操作系统如windows、 ubuntu、deepin一般都会内置通用的视频传输协议，包括我们常用的视频软件如钉钉、微信等也能直接调用输出图像，而不用特定的sdk。

本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本实用新型的其它实施方案。本实用新型旨在涵盖本实用新型的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本实用新型的一般性原理并包括本实用新型未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本实用新型的真正范围和精神由下面的权利要求指出。

应当理解的是，本实用新型并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本实用新型的范围仅由所附的权利要求来限制。

Claims (7)

1.一种基于环带相机的全景视频会议系统，其特征在于，包括：

传感器模块，所述传感器模块包括麦克风阵列、全景环带镜头和图像传感器，所述麦克风阵列用于接收声信号并将所述声信号转化为声音数据，所述全景环带镜头用于接收光信号，所述全景环带镜头的输出端与所述图像传感器的输入端相连接，所述图像传感器用于将光信号转化为图像数据；及

计算模块，所述计算模块的输入端分别与所述麦克风阵列和所述图像传感器的输出端相连接。

2.根据权利要求1所述的全景视频会议系统，其特征在于，所述全景环带镜头包括全景头部单元和中继透镜组。

3.根据权利要求2所述的全景视频会议系统，其特征在于，所述全景头部单元的旋转轴和所述中继透镜组的旋转轴分别与所述麦克风阵列所在的平面垂直。

4.根据权利要求2所述的全景视频会议系统，其特征在于，光线通过第一折射面进入所述全景头部单元后依次通过第一反射面、第二反射面和第二折射面进入所述中继透镜组，再穿过所述中继透镜组到达所述图像传感器，其中所述第一折射面与所述第二反射面处于同一位置，所述第二折射面与所述第一反射面处于同一位置。

5.根据权利要求2所述的全景视频会议系统，其特征在于，所述全景头部单元的旋转轴、所述中继透镜组的旋转轴和所述全景环带镜头的旋转轴相重合。

6.根据权利要求1所述的全景视频会议系统，其特征在于，所述全景环带镜头和麦克风阵列的空间排布关系为所述全景环带镜头在上、所述麦克风阵列在下或所述麦克风阵列包围所述全景环带镜头。

7.根据权利要求1所述的全景视频会议系统，其特征在于，所述图像传感器设置在所述全景环带镜头的像面处。

Images