CN108259921A - 一种基于场景切换的多角度直播系统及切换方法 - Google Patents

Abstract

本发明一种基于场景切换的多角度直播系统及切换方法属于计算机视觉与处理领域；该装置包括图像采集端、基站端和用户端；所述图像采集端、基站端和用户端之间无线连接；该方法包括获取多个图像采集设备对应多个目标的多个视角调整数据；根据切换指令调取对应的场景切换数据，切换指令包括位置切换指令和/或目标切换指令，切换指令携带视频帧时间信息、图像采集设备标识和/或目标标识；根据场景切换数据发送图像序列；本发明使用户能够在观看直播过程中快速锁定想要观看的目标，而不需要自己通过滑屏或者用户端的自身转动来查找观看目标，从不同角度观看比赛精彩瞬间，提高用户的体验感。

Description

一种基于场景切换的多角度直播系统及切换方法

技术领域

本发明一种基于场景切换的多角度直播系统及切换方法属于计算机视觉与处理领域。

背景技术

越来越多的户外俱乐部或者酷爱体育的老板们，将自己的球场向专业化靠拢，将更多的精力放在观赛者的切身感受上。传统的依靠广播转播系统的方式，不仅步骤繁琐且效率低，观众若想要真实感受赛场上的激烈竞争，最佳选择是应用全景摄像系统来解决观众在任意位置、任意视角观赏比赛的问题，全景摄像系统可以在任意时间段、任意场次的比赛中为观众捕捉到最精彩的镜头。

现有的全景摄像系统可以使观众在用户端自由转换观看角度，但是摄像头主视角的位置和移动还是由拍摄者决定的，即使有了自由观看角度，观众也容易迷失在全景视角中找不着北，在滑屏观看中找不到真正想要观看的目标。

发明内容

针对上述问题，本发明的目的在于提供一种基于场景切换的多角度直播系统及切换方法。

本发明的目的是这样实现的：

一种基于场景切换的多角度直播系统，包括图像采集端、基站端和用户端；所述图像采集端、基站端和用户端之间无线连接；

所述图像采集端设置在体育场馆现场；所述图像采集端包括若干图像采集单元，所述图像采集单元包括图像采集单元a、图像采集单元b和图像采集单元c；

所述图像采集单元a包括悬挂在体育场馆上空滑动索道上的多个图像采集设备，所述图像采集设备为多目全景摄像机，滑动索道设置在四个支点之间，用钢缆连接，实现到达预设三维空间中的任何位置以从空中俯拍赛况；所述图像采集单元a还包括位置传感器和姿态传感器，用于实时获取图像采集单元a中每个图像采集设备的位置信息和姿态信息；

所述图像采集单元b包括赛场四周固定架设的多个图像采集设备；预先存储所述图像采集单元b中每个图像采集设备的位置信息和姿态信息；

所述图像采集单元c设置为处于同一平面且坐标轴相互平行的两个图像采集设备；将所采集的图像实时传输给目标获取模块以用于目标的定位；

所述每个图像采集设备上均设置有无线通信模块；

所述基站端包括目标获取模块、存储模块、处理模块、视角调整模块和第二无线通信模块,所述存储模块包括第一存储模块和第二存储模块；

目标获取模块：用于根据图像采集单元c传输的图像数据实时获取目标切换指令中目标的位置信息；

第一存储模块：用于存储图像采集单元a和图像采集单元b的位置信息和姿态信息；

第二存储模块：用于存储存储图像采集单元a和图像采集单元b的多组图像序列；

处理模块：用于处理用户端请求切换场景的指令；

视角调整模块：用于确定视角调整数据，以调整待发送图像序列的显示视角；

第二无线通信模块：用于基站端、图像采集端和用户端之间的通信；

所述用户端位于观众席现场，包括一个或者多个用户设备，所述每个用户设备包括显示模块、用户交互模块和第三无线通信模块。

所述基于场景切换的多角度直播系统上实现的场景切换方法，包括以下步骤：

步骤a、获取多个图像采集设备对应多个目标的多个视角调整数据；

步骤b、根据切换指令调取对应的场景切换数据，切换指令包括位置切换指令和/或目标切换指令，切换指令携带视频帧时间信息、图像采集设备标识和/或目标标识；

步骤c、根据场景切换数据发送图像序列。

所述一种场景切换方法，所述步骤a获取多个图像采集设备对应多个目标的多个视角调整数据的方法，包括以下步骤：

步骤a1、从处于同一平面、坐标轴相互平行的两个不同位置的图像采集设备中获取包含目标的两幅图像并经过图像处理，从而得到目标的位置坐标；

步骤a2、根据目标的位置坐标及一个图像采集设备即不同于获取目标位置的图像采集设备的位置坐标获得对应的目标方向向量，方向由图像采集设备指向目标，从而获取目标方向向量与世界坐标系之间的夹角即姿态角α和β；

步骤a3、根据姿态角α和β确定投影矩阵。

所述一种场景切换方法，所述步骤a1中得到目标的位置坐标的方法，包括以下步骤：

步骤a11、获得两个图像采集设备标定后的内外参数和光心坐标，通过对目标进行特征点提取以及两幅图像的特征点匹配，得到目标上多特征点的投影坐标；

步骤a12、每一个特征点的三维坐标通过两个图像采集设备的光心坐标和特征点二维投影坐标连线的交点来确定；

步骤a13、取目标上已匹配的多特征点的三维坐标平均值作为最终的目标三维坐标。

所述一种场景切换方法，所述步骤b根据切换指令调取对应的场景切换数据的方法，包括以下步骤：

步骤b1、在包含位置切换指令时，根据视频帧时间信息和图像采集设备标识确定位置切换指令要求传输的图像序列；

步骤b2、在包含目标切换指令时，根据图像采集设备标识和目标标识确定视角调整数据；

步骤b3、在同时包含位置切换指令和目标切换指令时，根据视频帧时间信息和图像采集设备标识确定图像序列，并根据视频帧时间信息、图像采集设备标识和目标标识确定视角调整数据。

所述一种场景切换方法，所述步骤c根据场景切换数据发送图像序列的方法，包括以下步骤：

步骤c1、当仅包含位置切换指令时，发送与位置切换指令位置相匹配的那个图像采集设备所采集的当前存储的最后一帧广视角图片及之后将要存储的多帧广视角图片，直到接收到新传输指令为止。

步骤c2、当仅包含目标切换指令时，根据确定的视角调整数据调整当前位置图像采集设备所采集的当前存储的最后一帧广视角图片及之后将要存储的多帧广视角图片的显示视角，并按照时间顺序发送视角调整后的图像序列，直到接收到新传输指令为止。

步骤c3、当包含位置切换指令且包含目标切换指令时，根据确定的视角调整数据调整与位置切换指令位置相匹配的那个图像采集设备所采集的当前存储的最后一帧广视角图片及之后将要存储的多帧广视角图片的显示视角，并按照时间顺序发送视角调整后的图像序列，直到接收到新传输指令为止。

有益效果：

本发明提供了一种基于场景切换的多角度直播系统及切换方法，通过设置功能不同的图像采集单元，在基站端实时确定目标位置，从而通过不同图像采集设备与不同目标的位置关系确定场景切换数据，当用户端发出要获取包含切换位置和/或目标数据的视频文件的请求指令时，基站端根据不同的指令向用户端发送相应时间的不同视频数据，从而使用户能够在观看直播过程中从不同位置和不同角度快速锁定观看目标，而不需要通过滑屏或者用户端的自身转动来查找观看目标，提高用户观看精彩比赛的体验感。

附图说明

图1是一种基于场景切换的多角度直播系统结构简图。

图中：1图像采集端、11图像采集单元、111图像采集单元a、112图像采集单元b、113图像采集单元c、2基站端、21目标获取模块、22存储模块、221第一存储模块、222第二存储模块、23处理模块、24视角调整模块、25第二无线通信模块、3用户端、31显示模块、32用户交互模块、33第三无线通信模块。

具体实施方式

下面结合附图对本发明具体实施方式作进一步详细描述。

具体实施方式一

一种基于场景切换的多角度直播系统，如图1所示，包括图像采集端1、基站端2和用户端3；所述图像采集端1、基站端2和用户端3之间无线连接；

所述图像采集端1设置在体育场馆现场；所述图像采集端1包括若干图像采集单元11，所述图像采集单元11包括图像采集单元a111、图像采集单元b112和图像采集单元c113；

所述图像采集单元a111包括悬挂在体育场馆上空滑动索道上的多个图像采集设备，图像采集设备为多目全景摄像机；滑动索道设置在四个支点之间，用钢缆连接，实现到达预设三维空间中的任何位置以从空中俯拍赛况；所述图像采集单元a111还包括位置传感器和姿态传感器，实时获取图像采集单元a111中多个图像采集设备的位置信息和姿态信息，位置传感器例如可以是GPS和/或气压测高计等，姿态传感器例如可以是加速度计和/或陀螺仪；

所述图像采集单元b112包括赛场四周固定架设的多个图像采集设备，其位置和姿态信息已预先存储；

所述图像采集单元c113包括处于同一平面且坐标轴相互平行的两个图像采集设备；将所采集的图像实时传输给目标获取模块21以用于目标的定位；

所述每个图像采集设备上均设置有无线通信模块。

所述基站端2包括目标获取模块21、存储模块22、处理模块23、视角调整模块24和第二无线通信模块25,所述存储模块22包括第一存储模块221和第二存储模块222；

目标获取模块：用于根据图像采集单元c传输的图像数据实时获取目标切换指令中包含的目标的位置信息；

第一存储模块：用于存储图像采集单元a和图像采集单元b的位置信息和姿态信息；

第二存储模块：用于存储图像采集单元a和图像采集单元b所采集的多组图像序列；

处理模块：用于处理用户端请求切换场景的指令；

视角调整模块：用于确定视角调整数据，以调整待发送图像序列的显示视角；

第二无线通信模块：用于基站端和图像采集端及用户端之间的通信。

所述用户端3位于观众席现场，包括一个或者多个用户设备，所述每个用户设备包括显示模块31、用户交互模块32和第三无线通信模块33。

一种基于场景切换的多角度直播系统包括图像采集端1、基站端2和用户端3。其中，图像采集端1位于体育场馆现场，包括多个图像采集单元11，其中，图像采集单元a111包括悬挂在体育场馆上空滑动索道上的多个图像采集设备，图像采集设备为多目全景摄像机；滑动索道设置在四个支点之间，用钢缆连接，实现到达预设三维空间中的任何位置以从空中俯拍赛况；图像采集单元a111还包括位置传感器和姿态传感器，位置传感器例如可以是GPS和/或气压测高计等，姿态传感器例如可以是加速度计和/或陀螺仪，实时获取图像采集单元a111中多个图像采集设备的位置信息和姿态信息，并存储在基站端2的第一存储模块221中；图像采集单元b112包含赛场四周固定架设的多个图像采集设备，其位置和姿态信息已预先存储在基站端2的第一存储模块221中；图像采集单元c113为处于同一平面且坐标轴相互平行的两个图像采集设备，将所采集的图像实时传输给目标获取模块21以用于目标的定位；每个图像采集设备上均设置有无线通信模块。

基站端2包括用于获取目标位置的目标获取模块21，其中，目标获取模块21接收图像采集单元c的图像数据，并将结果数据发送至视角调整模块；用于存储图像采集单元a111和图像采集单元b112所采集的多组广视角图像序列的第二存储模块222；用于处理用户端请求切换场景的指令的处理模块23、用于确定视角调整数据，以调整待发送图像序列的显示视角的视角调整模块24和第二无线通信模块25。

基站端2通过第二无线通信模块25接收来自用户端3一个或多个用户设备的至少一个传输指令。处理模块23首先判断该传输指令中是否包含位置切换指令和/或目标切换指令，当既不包含位置切换指令也不包含目标切换指令时，处理模块23从第二存储模块222中获取图像采集单元a111中预先指定的一个图像采集设备所采集的当前存储的最后一帧广视角图片及之后将要存储的多帧广视角图片作为待发送图像序列发送给用户端3，直到接收到该用户端3再次发来新传输指令为止；当仅包含位置切换指令而不包含目标切换指令时，处理模块23从第二存储模块222中获取与该位置切换指令位置相匹配的那个图像采集设备所采集的当前存储的最后一帧广视角图片及之后将要存储的多帧广视角图片作为待发送图像序列发送给用户端3，直到接收到该用户端3再次发来新传输指令为止；当仅包含目标切换指令而不包含位置切换指令时，处理模块23通过视角调整模块24调整当前位置图像采集设备所采集的待发送图像序列的显示视角，并按照时间顺序发送视角调整后的图像序列，直到接收到该用户端3再次发来新传输指令为止；当同时包含位置切换指令和目标切换指令时，处理模块23首先从第二存储模块222中获取与该位置切换指令位置相匹配的那个图像采集设备所采集的当前存储的最后一帧广视角图片及之后将要存储的多帧广视角图片作为待发送图像序列，并同时通过视角调整模块24调整该待发送图像序列的显示视角，然后按照时间顺序发送视角调整后的图像序列，直到接收到该用户端3再次发来新传输指令为止。

用户端3位于观众席现场，包括一个或多个用户设备，其中每个用户设备包括第三无线通信模块33、用户交互模块32和显示模块31。其中，用户设备例如可以是智能手机、平板电脑或头戴式VR系统等终端设备。

此外，每个用户设备通过用户交互模块32来设置所需图像序列的传输请求，其中，传输请求中携带有视频帧时间信息、图像采集设备标识和/或目标标识。

例如，用户在观看比赛时接入直播系统，用户端3自动获取的是预先指定的图像采集设备所采集的当前存储的最后一帧广视角图片及之后将要存储的多帧广视角图片，而当用户想要观看滑动索道上的全景摄像机编号为1和/或目标为球门方向的场景时可以发送场景切换请求，具体地，用户可以通过点击用户交互模块32中已经设置的全景摄像机的编号和/或某个人或物体例如球门的文字或图标类标识来触发场景切换请求。

需要说明的是，当用户触发包含目标切换指令的场景切换请求时，基站端2视角调整模块24在获得目标获取模块21所传输的目标的位置坐标之后，通过目标的位置坐标及图像采集设备的位置坐标获得对应的目标方向向量，从而获取目标方向向量与世界坐标系之间的夹角即姿态角α和β，从而确定投影矩阵；若图像采集设备或者目标为固定不移动的，则其投影矩阵不会变化，因而可以预先将投影矩阵计算出来存储在视角调整模块中，若图像采集设备或者目标为移动的，则需要实时计算投影矩阵。

以已知固定尺寸W*H为显示区域长宽，可以设定为与用户设备显示模块宽高比保持一致，则处理模块23根据投影矩阵及显示区域尺寸调整待发送图像序列的显示视角，显示视角即为目标位于视频播放窗口的中央位置，且由于不同用户选择的图像采集设备的不同或者目标的不同导致显示画面不同，从而实现不需要滑动屏幕或者移动用户设备而是根据用户不同需求自主切换全景视频的播放。

具体实施方式二

一种在所述基于场景切换的多角度直播系统上实现的场景切换方法，包括以下步骤：

步骤a、获取多个图像采集设备对应多个目标的多个视角调整数据；

步骤b、根据切换指令调取对应的场景切换数据，切换指令包括位置切换指令和/或目标切换指令，切换指令携带视频帧时间信息、图像采集设备标识和/或目标标识；

步骤c、根据场景切换数据发送图像序列。

所述一种场景切换方法，所述步骤a获取一个图像采集设备对应一个目标的视角调整数据的方法，包括以下步骤：

步骤a1、从处于同一平面、坐标轴相互平行的两个不同位置的用于获取目标位置的图像采集设备中获取包含目标的两幅图像并经过图像处理，从而得到目标的位置坐标；

步骤a2、根据目标的位置坐标及一个图像采集设备(不同于获取目标位置的图像采集设备)的位置坐标获得对应的目标方向向量，方向由图像采集设备指向目标，从而获取目标方向向量与世界坐标系之间的夹角即姿态角α和β；

步骤a3、根据姿态角α和β确定投影矩阵。

所述一种场景切换方法，所述步骤a1获取一个目标的位置坐标的方法，包括以下步骤：

步骤a11、获得两个图像采集设备标定后的内外参数和光心坐标，通过对目标进行特征点提取以及两幅图像的特征点匹配，得到目标上多特征点的投影坐标；

步骤a12、每一个特征点的三维坐标通过两个图像采集设备的光心坐标和特征点二维投影坐标连线的交点来确定；

步骤a13、取目标上已匹配的多特征点的三维坐标平均值作为最终的目标三维坐标。

所述一种场景切换方法，所述步骤b调取场景切换数据的方法，包括以下步骤：

步骤b1、在包含位置切换指令时，根据视频帧时间信息和图像采集设备标识确定位置切换指令要求传输的图像序列；

步骤b2、在包含目标切换指令时，根据图像采集设备标识和目标标识确定视角调整数据；

步骤b3、在同时包含位置切换指令和目标切换指令时，首先根据视频帧时间信息和图像采集设备标识确定图像序列，并根据视频帧时间信息、图像采集设备标识和目标标识确定视角调整数据。

所述一种场景切换方法，所述步骤c根据场景切换数据发送图像序列的方法，包括以下步骤：

步骤c1、当仅包含位置切换指令时，发送与位置切换指令位置相匹配的那个图像采集设备所采集的当前存储的最后一帧广视角图片及之后将要存储的多帧广视角图片，直到接收到新传输指令为止。

步骤c2、当仅包含目标切换指令时，根据确定的视角调整数据调整当前位置图像采集设备所采集的当前存储的最后一帧广视角图片及之后将要存储的多帧广视角图片的显示视角，并按照时间顺序发送视角调整后的图像序列，直到接收到新传输指令为止。

步骤c3、当包含位置切换指令且包含目标切换指令时，根据确定的视角调整数据调整与位置切换指令位置相匹配的那个图像采集设备所采集的当前存储的最后一帧广视角图片及之后将要存储的多帧广视角图片的显示视角，并按照时间顺序发送视角调整后的图像序列，直到接收到新传输指令为止。

Claims (6)

1.一种基于场景切换的多角度直播系统，其特征在于，包括图像采集端(1)、基站端(2)和用户端(3)；所述图像采集端(1)、基站端(2)和用户端(3)之间无线连接；

所述图像采集端(1)设置在体育场馆现场；所述图像采集端(1)包括若干图像采集单元(11)，所述图像采集单元(11)包括图像采集单元a(111)、图像采集单元b(112)和图像采集单元c(113)；

所述图像采集单元a(111)包括悬挂在体育场馆上空滑动索道上的多个图像采集设备，所述图像采集设备为多目全景摄像机，滑动索道设置在四个支点之间，用钢缆连接，实现到达预设三维空间中的任何位置以从空中俯拍赛况；所述图像采集单元a(111)还包括位置传感器和姿态传感器，用于实时获取图像采集单元a(111)中每个图像采集设备的位置信息和姿态信息；

所述图像采集单元b(112)包括赛场四周固定架设的多个图像采集设备；预先存储所述图像采集单元b(112)中每个图像采集设备的位置信息和姿态信息；

所述图像采集单元c(113)设置为处于同一平面且坐标轴相互平行的两个图像采集设备；将所采集的图像实时传输给目标获取模块(21)以用于目标的定位；

所述每个图像采集设备(11)上均设置有无线通信模块；

所述基站端(2)包括目标获取模块(21)、存储模块(22)、处理模块(23)、视角调整模块(24)和第二无线通信模块(25),所述存储模块(22)包括第一存储模块(221)和第二存储模块(222)；

目标获取模块(21)：用于根据图像采集单元c(113)传输的图像数据实时获取目标切换指令中目标的位置信息；

第一存储模块(221)：用于存储图像采集单元a(111)和图像采集单元b(112)的位置信息和姿态信息；

第二存储模块(222)：用于存储存储图像采集单元a(111)和图像采集单元b(112)的多组图像序列；

处理模块(23)：用于处理用户端(3)请求切换场景的指令；

视角调整模块(24)：用于确定视角调整数据，以调整待发送图像序列的显示视角；

第二无线通信模块(25)：用于基站端(1)、图像采集端(2)和用户端(3)之间的通信；

所述用户端(3)位于观众席现场，包括一个或者多个用户设备，所述每个用户设备包括显示模块(31)、用户交互模块(32)和第三无线通信模块(33)。

2.一种在权利要求1所述基于场景切换的多角度直播系统上实现的场景切换方法，其特征在于，包括以下步骤：

步骤a、获取多个图像采集设备对应多个目标的多个视角调整数据；

步骤b、根据切换指令调取对应的场景切换数据，切换指令包括位置切换指令和/或目标切换指令，切换指令携带视频帧时间信息、图像采集设备标识和/或目标标识；

步骤c、根据场景切换数据发送图像序列。

3.根据权利要求2所述一种场景切换方法，其特征在于，所述步骤a获取多个图像采集设备对应多个目标的多个视角调整数据的方法，包括以下步骤：

步骤a1、从处于同一平面、坐标轴相互平行的两个不同位置的图像采集设备中获取包含目标的两幅图像并经过图像处理，从而得到目标的位置坐标；

步骤a2、根据目标的位置坐标及一个图像采集设备即不同于获取目标位置的图像采集设备的位置坐标获得对应的目标方向向量，方向由图像采集设备指向目标，从而获取目标方向向量与世界坐标系之间的夹角即姿态角α和β；

步骤a3、根据姿态角α和β确定投影矩阵。

4.根据权利要求3所述一种场景切换方法，其特征在于，所述步骤a1中得到目标的位置坐标的方法，包括以下步骤：

步骤a11、获得两个图像采集设备标定后的内外参数和光心坐标，通过对目标进行特征点提取以及两幅图像的特征点匹配，得到目标上多特征点的投影坐标；

步骤a12、每一个特征点的三维坐标通过两个图像采集设备的光心坐标和特征点二维投影坐标连线的交点来确定；

步骤a13、取目标上已匹配的多特征点的三维坐标平均值作为最终的目标三维坐标。

5.根据权利要求2所述一种场景切换方法，其特征在于，所述步骤b根据切换指令调取对应的场景切换数据的方法，包括以下步骤：

步骤b1、在包含位置切换指令时，根据视频帧时间信息和图像采集设备标识确定位置切换指令要求传输的图像序列；

步骤b2、在包含目标切换指令时，根据图像采集设备标识和目标标识确定视角调整数据；

步骤b3、在同时包含位置切换指令和目标切换指令时，根据视频帧时间信息和图像采集设备标识确定图像序列，并根据视频帧时间信息、图像采集设备标识和目标标识确定视角调整数据。

6.根据权利要求2所述一种场景切换方法，其特征在于，所述步骤c根据场景切换数据发送图像序列的方法，包括以下步骤：

步骤c1、当仅包含位置切换指令时，发送与位置切换指令位置相匹配的那个图像采集设备所采集的当前存储的最后一帧广视角图片及之后将要存储的多帧广视角图片，直到接收到新传输指令为止。

步骤c2、当仅包含目标切换指令时，根据确定的视角调整数据调整当前位置图像采集设备所采集的当前存储的最后一帧广视角图片及之后将要存储的多帧广视角图片的显示视角，并按照时间顺序发送视角调整后的图像序列，直到接收到新传输指令为止。

步骤c3、当包含位置切换指令且包含目标切换指令时，根据确定的视角调整数据调整与位置切换指令位置相匹配的那个图像采集设备所采集的当前存储的最后一帧广视角图片及之后将要存储的多帧广视角图片的显示视角，并按照时间顺序发送视角调整后的图像序列，直到接收到新传输指令为止。