CN108259921B - 一种基于场景切换的多角度直播系统及切换方法 - Google Patents

一种基于场景切换的多角度直播系统及切换方法 Download PDF

Info

Publication number
CN108259921B
CN108259921B CN201810128022.4A CN201810128022A CN108259921B CN 108259921 B CN108259921 B CN 108259921B CN 201810128022 A CN201810128022 A CN 201810128022A CN 108259921 B CN108259921 B CN 108259921B
Authority
CN
China
Prior art keywords
image acquisition
target
switching instruction
image
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810128022.4A
Other languages
English (en)
Other versions
CN108259921A (zh
Inventor
朱磊
李建英
韩琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Yispace Technology Co ltd
Original Assignee
Qingdao Yispace Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Yispace Technology Co ltd filed Critical Qingdao Yispace Technology Co ltd
Priority to CN201810128022.4A priority Critical patent/CN108259921B/zh
Publication of CN108259921A publication Critical patent/CN108259921A/zh
Application granted granted Critical
Publication of CN108259921B publication Critical patent/CN108259921B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

本发明一种基于场景切换的多角度直播系统及切换方法属于计算机视觉与处理领域；该装置包括图像采集端、基站端和用户端；所述图像采集端、基站端和用户端之间无线连接；该方法包括获取多个图像采集设备对应多个目标的多个视角调整数据；根据切换指令调取对应的场景切换数据，切换指令包括位置切换指令和/或目标切换指令，切换指令携带视频帧时间信息、图像采集设备标识和/或目标标识；根据场景切换数据发送图像序列；本发明使用户能够在观看直播过程中快速锁定想要观看的目标，而不需要自己通过滑屏或者用户端的自身转动来查找观看目标，从不同角度观看比赛精彩瞬间，提高用户的体验感。

Description

一种基于场景切换的多角度直播系统及切换方法
技术领域
本发明一种基于场景切换的多角度直播系统及切换方法属于计算机视觉与处理领域。
背景技术
越来越多的户外俱乐部或者酷爱体育的老板们，将自己的球场向专业化靠拢，将更多的精力放在观赛者的切身感受上。传统的依靠广播转播系统的方式，不仅步骤繁琐且效率低，观众若想要真实感受赛场上的激烈竞争，最佳选择是应用全景摄像系统来解决观众在任意位置、任意视角观赏比赛的问题，全景摄像系统可以在任意时间段、任意场次的比赛中为观众捕捉到最精彩的镜头。
现有的全景摄像系统可以使观众在用户端自由转换观看角度，但是摄像头主视角的位置和移动还是由拍摄者决定的，即使有了自由观看角度，观众也容易迷失在全景视角中找不着北，在滑屏观看中找不到真正想要观看的目标。
发明内容
针对上述问题，本发明的目的在于提供一种基于场景切换的多角度直播系统及切换方法。
本发明的目的是这样实现的：
一种基于场景切换的多角度直播系统，包括图像采集端、基站端和用户端；所述图像采集端、基站端和用户端之间无线连接；
所述图像采集端设置在体育场馆现场；所述图像采集端包括若干图像采集单元，所述图像采集单元包括图像采集单元a、图像采集单元b和图像采集单元c；
所述图像采集单元a包括悬挂在体育场馆上空滑动索道上的多个图像采集设备，所述图像采集设备为多目全景摄像机，滑动索道设置在四个支点之间，用钢缆连接，实现到达预设三维空间中的任何位置以从空中俯拍赛况；所述图像采集单元a还包括位置传感器和姿态传感器，用于实时获取图像采集单元a中每个图像采集设备的位置信息和姿态信息；
所述图像采集单元b包括赛场四周固定架设的多个图像采集设备；预先存储所述图像采集单元b中每个图像采集设备的位置信息和姿态信息；
所述图像采集单元c设置为处于同一平面且坐标轴相互平行的两个图像采集设备；将所采集的图像实时传输给目标获取模块以用于目标的定位；
所述每个图像采集设备上均设置有无线通信模块；
所述基站端包括目标获取模块、存储模块、处理模块、视角调整模块和第二无线通信模块,所述存储模块包括第一存储模块和第二存储模块；
目标获取模块：用于根据图像采集单元c传输的图像数据实时获取目标切换指令中目标的位置信息；
第一存储模块：用于存储图像采集单元a和图像采集单元b的位置信息和姿态信息；
第二存储模块：用于存储存储图像采集单元a和图像采集单元b的多组图像序列；
处理模块：用于处理用户端请求切换场景的指令；
视角调整模块：用于确定视角调整数据，以调整待发送图像序列的显示视角；
第二无线通信模块：用于基站端、图像采集端和用户端之间的通信；
所述用户端位于观众席现场，包括一个或者多个用户设备，所述每个用户设备包括显示模块、用户交互模块和第三无线通信模块。
所述基于场景切换的多角度直播系统上实现的场景切换方法，包括以下步骤：
步骤a、获取多个图像采集设备对应多个目标的多个视角调整数据；
步骤b、根据切换指令调取对应的场景切换数据，切换指令包括位置切换指令和/或目标切换指令，切换指令携带视频帧时间信息、图像采集设备标识和/或目标标识；
步骤c、根据场景切换数据发送图像序列。
所述一种场景切换方法，所述步骤a获取多个图像采集设备对应多个目标的多个视角调整数据的方法，包括以下步骤：
步骤a1、从处于同一平面、坐标轴相互平行的两个不同位置的图像采集设备中获取包含目标的两幅图像并经过图像处理，从而得到目标的位置坐标；
步骤a2、根据目标的位置坐标及一个图像采集设备即不同于获取目标位置的图像采集设备的位置坐标获得对应的目标方向向量，方向由图像采集设备指向目标，从而获取目标方向向量与世界坐标系之间的夹角即姿态角α和β；
步骤a3、根据姿态角α和β确定投影矩阵。
所述一种场景切换方法，所述步骤a1中得到目标的位置坐标的方法，包括以下步骤：
步骤a11、获得两个图像采集设备标定后的内外参数和光心坐标，通过对目标进行特征点提取以及两幅图像的特征点匹配，得到目标上多特征点的投影坐标；
步骤a12、每一个特征点的三维坐标通过两个图像采集设备的光心坐标和特征点二维投影坐标连线的交点来确定；
步骤a13、取目标上已匹配的多特征点的三维坐标平均值作为最终的目标三维坐标。
所述一种场景切换方法，所述步骤b根据切换指令调取对应的场景切换数据的方法，包括以下步骤：
步骤b1、在包含位置切换指令时，根据视频帧时间信息和图像采集设备标识确定位置切换指令要求传输的图像序列；
步骤b2、在包含目标切换指令时，根据图像采集设备标识和目标标识确定视角调整数据；
步骤b3、在同时包含位置切换指令和目标切换指令时，根据视频帧时间信息和图像采集设备标识确定图像序列，并根据视频帧时间信息、图像采集设备标识和目标标识确定视角调整数据。
所述一种场景切换方法，所述步骤c根据场景切换数据发送图像序列的方法，包括以下步骤：
步骤c1、当仅包含位置切换指令时，发送与位置切换指令位置相匹配的那个图像采集设备所采集的当前存储的最后一帧广视角图片及之后将要存储的多帧广视角图片，直到接收到新传输指令为止。
步骤c2、当仅包含目标切换指令时，根据确定的视角调整数据调整当前位置图像采集设备所采集的当前存储的最后一帧广视角图片及之后将要存储的多帧广视角图片的显示视角，并按照时间顺序发送视角调整后的图像序列，直到接收到新传输指令为止。
步骤c3、当包含位置切换指令且包含目标切换指令时，根据确定的视角调整数据调整与位置切换指令位置相匹配的那个图像采集设备所采集的当前存储的最后一帧广视角图片及之后将要存储的多帧广视角图片的显示视角，并按照时间顺序发送视角调整后的图像序列，直到接收到新传输指令为止。
有益效果：
本发明提供了一种基于场景切换的多角度直播系统及切换方法，通过设置功能不同的图像采集单元，在基站端实时确定目标位置，从而通过不同图像采集设备与不同目标的位置关系确定场景切换数据，当用户端发出要获取包含切换位置和/或目标数据的视频文件的请求指令时，基站端根据不同的指令向用户端发送相应时间的不同视频数据，从而使用户能够在观看直播过程中从不同位置和不同角度快速锁定观看目标，而不需要通过滑屏或者用户端的自身转动来查找观看目标，提高用户观看精彩比赛的体验感。
附图说明
图1是一种基于场景切换的多角度直播系统结构简图。
图中：1图像采集端、11图像采集单元、111图像采集单元a、112图像采集单元b、113图像采集单元c、2基站端、21目标获取模块、22存储模块、221第一存储模块、222第二存储模块、23处理模块、24视角调整模块、25第二无线通信模块、3用户端、31显示模块、32用户交互模块、33第三无线通信模块。
具体实施方式
下面结合附图对本发明具体实施方式作进一步详细描述。
具体实施方式一
一种基于场景切换的多角度直播系统，如图1所示，包括图像采集端1、基站端2和用户端3；所述图像采集端1、基站端2和用户端3之间无线连接；
所述图像采集端1设置在体育场馆现场；所述图像采集端1包括若干图像采集单元11，所述图像采集单元11包括图像采集单元a111、图像采集单元b112和图像采集单元c113；
所述图像采集单元a111包括悬挂在体育场馆上空滑动索道上的多个图像采集设备，图像采集设备为多目全景摄像机；滑动索道设置在四个支点之间，用钢缆连接，实现到达预设三维空间中的任何位置以从空中俯拍赛况；所述图像采集单元a111还包括位置传感器和姿态传感器，实时获取图像采集单元a111中多个图像采集设备的位置信息和姿态信息，位置传感器例如可以是GPS和/或气压测高计等，姿态传感器例如可以是加速度计和/或陀螺仪；
所述图像采集单元b112包括赛场四周固定架设的多个图像采集设备，其位置和姿态信息已预先存储；
所述图像采集单元c113包括处于同一平面且坐标轴相互平行的两个图像采集设备；将所采集的图像实时传输给目标获取模块21以用于目标的定位；
所述每个图像采集设备上均设置有无线通信模块。
所述基站端2包括目标获取模块21、存储模块22、处理模块23、视角调整模块24和第二无线通信模块25,所述存储模块22包括第一存储模块221和第二存储模块222；
目标获取模块：用于根据图像采集单元c传输的图像数据实时获取目标切换指令中包含的目标的位置信息；
第一存储模块：用于存储图像采集单元a和图像采集单元b的位置信息和姿态信息；
第二存储模块：用于存储图像采集单元a和图像采集单元b所采集的多组图像序列；
处理模块：用于处理用户端请求切换场景的指令；
视角调整模块：用于确定视角调整数据，以调整待发送图像序列的显示视角；
第二无线通信模块：用于基站端和图像采集端及用户端之间的通信。
所述用户端3位于观众席现场，包括一个或者多个用户设备，所述每个用户设备包括显示模块31、用户交互模块32和第三无线通信模块33。
一种基于场景切换的多角度直播系统包括图像采集端1、基站端2和用户端3。其中，图像采集端1位于体育场馆现场，包括多个图像采集单元11，其中，图像采集单元a111包括悬挂在体育场馆上空滑动索道上的多个图像采集设备，图像采集设备为多目全景摄像机；滑动索道设置在四个支点之间，用钢缆连接，实现到达预设三维空间中的任何位置以从空中俯拍赛况；图像采集单元a111还包括位置传感器和姿态传感器，位置传感器例如可以是GPS和/或气压测高计等，姿态传感器例如可以是加速度计和/或陀螺仪，实时获取图像采集单元a111中多个图像采集设备的位置信息和姿态信息，并存储在基站端2的第一存储模块221中；图像采集单元b112包含赛场四周固定架设的多个图像采集设备，其位置和姿态信息已预先存储在基站端2的第一存储模块221中；图像采集单元c113为处于同一平面且坐标轴相互平行的两个图像采集设备，将所采集的图像实时传输给目标获取模块21以用于目标的定位；每个图像采集设备上均设置有无线通信模块。
基站端2包括用于获取目标位置的目标获取模块21，其中，目标获取模块21接收图像采集单元c的图像数据，并将结果数据发送至视角调整模块；用于存储图像采集单元a111和图像采集单元b112所采集的多组广视角图像序列的第二存储模块222；用于处理用户端请求切换场景的指令的处理模块23、用于确定视角调整数据，以调整待发送图像序列的显示视角的视角调整模块24和第二无线通信模块25。
基站端2通过第二无线通信模块25接收来自用户端3一个或多个用户设备的至少一个传输指令。处理模块23首先判断该传输指令中是否包含位置切换指令和/或目标切换指令，当既不包含位置切换指令也不包含目标切换指令时，处理模块23从第二存储模块222中获取图像采集单元a111中预先指定的一个图像采集设备所采集的当前存储的最后一帧广视角图片及之后将要存储的多帧广视角图片作为待发送图像序列发送给用户端3，直到接收到该用户端3再次发来新传输指令为止；当仅包含位置切换指令而不包含目标切换指令时，处理模块23从第二存储模块222中获取与该位置切换指令位置相匹配的那个图像采集设备所采集的当前存储的最后一帧广视角图片及之后将要存储的多帧广视角图片作为待发送图像序列发送给用户端3，直到接收到该用户端3再次发来新传输指令为止；当仅包含目标切换指令而不包含位置切换指令时，处理模块23通过视角调整模块24调整当前位置图像采集设备所采集的待发送图像序列的显示视角，并按照时间顺序发送视角调整后的图像序列，直到接收到该用户端3再次发来新传输指令为止；当同时包含位置切换指令和目标切换指令时，处理模块23首先从第二存储模块222中获取与该位置切换指令位置相匹配的那个图像采集设备所采集的当前存储的最后一帧广视角图片及之后将要存储的多帧广视角图片作为待发送图像序列，并同时通过视角调整模块24调整该待发送图像序列的显示视角，然后按照时间顺序发送视角调整后的图像序列，直到接收到该用户端3再次发来新传输指令为止。
用户端3位于观众席现场，包括一个或多个用户设备，其中每个用户设备包括第三无线通信模块33、用户交互模块32和显示模块31。其中，用户设备例如可以是智能手机、平板电脑或头戴式VR系统等终端设备。
此外，每个用户设备通过用户交互模块32来设置所需图像序列的传输请求，其中，传输请求中携带有视频帧时间信息、图像采集设备标识和/或目标标识。
例如，用户在观看比赛时接入直播系统，用户端3自动获取的是预先指定的图像采集设备所采集的当前存储的最后一帧广视角图片及之后将要存储的多帧广视角图片，而当用户想要观看滑动索道上的全景摄像机编号为1和/或目标为球门方向的场景时可以发送场景切换请求，具体地，用户可以通过点击用户交互模块32中已经设置的全景摄像机的编号和/或某个人或物体例如球门的文字或图标类标识来触发场景切换请求。
需要说明的是，当用户触发包含目标切换指令的场景切换请求时，基站端2视角调整模块24在获得目标获取模块21所传输的目标的位置坐标之后，通过目标的位置坐标及图像采集设备的位置坐标获得对应的目标方向向量，从而获取目标方向向量与世界坐标系之间的夹角即姿态角α和β，从而确定投影矩阵；若图像采集设备或者目标为固定不移动的，则其投影矩阵不会变化，因而可以预先将投影矩阵计算出来存储在视角调整模块中，若图像采集设备或者目标为移动的，则需要实时计算投影矩阵。
以已知固定尺寸W*H为显示区域长宽，可以设定为与用户设备显示模块宽高比保持一致，则处理模块23根据投影矩阵及显示区域尺寸调整待发送图像序列的显示视角，显示视角即为目标位于视频播放窗口的中央位置，且由于不同用户选择的图像采集设备的不同或者目标的不同导致显示画面不同，从而实现不需要滑动屏幕或者移动用户设备而是根据用户不同需求自主切换全景视频的播放。
具体实施方式二
一种在所述基于场景切换的多角度直播系统上实现的场景切换方法，包括以下步骤：
步骤a、获取多个图像采集设备对应多个目标的多个视角调整数据；
步骤b、根据切换指令调取对应的场景切换数据，切换指令包括位置切换指令和/或目标切换指令，切换指令携带视频帧时间信息、图像采集设备标识和/或目标标识；
步骤c、根据场景切换数据发送图像序列。
所述一种场景切换方法，所述步骤a获取一个图像采集设备对应一个目标的视角调整数据的方法，包括以下步骤：
步骤a1、从处于同一平面、坐标轴相互平行的两个不同位置的用于获取目标位置的图像采集设备中获取包含目标的两幅图像并经过图像处理，从而得到目标的位置坐标；
步骤a2、根据目标的位置坐标及一个图像采集设备(不同于获取目标位置的图像采集设备)的位置坐标获得对应的目标方向向量，方向由图像采集设备指向目标，从而获取目标方向向量与世界坐标系之间的夹角即姿态角α和β；
步骤a3、根据姿态角α和β确定投影矩阵。
所述一种场景切换方法，所述步骤a1获取一个目标的位置坐标的方法，包括以下步骤：
步骤a11、获得两个图像采集设备标定后的内外参数和光心坐标，通过对目标进行特征点提取以及两幅图像的特征点匹配，得到目标上多特征点的投影坐标；
步骤a12、每一个特征点的三维坐标通过两个图像采集设备的光心坐标和特征点二维投影坐标连线的交点来确定；
步骤a13、取目标上已匹配的多特征点的三维坐标平均值作为最终的目标三维坐标。
所述一种场景切换方法，所述步骤b调取场景切换数据的方法，包括以下步骤：
步骤b1、在包含位置切换指令时，根据视频帧时间信息和图像采集设备标识确定位置切换指令要求传输的图像序列；
步骤b2、在包含目标切换指令时，根据图像采集设备标识和目标标识确定视角调整数据；
步骤b3、在同时包含位置切换指令和目标切换指令时，首先根据视频帧时间信息和图像采集设备标识确定图像序列，并根据视频帧时间信息、图像采集设备标识和目标标识确定视角调整数据。
所述一种场景切换方法，所述步骤c根据场景切换数据发送图像序列的方法，包括以下步骤：
步骤c1、当仅包含位置切换指令时，发送与位置切换指令位置相匹配的那个图像采集设备所采集的当前存储的最后一帧广视角图片及之后将要存储的多帧广视角图片，直到接收到新传输指令为止。
步骤c2、当仅包含目标切换指令时，根据确定的视角调整数据调整当前位置图像采集设备所采集的当前存储的最后一帧广视角图片及之后将要存储的多帧广视角图片的显示视角，并按照时间顺序发送视角调整后的图像序列，直到接收到新传输指令为止。
步骤c3、当包含位置切换指令且包含目标切换指令时，根据确定的视角调整数据调整与位置切换指令位置相匹配的那个图像采集设备所采集的当前存储的最后一帧广视角图片及之后将要存储的多帧广视角图片的显示视角，并按照时间顺序发送视角调整后的图像序列，直到接收到新传输指令为止。

Claims (5)

1.一种基于场景切换的多角度直播系统，其特征在于，包括图像采集端(1)、基站端(2)和用户端(3)；所述图像采集端(1)、基站端(2)和用户端(3)之间无线连接；
所述图像采集端(1)设置在体育场馆现场；所述图像采集端(1)包括若干图像采集单元(11)，所述图像采集单元(11)包括图像采集单元a(111)、图像采集单元b(112)和图像采集单元c(113)；
所述图像采集单元a(111)包括悬挂在体育场馆上空滑动索道上的多个图像采集设备，所述图像采集设备为多目全景摄像机，滑动索道设置在四个支点之间，用钢缆连接，实现到达预设三维空间中的任何位置以从空中俯拍赛况；所述图像采集单元a(111)还包括位置传感器和姿态传感器，用于实时获取图像采集单元a(111)中每个图像采集设备的位置信息和姿态信息；
所述图像采集单元b(112)包括赛场四周固定架设的多个图像采集设备；预先存储所述图像采集单元b(112)中每个图像采集设备的位置信息和姿态信息；
所述图像采集单元c(113)设置为处于同一平面且坐标轴相互平行的两个图像采集设备；将所采集的图像实时传输给目标获取模块(21)以用于目标的定位；
所述每个图像采集设备(11)上均设置有无线通信模块；
所述基站端(2)包括目标获取模块(21)、存储模块(22)、处理模块(23)、视角调整模块(24)和第二无线通信模块(25),所述存储模块(22)包括第一存储模块(221)和第二存储模块(222)；
目标获取模块(21)：用于根据图像采集单元c(113)传输的图像数据实时获取目标切换指令中目标的位置信息；
第一存储模块(221)：用于存储图像采集单元a(111)和图像采集单元b(112)的位置信息和姿态信息；
第二存储模块(222)：用于存储存储图像采集单元a(111)和图像采集单元b(112)的多组图像序列；
处理模块(23)：用于处理用户端(3)请求切换场景的指令；
视角调整模块(24)：用于在获得目标获取模块(21)所传输的目标的位置坐标之后，通过目标的位置坐标及图像采集设备的位置坐标获得对应的目标方向向量，从而获取目标方向向量与世界坐标系之间的夹角即姿态角α和β，从而确定投影矩阵，从而确定视角调整数据，以调整待发送图像序列的显示视角；
第二无线通信模块(25)：用于基站端(1)、图像采集端(2)和用户端(3)之间的通信；
所述用户端(3)位于观众席现场，包括一个或者多个用户设备，所述每个用户设备包括显示模块(31)、用户交互模块(32)和第三无线通信模块(33)。
2.一种在权利要求1所述基于场景切换的多角度直播系统上实现的场景切换方法，其特征在于，包括以下步骤：
步骤a、获取多个图像采集设备对应多个目标的多个视角调整数据，包括以下步骤：
步骤a1、从处于同一平面、坐标轴相互平行的两个不同位置的图像采集设备中获取包含目标的两幅图像并经过图像处理，从而得到目标的位置坐标；
步骤a2、根据目标的位置坐标及一个图像采集设备即不同于获取目标位置的图像采集设备的位置坐标获得对应的目标方向向量，方向由图像采集设备指向目标，从而获取目标方向向量与世界坐标系之间的夹角即姿态角α和β；
步骤a3、根据姿态角α和β确定投影矩阵；
步骤b、根据切换指令调取对应的场景切换数据，切换指令包括位置切换指令和/或目标切换指令，切换指令携带视频帧时间信息、图像采集设备标识和/或目标标识；
步骤c、根据场景切换数据发送图像序列。
3.根据权利要求2所述一种场景切换方法，其特征在于，所述步骤a1中得到目标的位置坐标的方法，包括以下步骤：
步骤a11、获得两个图像采集设备标定后的内外参数和光心坐标，通过对目标进行特征点提取以及两幅图像的特征点匹配，得到目标上多特征点的投影坐标；
步骤a12、每一个特征点的三维坐标通过两个图像采集设备的光心坐标和特征点二维投影坐标连线的交点来确定；
步骤a13、取目标上已匹配的多特征点的三维坐标平均值作为最终的目标三维坐标。
4.根据权利要求2所述一种场景切换方法，其特征在于，所述步骤b根据切换指令调取对应的场景切换数据的方法，包括以下步骤：
步骤b1、在包含位置切换指令时，根据视频帧时间信息和图像采集设备标识确定位置切换指令要求传输的图像序列；
步骤b2、在包含目标切换指令时，根据图像采集设备标识和目标标识确定视角调整数据；
步骤b3、在同时包含位置切换指令和目标切换指令时，根据视频帧时间信息和图像采集设备标识确定图像序列，并根据视频帧时间信息、图像采集设备标识和目标标识确定视角调整数据。
5.根据权利要求2所述一种场景切换方法，其特征在于，所述步骤c根据场景切换数据发送图像序列的方法，包括以下步骤：
步骤c1、当仅包含位置切换指令时，发送与位置切换指令位置相匹配的那个图像采集设备所采集的当前存储的最后一帧广视角图片及之后将要存储的多帧广视角图片，直到接收到新传输指令为止；
步骤c2、当仅包含目标切换指令时，根据确定的视角调整数据调整当前位置图像采集设备所采集的当前存储的最后一帧广视角图片及之后将要存储的多帧广视角图片的显示视角，并按照时间顺序发送视角调整后的图像序列，直到接收到新传输指令为止；
步骤c3、当包含位置切换指令且包含目标切换指令时，根据确定的视角调整数据调整与位置切换指令位置相匹配的那个图像采集设备所采集的当前存储的最后一帧广视角图片及之后将要存储的多帧广视角图片的显示视角，并按照时间顺序发送视角调整后的图像序列，直到接收到新传输指令为止。
CN201810128022.4A 2018-02-08 2018-02-08 一种基于场景切换的多角度直播系统及切换方法 Active CN108259921B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810128022.4A CN108259921B (zh) 2018-02-08 2018-02-08 一种基于场景切换的多角度直播系统及切换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810128022.4A CN108259921B (zh) 2018-02-08 2018-02-08 一种基于场景切换的多角度直播系统及切换方法

Publications (2)

Publication Number Publication Date
CN108259921A CN108259921A (zh) 2018-07-06
CN108259921B true CN108259921B (zh) 2020-06-16

Family

ID=62744012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810128022.4A Active CN108259921B (zh) 2018-02-08 2018-02-08 一种基于场景切换的多角度直播系统及切换方法

Country Status (1)

Country Link
CN (1) CN108259921B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109361856A (zh) * 2018-10-26 2019-02-19 广州虎牙信息科技有限公司 一种全景直播方法、装置、终端设备及存储介质
CN109448316A (zh) * 2018-12-23 2019-03-08 广东腾晟信息科技有限公司 一种人群密度识别的设备及报警系统
CN110288534B (zh) * 2019-06-28 2024-01-16 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备以及存储介质
CN111145321B (zh) * 2019-12-25 2023-06-27 河南蜻蜓云智能科技有限公司 一种利用序列帧实现场景旋转和转换的方法及系统
CN111193937B (zh) * 2020-01-15 2022-05-13 深圳拙河科技有限公司 一种直播视频数据的处理方法、装置、设备和介质
CN111246096B (zh) * 2020-01-19 2021-10-08 广州启量信息科技有限公司 一种三维全景漫游模型的生成系统及方法
WO2022056683A1 (zh) * 2020-09-15 2022-03-24 深圳市大疆创新科技有限公司 视场确定方法、视场确定装置、视场确定系统和介质
CN112506465B (zh) * 2020-12-01 2023-03-21 建信金融科技有限责任公司 全景漫游中场景切换的方法和装置
CN113810609B (zh) * 2021-09-15 2023-09-08 宁波达丽光信息科技有限公司 视频传输方法、服务器、用户终端及视频传输系统
CN114302027A (zh) * 2021-12-22 2022-04-08 上海正在上演文化科技有限公司 一种基于5G技术的数字演艺SaaS系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101329764A (zh) * 2008-07-31 2008-12-24 上海交通大学 采用两个任意共面圆进行摄像机标定的方法
CN106550182A (zh) * 2017-01-10 2017-03-29 哈尔滨市舍科技有限公司 共享式无人机观景系统
CN106657923A (zh) * 2017-01-10 2017-05-10 哈尔滨市舍科技有限公司 基于位置的场景切换式共享观景系统
CN106767399A (zh) * 2016-11-11 2017-05-31 大连理工大学 基于双目立体视觉和点激光测距的物流货物体积的非接触测量方法
CN107241613A (zh) * 2017-07-24 2017-10-10 哈尔滨市舍科技有限公司 体育场馆赛况多角度直播系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004061387A1 (ja) * 2002-12-27 2004-07-22 Hiroshi Arisawa 多視点ビデオキャプチャシステム
US10171794B2 (en) * 2015-04-29 2019-01-01 Panasonic Intellectual Property Management Co., Ltd. Method for selecting cameras and image distribution system capable of appropriately selecting cameras

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101329764A (zh) * 2008-07-31 2008-12-24 上海交通大学 采用两个任意共面圆进行摄像机标定的方法
CN106767399A (zh) * 2016-11-11 2017-05-31 大连理工大学 基于双目立体视觉和点激光测距的物流货物体积的非接触测量方法
CN106550182A (zh) * 2017-01-10 2017-03-29 哈尔滨市舍科技有限公司 共享式无人机观景系统
CN106657923A (zh) * 2017-01-10 2017-05-10 哈尔滨市舍科技有限公司 基于位置的场景切换式共享观景系统
CN107241613A (zh) * 2017-07-24 2017-10-10 哈尔滨市舍科技有限公司 体育场馆赛况多角度直播系统

Also Published As

Publication number Publication date
CN108259921A (zh) 2018-07-06

Similar Documents

Publication Publication Date Title
CN108259921B (zh) 一种基于场景切换的多角度直播系统及切换方法
CN106550182B (zh) 共享式无人机观景系统
EP3238445B1 (en) Interactive binocular video display
CN106803966B (zh) 一种多人网络直播方法、装置及其电子设备
CN206524898U (zh) 全景图像拍摄装置以及图像处理系统
CN108495048B (zh) 基于云台控制的双摄像头图像采集设备
CN106791906B (zh) 一种多人网络直播方法、装置及其电子设备
CN106550239A (zh) 360度全景视频直播系统及其实现方法
WO2014162324A1 (en) Spherical omnidirectional video-shooting system
WO2018103233A1 (zh) 基于虚拟现实技术的观景方法、装置及系统
CN108650494B (zh) 基于语音控制的可即时获取高清照片的直播系统
CN108347556A (zh) 全景图像拍摄方法、全景图像显示方法、全景图像拍摄装置以及全景图像显示装置
US20230237747A1 (en) Registration for augmented reality system for viewing an event
US20220295040A1 (en) Augmented reality system with remote presentation including 3d graphics extending beyond frame
CN108347557A (zh) 全景图像拍摄装置、显示装置、拍摄方法以及显示方法
CN107241613A (zh) 体育场馆赛况多角度直播系统
CN106873933B (zh) 显示方法及电子设备
WO2014094537A1 (zh) 沉浸通信客户端、服务器及获取内容视图的方法
US20230118280A1 (en) Use of multiple registrations for augmented reality system for viewing an event
CN206533440U (zh) 应用于全景图像拍摄装置的摄像模块、全景图像拍摄装置以及图像处理系统
US20220295032A1 (en) Augmented reality system for remote presentation for viewing an event
US20220295141A1 (en) Remote presentation with augmented reality content synchronized with separately displayed video content
US20210258505A1 (en) Image processing apparatus, image processing method, and storage medium
CN207304732U (zh) 隧道型全景视频采集、分发及定位跟踪系统
CN111586304A (zh) 一种基于5g及vr技术的全景摄像系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 266100 Block C 200-43, Chuangke Street, Qingdao, 306 Ningxia Road, Laoshan District, Qingdao City, Shandong Province

Applicant after: QINGDAO YISPACE TECHNOLOGY Co.,Ltd.

Address before: 150016 Heilongjiang Province, Harbin City Economic Development Zone haping Road District Dalian road and Xingkai road junction

Applicant before: HARBIN YISHE TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant