CN109618093A - 一种全景视频直播方法及系统 - Google Patents

一种全景视频直播方法及系统 Download PDF

Info

Publication number
CN109618093A
CN109618093A CN201811533082.0A CN201811533082A CN109618093A CN 109618093 A CN109618093 A CN 109618093A CN 201811533082 A CN201811533082 A CN 201811533082A CN 109618093 A CN109618093 A CN 109618093A
Authority
CN
China
Prior art keywords
zoom
image
panorama
panoramic
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811533082.0A
Other languages
English (en)
Inventor
吴金勇
董鸿奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN YUNZHOU MULTIMEDIA TECHNOLOGY Co Ltd
Original Assignee
SHENZHEN YUNZHOU MULTIMEDIA TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN YUNZHOU MULTIMEDIA TECHNOLOGY Co Ltd filed Critical SHENZHEN YUNZHOU MULTIMEDIA TECHNOLOGY Co Ltd
Priority to CN201811533082.0A priority Critical patent/CN109618093A/zh
Publication of CN109618093A publication Critical patent/CN109618093A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G06T5/80—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen

Abstract

本发明公开了一种全景视频直播方法，包括以下步骤：实时连续接收不同视角的采集图像，包括定焦图像和变焦图像；将变焦镜头指向感兴趣区域；将所有定焦图像的每一帧进行拼接缝合成全景图像；将变焦图像与所述全景图像进行匹配，记录得到的相关参数；将所述变焦图像帧与所述全景图像每一帧进行编码；推流编码数据和匹配相关参数至云平台进行存储；分发编码数据和匹配相关参数至终端；根据变焦图像与全景图像匹配相关参数，渲染全景画面与变焦画面进行播放。基于将多路定焦图像进行全景拼接缝合，再将变焦图像与拼接后的全景画面进行匹配，记录得到的相关参数的设计，实现局部变焦的全景视频直播画面的拼接缝合，局部兴趣画面清晰度显著提高。

Description

一种全景视频直播方法及系统
技术领域
本发明涉及全景视频拍摄监控和直播技术，具体地，涉及一种全景视频直播方法及系统。
背景技术
全景视频直播是直播领域一个极具发展前景的新方向，通过多路摄像头采集画面然后拼接成全景画面，可以实现从180°到720°的全景区域视频图像采集。全景视频的拼接过程要求使用的镜头是等焦镜头，否则会因采集的各路画面内容物体大小不一致而无法缝合，因此目前技术中几乎全部采用定焦镜头进行图像采集。但本技术衍生出来的问题在于采集画面清晰度固定，灵活性不足。在观看视频过程中，传统方法是通过渲染技术，将画面放大以提升观看效果，但此种放大方法属于像素插值放大，当放大分辨率超过原始分辨率的时候，视频画面清晰度无法得到有效提升。
发明内容
本发明的目的在于克服现有技术的缺陷，提供一种通过增设使用变焦镜头采集兴趣画面以弥补固定焦距导致的全景视频清晰度不足问题的局部变焦的全景视频直播方法及系统。
为实现上述目的，本发明采用以下技术方案：
一种全景视频直播方法，所述直播方法包括以下步骤：
实时连续接收不同视角的采集图像，包括定焦图像和变焦图像；
将变焦镜头指向感兴趣区域；
将所有定焦图像的每一帧进行拼接缝合成全景图像；
将变焦图像与所述全景图像进行匹配，记录得到的相关参数；
将所述变焦图像帧与所述全景图像每一帧进行编码；
推流编码数据和发送变焦图像与全景图像匹配相关参数至云平台进行存储；
分发编码数据和变焦图像与全景图像匹配相关参数至终端；
根据变焦图像与全景图像匹配相关参数，渲染全景画面与变焦画面进行播放。
其进一步技术方案为：将所有定焦图像的每一帧进行拼接缝合成全景图像的步骤，包括以下具体步骤：
对若干张视频图像，计算定焦图像Surf特征点或ORB特征点，并采用近似最近邻算法ANN进行粗匹配，得到若干匹配对及其同名点集D1；
使用随机抽样一致性算法RANSAC去除错配点，选择误差最低的一组内点作为结果；
使用f-theta模型进行畸变校正；
使用LM算法对有同名点的两幅图像优化其内外参数和畸变参数，将同名点重投影均方误差MSE作为是否为内点的判断依据；
以任一通道K为准，根据重投影误差最小化准则，使用LM算法逐一对有同名点的两幅定焦图像优化其内外参数和畸变参数，并将所述优化后的内外参数和畸变参数投影到K通道的坐标系下；
记录投影坐标和缝合线融合参数，作为全景视频拼接的模板。
其进一步技术方案为：将所述变焦图像与所述全景图像进行匹配，记录得到的相关参数的步骤，包括以下具体步骤：
固定变焦相机的焦距f-ptz，得到变焦图像，计算变焦图像的Surf特征点；
将变焦图像的Surf特征点与所述定焦图像Surf特征点进行粗匹配，得到点集D2；
将D2中同名点投影到通道K坐标系下，使用LM算法对变焦相机内外参数进行优化，得到重投影误差；
使用RANSAC算法框架去除外点，得到点集D3；
使用所述点集D3计算变焦相机的内外参数，得到所述变焦相机的视频在全景球上的投影图块；
记录所述投影图块对应于变焦相机的投影坐标；
根据使用需求成比例放大或缩小全景球，使得在播放时变焦图像与所述全景球相匹配，可以预览效果。
其进一步技术方案为：
所述方法还包括：
将变焦图像与全景图像的位置匹配信息拉流至终端；
根据全景球渲染观看模式下的清晰度，实时调节变焦相机的焦距。
其进一步技术方案为：根据使用需求成比例放大或缩小全景球，使得在播放时变焦图像与所述全景球相匹配的步骤，具体是对变焦相机的焦距f-ptz进行缩小或放大，缩小或放大的比例为等效焦距，所述等效焦距为物理焦距长度与单位像素表示的物理长度单位的比值。
其进一步技术方案为：所述根据变焦图像与全景图像匹配相关参数，渲染全景画面与变焦画面进行播放的步骤，具体是根据全景图像与变焦图像匹配的相关参数与变焦镜头的实时交接，调节全景图像的渲染大小与经过变焦之后的变焦图像实时匹配的效果至所需后进行播放。
本发明还提供了一种全景视频直播系统，包括图像采集单元、变焦指向单元、全景缝合单元、匹配拼接单元、编码传输单元、推流存储单元、分发数据单元以及渲染播放单元；
所述图像采集单元，用于实时连续接收不同视角的采集图像，包括定焦图像和变焦图像；
变焦指向单元，用于将变焦镜头指向感兴趣区域；
所述全景缝合单元，用于将所有定焦图像的每一帧进行拼接缝合成全景图像；
所述匹配拼接单元，用于将变焦图像与所述全景图像进行匹配，记录得到的相关参数；
所述编码传输单元，用于将所述变焦图像帧与所述全景图像帧每一帧进行编码；
所述推流存储单元，用于推流编码数据和发送变焦图像与全景图像匹配相关参数至云平台进行存储；
所述分发数据单元，用于分发编码数据和变焦图像与全景图像匹配相关参数至终端；
所述渲染播放单元，用于根据变焦图像与全景图像匹配相关参数，渲染全景画面与变焦画面进行播放。
其进一步技术方案为：所述全景缝合单元包括粗匹配模块、去错配点模块、校正模块、优化模块、重投影模块以及记录模块；
所述粗匹配模块，用于对若干张视频图像，计算定焦图像Surf特征点或ORB特征点，并采用近似最近邻算法ANN进行粗匹配，得到若干匹配对及其同名点集D1；
所述去错配点模块，用于使用随机抽样一致性算法RANSAC去除错配点，选择误差最低的一组内点作为结果；
所述校正模块，用于使用f-theta模型进行畸变校正；
所述优化模块，用于使用LM算法对有同名点的两幅图像优化其内外参数和畸变参数，将同名点重投影均方误差MSE作为是否为内点的判断依据；
所述重投影模块，用于以任一通道K为准，根据重投影误差最小化准则，使用LM算法逐一对有同名点的两幅定焦图像优化其内外参数和畸变参数，并将所述优化后的内外参数和畸变参数投影到K通道的坐标系下；
所述记录模块，用于记录投影坐标和缝合线融合参数，作为全景视频拼接的模板。
其进一步技术方案为：所述匹配拼接单元包括：再次粗匹配模块、再次优化模块、去除外点模块、投影模块、再次记录模块以及缩放模块；
所述再次粗匹配模块，用于将变焦图像的Surf特征点与所述定焦图像Surf特征点进行粗匹配，得到点集D2；
所述再次优化模块，用于将D2中同名点投影到通道K坐标系下，使用LM算法对变焦相机内外参数进行优化，得到重投影误差；
所述去除外点模块，用于使用RANSAC算法框架去除外点，得到点集D3；
所述投影模块，用于使用所述点集D3计算变焦相机的内外参数，得到所述变焦相机的视频在全景球上的投影图块；
所述再次记录模块，用于记录所述投影图块对应于变焦相机的投影坐标；
所述缩放模块，用于根据使用需求成比例放大或缩小全景球，使得在播放时变焦图像与所述全景球相匹配。
其进一步技术方案为：所述系统还包括信息拉流单元以及焦距调节单元；
所述信息拉流单元，用于将变焦图像与全景图像的视频流信息及位置匹配信息拉流至终端；
所述焦距调节单元，用于根据全景球渲染观看模式下的清晰度，实时调节变焦相机的焦距。
与现有技术相比的有益效果：
本发明的一种全景视频直播方法及系统，基于将采集的多路定焦图像进行全景拼接缝合，继而将采集的变焦图像与拼接后的全景画面进行匹配，记录得到的相关参数的设计，实时实现局部变焦的全景视频直播画面的拼接缝合，局部兴趣画面清晰度显著提高；同时直播中兴趣画面高清显示，其他画面可降低码率传输，达到减低网络带宽的效果；基于通过全球渲染观看模式下对变焦相机焦距实时调节的技术特征，解决了全景视频灵活性不足的问题，具有极高效率的调节响应效果，满足高速清晰全景直播的要求，具有广阔的应用前景。
为了能够更清楚地理解本发明的上述目的、特性和优点，下面结合附图和具体实施方式对本发明作进一步的详细描述。
附图说明
图1为本发明具体实施例提供的全景视频直播方法的流程图；
图2为本发明具体实施例提供的全景视频直播系统的装置的结构框图；
图3本发明具体实施例提供的全景球渲染模式下的2D剖面示意图；
具体实施方式
在下面的具体描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于此描述的其他方式来实现，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
如图1～3所示的具体实施例，本实施例提供的全景视频直播的方法，通过使用变焦相机采集兴趣画面以弥补固定焦距导致的全景视频清晰度不足的问题，具有实时调节提高直播清晰度，降低网络传输带宽的效果。适用于各种高清新闻及赛事直播场景。
如图1所示，本实施例提供的全景视频直播方法，该方法包括以下步骤：
S1、实时连续接收不同视角的采集图像，包括定焦图像和变焦图像；
S2、将变焦镜头指向感兴趣区域；
S3、将所有定焦图像的每一帧进行拼接缝合成全景图像；
S4、将变焦图像与全景图像进行匹配，记录得到的相关参数；
S5、将变焦图像与全景图像每一帧进行编码；
S6、推流编码数据和发送变焦图像与全景图像匹配相关参数至云平台进行存储；
S7、分发编码数据和变焦图像与全景图像匹配相关参数至终端。
S8、终端根据变焦图像与全景图像匹配相关参数，渲染全景画面与变焦画面进行播放。
更进一步地，在某些实施例中，上述的S3步骤，将所有定焦图像的每一帧进行拼接缝合成全景图像的步骤，包括以下具体步骤：
S31、对若干张视频图像，计算定焦图像Surf特征点或ORB特征点，并采用近似最近邻算法ANN进行粗匹配，得到若干匹配对及其同名点集D1；
S32、使用随机抽样一致性算法RANSAC去除错配点，选择误差最低的一组内点作为结果；以同名点在世界坐标系的坐标误差(即重投影点坐标)作为内外点的判断依据，选择误差最小的一组内点作为判断结果。
S33、使用f-theta模型进行畸变校正；采集端相机需要考虑径向畸变，此处使用f-theta进行校正。
S34、使用LM算法对有同名点的两幅图像优化其内外参数和畸变参数，将同名点重投影均方误差MSE作为是否为内点的判断依据；
S35、以任一通道K(定焦相机各个机位任意选取)为准，根据重投影误差最小化准则，使用LM算法逐一对有同名点的两幅定焦图像优化其内外参数和畸变参数，并将优化后的内外参数和畸变参数投影到K通道的坐标系下。得到各个通道投影到K通道的外参数(旋转R-k和平移T-k)，以及内参数和畸变参数。
S36、记录投影坐标和缝合线融合参数，作为全景视频拼接的模板。
更进一步地，在某些实施例中，上述的S4步骤，将变焦图像与全景图像进行匹配，记录得到的相关参数的步骤，包括以下具体步骤：
S41、固定变焦相机的焦距f-ptz，得到变焦图像，计算变焦图像的Surf特征点；
S42、将变焦图像的Surf特征点与定焦图像Surf特征点进行粗匹配，得到点集D2；变焦相机和定焦相机的图像在同一时间采集获取。
S43、将D2中同名点投影到通道K坐标系下，使用LM算法对变焦相机内外参数进行优化，得到重投影误差；由于除了K通道自身以外的其他通道投影到K通道的外参数都已经求出(即上述R-i和T-i)，仅有变焦相机到通道K的相机坐标系参数R-ptz和T-ptz、以及缩放参数S-ptz待求。
S44、使用RANSAC算法框架去除外点，得到点集D3；
S45、使用点集D3计算变焦相机的内外参数，得到变焦相机的视频在全景球上的投影图块；
S46、记录投影图块对应于变焦相机的投影坐标；
S47、根据使用需求成比例放大或缩小全景球，使得在播放时变焦图像与全景球相匹配。
更进一步地，上述的S47步骤，根据使用需求成比例放大或缩小全景球，使得在播放时变焦图像与全景球相匹配的步骤，具体是对变焦相机的焦距f-ptz进行缩小或放大，缩小或放大的比例为等效焦距，等效焦距为物理焦距长度与单位像素表示的物理长度单位的比值。
更进一步地，在某些实施例中，上述的方法还包括：
将变焦图像与全景图像的位置匹配信息拉流至终端；
根据全景球渲染观看模式下的清晰度，实时调节变焦相机的焦距。
在获取到变焦图像与全景画面的匹配位置相关信息，由上文可知需要基于变焦相机的焦距系数，在全景画面球形渲染观看模式下，根据焦距的变化同时插值放大或缩小全景画面，实时匹配全景画面和变焦图像的拼缝，这样就达到了对兴趣区域画面调焦，获取高清图像的目的。
如图3所示，在球形渲染模式下截取球形的一个2D剖面来说明。在3D坐标视角中，对应投影到用户屏幕视野的范围是由近平面75到远平面71构成的视景体，区域a即兴趣画面的渲染位置，当变焦相机的焦距是原始焦距的时候，全景画面74的渲染位置即为a；当对焦距进行调节时，为了使全景画面74和兴趣画面73的内容仍然匹配，则需要插值放大全景画面74，即跟随焦距的变化，全景画面74的位置在区域a和区域b直接变化。
根据变焦图像与全景图像匹配相关参数，渲染全景画面与变焦画面进行播放的步骤，具体是根据全景图像与变焦图像匹配的相关参数与变焦镜头的实时渲染图像，调节全景图像的渲染大小与经过变焦之后的变焦图像实时匹配的效果至所需后进行播放。
由于变焦相机与全景相机的外参数R和T是固定不变的，变焦相机的内参数中的中心点坐标cx和cy也不变，仅有焦距f-ptz是变化的。根据针孔模型可知，世界坐标系中的任意点P(X,Y,Z)在变焦相机的成像点(u,v)与f-ptz成正比关系。
上述比例关系如下式所示：
当f-ptz增大时，变焦相机的分辨率不变，其内容对应的世界坐标范围减小，在全景球上的图块减小，反之，图块增大。由于f-ptz变化时，变焦视频中心点C(在对应于变焦相机坐标系的Z轴上)不变，中心点周围的像点成比例变化，故而，投影到全景相机通道K的图块(由于外参数R和t不变)，也保持这个特性。
变焦相机的焦距(f-ptz)变化时，图块对应于全景画面的区域成反比例变化。为了视觉呈现不发生变焦相机视频图块的大小变化，将全景球放大或缩小，使得变焦视频图块仍然和全景视频能够对应。全景球缩放的比例scale为：
scale＝f-ptz_new/f-ptz，
当变焦相机的焦距f-ptz增大时，视野变小，对应于全景球上的图块减小，此时按照上式的比例放大全景球，使得变焦相机的视频图块与全景球仍然对应。反之，f-ptz减小时，变焦相机的视频图块增大，按上式比例缩小全景球。由于球面坐标(J,W)按照下式计算：
α＝atan2(x,y)；
β＝PI/2-acos(y/sqrt(x2+y2+z2))；
J＝scale*α；
W＝scale*β
缩放全景球不改变上式中的经度α、纬度β，仅改变scale。scale是全景使用的等效焦距(物理焦距长度/单位像素表示的物理长度单位)。这里对全景球的缩放就是将球面坐标乘以scale即可。这样即可得到一个全景画面，和一个经过变换与全景画面内容相匹配的兴趣画面。
如图2所示，本实施例还提供了一种全景视频直播系统，其包括图像采集单元1、变焦指向单元2、全景缝合单元3、匹配拼接单元4、编码传输单元5、推流存储单元6、分发数据单元7以及渲染播放单元8；
图像采集单元1，用于实时连续接收不同视角的采集图像，包括定焦图像和变焦图像；
变焦指向单元2，于将变焦镜头指向感兴趣区域；
全景缝合单元3，用于将所有定焦图像的每一帧进行拼接缝合成全景图像；
匹配拼接单元4，用于将变焦图像与全景图像进行匹配，记录得到的相关参数；
编码传输单元5，用于将变焦图像帧与全景图像每一帧进行编码；
推流存储单元6，用于推流编码数据和发送变焦图像与全景图像匹配相关参数至云平台进行存储；
分发数据单元7，用于分发编码数据和变焦图像与全景图像匹配相关参数至终端；
渲染播放单元8，用于根据变焦图像与全景图像匹配相关参数，渲染全景画面与变焦画面进行播放。
更进一步地，在某些实施例中，全景缝合单元3包括粗匹配模块、去错配点模块、校正模块、优化模块、重投影模块以及记录模块；
粗匹配模块，用于对若干张视频图像，计算定焦图像Surf特征点或ORB特征点，并采用近似最近邻算法ANN进行粗匹配，得到若干匹配对及其同名点集D1；
去错配点模块，用于使用随机抽样一致性算法RANSAC去除错配点，选择误差最低的一组内点作为结果；
校正模块，用于使用f-theta模型进行畸变校正；
优化模块，用于使用LM算法对有同名点的两幅图像优化其内外参数和畸变参数，将同名点重投影均方误差MSE作为是否为内点的判断依据；
重投影模块，用于以任一通道K为准，根据重投影误差最小化准则，使用LM算法逐一对有同名点的两幅定焦图像优化其内外参数和畸变参数，并将优化后的内外参数和畸变参数投影到K通道的坐标系下；
记录模块，用于记录投影坐标和缝合线融合参数，作为全景视频拼接的模板。
更进一步地，在某些实施例中，上述的匹配拼接单元4包括再次粗匹配模块、再次优化模块、去除外点模块、投影模块、再次记录模块以及缩放模块；
再次粗匹配模块，用于将变焦图像的Surf特征点与定焦图像Surf特征点进行粗匹配，得到点集D2；
再次优化模块，用于将D2中同名点投影到通道K坐标系下，使用LM算法对变焦相机内外参数进行优化，得到重投影误差；
去除外点模块，用于使用RANSAC算法框架去除外点，得到点集D3；
投影模块，用于使用点集D3计算变焦相机的内外参数，得到变焦相机的视频在全景球上的投影图块；
再次记录模块，用于记录投影图块对应于变焦相机的投影坐标；
缩放模块，用于根据使用需求成比例放大或缩小全景球，使得在播放时变焦图像与全景球相匹配。
更进一步地，在某些实施例中，上述的系统还包括信息拉流单元以及焦距调节单元；
信息拉流单元，用于将变焦图像与全景图像的位置匹配信息拉流至终端；
焦距调节单元，用于根据全景球渲染观看模式下的清晰度，实时调节变焦相机的焦距。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述全景视频直播系统和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
综上所述，本发明的一种全景视频直播方法及系统，基于将采集的多路定焦图像进行全景拼接缝合，继而将采集的变焦图像与拼接后的全景画面进行匹配，记录得到的相关参数的设计，实时实现局部变焦的全景视频直播画面的拼接缝合，局部兴趣画面清晰度显著提高；同时直播中兴趣画面高清显示，其他画面可降低码率传输，达到减低网络带宽的效果；基于通过全球渲染观看模式下对变焦相机焦距实时调节的技术特征，解决了全景视频灵活性不足的问题，具有极高效率的调节响应效果，满足高速清晰全景直播的要求，具有广阔的应用前景。
上述仅以实施例来进一步说明本发明的技术内容，以便于理解，但不代表本发明的实施方式仅限于此，任何依照本发明所做的技术延伸或再创造，均受本发明的保护。本发明的保护范围以权利要求书为准。

Claims (10)

1.一种全景视频直播方法，其特征在于，所述直播方法包括以下步骤：
实时连续接收不同视角的采集图像，包括定焦图像和变焦图像；
将变焦镜头指向感兴趣区域；
将所有定焦图像的每一帧进行拼接缝合成全景图像；
将变焦图像与所述全景图像进行匹配，记录得到的相关参数；
将所述变焦图像帧与所述全景图像每一帧进行编码；
推流编码数据和发送变焦图像与全景图像匹配相关参数至云平台进行存储；
分发编码数据和变焦图像与全景图像匹配相关参数至终端；
根据变焦图像与全景图像匹配相关参数，渲染全景画面与变焦画面进行播放。
2.根据权利要求1所述的全景视频直播方法，其特征在于，将所有定焦图像的每一帧进行拼接缝合成全景图像的步骤，包括以下具体步骤：
对若干张视频图像，计算定焦图像Surf特征点或ORB特征点，并采用近似最近邻算法ANN进行粗匹配，得到若干匹配对及其同名点集D1；
使用随机抽样一致性算法RANSAC去除错配点，选择误差最低的一组内点作为结果；
使用f-theta模型进行畸变校正；
使用LM算法对有同名点的两幅图像优化其内外参数和畸变参数，将同名点重投影均方误差MSE作为是否为内点的判断依据；
以任一通道K为准，根据重投影误差最小化准则，使用LM算法逐一对有同名点的两幅定焦图像优化其内外参数和畸变参数，并将所述优化后的内外参数和畸变参数投影到K通道的坐标系下；
记录投影坐标和缝合线融合参数，作为全景视频拼接的模板。
3.根据权利要求2所述的全景视频直播方法，其特征在于，将所述变焦图像与所述全景图像进行匹配，记录得到的相关参数的步骤，包括以下具体步骤：
固定变焦相机的焦距f-ptz，得到变焦图像，计算变焦图像的Surf特征点；
将变焦图像的Surf特征点与所述定焦图像Surf特征点进行粗匹配，得到点集D2；
将D2中同名点投影到通道K坐标系下，使用LM算法对变焦相机内外参数进行优化，得到重投影误差；
使用RANSAC算法框架去除外点，得到点集D3；
使用所述点集D3计算变焦相机的内外参数，得到所述变焦相机的视频在全景球上的投影图块；
记录所述投影图块对应于变焦相机的投影坐标；
根据使用需求成比例放大或缩小全景球，使得在播放时变焦图像与所述全景球相匹配。
4.根据权利要求3所述的全景视频直播方法，其特征在于，根据使用需求成比例放大或缩小全景球，使得在播放时变焦图像与所述全景球相匹配的步骤，具体是对变焦相机的焦距f-ptz进行缩小或放大，缩小或放大的比例为等效焦距，所述等效焦距为物理焦距长度与单位像素表示的物理长度单位的比值。
5.根据权利要求3所述的全景视频直播方法，其特征在于，所述方法还包括：
将变焦图像与全景图像的位置匹配信息拉流至终端；
根据全景球渲染观看模式下的清晰度，实时调节变焦相机的焦距。
6.根据权利要求5所述的全景视频直播方法，其特征在于，所述根据变焦图像与全景图像匹配相关参数，渲染全景画面与变焦画面进行播放的步骤，具体是根据全景图像与变价图像匹配的相关参数与变焦镜头的实时交接，调节全景图像的渲染大小与经过变焦之后的变焦图像实时匹配的效果至所需后进行播放。
7.一种全景视频直播系统，其特征在于，包括图像采集单元、变焦指向单元、全景缝合单元、匹配拼接单元、编码传输单元、推流存储单元、分发数据单元以及渲染播放单元；
所述图像采集单元，用于实时连续接收不同视角的采集图像，包括定焦图像和变焦图像；
变焦指向单元，用于将变焦镜头指向感兴趣区域；
所述全景缝合单元，用于将所有定焦图像的每一帧进行拼接缝合成全景图像；
所述匹配拼接单元，用于将变焦图像与所述全景图像进行匹配，记录得到的相关参数；
所述编码传输单元，用于将所述变焦图像帧与所述全景图像每一帧进行编码；
所述推流存储单元，用于推流编码数据和发送变焦图像与全景图像匹配相关参数至云平台进行存储；
所述分发数据单元，用于分发编码数据和变焦图像与全景图像匹配相关参数至终端；
所述渲染播放单元，用于根据变焦图像与全景图像匹配相关参数，渲染全景画面与变焦画面进行播放。
8.根据权利要求7所述的全景视频直播系统，其特征在于，所述全景缝合单元包括粗匹配模块、去错配点模块、校正模块、优化模块、重投影模块以及记录模块；
所述粗匹配模块，用于对若干张视频图像，计算定焦图像Surf特征点或ORB特征点，并采用近似最近邻算法ANN进行粗匹配，得到若干匹配对及其同名点集D1；
所述去错配点模块，用于使用随机抽样一致性算法RANSAC去除错配点，选择误差最低的一组内点作为结果；
所述校正模块，用于使用f-theta模型进行畸变校正；
所述优化模块，用于使用LM算法对有同名点的两幅图像优化其内外参数和畸变参数，将同名点重投影均方误差MSE作为是否为内点的判断依据；
所述重投影模块，用于以任一通道K为准，根据重投影误差最小化准则，使用LM算法逐一对有同名点的两幅定焦图像优化其内外参数和畸变参数，并将所述优化后的内外参数和畸变参数投影到K通道的坐标系下；
所述记录模块，用于记录投影坐标和缝合线融合参数，作为全景视频拼接的模板。
9.根据权利要求8所述的全景视频直播系统，其特征在于，所述匹配拼接单元包括：再次粗匹配模块、再次优化模块、去除外点模块、投影模块、再次记录模块以及缩放模块；
所述再次粗匹配模块，用于将变焦图像的Surf特征点与所述定焦图像Surf特征点进行粗匹配，得到点集D2；
所述再次优化模块，用于将D2中同名点投影到通道K坐标系下，使用LM算法对变焦相机内外参数进行优化，得到重投影误差；
所述去除外点模块，用于使用RANSAC算法框架去除外点，得到点集D3；
所述投影模块，用于使用所述点集D3计算变焦相机的内外参数，得到所述变焦相机的视频在全景球上的投影图块；
所述再次记录模块，用于记录所述投影图块对应于变焦相机的投影坐标；
所述缩放模块，用于根据使用需求成比例放大或缩小全景球，使得在播放时变焦图像与所述全景球相匹配。
10.根据权利要求9所述的全景视频直播系统，其特征在于，所述系统还包括信息拉流单元以及焦距调节单元；
所述信息拉流单元，用于将变焦图像与全景图像的视频流及位置匹配信息拉流至终端；
所述焦距调节单元，用于根据全景球渲染观看模式下的清晰度，实时调节变焦相机的焦距。
CN201811533082.0A 2018-12-14 2018-12-14 一种全景视频直播方法及系统 Pending CN109618093A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811533082.0A CN109618093A (zh) 2018-12-14 2018-12-14 一种全景视频直播方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811533082.0A CN109618093A (zh) 2018-12-14 2018-12-14 一种全景视频直播方法及系统

Publications (1)

Publication Number Publication Date
CN109618093A true CN109618093A (zh) 2019-04-12

Family

ID=66009359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811533082.0A Pending CN109618093A (zh) 2018-12-14 2018-12-14 一种全景视频直播方法及系统

Country Status (1)

Country Link
CN (1) CN109618093A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110412751A (zh) * 2019-06-17 2019-11-05 西安电子科技大学 基于球透镜的大视场分区域多级侦测红外成像系统
CN110969576A (zh) * 2019-11-13 2020-04-07 同济大学 一种基于路侧ptz相机的高速公路路面图像拼接方法
CN112118213A (zh) * 2019-06-21 2020-12-22 广州虎牙科技有限公司 一种线上的视频数据输出方法、系统及云平台
CN113115106A (zh) * 2021-03-31 2021-07-13 影石创新科技股份有限公司 全景视频的自动剪辑方法、装置、终端及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103108171A (zh) * 2013-02-28 2013-05-15 深圳市云宙多媒体技术有限公司 一种视频监控系统及数据的传输方法
CN105959575A (zh) * 2016-07-08 2016-09-21 成都易瞳科技有限公司 一种可变焦全景摄像机
US9521321B1 (en) * 2015-02-11 2016-12-13 360 Lab Llc. Enabling manually triggered multiple field of view image capture within a surround image mode for multi-lens mobile devices
CN107948505A (zh) * 2017-11-14 2018-04-20 维沃移动通信有限公司 一种全景拍摄方法及移动终端
CN108259743A (zh) * 2018-01-15 2018-07-06 维沃移动通信有限公司 全景图像拍摄方法及电子设备
CN108513057A (zh) * 2017-02-28 2018-09-07 深圳市掌网科技股份有限公司 图像处理方法及装置
CN108876723A (zh) * 2018-06-25 2018-11-23 大连海事大学 一种灰度目标图像的彩色背景的构建方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103108171A (zh) * 2013-02-28 2013-05-15 深圳市云宙多媒体技术有限公司 一种视频监控系统及数据的传输方法
US9521321B1 (en) * 2015-02-11 2016-12-13 360 Lab Llc. Enabling manually triggered multiple field of view image capture within a surround image mode for multi-lens mobile devices
CN105959575A (zh) * 2016-07-08 2016-09-21 成都易瞳科技有限公司 一种可变焦全景摄像机
CN108513057A (zh) * 2017-02-28 2018-09-07 深圳市掌网科技股份有限公司 图像处理方法及装置
CN107948505A (zh) * 2017-11-14 2018-04-20 维沃移动通信有限公司 一种全景拍摄方法及移动终端
CN108259743A (zh) * 2018-01-15 2018-07-06 维沃移动通信有限公司 全景图像拍摄方法及电子设备
CN108876723A (zh) * 2018-06-25 2018-11-23 大连海事大学 一种灰度目标图像的彩色背景的构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨红喆: ""基于特征点的全景图生成技术的研究"", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110412751A (zh) * 2019-06-17 2019-11-05 西安电子科技大学 基于球透镜的大视场分区域多级侦测红外成像系统
CN112118213A (zh) * 2019-06-21 2020-12-22 广州虎牙科技有限公司 一种线上的视频数据输出方法、系统及云平台
CN112118213B (zh) * 2019-06-21 2021-10-22 广州虎牙科技有限公司 一种线上的视频数据输出方法、系统及云平台
CN110969576A (zh) * 2019-11-13 2020-04-07 同济大学 一种基于路侧ptz相机的高速公路路面图像拼接方法
CN110969576B (zh) * 2019-11-13 2021-09-03 同济大学 一种基于路侧ptz相机的高速公路路面图像拼接方法
CN113115106A (zh) * 2021-03-31 2021-07-13 影石创新科技股份有限公司 全景视频的自动剪辑方法、装置、终端及存储介质
CN113115106B (zh) * 2021-03-31 2023-05-05 影石创新科技股份有限公司 全景视频的自动剪辑方法、装置、终端及存储介质

Similar Documents

Publication Publication Date Title
CN109618093A (zh) 一种全景视频直播方法及系统
US9838668B2 (en) Systems and methods for transferring a clip of video data to a user facility
WO2021093584A1 (zh) 基于深度卷积神经网络的自由视点视频生成及交互方法
JP6432029B2 (ja) 低コストでテレビ番組を制作する方法及びシステム
CN204761606U (zh) 通过无线通信频道提供即时图像的系统及全景视频采集装置
CN201523430U (zh) 一种全景视频监控系统
CN105072314A (zh) 一种可自动跟踪目标的虚拟演播室实现方法
US20060244831A1 (en) System and method for supplying and receiving a custom image
CN107240147B (zh) 图像渲染方法及系统
CN106878764A (zh) 一种虚拟现实的直播方法、系统及其用途
JP2013514004A (ja) 近位および遠位に焦点が合わされた画像を用いた３次元記録表示システム
CN104902263A (zh) 一种图像信息展现系统和方法
CN107426491B (zh) 一种360度全景视频的实现方法
CN111669564B (zh) 图像重建方法、系统、设备及计算机可读存储介质
CN105635675A (zh) 一种全景播放方法和装置
CN105898139A (zh) 全景视频制作方法及装置、全景视频播放方法及装置
CN109587401A (zh) 电子云台多场景拍摄实现方法及系统
CN109428987A (zh) 一种头戴式全景360度立体摄像装置及摄像处理方法
CN107835435B (zh) 一种赛事宽视角直播设备和相关联的直播系统和方法
KR20200064998A (ko) 재생 장치 및 방법, 그리고 생성 장치 및 방법
Tang et al. A universal optical flow based real-time low-latency omnidirectional stereo video system
CN111083368A (zh) 一种基于云端的模拟物理云台全景视频展示系统
CN113038117B (zh) 一种基于多视角的全景播放方法与装置
CN112533005B (zh) 一种vr视频慢直播的交互方法及系统
CN109756683A (zh) 全景音视频录制方法、装置、存储介质和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20211001