CN108769755A - 高分辨率全景视频直播拍照系统与方法 - Google Patents

高分辨率全景视频直播拍照系统与方法 Download PDF

Info

Publication number
CN108769755A
CN108769755A CN201810391854.5A CN201810391854A CN108769755A CN 108769755 A CN108769755 A CN 108769755A CN 201810391854 A CN201810391854 A CN 201810391854A CN 108769755 A CN108769755 A CN 108769755A
Authority
CN
China
Prior art keywords
module
user
video
storage unit
user equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810391854.5A
Other languages
English (en)
Inventor
熊炜
王传胜
管来福
刘敏
刘聪
王娟
金靖熠
熊子婕
童磊
冯川
贾锈闳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN201810391854.5A priority Critical patent/CN108769755A/zh
Publication of CN108769755A publication Critical patent/CN108769755A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808Management of client data
    • H04N21/25816Management of client data involving client authentication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明属于图像视频处理、信息处理与全景直播技术领域,具体涉及高分辨率全景视频直播拍照系统及方法,所述系统包括图像采集模块、流媒体服务器模块和用户终端模块,所述图像采集模块包括图像采集设备和第一传输模块;所述流媒体服务器模块包括处理模块、存储模块和第二传输模块;所述处理模块包括实时拼接单元、视频编码单元和拍照处理单元;所述存储模块包括存储单元a、存储单元b和存储单元c;所述用户终端模块包括至少一个用户设备,每个用户设备包括显示模块、用户交互模块和第三传输模块。本发明提供的高分辨率全景视频直播拍照系统与方法,能够有效地构建虚拟现实所需要的视频信息并将其传递到用户端显示。

Description

高分辨率全景视频直播拍照系统与方法
技术领域
本发明属于图像视频处理、信息处理与全景直播技术领域,特别是涉及一种高分辨率全景视频直播拍照系统与方法。
背景技术
在当今时代,视频直播逐渐进入了大众视野,纵观视频直播的发展历程,是在视频点播的基础上衍生而来的,由互联网以及流媒体技术进行直播,从而能够实时、全面地传播视频内容。视频直播通过真实、生动的画面传播,营造出强烈的现场感,达到印象深刻、记忆持久的传播效果,能够真实、直观、全面的宣传、展示自己一个完整的流媒体平台,在早期的视频播放时,视频内容的可视区域因拍摄等原因,如:摄像机镜头的取景角度、范围,导致其为固定不动,用户只能观看到当前的区域,视频画面只能跟随镜头移动而发生改变,用户观看无立体感,更不能有身临其境的感觉。
随着全景视频技术的不断发展,出现了360度全景视频,能够让用户全方位的360度自由选择其角度进行观看,如上下左右前后、远近距离观看。通常是通过多个摄像机同时对同一个空间下的物体进行多个角度的拍摄来实现,在播放端允许用户在无需暂停视频播放的情况下,自由切换观看角度;全景视频具有立体感和真实感,能够很好地提供视觉体验;能够实现身临其境的体验。
随着人们需求的不断提高,图像视频记录成为人们一种新的留念方式,所以人们希望在观看视频直播时不但可以看到真实、全面、直观的视频,还可以实时地获取高质量图像以留存或与亲朋好友分享。那么如何快速有效地构建虚拟现实所需要的图像信息并将其传递到客户端显示,提高用户体验的真实感和舒适感,将成为一个待解决的问题。
发明内容
为了克服上述现有技术存在的不足,本发明的目的在于提出一种高分辨率全景视频直播拍照系统与方法,有效地构建虚拟现实所需要的视频信息并将其传递到用户端显示。
为了达到上述目的,本发明所采用的技术方案是:
高分辨率全景视频直播拍照系统,其特征在于,包括图像采集模块、流媒体服务器模块和用户终端模块,所述图像采集模块包括图像采集设备和第一传输模块;所述流媒体服务器模块包括处理模块、存储模块和第二传输模块;所述处理模块包括实时拼接单元、视频编码单元和拍照处理单元;所述存储模块包括存储单元a、存储单元b和存储单元c;所述用户终端模块包括至少一个用户设备,每个用户设备包括显示模块、用户交互模块和第三传输模块;其中:
所述图像采集设备,用于采集视频图像数据;
所述第一传输模块,用于将采集的图像数据传输给流媒体服务器模块;
所述实时拼接单元,用于实时拼接采集的图像数据;
所述视频编码单元,用于将拼接后的全景图像数据进行压缩编码成视频流,并将视频流按照视频传输协议进行超清分辨率格式封装并且分发;
所述拍照处理单元,用于处理用户终端模块的拍照请求;
所述存储单元a,用于存储全景图像数据;
所述存储单元b,用于存储索引文件和视频流;
所述存储单元c:用于存储用户终端模块请求拍照的图像;
所述第二传输模块,用于流媒体服务器模块和图像采集模块、用户终端模块之间的通信;
所述显示模块,用于显示全景图像或超清视频流;
所述用户交互模块,用于发送观看视频、拍照、预览、下载请求;
所述第三传输模块,用于用户终端模块和流媒体服务器模块之间的通信。
进一步地,所述流媒体服务器模块还包括用户管理模块,用于接收来自每个用户设备的身份认证请求,并基于该身份认证请求对对应的用户设备进行身份认证,在认证成功后向该对应的用户设备发送认证成功信息以与该用户设备建立连接。
进一步地,所述用户设备还包括用户接入模块,用于向流媒体服务器模块发送身份认证请求,并在接收到来自流媒体服务器模块的认证成功信息后与流媒体服务器模块建立数据连接。
进一步地,所述用户设备为智能手机、笔记本电脑、平板电脑或头戴式VR设备。
进一步地,所述流媒体服务器模块接收到全景图像数据首先进入实时拼接单元进行全景拼接,并将拼接后的全景图像数据存储在存储单元a中,同时通过视频编码单元将拼接后的全景数据进行压缩编码,压缩成超清分辨率的视频流,并将压缩的视频流按照视频传输协议进行格式封装并且分发;用户能通过不同设备上对应的播放器实时解码流媒体服务器模块分过来的视频数据,选择用户交互模块中的观看直播键进行实时的全景视频观看,用户在观看全景视频直播时还能选择用户交互模块中的拍照键进行实时拍照,以获取高分辨率图像,在显示模块中显示。
本发明还提供高分辨率全景视频直播拍照方法,在采用如上所述高分辨率全景视频直播拍照系统上实现,其特征在于,所述方法包括以下步骤:
步骤一、通过图像采集设备采集图像数据,第一传输模块将采集的图像数据传输给流媒体服务器模块;
步骤二、第二传输模块接收到采集的图像数据,实时拼接单元将采集的图像数据实时拼接,并将拼接后的全景图像数据存储到存储单元a;
步骤三、拍照单元会根据时间信息生成全景视频数据索引文件,并建立索引文件和原始全景图像数据的映射关系,并根据映射关系保存索引文件至存储单元b,视频编码单元将拼接后的全景图像数据进行压缩编码成超清视频流,并将视频流按照视频传输协议进行格式封存,存储至存储单元b,同时通过第二传输模块传输给用户终端模块;
步骤四、第三传输模块接收到视频流,在用户交互模块中发起观看指令,在显示模块中播放,在用户交互模块中发起请求拍照指令,请求拍照指令中包含实时拍照的视频帧数据和用户设备的姿态信息,视频帧数据包括图像序列的标识和时间标识的位置,第三传输模块把传输模块把请求拍照指令传输给第二传输模块;
步骤五、第二传输模块接收到请求拍照指令,拍照处理单元首先会根据拍照指令中发送的视频帧数据及已有的映射关系索引查找存储单元a中原始全景图像,然后根据用户设备的姿态信息在原始全景图像中用一种方法截取对应姿态信息的高分辨率图片,将截图保存至存储单元c;
步骤六、用户在显示模块中预览查看,如果用户满意,通过点击下载,保存至用户设备的本地相册;如果用户不满意,则不需要下载直接返回直播中。
进一步地,所述步骤五中截取对应姿态信息的高分辨率图片,包括以下步骤:
步骤5.1、将原始全景图像即是平面矩形图片重新映射到一个球面上,以平面矩形图片的侧边作为球面半圆弧生成对应的全景映射球面,并将平面矩形图片贴图到全景映射球面上;
步骤5.2、根据用户设备的姿态信息确定用户视野的角度范围;根据用户视野的角度范围在全景映射球面上查找待裁剪球面图形;
步骤5.3、将已裁剪球面图形映射成目标矩形图片;目标矩形图片的尺寸为预设值,所述预设值根据经验值设定,或者根据用户设备发送的拍照指令中包含的屏幕尺寸参数来设定。
进一步地,所述姿态信息可以由用户通过触屏操作的方式来设置,在这种情况下可以通过触屏模块同时实现用户交互模块C12和显示模块C11的功能;也可以在用户交互模块C12中集成姿态传感器模块,可以是陀螺仪、加速度计或电子罗盘,以此来获取用户设备的当前姿态信息。
与现有技术相比,本发明的有益效果是:本发明的高分辨率全景视频拍照系统,通过图像采集模块获得图像数据,传输给流媒体服务器模块,流媒体服务器模块将图像数据进行拼接,然后进行压缩编码,压缩成高分辨率的视频流,并将压缩的视频流按照视频传输协议进行格式封装并且分发和存储,当用户终端模块的用户设备发送给流媒体服务器模块拍照请求时,流媒体服务器模块进行处理,再把请求拍照的图像传输给用户设备,在用户设备显示。用户在使用该系统观看高分辨率全景视频时,通过发送包含视频帧数据和姿态信息的拍照指令来实现实时获取高分辨率图像,提高用户VR体验视觉的真实感,实现了构建虚拟现实所需要的图像信息并将其传递到客户端并显示的功能。
附图说明
图1是本发明的高分辨率全景视频直播拍照系统结构图。
图中:A图像采集模块、A1图像采集设备、A2第一传输模块、B流媒体服务器模块、B1处理模块、B11实时拼接单元、B12视频编码单元、B13拍照处理单元、B2存储模块、B21存储单元a、B22存储单元b、B23存储单元c、B3第二传输模块、C用户终端模块、C1用户设备、C11显示模块、C12用户交互模块、C13第三传输模块。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
具体实例一
一种高分辨率全景视频直播拍照系统,如图1所示,包括图像采集模块A、流媒体服务器模块B和用户终端C,所述图像采集模块A包括图像采集模块A1和第一传输模块A2;所述流媒体服务器模块B包括处理模块B1、存储模块B2和第二传输模块B3;所述的处理模块B1包括实时拼接单元B11、视频编码单元B12和拍照处理单元B13;所述存储模块B2包括存储单元aB21、存储单元bB22和存储单元cB23;用户终端模块C包括至少一个用户设备,每个用户设备包括显示模块C11、用户交互模块C12和第三传输模块C13。
所述的高分辨率全景视频直播拍照系统,所述的:
图像采集设备A1:用于采集图像数据;
第一传输模块A2:用户将采集的图像数据传输给流媒体服务器模块B;
实时拼接单元B11:用于实时拼接采集的图像数据;
视频编码单元B12:用于将拼接后的全景图像数据进行压缩编码成视频流,并将视频流按照视频传输协议格式封装并且分发;
拍照处理单元B13:用于处理用户终端模块C请求拍照的指令;
存储单元aB21:用于存储全景图像数据;
存储单元bB22:用于存储索引文件和视频流;
存储单元cB23:用于存储用户终端模块C请求拍照的图像;
第二传输模块B3:用于流媒体服务器模块B和图像采集模块A、用户终端模块C之间的通信;
显示模块C11:用于显示全景图像或视频流;
用户交互模块C12:用于发送观看视频、拍照、预览、下载请求;
第三传输模块C13:用于用户终端模块C和流媒体服务器B之间的通信。
所述的高分辨率全景视频直播拍照系统,所述的流媒体服务器模块B还包括用户管理模块,用于接收来自每个用户设备的身份认证请求,并基于该身份认证请求对对应的用户设备进行身份认证,在认证成功后向该对应的用户设备发送认证成功信息以与该用户设备建立数据连接。
所述高分辨率全景直播拍照系统,所述的用户设备还包括用户接入模块,用于向流媒体服务器模块B发送身份认证请求,并在接收带来自流媒体服务器模块B的认证成功信息后与流媒体服务器B建立数据连接。
工作过程:图像采集模块A包含图像采集设备A1和第一传输模块A2,用于采集其视野内全景图像数据,并将采集到的全景图像数据通第一传输模块A2传输给流媒体服务器B。
流媒体服务器模块B包含处理模块B1、存储模块B2和第二传输模块B3;其中处理模块B1包含实时拼接单元B11、视频编码单元B12和拍照处理单元B13;存储模块B2包含存储单元aB21、存储单元bB22和存储单元cB23.第二传输模块B3用于流媒体服务器模块B、图像采集模块A和用户终端模块C的通信。
其中,实时拼接单元B11用于实时拼接采集到的全景图像数据,并将拼接后的全景图像数据存储在存储单元aB21中;视频编码单元B12用于将拼接后的全景图像数据进行压缩编码,压缩成超清分辨率的视频流,并将压缩的视频流按照视频传输协议进行格式封装并且分发;拍照处理单元B13用于处理用户终端模块C请求拍照的指令;存储单元bB22用于存储索引文件和全景视频数据;存储单元cB23用于存储用户终端模块C请求拍照的图像。
用户终端模块C包括一个或多个用户设备,每个用户设备包含显示模块C11、用户交互模块C12和第三传输模块C13。显示模块C11用于显示全景视频/图像;用户交互模块C12用于发送观看视频、拍照、预览、下载等请求;第三传输模块C13用于用户终端模块C和流媒体服务器模块B的通信。其中,用户设备可以是智能手机、笔记本电脑、平板电脑、头戴式VR系统等终端设备。
流媒体服务器模块B还包括用户管理模块,而一个或多个用户设备中的每个用户设备还包括用户接入模块。其中,用户管理模块用于接收来自每个用户设备的身份认证请求,并基于该身份认证请求对对应的用户设备进行身份认证,在认证成功后向该对应的用户设备发送认证成功信息以与该用户设备建立数据连接;每个用户设备的用户接入模块用于向流媒体服务器模块B发送身份认证请求,并在接收到来自流媒体服务器模块B的认证成功信息后与流媒体服务器模块B建立数据连接。
流媒体服务器模块B接收到全景图像数据首先进入实时拼接单元B11进行全景拼接,并将拼接后的全景图像数据存储在存储单元aB21中,同时通过视频编码单元B12将拼接后的全景数据进行压缩编码,压缩成超清分辨率的视频流,并将压缩的视频流按照视频传输协议进行格式封装并且分发;用户可以通过不同设备上对应的播放器实时解码流媒体服务器模块分过来的视频数据,选择用户交互模块C12中的观看直播键进行实时的全景视频观看。用户在观看全景视频直播时可以选择用户交互模块C12中的拍照键进行实时拍照,以获取高分辨率图像,在显示模块C11中显示。
具体实施例二
一种在所述高分辨率全景视频直播拍照系统上实现的高分辨率全景视频直播拍照方法,包括以下步骤:
步骤一、通过图像采集设备A1采集图像数据第一传输模块A2将采集的图像数据传输给流媒体服务器模块B;
步骤二、第二传输模块B3接收到采集的图像数据,实时拼接单元B11将采集的图像数据实时拼接,并将拼接后的全景图像数据存储到存储单元aB21;
步骤三、拍照处理单元B13会根据时间信息生成全景视频数据索引文件,并建立索引文件和原始全景图像数据的映射关系,并根据映射关系保存索引文件至存储单元bB22,视频编码单元B12将拼接后的全景图像数据进行压缩编码成视频流,并将视频流按照视频传输协议进行格式封存,存储至存储单元bB22,同时通过第二传输模块B3传输给用户终端模块C;
步骤四、第三传输模块C13接收到视频流,在用户交互模块C12中发起观看指令,在显示子模块C11中播放,在用户交互模块C12中发起请求拍照指令,请求拍照指令中包含实时拍照的视频帧数据和用户设备的姿态信息,视频帧数据包括图像序列的标识和时间标记的位置,第三传输模块C13把请求拍照指令传输给第二传输模块B3;
步骤五、第二传输模块B3接收到请求拍照指令,拍照处理单元B13首先会根据拍照指令中发送的视频帧数据及已有的映射关系索引查找存储单元aB21中原始全景图像,然后根据用户设备的姿态信息在原始全景图像中用一种方法截取对应姿态信息的高分辨率图片,将截图保存至存储单元cB23;
步骤六、用户在显示模块C11中预览查看,如果用户满意,通过点击下载,保存至用户设备的本地相册;如果用户不满意,则不需要下载直接返回直播中。
所述的一种高分辨率全景视频直播拍照方法,步骤五所述截取对应姿态信息的高分辨率图片,包括以下步骤:
步骤5.1、将原始全景图像既是平面矩形图片重新映射到一个球面上,以平面矩形图片的侧边作为球面半圆弧生成对应的全景映射球面,并将平面矩形图片贴图到全景映射球面上;
步骤5.2、根据用户设备的姿态信息确定用户视野的角度范围;根据用户视野的角度范围在全景映射球面上查找待裁剪球面图形;
步骤5.3、将已裁剪球面图形映射成目标矩形图片;目标矩形图片的尺寸为预设值,所述预设值根据经验值设定,或者根据用户设备发送的拍照指令中包含的屏幕尺寸参数来设定。
图像采集模块A包含图像采集设备A1和第一传输模块A2,通过图像采集设备A1采集其视野内全景图像数据,第一传输模块A2将采集全景图像数据传输给流媒体服务器模块B;
流媒体服务器模块B包含处理模块B1、存储模块B2和第二传输模块B3;其中处理模块B1包含实时拼接单元B11、视频编码单元B12和拍照处理单元B13;存储模块B2包含存储单元aB21、存储单元bB22和存储单元cB23。第二传输模块B3接收到采集的图像数据,实时拼接单元B11将采集的图像数据实时拼接,并将拼接后的全景图像数据存储至存储子单元aB21;拍照处理单元B13会根据时间标识信息生成全景视频数据索引文件,并建立索引文件和原始全景图像数据的映射关系,并根据映射关系保存索引文件至存储单元bB22,视频编码单元B12将拼接活动全景图像数据进行压缩编码成视频流,并将视频流按照视频传输协议进行格式封装,存储至存储单元bB22,同时通过第二传输模块B3传输给用户终端模块C;
流媒体服务器模块B还包括用户管理模块,而一个或多个用户设备中的每个用户设备还包括用户接入模块。其中,用户管理模块用于接收来自每个用户设备的身份认证请求,并基于该身份认证请求对对应的用户设备进行身份认证,在认证成功后向该对应的用户设备发送认证成功信息以与该用户设备建立数据连接;每个用户设备的用户接入模块用于向流媒体服务器模块B发送身份认证请求,并在接收来自流媒体服务器模块B的认证成功信息后与流媒体服务器模块B建立数据连接。
用户终端模块C包括一个或多个用户设备,每个用户设备包含显示模块C11、用户交互模块C12和第三传输模块C13。显示模块C11用于显示全景视频/图像;用户交互模块C12用于发送观看视频、拍照、预览、下载等请求;第三传输模块C13用于用户终端模块C和流媒体服务器模块B的通信。其中,用户设备可以是智能手机、笔记本电脑、平板电脑或者头戴式VR系统等终端设备。
第三传输模块C13接收到视频流,在用户交互模块C12中发起观看指令,在显示模块C11中播放,用户可以通过不同设备上对应的播放器实时解码流媒体服务器模块分发过来的视频数据,选择用户交互模块C12中观看直播键进行实时的全景视频观看,用户直接进入超清分辨率的观看模式。用户在观看全景视频直播时可以选择用户交互模块C12中的拍照键进行实时拍照,以获取高分辨率的图像。用户终端模块C发送的拍照指令中包含实时拍照的视频帧数据和用户设备的姿态信息;视频帧数据包括图像序列的标识和时间戳的位置;姿态信息可以由用户通过触屏操作的方式来设置,在这种情况下可以通过触屏模块同时实现用户交互模块C12和显示模块C11的功能;也可以在用户交互模块C12中集成陀螺仪、加速度计、电子罗盘等姿态传感器模块,以此来获取用户设备的当前姿态信息。第三传输模块C13把请求拍照指令传输给第二传输模块B3。
第二传输模块B3接收到请求拍照指令,拍照处理单元B13首先会根据拍照指令中发送的视频帧数据及已有的映射关系索引查找存储单元aB21中的原始全景图像,然后根据用户设备的姿态信息在原始全景图像中用一种方法截取对应姿态信息的高分辨率图片,将截取的图片保存至存储单元cB23;用户显示模块C11中预览查看,如果用户满意,通过点击下载,保存至用户设备的本地相册;如果用户不满意,则不需要下载直接返回直播中。
拍照处理单元B13中所述截取对应姿态信息的高分辨率图片的方法如下:
将该原始全景图像(平面矩形图片)重新映射到一个球面上,即以平面矩形图片的侧边作为球面半圆弧生成对应的全景映射球面,并将平面矩形图片贴图到全景映射球面上;根据用户设备的姿态信息确定用户视野的角度范围;根据用户视野的角度范围在全景映射球面上查找待裁剪球面图形;将该已裁剪球面图形映射成目标矩形图片;该目标矩形图片的尺寸为预设值,该预设值可以根据经验值设定,或者可以根据用户设备发送的拍照指令中包含的屏幕尺寸参数来设定。最后将该分辨率目标矩形图片保存到存储单元cB23中该用户对应的账号下,以用于用户最终的预览和下载。
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。

Claims (8)

1.高分辨率全景视频直播拍照系统,其特征在于,包括图像采集模块、流媒体服务器模块和用户终端模块,所述图像采集模块包括图像采集设备和第一传输模块;所述流媒体服务器模块包括处理模块、存储模块和第二传输模块;所述处理模块包括实时拼接单元、视频编码单元和拍照处理单元;所述存储模块包括存储单元a、存储单元b和存储单元c;所述用户终端模块包括至少一个用户设备,每个用户设备包括显示模块、用户交互模块和第三传输模块;其中:
所述图像采集设备,用于采集视频图像数据;
所述第一传输模块,用于将采集的图像数据传输给流媒体服务器模块;
所述实时拼接单元,用于实时拼接采集的图像数据;
所述视频编码单元,用于将拼接后的全景图像数据进行压缩编码成视频流,并将视频流按照视频传输协议进行超清分辨率格式封装并且分发;
所述拍照处理单元,用于处理用户终端模块的拍照请求;
所述存储单元a,用于存储全景图像数据;
所述存储单元b,用于存储索引文件和视频流;
所述存储单元c:用于存储用户终端模块请求拍照的图像;
所述第二传输模块,用于流媒体服务器模块和图像采集模块、用户终端模块之间的通信;
所述显示模块,用于显示全景图像或超清视频流;
所述用户交互模块,用于发送观看视频、拍照、预览、下载请求;
所述第三传输模块,用于用户终端模块和流媒体服务器模块之间的通信。
2.根据权利要求1所述的高分辨率全景视频直播拍照系统,其特征在于,所述流媒体服务器模块还包括用户管理模块,用于接收来自每个用户设备的身份认证请求,并基于该身份认证请求对对应的用户设备进行身份认证,在认证成功后向该对应的用户设备发送认证成功信息以与该用户设备建立连接。
3.根据权利要求2所述的高分辨率全景视频直播拍照系统,其特征在于,所述用户设备还包括用户接入模块,用于向流媒体服务器模块发送身份认证请求,并在接收到来自流媒体服务器模块的认证成功信息后与流媒体服务器模块建立数据连接。
4.根据权利要求1所述的高分辨率全景视频直播拍照系统,其特征在于,所述用户设备为智能手机、笔记本电脑、平板电脑或头戴式VR设备。
5.根据权利要求1所述的高分辨率全景视频直播拍照系统,其特征在于,所述流媒体服务器模块接收到全景图像数据首先进入实时拼接单元进行全景拼接,并将拼接后的全景图像数据存储在存储单元a中,同时通过视频编码单元将拼接后的全景数据进行压缩编码,压缩成超清分辨率的视频流,并将压缩的视频流按照视频传输协议进行格式封装并且分发;用户能通过不同设备上对应的播放器实时解码流媒体服务器模块分过来的视频数据,选择用户交互模块中的观看直播键进行实时的全景视频观看,用户在观看全景视频直播时还能选择用户交互模块中的拍照键进行实时拍照,以获取高分辨率图像,在显示模块中显示。
6.高分辨率全景视频直播拍照方法,在采用如权利要求1-5任一项所述高分辨率全景视频直播拍照系统上实现,其特征在于,所述方法包括以下步骤:
步骤一、通过图像采集设备采集图像数据,第一传输模块将采集的图像数据传输给流媒体服务器模块;
步骤二、第二传输模块接收到采集的图像数据,实时拼接单元将采集的图像数据实时拼接,并将拼接后的全景图像数据存储到存储单元a;
步骤三、拍照单元会根据时间信息生成全景视频数据索引文件,并建立索引文件和原始全景图像数据的映射关系,并根据映射关系保存索引文件至存储单元b,视频编码单元将拼接后的全景图像数据进行压缩编码成超清视频流,并将视频流按照视频传输协议进行格式封存,存储至存储单元b,同时通过第二传输模块传输给用户终端模块;
步骤四、第三传输模块接收到视频流,在用户交互模块中发起观看指令,在显示模块中播放,在用户交互模块中发起请求拍照指令,请求拍照指令中包含实时拍照的视频帧数据和用户设备的姿态信息,视频帧数据包括图像序列的标识和时间标识的位置,第三传输模块把传输模块把请求拍照指令传输给第二传输模块;
步骤五、第二传输模块接收到请求拍照指令,拍照处理单元首先会根据拍照指令中发送的视频帧数据及已有的映射关系索引查找存储单元a中原始全景图像,然后根据用户设备的姿态信息在原始全景图像中用一种方法截取对应姿态信息的高分辨率图片,将截图保存至存储单元c;
步骤六、用户在显示模块中预览查看,如果用户满意,通过点击下载,保存至用户设备的本地相册;如果用户不满意,则不需要下载直接返回直播中。
7.根据权利要求6所述的高分辨率全景视频直播拍照方法,其特征在于,所述步骤五中截取对应姿态信息的高分辨率图片,包括以下步骤:
步骤5.1、将原始全景图像即是平面矩形图片重新映射到一个球面上,以平面矩形图片的侧边作为球面半圆弧生成对应的全景映射球面,并将平面矩形图片贴图到全景映射球面上;
步骤5.2、根据用户设备的姿态信息确定用户视野的角度范围;根据用户视野的角度范围在全景映射球面上查找待裁剪球面图形;
步骤5.3、将已裁剪球面图形映射成目标矩形图片;目标矩形图片的尺寸为预设值,所述预设值根据经验值设定,或者根据用户设备发送的拍照指令中包含的屏幕尺寸参数来设定。
8.根据权利要求6或7所述的高分辨率全景视频直播拍照方法,其特征在于,所述姿态信息可以由用户通过触屏操作的方式来设置,在这种情况下可以通过触屏模块同时实现用户交互模块C12和显示模块C11的功能;也可以在用户交互模块C12中集成姿态传感器模块,可以是陀螺仪、加速度计或电子罗盘,以此来获取用户设备的当前姿态信息。
CN201810391854.5A 2018-04-27 2018-04-27 高分辨率全景视频直播拍照系统与方法 Pending CN108769755A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810391854.5A CN108769755A (zh) 2018-04-27 2018-04-27 高分辨率全景视频直播拍照系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810391854.5A CN108769755A (zh) 2018-04-27 2018-04-27 高分辨率全景视频直播拍照系统与方法

Publications (1)

Publication Number Publication Date
CN108769755A true CN108769755A (zh) 2018-11-06

Family

ID=64012209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810391854.5A Pending CN108769755A (zh) 2018-04-27 2018-04-27 高分辨率全景视频直播拍照系统与方法

Country Status (1)

Country Link
CN (1) CN108769755A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110113628A (zh) * 2019-05-14 2019-08-09 宁夏融媒科技有限公司 一种视频拼接服务器和移动状态下的全景直播系统
CN110266714A (zh) * 2019-06-28 2019-09-20 合肥工业大学 一种QoE驱动下的VR视频自适应采集与传输方法
CN112672043A (zh) * 2020-12-17 2021-04-16 聂鸿宇 一种基于单反相机的高质量精密全景成像方法及系统
CN114339070A (zh) * 2021-12-28 2022-04-12 苏州长风航空电子有限公司 一种基于MPSoC的多路图像处理显示交互系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110113628A (zh) * 2019-05-14 2019-08-09 宁夏融媒科技有限公司 一种视频拼接服务器和移动状态下的全景直播系统
CN110266714A (zh) * 2019-06-28 2019-09-20 合肥工业大学 一种QoE驱动下的VR视频自适应采集与传输方法
WO2020258427A1 (zh) * 2019-06-28 2020-12-30 合肥工业大学 一种QoE驱动下的VR视频自适应采集与传输方法
US20220006851A1 (en) * 2019-06-28 2022-01-06 Hefei University Of Technology QoE-BASED ADAPTIVE ACQUISITION AND TRANSMISSION METHOD FOR VR VIDEO
US11831883B2 (en) * 2019-06-28 2023-11-28 Hefei University Of Technology QoE-based adaptive acquisition and transmission method for VR video
CN112672043A (zh) * 2020-12-17 2021-04-16 聂鸿宇 一种基于单反相机的高质量精密全景成像方法及系统
CN112672043B (zh) * 2020-12-17 2021-09-14 聂鸿宇 一种基于单反相机的高质量精密全景成像方法及系统
CN114339070A (zh) * 2021-12-28 2022-04-12 苏州长风航空电子有限公司 一种基于MPSoC的多路图像处理显示交互系统
CN114339070B (zh) * 2021-12-28 2024-04-16 苏州长风航空电子有限公司 一种基于MPSoC的多路图像处理显示交互系统

Similar Documents

Publication Publication Date Title
CN107205122A (zh) 多分辨率全景视频直播拍照系统与方法
US20150358539A1 (en) Mobile Virtual Reality Camera, Method, And System
CN104012106B (zh) 使表示不同视点的视频对准
US20120293613A1 (en) System and method for capturing and editing panoramic images
US7796155B1 (en) Method and apparatus for real-time group interactive augmented-reality area monitoring, suitable for enhancing the enjoyment of entertainment events
CN108769755A (zh) 高分辨率全景视频直播拍照系统与方法
US11748870B2 (en) Video quality measurement for virtual cameras in volumetric immersive media
CN106385576A (zh) 立体虚拟现实直播方法、装置及电子设备
CN105939481A (zh) 一种交互式三维虚拟现实视频节目录播和直播方法
JP2019159950A (ja) 情報処理装置および情報処理方法
US20120120201A1 (en) Method of integrating ad hoc camera networks in interactive mesh systems
CN104219584A (zh) 基于增强现实的全景视频交互方法和系统
CN107529021B (zh) 隧道型全景视频采集、分发、定位跟踪系统及其方法
CN110419224A (zh) 用于封装和流传输虚拟现实媒体内容的方法和装置
CN103377268B (zh) 运用后设数据来进行目标识别与事件重现的系统
KR20170086203A (ko) 스포츠 중계 서비스 제공 방법
CN107155065A (zh) 一种虚拟拍照装置及方法
CN107105168A (zh) 可虚拟拍照的共享观景系统
CN106713942A (zh) 视频处理方法和装置
US20170225077A1 (en) Special video generation system for game play situation
US20240080429A1 (en) Video data processing method and apparatus, computer device, computer readable storage medium, and computer program product
CN107241613A (zh) 体育场馆赛况多角度直播系统
CN106060523A (zh) 全景立体图像采集、显示方法及相应的装置
WO2021095573A1 (ja) 情報処理システム、情報処理方法及びプログラム
CN107592549A (zh) 基于双向通信的全景视频播放拍照系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181106

RJ01 Rejection of invention patent application after publication