CN107592548A - 一种实时全景直播拍照的图像采集装置及图像传输方法 - Google Patents

Abstract

本发明涉及视频图像采集技术领域，具体涉及一种实时全景直播拍照的图像采集装置及图像传输方法。本发明针对现有视频传输方式传输带宽、延时等因素影响用户观看视频直播的流畅性和获取图片数据的即时性的问题，提出一种在进行实时全景直播同时，快速获得高分辨率图片视频采集装置及视频传输方法。本发明的图像采集装置包括控制模块、图像采集模块、图片拼接模块、图片缓存模块、视频编码模块、视频输出模块、图片输出模块、通信模块和流媒体服务器端；本发明的图像传输方法传输全景视频的同时，将原始高清多路图片数据存储在图片缓存模块，按照时间间隔或拍照指令向用户传输高清图片，不会影响视频流畅性。本发明可应用于远程观看全景视频。

Description

一种实时全景直播拍照的图像采集装置及图像传输方法

技术领域

本发明涉及视频图像采集技术，具体涉及一种实时全景直播拍照的图像采集装置及图像传输方法。

背景技术

在当今时代，视频直播越来越受大众的欢迎，纵观视频直播的发展史，是由视频点播的基础上演变而来，由互联网以及流媒体技术进行直播，从而能够实时、全面地传播视频内容。在早期的视频播放时，视频内容的可视区域因拍摄等原因，如：摄像机镜头的取景角度、范围，导致其固定不可调，用户只能观看到当前的区域，视频画面只能跟随镜头移动而变化，用户观看无立体感，更不能有身临其境的感受。

随着全景视频技术的发展，出现了360度全景视频，能够让用户全方位的360度自由观看，可以上下左右前后、甚至远近距离观看。通常是通过多个摄像机同时对同一个空间下的物体进行多个角度拍摄来实现，在播放端允许用户在无需暂停视频播放的情况下，自由切换观看角度；全景视频具有立体感和真实感，能够很好地提供视觉体验；可以实现身临其境的体验和更令人刮目相看的惊奇效果。

随着人们需求的不断提高，人们更希望在观看视频直播时不但可以看到真实、全面、直观的视频，还可以实时地获取高质量图像留作纪念或者与朋友分享。目前对摄像机采集的图像数据进行处理一般有两种方式，一是先进行图像采集然后将摄像机内的数据拷贝至计算机进一步处理；二是通过无线方式实时传输，但是，无线传输方式受到传输带宽、延时等因素的影响，会影响用户观看视频直播的流畅性和获取图片数据的即时性。

发明内容

针对上述问题，本发明提供一种在进行实时全景直播同时，快速获得高分辨率图片的图像采集装置及图像传输方法。

本发明为解决上述问题采取的技术方案是：本发明的一种实时全景直播拍照的图像采集装置，包括控制模块、图像采集模块、图片拼接模块、图片缓存模块、视频编码模块、视频输出模块、图片输出模块、通信模块和流媒体服务器端；

所述控制模块的输出端连接图像采集模块，用于接收图像采集指令，并根据图像采集指令驱动图像采集模块工作，所述图像采集模块的输出端分别连接图片拼接模块和图片缓存模块，用于将采集到的图像分别输出到图片拼接模块和图片缓存模块，所述图片拼接模块的输出端连接视频编码模块的输入端，用于拼接制作全景图片，并传输到视频编码模块，所述视频编码模块的输出端连接视频输出模块，用于将编码后的视频传输到视频输出模块，并通过通信模块最终传输给流媒体服务器端；

所述图片缓存模块的输出端连接图片输出模块，用于将缓存的图片传递给图片输出模块，并通过通信模块最终输送给流媒体服务器端；

所述视频输出模块的输出端和图片输出模块的输出端通过通信模块连接流媒体服务器端，用于将视频和图片传送到流媒体服务器端，所述的通信模块的输入端和输出端还分别连接流媒体服务器端和控制模块，用于接收流媒体服务器端发送的指令并将流媒体服务器端发送的指令传送到控制模块。

所述流媒体服务器端用于将视频输出模块输出的视频数据传输到用户以及将接收到的多路图片拼接成全景图片发送给用户。

进一步地，所述图像采集模块包括m个鱼眼或广角摄像头组成的摄像模组，每个鱼眼或广角摄像头分别采集其视野内的一路图片。

进一步地，所述通信模块为一个集成单元与控制模块、图像采集模块、图片拼接模块、图片缓存模块、视频编码模块、视频输出模块和图片输出模块集成在一起，或者为图传天线，挂载在由控制模块、图像采集模块、图片拼接模块、图片缓存模块、视频编码模块、视频输出模块和图片输出模块集成而成的元件外；所述通信模块包含一个或若干个子模块。

一种在上述实时全景直播拍照的图像采集装置上实现的实时全景直播拍照的图像传输方法，采用单向通信方式，包括以下步骤：

步骤a、控制模块通过控制按键接收到采集指令后，启动图像采集模块采集其视野内的多路图片数据并将采集到的多路图片数据同时传输给图片拼接模块和图片缓存模块，控制模块接收到停止采集指令时，图像采集模块停止采集；

步骤b、图片拼接模块实时拼接多路图片数据完成全景拼接并形成带标记的全景图像序列：若设定帧率是为n，则视频流以n帧为一个帧序列，将视频按照播放的时间顺序划分为若干个帧序列，用Ir表示第r个帧序列，Ir1，Ir2，……Irn表示第r个帧序列中的第n 帧图像，将Ir1，Ir2，……Irn作为二维码生成参数，每个帧序列的每一帧图像上添加一维码或二维码水印，然后将带标记的全景图像序列传输至视频编码模块；

步骤c、视频编码模块对带标记的全景图像序列进行压缩编码；

步骤d、视频输出模块利用视频传输协议将压缩编码后的视频流推流到流媒体服务器端；

步骤e、图片缓存模块保存不同时间点的多路图片数据，步骤b中设定的帧率是n，带标记的全景图像序列用Ir1，Ir2，……Irn表示，多路图片数据用Drn＝{D1，D2……，Dm}表示，其中m为正整数，表示摄像模组的数量，Drn表示第r个帧序列中的第n帧图像所对应的多路图片数据；

步骤f、根据多路图片数据和带标记全景图像序列之间的时间映射关系，图片输出模块通过通信模块将不同时间节点的多路图片数据输出至流媒体服务器端，流媒体服务器端在接收到的多路图片数据后，运用精准拼接算法拼接成全景图片发送给用户。

另一种在上述实时全景直播拍照的图像采集装置上实现的实时全景直播拍照的图像传输方法，采用双向通信方式，包括以下步骤：

步骤a1、控制模块通过通信模块接收到采集指令后，启动图像采集模块采集其视野内的多路图片数据并将采集到的多路图片数据同时传输给图片拼接模块和图片缓存模块，控制模块接收到停止采集指令时，图像采集模块停止采集；

步骤b1、图片拼接模块实时拼接多路图片数据完成全景拼接并形成带标记的全景图像序列：设定帧率是为n，则视频流以n帧为一个帧序列，将视频按照播放的时间顺序划分为若干个帧序列，用Ir表示第r个帧序列，Ir1，Ir2，……Irn表示第r个帧序列中的第n帧图像，将Ir1，Ir2，……Irn作为二维码生成参数，每个帧序列的每一帧图像上添加一维码或二维码水印，然后将带标记的全景图像序列传输至视频编码模块；

步骤c1、视频编码模块对带标记的全景图像序列进行压缩编码；

步骤d1、视频输出模块利用视频传输协议将压缩编码后的视频流推流到流媒体服务器端；

步骤e1、图片缓存模块保存不同时间点的多路图片数据，步骤b1中设定的帧率是n，带标记的全景图像序列用Ir1，Ir2，……Irn表示，多路图片数据用Drn＝{D1，D2……，Dm}表示，其中m为正整数，表示摄像模组的数量，Drn表示第r个帧序列中的第n帧图像所对应的多路图片数据，那么多路图片数据和带标记全景图像序列之间的映射关系可以表示为Irn→Drn，保存根据时间对应关系形成的多路图片数据和带标记全景图像序列之间的映射关系，当用户端发送拍照指令时，流媒体服务器端实时解码一维码或二维码获得带标记的全景图像序列并通过通信模块发送给控制模块，控制模块根据全景图像序列及多路图片数据的映射关系查找图片缓存模块中对应当前帧图像的多路图片数据；

步骤f1、图片输出模块通过通信模块将与拍照指令匹配的多路图片数据输出至流媒体服务器端，流媒体服务器端接收到的多路图片数据后会运用精准拼接算法拼接成全景图片发送给用户。

有益效果：

第一，本发明的实时全景直播拍照的图像采集装置，自带视频编码模块，减轻了流媒体服务器端的负担，节约了传输带宽；

第二，现有的全景摄像装置及其对应的图像传输方法，实时传输采集到的所有原始高清图片，若假设帧率是25，单路每张图片分辨率为4K，大小是5M，共8路图片，则每秒所需带宽是5*8*25＝1000M；而本发明的一种采用单向通信方式的实时全景直播拍照的图像传输方法只需要实时传输经过压缩的视频流和部分原始高清多路图片数据，若假设帧率是25，每秒传输2组多路图片数据，单路每张图片分辨率为4K，大小是5M，共8路图片，则每秒所需带宽约等于47M(视频流)+5*8*2(所需原始高清图片)＝127M；本发明的另一种采用双向通信的实时全景直播拍照的图像传输方法，只需要实时传输压缩后的视频流以及在接收到请求指令后传输所需原始高清图片，若假设帧率是25，单路每张图片分辨率为4K，大小是5M，共8路图片，则每秒所需带宽约等于47M(视频流)+5*8(所需原始高清图片)＝87M，无论采用哪种装置，都将大大节约传输带宽；

第三，采用单向通信方式的实时全景直播拍照的图像传输方法不需要流媒体服务器端请求，直接将图片按照一定时间间隔发送给流媒体服务器端，没有请求等待的时间差，是一种更实际的传输方式；采用双向通信方式的实时全景直播拍照的图像传输方法，在流媒体服务器端发送请求时，向流媒体服务器传输图片，会有请求等待传输的时间差，传输时间增长，但是这种传输方式更加节省传输带宽；

第四，本发明的实时全景直播拍照的图像采集装置可以保存若干时间内的原始高清多路图片数据，用户在观看低分辨率视频直播中仍可以快速获得高分辨率图片。

附图说明

图1本发明的一种实时全景直播拍照的图像采集装置的结构框图。

具体实施方式

具体实施方式1：结合图1说明本实施方式，本实施方式的一种实时全景直播拍照的图像采集装置结构框图如图1所示，包括控制模块、图像采集模块、图片拼接模块、图片缓存模块、视频编码模块、视频输出模块、图片输出模块、通信模块和流媒体服务器端；

所述控制模块的输出端连接图像采集模块，用于接收图像采集指令，并根据图像采集指令驱动图像采集模块工作，所述图像采集模块的输出端分别连接图片拼接模块和图片缓存模块，用于将采集到的图像分别输出到图片拼接模块和图片缓存模块，所述图片拼接模块的输出端连接视频编码模块的输入端，用于拼接制作全景图片，并传输到视频编码模块，所述视频编码模块的输出端连接视频输出模块，用于将编码后的视频传输到视频输出模块，并通过通信模块最终传输给流媒体服务器端；

所述图片缓存模块的输出端连接图片输出模块，用于将缓存的图片传递给图片输出模块，并通过通信模块最终输送给流媒体服务器端；

所述视频输出模块的输出端和图片输出模块的输出端通过通信模块连接流媒体服务器端，用于将视频和图片传送到流媒体服务器端，所述的通信模块的输入端和输出端还分别连接流媒体服务器端和控制模块，用于接收流媒体服务器端发送的指令并将流媒体服务器端发送的指令传送到控制模块。

所述流媒体服务器端用于将视频输出模块输出的视频数据传输到用户以及将接收到的多路图片拼接成全景图片发送给用户。

进一步地，所述图像采集模块包括m个鱼眼或广角摄像头组成的摄像模组，每个鱼眼或广角摄像头分别采集其视野内的一路图片。

进一步地，所述通信模块为一个集成单元与控制模块、图像采集模块、图片拼接模块、图片缓存模块、视频编码模块、视频输出模块和图片输出模块集成在一起，或者为图传天线，挂载在由控制模块、图像采集模块、图片拼接模块、图片缓存模块、视频编码模块、视频输出模块和图片输出模块集成而成的元件外；所述通信模块包含一个或若干个子模块。

具体实施方式2：本实施方式的一种实时全景直播拍照的图像传输方法，包括以下步骤：

步骤a、控制模块通过控制按键接收到采集指令后，启动图像采集模块采集其视野内的多路图片数据，并将采集到的多路图片数据同时传输给图片拼接模块和图片缓存模块，控制模块接收到停止采集指令时，图像采集模块停止采集；

步骤b、图片拼接模块通过实时拼接多路图片数据完成全景拼接，并形成带标记的全景图像序列：若设定帧率是为25，则视频流以25帧为一个帧序列，将视频按照播放的时间顺序划分为若干个帧序列，用Ir表示第r个帧序列，Ir1，Ir2，……Irn表示第r个帧序列中的第n帧图像，将Ir1，Ir2，……Ir25作为二维码生成参数，每个帧序列的每一帧图像上添加一维码或二维码水印，然后将带标记的全景图像序列传输至视频编码模块；

步骤c、视频编码模块对带标记的全景图像序列进行压缩编码；

步骤d、视频输出模块利用视频传输协议将压缩编码后的视频流推流到流媒体服务器端；

步骤e、图片缓存模块保存不同时间点的多路图片数据，多路图片数据用Drn＝{D1， D2……，Dm}表示，其中m为正整数，表示摄像模组的数量，Drn表示第r个帧序列中的第n帧图像所对应的多路图片数据；

步骤f、图片输出模块根据多路图片数据和带标记全景图像序列之间的时间映射关系将不同时间节点的多路图片数据输出至流媒体服务器端，设定帧率是25，每秒传输2组多路图片数据，则图片输出模块在第0秒时传输D11，在第0.5秒时传输D112，在第1秒时传输D21，在第1.5秒时传输D212……在第n秒时传输Dn1，在第n+0.5秒时传输Dn12，流媒体服务器端接收到的多路图片数据后会运用精准拼接算法拼接成全景图片发送给用户。

具体实施方式3：本实施方式与具体实施方式3的区别之处在于：每秒传输5组多路图片数据，则图片输出模块在第0秒时传输D11，在第0.2秒时传输D15，在第0.4秒时传输D110，在第0.6秒时传输D115，在第0.8秒时传输D120……在第n秒时传输Dn1，在第n+0.2秒时传输Dn5，在第n+0.4秒时传输Dn10，在第n+0.6秒时传输Dn15，在第n+0.8 秒时传输Dn20。

具体实施方式4：本实施方式的另一种实时全景直播拍照的图像传输方法，包括以下步骤：

步骤a1、控制模块通过通信模块接收到采集指令后，启动图像采集模块采集其视野内的多路图片数据，并将采集到的多路图片数据同时传输给图片拼接模块和图片缓存模块，控制模块接收到停止采集指令时，图像采集模块停止采集；

步骤b1、图片拼接模块通过实时拼接多路图片数据完成全景拼接并形成带标记的全景图像序列：设定帧率是为25，则视频流以25帧为一个帧序列，将视频按照播放的时间顺序划分为若干个帧序列，用Ir表示第r个帧序列，Ir1，Ir2，……Irn表示第r个帧序列中的第n帧图像，将Ir1，Ir2，……Ir25作为二维码生成参数，每个帧序列的每一帧图像上添加一维码或二维码水印，然后将带标记的全景图像序列传输至视频编码模块；

步骤c1、视频编码模块对带标记的全景图像序列进行压缩编码；

步骤d1、视频输出模块利用视频传输协议将压缩编码后的视频流推流到流媒体服务器端；

步骤e1、图片缓存模块保存不同时间点的多路图片数据，步骤b1中设定的帧率是25，带标记的全景图像序列用Ir1，Ir2，……Ir25表示，多路图片数据用Drn＝{D1，D2……，Dm}表示，其中m为正整数，表示摄像模组的数量，Drn表示第r个帧序列中的第n帧图像所对应的多路图片数据，那么多路图片数据和带标记全景图像序列之间的映射关系可以表示为Irn→Drn，图片缓存模块根据时间对应关系形成的多路图片数据和带标记全景图像序列之间的映射关系并保存，当用户端发送拍照指令时，流媒体服务器端实时解码一维码或二维码获得带标记的全景图像序列并通过通信模块发送给控制模块，控制模块根据全景图像序列及多路图片数据的映射关系查找图片缓存模块中对应当前帧图像的多路图片数据；

步骤f1、图片输出模块通过通信模块将与拍照指令匹配的多路图片数据输出至流媒体服务器端，流媒体服务器端接收到的多路图片数据后，运用精准拼接算法拼接成全景图片发送给用户。

Claims (8)

1.一种实时全景直播拍照的图像采集装置，其特征在于，包括控制模块、图像采集模块、图片拼接模块、图片缓存模块、视频编码模块、视频输出模块、图片输出模块、通信模块和流媒体服务器端；

所述控制模块的输出端连接图像采集模块，用于接收图像采集指令，并根据图像采集指令驱动图像采集模块工作，所述图像采集模块的输出端分别连接图片拼接模块和图片缓存模块，用于将采集到的图像分别输出到图片拼接模块和图片缓存模块，所述图片拼接模块的输出端连接视频编码模块的输入端，用于拼接制作全景图片，并传输到视频编码模块，所述视频编码模块的输出端连接视频输出模块，用于将编码后的视频传输到视频输出模块，并通过通信模块最终传输给流媒体服务器端；

所述图片缓存模块的输出端连接图片输出模块，用于将缓存的图片传递给图片输出模块，并通过通信模块最终输送给流媒体服务器端；

所述视频输出模块的输出端和图片输出模块的输出端通过通信模块连接流媒体服务器端，用于将视频和图片传送到流媒体服务器端，所述的通信模块的输入端和输出端还分别连接流媒体服务器端和控制模块，用于接收流媒体服务器端发送的指令并将流媒体服务器端发送的指令传送到控制模块。

所述流媒体服务器端用于将视频输出模块输出的视频数据传输到用户以及将接收到的多路图片拼接成全景图片发送给用户。

2.根据权利要求1所述的一种实时全景直播拍照的图像采集装置，其特征在于，所述图像采集模块包括m个鱼眼或广角摄像头组成的摄像模组，每个鱼眼或广角摄像头分别采集其视野内的一路图片。

3.根据权利要求1所述的一种实时全景直播拍照的图像采集装置，其特征在于，所述通信模块为一个集成单元与控制模块、图像采集模块、图片拼接模块、图片缓存模块、视频编码模块、视频输出模块和图片输出模块集成在一起，或者为独立单元挂载在由控制模块、图像采集模块、图片拼接模块、图片缓存模块、视频编码模块、视频输出模块和图片输出模块集成而成的元件外；所述通信模块包含一个或若干个子模块。

4.一种在权利要求1所述的一种实时全景直播拍照的图像采集装置上实现的实时全景直播拍照的图像传输方法，其特征在于，采用单向通信方式，包括以下步骤：

步骤a、控制模块在通过控制按键接收到采集指令后，启动图像采集模块采集其视野内的多路图片数据，并将采集到的多路图片数据同时传输给图片拼接模块和图片缓存模块，控制模块接收到停止采集指令时，图像采集模块停止采集；

步骤b、图片拼接模块通过实时拼接多路图片数据完成全景拼接，形成带标记的全景图像序列，并将带标记的全景图像序列传输至视频编码模块；

步骤c、视频编码模块对带标记的全景图像序列进行压缩编码；

步骤d、视频输出模块利用视频传输协议将压缩编码后的视频流推流到流媒体服务器端；

步骤e、图片缓存模块保存不同时间节点的多路图片数据，多路图片数据用Drn＝{D1，D2……，Dm}表示，其中m为正整数，表示摄像模组的数量，Drn表示第r个帧序列中的第n帧图像所对应的多路图片数据。

步骤f、根据多路图片数据和带标记全景图像序列之间的时间映射关系，图片输出模块通过通信模块将不同时间节点的多路图片数据输出至流媒体服务器端，流媒体服务器端在接收到的多路图片数据后，运用精准拼接算法拼接成全景图片发送给用户。

5.根据权利要求4所述的一种实时全景直播拍照的图像传输方法，其特征在于，所述步骤b中通过实时拼接多路图片数据完成全景拼接，形成带标记的全景图像序列的具体方法是：设定帧率是为n，则视频流以n帧为一个帧序列，将视频按照播放的时间顺序划分为若干个帧序列，用Ir表示第r个帧序列，Ir1，Ir2，……Irn表示第r个帧序列中的第n帧图像，将Ir1，Ir2，……Irn作为二维码生成参数，每个帧序列的每一帧图像上添加一维码或二维码水印。

6.一种在权利要求1所述的一种实时全景直播拍照的图像采集装置上实现的实时全景直播拍照的图像传输方法，其特征在于，采用双向通信方式，包括以下步骤：

步骤a1、控制模块在通过通信模块接收到采集指令后，启动图像采集模块采集其视野内的多路图片数据，并将采集到的多路图片数据同时传输给图片拼接模块和图片缓存模块，控制模块接收到停止采集指令时，图像采集模块停止采集；

步骤b1、图片拼接模块通过实时拼接多路图片数据完成全景拼接，并形成带标记的全景图像序列，并将带标记的全景图像序列传输至视频编码模块；

步骤c1、视频编码模块对带标记的全景图像序列进行压缩编码；

步骤d1、视频输出模块利用视频传输协议将压缩编码后的视频流推流到流媒体服务器端；

步骤e1、图片缓存模块保存不同时间点的多路图片数据，根据时间对应关系，形成多路图片数据和带标记全景图像序列之间的映射关系，当用户端发送拍照指令时，流媒体服务器端实时解码一维码或二维码获得带标记的全景图像序列并通过通信模块发送给控制模块，控制模块根据全景图像序列及多路图片数据的映射关系查找图片缓存模块中对应当前帧图像的多路图片数据；

步骤f1、图片输出模块将与拍照指令匹配的多路图片数据输出至流媒体服务器端，流媒体服务器端接收到的多路图片数据后，运用精准拼接算法拼接成全景图片并发送给用户。

7.根据权利要求6所述的一种实时全景直播拍照的图像传输方法，其特征在于，所述步骤b1中通过实时拼接多路图片数据完成全景拼接，并形成带标记的全景图像序列的具体方法是：设定帧率是为n，则视频流以n帧为一个帧序列，将视频按照播放的时间顺序划分为若干个帧序列，用Ir表示第r个帧序列，Ir1，Ir2，……Irn表示第r个帧序列中的第n帧图像，将Ir1，Ir2，……Irn作为二维码生成参数，每个帧序列的每一帧图像上添加一维码或二维码水印。

8.根据权利要求7所述的一种实时全景直播拍照的图像传输方法，其特征在于，所述步骤e1中形成多路图片数据和带标记全景图像序列之间的映射关系的具体方法是：根据步骤b1中设定的帧率n，带标记的全景图像序列用Ir1，Ir2，……Irn表示，多路图片数据用Drn＝{D1，D2……，Dm}表示，其中m为正整数，表示摄像模组的数量，Drn表示第r个帧序列中的第n帧图像所对应的多路图片数据，那么多路图片数据和带标记全景图像序列之间的映射关系表示为Irn→Drn。