CN106060481A - 一种云台摄像头的视频采集方法及装置 - Google Patents

Abstract

本发明公开了一种云台摄像头的视频采集方法及装置。该方法包括：根据终端的触发指令，采集在预设角度方位上的连续数帧鱼眼图像；校正各帧所述鱼眼图像，并合并成摄像视频；将所述摄像视频发送至终端。采用本发明，可以在收到终端的触发指令后，让摄像头采集合成一段摄像视频，并在终端上流畅地显示。

Description

一种云台摄像头的视频采集方法及装置

技术领域

本发明涉及视频处理技术领域，更具体地，涉及一种云台摄像头的视频采集方法及装置。

背景技术

普通摄像头使用的镜头视场角范围从40°到50°，只能够获取镜头前方的局部图像信息，导致观测系统具有较大盲区，难以应用在具有大范围观测要求的场合。鱼眼摄像头具有全方位视觉，其观测范围都能够覆盖半球域甚至整个观测空间，有效地解决了普通摄像头视野范围较小、被观测对象易丢失等问题。

相对于传统方法通过多个摄像机的组合来扩大视野，鱼眼摄像头只需要一个镜头，其实现成本较低。在监控的应用中，通过转动摄像头或云台移动摄像头，可以生成全景，即在一幅图上可以观察360°的环幕场景，改变了以往需多个场景同时观看才能获得的总体信息的情况，大大提高监控人员检测效率。

虽然鱼眼摄像头具有大视野的优势，但依然存在以下缺点：鱼眼摄像头采集的是一幅幅实时图片，通过逐帧串联的图片形成动画效果，但由于图片较大，或传输网速不稳定等原因，用户观看的效果欠佳。

发明内容

鉴于上述问题，本发明提出了一种云台摄像头的视频采集方法及装置。

本发明实施例中提供了一种云台摄像头的视频采集方法，包括：

根据终端的触发指令，采集在预设角度方位上的连续数帧鱼眼图像；

校正各帧的鱼眼图像，并合并成摄像视频；

将所述摄像视频发送至终端。

优选地，根据终端的触发指令，采集在预设角度方位上的连续数帧鱼眼图像的步骤之前，还包括：

接收所述终端发出的所述触发指令，所述触发指令包括预设角度和预设帧数。

优选地，采集在预设角度方位上的连续数帧鱼眼图像的步骤，包括：

申请内核缓冲区的内核地址，将所述内核地址映射到用户空间；

通过所述内核地址存储所述连续数帧图像。

优选地，校正各帧所述鱼眼图像，并合并成摄像视频的步骤，包括：

将校正后的鱼眼图像分割成8×8的数据矩阵块，将所述鱼眼图像的RGB颜色空间转换为YCbCr格式的数据；

将所述YCbCr格式的数据进行编码、量化，并转换为压缩格式的摄像视频。

优选地，将所述摄像视频发送至终端的步骤，包括：

与所述终端建立TCP连接；

将所述摄像视频转换成流媒体格式，分段发送至终端进行显示。

优选地，将所述摄像视频发送至终端的步骤，包括：

与所述终端建立TCP连接；

向所述终端发送所述摄像视频，以及该摄像视频的校验文件；

当接收到正确的校验反馈时，完成摄像视频的发送；当接收到错误的校验反馈时，重新发送所述摄像视频，以及该摄像视频的校验文件。

优选地，将所述摄像视频发送至终端的步骤，包括：

与云端服务器建立TCP连接；

向所述云端服务器发送所述摄像视频，以及该摄像视频的校验文件；

当接收到正确的校验反馈时，将所述云端服务器的视频链接发送至终端；当接收到错误的校验反馈时，重新发送所述摄像视频，以及该摄像视频的校验文件。

相应地，本发明实施例提供了一种云台摄像头的视频采集装置，包括：

图像采集单元，用于根据终端的触发指令，采集在预设角度方位上的连续数帧鱼眼图像；

视频合并单元，用于校正各帧所述鱼眼图像，并合并成摄像视频；

视频发送单元，用于将所述摄像视频发送至终端。

优选地，还包括：

指令接收单元，用于接收所述终端发出的所述触发指令，所述触发指令包括预设角度和预设帧数。

优选地，所述图像采集单元，包括：

地址申请单元，用于申请内核缓冲区的内核地址，将所述内核地址映射到用户空间；

图像存储单元，用于通过所述内核地址存储所述连续数帧图像。

优选地，所述视频合并单元，包括：

格式转换单元，用于将校正后的鱼眼图像分割成8×8的数据矩阵块，将所述鱼眼图像的RGB颜色空间转换为YCbCr格式的数据；

编码压缩单元，用于将所述YCbCr格式的数据进行编码、量化，并转换为压缩格式的摄像视频。

优选地，所述视频发送单元，包括：

第一连接建立单元，用于与所述终端建立TCP连接；

第一视频传输单元，用于将所述摄像视频转换成流媒体格式，分段发送至终端进行显示。

优选地，所述视频发送单元，包括：

第二连接建立单元，用于与所述终端建立TCP连接；

第二视频传输单元，用于向所述终端发送所述摄像视频，以及该摄像视频的校验文件；当接收到正确的校验反馈时，完成摄像视频的发送；当接收到错误的校验反馈时，重新发送所述摄像视频，以及该摄像视频的校验文件。

优选地，所述视频发送单元，包括：

第三连接建立单元，用于与云端服务器建立TCP连接；

第三视频传输单元，用于向所述云端服务器发送所述摄像视频，以及该摄像视频的校验文件；当接收到正确的校验反馈时，将所述云端服务器的视频链接发送至终端；当接收到错误的校验反馈时，重新发送所述摄像视频，以及该摄像视频的校验文件。

相对于现有技术，本发明提供的方案，根据终端的触发指令，采集在预设角度方位上的连续数帧鱼眼图像。所述终端包括手机，ipad，手提电脑等设备。摄像头是根据上述终端的触发指令从预设方位上采集一段时间内连续数帧的鱼眼图像，校正各帧畸变的鱼眼图像，并合并成摄像视频。经过合成的摄像视频能够避免因图像像素较大而不便输出的问题，而现有技术一边采集图像一边发送图像会导致终端卡顿现象。最后，将所述摄像视频发送至终端。以摄像视频为单位，而非逐一图片的发送能够保持视频在终端显示时的流畅性。故此，本发明在收到终端的触发指令后，让摄像头采集合成一段摄像视频，并在终端上流畅地显示。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种云台摄像头的视频采集方法的流程图。

图2为本发明一种云台摄像头的视频采集方法的实施例的示意图。

图3为本发明一种云台摄像头的视频采集方法的实施例的流程图。

图4为本发明一种云台摄像头的视频采集装置的示意图。

图5为本发明一种云台摄像头的视频采集装置的实施例的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

随着摄像头技术的发展，远程视频监控技术也日渐成熟，人们对摄像头的要求也越来越高。现在大家使用摄像头时，不管是在智能手机还是其他监控设备，都要求拍摄视频或图像越来越清晰，监控视频实时性也越来越好。而软件技术的日益完善，也让带有摄像头的整个系统功能更能满足人们的需求。视频传输的整个过程中，视频图像的采集压缩和传输技术非常关键。对图像采集后，再进行压缩以减小图片内存便于快速传输，最后要使传输的视频最大限度地还原画面本来应有的面目。要使图像清晰，需要提高图片质量，但提高图片质量又会提高图片的大小，以致传输不便，特别是在网速不稳定的环境下，会导致画面卡顿，依然无法实现还原画面本来应有的面目。为此，本发明提供如图1所示的技术方案。

图1为本发明一种云台摄像头的视频采集方法的流程图，包括：

S101：根据终端的触发指令，采集在预设角度方位上的连续数帧鱼眼图像；

S102：校正各帧的鱼眼图像，并合并成摄像视频；

S103：将所述摄像视频发送至终端。

相对于现有技术，本发明提供的方案，根据终端的触发指令，采集在预设角度方位上的连续数帧鱼眼图像。所述终端包括手机，ipad，手提电脑等设备。摄像头是根据上述终端的触发指令从预设方位上采集一段时间内连续数帧的鱼眼图像，校正各帧畸变的鱼眼图像，并合并成摄像视频。经过合成的摄像视频能够避免因图像像素较大而不便输出的问题，而现有技术一边采集图像一边发送图像会导致终端卡顿现象。最后，将所述摄像视频发送至终端。以摄像视频为单位，而非逐一图片的发送能够保持视频在终端显示时的流畅性。故此，本发明在收到终端的触发指令后，让摄像头采集合成一段摄像视频，并在终端上流畅地显示。

图2为本发明一种云台摄像头的视频采集方法的实施例的示意图。图3为本发明一种云台摄像头的视频采集方法的实施例的流程图。下面结合图2、图3对本发明的具体实施例做进一步的说明。

S201：接收所述终端发出的所述触发指令，所述触发指令包括预设角度和预设帧数；

S202：根据终端的触发指令，采集在预设角度方位上的连续数帧鱼眼图像；

S203：将校正后的鱼眼图像分割成8×8的数据矩阵块，将所述鱼眼图像的RGB颜色空间转换为YCbCr格式的数据；

S204：将所述YCbCr格式的数据进行编码、量化，并转换为压缩格式的摄像视频；

S205：与所述终端建立TCP连接；

S206：将所述摄像视频转换成流媒体格式，分段发送至终端进行显示。

图2为智能手机终端Web页面的主要控制界面，因手机的屏幕一般为长方形，这样页面设计的主要布局也应该呈现长方形的结构。由图2可知，本方案设计在页面的上半部分为部摄像头传输的摄像视频，下半部分为指令编辑界面。视频监控画面为一实验室环境。智能手机Web页面按下按钮时会生成online事件，online事件发生会伴随将该按钮的触发指令经HTTP协议发送到摄像头的控制器，控制器接收该触发指令，并进行处理分析，再调用相关程序执行该命令，比如，所述触发指令包括预设角度为90°，预设帧数为100帧。那么摄像头接受到传送过来的触发指令经过分析后，将调用使摄像头向左旋转90°的步进程序，控制其运动，同时采集100帧鱼眼图像。智能手机Web页面的操作部分主要功能和按钮如所下所述，包括，L、R、F和B四个按钮来控制摄像头的云台分别向左、向右、向前和向后的动作。HL、HR、HU和HD四个按钮分别来控制摄像头向左、向右、向上和向下的一定角度的移动来调整摄像头的视眼角度。

智能手机Web页面Reset按钮为让摄像头恢复到最初始的初始状态，若摄像头在运动步行时如果遇到云台卡死或者其他突发情况，为了先保证摄像头自身的安全，需要摄像头恢复初始的最安全的姿势。当摄像头在准备状态时，我们需要观察周围的环境，这时可以通过HL、HR、HU和HD四个按钮分别来控制摄像头向左、向右、向上和向下的一定角度的移动来调整摄像头视眼角度，以便于更好更全面地采集在预设角度方位上的连续数帧鱼眼图像。

在具体图像采集技术上我们采用V4L2。V4L2(Video for Linux two)是在2002年发布的，是有关于视频装备的内核驱动框架结构，为上层访问底层的视频设备提供统一的接口。V4L2运用在系统中，可以实现图片、视频、音频等的采集。

V4L2接口一共提供三种方式进行视频数据采集，例如，一种是直接读取方式。不停地在内核空间和用户空间拷贝视频图像数据。虽然这种方式的操作使用相比而言比较方便，但是它会占用了很大的内存空间，相对而言效率就不是很高。另一种方法是内存映射方式。

优选地，申请内核缓冲区的内核地址，将所述内核地址映射到用户空间；通过所述内核地址存储所述连续数帧图像。

这样就可以直接对内核缓冲区的数据进行处理了，而且也不需要将图像直接放入用户空间，映射地址占用的空间相比图像本身所所需的空间要小很多。所以这是一种在速率较高和消耗较少的有效采集存储方式。

对于由摄像头端采集而来的图片，本发明把它们经过一定的压缩处理后，以流的形式合并成摄像视频，经由基于IP的网络传输到浏览器如FireFox，VLC播放器，或者其他拥有这些浏览器功能的移动设备。目前在视频采集和图像帧编码环节的主要设计中，根据实际情况，主要在JPEG或MPEG两种编码方式中实行选择和考虑，JPEG针对单独的一帧图像图片进行压缩处理，而MPEG则使用了图像序列间的相似性技巧，所以MPEG的整体压缩倍率要优于JPEG。而如果考虑到传输信道链路的这一特点，JPEG对于一次错误编码最多只损失图像序列中的一幅图片，而MPEG将导致后面连续的多幅帧间编码序列图片无法重新复现。JPEG编码压缩比例高，失真小。所以，如果系统的可靠性需求高，可知JPEG成为优选方案，如若系统对可靠性的要求低于实时性，那可选择MPEG。

优选地，为保证终端播放摄像视频的流畅性，以及避免图像失真，本发明采用JPEG编码压缩。首先，将校正后的鱼眼图像分割成8×8的数据矩阵块，将所述鱼眼图像的RGB颜色空间转换为YCbCr格式的数据；再将所述YCbCr格式的数据进行DCT编码、量化及Huffman编码，并转换为JPEG压缩格式的摄像视频，即完成了压缩编码过程。

最后，所述终端建立TCP连接；将所述摄像视频转换成流媒体格式，分段发送至终端进行显示。

需要补充说明的是，本发明有两种可选的传输方案，“整体下载”和“视频流播放”。“整体下载”形式是通过网络将整个视频文件传送到客户端，并保存在客户的存储设备中，就像我们下载观看的视频内容，需要在全部内容传输完成以后才可以播放，这样的传输形式耗时耗内存，适合下载播放大容量的影音内容。具体地，摄像头与所述终端建立TCP连接；向所述终端发送所述摄像视频，以及该摄像视频的校验文件；当接收到正确的校验反馈时，完成摄像视频的发送；当接收到错误的校验反馈时，重新发送所述摄像视频，以及该摄像视频的校验文件。

而“视频流播放”是本实施例优选的实施方式，就是对视频图像以流的形式传输过去，利用人视觉停留的特点，达到动态视频的效果，这种方式所需的带宽较小，适于画质要求不是相当高的图像传送。流传输的过程中，主要运用的就是HTTP方法，要使用HTTP协议进行通讯，需要在两者之间建立TCP连接。

进一步地，与云端服务器建立TCP连接；向所述云端服务器发送所述摄像视频，以及该摄像视频的校验文件；当接收到正确的校验反馈时，将所述云端服务器的视频链接发送至终端；当接收到错误的校验反馈时，重新发送所述摄像视频，以及该摄像视频的校验文件。

上述进一步的优选方案通过云端服务器存储和备份摄像视频，以便手机终端按实际需要下载目标视频观看，节省手机流量和手机内存空间，便于对多辑摄像视频进行汇总或删除。

图4为本发明一种云台摄像头的视频采集装置的示意图，包括：

图像采集单元，用于根据终端的触发指令，采集在预设角度方位上的连续数帧鱼眼图像；

视频合并单元，用于校正各帧所述鱼眼图像，并合并成摄像视频；

视频发送单元，用于将所述摄像视频发送至终端。

图4与图1相对应，图中的单元实施方式与方法中的相同。

图5为本发明一种云台摄像头的视频采集装置的实施例的示意图。

如图5所示，还包括：

指令接收单元，用于接收所述终端发出的所述触发指令，所述触发指令包括预设角度和预设帧数。

优选地，所述图像采集单元，包括：

地址申请单元，用于申请内核缓冲区的内核地址，将所述内核地址映射到用户空间；

图像存储单元，用于通过所述内核地址存储所述连续数帧图像。

如图5所示，所述视频合并单元，包括：

格式转换单元，用于将校正后的鱼眼图像分割成8×8的数据矩阵块，将所述鱼眼图像的RGB颜色空间转换为YCbCr格式的数据；

编码压缩单元，用于将所述YCbCr格式的数据进行编码、量化，并转换为压缩格式的摄像视频。

如图5所示，所述视频发送单元，包括：

第一连接建立单元，用于与所述终端建立TCP连接；

第一视频传输单元，用于将所述摄像视频转换成流媒体格式，分段发送至终端进行显示。

优选地，所述视频发送单元，包括：

第二连接建立单元，用于与所述终端建立TCP连接；

第二视频传输单元，用于向所述终端发送所述摄像视频，以及该摄像视频的校验文件；当接收到正确的校验反馈时，完成摄像视频的发送；当接收到错误的校验反馈时，重新发送所述摄像视频，以及该摄像视频的校验文件。

优选地，所述视频发送单元，包括：

第三连接建立单元，用于与云端服务器建立TCP连接；

第三视频传输单元，用于向所述云端服务器发送所述摄像视频，以及该摄像视频的校验文件；当接收到正确的校验反馈时，将所述云端服务器的视频链接发送至终端；当接收到错误的校验反馈时，重新发送所述摄像视频，以及该摄像视频的校验文件。

图5与图3相对应，图中的单元实施方式与方法中的相同。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种云台摄像头的视频采集方法，其特征在于，包括：

根据终端的触发指令，采集在预设角度方位上的连续数帧鱼眼图像；

校正各帧的鱼眼图像，并合并成摄像视频；

将所述摄像视频发送至终端。

2.根据权利要求1所述的一种云台摄像头的视频采集方法，其特征在于，根据终端的触发指令，采集在预设角度方位上的连续数帧鱼眼图像的步骤之前，还包括：

接收所述终端发出的所述触发指令，所述触发指令包括预设角度和预设帧数。

3.根据权利要求1所述的一种云台摄像头的视频采集方法，其特征在于，采集在预设角度方位上的连续数帧鱼眼图像的步骤，包括：

申请内核缓冲区的内核地址，将所述内核地址映射到用户空间；

通过所述内核地址存储所述连续数帧图像。

4.根据权利要求1所述的一种云台摄像头的视频采集方法，其特征在于，校正各帧所述鱼眼图像，并合并成摄像视频的步骤，包括：

将校正后的鱼眼图像分割成8×8的数据矩阵块，将所述鱼眼图像的RGB颜色空间转换为YCbCr格式的数据；

将所述YCbCr格式的数据进行编码、量化，并转换为压缩格式的摄像视频。

5.根据权利要求1所述的一种云台摄像头的视频采集方法，其特征在于，将所述摄像视频发送至终端的步骤，包括：

与所述终端建立TCP连接；

将所述摄像视频转换成流媒体格式，分段发送至终端进行显示。

6.一种云台摄像头的视频采集装置，其特征在于，包括：

图像采集单元，用于根据终端的触发指令，采集在预设角度方位上的连续数帧鱼眼图像；

视频合并单元，用于校正各帧所述鱼眼图像，并合并成摄像视频；

视频发送单元，用于将所述摄像视频发送至终端。

7.根据权利要求6所述的一种云台摄像头的视频采集装置，其特征在于，还包括：

指令接收单元，用于接收所述终端发出的所述触发指令，所述触发指令包括预设角度和预设帧数。

8.根据权利要求6所述的一种云台摄像头的视频采集装置，其特征在于，所述图像采集单元，包括：

地址申请单元，用于申请内核缓冲区的内核地址，将所述内核地址映射到用户空间；

图像存储单元，用于通过所述内核地址存储所述连续数帧图像。

9.根据权利要求6所述的一种云台摄像头的视频采集装置，其特征在于，所述视频合并单元，包括：

格式转换单元，用于将校正后的鱼眼图像分割成8×8的数据矩阵块，将所述鱼眼图像的RGB颜色空间转换为YCbCr格式的数据；

编码压缩单元，用于将所述YCbCr格式的数据进行编码、量化，并转换为压缩格式的摄像视频。

10.根据权利要求6所述的一种云台摄像头的视频采集装置，其特征在于，所述视频发送单元，包括：

第一连接建立单元，用于与所述终端建立TCP连接；

第一视频传输单元，用于将所述摄像视频转换成流媒体格式，分段发送至终端进行显示。